Sparkのフリーランス案件・求人一覧 | 11ページ目

作業内容 需要予測のためのロジック開発、実装（AIモデル/ルールベース）をしていただきます。

作業内容 大手資本が介入したAIスタートアップです。特定の企業へのAIではなく業界全体の改善を目指したソリューションとなります。 一言でいうと、本屋さんがなくなったら困るよね！みんなで頑張ろう！という想いが大事です。 インフラ担当としてクラウド機能の活用からコスト面の考慮、BIに至るまで全般的なアーキテクト面をお任せいたします。 社内には研究開発チームやデータエンジニアリングを行う方（データサイエンティスト）もおりますので、その方々に向けて モデル開発/機械学習のためのインフラ面の構築もお任せいたします。

作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

作業内容 【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・検索エンジン： Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ： Amazon Web Services ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 新規開発中RPG、運用中RPGのいずれかにて 3Dエフェクト製作をお任せいたします。 ※スキルに応じて他の作業もお任せ致します

作業内容 Javaを使用した某ガス会社様向けJavaバッチ処理開発を行って頂きます。 工程としましては、詳細設計～開発～テストをご担当頂きます。

作業内容 ・マーケティングを技術でリードするため、 　機械学習やデータマイニングなどに携わって頂きます。 ・課題解決のため、様々なアプローチを検討し、最適化して頂きます。 ・主な業務は下記の通りです。 　-リターゲティング広告配信やプロモーションのためのDMP構築 　-サードパーティの広告配信へのオーディエンスデータ連携 　-ログからキャンペーンのレポーティングやパフォーマンス実証 　-データ解析環境の構築や効果的な広告配信のためのデータ分析 　-アプリのプロモーションや広告運用のテクニカルサポート

作業内容 エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。 ◆業務内容の詳細◆ Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用 Apache Sparkを利用したETL処理の開発 各サービス開発チームのデータエンジニアリングの支援 ◆今後の進展について◆ 昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。 それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

作業内容 ＝＝＝＝＝＝＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝＝＝＝＝＝＝ ・大手メーカー内のバックオフィス業務開発開発、運用を繰り返すイメージです。 ・AWS上でのデータ解析基盤の構築 利用するAWSサービスの候補 -Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation, Lambda,StepFunction その他プロダクト、ツール -Tableau,Github,Confluence,JIRA,Slack 言語・スクリプト -Python,shell,SQL 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 オンプレミスの大規模データ収集基板構築に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS(Hadoop)の構成について考慮する必要があるため、Hadoop環境の利用経験があればよりマッチいたします。 ＜業務内容＞ ・RDBからデータ取得を行うアプリケーションを、DWH(Hadoopベース)からデータ取得を行うように改修 →改修のための設計、開発、テスト ・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等) ＜開発環境＞ ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞ 現状リモートワーク 新型コロナウイルス感染症の終息後は出社予定 ＜基本時間＞ 9：00～18：00

作業内容 ・データベース内ビッグデータの集計及び分析作業を行っていただきます。 ・下記をご担当いただきます。 -エンジンプログラムのカスタマイズ -SQLによるデータ集計

作業内容 ・IF各種設計書作成 ・MS Fabric環境での実装（検証及びテストも含む） ・その他上記に付随する業務

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善 主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

作業内容 ・データ処理と前処理の実装 ・Scalaを使用して機械学習アルゴリズムやモデルの実装 ・大規模データセットを使用する場合、分散処理フレームワーク（例: Apache Spark）を使用して機械学習アルゴリズムをスケーラブルに実行 ・モデル評価とパフォーマンス改善 ・データ分析基盤の開発 ・データの可視化とレポーティング

作業内容 【業務内容】 大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。 【ポイント】 データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。 【開発チームと配属先について】 当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。 今回お願いしたいポジションはサーバサイドエンジニアです。 チームには現在18名のエンジニアが在籍しています。 また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。 Infeed領域の広告運用のためのプロダクトを開発するグループインターネット広告関連データをデータレイクに蓄積するシステムを開発するグループインターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ機械学習を用いたプロダクトを開発するグループ掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ 【技術キーワード】 ApacheSparkAWS GlueSnowflakeデータレイク/データウェアハウス/データマート

作業内容 [ポジション]：AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

作業内容 ・オンライン会議サービスの開発PJにて、 　設計から実装、テストまで幅広い作業をご担当いただきます。

作業内容 ・既存のAWS基盤の調査改善 ・ETL環境運用作業（テーブル追加、カラム変更程度）

作業内容 ・大手企業にて、 　機械学習/データマイニングを用いたデータ分析に携わって頂きます。 ・グループ内の数百ある各事業会社の要件を実現していくため、 　AIやIoTの技術なども使いながら、少人数でPoCを回して頂きます。 ・データ分析だけでなく、サービスの改善提案まで担当して頂きます。 ・ご経験がある方は、アーキテクチャ設計や技術選定、 　およびデータ分析基盤の構築なども併せて依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・各社が保有するデータのヒアリングと整理、および解決すべき問題の要件化から、 　様々なプラットフォームの構築、運用までをご担当いただきます。 ・様々な保持データを掛け合わせた設計・抽出・転送のフロー構築や、 　スケーリングやコストを意識したクラウド環境の構築にも携わっていただきます。

作業内容 ・月間で数億リクエストある広告システムで、 　ログ、各種デモグラフィック情報、アクション情報などをもとに、 　データマイニングおよび機械学習に携わって頂きます。 ・設計から幅広く担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・自社広告配信プロダクトの100億レコード以上/日のログを分析し 　広告配信の最適化する業務に携わっていただきます。 ・KPI(CPCなど)最適化の改善及び運用をご担当いただきます。

作業内容 某大手通信キャリアが提供する販促プログラムにおいて、加盟店（飲食店、小売等）が 利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）の データ関連の開発および、顧客企業との仕様調整・実現性検討を行って頂きます。 ＜開発環境＞ 言語：Python (一部 Javaもあり) フレームワーク：gRPC, OpenAPI インフラ：AWS Athena, AWS Redshift, MySQL, Apache Airflow, Docker,bazel, github クラウド：AWS

作業内容 ヘルスケア企業向けにリリースしたスマホアプリにおいて、バージョンアップにおける開発対応を行っていただきます。 基盤はAWS、開発手法はアジャイルとなります。(一部、AWSにおける運用保守を行っていただく可能性もございます) ＜備考＞ リモート頻度は週1～2回 ＜基本時間＞ 9：00～18：00

作業内容 ・大手通信企業向けポイントシステムの一部機能の開発にて プロジェクトマネジメント業務および要件定義に携わっていただきます。 ・AWS上でSpark on EMR環境を構築、クライアントアプリから使えるようAWSのFargate上で動かすことを想定しています。

作業内容 鉄道会社向けアプリ保守開発案件となります。 アプリの改修、小規模開発、運用保守等をご担当いただきます。

作業内容 ・SREをご担当いただきます。 ・主に下記作業となります。 　-サーバー構成管理ツールの開発や運用 　-モニタリング環境構築、監視ツールの開発 　-Kuberbetes環境でのコンテナクラスタ運用 　-Hadoop、Kafkaを利用した分析や集計基盤の構築 　-HiveやSparkを用いた集計処理バッチの作成 　-ミドルウェアの検証および選定 　-LinuxOSのチューニング 　-海外展開に向けたクラウドインフラ等の構築

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。【開発環境】・開発言語： Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン： Amazon Elasticsearch Service・ライブラリ・フレームワーク：Pandas、Numpy、Dask・インフラ： Amazon Web Services・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry