Sparkのフリーランス案件・求人一覧 | 6ページ目

作業内容 既存のAWSデータレイク基盤をベースにした追加開発

作業内容 システム基盤の運用改善をご担当いただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 【精算幅】140-180h 【面談】1回 【勤務地】虎ノ門※リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です！

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 　

作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、 　および運用に携わって頂きます。 ・データプラットフォームで加工したデータを各種サービス、 　および社内スタッフに提供して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ■業務内容 製造メーカー系会社のデータ処理基盤の設計・構築 → 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用

作業内容 【募集背景】 大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。 プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。

作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。 ・下記のツールにてシステム構築を行っていただきます。 -DataFactory -Azure Datalake Storage Gen2 -Synapse Analytics Service

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。

作業内容 DMシステム更改案件における構築支援業務 データマネジメントインフラ支援業務 ・DaaS環境構築支援 ・インフラ構成検討支援 ・リアルタイム/機械学習基盤設計支援 ・問合せ対応 AWSクラウド環境にHadoop，Sparkといった技術を用いデータ連携/データ収集を行い、 AIによる情報活用基盤の更改を行っていきます。

作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション：DMS開発メンバー ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す

作業内容 ・下記を行っていただきます。 ‐既存のAWS ETL環境の調査改善 ‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 モバイル向け（スマホ、Switch 等）RPG制作において、 エフェクトデザイナーとして下記のような作業を行っていただきます。 ・キャラクターの攻撃や回復、松明の炎や煙、UIなどのエフェクト制作 ・ユーザー体験を最大化させる演出の提案、コンテ制作 ※スキルによってお任せする作業内容が異なります。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。 ＜業務内容＞ AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装

作業内容 【概要】①某大手小売・流通のシステム開発 ②広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。 案件カテゴリー： 開発 最寄駅：半蔵門※リモート可 打合せ回数：2回 ※週5日〜OKの案件です！

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 小売業向けの基盤システム開発。 ※具体的な詳細は、ご面談の際にお伝えします

作業内容 【20代～40代の方向け】 自動車の走行データを解析・提供するプラットフォームのバックエンド開発です。 Node.js（TypeScript）を使用して、データストリームの処理、分析結果のAPI化、レポート作成機能の開発を担当します。

作業内容 ・SCMパッケージにおける新規開発プロジェクトに携わって頂きます。 ・UI/UXを意識した業務機能の画面設計をご担当頂きます。 ・各種調整業務を行って頂く可能性もございます。

作業内容 ・Azureを用いたシステム保守案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-機能障害、不足の解消(性能障害の対応) 　-新機能への対応 　-データの品質管理 　-データの取込対応 　-システム運用

作業内容 ・ヘルスケア関連システムにおいて、 　サーバーサイド開発に携わっていただきます。 ・ご参画いただく方のスキルやご経験に応じて、 　基本設計～保守まで、幅広くご活躍いただけます。

作業内容 下記のような案件においてデータエンジニア業務に従事いただきます。 ・GPSを用いたデータの集計・予測支援 ・SaaS型プロダクトの開発支援

作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ▼概要 　WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190ｈ　 ▼面談回数 1回 ※WEB ▼就業時間 9時30分～18時00分 ※昼休み45分 ※週5日〜OKの案件です！

作業内容 ・製造業/建設業向けの次世代ERPパッケージシステム導入における、 　SCM(販売/購買領域)のパッケージ開発を行っていただきます。 ・機能及び、UI/UXを含む製品設計フェーズにご参画いただきます。 　※オフショア開発の可能性がある為、実開発は行わない可能性がございます。

作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。

作業内容 【概要】 ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【勤務先】 大崎※フルリモート可(9:00~18:00) 【時間精算】下限140h~上限200h 【面談回数】2回 服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 在庫管理システムの開発支援を行っていただきます。 【業務例】 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化 【開発環境】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch ・ツール： GitHub、Jira、Slack 【担当工程】　 基本設計,詳細設計,実装,テスト,運用・保守

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。 主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。 1. AWSのデータレイクからBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) →2番の作業関しては、ご意向と経験に応じてご相談となります。 ＜開発環境＞ 言語：Python, Hive, Spark AWS：EMR, Glue, Athena, Lambda, APIGateway GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk ＜備考＞ 基本リモート ＜基本時間＞ 10：00～19：00

作業内容 モバイルゲーム/コンシューマーゲーム開発にて エフェクトアーティストとして作業をお任せいたします。 具体的には下記作業を想定しております。 ・エフェクト制作 ・エフェクト表現の検証、作業効率化の為のツール支援 ・エフェクトに関するクオリティ管理、監修

作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

作業内容 ■募集背景・課題

作業内容 ・チャットコマースサービスの開発にサーバーサイドエンジニアとして携わっていただきます。 ・スキルに応じて下記作業もお任せいたします。 　- データ基盤の開発・運用 　- データ基盤のデータ品質担保 　- データ基盤の運用効率化

作業内容 某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

作業内容 総合電機メーカー様のビッグデータ蓄積/抽出/分析案件になります。 蓄積された種々の構造化/非構造化データを利活用するために下記をご担当いただきます。 ・No SQL Databaseに格納 ・データ抽出設計 ・抽出用 API 作成 ＜技術要素＞ AWS S3, Apache Spark, SparkSQL, Databricks, AWS AppSync(GraphQL), Python(S3に蓄積されたデータをDatabricks 経由でDynamoDBに送り、AppSyncでAPI展開するイメージ) ＜担当工程＞ データ抽出設計 ～ API 実装 ～ テスト ＜服装＞ オフィスカジュアル

作業内容 【自動車会社向けデータ転送処理マイグレーション】 AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。