Sparkのフリーランス案件・求人一覧 | 6ページ目

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 ソフトウェア基盤（ミドルウェア）環境の設計、構築、維持管理業務全般をしていただきます。

作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、 　および運用に携わって頂きます。 ・データプラットフォームで加工したデータを各種サービス、 　および社内スタッフに提供して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。 ・下記のツールにてシステム構築を行っていただきます。 -DataFactory -Azure Datalake Storage Gen2 -Synapse Analytics Service

作業内容 AWSサービスを利用したビッグデータ解析、AI基盤の技術検証を行って頂きます。

作業内容 【募集背景】 大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。 プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。

作業内容 製薬業界向けの企業別薬品の売上、消化情報などの蓄積・分析をするソリューションをAWS上で開発を行っていただきます。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装

作業内容 モバイル向け（スマホ、Switch 等）RPG制作において、 エフェクトデザイナーとして下記のような作業を行っていただきます。 ・キャラクターの攻撃や回復、松明の炎や煙、UIなどのエフェクト制作 ・ユーザー体験を最大化させる演出の提案、コンテ制作 ※スキルによってお任せする作業内容が異なります。

作業内容 ①某大手通信会社販促システム開発 ②某大手小売・流通のシステム開発 ③広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 小売業向けの基盤システム開発。 ※具体的な詳細は、ご面談の際にお伝えします

作業内容 ・SCMパッケージにおける新規開発プロジェクトに携わって頂きます。 ・UI/UXを意識した業務機能の画面設計をご担当頂きます。 ・各種調整業務を行って頂く可能性もございます。

作業内容 ・ヘルスケア関連システムにおいて、 　サーバーサイド開発に携わっていただきます。 ・ご参画いただく方のスキルやご経験に応じて、 　基本設計～保守まで、幅広くご活躍いただけます。

作業内容 要件定義/設計～試験、導入、顧客向け資料作成および説明 ※ Hadoopのサポート切れに伴い、Hadoop上に保管されている大量の顧客データをDatabricksに移行し、既存の連携バッチをDatabricksに移行する見込みのため、案件開始時の技術者を探しているという状況です。 今年度中に参画可能な技術者がいる場合でもご提案いただきたいです。

作業内容 【概要】①某大手小売・流通のシステム開発 ②広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。 案件カテゴリー： 開発 最寄駅：半蔵門※リモート可 打合せ回数：2回 ※週5日〜OKの案件です！

作業内容 ・製造業/建設業向けの次世代ERPパッケージシステム導入における、 　SCM(販売/購買領域)のパッケージ開発を行っていただきます。 ・機能及び、UI/UXを含む製品設計フェーズにご参画いただきます。 　※オフショア開発の可能性がある為、実開発は行わない可能性がございます。

作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。

作業内容 プログラム脆弱性検出システムを一部機能を分散処理させて高速化させる業務をご担当していただきます。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 在庫管理システムの開発支援を行っていただきます。 【業務例】 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化 【開発環境】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch ・ツール： GitHub、Jira、Slack 【担当工程】　 基本設計,詳細設計,実装,テスト,運用・保守

作業内容 【概要】 ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【勤務先】 大崎※フルリモート可(9:00~18:00) 【時間精算】下限140h~上限200h 【面談回数】2回 服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ▼概要 　WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190ｈ　 ▼面談回数 1回 ※WEB ▼就業時間 9時30分～18時00分 ※昼休み45分 ※週5日〜OKの案件です！

作業内容 ①GPSを用いたデータの集計・予測支援 ②SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 某ガス会社向けシステム開発として技術的な調査、基本設計～開発（構築）～テストをしていただきます。

作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。 主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。 1. AWSのデータレイクからBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) →2番の作業関しては、ご意向と経験に応じてご相談となります。 ＜開発環境＞ 言語：Python, Hive, Spark AWS：EMR, Glue, Athena, Lambda, APIGateway GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk ＜備考＞ 基本リモート ＜基本時間＞ 10：00～19：00

作業内容 ■募集背景・課題

作業内容 IT基盤戦略担当様のDMシステム更改案件における構築支援業務 データマネジメントインフラ支援業務 ・DaaS環境構築支援 ・インフラ構成検討支援 ・リアルタイム/機械学習基盤設計支援 ・問合せ対応 　　　　　 AWSクラウド環境にHadoop，Sparkといった技術を用いデータ連携/データ収集を行い、AIによる情報活用基盤の更改を行っていきます。

作業内容 ・チャットコマースサービスの開発にサーバーサイドエンジニアとして携わっていただきます。 ・スキルに応じて下記作業もお任せいたします。 　- データ基盤の開発・運用 　- データ基盤のデータ品質担保 　- データ基盤の運用効率化