Sparkのフリーランス案件・求人一覧 | 5ページ目

作業内容 ・AWS上に構築された大規模データ分析基盤の分析基盤高度化チームのメンバーポジション。 ・新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行っているチームで、新サービス導入や課題改善では、技術検証、インフラ設計〜リリースまで幅広く担当し、運用保守では分析者から問合せ/作業依頼/障害対応等を主にご担当。

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 我々は生成AIとデータ統合を組み合わせて25兆円の意思決定市場を創出することを目指すスタートアップです。 単なるマーケティング支援にとどまらず、AIを用いた“意思決定の高度化”に挑戦しており、マーケティング・HR・キャリアなどグロースに直結する領域で複数のプロダクトを展開しています。 大規模データ基盤の設計・構築、RAG実装、API化などを通じ、革新的プロダクトの成長を牽引する体制強化を図るため、技術力と創造性に優れたエンジニアを募集します。 ▼具体的な業務内容 - LLMを用いたエージェントの構築 - RAGにおけるRetrieverの実装 - LLMOpsの整備（運用自動化含む） - CI/CDパイプラインの構築と、エージェントの継続的デプロイ - エージェントを用いたAPIの実装 ▼上記業務に慣れてきたら以下にもトライいただきたいです - データマートの設計・構築・運用 - BIツール (Tableau, Lookerなど) を用いたデータ可視化基盤の構築・運用 - Deep Learningモデルのモデリングおよびそのためのpre-processing ▼このポジションの魅力 - 大規模データ処理やクラウド環境でのデータ基盤構築、最新AI技術（LLMなど）に実践的に携る事が可能 - 生成AIやLLMを活用したエージェント開発に携わり、実際のプロダクトの進化に貢献できる - 企業の成長に直結するサービスに貢献ができる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - Python、Node.js、Airflow、Spark、Flink、Tableauなど、多様な技術を駆使してスキルの幅が広げられる - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 ・Hadoop、Apache Sparkなど分析基盤の 　PoCおよび環境構築に携わっていただきます。

作業内容 【人流統計処理開発支援】 Spark(Scala)によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計/内部設計/開発/単体テスト/結合テスト/リリース 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 【人流データ抽出処理に関する検証、改修業務】 Spark（Scala）によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計～リリース 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

作業内容 フロー管理システムの開発・保守作業

作業内容 Webサイトへの導入、機能そのものの改修、データ分析などなど

作業内容 通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計／分析を 可能とするプラットフォームの構築案件です。

作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション

作業内容 ・AWSクラウド環境にHadoop/Sparkといった技術を用いデータ連携/ データ収集 を行い、AIによる情報活用基盤の更改をご担当いただきます。 ・下記を行っていただきます。 -DaaS環境構築支援 -インフラ構成検討支援 -リアルタイム/機械学習基盤設計支援 -問合せ対応

作業内容 広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 【概　要】　Hadoop運用/およびLinuxサーバの運用業務となります。 オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。 ・Hadoopまたは類似システムの運用経験があること （優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど) 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 某通信会社向け開発支援作業

作業内容 ・データマネジメントインフラ支援業務にて以下をご担当いただきます。 　-DaaS環境構築支援 　-インフラ構成検討支援 　-リアルタイム/機械学習基盤設計支援 　-問合せ対応 ・AWSクラウド環境にHadoop、Sparkを用いてデータ連携/データ収集を行い、 　AIによる情報活用基盤の更改を行っていきます。 ・またJavaやPHPを用いた一部機能追加も想定しております。

作業内容 ■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00 ※※こちらの案件は現在募集を終了しております※※

作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。

作業内容 ・SAPユーザーのメーカーのプロジェクトに携わって頂きます。

作業内容 ・証券会社におけるシステム機能追加開発をご担当いただきます。 ・分散処理の作業もご担当頂きます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】マーケティングデータ処理開発 【開発環境】 -言語:Java、Scala(一部:Python、Ruby) 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-17:30 ※週5日〜OKの案件です！

作業内容 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 既存のAWSデータレイク基盤をベースにした追加開発

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 【精算幅】140-180h 【面談】1回 【勤務地】虎ノ門※リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です！

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 　

作業内容 システム基盤の運用改善をご担当いただきます。

作業内容 ・美容(コスメ)の口コミサイトに関連する 　データ分析基盤の運用や機能改修をご担当いただきます。

作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、 　および運用に携わって頂きます。 ・データプラットフォームで加工したデータを各種サービス、 　および社内スタッフに提供して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ■業務内容 製造メーカー系会社のデータ処理基盤の設計・構築 → 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用

作業内容 ・下記を行っていただきます。 ‐既存のAWS ETL環境の調査改善 ‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります

作業内容 【募集背景】 大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。 プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。

作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。 ・下記のツールにてシステム構築を行っていただきます。 -DataFactory -Azure Datalake Storage Gen2 -Synapse Analytics Service

作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション：DMS開発メンバー ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 ソーシャルゲーム制作においてSPARK GEARを使用したエフェクト制作をお任せいたします。 ※お任せする作業はスキルに応じて異なります。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装