Sparkのフリーランス案件・求人一覧 | 4ページ目

作業内容 【人流データ抽出処理に関する検証、改修業務】 Spark（Scala）によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計～リリース 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 某通信会社向け開発支援作業

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 【会社概要】 - 弊社は、生成AI・LLMや自律型AIの研究開発と社会実装を行うテックカンパニーです。 【募集背景】 現在、基盤が作られて間もない段階であり、今後改善などを行っていくフェーズの中で運用周りをを中心に対応いただけるMLOpsエンジニアを探しております。 今回のポジションではモデルを本番環境で安定運用させるためオペレーション周りを中心にお願いしたいと考えております。 【業務内容】 - 機械学習モデルの開発、デプロイ、モニタリング、更新のための自動化パイプラインの設計と実装 - データサイエンティストやMLエンジニアと協力し、モデルの性能と信頼性を向上させるためのインフラストラクチャの構築 - CI/CDツールを活用した継続的な統合と配信プロセスの確立 - モデルのバージョン管理、実験追跡、モデルレジストリの整備 - セキュリティとコンプライアンスを考慮したMLOps基盤の構築

作業内容 ・AWS上に構築された大規模データ分析基盤の分析基盤高度化チームのメンバーポジション。 ・新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行っているチームで、新サービス導入や課題改善では、技術検証、インフラ設計〜リリースまで幅広く担当し、運用保守では分析者から問合せ/作業依頼/障害対応等を主にご担当。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。 ＜業務内容＞ AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・Azureを用いたシステム保守案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-機能障害、不足の解消(性能障害の対応) 　-新機能への対応 　-データの品質管理 　-データの取込対応 　-システム運用

作業内容 某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

作業内容 【自動車会社向けデータ転送処理マイグレーション】 AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。 ・主に以下のような業務に携わっていただきます。 ＜メイン作業＞ 移行作業（移行手順書作成、移行作業操作） ・Linuxコマンド ・Spark（Scala≒JavaのSpark処理） ・SnowflakeDB参照（他のDBと大差なし） ＜サブ作業＞ ・JavaによるSnowflake API（Snowpark API）作成 ・JavaによるAzure Functions作成

作業内容 ・機能障害、不足の解消作業に携わっていただきます。 ・主な作業内容は以下の通りです。 　-性能障害の対応含む（最近、クラウド処理遅延等の調査等）新機能への対応　 　※IoT対応、ログ伝送対応など 　-データの品質管理 　-データの取込対応

作業内容 外資系生命保険会社システム開発（Azure） 新規プロジェクトの中で、azure環境での開発を実施。 要件定義、基本設計を実施する。 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

作業内容 ・システムアーキテクチャの検討、選定及び設計、実装 ・ビッグデータを分析（加工）する為の分散処理基盤の開発など 【環境】 ・OS（インフラ）：GCP、Spark、Kubernetes、Linux ・DB：Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL ・ツール：JIRA、Git、Slack

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・Ruby on Railsを用いたアプリケーション開発支援案件に携わっていただきます。 ・主に開発及び運用保守作業をご担当いただきます。

作業内容 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム構成 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■開発環境 ? 分散DB（Cloud Spanner） ? 言語：Go言語 ? 通信 ：connect-go proto ? コンピューティング：Kubernetes → Cloud Run ? DWH・パイプライン構築 ? BigQuery ? Apache Spark ■会社の魅力 大企業の持つ資本力とベンチャーの持つスピード感を両立しており、０ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス（Q&Aに特化したライブ配信アプリ）を今年の春、リリース予定となっております。 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い

作業内容 ・Pythonを用いた通信会社向け開発支援作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-基本設計 　-詳細設計 　-製造 　-テスト

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 運用中のソーシャルゲームにおいて 3Dエフェクトデザイナーとして作業をお任せいたします。 具体的には下記作業を想定しております。 ・UnityでのShurikenを使用したインゲームエフェクトの制作 ※エフェクトによって素材となるメッシュ制作作業を含みます。

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。 〜開発環境〜 ・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・検索エンジン：Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：Amazon Web Services ・AWS製品：ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 ・Goを用いたマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用 　-アプリケーション開発 　-アプリケーションのワークフロー開発 　-運用改善

作業内容 ・Java、Pythonを用いた通信会社向け開発支援案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-基本設計からテスト

作業内容 ・大手自動車メーカーの「運転診断機能」というテーマ追加に伴うWeb開発。 （機密要素がありますので、それ以上はプロジェクト参画時にお伝えします） ・複数ベンダ混成によるアジャイル開発（スクラム方式）となり、 　プロダクトオーナーやスクラムマスターはエンドユーザー様となります。 ・業務作業としては、アルゴリズムは顧客側で研究開発済みのGivenを利用、 　Spark等にポーティングするスキームとなります。

作業内容 ・Goを用いたデータマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用業務 　-アプリケーション開発 　-運用改善

作業内容 ・需要予測システム開発および運用支援 ・工程：製造・テスト・エラー調査・運用

作業内容 ・小売向け需要予測システム開発、運用支援に関わる各種業務 ・製造〜テスト〜調査〜運用などをご担当

作業内容 ・データのETL処理の基盤構築 ・AWSサービスとPythonを使ってデータ解析基盤の開発 ・設計/製造をメインにご担当

作業内容 大手自動車部品メーカーにて、 主に画像データを、MLOpsで利用できるデータセットとして管理する基盤の構築PJにおける データエンジニアを募集しております。 顧客の要望に応じ、データの加工、それに伴うデータベースの構築等をご担当いただく想定です。 また、直近ではDWHの移行などの作業もございます。 ＜環境＞ 開発形式：アジャイル 使用言語： 　・Python言語 使用ツール： 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform) ＜オンサイト時の勤務地＞ クライアント先、または秋葉原駅

作業内容 【概　要】：大手自動車メーカーBigData領域開発（Web） 　　　　　・大手自動車メーカーの「運転診断機能」という 　　　　　テーマ追加に伴うWeb開発。（スクラム採用） 　　　　　・メイン言語は Python。AWS上で Lambda ,ECS（Fargate）、 　　　　　StepFunctions等を使用したWebアプリ開発と 　　　　　維持管理が主内容となります。 　　　　　・具体定的な業務作業としては、アルゴリズムは顧客側で 　　　　　研究開発済みのGivenを利用、Spark等に 　　　　　ポーティングするスキームとなります。 【場　所】：完全フルリモート（関東近辺の方は初日のみ横浜、地方可） 【期　間】：10月～中長期 【スキル】：＜必須＞ 　　　　　・Pythonを用いたBigData関連の開発経験 　　　　　（データサイエンティストLikeな方歓迎） 　　　　　・AWS経験 　　　　　・設計経験 　　　　　＜尚可＞ 　　　　　・AWS Lambda、API Gateway、SQS、DynmoDB、 　　　　　Fargate、Kinesis Data Streamsの利用経験 　　　　　・SAM(ServerlessApplicationModel)で 　　　　　管理されたシステムの開発経験 　　　　　・CI/CDが整備されている環境 　　　　　（AWS CodeCommit・CodePipeline・CodeBuild）での開発経験

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 「アルゴリズムで、社会はもっとシンプルになる。」をミッションに掲げ、 アルゴリズムを用いて事業開発を行うAIスタートアップです。 【募集背景】 ChatGPTをはじめとする大規模モデルと隆盛により、データ活用の社会的ニーズが高まってきております。 特に、弊社では金融業界でのデータ活用に向けた取り組みを進めており、技術的には、セキュリティや大規模なデータを扱うことを考えて、モダンなデータスタックの導入ができるように社内での検証を進めてきており、 今回大型のプロジェクトを実行するため、技術ケイパビリティ・経験を持ったエンジニアを今回募集しております。 【業務内容】 メインとして顧客環境に、特にMicrosoft Azureを想定としたデータ基盤を構築し、運用できるようにして頂きます。 データの収集元はテキストデータを中心に多岐に渡る想定であり、収集したデータはLLM/RAGと言われる技術を活用し、ChatGPTのようなボットの活用を行い、問い合わせの自動対応を実現することが目的です。 また、セキュリティ的を十分に考慮しながら設計できることが必要であり、業務としてはデータの基盤の設計及び実行のマネジメントも含めて実行頂きます。 また、必要に応じてクライアントコミュニケーションも行って頂くこともございます。 大型プロジェクトのデータエンジニアとしてのご参画を想定しております。 - アーキテクチャの設計 (既存にAzure上に一定構成されたものは存在) - プロジェクトの技術面での実行 - 顧客環境 (特にMicrosoft Azureを想定)にデータ基盤を構築し運用できるようにする。データの収集元は多岐に渡る想定。 - データ基盤の活用の支援 (BIツール等のデータ基盤の活用に関する助言。場合によっては活用基盤の構築) - 実行メンバーを採用及びメンバーの実行マネジメントの検討・実行 - クライアントコミュニケーション - 他データ基盤のプロジェクトへのアドバイス - アーキテクチャレビュー

作業内容 データ蓄積システム(Hadoop/Spark)を構築し商用トライアルを実施したところ、課題が見つかったため、商用化に向けた改善を行います。 1、HadoopYARN/HDFS/Sparkのチューニング、性能検証：1名 HadoopYARN：メモリ、CPU数、データノード多重度など HDFS：ブロックサイズ、DataNodeへの接続数、Nameノードヒープサイズなど Spark：テーブルキャッシュ、パーティション数、コア数、エグゼキュータ数など 2、OSSの調査・導入・検証：3名 ・HDFSデータの暗号化、圧縮技術の調査・検証 ・大量構造化データの保持方式の調査・検証 GreenplumDB、Hiveなど 環境はHadoop、Spark、PostgreSQL、Java、Linuxとなります。

作業内容 ・Hadoop、Apache Sparkなど分析基盤の 　PoCおよび環境構築に携わっていただきます。

作業内容 ・Spark gear を用いた3Dエフェクト制作 ・バトル用スキルエフェクト ・マップの環境エフェクトなどの作成

作業内容 大手コスメ系サイトのデータ分析基盤の運用、機能改修をご担当いただきます。

作業内容 業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

作業内容 フロー管理システムの開発・保守作業