Sparkのフリーランス案件・求人一覧

作業内容 ・Ruby on Railsを用いたアプリケーション開発支援案件に携わっていただきます。 ・主に開発及び運用保守作業をご担当いただきます。

作業内容 フロー管理システムの開発・保守作業

作業内容 某通信会社向け開発支援作業

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00

作業内容 ・システムアーキテクチャの検討、選定及び設計、実装 ・ビッグデータを分析（加工）する為の分散処理基盤の開発など 【環境】 ・OS（インフラ）：GCP、Spark、Kubernetes、Linux ・DB：Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL ・ツール：JIRA、Git、Slack

作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。 ・主に以下のような業務に携わっていただきます。 ＜メイン作業＞ 移行作業（移行手順書作成、移行作業操作） ・Linuxコマンド ・Spark（Scala≒JavaのSpark処理） ・SnowflakeDB参照（他のDBと大差なし） ＜サブ作業＞ ・JavaによるSnowflake API（Snowpark API）作成 ・JavaによるAzure Functions作成

作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～ 地図広告プラットフォーム開発 ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎

作業内容 ETLチームの一員として、内製開発を行っていただきます。 ＜業務内容＞ ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発 ＜就業時間＞ 9:00～18:00

作業内容 以下業務をご対応いただきます。 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 道路交通系開発をお任せいたします。 Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程：詳細設計～結合テスト

作業内容 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム構成 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■開発環境 ? 分散DB（Cloud Spanner） ? 言語：Go言語 ? 通信 ：connect-go proto ? コンピューティング：Kubernetes → Cloud Run ? DWH・パイプライン構築 ? BigQuery ? Apache Spark ■会社の魅力 大企業の持つ資本力とベンチャーの持つスピード感を両立しており、０ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス（Q&Aに特化したライブ配信アプリ）を今年の春、リリース予定となっております。 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品：ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎

作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。 ※エンジニアではなくコンサル枠となります。 さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 組織の要件に応じて、アーキテクチャが高可用性、災害復旧、 およびグローバル分散向けに設計されていることが目的です。 ＜想定される作業＞ ・データエンジニアと緊密に連携し、 　バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。 ・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 　高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング 2.データベース管理 3.データ統合 4.データガバナンスとセキュリティ 5.データ分析と視覚化 6.テクノロジーの評価と実装 7.コラボレーションとコミュニケーション 8.戦略計画 ※各項目詳細は、面談時にお伝えさせていただきます。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～ ■内容： ECカートシステムと関連する周辺アプリケーションの開発です。 ■環境： 言語：Go / TypeScript / Python / Ruby / Ruby AWS: EKS / S3 / Aurora / ECR / System manager / Secrets manager / Route 53 / Step functions / Lambda / Redshift / Cloud watch 使用技術: Apache Spark / Trino / Apache Iceberg / Kafka / Apache Superset / Argo Workflows / Argo Events / Airbyte / Jupyter Notebook / Grafana / Prometheus / Docker, Postman / gRPC ツール: Slack / GitHub / GitHub Copilot / Github actions / Notion / Lens Pro ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK（Python）を用いたインフラ管理の知識が求められます。 ■具体的な業務内容 ・Pythonを用いたアプリケーション設計および実装 ・AWS Fargate上での開発および運用 ・総合テストの計画および実施 ・Dockerイメージの作成および管理 ・AWS CDK（Python）を用いたインフラのコード化（IaC） 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築（バッチ開発、データマート作成） ・要件ヒアリングやシステム改善提案 ・クラウド環境（GCP、AWS）での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成（設計資料、説明資料） ・大規模バッチ処理の開発 ・AWSサービス（Glue、EC2、S3）を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス（Lambda、API Gatewayなど）を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用したバックエンドシステムの設計・開発を担当し、RDBデータベース設計やPythonを使用したETL処理、API GatewayやLambdaを用いたAPI開発を行います。技術的な知見を活かし、プロダクトオーナーと連携して仕様策定にも関与し、AWSリソースを積極的に活用したシステム開発に貢献します。 ■具体的な業務内容 ・RDBデータベース設計およびAWS Glueを使用したETL処理の開発 ・API Gateway、Lambdaを使用したAPI開発 ・プロダクトオーナーとの仕様策定および協調 ・AWSリソースを活用したインフラ構築および運用 ・Git Flowベースの開発進行およびプロジェクト管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala

作業内容 ■概要 環境設計レビュー・改善・実装・メンテナンスをお任せいたします。 ■具体的な作業内容 以下の業務をお願いします。 ・既存のAWS ETL環境の調査改善 ・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります。

作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション：DMS開発メンバー ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す