Sparkのフリーランス案件・求人一覧

リセット

Sparkの案件・求人一覧

1-30 / 全 567 件
  • NEW

【Python / リモート案件紹介可能】大規模データ活用基盤改善／データ分析基盤エンジニア

リモート可

900,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 大手人材派遣会社における派遣領域のデータ活用基盤を対象とした改善・保守運用を担当します。レコメンドエンジンを提供するデータ基盤や分析環境の改善に加え、クラウドサービスやミドルウェアの新規技術検証、簡易的な機械学習モデルのチューニングなども手掛けます。大規模データ処理やPython、Linux環境での開発経験を活かし、データ基盤の構築に貢献できるポジションです。 ■具体的な業務内容 ・レコメンドエンジンを提供するデータ基盤・分析環境の改善および保守運用 ・クラウドサービスやミドルウェアの新規技術検証 ・簡易的な機械学習モデルのチューニングやデータ分析 ・大規模データ処理基盤に関する運用業務（Hadoop, Spark, Treasure Data） ・インフラ関連ツール（Docker、CI/CD）の業務運用および保守

今日・ 提供元: Midworks

  • NEW
  • 注目

【Python / リモート案件紹介可能】大規模データ基盤エンジニア×レコメンドエンジン運用

リモート可

900,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 派遣業界向けの大規模データ活用基盤の改善・保守を行うプロジェクトです。レコメンドエンジンの運用や分析環境の改善、クラウド環境の技術検証を通じて、より高度なデータ分析基盤の構築に貢献します。必要に応じて、簡易的な機械学習モデルのチューニングやデータ分析業務も担当します。 ■具体的な業務内容 ・レコメンドエンジンを提供するデータ基盤の改善および保守運用 ・AWSやGCPを活用したクラウド環境での開発および運用業務 ・Python、Shell、SQLを用いたデータ処理およびスクリプト作成 ・新規クラウドサービスやミドルウェアの技術検証 ・簡易的な機械学習モデルのチューニングおよびデータ分析

2 days ago・ 提供元: Midworks

【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業

フルリモート

400,000 〜 550,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSparkKafka
サーバーサイドエンジニアバックエンドエンジニア
作業内容 某通信会社向け開発支援作業

3 months ago・ 提供元: mijicaフリーランス

データ加工処理マイグレーション検討

リモート可

700,000 〜 900,000円/月

東京都
門前仲町駅
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00

4 months ago・ 提供元: フォスターフリーランス

【Golang(リモート)】データ分析基盤及びETL基盤/システム開発支援

リモート可

800,000円/月

業務委託(フリーランス)
東京都
GoLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch
作業内容 ・システムアーキテクチャの検討、選定及び設計、実装 ・ビッグデータを分析（加工）する為の分散処理基盤の開発など 【環境】 ・OS（インフラ）：GCP、Spark、Kubernetes、Linux ・DB：Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL ・ツール：JIRA、Git、Slack

3 months ago・ 提供元: フリコン

【Python/AWS】BigData領域のWeb開発(フルリモート)

フルリモート

800,000円/月

業務委託(フリーランス)
東京都
PythonDynamoDBAWSAmazon S3
バックエンドエンジニア
作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

3 months ago・ 提供元: フリコン

【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援

フルリモート

400,000 〜 500,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
Python
サーバーサイドエンジニアバックエンドエンジニア
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

3 months ago・ 提供元: mijicaフリーランス

Python 大手通信系企業内の内製開発（ETLチーム）

リモート可

600,000 〜 700,000円/月

東京都
PythonSpark
作業内容 以下業務をご対応いただきます。 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

4 months ago・ 提供元: フォスターフリーランス

【Python】Pythonによる開発経験者募集（分析基盤システム開発支援）（20代〜40代活躍中！・週4日以上稼働可能な方にぴったり！）

500,000円/月

業務委託(フリーランス)
東京都
竹芝駅
PythonSQLSpark
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 小売業向けの分析基盤システムの開発を担当します。要件定義から導入までの一連のシステム開発を進め、PythonやSQLを用いたデータ分析および基盤構築に携わります。 ■具体的な業務内容 ・PythonおよびSQLを用いたデータ分析および基盤構築 ・要件定義から導入までのシステム開発プロセスの遂行 ・AzureおよびDatabricksの活用に関する調査および提案 ・統計手法を用いたデータ分析および改善提案 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

a month ago・ 提供元: Midworks

【Python(リモート)】SaaSのデータ基盤構築

リモート可

750,000円/月

業務委託(フリーランス)
東京都
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。 〜開発環境〜 ・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・検索エンジン：Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：Amazon Web Services ・AWS製品：ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

a month ago・ 提供元: フリコン

【Python】新データベース構築支援

530,000円/月

業務委託(フリーランス)
東京都
飯田橋駅
PythonSQL
データベースエンジニア
作業内容 【20代～40代の方向け】 現行のものからデータベースを移行するにあたり、新しいデータベースの構築業務に携わって頂きます。 データのETL処理にdatabricksを使用するため、databricks及びPythonでの業務をご担当いただく予定です。　

a month ago・ 提供元: ELEVATE

世界進出！【ライブ配信アプリ/フルリモート/AWS,GCP/大手企業と連続起業家のスタートアップとの合弁会社】グローバル向け大規模ライブ配信アプリのインフラエンジニア業務(jd01383)

フルリモート

500,000 〜 700,000円/月

業務委託(フリーランス)
GoSparkAWSApacheGitGoogle Cloud PlatformBigQueryKubernetes
インフラエンジニア
作業内容 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム構成 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■開発環境 ? 分散DB（Cloud Spanner） ? 言語：Go言語 ? 通信 ：connect-go proto ? コンピューティング：Kubernetes → Cloud Run ? DWH・パイプライン構築 ? BigQuery ? Apache Spark ■会社の魅力 大企業の持つ資本力とベンチャーの持つスピード感を両立しており、０ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス（Q&Aに特化したライブ配信アプリ）を今年の春、リリース予定となっております。 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い

3 months ago・ 提供元: Relance（リランス）

【AWS】データレイク構築（python）（20代〜40代活躍中！・週4日以上稼働可能な方にぴったり！）

800,000円/月

業務委託(フリーランス)
東京都
六本木一丁目駅
PythonAWSGlue
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成（設計資料、説明資料） ・大規模バッチ処理の開発 ・AWSサービス（Glue、EC2、S3）を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【運用中ソーシャルゲーム向け】3Dエフェクトデザイン案件

600,000円/月

業務委託(フリーランス)
東京都
原宿駅
PhotoshopMayaUnity
エフェクトデザイナー
作業内容 運用中のソーシャルゲームにおいて 3Dエフェクトデザイナーとして作業をお任せいたします。 具体的には下記作業を想定しております。 ・UnityでのShurikenを使用したインゲームエフェクトの制作 ※エフェクトによって素材となるメッシュ制作作業を含みます。

19 days ago・ 提供元: レバテッククリエイター

【Python(データ分析系)】データ分析、基盤運用開発(Python)

700,000円/月

業務委託(フリーランス)
東京都
渋谷駅
Python
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【20〜40代/週5稼働可能な方歓迎】新規プロダクト開発サーバーサイドエンジニア（Python×AWS）【Python(Web開発系)】

1,000,000円/月

業務委託(フリーランス)
東京都
銀座駅
PythonAWS
サーバーサイドエンジニア
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 新規プロダクトの開発において、AWSを活用したサーバーサイドの設計および開発を担当します。ETL処理やAPI開発を中心に、技術的知見を活かしてプロダクトオーナーと連携し、仕様策定やリソース活用を進めます。データベース設計や大規模データ処理経験がある方が特に歓迎されます。 ■具体的な業務内容 ・RDBのデータベース設計および構築 ・Glue JobでPythonを使用したETL処理の設計および開発 ・API GatewayおよびLambdaを活用したAPI開発 ・AWSリソースの活用によるプロダクト開発支援 ・git flowベースのチーム開発およびリリース管理

19 days ago・ 提供元: Midworks

【Python(Web開発系) / リモート案件紹介可能】AWS活用×新規プロダクト／サーバーサイドエンジニア

リモート可

1,000,000円/月

業務委託(フリーランス)
東京都
銀座駅
PythonAWS
サーバーサイドエンジニア
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 新規プロダクトのサーバーサイド開発を担当するプロジェクトです。主にAWSのリソースを活用し、API GatewayやLambdaを利用したAPI開発やGlue Jobを用いたETL処理の設計・開発を行います。プロダクトオーナーとの仕様策定やデータベース設計を担当するだけでなく、データ処理やAPIの最適化にも携わり、幅広い知識を身に付けることが可能です。 ■具体的な業務内容 ・RDBのデータベース設計および開発 ・Glue Jobを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・AWSリソースを活用したプロダクト開発の設計・実装 ・技術的知見を活かしたプロダクトオーナーとの仕様策定 ・Git flowをベースにした開発進行

8 days ago・ 提供元: Midworks

【Python】【Python/SQL】不動産検索サービスのデータ基盤システム運用開発/データマート作成＿0.8人月?1人月

700,000円/月

業務委託(フリーランス)
東京都
半蔵門駅
PythonSQLAWSGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築（バッチ開発、データマート作成） ・要件ヒアリングやシステム改善提案 ・クラウド環境（GCP、AWS）での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【Python(Web開発系)】Python/バッチ開発・運用（フルリモート）

フルリモート

750,000円/月

業務委託(フリーランス)
東京都
淡路町駅
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【Python(Web開発系)】バックエンドエンジニア業務

1,000,000円/月

業務委託(フリーランス)
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス（Lambda、API Gatewayなど）を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【JavaScript(Vue.js)】スタートアップ企業でのバックエンドエンジニア募集！

600,000円/月

業務委託(フリーランス)
東京都
渋谷駅
JavaScriptDjangoVue.js
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

4 months ago・ 提供元: Midworks

【Python(Web開発系)】AWS活用バックエンドエンジニア業務（20代〜40代活躍中！・週4日以上稼働可能な方にぴったり！）

1,000,000円/月

業務委託(フリーランス)
東京都
銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用したバックエンドシステムの設計・開発を担当し、RDBデータベース設計やPythonを使用したETL処理、API GatewayやLambdaを用いたAPI開発を行います。技術的な知見を活かし、プロダクトオーナーと連携して仕様策定にも関与し、AWSリソースを積極的に活用したシステム開発に貢献します。 ■具体的な業務内容 ・RDBデータベース設計およびAWS Glueを使用したETL処理の開発 ・API Gateway、Lambdaを使用したAPI開発 ・プロダクトオーナーとの仕様策定および協調 ・AWSリソースを活用したインフラ構築および運用 ・Git Flowベースの開発進行およびプロジェクト管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

3 months ago・ 提供元: Midworks

【Python】ビッグデータ処理分析開発

700,000 〜 900,000円/月

業務委託(フリーランス)
神奈川県
みなとみらい駅
PythonSpark
データサイエンティスト
作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala

4 years ago・ 提供元: アットエンジニア

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

リモート可

600,000 〜 700,000円/月

業務委託(フリーランス)
PythonSQL
サーバーサイドエンジニアバックエンドエンジニア
作業内容 フロー管理システムの開発・保守作業

8 months ago・ 提供元: mijicaフリーランス

【Python】内製開発：ETLチーム

800,000円/月

業務委託(フリーランス)
東京都
PythonSpark
サーバーサイドエンジニア
作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

6 months ago・ 提供元: ココナラテック（旧：フリエン/furien）

【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス

900,000円/月

東京都
渋谷駅
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ■概要 環境設計レビュー・改善・実装・メンテナンスをお任せいたします。 ■具体的な作業内容 以下の業務をお願いします。 ・既存のAWS ETL環境の調査改善 ・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります。

2 years ago・ 提供元: Midworks

【クラウドエンジニア(AWS) / リモート案件紹介可能】AWS・GCPを活用したデータ基盤整備と移行プロジェクト

リモート可

800,000円/月

業務委託(フリーランス)
東京都
東京駅
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 AWSデータレイクからBigQueryへのデータ移行作業や、GCPデータ基盤の整備を行うプロジェクトです。PythonやSparkを活用し、データ基盤の設計・開発を進めるとともに、効率的なデータ処理環境を構築します。TerraformやCI/CDツールを利用した開発プロセスにも携わります。 ■具体的な業務内容 ・AWSデータレイク(S3 + Glue data catalog)からBigQueryへのデータ移行 ・GCPデータ基盤の整備およびワークフローエンジンの導入 ・PythonやSparkを使用したアプリケーション開発および保守 ・TerraformやCI/CDツールを利用した開発環境の整備 ・データ基盤設計および運用改善

2 years ago・ 提供元: Midworks

DMS開発メンバー　クレジットカード会社の次世代DWH（DMS）開発支援

440,000 〜 540,000円/月

東京都
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション：DMS開発メンバー ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す

9 months ago・ 提供元: フォスターフリーランス

【クラウドエンジニア(AWS)】【業務委託(準委任)】クラウドを使用した製品利用ログ分析基盤の開発・運用

650,000円/月

東京都
五反田駅
PostgreSQLAWSRedshift
作業内容 ■概要 Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。 ■具体的な作業内容 ・AWS EMRを使用したETL、データ前処理(Python、Spark)

3 years ago・ 提供元: Midworks

【クラウドエンジニア(AWS) / リモート案件紹介可能】AWSおよびGCPを活用したデータ基盤整備プロジェクト

リモート可

800,000円/月

業務委託(フリーランス)
東京都
東京駅
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 AWSおよびGCP環境でのデータ基盤整備プロジェクトです。データレイクからBigQueryへの移行作業や、GCPのデータ基盤整備を担当します。PythonやSparkを活用し、TerraformやCI/CDツールを使用した効率的な基盤開発を進めます。 ■具体的な業務内容 ・AWSのデータレイク（S3+Glue data catalog）からBigQueryへのデータ移行作業 ・GCPデータ基盤の設計および整備（ワークフローエンジン導入など） ・AWS上で動作するアプリケーションの課題発見および解決 ・Python、Hive、Sparkを使用したデータ基盤の構築

2 years ago・ 提供元: Midworks

気になる案件は見つかりましたか？

お探しの条件に合った新着案件をお知らせします

掛け合わせ条件で絞り込む

特徴で絞り込む
Spark × 在宅・リモート

あなたにピッタリの
フリーランス案件が見つかる

  • 132万件以上のフリーランス案件から一括検索

    324,116件※の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。

    ※ 2月4日(Tue)更新

    32万件以上のフリーランス案件から一括検索

  • 2あなたの経験やスキルに適した案件をメールでお知らせ

    マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。

    あなたのプロフィールからおすすめの案件・求人

今すぐ無料登録

Sparkの月額単価相場

Sparkのエージェント別案件数

Sparkのフリーランス案件・求人を保有しているフリーランスエージェントは、①レバテックフリーランス：187件、②BIGDATA NAVI：61件、③ココナラテック（旧：フリエン/furien）：60件、④Midworks：51件、⑤フリコン：37件、⑥レバテッククリエイター：34件、⑦フォスターフリーランス：23件、⑧アットエンジニア：12件、⑨HiPro Tech（ハイプロテック）：11件、⑩mijicaフリーランス：3件となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人を豊富に保有しているフリーランスエージェントは①レバテックフリーランス、②BIGDATA NAVI、③ココナラテック（旧：フリエン/furien）であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①レバテックフリーランス、②BIGDATA NAVI、③ココナラテック（旧：フリエン/furien）を中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkのエージェント別月額単価相場

Sparkのフリーランス案件・求人を保有しているフリーランスエージェント別の単価相場は、①PMO NAVI：105万円、②フリーランスポート（Freelance Port）：95万円、③HiPro Tech（ハイプロテック）：93.6万円、④Midworks：84.6万円、⑤アットエンジニア：84.2万円、⑥レバテックフリーランス：81.2万円、⑦フリコン：80.1万円、⑧1 on 1 Freelance：80万円、⑨BIGDATA NAVI：80万円、⑩フォスターフリーランス：76.5万円となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人の月額単価が高いフリーランスエージェントは①PMO NAVI、②フリーランスポート（Freelance Port）、③HiPro Tech（ハイプロテック）であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①PMO NAVI、②フリーランスポート（Freelance Port）、③HiPro Tech（ハイプロテック）を中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkの都道府県別案件数

Sparkのフリーランス案件・求人の都道府県別案件数は、①東京都：471件、②大阪府：28件、③神奈川県：9件、④福岡県：7件、⑤愛知県：6件となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人が集中している都道府県は①東京都、②大阪府、③神奈川県であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①東京都、②大阪府、③神奈川県を中心にフリーランス案件を探されることをおすすめします。

Sparkの職種別案件数

Sparkのフリーランス案件・求人の職種別案件数は、①サーバーサイドエンジニア：73件、②データサイエンティスト：62件、③バックエンドエンジニア：50件、④インフラエンジニア：42件、⑤エフェクトデザイナー：31件、⑥アプリケーションエンジニア：29件、⑦データベースエンジニア：26件、⑧SE：16件、⑨サーバーエンジニア：15件、⑩フロントエンドエンジニア：14件となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人は①サーバーサイドエンジニア、②データサイエンティスト、③バックエンドエンジニアが多いことが分かります。

Sparkの職種別平均単価

Sparkのフリーランス案件・求人の職種別の平均単価は、①Webディレクター：162.5万円、②PMO：122.5万円、③PL：117.5万円、④コンサル：114.5万円、⑤ITコンサルタント：105万円、⑥QAエンジニア：103.3万円、⑦デザイナー：100.7万円、⑧フロントエンドエンジニア：99.1万円、⑨PM：98.6万円、⑩SRE：96.3万円となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人の月額単価が高い職種は①Webディレクター、②PMO、③PLであることがわかります。

Sparkの業界別案件数

Sparkのフリーランス案件・求人の業界別案件数は、①サービス：248件、②機械：99件、③IT：99件、④広告：83件、⑤ゲーム：63件、⑥通信：54件、⑦AI：54件、⑧EC：40件、⑨SaaS：40件、⑩ソーシャルゲーム：38件となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人は①サービス、②機械、③ITが多いことが分かります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①サービス、②機械、③ITを中心に複数の業界の案件を検討されることをおすすめします。

Sparkの業界別平均単価

Sparkのフリーランス案件・求人の業界別の平均単価は、①保険：150万円、②コンサル：114.5万円、③DX：108.5万円、④Sier：99.7万円、⑤メディア：93.8万円、⑥化学：92.5万円、⑦官公庁：90万円、⑧AI：87.9万円、⑨機械：87.6万円、⑩金融系：87.5万円となっています。（※フリーランスHub調べ/2025年2月) Sparkのフリーランス案件・求人の月額単価が高い業界は①保険、②コンサル、③DXであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①保険、②コンサル、③DXを中心に複数の業界の案件を検討されることをおすすめします。

Sparkの常駐案件・リモートワーク案件割合

Sparkのフリーランス案件・求人数のリモートワーク案件・常駐案件の割合を分析するとリモートワーク案件が286件(50.5％)、常駐案件が280件(49.5％)となっています。 したがって、Sparkフリーランス案件・求人に関してはリモートワーク案件が多いことがわかります。 （※フリーランスHub調べ/2025年2月)

Spark案件のよくある質問

Sparkの月額単価の相場はどれくらいですか？

Sparkの月額単価の相場は80万円です。スキルやご経験により、

単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。

Sparkの案件数は何件ですか？

フリーランスHub上でご覧いただけるSparkの案件数は567件です。 尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。

未経験でもSparkのフリーランス案件に応募することは可能ですか？

はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。 ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。

Sparkについて

【Sparkの概要】 Spark（Apache Spark）は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。 Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。 【Spark関連案件に必要なスキル】 フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。 ※この文章は、2021年4月時点の内容です。

フリーランスエンジニア・クリエイターの案件・求人TOP

Sparkの案件・求人