Sparkのフリーランス案件・求人一覧
選択中の条件
リセット
Sparkの案件・求人一覧
1-30 / 全 554 件
【Python /一部リモート/週5日】フロー管理システムの開発・保守作業
600,000 〜 700,000円/月
業務委託(フリーランス)
PythonSQL
サーバーサイドエンジニアバックエンドエンジニア
作業内容
フロー管理システムの開発・保守作業
【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業
400,000 〜 550,000円/月
業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSparkKafka
サーバーサイドエンジニアバックエンドエンジニア
作業内容
某通信会社向け開発支援作業
データ加工処理マイグレーション検討
700,000 〜 900,000円/月
東京都
門前仲町駅
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。
現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。
現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。
※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ
クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。
現在想定しているマイグレーション例は、以下の通りです。
-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換
→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の
Spark関連マネージド・サービスにマイグレーション
＜就業時間＞
9:00ｰ18:00
【Golang(リモート)】データ分析基盤及びETL基盤/システム開発支援
800,000円/月
業務委託(フリーランス)
東京都
GoLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch
作業内容 ・システムアーキテクチャの検討、選定及び設計、実装
・ビッグデータを分析（加工）する為の分散処理基盤の開発など
【環境】
・OS（インフラ）：GCP、Spark、Kubernetes、Linux
・DB：Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL
・ツール：JIRA、Git、Slack
【Python】内製開発：ETLチーム
800,000円/月
業務委託(フリーランス)
東京都
PythonSpark
サーバーサイドエンジニア
作業内容 ・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
800,000円/月
業務委託(フリーランス)
東京都
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【Python/AWS】BigData領域のWeb開発(フルリモート)
800,000円/月
業務委託(フリーランス)
東京都
PythonDynamoDBAWSAmazon S3
バックエンドエンジニア
作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。
Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。
ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。
ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。
【Linux】ビックデータリプレース案件
550,000円/月
業務委託(フリーランス)
愛知県
久屋大通駅
JavaLinux
サーバーエンジニア
作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。
・主に以下のような業務に携わっていただきます。
＜メイン作業＞
移行作業（移行手順書作成、移行作業操作）
・Linuxコマンド
・Spark（Scala≒JavaのSpark処理）
・SnowflakeDB参照（他のDBと大差なし）
＜サブ作業＞
・JavaによるSnowflake API（Snowpark API）作成
・JavaによるAzure Functions作成
【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援
400,000 〜 500,000円/月
業務委託(フリーランス)
神奈川県
武蔵小杉駅
Python
サーバーサイドエンジニアバックエンドエンジニア
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守
データ蓄積基盤の開発
下記いずれかに該当する方を求めています。
・Java/Scala/Pythonの開発経験
・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験
・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験
・Pandasライブライを用いた開発経験
・DataPipeline構築経験(ETL開発経験)
・AWS上でのシステム開発経験3年以上
・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用
・ServerlessFrameworkやCloudFormationを用いたリソース管理
・RDB/DWHの設計、パフォーマンスチューニングを行った経験
・アジャイルでのシステム開発経験
・JIRA/Confluence/Backlogなどを利用した開発経験
【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の案件・求人
600,000円/月
業務委託(フリーランス)
東京都
虎ノ門駅
PythonHadoopSparkAWSHiveGlueAthena
作業内容 ＝＝＝＝＝
※重要※
▼必ずお読みください▼
【必須要件】
・20～40代までの方、活躍中！
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
＝＝＝＝＝
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間：随時～
地図広告プラットフォーム開発
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
Python 内製開発（ETLチーム）
520,000 〜 620,000円/月
東京都
品川駅
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。
＜業務内容＞
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
＜就業時間＞
9:00～18:00
Python 大手通信系企業内の内製開発（ETLチーム）
600,000 〜 700,000円/月
東京都
PythonSpark
作業内容 以下業務をご対応いただきます。
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
【Java(Spring Boot)】【業務委託(準委任)】道路交通系開発案件【リモートOK】
700,000円/月
大阪府
新大阪駅
JavaSQLSpring
作業内容 【20代~30代のITエンジニアが活躍中！】
■概要
道路交通系開発をお任せいたします。
Hadoop上で動作する道路交通系システムの開発をご担当いただきます。
■作業工程：詳細設計～結合テスト
世界進出！【ライブ配信アプリ/フルリモート/AWS,GCP/大手企業と連続起業家のスタートアップとの合弁会社】グローバル向け大規模ライブ配信アプリのインフラエンジニア業務(jd01383)
500,000 〜 700,000円/月
業務委託(フリーランス)
GoSparkAWSApacheGitGoogle Cloud PlatformBigQueryKubernetes
インフラエンジニア
作業内容 Q&Aに特化したライブ配信アプリを開発しております。
インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。
■チーム構成
・PdM：1名
・バックエンドエンジニア：2名
・モバイルエンジニア：3名
・プロダクトデザイナー：1名
■開発環境
? 分散DB（Cloud Spanner）
? 言語：Go言語
? 通信 ：connect-go proto
? コンピューティング：Kubernetes → Cloud Run
? DWH・パイプライン構築
? BigQuery
? Apache Spark
■会社の魅力
大企業の持つ資本力とベンチャーの持つスピード感を両立しており、０ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。
ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス（Q&Aに特化したライブ配信アプリ）を今年の春、リリース予定となっております。
■部署の魅力や雰囲気
・積極的に新しい仕組みやツールに挑戦する
・ビジネスとエンジニアの距離が近い
・エンジニアからも機能提案などする機会が多い
【Python/フルリモート可能】Saasプロダクトデータ基盤構築の案件・求人
700,000円/月
業務委託(フリーランス)
フルリモート
PythonSQLSparkAWSDocker
作業内容 ＝＝＝＝＝
※重要※
▼必ずお読みください▼
【必須要件】
・20～40代までの方、活躍中！
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
＝＝＝＝＝
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間：随時～
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語：Python、SQL
・DB:Aurora(PostgreSQL互換)、Redshift
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ：AWS
・AWS製品：ECS、S3、StepFunctions、Lambda、CloudWatch
・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
【AWS/Python/リモート併用】インフラ構築の案件・求人
700,000円/月
業務委託(フリーランス)
リモート
PythonAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 ＝＝＝＝＝
※重要※
▼必ずお読みください▼
【必須要件】
・20～40代までの方、活躍中！
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
＝＝＝＝＝
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間：随時～
・Lob分析サービス開発運用
・TVなどの操作Logをもとにランキングなどを出力するサービス開発
（AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発）
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
データアーキテクト エンタープライズ
900,000 〜 1,200,000円/月
東京都
JavaPythonSQLScalaHadoopSparkAWSAzureTableau
作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。
※エンジニアではなくコンサル枠となります。
さまざまなサービスと実装パターンを活用して、
安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。
具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、
データの取り込み、保存、処理、消費のためのソリューションを設計します。
組織の要件に応じて、アーキテクチャが高可用性、災害復旧、
およびグローバル分散向けに設計されていることが目的です。
＜想定される作業＞
・データエンジニアと緊密に連携し、
バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。
・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、
高度な分析や機械学習プロジェクトをサポートします。
1.データモデリング
2.データベース管理
3.データ統合
4.データガバナンスとセキュリティ
5.データ分析と視覚化
6.テクノロジーの評価と実装
7.コラボレーションとコミュニケーション
8.戦略計画
※各項目詳細は、面談時にお伝えさせていただきます。
【Ruby3年以上/フルリモート可能/週5稼働/20~40代活躍中】SaaS開発の案件・求人
800,000円/月
業務委託(フリーランス)
フルリモート
RubyRails
作業内容 ＝＝＝＝＝
※重要※
▼必ずお読みください▼
【必須要件】
・20～40代までの方、活躍中！
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
＝＝＝＝＝
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間：随時～
■内容：
ECカートシステムと関連する周辺アプリケーションの開発です。
■環境：
言語：Go / TypeScript / Python / Ruby / Ruby
AWS: EKS / S3 / Aurora / ECR / System manager / Secrets manager / Route 53 / Step functions / Lambda / Redshift / Cloud watch
使用技術: Apache Spark / Trino / Apache Iceberg / Kafka / Apache Superset / Argo Workflows / Argo Events / Airbyte / Jupyter Notebook / Grafana / Prometheus / Docker, Postman / gRPC
ツール: Slack / GitHub / GitHub Copilot / Github actions / Notion / Lens Pro
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
【Python(データ分析系)】データ分析、基盤運用開発(Python)
700,000円/月
業務委託(フリーランス)
東京都
渋谷駅
Python
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。
■具体的な業務内容
・ビッグデータを扱う分析用システムの構築
・要件確認、調査分析、設計開発、テストの実施
・Pythonを使用した設計および開発
・アジャイル開発プロセスでのプロジェクト推進
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(データ分析系)】データ連携アプリ開発(Python, AWS Fargate)
650,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PythonAWSFargate
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK（Python）を用いたインフラ管理の知識が求められます。
■具体的な業務内容
・Pythonを用いたアプリケーション設計および実装
・AWS Fargate上での開発および運用
・総合テストの計画および実施
・Dockerイメージの作成および管理
・AWS CDK（Python）を用いたインフラのコード化（IaC）
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python】【Python/SQL】不動産検索サービスのデータ基盤システム運用開発/データマート作成＿0.8人月?1人月
700,000円/月
業務委託(フリーランス)
東京都
半蔵門駅
PythonSQLAWSGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。
■具体的な業務内容
・データ集積システムの構築（バッチ開発、データマート作成）
・要件ヒアリングやシステム改善提案
・クラウド環境（GCP、AWS）での開発および運用
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【AWS】データレイク構築（python）
800,000円/月
業務委託(フリーランス)
東京都
六本木一丁目駅
PythonAWSGlue
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。
■具体的な業務内容
・データレイクの設計および構築
・ドキュメント作成（設計資料、説明資料）
・大規模バッチ処理の開発
・AWSサービス（Glue、EC2、S3）を使用したデータ処理
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】Python/バッチ開発・運用（フルリモート）
750,000円/月
業務委託(フリーランス)
東京都
淡路町駅
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。
■具体的な業務内容
・Pythonを使用したバッチ開発および改修
・データベースへのデータインサート
・GCP環境でのシステム開発および運用
・データ処理の高速化および自動化対応
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】バックエンドエンジニア業務
1,000,000円/月
業務委託(フリーランス)
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。
■具体的な業務内容
・AWSサービス（Lambda、API Gatewayなど）を利用したシステム開発
・Glue Jobを使用したETL処理の設計および開発
・Pythonを使用したサーバーサイド開発
・プロダクトオーナーとの協力による仕様策定
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【JavaScript(Vue.js)】スタートアップ企業でのバックエンドエンジニア募集！
600,000円/月
業務委託(フリーランス)
東京都
渋谷駅
JavaScriptDjangoVue.js
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。
■具体的な業務内容
・Djangoを使用したWEBサービスのバックエンド開発
・Vue.jsを用いたフロントエンド開発
・APIやシステムの設計および開発
・GCPやAWSを利用したインフラ構築および運用
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】AWS活用バックエンドエンジニア業務
1,000,000円/月
業務委託(フリーランス)
東京都
銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中！】
※週４日〜OK案件です！
※実務経験2年以上ありの方が対象の案件です！
■概要
AWSを活用したバックエンドシステムの設計・開発を担当し、RDBデータベース設計やPythonを使用したETL処理、API GatewayやLambdaを用いたAPI開発を行います。技術的な知見を活かし、プロダクトオーナーと連携して仕様策定にも関与し、AWSリソースを積極的に活用したシステム開発に貢献します。
■具体的な業務内容
・RDBデータベース設計およびAWS Glueを使用したETL処理の開発
・API Gateway、Lambdaを使用したAPI開発
・プロダクトオーナーとの仕様策定および協調
・AWSリソースを活用したインフラ構築および運用
・Git Flowベースの開発進行およびプロジェクト管理
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python】ビッグデータ処理分析開発
700,000 〜 900,000円/月
業務委託(フリーランス)
神奈川県
みなとみらい駅
PythonSpark
データサイエンティスト
作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala
【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス
900,000円/月
東京都
渋谷駅
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ■概要
環境設計レビュー・改善・実装・メンテナンスをお任せいたします。
■具体的な作業内容
以下の業務をお願いします。
・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります。
DMS開発メンバー クレジットカード会社の次世代DWH（DMS）開発支援
440,000 〜 540,000円/月
東京都
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・ポジション：DMS開発メンバー
・業務内容：
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程：
FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。
※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す
【クラウドエンジニア(AWS)】【業務委託(準委任)】クラウドを使用した製品利用ログ分析基盤の開発・運用
650,000円/月
東京都
五反田駅
PostgreSQLAWSRedshift
作業内容 ■概要
Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。
■具体的な作業内容
・AWS EMRを使用したETL、データ前処理(Python、Spark)
気になる案件は見つかりましたか？
お探しの条件に合った新着案件をお知らせします
掛け合わせ条件で絞り込む
- 特徴で絞り込む
- Spark × 在宅・リモート
その他の条件で検索する
あなたにピッタリの
フリーランス案件が見つかる
130万件以上のフリーランス案件から一括検索
308,779件※の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。
※ 11月23日(Sat)更新
2あなたの経験やスキルに適した案件をメールでお知らせ
マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。
Sparkの月額単価相場
Sparkのエージェント別案件数
Sparkのフリーランス案件・求人を保有しているフリーランスエージェントは、①レバテックフリーランス：184件、②ココナラテック（旧：フリエン/furien）：61件、③BIGDATA NAVI：61件、④Midworks：47件、⑤フリコン：36件、⑥レバテッククリエイター：33件、⑦フォスターフリーランス：23件、⑧テックリーチ：18件、⑨アットエンジニア：12件、⑩HiPro Tech（ハイプロテック）：11件となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人を豊富に保有しているフリーランスエージェントは①レバテックフリーランス、②ココナラテック（旧：フリエン/furien）、③BIGDATA NAVIであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①レバテックフリーランス、②ココナラテック（旧：フリエン/furien）、③BIGDATA NAVIを中心に複数のフリーランスエージェントに登録することをおすすめします。
Sparkのエージェント別月額単価相場
Sparkのフリーランス案件・求人を保有しているフリーランスエージェント別の単価相場は、①PMO NAVI：105万円、②フリーランスポート（Freelance Port）：95万円、③HiPro Tech（ハイプロテック）：93.6万円、④Midworks：84.4万円、⑤アットエンジニア：84.2万円、⑥レバテックフリーランス：81.1万円、⑦フリコン：80.6万円、⑧1 on 1 Freelance：80万円、⑨BIGDATA NAVI：80万円、⑩フォスターフリーランス：76.5万円となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人の月額単価が高いフリーランスエージェントは①PMO NAVI、②フリーランスポート（Freelance Port）、③HiPro Tech（ハイプロテック）であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①PMO NAVI、②フリーランスポート（Freelance Port）、③HiPro Tech（ハイプロテック）を中心に複数のフリーランスエージェントに登録することをおすすめします。
Sparkの都道府県別案件数
Sparkのフリーランス案件・求人の都道府県別案件数は、①東京都：461件、②大阪府：26件、③神奈川県：9件、④福岡県：7件、⑤愛知県：6件となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人が集中している都道府県は①東京都、②大阪府、③神奈川県であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①東京都、②大阪府、③神奈川県を中心にフリーランス案件を探されることをおすすめします。
Sparkの職種別案件数
Sparkのフリーランス案件・求人の職種別案件数は、①サーバーサイドエンジニア：71件、②データサイエンティスト：62件、③バックエンドエンジニア：49件、④インフラエンジニア：42件、⑤エフェクトデザイナー：30件、⑥アプリケーションエンジニア：30件、⑦データベースエンジニア：25件、⑧サーバーエンジニア：15件、⑨フロントエンドエンジニア：14件、⑩スマホアプリエンジニア：13件となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人は①サーバーサイドエンジニア、②データサイエンティスト、③バックエンドエンジニアが多いことが分かります。
Sparkの職種別平均単価
Sparkのフリーランス案件・求人の職種別の平均単価は、①Webディレクター：162.5万円、②PMO：122.5万円、③PL：117.5万円、④コンサル：114.5万円、⑤ITコンサルタント：105万円、⑥QAエンジニア：103.3万円、⑦デザイナー：100.7万円、⑧フロントエンドエンジニア：99.1万円、⑨PM：98.6万円、⑩SRE：96.3万円となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人の月額単価が高い職種は①Webディレクター、②PMO、③PLであることがわかります。
Sparkの業界別案件数
Sparkのフリーランス案件・求人の業界別案件数は、①サービス：242件、②IT：99件、③機械：97件、④広告：82件、⑤ゲーム：62件、⑥通信：54件、⑦AI：54件、⑧EC：41件、⑨SaaS：39件、⑩ソーシャルゲーム：37件となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人は①サービス、②IT、③機械が多いことが分かります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①サービス、②IT、③機械を中心に複数の業界の案件を検討されることをおすすめします。
Sparkの業界別平均単価
Sparkのフリーランス案件・求人の業界別の平均単価は、①保険：150万円、②コンサル：114.5万円、③DX：108.5万円、④Sier：99.7万円、⑤メディア：93.8万円、⑥化学：92.5万円、⑦官公庁：90万円、⑧AI：88.1万円、⑨機械：87.7万円、⑩金融系：87.5万円となっています。（※フリーランスHub調べ/2024年11月) Sparkのフリーランス案件・求人の月額単価が高い業界は①保険、②コンサル、③DXであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①保険、②コンサル、③DXを中心に複数の業界の案件を検討されることをおすすめします。
Sparkの常駐案件・リモートワーク案件割合
Sparkのフリーランス案件・求人数のリモートワーク案件・常駐案件の割合を分析するとリモートワーク案件が278件(50.2％)、常駐案件が276件(49.8％)となっています。 したがって、Sparkフリーランス案件・求人に関してはリモートワーク案件が多いことがわかります。 （※フリーランスHub調べ/2024年11月)
Spark案件のよくある質問
Sparkの月額単価の相場はどれくらいですか？
Sparkの月額単価の相場は80万円です。スキルやご経験により、
単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。
Sparkの案件数は何件ですか？
フリーランスHub上でご覧いただけるSparkの案件数は554件です。
尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。
未経験でもSparkのフリーランス案件に応募することは可能ですか？
はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。
ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。
Sparkについて
【Sparkの概要】
Spark（Apache Spark）は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。
Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。
【Spark関連案件に必要なスキル】
フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。
※この文章は、2021年4月時点の内容です。
Sparkの案件・求人