お探しの条件では見つかりませんでした。
再度検索をお試しください。
再度検索をお試しください。
Sparkのフリーランス求人・案件一覧
1-30 / 全
342 件
【Scala】小売店向けサイネージ配信プラットフォーム開発案件
900,000円/月
業務委託(フリーランス)
東京都
渋谷駅
JavaPythonSQLScalaLinuxAWSDockerGitHub
アプリケーションエンジニア
作業内容
・Data Solution Unitチームでの開発において、
下記プロダクトのいづれかを想定しております。
-媒体領域の広告運用のためのプロダクトを開発するチーム
-インターネット広告関連データをデータレイクに蓄積するプロダクトを開発するチーム
-インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するチーム
-機械学習を用いたプロダクトを開発するチーム
-掲載情報や実績情報を出力、
レポーティングするための新しい分析用プロダクトを開発するチーム
2ヶ月前・ 提供元: レバテックフリーランス
NEW
【クラウドエンジニア(AWS)】【業務委託(準委任)】薬局経営を支援する薬局ダッシュボード開発におけるバックエンドエンジニア募集！【外国籍OK】
700,000円/月
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容
■概要
薬局経営を支援する薬局ダッシュボードのデータベース設計、API開発、ETL処理の開発をする責務を担っていただきます。
2020年に正式版をローンチし、利用ユーザーからは一定の高評価やフィードバックをいただいております。
今後は大規模チェーン店舗への導入や単独事業化などによる事業成長を考えており、機能拡充や品質向上のための開発を強化する必要性が高まってきています。
<サプライチェ－ン事業とは？>
・薬局における在庫管理・発注業務や流通といった業務はコンビニなど他業界と比較すると、勘と経験に多くの部分を依存しており、テクノロジーによる最適化の介在余地を多く残しています。
・AIを活用した自動発注サービス、その先には薬の二次流通への介入などを通じて、業界の変革を目指します。
■具体的な作業内容
・RDBのデータベース設計
・Glue JobでPythonを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナと協調した仕様策定
・AWS関連リソースのより積極的な活用
・Git Flowベースの開発進行
■開発環境：
■作業環境：Windows/Mac選択可
■プログラミング言語：Python
■環境・OS：AWS
■ツール：GitHub Slack
■その他：G Suite
■作業工程：基本設計|詳細設計|実装・構築・単体試験|結合試験|総合試験|受入試験|運用・保守
5日前・ 提供元: Midworks
NEW
【Unity/Unreal Engine】3Dエフェクト制作案件
650,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PhotoshopIllustratorMayaUnityUnreal EngineMotionBuilderHoudiniSpriteStudioBISHAMON
エフェクトデザイナー
作業内容
・3Dエフェクト制作案件に携わっていただきます。
・主にゲームのカットシーンの特殊領域をご担当頂きます。
・その他これまでの経験に合わせて下記項目をご担当いただきます。
‐エフェクト表現の提案、仕様作成
‐エフェクト用テクスチャ、モデルやアニメーションの作成
‐リアルタイム3Dエフェクトの作成
‐エフェクト全般のクオリティコントロール
‐タスク見積/管理（スケジュール/予算/品質管理）
‐外注管理/ディレクション
‐レギュレーション制作及びワークフローの構築
3日前・ 提供元: レバテッククリエイター
【Python】マーケティングデータ処理開発
670,000 〜 720,000円/月
業務委託(フリーランス)
リモート
JavaPythonRubyScalaHadoopSparkHive
作業内容
テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！
【概要】マーケティングデータ処理開発
【開発環境】
-言語:Java、Scala(一部:Python、Ruby)
【精算幅】140-180h
【面談】1回
【勤務地】リモート
【備考】
・服装:自由
・就業時間:9:00-17:30
※週5日〜OKの案件です！
2ヶ月前・ 提供元: テックビズフリーランス
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
600,000 〜 900,000円/月
東京都
浜松町駅
HadoopSparkAWSApache
インフラエンジニア
作業内容
データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
2ヶ月前・ 提供元: フリーランスのミカタ
フルリモート｜【AWS】有名IT企業のバックエンド・インフラエンジニア募集（フルスタック）｜～110万
1,100,000円/月
業務委託(フリーランス)
東京都
渋谷駅
JavaJavaScriptPythonRubyPerlObjective-CAndroidiOSMySQLSparkAWSDockerApacheNginxJenkinsLESSSwiftChefGoogle Cloud PlatformAnsibleTypescriptGoogle AnalyticsDatadogAuroraCloudFrontCircleCIElasticsearchmemcached
インフラエンジニアフルスタックエンジニアバックエンドエンジニアサーバーサイドエンジニア
作業内容
バックエンドエンジニアを募集します。
人数が不足しており、フルスタックとしてご活躍いただく方を想定しております。
参加される方のスキル・適性によってはアプリケーション改修などの依頼に変更することもありえます。
・SNSのシステム運用・保守
・データベースの構成変更
・キャパシティ最適化、インデックス最適化、集約など
・アプリケーションサーバの構成変更
・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う
・OS の変更・OS の更新
・CVE対応、サポート切れへの対応など
・各種ミドルウェアの更新
・CVE対応、新機能・性能改善の取り込みなど
・その他各種システム構成の変更・更新
・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など
3ヶ月前・ 提供元: ビズリンク
【Python】ビッグデータ処理分析開発
700,000 〜 900,000円/月
業務委託(フリーランス)
神奈川県
みなとみらい駅
PythonSpark
データサイエンティスト
作業内容
世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala
1年前・ 提供元: アットエンジニア
Hadoop / AWS データ分析基盤の運用改善
700,000 〜 800,000円/月
東京都
三田駅
HbaseHadoopSparkAWSHive
作業内容
テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
＜備考＞
フルリモート
ご希望の場合はオンサイトも可能
12日前・ 提供元: フォスターフリーランス
【データ分析補佐】GPSデータを用いた予測支援
700,000円/月
業務委託(フリーランス)
リモート
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容
1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
3ヶ月前・ 提供元: BIGDATA NAVI
NEW
【SQL/リモート】既存のデータパイプラインの保守
800,000円/月
業務委託(フリーランス)
東京都
豊洲駅
SQL
作業内容
・新規パイプラインの設計・構築(Sparkを想定)
・BIツールを活用した既存ダッシュボードの保守、新規ダッシュボード構築
2日前・ 提供元: フリコン
【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス
900,000円/月
東京都
渋谷駅
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容
■概要
環境設計レビュー・改善・実装・メンテナンスをお任せいたします。
■具体的な作業内容
以下の業務をお願いします。
・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります。
1ヶ月前・ 提供元: Midworks
【業務委託】【少年漫画IP新規開発ソーシャルゲーム向け】3Dエフェクト制作案件
600,000円/月
業務委託(フリーランス)
東京都
大崎駅
MayaUnity3ds Max
3Dデザイナーエフェクトデザイナーグラフィックデザイナー
作業内容
少年漫画IPを用いたソーシャルゲーム開発において、
3Dエフェクトデザイナーとして作業をお任せいたします。
具体的には下記作業を想定しております。
・SPARK GEAR、Shuriken等のツールでの演出効果エフェクト制作
・エフェクトに関する表現手法の研究並びに検証
6ヶ月前・ 提供元: レバテッククリエイター
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
600,000 〜 900,000円/月
東京都
六本木一丁目駅
PythonSparkAWSApacheGoogle Cloud Platform
作業内容
データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
3ヶ月前・ 提供元: フリーランスのミカタ
AWS データレイク・DWH管理等
650,000 〜 750,000円/月
東京都
六本木一丁目駅
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容
動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
＜開発環境＞
言語：Python, Hive, Spark
AWS：EMR, Glue, Athena, Lambda, APIGateway
GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk
＜備考＞
基本リモート
＜基本時間＞
10：00～19：00
2ヶ月前・ 提供元: フォスターフリーランス
【クラウドエンジニア(その他クラウド)】【業務委託(準委任)】在庫管理等の分散処理システム構築案件
1,500,000円/月
東京都
東京駅
HadoopApache
作業内容
■概要
在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。
■具体的な作業内容
・リーダー：1名(Hadoop有識者、テックリード)
・SIer内Hadoopスペシャリストに相談可能。
・オフショアメンバー(中国)側と連携して進める。
1ヶ月前・ 提供元: Midworks
【SPARK GEAR】【ソーシャルゲーム向け】エフェクト制作案件
500,000円/月
業務委託(フリーランス)
Spark
エフェクトデザイナー
作業内容
ソーシャルゲーム制作においてSPARK GEARを使用したエフェクト制作をお任せいたします。
※お任せする作業はスキルに応じて異なります。
1年前・ 提供元: レバテッククリエイター
AWS 分散DBを用いたデータ基盤のインフラエンジニア
700,000 〜 750,000円/月
東京都
HbaseSparkAWSHive
インフラエンジニア
作業内容
テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
＜備考＞
フルリモート
2ヶ月前・ 提供元: フォスターフリーランス
【Python,Spark】テキストマイニング
850,000円/月
業務委託(フリーランス)
東京都
JavaPythonScalaSparkGit
作業内容
AIエージェントAPIの開発を行う企業にて
テキストマイニング
■開発環境
バージョン管理ツール：Git
5ヶ月前・ 提供元: BIGDATA NAVI
【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援
1,000,000円/月
業務委託(フリーランス)
東京都
PythonScalaHadoopSpark
作業内容
業務内容：世界中から集まる製薬データの分析
メインフレームシステムのダウンサイジング
5ヶ月前・ 提供元: BIGDATA NAVI
【Scala,ApacheSpark】ビックデータ/レコメンド機能等に関する開発支援
700,000円/月
業務委託(フリーランス)
東京都
ScalaSparkApache
アプリケーションエンジニア
作業内容
Webサイトへの導入、機能そのものの改修、データ分析などなど
5ヶ月前・ 提供元: BIGDATA NAVI
【 hadoop,kafka,storm,spark】セキュリティプラットフォーム基盤構築
800,000円/月
業務委託(フリーランス)
東京都
HadoopSparkApacheKafka
作業内容
通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して
新規構築する案件となります。各種製品ログをデータレイクに蓄積し、
リアルタイムなアラート検知、およびインタラクティブな集計／分析を
可能とするプラットフォームの構築案件です。
5ヶ月前・ 提供元: BIGDATA NAVI
【Spark,Tensorflow】産学連携AIシステム開発における基盤構築
800,000円/月
業務委託(フリーランス)
東京都
SparkTensorFlow
組み込みエンジニア
作業内容
広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、
日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。
言語に関する大規模データの処理
5ヶ月前・ 提供元: BIGDATA NAVI
【Python/Spark】自社サービスSaasのデータ基盤開発
600,000 〜 700,000円/月
業務委託(フリーランス)
東京都
PythonSpark
作業内容
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
4ヶ月前・ 提供元: フリコン
人材業界でのデータエンジニア募集
1,000,000円/月
業務委託(フリーランス)
東京都
JavaSQLScalaHadoopSparkApacheHive
アプリケーションエンジニア
作業内容
■業務内容
（1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯
（2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化
（3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装
稼 働：週2日~5日 相談可能
時 間：9：30 - 18：30(応相談)
服 装：ビジネスカジュアル・私服
5ヶ月前・ 提供元: BIGDATA NAVI
【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発
600,000 〜 700,000円/月
業務委託(フリーランス)
東京都
JavaJavaScriptMySQLHadoopSparkJenkinsAnsible
アプリケーションエンジニア
作業内容
・node.js でのAPI設計・開発・テスト
・Hiveクエリの作成・テスト・チューニング
・Spark プログラムの設計・開発・テスト
・Jenkinsジョブの作成
・Ansible設定ファイルの作成
5ヶ月前・ 提供元: BIGDATA NAVI
【クラウドエンジニア(AWS)】製品利用ログ分析基盤の開発・運用
650,000円/月
東京都
五反田駅
PostgreSQLAWSRedshift
作業内容
■概要
Redshift(PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。
■具体的な作業内容
・AWS EMRを使用したETL、データ前処理(Python、Spark)
5ヶ月前・ 提供元: Midworks
【AWS】地図広告プラットフォーム開発
750,000 〜 800,000円/月
業務委託(フリーランス)
東京都
虎ノ門駅
リモート
PythonHadoopSparkAWSHiveGlueAthena
作業内容
テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です！
2ヶ月前・ 提供元: テックビズフリーランス
【リモート可｜AWS構築・データ処理】新規プロダクトのインフラ構築
500,000 〜 700,000円/月
リモート
PythonNode.jsSparkAWSDocker
作業内容
新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
2ヶ月前・ 提供元: FREE-DA
その他の開発言語・スキルから探す
その他の職種から探す
組み合わせから探す
Spark案件のよくある質問
掲載している情報以外の詳細な情報が知りたいです。
スキルやご経験によって異なりますが、参画が決まった際に参画元エージェントからお渡しする金額です。
ただし、必ずしも表示されている金額とならない場合がございますので、予めご了承ください。
Sparkの案件数は何件ですか？
フリーランスHub上でご覧いただけるSparkの案件数は342件です。
尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。
未経験でもSparkのフリーランス案件に応募することは可能ですか？
はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。
多いので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。
Sparkについて
【Sparkの概要】
Spark（Apache Spark）は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。
Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。
【Spark関連案件に必要なスキル】
フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。
※この文章は、2021年4月時点の内容です。
Sparkのフリーランス求人・案件
Sparkのフリーランス求人・案件一覧 | 【フリーランスHub】
お探しの条件では見つかりませんでした。
再度検索をお試しください。
再度検索をお試しください。
Sparkのフリーランス求人・案件一覧
1-30 / 全
342 件
【Scala】小売店向けサイネージ配信プラットフォーム開発案件
900,000円/月
業務委託(フリーランス)
東京都
渋谷駅
JavaPythonSQLScalaLinuxAWSDockerGitHub
アプリケーションエンジニア
作業内容
・Data Solution Unitチームでの開発において、
下記プロダクトのいづれかを想定しております。
-媒体領域の広告運用のためのプロダクトを開発するチーム
-インターネット広告関連データをデータレイクに蓄積するプロダクトを開発するチーム
-インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するチーム
-機械学習を用いたプロダクトを開発するチーム
-掲載情報や実績情報を出力、
レポーティングするための新しい分析用プロダクトを開発するチーム
2ヶ月前・ 提供元: レバテックフリーランス
NEW
【クラウドエンジニア(AWS)】【業務委託(準委任)】薬局経営を支援する薬局ダッシュボード開発におけるバックエンドエンジニア募集！【外国籍OK】
700,000円/月
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容
■概要
薬局経営を支援する薬局ダッシュボードのデータベース設計、API開発、ETL処理の開発をする責務を担っていただきます。
2020年に正式版をローンチし、利用ユーザーからは一定の高評価やフィードバックをいただいております。
今後は大規模チェーン店舗への導入や単独事業化などによる事業成長を考えており、機能拡充や品質向上のための開発を強化する必要性が高まってきています。
<サプライチェ－ン事業とは？>
・薬局における在庫管理・発注業務や流通といった業務はコンビニなど他業界と比較すると、勘と経験に多くの部分を依存しており、テクノロジーによる最適化の介在余地を多く残しています。
・AIを活用した自動発注サービス、その先には薬の二次流通への介入などを通じて、業界の変革を目指します。
■具体的な作業内容
・RDBのデータベース設計
・Glue JobでPythonを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナと協調した仕様策定
・AWS関連リソースのより積極的な活用
・Git Flowベースの開発進行
■開発環境：
■作業環境：Windows/Mac選択可
■プログラミング言語：Python
■環境・OS：AWS
■ツール：GitHub Slack
■その他：G Suite
■作業工程：基本設計|詳細設計|実装・構築・単体試験|結合試験|総合試験|受入試験|運用・保守
5日前・ 提供元: Midworks
NEW
【Unity/Unreal Engine】3Dエフェクト制作案件
650,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PhotoshopIllustratorMayaUnityUnreal EngineMotionBuilderHoudiniSpriteStudioBISHAMON
エフェクトデザイナー
作業内容
・3Dエフェクト制作案件に携わっていただきます。
・主にゲームのカットシーンの特殊領域をご担当頂きます。
・その他これまでの経験に合わせて下記項目をご担当いただきます。
‐エフェクト表現の提案、仕様作成
‐エフェクト用テクスチャ、モデルやアニメーションの作成
‐リアルタイム3Dエフェクトの作成
‐エフェクト全般のクオリティコントロール
‐タスク見積/管理（スケジュール/予算/品質管理）
‐外注管理/ディレクション
‐レギュレーション制作及びワークフローの構築
3日前・ 提供元: レバテッククリエイター
【Python】マーケティングデータ処理開発
670,000 〜 720,000円/月
業務委託(フリーランス)
リモート
JavaPythonRubyScalaHadoopSparkHive
作業内容
テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！
【概要】マーケティングデータ処理開発
【開発環境】
-言語:Java、Scala(一部:Python、Ruby)
【精算幅】140-180h
【面談】1回
【勤務地】リモート
【備考】
・服装:自由
・就業時間:9:00-17:30
※週5日〜OKの案件です！
2ヶ月前・ 提供元: テックビズフリーランス
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
600,000 〜 900,000円/月
東京都
浜松町駅
HadoopSparkAWSApache
インフラエンジニア
作業内容
データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
2ヶ月前・ 提供元: フリーランスのミカタ
フルリモート｜【AWS】有名IT企業のバックエンド・インフラエンジニア募集（フルスタック）｜～110万
1,100,000円/月
業務委託(フリーランス)
東京都
渋谷駅
JavaJavaScriptPythonRubyPerlObjective-CAndroidiOSMySQLSparkAWSDockerApacheNginxJenkinsLESSSwiftChefGoogle Cloud PlatformAnsibleTypescriptGoogle AnalyticsDatadogAuroraCloudFrontCircleCIElasticsearchmemcached
インフラエンジニアフルスタックエンジニアバックエンドエンジニアサーバーサイドエンジニア
作業内容
バックエンドエンジニアを募集します。
人数が不足しており、フルスタックとしてご活躍いただく方を想定しております。
参加される方のスキル・適性によってはアプリケーション改修などの依頼に変更することもありえます。
・SNSのシステム運用・保守
・データベースの構成変更
・キャパシティ最適化、インデックス最適化、集約など
・アプリケーションサーバの構成変更
・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う
・OS の変更・OS の更新
・CVE対応、サポート切れへの対応など
・各種ミドルウェアの更新
・CVE対応、新機能・性能改善の取り込みなど
・その他各種システム構成の変更・更新
・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など
3ヶ月前・ 提供元: ビズリンク
【Python】ビッグデータ処理分析開発
700,000 〜 900,000円/月
業務委託(フリーランス)
神奈川県
みなとみらい駅
PythonSpark
データサイエンティスト
作業内容
世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala
1年前・ 提供元: アットエンジニア
Hadoop / AWS データ分析基盤の運用改善
700,000 〜 800,000円/月
東京都
三田駅
HbaseHadoopSparkAWSHive
作業内容
テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
＜備考＞
フルリモート
ご希望の場合はオンサイトも可能
12日前・ 提供元: フォスターフリーランス
【データ分析補佐】GPSデータを用いた予測支援
700,000円/月
業務委託(フリーランス)
リモート
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容
1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
3ヶ月前・ 提供元: BIGDATA NAVI
NEW
【SQL/リモート】既存のデータパイプラインの保守
800,000円/月
業務委託(フリーランス)
東京都
豊洲駅
SQL
作業内容
・新規パイプラインの設計・構築(Sparkを想定)
・BIツールを活用した既存ダッシュボードの保守、新規ダッシュボード構築
2日前・ 提供元: フリコン
【Python】データレイク活用プロダクト開発案件
900,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PythonScalaAWSDockerGitHub
作業内容
・インターネット広告分析用プロダクトの新規開発において、
下記作業を想定しております。
-インターネット広告関連データを蓄積するデータレイクの開発
2ヶ月前・ 提供元: レバテックフリーランス
【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス
900,000円/月
東京都
渋谷駅
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容
■概要
環境設計レビュー・改善・実装・メンテナンスをお任せいたします。
■具体的な作業内容
以下の業務をお願いします。
・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります。
1ヶ月前・ 提供元: Midworks
【業務委託】【少年漫画IP新規開発ソーシャルゲーム向け】3Dエフェクト制作案件
600,000円/月
業務委託(フリーランス)
東京都
大崎駅
MayaUnity3ds Max
3Dデザイナーエフェクトデザイナーグラフィックデザイナー
作業内容
少年漫画IPを用いたソーシャルゲーム開発において、
3Dエフェクトデザイナーとして作業をお任せいたします。
具体的には下記作業を想定しております。
・SPARK GEAR、Shuriken等のツールでの演出効果エフェクト制作
・エフェクトに関する表現手法の研究並びに検証
6ヶ月前・ 提供元: レバテッククリエイター
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
600,000 〜 900,000円/月
東京都
六本木一丁目駅
PythonSparkAWSApacheGoogle Cloud Platform
作業内容
データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
3ヶ月前・ 提供元: フリーランスのミカタ
AWS データレイク・DWH管理等
650,000 〜 750,000円/月
東京都
六本木一丁目駅
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容
動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
＜開発環境＞
言語：Python, Hive, Spark
AWS：EMR, Glue, Athena, Lambda, APIGateway
GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk
＜備考＞
基本リモート
＜基本時間＞
10：00～19：00
2ヶ月前・ 提供元: フォスターフリーランス
【Python】インターネット広告分析用プロダクト新規開発案件
900,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PythonScalaAWSDockerGitHub
作業内容
・インターネット広告分析用プロダクトの新規開発において、
下記いづれかのチームでの作業を想定しております。
-媒体領域の広告運用のためのプロダクトの開発
-インターネット広告関連データを蓄積するデータレイクの開発
-機械学習を用いたプロダクトの開発
-掲載情報や実績情報を出力、レポーティングするための分析用プロダクト開発
2ヶ月前・ 提供元: レバテックフリーランス
【クラウドエンジニア(その他クラウド)】【業務委託(準委任)】在庫管理等の分散処理システム構築案件
1,500,000円/月
東京都
東京駅
HadoopApache
作業内容
■概要
在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。
■具体的な作業内容
・リーダー：1名(Hadoop有識者、テックリード)
・SIer内Hadoopスペシャリストに相談可能。
・オフショアメンバー(中国)側と連携して進める。
1ヶ月前・ 提供元: Midworks
【SPARK GEAR】【ソーシャルゲーム向け】エフェクト制作案件
500,000円/月
業務委託(フリーランス)
Spark
エフェクトデザイナー
作業内容
ソーシャルゲーム制作においてSPARK GEARを使用したエフェクト制作をお任せいたします。
※お任せする作業はスキルに応じて異なります。
1年前・ 提供元: レバテッククリエイター
AWS 分散DBを用いたデータ基盤のインフラエンジニア
700,000 〜 750,000円/月
東京都
HbaseSparkAWSHive
インフラエンジニア
作業内容
テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
＜備考＞
フルリモート
2ヶ月前・ 提供元: フォスターフリーランス
【Python,Spark】テキストマイニング
850,000円/月
業務委託(フリーランス)
東京都
JavaPythonScalaSparkGit
作業内容
AIエージェントAPIの開発を行う企業にて
テキストマイニング
■開発環境
バージョン管理ツール：Git
5ヶ月前・ 提供元: BIGDATA NAVI
【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援
1,000,000円/月
業務委託(フリーランス)
東京都
PythonScalaHadoopSpark
作業内容
業務内容：世界中から集まる製薬データの分析
メインフレームシステムのダウンサイジング
5ヶ月前・ 提供元: BIGDATA NAVI
【Scala,ApacheSpark】ビックデータ/レコメンド機能等に関する開発支援
700,000円/月
業務委託(フリーランス)
東京都
ScalaSparkApache
アプリケーションエンジニア
作業内容
Webサイトへの導入、機能そのものの改修、データ分析などなど
5ヶ月前・ 提供元: BIGDATA NAVI
【 hadoop,kafka,storm,spark】セキュリティプラットフォーム基盤構築
800,000円/月
業務委託(フリーランス)
東京都
HadoopSparkApacheKafka
作業内容
通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して
新規構築する案件となります。各種製品ログをデータレイクに蓄積し、
リアルタイムなアラート検知、およびインタラクティブな集計／分析を
可能とするプラットフォームの構築案件です。
5ヶ月前・ 提供元: BIGDATA NAVI
【Spark,Tensorflow】産学連携AIシステム開発における基盤構築
800,000円/月
業務委託(フリーランス)
東京都
SparkTensorFlow
組み込みエンジニア
作業内容
広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、
日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。
言語に関する大規模データの処理
5ヶ月前・ 提供元: BIGDATA NAVI
【Python/Spark】自社サービスSaasのデータ基盤開発
600,000 〜 700,000円/月
業務委託(フリーランス)
東京都
PythonSpark
作業内容
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
4ヶ月前・ 提供元: フリコン
人材業界でのデータエンジニア募集
1,000,000円/月
業務委託(フリーランス)
東京都
JavaSQLScalaHadoopSparkApacheHive
アプリケーションエンジニア
作業内容
■業務内容
（1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯
（2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化
（3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装
稼 働：週2日~5日 相談可能
時 間：9：30 - 18：30(応相談)
服 装：ビジネスカジュアル・私服
5ヶ月前・ 提供元: BIGDATA NAVI
【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発
600,000 〜 700,000円/月
業務委託(フリーランス)
東京都
JavaJavaScriptMySQLHadoopSparkJenkinsAnsible
アプリケーションエンジニア
作業内容
・node.js でのAPI設計・開発・テスト
・Hiveクエリの作成・テスト・チューニング
・Spark プログラムの設計・開発・テスト
・Jenkinsジョブの作成
・Ansible設定ファイルの作成
5ヶ月前・ 提供元: BIGDATA NAVI
【クラウドエンジニア(AWS)】製品利用ログ分析基盤の開発・運用
650,000円/月
東京都
五反田駅
PostgreSQLAWSRedshift
作業内容
■概要
Redshift(PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。
■具体的な作業内容
・AWS EMRを使用したETL、データ前処理(Python、Spark)
5ヶ月前・ 提供元: Midworks
【AWS】地図広告プラットフォーム開発
750,000 〜 800,000円/月
業務委託(フリーランス)
東京都
虎ノ門駅
リモート
PythonHadoopSparkAWSHiveGlueAthena
作業内容
テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です！
2ヶ月前・ 提供元: テックビズフリーランス
【リモート可｜AWS構築・データ処理】新規プロダクトのインフラ構築
500,000 〜 700,000円/月
リモート
PythonNode.jsSparkAWSDocker
作業内容
新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
2ヶ月前・ 提供元: FREE-DA
組み合わせから探す
Spark案件のよくある質問
掲載している情報以外の詳細な情報が知りたいです。
スキルやご経験によって異なりますが、参画が決まった際に参画元エージェントからお渡しする金額です。
ただし、必ずしも表示されている金額とならない場合がございますので、予めご了承ください。
Sparkの案件数は何件ですか？
フリーランスHub上でご覧いただけるSparkの案件数は342件です。
尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。
未経験でもSparkのフリーランス案件に応募することは可能ですか？
はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。
多いので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。
Sparkについて
【Sparkの概要】
Spark（Apache Spark）は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。
Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。
【Spark関連案件に必要なスキル】
フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。
※この文章は、2021年4月時点の内容です。
Sparkのフリーランス求人・案件