Sparkのフリーランス案件・求人一覧 | 9ページ目
選択中の条件
リセット
Sparkの案件・求人一覧 9ページ目
241-270 / 全 586 件
- 募集終了
【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件
700,000円/月
業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守
- 関係者からのヒアリング・データ調査
- メンテナンス性・汎用性を意識したテーブルの設計
- SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
言語＿＿＿＿：SQL,Python,ShellScript
ＦW＿＿＿＿：Apache Spark
環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github
- 募集終了
AWS / Python IoTデータ分析基盤の設計・構築・テスト
600,000 〜 800,000円/月
東京都
新宿駅
PythonSparkAWSGitGlue
作業内容 AWS上に、IoTデータを集積したレイクハウスを設計・構築いたします。
AWS Glue、StepFunctionsによる設計・構築・テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS GlueやSparkの技術に明るく、性能面、コスト面から最適化のアプローチができる方を募集しております。
＜基本時間＞
10：00～19：00
- 募集終了
【DWH/SQL】DWH設計開発案件
950,000円/月
業務委託(フリーランス)
東京都
大崎駅
SQLSQL ServerSparkApacheGitBacklogJIRAGitHub
インフラエンジニアデータベースエンジニア
作業内容 ・組織全体の意思決定をデータドリブンに行っていくために必要な
DWH層テーブルの設計、開発、保守をお任せいたします。
・具体的には以下のような作業が発生いたします。
‐DWH層テーブルの設計
‐DWH層テーブルのSQL及び、PySparkを用いた実装
‐DWH層のテーブルについての問い合わせ対応、不具合解消
‐DWH層開発環境の設計、開発、保守、運用
- 募集終了
大手キャリア向けPM業務
700,000 〜 850,000円/月
業務委託(フリーランス)
東京都
PythonNode.jsSparkAWSFargate
PM
作業内容 通信会社がポイントを使える街の店舗を紹介するような新規サービスを考えており、そのサービスのうちレコメンド機能部分を開発する。
技術要素としては、AWS上でSpark on EMR環境を構築し、その上で機械学習モデルを動かし、これをクライアントアプリから使えるようWeb API化する(AWSのFargate上で動かすことを想定、アプリケーションのプログラム言語やWebフレームワークはまだ決まっていないが、昨今のトレンドからしてPython, Node.js, Goあたりになると思われる)
＜備考＞
基本リモート
- 募集終了
Python 内製開発（ETLチーム）
520,000 〜 620,000円/月
東京都
品川駅
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。
＜業務内容＞
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
＜就業時間＞
9:00～18:00
※※こちらの案件は現在募集を終了しております※※
- 募集終了
【Python】論文検索システム構築案件
750,000円/月
業務委託(フリーランス)
東京都
新日本橋駅
PythonShellHbaseDjangoSparkSolr
作業内容 ・論文検索システムの構築に携わって頂きます。
・設計から幅広く担当して頂きます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
- 募集終了
【分析基盤エンジニア】データエンジニア業務
1,000,000円/月
業務委託(フリーランス)
リモート
JavaPythonSparkGitHubTypeScriptKubernetes
作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む
- 募集終了
【Python】TVなどの操作Logをもとにランキングなどを出力するサービスの開発
630,000 〜 680,000円/月
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅※フルリモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です！
- 募集終了
【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件
650,000円/月
業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守
関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守
【環境】
言語：SQL,Python
ＦW：Apache Spark
環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール：Docker,Terraform,JIRA,Github
- 募集終了
【Python/SQLなど】データエンジニアの求人・案件
650,000円/月
業務委託(フリーランス)
リモート
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。
- 募集終了
プラットフォーム構築メンバー クレジットカード会社の次世代DWH（DMS）開発支援
440,000 〜 540,000円/月
東京都
SASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・業務内容：
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程：
FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。
※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す
- 募集終了
【Python】大手自動車部品メーカー向けwebアプリケーション開発
600,000円/月
業務委託(フリーランス)
東京都
Python
サーバーサイドエンジニア
作業内容 自動車の走行距離のデータをPythonにて解析するwebアプリケーション開発を担当していただきます。
- 募集終了
【Azure】Azure構築案件
1,000,000円/月
業務委託(フリーランス)
東京都
HadoopAzure
サーバーエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおり
DMCから逆輸入による導入を実施。
・リーダー：一名 (hadoop有識者、テックリード)
・SIer内hadoopスペシャリストに相談可能。
・オフショアメンバー（中国）側と連携して進める。
- 募集終了
【Azure】クラウドエンジニアの求人・案件
1,100,000円/月
業務委託(フリーランス)
東京都
リモート
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入
- 募集終了
【Python】Lob分析サービス開発運用
630,000 〜 680,000円/月
業務委託(フリーランス)
東京都
大崎駅
フルリモート
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！
【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅
※フルリモート
【勤務時間】
9:00~18:00
【精算】
140-180h
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です！
- 募集終了
広告配信システム配信データ分析案件
850,000円/月
業務委託(フリーランス)
東京都
渋谷駅
PythonSQLLinuxSparkGitHub
作業内容 ・広告配信システムにおいて、下記の配信データ分析に携わっていただきます。
-数値に基づいた意思決定をするためのデータ分析
-新規配信手法のプロトタイプ作成・提案
-データ可視化システムを用いたレポーティング・プレゼンなど
- 募集終了
Databricks／次世代DWH開発
600,000円/月
業務委託(フリーランス)
東京都
SparkAWSAzureApache
インフラエンジニア
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、複数社が持つデータを掛け合わせ、分析が可能なデータ分析基盤を構築するプロジェクトが進行しています。そこで、クレジットカード会社の開発において、グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行います。本件では開発メンバーを募集いたします。
＜実施工程＞
オンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、
今後は完全移行を目指す。
＜想定工程＞
2024年7 月～要件定義開始、2025月5月にリリースを目指す
開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
- 募集終了
Python 大手通信系企業内の内製開発（ETLチーム）
600,000 〜 700,000円/月
東京都
PythonSpark
作業内容 以下業務をご対応いただきます。
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
※※こちらの案件は現在募集を終了しております※※
- 募集終了
【Scala】スマホ向けDSP開発案件
800,000円/月
業務委託(フリーランス)
東京都
渋谷駅
ScalaLinuxAWSGitHubGoogle Cloud PlatformRedshift
アプリケーションエンジニアデータベースエンジニア
作業内容 ・スマートフォンの成果報酬課金型DSPの広告配信システムの開発と、
Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。
- 募集終了
【Python】通信会社向け販促システム開発案件
800,000円/月
業務委託(フリーランス)
東京都
半蔵門駅
PythonMySQLHadoopSparkApache
作業内容 ・通信会社向け販促システム開発に携わっていただきます。
・主に下記作業をご担当いただきます。
-Webスクレイピング
-追加機能開発
・フルリモートでの作業を想定しております。
※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる
想定です。
- 募集終了
New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件
1,000,000円/月
業務委託(フリーランス)
東京都
リモート
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。
- 募集終了
【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件
700,000円/月
業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ：AWS
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry
- 募集終了
メディアデータを収集したDMP活用、様々なアルゴリズムの開発
1,300,000円/月
業務委託(フリーランス)
東京都
PythonRHadoopSparkAWSGoogle Cloud Platform
データサイエンティスト
作業内容 概要
国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う
業務目的
施策で使われるモデルやアルゴリズムを実装し、運用すること。
部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。
プロジェクト例
● 横断データを活用した、カスタマーのライフイベントタイミング予測
● カスタマー属性の予測(年収、職業など)
- 募集終了
【データエンジニア】データ基盤構築案件
850,000円/月
業務委託(フリーランス)
東京都
銀座駅
PythonAWSAzureGoogle Cloud PlatformTrelloBigQuery
データサイエンティストサーバーサイドエンジニア
作業内容 ・下記作業をご担当いただきます。
-Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発、運用
-Apache Sparkを利用したETL処理の開発
-各サービス開発チームのデータエンジニアリングの支援
- 募集終了
【Python/フルリモート】データ分析基盤及びETL基盤・システム開発支援案件
950,000円/月
業務委託(フリーランス)
福岡県
中洲川端駅
PythonSQLGoC#ScalaLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch
作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。
・システムアーキテクチャの検討、選定及び設計、実装、ビッグデータを分析(加工)するための分散処理基盤の開発を行っていただきます。
・主にPython・Goを用いて開発をご担当いただきます。
- 募集終了
【Python】自社サービスSaas｜～90万｜フルリモート
900,000円/月
業務委託(フリーランス)
フルリモート
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda
データベースエンジニア
作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、
開発メンバー全員でスプリントを消化していく体制になります。
- 募集終了
【Python/20代30代活躍中】Lob分析サービス開発運用
630,000 〜 680,000円/月
業務委託(フリーランス)
リモート
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅
※完全リモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
- 募集終了
マーケティングプラットフォームの開発！サーバーサイドエンジニア募集
640,000円/月
東京都
新宿駅
JavaJavaScriptRubyScalaRailsAngular
サーバーサイドエンジニア
作業内容 主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。
【具体的には】
・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発
・プロモーションメール配信やマーケティングオートメーション機能の保守開発
・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発
クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。
【開発環境】
* サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala
* フロント：JavaScript (vue.js等) / AngularJS / CSS3 / HTML5 / ES6 / CoffeeScript
* ミドル：EMR / Spark / Mahaut / TensorFlow
* DB：RDS MySQL / Redshift / Aurora / DynamoDB
* VM/OS：Docker / EC2 / Windows / Mac
* その他：Slack / git + github / Redmine / Confluence / CircleCI / Ansible
※IDEや開発環境、gitクライアントは、お好きなものをご利用いただけます。
- 募集終了
【Python(リモート)】AI系サービスデータ基盤構築
750,000円/月
業務委託(フリーランス)
東京都
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）
〜技術環境〜
OS：Linux、Windows
言語：Python、SQL
DB：Redshift、Aurora(PostgreSQL互換)
Cloud：AWS（ECS、S3、StepFunctions、Lambda、Redshift、Aurora等）
DWH：BigQuery、TreasureData等
機械学習系：Kedro、MLflow
CI：CircleCI
監視系：Sentry
その他：GitHub、Slack、CircleCI
- 募集終了
【AWS/Python】データ連携アプリ開発
800,000円/月
業務委託(フリーランス)
東京都
PythonAWSFargate
バックエンドエンジニア
作業内容 同社クライアントのDX事業会社様の案件になります。
現在開発中のシステムに対する追加機能の設計実装をお任せ致します。
工程：アプリケーション設計～総合テスト
気になる案件は見つかりましたか？
お探しの条件に合った新着案件をお知らせします
掛け合わせ条件で絞り込む
- 特徴で絞り込む
- Spark × 在宅・リモート
その他の条件で検索する
あなたにピッタリの
フリーランス案件が見つかる
133万件以上のフリーランス案件から一括検索
336,152件※の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。
※ 4月4日(Fri)更新
2あなたの経験やスキルに適した案件をメールでお知らせ
マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。
Sparkの案件・求人