リセット

Sparkの案件・求人一覧 4ページ目

121-160 / 全 658 件

(リモート)データ分析ツールの導入・開発保守【Python】

550,000円/月

業務委託(フリーランス)
東京都
東陽町駅
Python
バックエンドエンジニア
作業内容 ・データ分析、利活用ツールの導入、保守開発等(開発より調査やドキュメント作成の方が多い想定) ・Azureへの移行

【要件定義】位置情報ビッグデータ分析基盤のデータエンジニアの案件・求人

950,000円/月

業務委託(フリーランス)
東京都
神田駅
JavaPythonSQLLinuxSparkAWSApache
サーバーサイドエンジニア
作業内容 ・移動体の地理空間データ評価/比較/データ調達支援 ・位置情報データ処理ソリューションの設計/開発 ・スケーラブルなデータパイプライン/ETL基盤構築 ・機械学習モデルを活用した予測分析 ・AWS環境での位置情報データ分析 ・CI/CDシステム構築 ・大規模位置情報データ処理環境の設計/改善 ・関連ドキュメント作成 ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。(但し、企業都合退場は対象外) ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~30代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間:随時~

【業務委託】【Unity】【運用中RPGソーシャルゲーム】エフェクト制作案件

550,000円/月

業務委託(フリーランス)
東京都
六本木駅
UnityRPG
エフェクトデザイナー
作業内容 運用中RPGソーシャルゲームにおいてエフェクト制作全般をご担当いただきます。 主に下記作業をご担当いただきます。  - バトル用エフェクトの制作(EXスキル、エネミースキルなど)  - ストーリーパートのエフェクトの制作(カットシーン、ADVパート用エフェクトなど)  - ShurikenやSparkGearを用いたエフェクト制作  - 企画、エンジニアなど他セクションとのすり合わせ

インタフェース開発【ETL】

1,100,000円/月

業務委託(フリーランス)
大阪府
大阪駅
作業内容 ・IF各種設計書作成 ・MS Fabric環境での実装(検証及びテストも含む) ・その他上記に付随する業務

【データエンジニア】大規模データ基盤構築(Databricks、Tableau)(フルリモート)

750,000円/月

業務委託(フリーランス)
東京都
PythonTableau
作業内容 既存のTableau環境にDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトです。 データパイプラインの設計・構築を主要業務としてご担当いただきます。

【データエンジニア】某SNS企業向け開発支援案件

800,000円/月

業務委託(フリーランス)
福岡県
博多駅
PythonSQLApache
作業内容 ・某SNS企業におけるデータ基盤の全工程を完結させる自律体制の構築に携わっていただきます。 ・主に下記作業をご担当いただきます。 - データパイプラインの構築・実装 - 既存データパイプラインの運用保守・監視 - Hadoop基盤の整備・改善 - 技術移転・ドキュメント化

インフラ・データエンジニア募集

1,100,000円/月

業務委託(フリーランス)
東京都
淡路町駅
SQLAWSGoogle Cloud PlatformBigQueryGlueTerraform
作業内容 ・データレイク / ETL 基盤の構築 ・AWS Glue(Apache Spark)による分散処理、ETL 開発 ・S3 / Lake Formation を用いたデータ管理、セキュリティ設計 ・BigQuery ベースの DWH 環境整備 ・AWS → GCP 間データ連携パイプラインの最適化 ・BigQuery によるデータモデリング、クエリ最適化 ・IaC を軸としたマルチクラウド管理 ・Terraform による環境差分管理、自動化 ・品質管理、運用効率化 ・Airflow などのワークフロー管理と CI/CD 整備 ・データ品質テストの自動化

(リモート)エンタメSaaSサービスにおけるデータエンジニア

900,000円/月

業務委託(フリーランス)
東京都
御茶ノ水駅
JavaPythonSQLAWSGoogle Cloud PlatformBigQueryGlueTerraform
作業内容 現在、AWS(データレイク)とGCP(DWH)を組み合わせたハイブリッドクラウド基盤を構築中です。 この基盤をスケールさせ、俊敏なデータ活用を全社に浸透させるために、AWSGlue や BigQueryを活用したデータパイプライン開発を担当いただくデータエンジニアを募集します。 サービス運営・ビジネス分析・出版社支援など多様な活用ニーズに応えるためのデータ基盤構築をお任せします。 ▪️データレイク/ETL 基盤の構築 ・AWS Glue(Apache Spark)による分散処理・ETL 開発 ・S3/Lake Formation を用いたデータ管理・セキュリティ設計 ▪️BigQuery ベースの DWH 環境整備 ・AWS → GCP 間データ連携パイプラインの最適化 ・BigQuery によるデータモデリング・クエリ最適化 ▪️IaC を軸としたマルチクラウド管理 ・Terraform による環境差分管理・自動化 ▪️品質管理・運用効率化 ・Airflow などのワークフロー管理と CI/CD 整備 ・データ品質テストの自動化

エフェクトデザイナー/SPARK GEAR・Unity/ゲーム開発

400,000 〜 750,000円/月

業務委託(フリーランス)
東京都
渋谷駅
SparkUnity
3Dデザイナーエフェクトデザイナー
作業内容 <<スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業!!>> ゲーム開発におけるエフェクトデザイナー業務をお任せします。   ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール  ∟SPARK GEAR/Unity/Photoshop/Maya   <こんな方におすすめです!> ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方

【AWS】大規模データ分析基盤の保守開発

600,000円/月

業務委託(フリーランス)
東京都
恵比寿駅
JavaPythonWindowsLinuxSparkAWSGitLambda
インフラエンジニア
作業内容 ・AWS環境下でのサーバ構築やシステム開発 ・SparkやEMRを用いたデータ分析/抽出 ・データ集計/手動更新、テストデータ導入 ・AWS Lambdaを用いたジョブ稼働コントロール他

設定していない条件はありませんか?

スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。

【Databricks/PySpark/Azure】商用車ロジスティクス可視化基盤のデータ処理最適化

880,000円/月

業務委託(フリーランス)
神奈川県
ScalaSparkAzure
サーバーエンジニア
作業内容 【作業内容】 ・Databricks(PySpark, Scala)環境のパフォーマンス最適化を行います。 ・大規模データ処理の実装・改修を担当します。 ・Azureデータ基盤のパフォーマンス改善を行います。 ・保守・構成管理およびリファクタリングを担当します。

【Java/TypeScript/Python/フルリモ】官公庁向け情報管理システムPoC開発

800,000円/月

業務委託(フリーランス)
JavaPythonSparkAzureDockerTypeScript
サーバーサイドエンジニア
作業内容 【作業内容】 来年度の本番開発に向けて、主な機能を構築してPoC実施するプロジェクトの開発部分を担当しています。 DBより情報を抽出して、帳票(Excel)出力する機能の開発を行います。また、既存仕様書をもとに自立的に開発・実装を推進し、コンテナ環境やクラウドサービスを活用したシステム構築を行います。 データ基盤やアプリケーションの品質担保や課題解決も担当していただきます。 開発(コーディング)を中心に進行します。 ※仕様書上不明瞭な部分があるため、課題管理表やチャットなどを中心にクライアントの確認程度は発生することがあります。 【求める人物像】 ・仕様書を読み解き、主体的にタスクを進められる方 ・問題解決力が高い方 ・コミュニケーション能力があり、チーム連携を重視できる方

【Databricks/AWS】データ分析基盤構築案件

700,000円/月

業務委託(フリーランス)
愛知県
伏見駅
SparkAWS
サーバーエンジニアデータベースエンジニア
作業内容 ・Databricksを活用してAWS上にデータ分析基盤を構築するための技術検証など作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 - 要件定義 - 基本設計 - 詳細設計 - 技術検証

【Java/JavaScript】《建築会社向け》会計パッケージの開発、保守(リモート)

600,000円/月

業務委託(フリーランス)
東京都
半蔵門駅
JavaJavaScriptHTMLDynamoDBCassandraSpringSparkAngularAWSApacheAuroraElasticsearch
バックエンドエンジニア
作業内容 ・基本設計~結合テスト、保守をご担当 ・フロント:Javascript、Angular、HTML ・サーバー:Java8、Spring Boot、Elasticsearch、Apache Spark ・DB:AWS Aurora、AWS DynamoDB、Apache Cassandra ・インフラ:AWS EC2、S3、EBS、ElastiCache

【Python】需要予測サービスの導入支援

700,000円/月

業務委託(フリーランス)
東京都
錦糸町駅
PythonSpark
作業内容 ・小売業向け需要予測サービスの導入支援 ・ベンダー側SEとして要件定義から導入までの対応 ・お客様からの要望に合わせて下記対応 -モデルに読み込ませるデータの加工、ストレージへの対応 -モデル構築、インターフェースの開発 -システムの移行、データの移行(パフォーマンス検証)

【AWS/Databricks】データ分析基盤構築案件

700,000円/月

業務委託(フリーランス)
愛知県
伏見駅
SparkAWS
データサイエンティスト
作業内容 ・データ分析基盤構築案件に携わっていただきます。 ・主に下記のような作業をご担当いただきます。  ‐Databricksを活用したAWS上へのデータ分析基盤構築

電力データ活用基盤移行に伴うインフラ基盤設計/構築支援【AWS(リモート)】

800,000円/月

業務委託(フリーランス)
東京都
飯田橋駅
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

【 新規/運用中ゲーム】モーションデザイン制作案件

650,000円/月

東京都
渋谷駅
SparkPhotoshopMayaUnityAfter Effects
モーションデザイナー
作業内容 新規/運用中ゲームにおけるモーションデザイナーとしての作業をお任せいたします。 具体的には下記作業を想定しています。 ・専用ツールを使用してのキャラクターやモンスターの必殺技や魔法演出の作成

【データサイエンティスト】事業会社向けアルゴリズム作成案件

1,150,000円/月

業務委託(フリーランス)
東京都
池袋駅
PythonSparkBigQuery
データサイエンティスト
作業内容 ・国および自治体向け経営管理システムWseVine Build&Scrapの開発から派生した新規プロジェクトに携わっていただきます。 ・主に下記作業をご担当いただきます。 - データを使ってテキストマイニングでマッチングロジックを組み立てることができる - 予算情報の解析&マッチングアルゴリズムに転用できる

【AWS/フルリモート】ウェルネス・運動施設向けSaaSにおけるデータ基盤エンジニア(テックリード)の案件・求人

950,000円/月

業務委託(フリーランス)
フルリモート
JavaPythonSQLSparkAWSGoogle Cloud PlatformSnowflakeCDKTerraformCloudFormation
作業内容 ・新データ基盤の設計・構築(AWS/BigQuery/Snowflake等) ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計/マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ/IoTデータ/行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー (工程)要件定義、設計、構築、運用、最適化、技術リード (開発環境) 言語:Python/Go/Java クラウド:AWS/GCP/Snowflake IaC:Terraform/CloudFormation/CDK DWH:BigQuery/RDBMS その他:Kafka/Pub/Sub/Spark/dbt/Trocco ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。(但し、企業都合退場は対象外) ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~30代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間:随時~

設定していない条件はありませんか?

スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。

Saasプロダクトデータ基盤構築【Python(リモート)】

750,000円/月

業務委託(フリーランス)
東京都
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリフレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry

【Python、SQL】データ基盤構築/改善(リモート)

750,000円/月

業務委託(フリーランス)
東京都
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 ・データ基盤構築/改善PJ支援 ・データエンジニアとして下記支援を実施 -データ基盤構築/改善/課題解決 -データ処理/管理/収集 -Webクローリング/スクレイピング等のデータ活用周りを支援

【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件

800,000円/月

業務委託(フリーランス)
PythonSQLHadoopSparkApacheGitKafka
サーバーサイドエンジニア
作業内容 【募集背景】 【作業内容】 Databricksによるデータ解析システムの構築支援(設計/実装/テスト)を行います。 【求める人物像】 受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。 チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。 前向きに仕事と向き合える方。 周囲に対して気配りができる方。 【ポジションの魅力】 最新のデータ解析技術に携わり、スキルアップを図ることができます。 【開発環境】 Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI

【Python/SQL/リモート併用/週5日】クラウドデータ基盤構築エンジニア

850,000 〜 1,000,000円/月

業務委託(フリーランス)
東京都
新橋駅
PythonSQLSparkAWSAzureGoogle Cloud PlatformRedshiftBigQuery
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 企業のマーケティングDXや事業変革をデータ活用で支援するコンサルティングファームにて、データ基盤(DWH・ETL・データレイク)の設計・構築を担当いただきます。 東証プライム上場企業を中心とした大手クライアントに対し、データドリブン経営の核となる基盤づくりをリードするポジションです。 具体的には、Snowflake、BigQuery、Databricksといった最新のクラウドDWHの導入支援や、Python/SQLを用いた効率的なデータパイプライン(ETL/ELT)の設計・実装に携わっていただきます。 また、ストリーミングデータ処理やデータガバナンス設計など、大規模かつ複雑なデータ環境において最適なアーキテクチャを提案・構築していただくことを期待しています。 BI・分析チームと密に連携しながら、ビジネス価値を生むためのデータ提供基盤を、最先端の技術スタックを用いて実現できるやりがいのある環境です。

【DWH/データレイク】製造小売業向けDWH開発業務案件

550,000円/月

業務委託(フリーランス)
東京都
茅場町駅
PythonSQLShellSparkAWSGlueAthena
データサイエンティスト
作業内容 ・大製造小売業におけるデータ設計開発作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 - DWHやデータレイクの設計や構築、運用 - ETLやデータパイプラインの開発や改善 -分析向けデータモデルの設計および dbt を用いたモデル開発 - データ処理の品質管理やパフォーマンス改善、運用フローの最適化 - 運用チームのタスク管理やトラブルシューティング

【リモート併用】官公庁向け電力データ集約システム/アーキテクト(AWS×Databricks) No.25502

800,000円/月

業務委託(フリーランス)
東京都
豊洲駅
AWSGit
PM
作業内容 【概要】 既存電力データ集約システムのアーキテクチャ維持および改善、 AWS・Databricks を活用したデータレイク/ETL基盤の設計見直しなどを担当いただきます。 現時点では構築フェーズではなく、不具合対応・パイプライン設計の見直しなど既存システムのお守りが中心となります。 本格的な構築は 7月-または10月-を予定。 Snowflakeなどデータ基盤の経験がある方はイメージしやすい業務です。 【業務内容】 具体的な業務は以下となります。 ・AWS×Databricks のデータパイプラインの設計見直し ・既存Spark/ETLフローの調査と改善 ・不具合発生時の原因調査とアーキ再設計 ・データレイクの構造改善/最適化 ・コードアーキテクチャ(Git)レビュー ・データワークフローの最適化 ・将来のBigQuery連携に向けた設計検討 【工程】 現行調査(アーキ・パイプライン) 要件定義(構築フェーズ以降) 基本設計(アーキ構成/データレイク) 詳細設計(パイプライン) セキュリティ/ネットワーク設計 性能設計 不具合時のアーキレビュー 最適化提案 監査対応を見据えた設計 【体制】 調査-参画中のプロパー:2名+今回のポジション 他、library管理者1名、アーキテクチャ1名 保守チームのプロパー:2名 【リモート/出社】 リモート勤務との併用が可能です。 週1日程度、豊洲にあるデータセンターへの出社対応があります。 【PC】貸与あり

【Python/SQL/リモート併用/週5日】全社データ分析基盤のアーキテクチャ設計・構築支援

750,000 〜 800,000円/月

業務委託(フリーランス)
東京都
西新宿駅
PythonSQLSparkAWSApacheGitHubGoogle Cloud PlatformRedshiftBigQueryTerraform
AIエンジニアサーバーサイドエンジニア機械学習エンジニアバックエンドエンジニア
作業内容 基本設計,詳細設計,実装,テスト,運用・保守 大手インターネット企業にて、全社データ分析基盤のアーキテクチャ設計および構築をMLエンジニアとして担当していただきます。 主な業務は、数千万〜数億レコード規模の大規模データを扱うデータレイクやDWH(BigQuery)の設計・運用です。 具体的には、OCIからGCPへのクロスクラウドデータ連携の実装や、ETL/ELTパイプラインの開発、Terraformを用いたIaCによるインフラ管理を担っていただきます。 また、AIデータアクセス基盤(MCP/Agent)の構築や、データガバナンス・セキュリティ設計(IAM/VPC)など、最先端のデータ基盤構築に幅広く携わることができる環境です。

【Java/JavaScript】物流会社向け会計パッケージの開発/保守(リモート)

600,000円/月

業務委託(フリーランス)
東京都
半蔵門駅
JavaJavaScriptHTMLDynamoDBCassandraSpringSparkAngularAWSApacheAuroraElasticsearch
バックエンドエンジニア
作業内容 工程:基本設計〜結合テスト、保守をご担当いただきます。

【Azure】顧客DWH移行支援作業(リモート)

800,000円/月

業務委託(フリーランス)
東京都
大手町駅
SQLAzure
インフラエンジニア
作業内容 ・DIH(Data Integration Hub)からADF(Azure Data Factory)への移行作業 ・ADF移行方針決定、検証、連携テスト

【Python】データマート開発支援(フルリモート)

700,000円/月

業務委託(フリーランス)
東京都
Python
バックエンドエンジニア
作業内容 既存プロパーが参画中の案件において、データマートの設計、開発を中心に、Pythonを用いたバックエンド開発業務をご担当いただきます。

設定していない条件はありませんか?

スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。

(リモート)【Java】カード基幹系システム オープン系開発

750,000円/月

業務委託(フリーランス)
東京都
大崎駅
JavaCOBOLWindowsLinuxHiveGitlabVSCode
バックエンドエンジニア
作業内容 ・カード基幹系システム開発 ・現行システム(COBOL)から新システムへのマイグレーション開発(ホスト→Hadoop基盤へのデータ連携) ・工程:基本設計、詳細設計、製造、テスト、本番リリース、運用/保守

データ分析及びバックエンド開発業務【Python】

900,000円/月

業務委託(フリーランス)
東京都
PythonSQLTensorFlow
バックエンドエンジニア
作業内容 ・データ分析(データの前処理、クレンジング、変換) ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

【フルリモート】申し込み及び各種情報確認ポータルにおけるフルスタック開発(週5日 / Go)

850,000 〜 950,000円/月

業務委託(フリーランス)
フルリモート
JavaPythonAWSGitGitHub
フルスタックエンジニアバックエンドエンジニア
作業内容 社内外に公開しているAPIの開発などをフルスタックに対応いただきます。 ======================== ※必ずお読みください※ 【20 代から50代前半の方が活躍中】 ※実務経験1年以上ありの方が対象の案件です! 【外国籍の方の場合】 日本語能力検定1級お持ちの方 日本語が母国語の方 ※日本在住の方のみ ========================

AI開発やバックエンド開発【バックエンド】

1,000,000円/月

業務委託(フリーランス)
東京都
SQLPyTorchTensorFlow
バックエンドエンジニア
作業内容 ・データ分析(データの前処理、クレンジング、変換) ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

【JavaScript/React】配信入稿管理システム開発案件

650,000円/月

業務委託(フリーランス)
大阪府
大阪駅
JavaScriptReact
フロントエンドエンジニア
作業内容 ・配信入稿管理システムの開発に携わっていただきます。

【データエンジニア】地域DX推進向け データ統合分析基盤構築支援案件

550,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonScalaSnowflake
作業内容 ・地域DX推進向け データ統合・分析基盤構築支援案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 - データ利活用を前提とした基盤アーキテクチャ設計 - データ統合基盤(DWH / Lakehouse)の設計・構築 - 各種データソースからのデータ収集、ETL/ELT設計・実装 - データ加工・分析基盤の構築および最適化 - AI/機械学習活用に向けたデータ整備・前処理 - 既存業務システム・基幹システムとの連携設計 - PoCから本番環境構築・展開までの一連の支援

(リモート)データ利活用を目的としたビッグデータの加工、集計業務【AWS】

700,000円/月

業務委託(フリーランス)
東京都
品川駅
PythonSQLLinuxAWSLambda
インフラエンジニア
作業内容 スクラムのメンバーとして、基盤構築/アプリ開発を業務としてご担当していただきます。

【リモート併用】データマート設計エンジニア(ビッグデータ/Databricks担当) No.22061

900,000円/月

業務委託(フリーランス)
大阪府
本町駅
Tableau
データサイエンティスト
作業内容 【概要】 Databricksを活用したデータマートの設計・構築を担うエンジニアを募集いたします。 可視化・分析用途に特化した高品質な基盤を目指し、顧客との折衝や要件定義も担当頂くポジションです。 【プロジェクト詳細】 具体的な業務は以下となります。 〇要件定義・仕様設計 ‐業務オーナーやBIチームと連携し、分析ニーズに基づくデータマート構造やテーブル設計を策定 〇物理-論理設計 ‐データモデル(星型スキーマ/スノーフレーク)やスキーマ設計、最適化パラメータの検討 〇Databricks上での実装方針策定 ‐Delta Lake活用、スケーラブルな処理設計、ジョブ制御戦略の設計 〇ETL設計・実装 ‐PySpark/Scalaを利用したデータパイプライン設計、AirflowやDBT等との連携も含む 〇パフォーマンスチューニング ‐クエリ最適化、ファイルパーティション設計、キャッシュ/メモリ設計 〇レビュー・テスト ‐ユニットテスト・単体結合テストの設計と実施、成果物レビュー対応 〇ドキュメント・ナレッジ共有 ‐設計書・運用手順書作成、社内勉強会やドキュメント共有による情報展開 【コミュニケーションについて】 リモート中心ですが、月数回の顔合わせ・対面での議論・調整も発生する可能性があります。

【データエンジニア】全社データ基盤アーキテクチャ設計構築支援案件

1,150,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonSQL
作業内容 ・全社データ分析基盤のアーキテクチャ設計・構築に携わっていただきます。 ・主に下記作業をご担当いただきます。 - データレイク / DWH(BigQuery)基盤の設計・運用 - ETL / ELTパイプラインの設計・開発 - クロスクラウドデータ連携(OCI → GCP)の設計・実装 - データモデリング(OBT / mart)の設計 - Terraformを用いたIaCによるインフラ管理 - データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス) - AIデータアクセス基盤(MCP / Agent)の構築

【リモート併用/週4相談可能/AWS×Databricks】官公庁向け電力データ集約システム/Databricks Library 管理エンジニア No.25501

800,000円/月

業務委託(フリーランス)
東京都
豊洲駅
PythonAWSGitJP1
ネットワークエンジニア
作業内容 【概要】 AWS上に構築されたデータレイクおよび Databricks 環境における、 Pythonライブラリ・証明書・ETL関連コンポーネントのバージョン管理・更新作業を担当いただきます。 既存Library やデータレイクに対するアップデートを中心とした業務で、4‐9月は現行システム(ステップ4)の維持保守と引継ぎ期間となります。 【業務内容】 具体的な業務は以下となります。 ・Library(Python・Driver など)のバージョン管理 ・Databricks上のETL環境に伴うLibrary更新作業 ・AWS上のデータレイク環境における構成管理 ・証明書更新(Peakload含む) ・個別で実装されているコンポーネントの確認・管理 ・Gitを利用したコード管理 ・既存環境の棚卸し・ドキュメント整備 【工程】 現行調査 バージョン管理 依存関係管理 脆弱性確認 変更手順の作成 検証(単体/結合) Libraryリリース 証明書更新(Peakload含む) ドキュメント整備 【体制】 調査-参画中のプロパー:2名+今回のポジション 他、library管理者1名、アーキテクチャ1名 保守チームのプロパー:2名 【リモート/出社対応】 リモート勤務との併用が可能です。 週1日程度、豊洲にあるデータセンターへの出社対応があります。 【PC】貸与あり

設定していない条件はありませんか?

スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。

掛け合わせ条件で絞り込む

特徴で絞り込む
Spark × 在宅・リモート

あなたにピッタリの
フリーランス案件が見つかる

  • 138万件以上のフリーランス案件から一括検索

    384,987件※の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。

    ※ 10月24日(土)更新

    38万件以上のフリーランス案件から一括検索

  • 2あなたの経験やスキルに適した案件をメールでお知らせ

    マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。

    あなたのプロフィールからおすすめの案件・求人

今すぐ無料登録