Sparkの案件・求人一覧

1-30 / 全 459
NEW

【AWS】AWS基盤調査改善/構築案件

950,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSJenkinsGitHub
インフラエンジニア
作業内容 ・AWS基盤調査改善/構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。  -既存のAWS基盤の調査改善  -ETL環境運用作業(テーブル追加、カラム変更程度)

【Live2D/Spine】【新規開発中スマートフォン向けゲーム】キャラクターアニメーション制作案件

650,000円/月

業務委託(フリーランス)
東京都
末広町駅
UnityAfter EffectsBISHAMON
キャラクターデザイナー2Dデザイナーグラフィックデザイナー
作業内容 新規開発中のスマートフォン向けゲームにおいて、Live2D/Spineアニメーターとしてキャラクターアニメーションの制作をお任せいたします。 具体的には以下の作業を想定しております。 ・絵コンテ ・キャラクターモデリング ・アニメーション制作 ・外部パートナーと連携してのモデル、アニメーションの監修

【AWS/フルリモート可能】薬局業界向けの各プロダクトのバックエンド開発案件の案件・求人

800,000円/月

業務委託(フリーランス)
フルリモート
AWSAzureGoogle Cloud PlatformDevOps
バックエンドエンジニア
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 当社の各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 チーム構成: ・プロダクトマネージャ ・デザイナー ・フロントエンジニア ・バックエンドエンジニア ・薬剤師など 技術環境: ・言語:Python/TypeScript ・フレームワーク:Angular ・インフラ:AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3)

【Python】インターネット広告データレイク開発案件

850,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSDockerGitHub
作業内容 ・インターネット広告代理店業における、膨大な広告データのデータレイクの  開発、運用、保守をご担当いただきます。 ・具体的には下記の作業の一部を想定しております。  - 媒体APIを利用したデータの取得、蓄積  - データの加工(ETL)処理  - データウェアハウスへのロード、データマートの提供

【DBエンジニア(SQL全般)】【業務委託(準委任)】バックエンドエンジニア

800,000円/月

大阪府
大阪駅
JavaJavaScriptSQLScalaPostgreSQLSparkAWSSpringBootGlueAurora
バックエンドエンジニア
作業内容 ■概要 バックエンドエンジニアをお任せいたします。 ■具体的な作業内容 ・ECサイトを構築できるSaaSのサービスで、各サイトからデータを取得し、レポートを出力するためのデータの収集とマイニングを行います。 ・ETLやAPIの作成が主な業務になります。

【Python】大手小売業向けアプリケーション開発案件

800,000円/月

業務委託(フリーランス)
東京都
大手町駅
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。  -AIモデルの運用保守および改善開発  -GCP上で展開される複数のAIモデルの定期的な運用  -AIモデルにエラーが発生した場合にはその対応  -効果測定  -モデル改善の実装

【AWS】DB構築開発運用

530,000 〜 580,000円/月

業務委託(フリーランス)
神奈川県
みなとみらい駅
リモート
PythonSQLShellLinuxUnixPostgreSQLSparkAWSApacheRedshiftCloudFormationLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! ▼概要  WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190h  ▼面談回数 1回 ※WEB ▼就業時間 9時30分~18時00分 ※昼休み45分 ※週5日〜OKの案件です!

【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)     環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

【AWS/フルリモート可能】エンドユーザー向けAWS ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人

900,000円/月

業務委託(フリーランス)
フルリモート
MySQLDynamoDBSparkAWSApacheGitHubRedshift
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 既存のAWS ETL環境の調査改善 ・メンテ作業の手順化、運用作業(テーブル追加、カラム変更程度) ※対象環境は、ミッションクリティカルではないデータ処理基盤となる上位にて他PJへのスライド案件も御紹介可能で御座います。

【AWS】Sagemaker構築運用

510,000 〜 560,000円/月

業務委託(フリーランス)
東京都
木場駅
リモート
SparkAWSGlueKubernetes
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! ■概要 AWS環境でSagemaker構築および運用を実施していただきます。 ■作業場所:東西線木場駅(初期設定後はリモートを予定) ■精算条件:固定 ■打ち合わせ回数:2 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

【AWS】鉄道会社向けアプリ開発

590,000 〜 640,000円/月

業務委託(フリーランス)
リモート
Node.jsSparkAWSLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! 【作業内容】 鉄道会社向けアプリ開発をご担当いただきます。 ・AWSを利用したアプリの改修、小規模開発、運用保守。 -Lambda,S3,RDSなど各種AWSサービスを利用したアプリの機能の改修、小規模開発。 (サーバーサイドはNode.jsがメイン) -不具合、障害対応 -パフォーマンス改善 -脆弱性診断(定期的に実施) -セキュリティ対応 【場所】 リモート可/大正 立ち上がりは出社となります。 【精算】 140-180h 【面談】 1回 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

New【Python/SQL】データ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件

650,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守 【環境】 言語:SQL,Python FW:Apache Spark 環境・OS:GCP (Google Cloud Platform),AWS (Amazon Web Services) ツール:Docker,Terraform,JIRA,Github

【DBエンジニア(SQL全般)】【業務委託(準委任)】道路交通系開発案件

700,000円/月

大阪府
新大阪駅
JavaSQLScala
作業内容 ■概要 道路交通系開発案件をお任せいたします。 ■具体的な作業内容 ・Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程:詳細設計~結合テスト

【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守   - 関係者からのヒアリング・データ調査   - メンテナンス性・汎用性を意識したテーブルの設計   - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 [案件例] ・売上集計用DWH ・機能利用状況DWH ■開発環境  言語____:SQL,Python,ShellScript  FW____:Apache Spark  環境・OS_:GCP (Google Cloud Platform),AWS (Amazon Web Services)  ツール___:Docker,Terraform,digdag,JIRA,Github

【Azure】クラウドエンジニアの求人・案件

1,100,000円/月

業務委託(フリーランス)
東京都
リモート
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

【Python(Web開発系)】【業務委託(準委任)】データ連携アプリ開発

1,100,000円/月

東京都
渋谷駅
PythonAWSFargate
作業内容 【20代~40代のITエンジニアが活躍中!】 ■概要 開発中のシステムに対する追加機能の設計実装となります。 ■作業工程:アプリケーション設計~総合テストになります

【SQL】トライネットシステム開発支援の求人・案件

500,000円/月

業務委託(フリーランス)
東京都
PythonSQLSparkAWSGlueAthena
作業内容 ■開発環境 プログラミング言語:Python ライブラリ:PySpark, pandas データベース:AWS RDS (SQLServer), AWS Athena(trino) 環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール:QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務

New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件

1,000,000円/月

業務委託(フリーランス)
東京都
リモート
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語: Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

【SQL/Python】新規データマート作成の求人・案件

800,000円/月

業務委託(フリーランス)
東京都
PythonSQLSparkAWSGlueAthena
作業内容 ・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語: Python ・ライブラリ: PySpark, pandas ・データベース: AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS: AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール: QuickSight 

【Python】Saasプロダクトデータ基盤構築

630,000 〜 680,000円/月

業務委託(フリーランス)
リモート
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubAuroraLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! 【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

【クラウドエンジニア(AWS)】【業務委託(準委任)】自社サービス開発

650,000円/月

東京都
田町駅
AWS
作業内容 ■概要 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。 ■具体的な作業内容 ・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

【Python/フルリモート可能】Saasプロダクトデータ基盤構築の案件・求人

700,000円/月

業務委託(フリーランス)
フルリモート
PythonSQLSparkAWSDocker
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry

【Python/AWS/フルリモート可能】調剤薬局向けサービス管理ツールの案件・求人

700,000円/月

業務委託(フリーランス)
フルリモート
PythonHadoopSparkAWS
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== ◆業務概要 ・RDBのデータベース設計 ・GlueJobでPythonを利用したETL処理の設計・開発 ・APIGateway、Lambdaを利用したAPI開発 調剤薬局向けサービスを複数提供している企業にてサービスを総括的に管理する管理コンソールの開発業務をご担当頂きます。 管理コンソールに必要な機能の集約、追加実装等をお願い致します。 ◆就業形態について 現状、開発メンバーのほとんどはフルリモートにて業務を行っております。 週に何日かご出社をご希望の際にはご相談ください。 ◆補足 現場チームについては、 様々な分野での経験を持つ少数精鋭のメンバーが集まっております。 他部署を含め業務委託のエンジニアも複数名在籍しており、社員エンジニアと垣根のない働きやすい環境です。

【分析基盤エンジニア】データ利活用を推進するETL/ELT処理開発、DWH構築などのデータ基盤開発支援

1,200,000円/月

業務委託(フリーランス)
リモート
AWSAzureGoogle Cloud Platform
サーバーサイドエンジニア
作業内容 エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。 ◆業務内容の詳細◆ Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用 Apache Sparkを利用したETL処理の開発 各サービス開発チームのデータエンジニアリングの支援 ◆今後の進展について◆ 昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。 それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【Python/SQL】自社サービスSaaS(在庫管理)のバックエンド開発(データ基盤)

700,000 〜 1,000,000円/月

業務委託(フリーランス)
大阪府
PythonSQLPostgreSQLSparkAurora
フロントエンドエンジニアAIエンジニアバックエンドエンジニア
作業内容 ■業務内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

【Python(Web開発系)】【業務委託(準委任)】自社サービスSaasのバックエンド(データ基盤)

1,000,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLSparkAWS
バックエンドエンジニア
作業内容 【20代~40代のITエンジニアが活躍中!】 ■概要 Pythonによるデータ基盤構築 ■具体的な作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます ・自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます ・社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります

【Python/SQL】Saasのデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計 詳細設計 開発 単体テスト 結合テスト 総合テスト 運用 【開発環境】 ・開発言語: Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・検索エンジン: Amazon Elasticsearch Service ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ: Amazon Web Services ・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

New【Python】バックエンドエンジニアの求人・案件

1,000,000円/月

業務委託(フリーランス)
東京都
リモート
PythonHadoopSparkAWS
バックエンドエンジニア
作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

Sparkの月額単価相場

null

Sparkのエージェント別案件数

Sparkのフリーランス案件・求人を保有しているフリーランスエージェントは、①レバテックフリーランス:168件、②BIGDATA NAVI:52件、③レバテッククリエイター:32件、④Midworks:31件、⑤テックビズフリーランス:21件、⑥フリコン:21件、⑦アットエンジニア:12件、⑧HiPro Tech(ハイプロテック):11件、⑨ビズリンク:8件、⑩キャリアプラス:5件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人を豊富に保有しているフリーランスエージェントは①レバテックフリーランス、②BIGDATA NAVI、③レバテッククリエイターであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①レバテックフリーランス、②BIGDATA NAVI、③レバテッククリエイターを中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkのエージェント別月額単価相場

Sparkのフリーランス案件・求人を保有しているフリーランスエージェント別の単価相場は、①チョクフリ:120万円、②HiPro Tech(ハイプロテック):93.6万円、③ビズリンク:91.4万円、④Midworks:87.4万円、⑤アットエンジニア:84.2万円、⑥BIGDATA NAVI:81.9万円、⑦レバテックフリーランス:81.7万円、⑧キャリアプラス:80万円、⑨PMO NAVI:80万円、⑩フリコン:78.8万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高いフリーランスエージェントは①チョクフリ、②HiPro Tech(ハイプロテック)、③ビズリンクであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①チョクフリ、②HiPro Tech(ハイプロテック)、③ビズリンクを中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkの都道府県別案件数

Sparkのフリーランス案件・求人の都道府県別案件数は、①東京都:394件、②大阪府:20件、③福岡県:7件、④神奈川県:5件、⑤愛知県:2件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人が集中している都道府県は①東京都、②大阪府、③福岡県であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①東京都、②大阪府、③福岡県を中心にフリーランス案件を探されることをおすすめします。

Sparkの職種別案件数

Sparkのフリーランス案件・求人の職種別案件数は、①サーバーサイドエンジニア:56件、②データサイエンティスト:51件、③インフラエンジニア:34件、④バックエンドエンジニア:29件、⑤エフェクトデザイナー:28件、⑥アプリケーションエンジニア:27件、⑦データベースエンジニア:23件、⑧サーバーエンジニア:14件、⑨スマホアプリエンジニア:12件、⑩機械学習エンジニア:10件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人は①サーバーサイドエンジニア、②データサイエンティスト、③インフラエンジニアが多いことが分かります。

Sparkの職種別平均単価

Sparkのフリーランス案件・求人の職種別の平均単価は、①デザイナー:165万円、②Webディレクター:162.5万円、③PMO:122.5万円、④PL:117.5万円、⑤コンサル:108.3万円、⑥QAエンジニア:106万円、⑦フロントエンドエンジニア:104.7万円、⑧SRE:103.3万円、⑨PM:101万円、⑩データアナリスト:95万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高い職種は①デザイナー、②Webディレクター、③PMOであることがわかります。

Sparkの業界別案件数

Sparkのフリーランス案件・求人の業界別案件数は、①サービス:199件、②機械:84件、③広告:77件、④ゲーム:56件、⑤IT:55件、⑥AI:46件、⑦通信:42件、⑧EC:38件、⑨ソーシャルゲーム:34件、⑩SaaS:33件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人は①サービス、②機械、③広告が多いことが分かります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①サービス、②機械、③広告を中心に複数の業界の案件を検討されることをおすすめします。

Sparkの業界別平均単価

Sparkのフリーランス案件・求人の業界別の平均単価は、①保険:150万円、②コンサル:108.3万円、③DX:105.6万円、④Sier:99.4万円、⑤メディア:93.8万円、⑥化学:92.5万円、⑦官公庁:90万円、⑧AI:89.6万円、⑨機械:88.1万円、⑩小売:87.9万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高い業界は①保険、②コンサル、③DXであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①保険、②コンサル、③DXを中心に複数の業界の案件を検討されることをおすすめします。

Sparkの常駐案件・リモートワーク案件割合

Sparkのフリーランス案件・求人数のリモートワーク案件・常駐案件の割合を分析するとリモートワーク案件が217件(47.3%)、常駐案件が242件(52.7%)となっています。 したがって、Sparkフリーランス案件・求人に関しては常駐案件が多いことがわかります。 (※フリーランスHub調べ/2023年12月)

Spark案件のよくある質問

Sparkの月額単価の相場はどれくらいですか?

Sparkの月額単価の相場は81万円です。スキルやご経験により、

単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。

Sparkの案件数は何件ですか?

フリーランスHub上でご覧いただけるSparkの案件数は459件です。 尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。

未経験でもSparkのフリーランス案件に応募することは可能ですか?

はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。 ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。

Sparkについて

【Sparkの概要】 Spark(Apache Spark)は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。 Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。 【Spark関連案件に必要なスキル】 フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。 ※この文章は、2021年4月時点の内容です。

Sparkの案件・求人一覧

1-30 / 全 459
NEW

【AWS】AWS基盤調査改善/構築案件

950,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSJenkinsGitHub
インフラエンジニア
作業内容 ・AWS基盤調査改善/構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。  -既存のAWS基盤の調査改善  -ETL環境運用作業(テーブル追加、カラム変更程度)

【Live2D/Spine】【新規開発中スマートフォン向けゲーム】キャラクターアニメーション制作案件

650,000円/月

業務委託(フリーランス)
東京都
末広町駅
UnityAfter EffectsBISHAMON
キャラクターデザイナー2Dデザイナーグラフィックデザイナー
作業内容 新規開発中のスマートフォン向けゲームにおいて、Live2D/Spineアニメーターとしてキャラクターアニメーションの制作をお任せいたします。 具体的には以下の作業を想定しております。 ・絵コンテ ・キャラクターモデリング ・アニメーション制作 ・外部パートナーと連携してのモデル、アニメーションの監修

【AWS/フルリモート可能】薬局業界向けの各プロダクトのバックエンド開発案件の案件・求人

800,000円/月

業務委託(フリーランス)
フルリモート
AWSAzureGoogle Cloud PlatformDevOps
バックエンドエンジニア
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 当社の各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 チーム構成: ・プロダクトマネージャ ・デザイナー ・フロントエンジニア ・バックエンドエンジニア ・薬剤師など 技術環境: ・言語:Python/TypeScript ・フレームワーク:Angular ・インフラ:AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3)

【Python】インターネット広告データレイク開発案件

850,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSDockerGitHub
作業内容 ・インターネット広告代理店業における、膨大な広告データのデータレイクの  開発、運用、保守をご担当いただきます。 ・具体的には下記の作業の一部を想定しております。  - 媒体APIを利用したデータの取得、蓄積  - データの加工(ETL)処理  - データウェアハウスへのロード、データマートの提供

【DBエンジニア(SQL全般)】【業務委託(準委任)】バックエンドエンジニア

800,000円/月

大阪府
大阪駅
JavaJavaScriptSQLScalaPostgreSQLSparkAWSSpringBootGlueAurora
バックエンドエンジニア
作業内容 ■概要 バックエンドエンジニアをお任せいたします。 ■具体的な作業内容 ・ECサイトを構築できるSaaSのサービスで、各サイトからデータを取得し、レポートを出力するためのデータの収集とマイニングを行います。 ・ETLやAPIの作成が主な業務になります。

【Python】大手小売業向けアプリケーション開発案件

800,000円/月

業務委託(フリーランス)
東京都
大手町駅
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。  -AIモデルの運用保守および改善開発  -GCP上で展開される複数のAIモデルの定期的な運用  -AIモデルにエラーが発生した場合にはその対応  -効果測定  -モデル改善の実装

【AWS】DB構築開発運用

530,000 〜 580,000円/月

業務委託(フリーランス)
神奈川県
みなとみらい駅
リモート
PythonSQLShellLinuxUnixPostgreSQLSparkAWSApacheRedshiftCloudFormationLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! ▼概要  WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190h  ▼面談回数 1回 ※WEB ▼就業時間 9時30分~18時00分 ※昼休み45分 ※週5日〜OKの案件です!

【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)     環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

【AWS/フルリモート可能】エンドユーザー向けAWS ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人

900,000円/月

業務委託(フリーランス)
フルリモート
MySQLDynamoDBSparkAWSApacheGitHubRedshift
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 既存のAWS ETL環境の調査改善 ・メンテ作業の手順化、運用作業(テーブル追加、カラム変更程度) ※対象環境は、ミッションクリティカルではないデータ処理基盤となる上位にて他PJへのスライド案件も御紹介可能で御座います。

【AWS】Sagemaker構築運用

510,000 〜 560,000円/月

業務委託(フリーランス)
東京都
木場駅
リモート
SparkAWSGlueKubernetes
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! ■概要 AWS環境でSagemaker構築および運用を実施していただきます。 ■作業場所:東西線木場駅(初期設定後はリモートを予定) ■精算条件:固定 ■打ち合わせ回数:2 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

【AWS】鉄道会社向けアプリ開発

590,000 〜 640,000円/月

業務委託(フリーランス)
リモート
Node.jsSparkAWSLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! 【作業内容】 鉄道会社向けアプリ開発をご担当いただきます。 ・AWSを利用したアプリの改修、小規模開発、運用保守。 -Lambda,S3,RDSなど各種AWSサービスを利用したアプリの機能の改修、小規模開発。 (サーバーサイドはNode.jsがメイン) -不具合、障害対応 -パフォーマンス改善 -脆弱性診断(定期的に実施) -セキュリティ対応 【場所】 リモート可/大正 立ち上がりは出社となります。 【精算】 140-180h 【面談】 1回 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

New【Python/SQL】データ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件

650,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守 【環境】 言語:SQL,Python FW:Apache Spark 環境・OS:GCP (Google Cloud Platform),AWS (Amazon Web Services) ツール:Docker,Terraform,JIRA,Github

【DBエンジニア(SQL全般)】【業務委託(準委任)】道路交通系開発案件

700,000円/月

大阪府
新大阪駅
JavaSQLScala
作業内容 ■概要 道路交通系開発案件をお任せいたします。 ■具体的な作業内容 ・Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程:詳細設計~結合テスト

【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守   - 関係者からのヒアリング・データ調査   - メンテナンス性・汎用性を意識したテーブルの設計   - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 [案件例] ・売上集計用DWH ・機能利用状況DWH ■開発環境  言語____:SQL,Python,ShellScript  FW____:Apache Spark  環境・OS_:GCP (Google Cloud Platform),AWS (Amazon Web Services)  ツール___:Docker,Terraform,digdag,JIRA,Github

【Azure】クラウドエンジニアの求人・案件

1,100,000円/月

業務委託(フリーランス)
東京都
リモート
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

【Python(Web開発系)】【業務委託(準委任)】データ連携アプリ開発

1,100,000円/月

東京都
渋谷駅
PythonAWSFargate
作業内容 【20代~40代のITエンジニアが活躍中!】 ■概要 開発中のシステムに対する追加機能の設計実装となります。 ■作業工程:アプリケーション設計~総合テストになります

【SQL】トライネットシステム開発支援の求人・案件

500,000円/月

業務委託(フリーランス)
東京都
PythonSQLSparkAWSGlueAthena
作業内容 ■開発環境 プログラミング言語:Python ライブラリ:PySpark, pandas データベース:AWS RDS (SQLServer), AWS Athena(trino) 環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール:QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務

New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件

1,000,000円/月

業務委託(フリーランス)
東京都
リモート
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語: Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

【SQL/Python】新規データマート作成の求人・案件

800,000円/月

業務委託(フリーランス)
東京都
PythonSQLSparkAWSGlueAthena
作業内容 ・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語: Python ・ライブラリ: PySpark, pandas ・データベース: AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS: AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール: QuickSight 

【Python】Saasプロダクトデータ基盤構築

630,000 〜 680,000円/月

業務委託(フリーランス)
リモート
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubAuroraLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます! 【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です!

【クラウドエンジニア(AWS)】【業務委託(準委任)】自社サービス開発

650,000円/月

東京都
田町駅
AWS
作業内容 ■概要 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。 ■具体的な作業内容 ・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

【Python/フルリモート可能】Saasプロダクトデータ基盤構築の案件・求人

700,000円/月

業務委託(フリーランス)
フルリモート
PythonSQLSparkAWSDocker
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry

【Python/AWS/フルリモート可能】調剤薬局向けサービス管理ツールの案件・求人

700,000円/月

業務委託(フリーランス)
フルリモート
PythonHadoopSparkAWS
作業内容 =========== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 =========== ◆業務概要 ・RDBのデータベース設計 ・GlueJobでPythonを利用したETL処理の設計・開発 ・APIGateway、Lambdaを利用したAPI開発 調剤薬局向けサービスを複数提供している企業にてサービスを総括的に管理する管理コンソールの開発業務をご担当頂きます。 管理コンソールに必要な機能の集約、追加実装等をお願い致します。 ◆就業形態について 現状、開発メンバーのほとんどはフルリモートにて業務を行っております。 週に何日かご出社をご希望の際にはご相談ください。 ◆補足 現場チームについては、 様々な分野での経験を持つ少数精鋭のメンバーが集まっております。 他部署を含め業務委託のエンジニアも複数名在籍しており、社員エンジニアと垣根のない働きやすい環境です。

【分析基盤エンジニア】データ利活用を推進するETL/ELT処理開発、DWH構築などのデータ基盤開発支援

1,200,000円/月

業務委託(フリーランス)
リモート
AWSAzureGoogle Cloud Platform
サーバーサイドエンジニア
作業内容 エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。 ◆業務内容の詳細◆ Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用 Apache Sparkを利用したETL処理の開発 各サービス開発チームのデータエンジニアリングの支援 ◆今後の進展について◆ 昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。 それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【Python/SQL】自社サービスSaaS(在庫管理)のバックエンド開発(データ基盤)

700,000 〜 1,000,000円/月

業務委託(フリーランス)
大阪府
PythonSQLPostgreSQLSparkAurora
フロントエンドエンジニアAIエンジニアバックエンドエンジニア
作業内容 ■業務内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

【Python(Web開発系)】【業務委託(準委任)】自社サービスSaasのバックエンド(データ基盤)

1,000,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLSparkAWS
バックエンドエンジニア
作業内容 【20代~40代のITエンジニアが活躍中!】 ■概要 Pythonによるデータ基盤構築 ■具体的な作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます ・自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます ・社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります

【Python/SQL】Saasのデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
東京都
リモート
PythonSQLSparkAWSDocker
作業内容 【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計 詳細設計 開発 単体テスト 結合テスト 総合テスト 運用 【開発環境】 ・開発言語: Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・検索エンジン: Amazon Elasticsearch Service ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ: Amazon Web Services ・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry

New【Python】バックエンドエンジニアの求人・案件

1,000,000円/月

業務委託(フリーランス)
東京都
リモート
PythonHadoopSparkAWS
バックエンドエンジニア
作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

あなたにピッタリ
フリーランス案件が見つかる

  • 110万件以上のフリーランス案件から一括検索

    226,322の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。

    ※ 12月4日(Mon)更新

    10万件以上のフリーランス案件から一括検索

  • 2あなたの経験やスキルに適した案件をメールでお知らせ

    マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。

    あなたのプロフィールからおすすめの案件・求人

今すぐ無料登録

Sparkの月額単価相場

null

Sparkのエージェント別案件数

Sparkのフリーランス案件・求人を保有しているフリーランスエージェントは、①レバテックフリーランス:168件、②BIGDATA NAVI:52件、③レバテッククリエイター:32件、④Midworks:31件、⑤テックビズフリーランス:21件、⑥フリコン:21件、⑦アットエンジニア:12件、⑧HiPro Tech(ハイプロテック):11件、⑨ビズリンク:8件、⑩キャリアプラス:5件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人を豊富に保有しているフリーランスエージェントは①レバテックフリーランス、②BIGDATA NAVI、③レバテッククリエイターであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①レバテックフリーランス、②BIGDATA NAVI、③レバテッククリエイターを中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkのエージェント別月額単価相場

Sparkのフリーランス案件・求人を保有しているフリーランスエージェント別の単価相場は、①チョクフリ:120万円、②HiPro Tech(ハイプロテック):93.6万円、③ビズリンク:91.4万円、④Midworks:87.4万円、⑤アットエンジニア:84.2万円、⑥BIGDATA NAVI:81.9万円、⑦レバテックフリーランス:81.7万円、⑧キャリアプラス:80万円、⑨PMO NAVI:80万円、⑩フリコン:78.8万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高いフリーランスエージェントは①チョクフリ、②HiPro Tech(ハイプロテック)、③ビズリンクであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①チョクフリ、②HiPro Tech(ハイプロテック)、③ビズリンクを中心に複数のフリーランスエージェントに登録することをおすすめします。

Sparkの都道府県別案件数

Sparkのフリーランス案件・求人の都道府県別案件数は、①東京都:394件、②大阪府:20件、③福岡県:7件、④神奈川県:5件、⑤愛知県:2件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人が集中している都道府県は①東京都、②大阪府、③福岡県であることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①東京都、②大阪府、③福岡県を中心にフリーランス案件を探されることをおすすめします。

Sparkの職種別案件数

Sparkのフリーランス案件・求人の職種別案件数は、①サーバーサイドエンジニア:56件、②データサイエンティスト:51件、③インフラエンジニア:34件、④バックエンドエンジニア:29件、⑤エフェクトデザイナー:28件、⑥アプリケーションエンジニア:27件、⑦データベースエンジニア:23件、⑧サーバーエンジニア:14件、⑨スマホアプリエンジニア:12件、⑩機械学習エンジニア:10件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人は①サーバーサイドエンジニア、②データサイエンティスト、③インフラエンジニアが多いことが分かります。

Sparkの職種別平均単価

Sparkのフリーランス案件・求人の職種別の平均単価は、①デザイナー:165万円、②Webディレクター:162.5万円、③PMO:122.5万円、④PL:117.5万円、⑤コンサル:108.3万円、⑥QAエンジニア:106万円、⑦フロントエンドエンジニア:104.7万円、⑧SRE:103.3万円、⑨PM:101万円、⑩データアナリスト:95万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高い職種は①デザイナー、②Webディレクター、③PMOであることがわかります。

Sparkの業界別案件数

Sparkのフリーランス案件・求人の業界別案件数は、①サービス:199件、②機械:84件、③広告:77件、④ゲーム:56件、⑤IT:55件、⑥AI:46件、⑦通信:42件、⑧EC:38件、⑨ソーシャルゲーム:34件、⑩SaaS:33件となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人は①サービス、②機械、③広告が多いことが分かります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①サービス、②機械、③広告を中心に複数の業界の案件を検討されることをおすすめします。

Sparkの業界別平均単価

Sparkのフリーランス案件・求人の業界別の平均単価は、①保険:150万円、②コンサル:108.3万円、③DX:105.6万円、④Sier:99.4万円、⑤メディア:93.8万円、⑥化学:92.5万円、⑦官公庁:90万円、⑧AI:89.6万円、⑨機械:88.1万円、⑩小売:87.9万円となっています。(※フリーランスHub調べ/2023年12月) Sparkのフリーランス案件・求人の月額単価が高い業界は①保険、②コンサル、③DXであることがわかります。 Sparkのフリーランス案件・求人に参画を希望するフリーランスの方は①保険、②コンサル、③DXを中心に複数の業界の案件を検討されることをおすすめします。

Sparkの常駐案件・リモートワーク案件割合

Sparkのフリーランス案件・求人数のリモートワーク案件・常駐案件の割合を分析するとリモートワーク案件が217件(47.3%)、常駐案件が242件(52.7%)となっています。 したがって、Sparkフリーランス案件・求人に関しては常駐案件が多いことがわかります。 (※フリーランスHub調べ/2023年12月)

Spark案件のよくある質問

Sparkの月額単価の相場はどれくらいですか?

Sparkの月額単価の相場は81万円です。スキルやご経験により、

単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。

Sparkの案件数は何件ですか?

フリーランスHub上でご覧いただけるSparkの案件数は459件です。 尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。

未経験でもSparkのフリーランス案件に応募することは可能ですか?

はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。 ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。

Sparkについて

【Sparkの概要】 Spark(Apache Spark)は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。 Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。 【Spark関連案件に必要なスキル】 フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。 ※この文章は、2021年4月時点の内容です。