Sparkの案件・求人一覧

1-30 / 全 546
NEW

【Python】通信会社向け開発支援作業案件

550,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSpark
サーバーサイドエンジニア
作業内容 ・Pythonを用いた通信会社向け開発支援作業に携わっていただきます。 ・主に下記作業をご担当いただきます。  -基本設計  -詳細設計  -製造  -テスト
NEW

【Python】【Python/SQL】不動産検索サービスのデータ基盤システム運用開発/データマート作成_0.8人月?1人月

700,000円/月

業務委託(フリーランス)
東京都
半蔵門駅
PythonSQLAWSGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築(バッチ開発、データマート作成) ・要件ヒアリングやシステム改善提案 ・クラウド環境(GCP、AWS)での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援

400,000 〜 500,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
Python
サーバーサイドエンジニアバックエンドエンジニア
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験
NEW

【AWS】データレイク構築(python)

800,000円/月

業務委託(フリーランス)
東京都
六本木一丁目駅
PythonAWSGlue
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成(設計資料、説明資料) ・大規模バッチ処理の開発 ・AWSサービス(Glue、EC2、S3)を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python(Web開発系)】バックエンドエンジニア業務

1,000,000円/月

業務委託(フリーランス)
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス(Lambda、API Gatewayなど)を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

600,000 〜 700,000円/月

業務委託(フリーランス)
PythonSQL
サーバーサイドエンジニアバックエンドエンジニア
作業内容 フロー管理システムの開発・保守作業

【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業

400,000 〜 550,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSparkKafka
サーバーサイドエンジニアバックエンドエンジニア
作業内容 某通信会社向け開発支援作業

データ加工処理マイグレーション検討

700,000 〜 900,000円/月

東京都
門前仲町駅
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ  クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。  -現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト  -ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換  →Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の   Spark関連マネージド・サービスにマイグレーション <就業時間> 9:00ー18:00

【Python】内製開発:ETLチーム

800,000円/月

業務委託(フリーランス)
東京都
PythonSpark
サーバーサイドエンジニア
作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発
NEW

【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援

800,000円/月

業務委託(フリーランス)
東京都
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

DMS開発メンバー クレジットカード会社の次世代DWH(DMS)開発支援

440,000 〜 540,000円/月

東京都
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション:DMS開発メンバー ・業務内容:  上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、  グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程:  FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。 ※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す

【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の求人・案件

600,000円/月

業務委託(フリーランス)
東京都
虎ノ門駅
PythonHadoopSparkAWSHiveGlueAthena
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== 地図広告プラットフォーム開発

【Linux】ビックデータリプレース案件

550,000円/月

業務委託(フリーランス)
愛知県
久屋大通駅
JavaLinux
サーバーエンジニア
作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。 ・主に以下のような業務に携わっていただきます。 <メイン作業> 移行作業(移行手順書作成、移行作業操作) ・Linuxコマンド ・Spark(Scala≒JavaのSpark処理) ・SnowflakeDB参照(他のDBと大差なし) <サブ作業> ・JavaによるSnowflake API(Snowpark API)作成 ・JavaによるAzure Functions作成

Python 内製開発(ETLチーム)

520,000 〜 620,000円/月

東京都
品川駅
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。 <業務内容> ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発 <就業時間> 9:00~18:00

【Python/SQLなど】データエンジニアの求人・案件

650,000円/月

業務委託(フリーランス)
リモート
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

プラットフォーム構築メンバー クレジットカード会社の次世代DWH(DMS)開発支援

440,000 〜 540,000円/月

東京都
SASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・業務内容:  上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、  グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程:  FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。 ※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す

Python 大手通信系企業内の内製開発(ETLチーム)

600,000 〜 700,000円/月

東京都
PythonSpark
作業内容 以下業務をご対応いただきます。 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

【Java(Spring Boot)】【業務委託(準委任)】道路交通系開発案件【リモートOK】

700,000円/月

大阪府
新大阪駅
JavaSQLSpring
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 道路交通系開発をお任せいたします。 Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程:詳細設計~結合テスト

【Python/フルリモート可能】Saasプロダクトデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
フルリモート
PythonSQLSparkAWSDocker
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry

【クラウドエンジニア(AWS)】【業務委託(準委任)】データレイクエンジニア

800,000円/月

業務委託(フリーランス)
東京都
六本木一丁目駅
AWS
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 AWS上で動作するアプリケーションの開発をお任せいたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue Data Catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください)

【Python(データ分析系)】Pythonによるデータ基盤構築

650,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLSparkAWS
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 在庫最適化システムを支えるデータ基盤の構築を担当します。顧客から提供される大規模データを加工し、SQLやPythonを用いてデータストアに投入するための基盤を構築します。スクラムチームの一員として、メンバーと協力しながらスプリントを消化し、システムの機能改善および新機能の追加を行います。 ■具体的な業務内容 ・PythonおよびSQLを用いたデータ基盤の構築 ・大規模データの加工および集計 ・データストアへのデータ投入機構の開発 ・スクラムイベントへの参加およびスプリントの消化 ・AWS環境でのインフラ構築および管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Go】マーケティングツール開発案件

850,000円/月

業務委託(フリーランス)
東京都
恵比寿駅
PythonRubyGoDockerGitHubTypeScript
サーバーサイドエンジニア
作業内容 ・Goを用いたマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。  -Kubernetes上に構築したアプリケーションの開発や運用  -アプリケーション開発  -アプリケーションのワークフロー開発  -運用改善

【AWS/Python/リモート併用】インフラ構築の求人・案件

700,000円/月

業務委託(フリーランス)
リモート
PythonAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【日本語ネイティブの方、活躍中!】 【20代・30代・40代、活躍中!】 【出社可能な方、活躍中!】

★4月開始★【Python/リモート】大手自動車メーカーBigData領域開発

600,000円/月

業務委託(フリーランス)
東京都
PythonAWSGit
サーバーサイドエンジニア
作業内容 ・大手自動車メーカーの「運転診断機能」というテーマ追加に伴うWeb開発。 (機密要素がありますので、それ以上はプロジェクト参画時にお伝えします) ・複数ベンダ混成によるアジャイル開発(スクラム方式)となり、  プロダクトオーナーやスクラムマスターはエンドユーザー様となります。 ・業務作業としては、アルゴリズムは顧客側で研究開発済みのGivenを利用、  Spark等にポーティングするスキームとなります。

【Java(Spring)】【業務委託(準委任)】某社のクレジット基幹システム内の売上処理の再構築案件

650,000円/月

業務委託(フリーランス)
東京都
東京駅
JavaOracleSpring
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 某社のクレジット基幹システム内の売上処理の再構築案件に携わっていただきます。 ■募集理由 ・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている ・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る ・また、現状バッチ処理による一括更新だが、Apache Kafkaを導入し、トランザクション処理化を行う ■求める方 ・他担当の技術的サポート、ソースレビューなどもできる開発者 ・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方 ・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方

データアーキテクト エンタープライズ

900,000 〜 1,200,000円/月

東京都
JavaPythonSQLScalaHadoopSparkAWSAzureTableau
作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。 ※エンジニアではなくコンサル枠となります。 さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 組織の要件に応じて、アーキテクチャが高可用性、災害復旧、 およびグローバル分散向けに設計されていることが目的です。 <想定される作業> ・データエンジニアと緊密に連携し、  バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。 ・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、  高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング 2.データベース管理 3.データ統合 4.データガバナンスとセキュリティ 5.データ分析と視覚化 6.テクノロジーの評価と実装 7.コラボレーションとコミュニケーション 8.戦略計画 ※各項目詳細は、面談時にお伝えさせていただきます。
NEW

【Python(データ分析系)】データ分析、基盤運用開発(Python)

700,000円/月

業務委託(フリーランス)
東京都
渋谷駅
Python
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Python(データ分析系)】データ連携アプリ開発(Python, AWS Fargate)

650,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSFargate
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK(Python)を用いたインフラ管理の知識が求められます。 ■具体的な業務内容 ・Pythonを用いたアプリケーション設計および実装 ・AWS Fargate上での開発および運用 ・総合テストの計画および実施 ・Dockerイメージの作成および管理 ・AWS CDK(Python)を用いたインフラのコード化(IaC) 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python(Web開発系)】Python/バッチ開発・運用(フルリモート)

750,000円/月

業務委託(フリーランス)
東京都
淡路町駅
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【JavaScript(Vue.js)】スタートアップ企業でのバックエンドエンジニア募集!

600,000円/月

業務委託(フリーランス)
東京都
渋谷駅
JavaScriptDjangoVue.js
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

気になる案件は見つかりましたか?

お探しの条件に合った新着案件をお知らせします

掛け合わせ条件で絞り込む

特徴で絞り込む
Spark × 在宅・リモート

Spark案件のよくある質問

Sparkの月額単価の相場はどれくらいですか?

Sparkの月額単価の相場は80万円です。スキルやご経験により、

単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。

Sparkの案件数は何件ですか?

フリーランスHub上でご覧いただけるSparkの案件数は546件です。 尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。

未経験でもSparkのフリーランス案件に応募することは可能ですか?

はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。 ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。

Sparkについて

【Sparkの概要】 Spark(Apache Spark)は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。 Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。 【Spark関連案件に必要なスキル】 フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。 ※この文章は、2021年4月時点の内容です。
リセット

Sparkの案件・求人一覧

1-30 / 全 546
NEW

【Python】通信会社向け開発支援作業案件

550,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSpark
サーバーサイドエンジニア
作業内容 ・Pythonを用いた通信会社向け開発支援作業に携わっていただきます。 ・主に下記作業をご担当いただきます。  -基本設計  -詳細設計  -製造  -テスト
NEW

【Python】【Python/SQL】不動産検索サービスのデータ基盤システム運用開発/データマート作成_0.8人月?1人月

700,000円/月

業務委託(フリーランス)
東京都
半蔵門駅
PythonSQLAWSGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築(バッチ開発、データマート作成) ・要件ヒアリングやシステム改善提案 ・クラウド環境(GCP、AWS)での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援

400,000 〜 500,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
Python
サーバーサイドエンジニアバックエンドエンジニア
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験
NEW

【AWS】データレイク構築(python)

800,000円/月

業務委託(フリーランス)
東京都
六本木一丁目駅
PythonAWSGlue
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成(設計資料、説明資料) ・大規模バッチ処理の開発 ・AWSサービス(Glue、EC2、S3)を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python(Web開発系)】バックエンドエンジニア業務

1,000,000円/月

業務委託(フリーランス)
東京都
東銀座駅
PythonAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス(Lambda、API Gatewayなど)を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

600,000 〜 700,000円/月

業務委託(フリーランス)
PythonSQL
サーバーサイドエンジニアバックエンドエンジニア
作業内容 フロー管理システムの開発・保守作業

【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業

400,000 〜 550,000円/月

業務委託(フリーランス)
神奈川県
武蔵小杉駅
JavaPythonScalaSparkKafka
サーバーサイドエンジニアバックエンドエンジニア
作業内容 某通信会社向け開発支援作業

データ加工処理マイグレーション検討

700,000 〜 900,000円/月

東京都
門前仲町駅
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ  クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。  -現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト  -ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換  →Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の   Spark関連マネージド・サービスにマイグレーション <就業時間> 9:00ー18:00

【Python】内製開発:ETLチーム

800,000円/月

業務委託(フリーランス)
東京都
PythonSpark
サーバーサイドエンジニア
作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発
NEW

【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援

800,000円/月

業務委託(フリーランス)
東京都
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

DMS開発メンバー クレジットカード会社の次世代DWH(DMS)開発支援

440,000 〜 540,000円/月

東京都
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション:DMS開発メンバー ・業務内容:  上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、  グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程:  FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。 ※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す

【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の求人・案件

600,000円/月

業務委託(フリーランス)
東京都
虎ノ門駅
PythonHadoopSparkAWSHiveGlueAthena
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== 地図広告プラットフォーム開発

【Linux】ビックデータリプレース案件

550,000円/月

業務委託(フリーランス)
愛知県
久屋大通駅
JavaLinux
サーバーエンジニア
作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。 ・主に以下のような業務に携わっていただきます。 <メイン作業> 移行作業(移行手順書作成、移行作業操作) ・Linuxコマンド ・Spark(Scala≒JavaのSpark処理) ・SnowflakeDB参照(他のDBと大差なし) <サブ作業> ・JavaによるSnowflake API(Snowpark API)作成 ・JavaによるAzure Functions作成

Python 内製開発(ETLチーム)

520,000 〜 620,000円/月

東京都
品川駅
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。 <業務内容> ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発 <就業時間> 9:00~18:00

【Python/SQLなど】データエンジニアの求人・案件

650,000円/月

業務委託(フリーランス)
リモート
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

プラットフォーム構築メンバー クレジットカード会社の次世代DWH(DMS)開発支援

440,000 〜 540,000円/月

東京都
SASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・業務内容:  上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、  グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程:  FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。 ※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す

Python 大手通信系企業内の内製開発(ETLチーム)

600,000 〜 700,000円/月

東京都
PythonSpark
作業内容 以下業務をご対応いただきます。 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

【Java(Spring Boot)】【業務委託(準委任)】道路交通系開発案件【リモートOK】

700,000円/月

大阪府
新大阪駅
JavaSQLSpring
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 道路交通系開発をお任せいたします。 Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程:詳細設計~結合テスト

【Python/フルリモート可能】Saasプロダクトデータ基盤構築の求人・案件

700,000円/月

業務委託(フリーランス)
フルリモート
PythonSQLSparkAWSDocker
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry

【クラウドエンジニア(AWS)】【業務委託(準委任)】データレイクエンジニア

800,000円/月

業務委託(フリーランス)
東京都
六本木一丁目駅
AWS
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 AWS上で動作するアプリケーションの開発をお任せいたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue Data Catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください)

【Python(データ分析系)】Pythonによるデータ基盤構築

650,000円/月

業務委託(フリーランス)
東京都
東京駅
PythonSQLSparkAWS
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 在庫最適化システムを支えるデータ基盤の構築を担当します。顧客から提供される大規模データを加工し、SQLやPythonを用いてデータストアに投入するための基盤を構築します。スクラムチームの一員として、メンバーと協力しながらスプリントを消化し、システムの機能改善および新機能の追加を行います。 ■具体的な業務内容 ・PythonおよびSQLを用いたデータ基盤の構築 ・大規模データの加工および集計 ・データストアへのデータ投入機構の開発 ・スクラムイベントへの参加およびスプリントの消化 ・AWS環境でのインフラ構築および管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Go】マーケティングツール開発案件

850,000円/月

業務委託(フリーランス)
東京都
恵比寿駅
PythonRubyGoDockerGitHubTypeScript
サーバーサイドエンジニア
作業内容 ・Goを用いたマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。  -Kubernetes上に構築したアプリケーションの開発や運用  -アプリケーション開発  -アプリケーションのワークフロー開発  -運用改善

【AWS/Python/リモート併用】インフラ構築の求人・案件

700,000円/月

業務委託(フリーランス)
リモート
PythonAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 ===== ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20~40代までの方、活躍中! ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ===== ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【日本語ネイティブの方、活躍中!】 【20代・30代・40代、活躍中!】 【出社可能な方、活躍中!】

★4月開始★【Python/リモート】大手自動車メーカーBigData領域開発

600,000円/月

業務委託(フリーランス)
東京都
PythonAWSGit
サーバーサイドエンジニア
作業内容 ・大手自動車メーカーの「運転診断機能」というテーマ追加に伴うWeb開発。 (機密要素がありますので、それ以上はプロジェクト参画時にお伝えします) ・複数ベンダ混成によるアジャイル開発(スクラム方式)となり、  プロダクトオーナーやスクラムマスターはエンドユーザー様となります。 ・業務作業としては、アルゴリズムは顧客側で研究開発済みのGivenを利用、  Spark等にポーティングするスキームとなります。

【Java(Spring)】【業務委託(準委任)】某社のクレジット基幹システム内の売上処理の再構築案件

650,000円/月

業務委託(フリーランス)
東京都
東京駅
JavaOracleSpring
作業内容 【20代~30代のITエンジニアが活躍中!】 ■概要 某社のクレジット基幹システム内の売上処理の再構築案件に携わっていただきます。 ■募集理由 ・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている ・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る ・また、現状バッチ処理による一括更新だが、Apache Kafkaを導入し、トランザクション処理化を行う ■求める方 ・他担当の技術的サポート、ソースレビューなどもできる開発者 ・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方 ・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方

データアーキテクト エンタープライズ

900,000 〜 1,200,000円/月

東京都
JavaPythonSQLScalaHadoopSparkAWSAzureTableau
作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。 ※エンジニアではなくコンサル枠となります。 さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 組織の要件に応じて、アーキテクチャが高可用性、災害復旧、 およびグローバル分散向けに設計されていることが目的です。 <想定される作業> ・データエンジニアと緊密に連携し、  バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。 ・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、  高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング 2.データベース管理 3.データ統合 4.データガバナンスとセキュリティ 5.データ分析と視覚化 6.テクノロジーの評価と実装 7.コラボレーションとコミュニケーション 8.戦略計画 ※各項目詳細は、面談時にお伝えさせていただきます。
NEW

【Python(データ分析系)】データ分析、基盤運用開発(Python)

700,000円/月

業務委託(フリーランス)
東京都
渋谷駅
Python
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【Python(データ分析系)】データ連携アプリ開発(Python, AWS Fargate)

650,000円/月

業務委託(フリーランス)
東京都
渋谷駅
PythonAWSFargate
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK(Python)を用いたインフラ管理の知識が求められます。 ■具体的な業務内容 ・Pythonを用いたアプリケーション設計および実装 ・AWS Fargate上での開発および運用 ・総合テストの計画および実施 ・Dockerイメージの作成および管理 ・AWS CDK(Python)を用いたインフラのコード化(IaC) 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。
NEW

【Python(Web開発系)】Python/バッチ開発・運用(フルリモート)

750,000円/月

業務委託(フリーランス)
東京都
淡路町駅
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

【JavaScript(Vue.js)】スタートアップ企業でのバックエンドエンジニア募集!

600,000円/月

業務委託(フリーランス)
東京都
渋谷駅
JavaScriptDjangoVue.js
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】 ※週4日〜OK案件です! ※実務経験2年以上ありの方が対象の案件です! ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

気になる案件は見つかりましたか?

お探しの条件に合った新着案件をお知らせします

掛け合わせ条件で絞り込む

特徴で絞り込む
Spark × 在宅・リモート

あなたにピッタリ
フリーランス案件が見つかる

  • 130万件以上のフリーランス案件から一括検索

    302,941の案件を保有しており、エンジニアやクリエイター向けを中心にたくさんの案件を一括検索可能です。

    ※ 10月30日(Wed)更新

    30万件以上のフリーランス案件から一括検索

  • 2あなたの経験やスキルに適した案件をメールでお知らせ

    マイページに入力して頂いた経験や希望条件に合わせて、ご希望にマッチした案件をメールでお送りするので効率的な案件探しが可能です。

    あなたのプロフィールからおすすめの案件・求人

今すぐ無料登録

Spark案件のよくある質問

Sparkの月額単価の相場はどれくらいですか?

Sparkの月額単価の相場は80万円です。スキルやご経験により、

単価が変わります。自分のスキルや経験に合った案件は、こちらの案件一覧ページから検索・応募できます。

Sparkの案件数は何件ですか?

フリーランスHub上でご覧いただけるSparkの案件数は546件です。 尚、応募先エージェントで非公開案件の提案を受けられる場合もあります。

未経験でもSparkのフリーランス案件に応募することは可能ですか?

はい。応募先エージェントが条件を設けていない限り、基本的には未経験でも応募することが可能です。 ただし、中には実務経験を重視する案件もありますので、未経験で参画できる案件があるかどうかは応募先エージェントに確認してみましょう。

Sparkについて

【Sparkの概要】 Spark(Apache Spark)は、大規模データを処理するためのフレームワークです。Sparkの開発はカリフォルニア大学バークレー校で2009年に始まり、現在は非営利団体であるApacheソフトウェア財団が管理しています。Sparkの特徴は、大規模データを高速で処理できること。データをHDDやSSDでなくメモリに格納することで、高速性が実現されました。 Sparkを用いる案件は、データエンジニアやデータサイエンティストといった職種を対象としたものが主です。データ処理ジョブの記述と構築をはじめ、データ分析や機械学習など、フリーランス案件で行うことが想定される幅広い作業にSparkを活用することができます。 【Spark関連案件に必要なスキル】 フリーランス向けのSpark関連案件では、Hadoopを扱うスキルが必要になると考えられます。SparkとHadoopは並列的に活用されており、リアルタイムかつ高速処理を要するデータはSpark、サイズが大きいデータの分散処理はHadoopというように使い分けられる傾向にあるためです。Spark、Hadoop双方のメリットとデメリットを把握したうえでそれぞれの扱いに長けていれば、フリーランス案件参画時にデータ処理作業がスムーズになるでしょう。 ※この文章は、2021年4月時点の内容です。