Sparkのフリーランス案件・求人一覧

作業内容 ・Pythonを用いた通信会社向け開発支援作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-基本設計 　-詳細設計 　-製造 　-テスト

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築（バッチ開発、データマート作成） ・要件ヒアリングやシステム改善提案 ・クラウド環境（GCP、AWS）での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成（設計資料、説明資料） ・大規模バッチ処理の開発 ・AWSサービス（Glue、EC2、S3）を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス（Lambda、API Gatewayなど）を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 フロー管理システムの開発・保守作業

作業内容 某通信会社向け開発支援作業

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00

作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・ポジション：DMS開発メンバー ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 地図広告プラットフォーム開発

作業内容 ・Linuxコマンドを用いたビックデータの移行作業に携わっていただきます。 ・主に以下のような業務に携わっていただきます。 ＜メイン作業＞ 移行作業（移行手順書作成、移行作業操作） ・Linuxコマンド ・Spark（Scala≒JavaのSpark処理） ・SnowflakeDB参照（他のDBと大差なし） ＜サブ作業＞ ・JavaによるSnowflake API（Snowpark API）作成 ・JavaによるAzure Functions作成

作業内容 ETLチームの一員として、内製開発を行っていただきます。 ＜業務内容＞ ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発 ＜就業時間＞ 9:00～18:00

作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、 複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。 ・業務内容： 　上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、 　グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。 ・開発環境：AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築 ・実施工程： 　FY23でオンプレDWH（Oracle、SAS）の一部をGCP（BigQuery）に移行しており、FY24では完全移行を目指す。 ※想定工程：2024年7 月～要件定義開始、2025月5月にリリースを目指す

作業内容 以下業務をご対応いただきます。 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 道路交通系開発をお任せいたします。 Hadoop上で動作する道路交通系システムの開発をご担当いただきます。 ■作業工程：詳細設計～結合テスト

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品：ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 AWS上で動作するアプリケーションの開発をお任せいたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue Data Catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください)

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 在庫最適化システムを支えるデータ基盤の構築を担当します。顧客から提供される大規模データを加工し、SQLやPythonを用いてデータストアに投入するための基盤を構築します。スクラムチームの一員として、メンバーと協力しながらスプリントを消化し、システムの機能改善および新機能の追加を行います。 ■具体的な業務内容 ・PythonおよびSQLを用いたデータ基盤の構築 ・大規模データの加工および集計 ・データストアへのデータ投入機構の開発 ・スクラムイベントへの参加およびスプリントの消化 ・AWS環境でのインフラ構築および管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ・Goを用いたマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用 　-アプリケーション開発 　-アプリケーションのワークフロー開発 　-運用改善

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ・大手自動車メーカーの「運転診断機能」というテーマ追加に伴うWeb開発。 （機密要素がありますので、それ以上はプロジェクト参画時にお伝えします） ・複数ベンダ混成によるアジャイル開発（スクラム方式）となり、 　プロダクトオーナーやスクラムマスターはエンドユーザー様となります。 ・業務作業としては、アルゴリズムは顧客側で研究開発済みのGivenを利用、 　Spark等にポーティングするスキームとなります。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 某社のクレジット基幹システム内の売上処理の再構築案件に携わっていただきます。 ■募集理由 ・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている ・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る ・また、現状バッチ処理による一括更新だが、Apache Kafkaを導入し、トランザクション処理化を行う ■求める方 ・他担当の技術的サポート、ソースレビューなどもできる開発者 ・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方 ・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方

作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。 ※エンジニアではなくコンサル枠となります。 さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 組織の要件に応じて、アーキテクチャが高可用性、災害復旧、 およびグローバル分散向けに設計されていることが目的です。 ＜想定される作業＞ ・データエンジニアと緊密に連携し、 　バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。 ・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 　高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング 2.データベース管理 3.データ統合 4.データガバナンスとセキュリティ 5.データ分析と視覚化 6.テクノロジーの評価と実装 7.コラボレーションとコミュニケーション 8.戦略計画 ※各項目詳細は、面談時にお伝えさせていただきます。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK（Python）を用いたインフラ管理の知識が求められます。 ■具体的な業務内容 ・Pythonを用いたアプリケーション設計および実装 ・AWS Fargate上での開発および運用 ・総合テストの計画および実施 ・Dockerイメージの作成および管理 ・AWS CDK（Python）を用いたインフラのコード化（IaC） 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。