Sparkのフリーランス案件・求人一覧

作業内容 某通信会社向け開発支援作業

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。 ＜業務内容＞ AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です！！★ ■概要 大手メーカーのバックオフィス業務を支えるデータ解析基盤の開発を担当します。AWSを活用し、RedshiftやEMR（Spark）、Athenaなどのデータ処理技術を用いたシステムを構築します。Pythonを中心としたデータ処理・分析のスキルが求められます。 ■具体的な業務内容 ・AWS環境上でのデータ解析基盤の設計・開発 ・Pythonを用いたデータ処理スクリプトの作成 ・SQLを用いたデータ抽出・集計処理の実装 ・AWS Lambda、Step Functionsを活用したワークフロー構築 ・Tableauを用いたデータ可視化（可能であれば対応）

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 小売業向けの分析基盤システムの開発を担当します。要件定義から導入までの一連のシステム開発を進め、PythonやSQLを用いたデータ分析および基盤構築に携わります。 ■具体的な業務内容 ・PythonおよびSQLを用いたデータ分析および基盤構築 ・要件定義から導入までのシステム開発プロセスの遂行 ・AzureおよびDatabricksの活用に関する調査および提案 ・統計手法を用いたデータ分析および改善提案 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 ★エンジニア実務経験2年以上 / ブランクのない方が対象の案件です！！★ ■概要 大手自動車会社のIoT基盤を支えるAWS上のサーバ基盤運用における設計・構築業務を担当するプロジェクトです。オンプレミスからクラウドに移行したシステムにおいて、AWSの各種マネージドサービスやHadoopエコシステムを活用し、安定した基盤運用を目指します。長期的な支援が見込まれるため、スキルを深める環境が整っています。 ■具体的な業務内容 ・AWS環境でのサーバ設計・構築業務 ・運用設計の策定および運用支援 ・Hadoopエコシステム(Apache Spark、Kafkaなど)を用いたデータ基盤構築 ・AWSマネージドサービスの活用および最適化

作業内容 【20代～40代の方向け】 現行のものからデータベースを移行するにあたり、新しいデータベースの構築業務に携わって頂きます。 データのETL処理にdatabricksを使用するため、databricks及びPythonでの業務をご担当いただく予定です。　

作業内容 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム構成 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■開発環境 ? 分散DB（Cloud Spanner） ? 言語：Go言語 ? 通信 ：connect-go proto ? コンピューティング：Kubernetes → Cloud Run ? DWH・パイプライン構築 ? BigQuery ? Apache Spark ■会社の魅力 大企業の持つ資本力とベンチャーの持つスピード感を両立しており、０ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス（Q&Aに特化したライブ配信アプリ）を今年の春、リリース予定となっております。 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い

作業内容 Google Cloud環境では、DWHとしてBigQueryを利用し、データパイプラインにはGoogle Cloudのマネージドサービスと、データ変換ツールdbtを使用する想定です。<作業内容>（上から優先度が高い順） 1．バッチ処理コード移行（Java（Spling Boot）→ Google Cloud Composer + Google Data Fusion + dbt） （実装、単体テスト、結合テスト、システムテスト） 2．SQL構文修正（Redshift（PostgresSQL） → BigQuery） （実装、単体テスト、結合テスト、システムテスト） 3．テーブルデータ移行（Redshift → BigQuery） （テーブル設計・実装、データ移行、データ検証） ======================== ※必ずお読みください※ 【外国籍の方の場合】 日本語能力検定１級お持ちの方 日本語が母国語の方 ========================

作業内容 ・需要予測システム開発および運用支援 ・工程：製造・テスト・エラー調査・運用

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成（設計資料、説明資料） ・大規模バッチ処理の開発 ・AWSサービス（Glue、EC2、S3）を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ・小売向け需要予測システム開発、運用支援に関わる各種業務 ・製造〜テスト〜調査〜運用などをご担当

作業内容 ・データのETL処理の基盤構築 ・AWSサービスとPythonを使ってデータ解析基盤の開発 ・設計/製造をメインにご担当

作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 派遣業界向けの大規模データ活用基盤の改善・保守を行うプロジェクトです。レコメンドエンジンの運用や分析環境の改善、クラウド環境の技術検証を通じて、より高度なデータ分析基盤の構築に貢献します。必要に応じて、簡易的な機械学習モデルのチューニングやデータ分析業務も担当します。 ■具体的な業務内容 ・レコメンドエンジンを提供するデータ基盤の改善および保守運用 ・AWSやGCPを活用したクラウド環境での開発および運用業務 ・Python、Shell、SQLを用いたデータ処理およびスクリプト作成 ・新規クラウドサービスやミドルウェアの技術検証 ・簡易的な機械学習モデルのチューニングおよびデータ分析

作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 新規プロダクトの開発において、AWSを活用したサーバーサイドの設計および開発を担当します。ETL処理やAPI開発を中心に、技術的知見を活かしてプロダクトオーナーと連携し、仕様策定やリソース活用を進めます。データベース設計や大規模データ処理経験がある方が特に歓迎されます。 ■具体的な業務内容 ・RDBのデータベース設計および構築 ・Glue JobでPythonを使用したETL処理の設計および開発 ・API GatewayおよびLambdaを活用したAPI開発 ・AWSリソースの活用によるプロダクト開発支援 ・git flowベースのチーム開発およびリリース管理

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 ビッグデータを扱う新規の分析システムを構築するプロジェクトです。Pythonを使用し、要件定義から設計開発、テストまでをアジャイル開発で進めます。ビッグデータ関連の経験があるエンジニアを募集しています。 ■具体的な業務内容 ・ビッグデータを扱う分析用システムの構築 ・要件確認、調査分析、設計開発、テストの実施 ・Pythonを使用した設計および開発 ・アジャイル開発プロセスでのプロジェクト推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 新規プロダクトのサーバーサイド開発を担当するプロジェクトです。主にAWSのリソースを活用し、API GatewayやLambdaを利用したAPI開発やGlue Jobを用いたETL処理の設計・開発を行います。プロダクトオーナーとの仕様策定やデータベース設計を担当するだけでなく、データ処理やAPIの最適化にも携わり、幅広い知識を身に付けることが可能です。 ■具体的な業務内容 ・RDBのデータベース設計および開発 ・Glue Jobを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・AWSリソースを活用したプロダクト開発の設計・実装 ・技術的知見を活かしたプロダクトオーナーとの仕様策定 ・Git flowをベースにした開発進行

作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です！！★ ■概要 AWSを活用した新規プロダクトのサーバーサイド開発を担当するプロジェクトです。API GatewayやLambdaを使用したAPI開発、Glue Jobを用いたETL処理の設計・開発を行います。また、データベース設計やAWSリソースの最適利用を進めながら、プロダクトオーナーと協力して仕様策定にも携わります。チームでの開発経験やAWSサービスの運用経験を活かせる案件です。 ■具体的な業務内容 ・RDBを使用したデータベース設計および開発 ・Glue Jobを使用したETL処理の設計・開発 ・API Gateway、Lambdaを活用したAPI設計および実装 ・AWSリソースを利用したプロダクト開発の推進 ・プロダクトオーナーとの仕様策定および要件整理 ・git flowをベースとした開発プロセスの進行

作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です！！★ ■概要 大手メーカーのバックオフィス業務において、ビッグデータを活用した解析システムの開発・運用を担当します。AWS上でデータ解析基盤を構築し、データの収集・処理・可視化を行います。PythonやSQLを用いたデータ分析を行いながら、新しい技術の導入にも積極的に関わることができます。 ■具体的な業務内容 ・AWS上でのデータ解析基盤の構築・運用 ・Redshift、EMR（Spark）、Athena、RDSなどのAWSサービスを活用したデータ処理 ・PythonおよびSQLを用いたデータ解析・集計・レポート作成 ・Tableauを活用したデータの可視化・分析支援 ・技術的な課題解決および新技術の検討・導入

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 不動産検索サービスのデータ集積システムに関わるエンジニアリング業務です。PythonやSQLを用いて、データマート作成やバッチ開発を担当し、データ活用基盤の整備に貢献します。 ■具体的な業務内容 ・データ集積システムの構築（バッチ開発、データマート作成） ・要件ヒアリングやシステム改善提案 ・クラウド環境（GCP、AWS）での開発および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。 ■具体的な業務内容 ・Pythonを使用したバッチ開発および改修 ・データベースへのデータインサート ・GCP環境でのシステム開発および運用 ・データ処理の高速化および自動化対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 大手クライアントの派遣事業におけるレコメンドエンジンの改善および新規開発を担当するプロジェクトです。開発系ではデータ加工やWebAPI開発、分析系では機械学習モデルの構築やチューニングなどを担当いただきます。Python、Shell、SQLを用いた開発または分析経験が求められます。クラウド環境や大規模データ処理に興味がある方も歓迎します。 ■具体的な業務内容 開発系: ・データ加工、バッチ開発、WebAPI開発、新規技術の検証 ・Linux環境における開発およびドキュメント作成（設計書、テスト仕様書） 分析系: ・基礎分析、機械学習モデル構築、チューニング、レポーティング ・データ加工および検証作業

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用してRDBのデータベース設計や、Glue Jobを使用したPythonによるETL処理を担当します。API GatewayやLambdaを活用してAPIを開発し、プロダクトオーナーと協力しながら仕様策定を行います。データウェアハウスおよびデータマート向けのETLジョブの開発経験が求められます。 ■具体的な業務内容 ・AWSサービス（Lambda、API Gatewayなど）を利用したシステム開発 ・Glue Jobを使用したETL処理の設計および開発 ・Pythonを使用したサーバーサイド開発 ・プロダクトオーナーとの協力による仕様策定 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 AWSを活用したバックエンドシステムの設計・開発を担当し、RDBデータベース設計やPythonを使用したETL処理、API GatewayやLambdaを用いたAPI開発を行います。技術的な知見を活かし、プロダクトオーナーと連携して仕様策定にも関与し、AWSリソースを積極的に活用したシステム開発に貢献します。 ■具体的な業務内容 ・RDBデータベース設計およびAWS Glueを使用したETL処理の開発 ・API Gateway、Lambdaを使用したAPI開発 ・プロダクトオーナーとの仕様策定および協調 ・AWSリソースを活用したインフラ構築および運用 ・Git Flowベースの開発進行およびプロジェクト管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 「アルゴリズムで、社会はもっとシンプルになる。」をミッションに掲げ、 アルゴリズムを用いて事業開発を行うAIスタートアップです。 【募集背景】 ChatGPTをはじめとする大規模モデルと隆盛により、データ活用の社会的ニーズが高まってきております。 特に、弊社では金融業界でのデータ活用に向けた取り組みを進めており、技術的には、セキュリティや大規模なデータを扱うことを考えて、モダンなデータスタックの導入ができるように社内での検証を進めてきており、 今回大型のプロジェクトを実行するため、技術ケイパビリティ・経験を持ったエンジニアを今回募集しております。 【業務内容】 メインとして顧客環境に、特にMicrosoft Azureを想定としたデータ基盤を構築し、運用できるようにして頂きます。 データの収集元はテキストデータを中心に多岐に渡る想定であり、収集したデータはLLM/RAGと言われる技術を活用し、ChatGPTのようなボットの活用を行い、問い合わせの自動対応を実現することが目的です。 また、セキュリティ的を十分に考慮しながら設計できることが必要であり、業務としてはデータの基盤の設計及び実行のマネジメントも含めて実行頂きます。 また、必要に応じてクライアントコミュニケーションも行って頂くこともございます。 大型プロジェクトのデータエンジニアとしてのご参画を想定しております。 - アーキテクチャの設計 (既存にAzure上に一定構成されたものは存在) - プロジェクトの技術面での実行 - 顧客環境 (特にMicrosoft Azureを想定)にデータ基盤を構築し運用できるようにする。データの収集元は多岐に渡る想定。 - データ基盤の活用の支援 (BIツール等のデータ基盤の活用に関する助言。場合によっては活用基盤の構築) - 実行メンバーを採用及びメンバーの実行マネジメントの検討・実行 - クライアントコミュニケーション - 他データ基盤のプロジェクトへのアドバイス - アーキテクチャレビュー

作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala

作業内容 フロー管理システムの開発・保守作業

作業内容 ■概要 環境設計レビュー・改善・実装・メンテナンスをお任せいたします。 ■具体的な作業内容 以下の業務をお願いします。 ・既存のAWS ETL環境の調査改善 ・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります。