Sparkのフリーランス案件・求人一覧 | 10ページ目

700,000円/月

業務委託(フリーランス)

東京都

リモート

PythonSQLSparkAWSDocker

作業内容在庫最適化システムを支えるデータ基盤の構築を行っていただきます。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。【開発環境】・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

1,300,000円/月

業務委託(フリーランス)

東京都

PythonRHadoopSparkAWSGoogle Cloud Platform

データサイエンティスト

作業内容概要国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う業務目的施策で使われるモデルやアルゴリズムを実装し、運用すること。部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

【データエンジニア】データ基盤構築案件

850,000円/月

業務委託(フリーランス)

東京都

銀座駅

PythonAWSAzureGoogle Cloud PlatformTrelloBigQuery

データサイエンティストサーバーサイドエンジニア

作業内容・下記作業をご担当いただきます。　-Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発、運用　-Apache Sparkを利用したETL処理の開発　-各サービス開発チームのデータエンジニアリングの支援

【Python/フルリモート】データ分析基盤及びETL基盤・システム開発支援案件

950,000円/月

業務委託(フリーランス)

福岡県

中洲川端駅

PythonSQLGoC#ScalaLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch

作業内容・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。・システムアーキテクチャの検討、選定及び設計、実装、ビッグデータを分析(加工)するための分散処理基盤の開発を行っていただきます。・主にPython・Goを用いて開発をご担当いただきます。

【Python】Lob分析サービス開発運用

630,000 〜 680,000円/月

業務委託(フリーランス)

東京都

大崎駅

フルリモート

PythonRedisHadoopSparkAWSReactAthenaLambda

サーバーサイドエンジニア

作業内容テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！【概要】 TVなどの操作Logをもとにランキングなどを出力するサービスの開発【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【主に行う業務】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。【求める人物像】・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方・コミュニケーション能力のある方・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方【作業工程】開発、構築~ 【場所】大崎駅 ※フルリモート【勤務時間】 9:00~18:00 【精算】 140-180h 【面談】 2回【備考】・服装:ビジネスカジュアル ※週5日〜OKの案件です！

【Azure】クラウドエンジニアの求人・案件

1,100,000円/月

業務委託(フリーランス)

東京都

リモート

HadoopAzure

インフラエンジニア

作業内容在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

【週4日～可】【PM】ビッグデータ向けソリューションアーキテクト開発案件

850,000円/月

業務委託(フリーランス)

東京都

虎ノ門駅

SQLScalaNode.jsHadoopSparkAWSHive

作業内容・クライアントの課題ヒアリングからデータの整理、および解決すべき問題の要件化から、　エンジニアやサイエンティストと協力いただきながら、　実際の開発、運用までの全てに携わっていただきます。・プロジェクト推進の中核メンバーとして参画いただきますので、　問題解決や開発、技術選定などご自身の意思で柔軟にご対応いただけます。

【Scala】スマホ向けDSP開発案件

800,000円/月

業務委託(フリーランス)

東京都

渋谷駅

ScalaLinuxAWSGitHubGoogle Cloud PlatformRedshift

アプリケーションエンジニアデータベースエンジニア

作業内容・スマートフォンの成果報酬課金型DSPの広告配信システムの開発と、　Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。

【Python】通信会社向け販促システム開発案件

800,000円/月

業務委託(フリーランス)

東京都

半蔵門駅

PythonMySQLHadoopSparkApache

作業内容・通信会社向け販促システム開発に携わっていただきます。・主に下記作業をご担当いただきます。　-Webスクレイピング　-追加機能開発・フルリモートでの作業を想定しております。 ※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる　想定です。

【SQL/DWH】EC企業向けDWH更改案件

550,000円/月

業務委託(フリーランス)

東京都

二子玉川駅

SQLSparkBigQueryHive

データベースエンジニア

作業内容・TeraDataで構築していたDWHを更改する案件に携わっていただきます。

【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備

600,000 〜 1,000,000円/月

業務委託(フリーランス)

PythonAWSGoogle Cloud Platform

作業内容データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。・AWSからGCPへの移行作業・GCPのデータ基盤構築

生命保険会社のデータ分析ツールの導入・開発保守

500,000円/月

業務委託(フリーランス)

東京都

東陽町駅

Python

作業内容・データ分析、利活用ツールの導入・保守開発等（開発より調査やドキュメント作成の方が多い想定）・Azureへの移行

【AWS/Python】データ連携アプリ開発

800,000円/月

業務委託(フリーランス)

東京都

PythonAWSFargate

バックエンドエンジニア

作業内容同社クライアントのDX事業会社様の案件になります。現在開発中のシステムに対する追加機能の設計実装をお任せ致します。工程：アプリケーション設計～総合テスト

【Python(リモート)】AI系サービスデータ基盤構築

750,000円/月

業務委託(フリーランス)

東京都

PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda

バックエンドエンジニア

作業内容顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。・新規データ取得のETL及びデータウェアハウスの実装・データ基盤の運用及び保守開発・データの可視化・定例MTG対応・仕様書等ドキュメント作成（一部）〜技術環境〜 OS：Linux、Windows 言語：Python、SQL DB：Redshift、Aurora(PostgreSQL互換) Cloud：AWS（ECS、S3、StepFunctions、Lambda、Redshift、Aurora等） DWH：BigQuery、TreasureData等機械学習系：Kedro、MLflow CI：CircleCI 監視系：Sentry その他：GitHub、Slack、CircleCI

【Python】自社サービスSaas｜～90万｜フルリモート

900,000円/月

業務委託(フリーランス)

フルリモート

PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda

データベースエンジニア

作業内容在庫最適化システムを支えるデータ基盤の構築をお任せいたします。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。

【Python/20代30代活躍中】Lob分析サービス開発運用

630,000 〜 680,000円/月

業務委託(フリーランス)

リモート

PythonRedisHadoopSparkAWSReactAthenaLambda

サーバーサイドエンジニア

作業内容【概要】 TVなどの操作Logをもとにランキングなどを出力するサービスの開発【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【主に行う業務】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。【求める人物像】・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方・コミュニケーション能力のある方・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方【作業工程】開発、構築~ 【場所】大崎駅 ※完全リモート【勤務時間】 9:00~18:00 【精算】 140h~180h(スキル見合い) 【面談】 2回【備考】・服装:ビジネスカジュアル ※以下に該当する方からの応募はお断りしております。なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・週5日稼働できない方 --------------------------------------------------------

マーケティングプラットフォームの開発！サーバーサイドエンジニア募集

640,000円/月

東京都

新宿駅

JavaJavaScriptRubyScalaRailsAngular

サーバーサイドエンジニア

作業内容主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。【具体的には】　　・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発・プロモーションメール配信やマーケティングオートメーション機能の保守開発・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript (vue.js等) / AngularJS / CSS3 / HTML5 / ES6 / CoffeeScript * ミドル：EMR / Spark / Mahaut / TensorFlow * DB：RDS MySQL / Redshift / Aurora / DynamoDB * VM/OS：Docker / EC2 / Windows / Mac * その他：Slack / git + github / Redmine / Confluence / CircleCI / Ansible ※IDEや開発環境、gitクライアントは、お好きなものをご利用いただけます。

【Scala】スマホ向けDSP開発案件

800,000円/月

業務委託(フリーランス)

東京都

渋谷駅

JavaScalaLinuxAWSGitHubGoogle Cloud PlatformRedshift

アプリケーションエンジニアデータベースエンジニア

作業内容・Scalaを用いた広告配信システムの開発と、　Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。

【Go/フルリモート】クラウドサービス・Webアプリケーション開発支援案件

950,000円/月

業務委託(フリーランス)

福岡県

中洲川端駅

PythonSQLGoC#ScalaLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch

作業内容・電帳法、インボイス、会計、販売管理関連の既存サービスに関する設計（機能追加）及び実装に携わっていただきます。・Goを用いた開発をご担当いただきます。　・状況に応じてEDIサービス、DB設計などもご担当いただく可能性がございます。

【DWH/SQL】DWH設計開発案件

900,000円/月

業務委託(フリーランス)

東京都

大崎駅

SQLSQL ServerSparkApacheGitBacklogJIRAGitHub

データサイエンティストデータベースエンジニア

作業内容・組織全体の意思決定をデータドリブンに行っていくために必要な　DWH層テーブルの設計、開発、保守をお任せいたします。・具体的には以下のような作業が発生いたします。　‐DWH層テーブルの設計、開発、保守　-関係者からのヒアリング、データ調査　‐DWH層テーブルのSQL及び、PySparkを用いた実装　‐DWH層のテーブルについての問い合わせ対応、不具合解消　‐DWH層開発環境の設計、開発、保守、運用

【Python(リモート)】SaaSのデータ基盤構築

750,000円/月

業務委託(フリーランス)

東京都

PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda

作業内容・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。〜開発環境〜・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・検索エンジン：Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：Amazon Web Services ・AWS製品：ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

Java / Python / Go フルスタックエンジニア募集

900,000 〜 1,050,000円/月

東京都

秋葉原駅

JavaPythonGoHadoopSparkOpenShiftApacheKafkaKubernetes

フルスタックエンジニア

作業内容大規模データ収集基盤構築(オンプレにて構築)に伴い、既存システム機能とアプリケーションの新基盤への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。・新環境(分散FS環境)向け機能開発、既存機能の新環境向け修正・アプリケーションの改修、機能追加・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等)、運用機能の開発＜開発環境＞・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞原則フルリモート出社の可能性もあり＜基本時間＞ 9：00～18：00

【Python/SQL】自社サービスSaaSのバックエンド(データ基盤) フルリモート可能

600,000 〜 900,000円/月

業務委託(フリーランス)

大阪府

PythonSQLSparkAWS

AIエンジニアバックエンドエンジニア

作業内容 ■業務内容在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。

【SQL】トライネットシステム開発支援の求人・案件

500,000円/月

業務委託(フリーランス)

東京都

PythonSQLSparkAWSGlueAthena

作業内容 ■開発環境プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります・データマート作成既存帳票(Excel,CSV)からSQL作成、BIでの可視化・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善・データマート日次運用保守業務

【SQL/Python】新規データマート作成の求人・案件

800,000円/月

業務委託(フリーランス)

東京都

PythonSQLSparkAWSGlueAthena

作業内容・新規データマート要件定義、既存集計フロー効率化・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります・データマート作成・既存帳票(Excel,CSV)からSQL作成、BIでの可視化・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善・データマート日次運用保守業務【現場環境】・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール：　QuickSight　

【Vue.js/フルリモート】クラウドサービス・Webアプリケーション開発支援案件

950,000円/月

業務委託(フリーランス)

福岡県

中洲川端駅

PythonSQLGoC#ScalaLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAReactGoogle Cloud PlatformVue.jsKubernetesElasticsearch

作業内容・既存サービス（電帳対応、インボイス関連等）に関するモックデザイン～UI設計、UIコンポーネント開発、プロトタイピング及びフロントエンド開発・React・Vue.jsを用いた開発をご担当いただきます。　・状況に応じてバックエンド側の開発もご担当いただく可能性がございます。

【データアナリスト】データ抽出/モデリング案件

850,000円/月

業務委託(フリーランス)

東京都

恵比寿駅

PythonSQLRSparkPyTorchTensorFlow

データサイエンティストデータアナリスト

作業内容データアナリストとして下記作業をお任せします。　- 各種データの抽出、加工、分析、レポート作成、BI構築　- データとビジネスを掛け合わせた仮説設定、予測、検証　- 重回帰、k－means、決定木などの手法を用いた高度分析　- Python、R等を用いた機械学習、深層学習、強化学習等の高度なモデリングの設計、実装　- IoTデータや動画などの特殊なデータ活用

【DB】金融系データ分析基盤支援案件

オンライン商談OK

900,000円/月

業務委託(フリーランス)

東京都

東京駅

LinuxSparkAWSAzureDockerGoogle Cloud Platform

データベースエンジニア

作業内容・データサイエンティストと連携しながらデータ分析基盤の設計・構築・運用全般に携わっていただきます。・下記を行っていただきます。　‐データアーキテクチャ、クラウド、分散処理基盤等、データエンジニアリングの技術を駆使して、利用者の用途や活用目的、セキュリティ要件に応じた環境の構築　‐データパイプラインの維持

【Python】データ分析及びDB構築移行案件