Sparkのフリーランス案件・求人一覧 | 2ページ目

作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala

作業内容 ■概要 環境設計レビュー・改善・実装・メンテナンスをお任せいたします。 ■具体的な作業内容 以下の業務をお願いします。 ・既存のAWS ETL環境の調査改善 ・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります。

作業内容 ■概要 Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。 ■具体的な作業内容 ・AWS EMRを使用したETL、データ前処理(Python、Spark)

作業内容 某大手事業会社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、新規機能の開発などがスタートしたため人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 意思決定をデータドリブンに行っていく基盤の設計・開発・運用をします。 データアナリストやマーケティング、アプリケーションエンジニアと協力しながら、END企業の事業を支えるデータ基盤を整備・改善して課題解決を行っていくロールです。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 某企業のデータドリブンな意思決定を支える基盤の設計・開発・運用を行います。データアナリストやマーケティング担当、アプリケーションエンジニアと協力しながら、データ基盤の整備および改善を推進します。 ■具体的な業務内容 ・データ基盤の設計、開発、運用 ・複数のデータソースを統合するシステムの開発 ・ETL開発およびデータウェアハウスの設計、運用 ・PythonもしくはSparkを用いたアプリケーション開発 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 バックエンドエンジニアとして、ECサイト構築を支援するSaaSサービスのデータ収集とマイニングを担当します。主にETLプロセスの構築やAPIの作成を行い、各サイトから取得したデータをレポートに反映させます。 ■具体的な業務内容 ・SaaSサービスのデータ収集およびマイニング ・ETLプロセスの設計および実装（Scala、Spark SQL、AWS Glue、Aurora） ・各サイトからのデータ取得とAPI作成 ・JavaおよびSpringBootを用いたトラッキングタグ関連業務 ・AWS環境の構築および管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 ------------------------------------------------------------------ 弊社は様々なプロジェクトの提案を強みとしております。お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 開発、運用を繰り返すイメージです。 AWS上でのデータ解析基盤の構築 画面側はPython,html,cssなどを使います。 利用するAWSサービスの候補 - Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 リソース逼迫のため、人員増員いたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■業務環境 メンバー：3名(TL1名、エンジニア2名) ※部全体：50名弱 ■開発環境 ・言語：Python, Hive, Spark ・AWS：EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 プロダクトベースに開発した予兆監視システムの機能拡張・改修プロジェクトの開発

作業内容 ■概要 PCゲーム／3Dエフェクト案件をお任せいたします。 ■具体的な作業内容 ・ゲーム開発に関するエフェクト制作業務、クオリティ管理 ・エフェクトの選定、修正業務

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■募集背景：リソース逼迫のため、人員増員 ■業務環境：メンバー：3名(TL1名、エンジニア2名)　※部全体：50名弱 ■開発環境 ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GitHub Actions, Digdag, Embulk ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 ■概要 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。 ■具体的な作業内容 ・リーダー：1名(Hadoop有識者、テックリード) ・SIer内Hadoopスペシャリストに相談可能。 ・オフショアメンバー(中国)側と連携して進める。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 世界最大級の傑出した無形資産データ統合基盤から的確な未来予測や社会課題解決を支援していただきます。 ■具体的な作業内容 ・世界各国の特許や論文、国家研究予算データなどオープンデータの収集、分析を行うためのデータ基盤、API、バッチシステムの構築、運用 ・上記、Google Cloud Platformを用いたETLパイプラインの構築、運用ならびに既存システムのリファクタリング ・データカタログや監査などのデータガバナンスのためのアーキテクチャ選定や構築

作業内容 ■概要 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。 ■具体的な作業内容 ・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 ■概要 スマホ/Switch向けの新規又は運営中のゲーム開発に携わって頂きます。 ■具体的な作業内容 ・キャラクターの攻撃や回復、背景の炎や煙、UIなどのエフェクト制作 ・ユーザー体験を最大化させる演出制作のディレクション ・コンテ制作 ・ガチャやロゴアニメーションなどの画面演出

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品：ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 Pythonによるデータ基盤構築をお任せします。 ■詳細 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaaSの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。

作業内容 既存サイトにおけるビッグデータ（店舗メニュー情報）分析システムのバッチ処理に関する処理の大幅改修作業

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社SaaSのバックエンド開発を担当し、在庫最適化システムを支えるデータ基盤の構築を行います。大量データを扱いながら、SQLやPythonを用いて効率的なデータ処理システムを構築します。スクラムチームでの開発体制です。 ■具体的な業務内容 ・在庫最適化システムのデータ基盤構築 ・SQLやPythonを使用したデータの加工および集計 ・スクラムチームでの開発およびスプリント管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 Pythonを用いて、某社サービスの在庫最適化システムを支えるデータ基盤の構築を担当します。大量データの集計や加工を行い、データストアへの投入を行います。 ■具体的な業務内容 ・在庫最適化システムのデータ基盤構築 ・数億レコードの大量データの集計および加工 ・SQLやPythonを用いたデータ処理およびデータストアへの投入 ・スクラムチームでの開発およびスプリントの推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、 エンタープライズとの契約が急激に増えている中で、 多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ・インフラエンジニアとして、インフラの設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード ・AWSやGCP上でのデータ処理やクエリーワークロードの設計、デプロイ、監視プロセス・ツールの簡素化と強化 ・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 自社マーケティングオートメーション事業において、ログ集計業務を担当していただきます。クリック履歴の集計や名寄せなど、マーケティングデータの効率的な処理と分析を行います。 ■具体的な業務内容 ・メール内リンクのクリック集計業務 ・クリック履歴とWebサイト訪問履歴の名寄せ ・Go, Python3, Scala, Javaを使用した開発 ・AWSおよびデータベースの管理 ・ログ集計システムの改善および最適化 ・RabbitMQやnginxなどのツールを使用したインフラ管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 ■概要 AWSクラウドベンダー内でデータレイク開発運用保守案件をお任せいたします。 データレイク開発の経験者の方、興味のある方宜しくお願い致します。 ■具体的な作業内容 ・Python、Node.js、ShellScriptなどによるバッチ処理の作成 ・SQLによるデータ抽出 ・Docker、Kubernetes、Git、クラウドを活用した業務 ・Laravelによる社内向けWebアプリケーションの開発 ■開発環境： ・AWS、Lake Formation、Amazon S3、Glue、Amazon QuickSight、EMR for Apache Spark、Redshift、Athena

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ Pythonによるデータ基盤構築 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 今回の募集は、新バージョンの機能改善やオプション機能の開発が 急務であり、エンジニアリソースが不足しているためとなっております。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 【20 代から40 代の方が活躍中！】 ※週４日〜OK案件です！ ※実務経験2年以上ありの方が対象の案件です！ ■概要 通信業者の新サービスにおけるレコメンド機能の開発プロジェクトにて、プロジェクトマネージャー（PM）として要件定義から開発、運用までを牽引します。AWS上でのSpark on EMR環境を構築し、機械学習モデルを実装しWeb API化を行います。技術的なトレンドに基づいた最適なソリューションを提供します。 ■具体的な業務内容 ・レコメンド機能の開発に関するPM業務 ・要件定義およびシステム全体の進行管理 ・AWS上でのSpark環境の構築およびWeb API化 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。 ------------------------------------------------------------------ 直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。 弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。 ------------------------------------------------------------------ ※弊社では、法人、請負いの案件は取り扱っておりません。

作業内容 製造業・建設業向け次世代ERPパッケージシステム導入における、SCMパッケージ開発を行っていただきます。 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト