Sparkのフリーランス案件・求人一覧 | 3ページ目

作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 ■概要 PCゲーム／3Dエフェクト案件をお任せいたします。 ■具体的な作業内容 ・ゲーム開発に関するエフェクト制作業務、クオリティ管理 ・エフェクトの選定、修正業務

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 開発中のシステムに対する追加機能の設計実装となります。 ■作業工程：アプリケーション設計～総合テストになります

作業内容 ■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務

作業内容 ・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール：　QuickSight　

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■募集背景：リソース逼迫のため、人員増員 ■業務環境：メンバー：3名(TL1名、エンジニア2名)　※部全体：50名弱 ■開発環境 ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GitHub Actions, Digdag, Embulk ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 ■概要 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。 ■具体的な作業内容 ・リーダー：1名(Hadoop有識者、テックリード) ・SIer内Hadoopスペシャリストに相談可能。 ・オフショアメンバー(中国)側と連携して進める。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 世界最大級の傑出した無形資産データ統合基盤から的確な未来予測や社会課題解決を支援していただきます。 ■具体的な作業内容 ・世界各国の特許や論文、国家研究予算データなどオープンデータの収集、分析を行うためのデータ基盤、API、バッチシステムの構築、運用 ・上記、Google Cloud Platformを用いたETLパイプラインの構築、運用ならびに既存システムのリファクタリング ・データカタログや監査などのデータガバナンスのためのアーキテクチャ選定や構築

作業内容 データベース内ビッグデータの集計及び分析作業 データ分析システムの構築/分析データの評価/報告レポートの作成

作業内容 ■概要 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。 ■具体的な作業内容 ・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 お客様の全サービス横断のデータプラットフォームを構築し、 そのデータを加工して各種サービスや社内スタッフに提供していただきます。

作業内容 ■概要 スマホ/Switch向けの新規又は運営中のゲーム開発に携わって頂きます。 ■具体的な作業内容 ・キャラクターの攻撃や回復、背景の炎や煙、UIなどのエフェクト制作 ・ユーザー体験を最大化させる演出制作のディレクション ・コンテ制作 ・ガチャやロゴアニメーションなどの画面演出

作業内容 エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。 ◆業務内容の詳細◆ Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用 Apache Sparkを利用したETL処理の開発 各サービス開発チームのデータエンジニアリングの支援 ◆今後の進展について◆ 昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。 それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品：ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 Pythonによるデータ基盤構築をお任せします。 ■詳細 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaaSの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。

作業内容 【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・検索エンジン： Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ： Amazon Web Services ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データエンジニアとして、自社独自のデータ集積のプラットフォームを持つ運営する企業にて主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ■具体的な作業内容 ・Pythonを使ったバッチ開発/改修/運用 ・データインサートetc. ■参画先企業について 世界中の特許・論文データや研究費・ベンチャー企業の資金調達情報などを扱っており投資データや特許データなど財務データと非財務データを組み合わせて事業戦略策定のコンサルティング提案などのサービスを行っております。 ■参画先チーム データ収集～データ処理を行っている部署です。 データの翻訳やデータ処理の高速化/自動化などを手掛けておりプログラミング言語はPython、Google Cloud Platform環境での業務で現場は5名のチーム体制です。 ■工程：開発～運用 ■環境 言語：Python インフラ： Google Cloud Platform データベース： PostgreSQL DWH：BigQuery ワークフロー： Google Cloud Composer (Apache Airflow) その他ミドルウェア： Dataflow(Apache Beam), Dataproc(Apach Spark) , Cloud Run その他開発環境： GitLab, Slack, GROWI

作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善 主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

作業内容 【業務内容】 大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。 【ポイント】 データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。 【開発チームと配属先について】 当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。 今回お願いしたいポジションはサーバサイドエンジニアです。 チームには現在18名のエンジニアが在籍しています。 また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。 Infeed領域の広告運用のためのプロダクトを開発するグループインターネット広告関連データをデータレイクに蓄積するシステムを開発するグループインターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ機械学習を用いたプロダクトを開発するグループ掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ 【技術キーワード】 ApacheSparkAWS GlueSnowflakeデータレイク/データウェアハウス/データマート

作業内容 [ポジション]：AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

作業内容 既存サイトにおけるビッグデータ（店舗メニュー情報）分析システムのバッチ処理に関する処理の大幅改修作業

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ・インフラエンジニアとして、インフラの設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード ・AWSやGCP上でのデータ処理やクエリーワークロードの設計、デプロイ、監視プロセス・ツールの簡素化と強化 ・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 大手製造メーカー様案件で、データ解析・データ解析のプログラミング 　～DBアクセスプログラミングを担当していただきます。 　※参画いただいた後は、相談の上プロジェクトの中でその他の役割も 　　担って頂く可能性もございます。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、 エンタープライズとの契約が急激に増えている中で、 多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。【開発環境】・開発言語： Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン： Amazon Elasticsearch Service・ライブラリ・フレームワーク：Pandas、Numpy、Dask・インフラ： Amazon Web Services・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 [ポジション]：分析基盤エンジニア ◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) 　 B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。 [稼働先最寄り]・基本リモート or 現場常駐（出社時は東京都 港区エリア）　※現状、タスクに応じて50/50で対応中 　※ご面談設定の際に、詳細情報を連携させていたます。 [募集人数] ・メンバー枠： 　データ分析エンジニア　　　　： ～1名 　データ分析基盤構築エンジニア： ～最大3名

作業内容 ■概要 AWSクラウドベンダー内でデータレイク開発運用保守案件をお任せいたします。 データレイク開発の経験者の方、興味のある方宜しくお願い致します。 ■具体的な作業内容 ・Python、Node.js、ShellScriptなどによるバッチ処理の作成 ・SQLによるデータ抽出 ・Docker、Kubernetes、Git、クラウドを活用した業務 ・Laravelによる社内向けWebアプリケーションの開発 ■開発環境： ・AWS、Lake Formation、Amazon S3、Glue、Amazon QuickSight、EMR for Apache Spark、Redshift、Athena

作業内容 某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 業務内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。 ・新規データ取得のETL及びデータウェアハウスの実装 ・データ基盤の運用及び保守開発 ・データの可視化 ・定例MTG対応 ・仕様書等ドキュメント作成（一部） 技術環境 O S 　　 ：Linux, Windows 言 語 　　 ：Python, SQL D B　　　 ：Redshift, Aurora(PostgreSQL互換) Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等） DWH　　 ：BigQuery, TreasureData等 機械学習系：Kedro, MLflow C I　　　 ：CircleCI 監視系　　：Sentry その他　　： GitHub, Slack, CircleCI