Sparkのフリーランス案件・求人一覧 | 2ページ目

作業内容 某大手金融事業社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、 人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発 ・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

作業内容 ＤＷＨシステムのマイグレーションに関わる開発

作業内容 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。

作業内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

作業内容 【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 開発、運用を繰り返すイメージです。 AWS上でのデータ解析基盤の構築 画面側はPython,html,cssなどを使います。 利用するAWSサービスの候補 - Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト

作業内容 ・DWH層テーブルの要件定義・設計・開発・保守 　 - 関係者からのヒアリング・データ調査 　 - メンテナンス性・汎用性を意識したテーブルの設計 　 - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 [案件例] ・売上集計用DWH ・機能利用状況DWH ■開発環境 　言語＿＿＿＿：SQL,Python,ShellScript 　ＦW＿＿＿＿：Apache Spark 　環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services) 　ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github

作業内容 【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守 【環境】 言語：SQL,Python ＦW：Apache Spark 環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services) ツール：Docker,Terraform,JIRA,Github

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 リソース逼迫のため、人員増員いたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■業務環境 メンバー：3名(TL1名、エンジニア2名) ※部全体：50名弱 ■開発環境 ・言語：Python, Hive, Spark ・AWS：EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 データ分析サイトの機能追加 【工程】：・システム仕様の英訳 ・オフショア対応（欧州） 【環境】：Linux、Apache、Tomcat、PHP、MySQL、Hadoop

作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築　・構築環境の理解からクライアント課題に合わせた設計　・データ分析のためのBIの開発・運用　・継続的なモニタリングプロセス、仕組みの構築　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

作業内容 ■概要 全国展開の小売データをもとにした分析システム構築となります。 ■具体的な作業内容 ・主にPython、AWS各種サービスを使用し製造～テストをメインに担当いただきますがもし対応できるのであれば設計もおねがいする想定

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

作業内容 プロダクトベースに開発した予兆監視システムの機能拡張・改修プロジェクトの開発

作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

作業内容 ■概要 PCゲーム／3Dエフェクト案件をお任せいたします。 ■具体的な作業内容 ・ゲーム開発に関するエフェクト制作業務、クオリティ管理 ・エフェクトの選定、修正業務

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 開発中のシステムに対する追加機能の設計実装となります。 ■作業工程：アプリケーション設計～総合テストになります

作業内容 概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■募集背景：リソース逼迫のため、人員増員 ■業務環境：メンバー：3名(TL1名、エンジニア2名)　※部全体：50名弱 ■開発環境 ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GitHub Actions, Digdag, Embulk ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 ■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務

作業内容 ・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール：　QuickSight　

作業内容 ■概要 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。 ■具体的な作業内容 ・リーダー：1名(Hadoop有識者、テックリード) ・SIer内Hadoopスペシャリストに相談可能。 ・オフショアメンバー(中国)側と連携して進める。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 世界最大級の傑出した無形資産データ統合基盤から的確な未来予測や社会課題解決を支援していただきます。 ■具体的な作業内容 ・世界各国の特許や論文、国家研究予算データなどオープンデータの収集、分析を行うためのデータ基盤、API、バッチシステムの構築、運用 ・上記、Google Cloud Platformを用いたETLパイプラインの構築、運用ならびに既存システムのリファクタリング ・データカタログや監査などのデータガバナンスのためのアーキテクチャ選定や構築

作業内容 お客様の全サービス横断のデータプラットフォームを構築し、 そのデータを加工して各種サービスや社内スタッフに提供していただきます。

作業内容 ■概要 スマホ/Switch向けの新規又は運営中のゲーム開発に携わって頂きます。 ■具体的な作業内容 ・キャラクターの攻撃や回復、背景の炎や煙、UIなどのエフェクト制作 ・ユーザー体験を最大化させる演出制作のディレクション ・コンテ制作 ・ガチャやロゴアニメーションなどの画面演出