Sparkのフリーランス案件・求人一覧 | 9ページ目

作業内容 ・DWH層テーブルの要件定義・設計・開発・保守 　 - 関係者からのヒアリング・データ調査 　 - メンテナンス性・汎用性を意識したテーブルの設計 　 - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 [案件例] ・売上集計用DWH ・機能利用状況DWH ■開発環境 　言語＿＿＿＿：SQL,Python,ShellScript 　ＦW＿＿＿＿：Apache Spark 　環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services) 　ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github

作業内容 AWS上に、IoTデータを集積したレイクハウスを設計・構築いたします。 AWS Glue、StepFunctionsによる設計・構築・テストが依頼範囲となります。 データ規模が大きいシステムのため、AWS GlueやSparkの技術に明るく、性能面、コスト面から最適化のアプローチができる方を募集しております。 ＜基本時間＞ 10：00～19：00

作業内容 データ分析サイトの機能追加 【工程】：・システム仕様の英訳 ・オフショア対応（欧州） 【環境】：Linux、Apache、Tomcat、PHP、MySQL、Hadoop

作業内容 ・論文検索システムの構築に携わって頂きます。 ・設計から幅広く担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築　・構築環境の理解からクライアント課題に合わせた設計　・データ分析のためのBIの開発・運用　・継続的なモニタリングプロセス、仕組みの構築　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

作業内容 【概要】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。 【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【求める人物像】 ・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方 ・コミュニケーション能力のある方 ・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方 【作業工程】 開発、構築~ 【場所】 大崎駅※フルリモート 【勤務時間】 9:00~18:00 【精算】 140h~180h(スキル見合い) 【面談】 2回 【備考】 ・服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守 【環境】 言語：SQL,Python ＦW：Apache Spark 環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services) ツール：Docker,Terraform,JIRA,Github

作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

作業内容 通信会社がポイントを使える街の店舗を紹介するような新規サービスを考えており、そのサービスのうちレコメンド機能部分を開発する。 技術要素としては、AWS上でSpark on EMR環境を構築し、その上で機械学習モデルを動かし、これをクライアントアプリから使えるようWeb API化する(AWSのFargate上で動かすことを想定、アプリケーションのプログラム言語やWebフレームワークはまだ決まっていないが、昨今のトレンドからしてPython, Node.js, Goあたりになると思われる) ＜備考＞ 基本リモート

作業内容 ・組織全体の意思決定をデータドリブンに行っていくために必要な 　DWH層テーブルの設計、開発、保守をお任せいたします。 ・具体的には以下のような作業が発生いたします。 　‐DWH層テーブルの設計 　‐DWH層テーブルのSQL及び、PySparkを用いた実装 　‐DWH層のテーブルについての問い合わせ対応、不具合解消 　‐DWH層開発環境の設計、開発、保守、運用

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 TVなどの操作Logをもとにランキングなどを出力するサービスの開発 【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【主に行う業務】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。 【求める人物像】 ・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方 ・コミュニケーション能力のある方 ・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方 【作業工程】 開発、構築~ 【場所】 大崎駅 ※フルリモート 【勤務時間】 9:00~18:00 【精算】 140-180h 【面談】 2回 【備考】 ・服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 自動車の走行距離のデータをPythonにて解析するwebアプリケーション開発を担当していただきます。

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。 ・リーダー：一名 (hadoop有識者、テックリード) ・SIer内hadoopスペシャリストに相談可能。 ・オフショアメンバー（中国）側と連携して進める。

作業内容 ・広告配信システムにおいて、下記の配信データ分析に携わっていただきます。 　-数値に基づいた意思決定をするためのデータ分析 　-新規配信手法のプロトタイプ作成・提案 　-データ可視化システムを用いたレポーティング・プレゼンなど

作業内容 同社クライアントのDX事業会社様の案件になります。 現在開発中のシステムに対する追加機能の設計実装をお任せ致します。 工程：アプリケーション設計～総合テスト

作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

作業内容 ・下記作業をご担当いただきます。 　-Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発、運用 　-Apache Sparkを利用したETL処理の開発 　-各サービス開発チームのデータエンジニアリングの支援

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・システムアーキテクチャの検討、選定及び設計、実装、ビッグデータを分析(加工)するための分散処理基盤の開発を行っていただきます。 ・主にPython・Goを用いて開発をご担当いただきます。

作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

作業内容 【概要】 TVなどの操作Logをもとにランキングなどを出力するサービスの開発 【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【主に行う業務】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。 【求める人物像】 ・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方 ・コミュニケーション能力のある方 ・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方 【作業工程】 開発、構築~ 【場所】 大崎駅 ※完全リモート 【勤務時間】 9:00~18:00 【精算】 140h~180h(スキル見合い) 【面談】 2回 【備考】 ・服装:ビジネスカジュアル ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・週5日稼働できない方 --------------------------------------------------------

作業内容 主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。 【具体的には】　　 ・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発 ・プロモーションメール配信やマーケティングオートメーション機能の保守開発 ・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発 クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。 【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript (vue.js等) / AngularJS / CSS3 / HTML5 / ES6 / CoffeeScript * ミドル：EMR / Spark / Mahaut / TensorFlow * DB：RDS MySQL / Redshift / Aurora / DynamoDB * VM/OS：Docker / EC2 / Windows / Mac * その他：Slack / git + github / Redmine / Confluence / CircleCI / Ansible ※IDEや開発環境、gitクライアントは、お好きなものをご利用いただけます。

作業内容 ・スマートフォンの成果報酬課金型DSPの広告配信システムの開発と、 　Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。

作業内容 ・通信会社向け販促システム開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Webスクレイピング 　-追加機能開発 ・フルリモートでの作業を想定しております。 ※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる 　想定です。

作業内容 ・クライアントの課題ヒアリングからデータの整理、および解決すべき問題の要件化から、 　エンジニアやサイエンティストと協力いただきながら、 　実際の開発、運用までの全てに携わっていただきます。 ・プロジェクト推進の中核メンバーとして参画いただきますので、 　問題解決や開発、技術選定などご自身の意思で柔軟にご対応いただけます。

作業内容 ・TeraDataで構築していたDWHを更改する案件に携わっていただきます。

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 ・データサイエンティストと連携しながら データ分析基盤の設計・構築・運用全般に携わっていただきます。 ・下記を行っていただきます。 　‐データアーキテクチャ、クラウド、分散処理基盤等、データエンジニアリングの技術を駆使して、利用者の用途や活用目的、セキュリティ要件に応じた環境の構築 　‐データパイプラインの維持