Sparkのフリーランス案件・求人一覧 | 9ページ目

作業内容 ・DWH層テーブルの要件定義・設計・開発・保守 　 - 関係者からのヒアリング・データ調査 　 - メンテナンス性・汎用性を意識したテーブルの設計 　 - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 [案件例] ・売上集計用DWH ・機能利用状況DWH ■開発環境 　言語＿＿＿＿：SQL,Python,ShellScript 　ＦW＿＿＿＿：Apache Spark 　環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services) 　ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github

作業内容 ・組織全体の意思決定をデータドリブンに行っていくために必要な 　DWH層テーブルの設計、開発、保守をお任せいたします。 ・具体的には以下のような作業が発生いたします。 　‐DWH層テーブルの設計 　‐DWH層テーブルのSQL及び、PySparkを用いた実装 　‐DWH層のテーブルについての問い合わせ対応、不具合解消 　‐DWH層開発環境の設計、開発、保守、運用

作業内容 通信会社がポイントを使える街の店舗を紹介するような新規サービスを考えており、そのサービスのうちレコメンド機能部分を開発する。 技術要素としては、AWS上でSpark on EMR環境を構築し、その上で機械学習モデルを動かし、これをクライアントアプリから使えるようWeb API化する(AWSのFargate上で動かすことを想定、アプリケーションのプログラム言語やWebフレームワークはまだ決まっていないが、昨今のトレンドからしてPython, Node.js, Goあたりになると思われる) ＜備考＞ 基本リモート

作業内容 ・論文検索システムの構築に携わって頂きます。 ・設計から幅広く担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築　・構築環境の理解からクライアント課題に合わせた設計　・データ分析のためのBIの開発・運用　・継続的なモニタリングプロセス、仕組みの構築　・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。 ・リーダー：一名 (hadoop有識者、テックリード) ・SIer内hadoopスペシャリストに相談可能。 ・オフショアメンバー（中国）側と連携して進める。

作業内容 自動車の走行距離のデータをPythonにて解析するwebアプリケーション開発を担当していただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 TVなどの操作Logをもとにランキングなどを出力するサービスの開発 【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【主に行う業務】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。 【求める人物像】 ・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方 ・コミュニケーション能力のある方 ・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方 【作業工程】 開発、構築~ 【場所】 大崎駅 ※フルリモート 【勤務時間】 9:00~18:00 【精算】 140-180h 【面談】 2回 【備考】 ・服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 【概要】 AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。 【開発環境】 Python React.js DynamoDB AWS(Athena、lambda、APIGatewayなどの各種サービス) 【求める人物像】 ・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方 ・コミュニケーション能力のある方 ・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方 【作業工程】 開発、構築~ 【場所】 大崎駅※フルリモート 【勤務時間】 9:00~18:00 【精算】 140h~180h(スキル見合い) 【面談】 2回 【備考】 ・服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守 【環境】 言語：SQL,Python ＦW：Apache Spark 環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services) ツール：Docker,Terraform,JIRA,Github

作業内容 ・広告配信システムにおいて、下記の配信データ分析に携わっていただきます。 　-数値に基づいた意思決定をするためのデータ分析 　-新規配信手法のプロトタイプ作成・提案 　-データ可視化システムを用いたレポーティング・プレゼンなど

作業内容 ・スマートフォンの成果報酬課金型DSPの広告配信システムの開発と、 　Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。

作業内容 ・通信会社向け販促システム開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Webスクレイピング 　-追加機能開発 ・フルリモートでの作業を想定しております。 ※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる 　想定です。

作業内容 同社クライアントのDX事業会社様の案件になります。 現在開発中のシステムに対する追加機能の設計実装をお任せ致します。 工程：アプリケーション設計～総合テスト

作業内容 ・下記作業をご担当いただきます。 　-Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発、運用 　-Apache Sparkを利用したETL処理の開発 　-各サービス開発チームのデータエンジニアリングの支援

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・システムアーキテクチャの検討、選定及び設計、実装、ビッグデータを分析(加工)するための分散処理基盤の開発を行っていただきます。 ・主にPython・Goを用いて開発をご担当いただきます。

作業内容 概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語： Python、SQL ・DB: Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 ・データサイエンティストと連携しながら データ分析基盤の設計・構築・運用全般に携わっていただきます。 ・下記を行っていただきます。 　‐データアーキテクチャ、クラウド、分散処理基盤等、データエンジニアリングの技術を駆使して、利用者の用途や活用目的、セキュリティ要件に応じた環境の構築 　‐データパイプラインの維持

作業内容 データアナリストとして下記作業をお任せします。 　- 各種データの抽出、加工、分析、レポート作成、BI構築 　- データとビジネスを掛け合わせた仮説設定、予測、検証 　- 重回帰、k－means、決定木などの手法を用いた高度分析 　- Python、R等を用いた機械学習、深層学習、強化学習等の高度なモデリングの設計、実装 　- IoTデータや動画などの特殊なデータ活用

作業内容 ・Pythonを用いたデータ分析およびDB構築、移行に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-不動産情報サービス企業様が蓄積している大量データの分析 　-DB構築やデータ移行に関わるデータ調査、データクレンジング、名寄せ処理 　-AWSのマネージドサービス(Glue、Lambda、MWAA等)を用いたデータレイク、 　データウェアハウス構築作業

作業内容 ・既存サービス（電帳対応、インボイス関連等）に関するモックデザイン～UI設計、UIコンポーネント開発、プロトタイピング及びフロントエンド開発 ・React・Vue.jsを用いた開発をご担当いただきます。 　 ・状況に応じてバックエンド側の開発もご担当いただく可能性がございます。

作業内容 ■業務内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

作業内容 大規模データ収集基盤構築(オンプレにて構築)に伴い、既存システム機能とアプリケーションの新基盤への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。 ・新環境(分散FS環境)向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等)、運用機能の開発 ＜開発環境＞ ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞ 原則フルリモート 出社の可能性もあり ＜基本時間＞ 9：00～18：00

作業内容 ■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務

作業内容 ・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQLServer), AWS Athena(trino) ・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue ・BIツール：　QuickSight　

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 ・TeraDataで構築していたDWHを更改する案件に携わっていただきます。