Hiveのフリーランス案件・求人一覧 | 2ページ目

作業内容 ・ビッグデータを分散処理で集計、分析するシステム開発を担当して頂きます。

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 　一般ユーザー向けにコンテンツ制作を手掛けている企業にて 　ビッグデータ基盤システム開発案件にご参画いただきます。 　インフラエンジニアやアプリケーションエンジニアといった垣根なく、 　ご活躍いただく業務になります。

作業内容

作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルを作成していただきます。 ・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。 ・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。

作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。

作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。

作業内容 ・世界展開されている大規模なゲーム、 　及びWebサービスのデータ分析/解析や運用管理に携わって頂きます。 ・データ分析/解析環境の設計から幅広く担当頂きます。 ・開発手法は、スクラムです。 ・開発フローは、GitHub FlowをベースにPull Requestを活用してます。 ・主な業務 　データ分析/解析の基盤やツールの開発 　データ分析/解析のスクリプト記述 　データ分析/解析の結果に基づいた改善や新規サービスの立案 ※担当範囲は、経歴やスキルおよび進捗状況により変動いたします。

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 自動販売機の商品をアソートリストに沿ったものに入れ替える際の入れ替え計画を提案するプログラムの改修(パフォーマンス改善)、自動販売機ごとに最適とされるアソートリスト(商品の数量、種類、並び)をcsvファイルとして出力する処理をしていただきます。 アソートリスト出力処理は シェルスクリプト・python・R (pyspark / sparkRを利用) 入れ替え計画提案プログラムは python(pyspark を利用)

作業内容 ■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。 ＜備考＞ フルリモート

作業内容 ・AWSのデータレイクからBigqueryへのデータ移行をおこなっていただきます｡ ・下記を行っていただきます｡ 　-GCPデータ基盤の整備 　-ワークフローエンジン導入

作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。 主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。 1. AWSのデータレイクからBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) →2番の作業関しては、ご意向と経験に応じてご相談となります。 ＜開発環境＞ 言語：Python, Hive, Spark AWS：EMR, Glue, Athena, Lambda, APIGateway GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk ＜備考＞ 基本リモート ＜基本時間＞ 10：00～19：00

作業内容 ・クライアントの自社プロダクトの開発に携わっていただきます。 ・具体的には下記の作業を行っていただきます。 　-プロダクト改善への提案、情報収集とその共有 　-自動化のための整備 　-外部への情報発信 Qiitaやブログでの記事投稿 　-可能であれば、テックリードとしてチームをマネジメント

作業内容 ・大規模データベースシステム/レコメンドシステムの運用及び運用改善に携わっていただきます。 　また、システムに付随する管理ツールや自動化スクリプトの開発もご担当いただきます。

作業内容 CANデータ収集・活用システムの開発および維持運用案件です。 車両から送信されてくるCANデータを収集して、扱いやすいデータに変換するためにAWS上に構築されたシステムの追加開発および維持運用を行っていただきます。 収集はKinesis FirehoseとS3、変換処理はJavaアプリ on EMRで実現している現場です。

作業内容 一般ユーザー向けにコンテンツ制作を手掛けている企業にて ビッグデータ基盤システム開発案件にご参画いただきます。

作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。 データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。 ＜備考＞ フルリモート ご希望の場合はオンサイトも可能

作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルを作成頂きます。 ・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。 ・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。

作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルをご作成頂きます。 ・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。 ・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。

作業内容 機械学習を用いた予測システムの開発・運用データエンジニア（DWH） エネルギー業界向けに機械学習を用いた予測システムの開発・運用 ・多モデル予測パイプラインの設計 ・監視・通知の仕組みの設計 etc.. ・希望に応じて機械学習モジュールの開発も可能

作業内容 ・メディア向けシステムの大規模ビッグデータに携わっていただきます｡ ・下記を行っていただきます｡ -データ分析をするための基盤の構築・運用 -インフラ保守、構築・開発 ・実際のデータ分析をお願いすることもございます。

作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。 使用データベースはGCP/BigQueryを利用 一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。

作業内容 ビッグデータを蓄積するオンプレHadoop基盤をAWS EMRを利用した基盤に変更する 　　その後、既存データを新基盤に移行する作業も実施予定。

作業内容 ・データ加工のバッチ開発/運用（データ設計、ETL処理の開発） ・カテゴリ付与などのデータ加工の検討・実装など

作業内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

作業内容 ・大規模なWebサービスの解析用アプリケーション開発や、 　各種APIの設計～実装を担当していただきます。 ・口頭や簡単なメモで仕様が来ることもありますので、 　コミュニケーションをとりながらプロトタイプベースで 　開発を進めていただきます。

作業内容 ・主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。

作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。 ・SREチームの所属となりますが、 　作業としては、インフラと開発の割合が5:5程度です。