Hadoopのフリーランス案件・求人一覧 | 2ページ目

作業内容 ・Hadoopなどに格納されている大規模データの加工、変数作成処理データ分析者と一緒に業務を行い、プログラミング観点などで、分析者にアドバイスを行う。演算処理の自動化するための計画、実装業務も担当・チームの業務としては、アプリ実装の業務が中心だが、AWSなどで一時的に自チーム用のサーバを立てたりクラスタを運用したりという事があるので、インフラの経験が有るとなお可です。

作業内容 大手サービス企業のビッグデータ部で進めているカスタマのクリックストリームデータの収集・整形、分析システムの開発にご参画いただけるエンジニアを募集いたします。カスタマの行動ログからアクセス時間やデバイス、閲覧コンテンツを元に性別、年代のような属性を推定し、分析に活用するシステムの構築・開発をご担当いただきます。

作業内容 稼働中の大規模データの分析基盤に対するPythonプログラムの追加改修及び運用

作業内容 ■概要 某社が手掛けるゲーム事業の分析基盤の開発及び運用でご活躍頂きます。 ■具体的な作業内容 ・分析基盤はBigQuery、Apache Airflowなどのサービスを利用します ・設計から運用までご自身の裁量で開発をすることができます ・企画担当者やインフラ担当者とコミュニケーションを取りながら進めて頂きます

作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。 使用データベースはGCP/BigQueryを利用 一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。

作業内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。

作業内容 ■概要 某社が手掛けるゲーム事業の分析基盤の開発及び運用でご活躍頂きます。 ■具体的な作業内容 ・分析基盤はBigQuery、Airflowなどのサービスを利用します。 ・設計から運用までご自身の裁量で開発をすることができます。 ・企画担当者やインフラ担当者とコミュニケーションを取りながら進めて頂きます。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 全社横断のデータ分析基盤上でデータエンジニアリングや利用者支援を行う案件で、今年度の実施タスクは下記のとおりでが、作業スコープや仕様の調整から対応頂く想定でおります。 ■具体的な作業内容 ・既存バッチ処理(Hive/Informatica/Databricks)の運用、保守 ・分析用汎用データの新規バッチ処理開発(Databricks) ・Informatica/Hive→DatabricksへのAPマイグレーション ・メタデータ登録、データカタログ製品の比較検討 ・分析者マニュアル作成、バリューエンジニアリング検討、など

作業内容 ■概要 ゲーム事業の分析基盤の開発及び運用でご活躍頂きます。 ■具体的な作業内容 ・分析基盤はBigQuery、Apache Airflowなどのサービスを利用します。 ・設計から運用までご自身の裁量で開発をすることができます。 ・企画担当者やインフラ担当者とコミュニケーションを取りながら進めて頂きます。 ■開発環境： ■プログラミング言語：PHP(Laravel)　等

作業内容 ・主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。

作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 アドテクにおけるruby言語での開発

作業内容 Webサイトへの導入、機能そのものの改修、データ分析などなど

作業内容 概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

作業内容 [ポジション]：AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

作業内容 既存サイトにおけるビッグデータ（店舗メニュー情報）分析システムのバッチ処理に関する処理の大幅改修作業

作業内容 某大手事業会社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、新規機能の開発などがスタートしたため人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 ■概要 Wright Flyer Studiosが手掛けるゲーム事業の分析基盤の開発及び運用でご活躍頂きます。 分析基盤はBigQuery、CloudComposerなどのマネージドサービスを利用します。 設計から運用までご自身の裁量で開発をすることができます。 企画担当者やインフラ担当者とコミュニケーションを取りながら進めて頂きます。 ■具体的な作業内容 ・分析基盤、データパイプラインの開発/運用 ・BIツールの開発/運用 ・データアナリストと連携して主要事業の課題解決 ・インフラやDevOpsの設計/構築や関連システムの動作を含めたシステム全体の設計 ■身につくスキル ・GCP、AWSといった最新のクラウド技術を学び、活かすことができます。 ・BigQueryの様なビックデータ分析技術やGoogl Cloud MLなどの機械学習の技術を学び、活かすことができます。 ・GREEのエンジニアから開発技術を吸収することができます。 ・企画担当者、データアナリスト、インフラ担当者との折衝があるため、コミュニケーション能力を向上させることができます。

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 バーチャルライブ配信アプリを運営している某社において、データ分析業務を行っていただきます。

作業内容 ■概要 Wright Flyer Studiosが手掛けるゲーム事業の分析基盤の開発及び運用でご活躍頂きます。 分析基盤はBigQuery、CloudComposerなどのマネージドサービスを利用します。 設計から運用までご自身の裁量で開発をすることができます。 企画担当者やインフラ担当者とコミュニケーションを取りながら進めて頂きます。 ■具体的な作業内容 ・分析基盤、データパイプラインの開発/運用 ・BIツールの開発/運用 ・データアナリストと連携して主要事業の課題解決 ・インフラやDevOpsの設計/構築や関連システムの動作を含めたシステム全体の設計 ■身につくスキル ・GCP、AWSといった最新のクラウド技術を学び、活かすことができます。 ・BigQueryの様なビックデータ分析技術やGoogl Cloud MLなどの機械学習の技術を学び、活かすことができます。 ・GREEのエンジニアから開発技術を吸収することができます。 ・企画担当者、データアナリスト、インフラ担当者との折衝があるため、コミュニケーション能力を向上させることができます。

作業内容 ・スマホアプリやデバイスなどの操作ログを収集/解析するためのシステム構築 ・ログデータのETL処理分析の為の集計処理 ・集計結果を可視化する為のBIレポート作成作業 ※上記のいずれかをご担当いただいきます。

作業内容 製造業・建設業向け次世代ERPパッケージシステム導入における、SCMパッケージ開発を行っていただきます。 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト

作業内容 概　要： 世界各国で利用されるオンラインサービスにおけるデータ分析基盤の開発運用支援をお願い致します

作業内容 ・AWS上に、AIを用いた音声認識/ユーザへのレコメンドのための 大規模システム（APIゲートウェイ、Web/APサーバ、DBサーバ、 その他運用サーバ等）を構築する。 ・アークテクチャの検討から、基本設計、詳細設計、構築、試験、 運用引継ぎまで実施する。 【作業環境】 ・AWS（EC2/Aurora/S3/IAM/Kinesis など） ・Linux ・Apache/Nginx/Resin ・Tomcat ・Zabbix ・DeepSecurity

作業内容 ■概要 自社サービスである「オフィス不動産」に特化した日本最大級の情報プラットフォームは、物件詳細、空室状況、募集賃料、入居テナントなど、必要な情報がすべて集約されており、理想のオフィス探しをサポートする独自AIも搭載されています。 また、こうして集約・蓄積されたデータを活用し、例えば成約賃料を予測する機械学習モデルなど、新たな価値を創出するテクノロジーの開発も進めています。 当社にとってデータ分析は、適切な不動産賃料の提案や、ユーザーの行動ログをもとにしたサービスの改善企画など、多彩に活用される"屋台骨"。 プロダクトの発展と組織の拡大に伴って、より高精度に、より容易に扱える基盤へのブラッシュアップが必要となっています。 これまではSQLに習熟したビジネスチームのメンバーがデータ加工なども担ってきましたが、今後はより容易に、例えば入社してすぐのメンバーでもすぐに使えるような形を目指す必要もあるでしょう。 そこで、新たな分析基盤をつくりあげていくための技術者を募集しています。 データドリブンな意思決定を重視するベンチャーの中核に触れ、アーキテクチャや開発言語などの検討も自由度高く行なえる環境は、データエンジニアリングの専門性に磨きをかけるには最適となるでしょう。 ■具体的な作業内容 ・高速かつ容易な分析を可能とする基盤のアーキテクチャ検討 ・データ分析基盤の構築／運用 ・データソース間の移送／統合 ・データ分析を必要とするビジネスメンバーのサポート、分析作業

作業内容 ・クライアント企業のデータ基盤の運用、構築業務。 ・クライアント企業の持つ会員ビックデータを保持、分析業務 ・具体的な作業の例としては、次のようなものになります。 －データ基盤ではDWHにデータ投入するフレームワークを構築しています －そのフレームワークを使用して各種WEBサービスのデータベースからデータの投入 －DWHにあるデータを使用してのデータマート作成（SQL作成含む） －DWHに接続するためのアカウント発行 －DWHに知見のある方は、DWH自体の構築運用も行っていただけます。

作業内容 SQLを用いた指標の集計 分析基盤整備、KPI可視化ツールの作成 社内施策及び外部要因の影響の定量分析 プロモーションの投資回収予測及び効果測定

作業内容 データプラットフォームのシステムアーキテクチャの作成やシステム開発を行なう上で必要なOSSを中心とした技術要素の選定をご担当頂きます。