Hadoopのフリーランス案件・求人一覧 | 8ページ目

作業内容 ・下記を行っていただきます。 -Terraform、CloudFormationによるIaaS環境の整備 -GitHub Actionsなどを利用したCI/CD環境の整備 -ビッグデータ解析・集計基盤の整備 -解析基盤(Hadoopを想定)の検討/構築

作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・各社が保有するデータのヒアリングと整理、および解決すべき問題の要件化から、 　様々なプラットフォームの構築、運用までをご担当いただきます。 ・様々な保持データを掛け合わせた設計・抽出・転送のフロー構築や、 　スケーリングやコストを意識したクラウド環境の構築にも携わっていただきます。

作業内容 ・月間で数億リクエストある広告システムで、 　ログ、各種デモグラフィック情報、アクション情報などをもとに、 　データマイニングおよび機械学習に携わって頂きます。 ・設計から幅広く担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ▼案件概要 大規模基幹系システム基盤のシステム導入や更改、ベンダコントロールを 含む維持管理業務をお願いします。 システム作業より維持管理支援業務(ドキュメント作成が多い)となり 部署間調整やベンダー調整が多いです。 主な業務は下記となります。 ・更改検討(方針・ドキュメント作成) ・開発・構築管理(課題管理) ・運用検討(方針・ドキュメント作成) ・移行準備(進捗管理) RHEL、LAMP,VMwarevSphere,ESXi,KVM,SANストレージ,WindowsServer等 OpenStack,Hadoop ▼勤務地 場所:リモート可/新宿/初台 ▼求める人物像 ・社内外の関係者と円滑なコミュニケーションを取り、業務を遂行できる方 ・適切な粒度で課題を抽象化し、解決するべき打ち手と実行策をプランニングを可能な方 ・要件確認、各種調整を行うコミュニケーションスキル ▼条件 ・精算:固定or140-200h ・面談:1回(WEB) ▼その他 ・定時:9:00~17:30 ・自宅で作業することになるためシンクライアントを インストールするPCの準備をご検討下さい。 ・稼動は非常に安定しています(2月現在平均140-150h) ※週5日〜OKの案件です！

作業内容 国内最大級のインターネット広告配信プラットフォームのシステムの設計、開発。 広告配信システム、大規模データ処理、分析、Web開発など多様な領域で開発を行う事ができ、多様なスキルを求められることになります。 ・広告配信システムのサーバサイド開発 ・広告配信システムや社内向けのWeb管理画面開発 ・Hadoopなどの大規模データ向け基盤を活用した開発 【開発環境】 言語：Scala, Kotlin, Python, Java DB：MySQL KVS：Redis データ基盤：Hadoop(Hive, Spark) その他ミドルウェア：Apache Kafka, Docker インフラストラクチャ：オンプレミス、GCP、AWS バージョン管理システム：Git(Github Enterprise) コラボレーションツール：Slack, Workplace, Confluence, JIRA, Google Workspace ■作業環境＿＿：Windows/Mac選択可 ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。（但し、企業都合退場は対象外） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～30代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～

作業内容 ・現在Hadoop環境でJavaによるデータ変換処理を実施しています。 ・今後はRedshift環境に乗せ換える予定なので同等の処理をRedshiftで実施する予定です。 ・Javaの処理をSQL等に移行するなど、Redshiftへの処理移行およびパフォーマンス検証を実施します。 ・生成AIでのソース作成、または生成したソースをベースに改善を実施します。

作業内容 プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 【募集背景・課題】 世界で最も価値のあるマーケティングソリューションを実現する

作業内容 ・アクセス解析や、A/Bテスト等の統合デジタルマーケティングツール 　の開発に携わっていただきます。 ・現在スクラムで開発中で、スキルやご経験に応じて要件定義～テストまでご担当いただきます。

作業内容 ・各商品の施策スピードを上げるためにBOツールを各部に導入していただきます。 ・プロジェクトにおいて、ユーザーに業務要件をヒアリングし、レポートの要件の設計、実装を行って頂きます。

作業内容 ・DMP（データマネジメントプラットフォーム）の、 　ビッグデータを処理するバッチ開発をご担当頂きます。

作業内容 ・大手企業のグループ内にある各事業会社の要件を実現していくため、 　アプリ開発に携わって頂きます。 ・HadoopやSparkなどの技術を使いながらPoCを回して頂きます。 ・モックやプロトタイプの開発から実運営での検証など、PDCAを回し、 　投資判断でGoが出たものは、システム開発を行う流れで進めます。 ・ご経験がある方は、 　アーキテクチャ設計や技術選定などを併せて依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・数万QPSの配信やビックデータに関わるDMPにおいて、 　AWSをメインとしたインフラに携わって頂きます。 ・設計から幅広く担当して頂きます。 ・主な業務は下記の通りです。 　-データ基盤のインフラ運用 　-サーバの設計や構築および運用 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 　複数名が在籍するチームに参画して頂き、連携しながら 　複数存在する基幹系システム基盤の更改、EOL（End Of Life）、 　EOS（End Of Service）に関して関係部署と調整し 　個々の業務調整・推進をお願いします。 　実作業は関係部署が行うことになります。 　業務調整・推進の中心の業務になるためWBS（Work Breakdown Structure）を 　関係部署と検討・調整し作成し、進捗管理と推進を行います。 　主な業務は下記となります。 　・WBS作成 　・進捗管理 　・関係部署が行う業務推進 　・更改検討（方針・ドキュメント作成） 　・開発・構築管理（課題管理） 　・運用検討（方針・ドキュメント作成） 　・移行準備（進捗管理） ＜環境＞ RHEL, LAMP, VMware vSphere, ESXi, KVM, SANストレージ, WindowsServer等 OpenStack, Hadoop ＜備考＞ テレワークあり ＜基本時間＞ 9：00～17：30

作業内容 ・中部LCS Snowflake化対応に携わっていただきます。 ・主に以下作業をご担当いただきます。 　ｰ基本設計 　ｰ詳細設計 　ｰ製造 　ｰ単体試験 　ｰ結合試験

作業内容 ・既存のPL/SQLで書かれたバッチ処理を、 　JBoss BRMSを使用したJavaアプリにリプレイスして頂きます。

作業内容 ・React、Node.jsを用いたWEB広告開発に携わっていただきます。 ・主に開発工程をご担当いただきます。

作業内容 アドテクノロジー/デジタルマーケティングの領域において、 最先端のテクノロジーを活用し、国内No1規模へ拡大し、順調にシェアを伸ばしています。 社員と業務委託のすみ分けもなく、自主的に動ける方を今回求めています。 ご参画頂いた際は、PC貸与します。 【開発環境】 開発言語:Go,Python3,Scala,Java データベース:MySQL,DynamoDB,Aerospike,HBase インフラ:AWS OS本番環境:debian,ubuntu 開発環境:macOS コミュニケーションツール:Slack,Confluence,Jira,GoogleWorkspace プロジェクト管理:GitLab その他:RabbitMQ,nginx,td-agent 　

作業内容 ・大手外資系製薬会社のデータエンジニアとして参画いただきます。 ・具体的には下記です。 　‐データと分析チームの技術的な問題支援 　‐データインフラストラクチャのニーズのサポート 　‐ビジネスアナリストやその他の利害関係者との連携 　‐ビジネス要件を技術仕様に変換する作業 　‐データプロセスの効率と機能の向上に向けたデータサイエンティストとの連携 　‐データセットの組み立て 　‐Microsoft AzureまたはAWSのいずれかで、最適なデータパイプラインアーキテクチャを設計、構築、テスト、および維持 　‐データソースからのデータの最適な抽出、変換、および読み込みに必要なインフラ構築 　‐データ品質、データセキュリティ、およびデータガバナンスの側面でのデータプラクティスの適用

作業内容 ・現在Hadoop環境でJavaによるデータ変換処理を実施しています。 ・今後はRedshift環境に乗せ換える予定なので同等の処理をRedshiftで実施する予定です。 ・Javaの処理をSQL等に移行するなど、Redshiftへの処理移行およびパフォーマンス検証を実施します。 ・JavaソースのRedshiftソースへの変換は生成AI（Copilot、ChatGPT等）も検討中です。 ・生成AIでのソース作成、または生成したソースをベースに改善を実施します。

作業内容 ・BtoB （AI診断）サービス開発に携わっていただきます｡ ・下記を行っていただきます｡ 　-UIUXの設計構築からサービス実装 　-ご希望に応じてフルスタックに関わっていただきます。

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 ・全プロダクトのデータ処理基板・データウェアハウスの設計、構築 　並びにデータ連携部分の設計、構築業務に携わっていただきます。

作業内容 ・Web解析ツールの新規開発に伴うインフラ構築支援に携わっていただきます。 ・下記を行っていただきます。 -SQLを用いたデータ集計 -Google Cloud Platformでのインフラ構築運用 など

作業内容 ・AWS上に、AIを用いた音声認識/ユーザへのレコメンドのための 大規模システム（APIゲートウェイ、Web/APサーバ、DBサーバ、 その他運用サーバ等）を構築する。 ・アークテクチャの検討から、基本設計、詳細設計、構築、試験、 運用引継ぎまで実施する。 【作業環境】 ・AWS（EC2/Aurora/S3/IAM/Kinesis など） ・Linux ・Apache/Nginx/Resin ・Tomcat ・Zabbix ・DeepSecurity

作業内容 ・DSPのアプリケーション全体や新規実装/各種改修等をご担当頂きます。 ・実装に関して仕様書等はほぼ存在せず、 　常に仮説ベースから実装がスタートしていきます。

作業内容 ・Javaを用いたIoTデバイス開発基盤構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-移行 　-コンテナ化支援 　-テスト 　-修正 　-改修 　-機能追加 　-運用面対応

作業内容 ・電力会社向けシステム開発支援に携わっていただきます。 ・主な作業内容は以下の通りです。 　-計算ライブラリの変更(Spark →Snowflake)及び、オンプレ→クラウドの載せ替え 　- 基本設計～結合試験

作業内容 【リーダー枠】次期SQLServer移行開発（SQL） 【概要】 詳細設計/開発/データ一致確認試験/切替作業/過去データ移行 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 ・美容系ECサイトの開発に携わっていただきます。 ・Springを用いて、基本設計からテストまで幅広くご対応いただきます。 ・ご経験に応じて、リーダー業務をご担当いただく場合がございます。

作業内容 ・スマホアプリやデバイスなどの操作ログを収集/解析するためのシステム構築 ・ログデータのETL処理分析の為の集計処理 ・集計結果を可視化する為のBIレポート作成作業 ※上記のいずれかをご担当いただいきます。

作業内容 概　要： 世界各国で利用されるオンラインサービスにおけるデータ分析基盤の開発運用支援をお願い致します

作業内容 企画,コンサルティング,ディレクション,データ分析 大型カーボンニュートラルプロジェクトに携わって頂きます。 ・データプラットフォームのシステムアーキテクチャの作成 ・システム開発を行なう上で必要なOSSを中心とした技術要素の選定

作業内容 ・データのETL処理の基盤構築 ・AWSサービスとPythonを使ってデータ解析基盤の開発 ・設計/製造をメインにご担当

作業内容 【メンバー枠】次期SQLServer移行開発（SQL） 【概要】 詳細設計/開発/データ一致確認試験/切替作業/過去データ移行 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 ・ジョブの障害調査、対応 ・業務の問合せ ・他システムからの影響調査 ・画面メンテナンス ・軽微な改修

作業内容 社内外のビッグデータ集計/提供システムのインフラ（クラウド）設計・構築をご担当頂きます。 ・社内外のビッグデータを使ったASPシステムのクラウド設計～構築 ・クラウド、アナリティクスツールを利用した分析開発・技術支援 ・計測タグ/SDKによる測定・収集・クレンジング処理の開発・設計・運用支援　など