Hadoop × 在宅・リモートのフリーランス案件・求人一覧 | 2ページ目

作業内容 既存AWSインフラの追加開発や改修等をご担当いただきます。 大型AWSインフラシステムを学ぶことができます。 ツール： ・AWS ・SnowFlake ・RedShift

作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です！！ ■概要 大手人材派遣会社における派遣領域のデータ活用基盤を対象とした改善・保守運用を担当します。レコメンドエンジンを提供するデータ基盤や分析環境の改善に加え、クラウドサービスやミドルウェアの新規技術検証、簡易的な機械学習モデルのチューニングなども手掛けます。大規模データ処理やPython、Linux環境での開発経験を活かし、データ基盤の構築に貢献できるポジションです。 ■具体的な業務内容 ・レコメンドエンジンを提供するデータ基盤・分析環境の改善および保守運用 ・クラウドサービスやミドルウェアの新規技術検証 ・簡易的な機械学習モデルのチューニングやデータ分析 ・大規模データ処理基盤に関する運用業務（Hadoop, Spark, Treasure Data） ・インフラ関連ツール（Docker、CI/CD）の業務運用および保守

作業内容 AWSクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよび、リアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築

作業内容 プライベートクラウドで管理されたKubernetes環境やHadoop環境をパブリッククラウドへ移行するプロジェクトです。移行に伴い、以下の業務を担当いただきます。（工程）設計、構築、運用（業務内容）・パブリッククラウドのインフラ設計・構築・Kubernetes コンテナ環境の設計・構築・CI/CD、モニタリング環境の設計・構築 ======================== ※必ずお読みください※ 【外国籍の方の場合】 日本語能力検定１級お持ちの方 日本語が母国語の方 ========================

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。 ＜業務内容＞ AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 　1. プロジェクト管理 　・プロジェクトの計画立案、進捗管理、リスクマネジメント 　・定例会議の設定、アジェンダ作成、ファシリテーションの実施 　・タスク・課題管理､ プロジェクト管理プロセスの継続的改善 2. API管理ワークフローの設計・推進 　・API内でのフラグの追加・変更・削除に関するワークフローの設計と推進 　・APIドキュメントの整備とバージョン管理、リリースノートの作成 3. 技術サポート 　・開発チームへの技術サポート 　・社内外のステークホルダーとの調整 ■プロジェクト例 　・AB テストのツールの導入 　・API 利用のガイドライン策定　等

作業内容 Google Cloud環境では、DWHとしてBigQueryを利用し、データパイプラインにはGoogle Cloudのマネージドサービスと、データ変換ツールdbtを使用する想定です。<作業内容>（上から優先度が高い順） 1．バッチ処理コード移行（Java（Spling Boot）→ Google Cloud Composer + Google Data Fusion + dbt） （実装、単体テスト、結合テスト、システムテスト） 2．SQL構文修正（Redshift（PostgresSQL） → BigQuery） （実装、単体テスト、結合テスト、システムテスト） 3．テーブルデータ移行（Redshift → BigQuery） （テーブル設計・実装、データ移行、データ検証） ======================== ※必ずお読みください※ 【外国籍の方の場合】 日本語能力検定１級お持ちの方 日本語が母国語の方 ========================

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 「アルゴリズムで、社会はもっとシンプルになる。」をミッションに掲げ、 アルゴリズムを用いて事業開発を行うAIスタートアップです。 【募集背景】 ChatGPTをはじめとする大規模モデルと隆盛により、データ活用の社会的ニーズが高まってきております。 特に、弊社では金融業界でのデータ活用に向けた取り組みを進めており、技術的には、セキュリティや大規模なデータを扱うことを考えて、モダンなデータスタックの導入ができるように社内での検証を進めてきており、 今回大型のプロジェクトを実行するため、技術ケイパビリティ・経験を持ったエンジニアを今回募集しております。 【業務内容】 メインとして顧客環境に、特にMicrosoft Azureを想定としたデータ基盤を構築し、運用できるようにして頂きます。 データの収集元はテキストデータを中心に多岐に渡る想定であり、収集したデータはLLM/RAGと言われる技術を活用し、ChatGPTのようなボットの活用を行い、問い合わせの自動対応を実現することが目的です。 また、セキュリティ的を十分に考慮しながら設計できることが必要であり、業務としてはデータの基盤の設計及び実行のマネジメントも含めて実行頂きます。 また、必要に応じてクライアントコミュニケーションも行って頂くこともございます。 大型プロジェクトのデータエンジニアとしてのご参画を想定しております。 - アーキテクチャの設計 (既存にAzure上に一定構成されたものは存在) - プロジェクトの技術面での実行 - 顧客環境 (特にMicrosoft Azureを想定)にデータ基盤を構築し運用できるようにする。データの収集元は多岐に渡る想定。 - データ基盤の活用の支援 (BIツール等のデータ基盤の活用に関する助言。場合によっては活用基盤の構築) - 実行メンバーを採用及びメンバーの実行マネジメントの検討・実行 - クライアントコミュニケーション - 他データ基盤のプロジェクトへのアドバイス - アーキテクチャレビュー

作業内容 ■概要 オンプレミスHadoop環境のアップグレードをお任せいたします。 ■具体的な作業内容 ・某通信大手様のオンプレミスHadoop環境アップグレードを実施 ・重要なシステム且つ200台以上のサーバーで構成されているクラスタリングを扱う

作業内容 大手小売り企業様にての業務となります。 在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施して頂きます。 【体制】 ・リーダー：一名 (hadoop有識者、テックリード) ・SIer内hadoopスペシャリストに相談可能 ・オフショアメンバー（中国）側と連携して進める。 【商流】 某大手小売流通→大手SIer→同社

作業内容 【概　要】　Hadoop運用/およびLinuxサーバの運用業務となります。 オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。 ・Hadoopまたは類似システムの運用経験があること （優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど) 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 お客様にて配賦処理サーバを国内DCプライベートクラウド上に Hadoopサーバを構築して運用中であるが、RHELサポート切れが近い為、 現行環境をAWS上に移行予定。 現行Hadoopクラスタ環境をAWS EMRに移行するにあたり以下作業を実施予定。 ・PoC環境の設計、構築、テスト ・アプリチームの支援(AWS関連) ・性能テスト支援(リソース情報取得等)　等

作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

作業内容 金融データ分析基盤の運用に関わる業務支援 ・プラットフォーム運営 ※Seniorレベル ・データ収集(ETL作業) ・KPIレポート作成 ・ユーザー権限管理 ・Zeppelin保守 ＜環境等＞ データベース：Hadoop(Cloudera Data Platform), 一部MySQL BIツール：Zeppelin, Tableau ETLツール：内製, 一部Airflow データ量：約500TB(Diskは1PB) ＜備考＞ テレワーク中心

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。アプリケーションの設計、開発、テストがメイン業務となります。アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト 新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/ アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。アプリ設計、データ投入、 環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 ・RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を 　行うように改修、改修のための設計、開発、テスト ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）

作業内容 オンプレミスの大規模データ収集基板構築に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS(Hadoop)の構成について考慮する必要があるため、Hadoop環境の利用経験があればよりマッチいたします。 ＜業務内容＞ ・RDBからデータ取得を行うアプリケーションを、DWH(Hadoopベース)からデータ取得を行うように改修 →改修のための設計、開発、テスト ・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等) ＜開発環境＞ ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞ 現状リモートワーク 新型コロナウイルス感染症の終息後は出社予定 ＜基本時間＞ 9：00～18：00

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）【開発環境】 ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【案件名】 大手WEB会社が共同開発している システムの保守運用業務をご担当いただきます。 ※基本的に保守運用業務のみで開発は行わない想定 ・Hadoopエコシステム及びHBaseの保守運用※経験していると確度が上がります ・手順書の作成、リリース作業、 　障害対応、トラブルシュート、問い合わせ対応など ・休日夜間の対応が必要 ・利用PF/言語:Cuve(HBase),C3(Hadoop)がPFそのもの 【場所】リモート可/豊洲※基本リモート 【面談】1回 ※週5日～OKの案件です！

作業内容 既存のHadoopシステムの基盤含めた更改案件になります。 メインはHadoopとその上で動くアプリの更改となり、それらアプリ・MW要件に合わせて、既存資料と比較して踏襲/変更/新規の点を　記載した資料を作成します。(基本設計・詳細設計・テスト仕様書等) ・基本設計～構築・単体テストまで12月末 ・結合テスト・統合テストで2月末 ＜備考＞ リモートあり ＜服装＞ ビジネスカジュアル

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【案件名】 大手WEB会社が共同開発しているシステムの保守運用業務をご担当いただきます。 ※基本的に保守運用業務のみで開発は行わない想定です ・Hadoopエコシステム及びHBaseの保守運用 ※経験していると確度が上がります ・手順書の作成、リリース作業、 　障害対応、トラブルシュート、問い合わせ対応など ・休日夜間の対応が必要 ・利用PF/言語:Cuve(HBase),C3(Hadoop)がPFそのもの 【条件等】 場所:リモート可/豊洲 ※基本リモートとなります 面談:1回 ※週5日～OKの案件です！

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発 開発環境 ・Java・Hadoop(Cloudera)・Apache kafka・Apache spark・Kubernetes/OpenShift/vCenter

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 大手WEB会社が共同開発しているシステムの保守運用業務 をご担当いただきます。 ※基本的に保守運用業務のみで開発は行わない想定です ・Hadoopエコシステム及びHBaseの保守運用 ※経験していると確度が上がります ・手順書の作成、リリース作業、 　障害対応、トラブルシュート、問い合わせ対応など ・休日夜間の対応が必要 ・利用PF/言語:Cuve(HBase),C3(Hadoop)がPFそのもの 【場所】リモート可/豊洲 【面談】1回想定 ※週5日〜OKの案件です！

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 詳細： 大手WEB会社が共同開発しているシステムの保守運用業務 ※基本的に保守運用業務のみで開発は行わない想定 ・Hadoopエコシステム及びHBaseの保守運用 　※経験していると確度が上がります ・手順書の作成、リリース作業、障害対応、トラブルシュート、 問い合わせ対応など ・休日夜間の対応が必要 ・利用PF/言語：Cuve(HBase), C3(Hadoop)がPFそのもの 場所：豊洲　※リモート可 精算：あり（確認中） 打ち合わせ：1回（WEB） 勤務時間：基本日勤（夜勤あり） 備考： 夜間休日対応が1ヶ月に1～2回発生する可能性有。 ※週5日〜OKの案件です！

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】マーケティングデータ処理開発 【開発環境】 -言語:Java、Scala(一部:Python、Ruby) 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-17:30 ※週5日〜OKの案件です！

作業内容 大規模データ収集基盤構築(オンプレにて構築)に伴い、既存システム機能とアプリケーションの新基盤への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。 ・新環境(分散FS環境)向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等)、運用機能の開発 ＜開発環境＞ ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞ 原則フルリモート 出社の可能性もあり ＜基本時間＞ 9：00～18：00