【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
PythonSparkAWSApacheGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【Python】マーケティングデータ処理開発
業務委託(フリーランス)
JavaPythonRubyScalaHadoopSparkHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】マーケティングデータ処理開発
【開発環境】
-言語:Java、Scala(一部:Python、Ruby)
【精算幅】140-180h
【面談】1回
【勤務地】リモート
【備考】
・服装:自由
・就業時間:9:00-17:30
※週5日〜OKの案件です!
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【AWS】地図広告プラットフォーム開発
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です!
【リモート可|AWS構築・データ処理】新規プロダクトのインフラ構築
PythonNode.jsSparkAWSDocker
作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
Python エンドユーザー向けAWS基盤の開発
作業内容 既存のAWSデータレイク基盤をベースにした追加開発
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【AWS】テレビ視聴データ基盤分析案件
業務委託(フリーランス)
HbaseHadoopSparkAWSHive
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 システム基盤の運用改善をご担当いただきます。
【データエンジニア】★即日~★データエンジニア
業務委託(フリーランス)
HadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【インフラ】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境構築を行って頂きます。
工程としましては、設計・構築・維持管理業務全般をご担当頂きます。
【AWS】AWS ETL環境運用案件
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
‐既存のAWS ETL環境の調査改善
‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります
【Python/R/Julia】データプラットフォーム構築運用案件
業務委託(フリーランス)
PythonSQLRLinuxMySQLRedisRailsSparkAWSApacheGitBacklogRedshiftBigQueryTreasure DataTensorFlow
作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、
および運用に携わって頂きます。
・データプラットフォームで加工したデータを各種サービス、
および社内スタッフに提供して頂きます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
【AWS】データマネジメントシステム更改案件における構築支援業務
作業内容 データマネジメントインフラ支援業務など、
IT基盤戦略担当様のDMシステム更改案件における構築支援業務を行っていただきます。
AWS データマネジメントシステム更改案件における構築支援業務(リモート有り)
作業内容 DMシステム更改案件における構築支援業務
データマネジメントインフラ支援業務
・DaaS環境構築支援
・インフラ構成検討支援
・リアルタイム/機械学習基盤設計支援
・問合せ対応
AWSクラウド環境にHadoop,Sparkといった技術を用いデータ連携/データ収集を行い、
AIによる情報活用基盤の更改を行っていきます。
【Python(リモート)】某社サービスSaaSのデータ基盤構築
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。
【上流/Azure】製造業向けデータレイク基盤構築案件
業務委託(フリーランス)
SQLSparkAzure
インフラエンジニアデータベースエンジニア
作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。
・下記のツールにてシステム構築を行っていただきます。
-DataFactory
-Azure Datalake Storage Gen2
-Synapse Analytics Service
【AWS/Windows/Linux/機械学習】ビッグデータ解析AI基盤技術検証
業務委託(フリーランス)
WindowsLinuxHadoopSparkAWS
サーバーサイドエンジニア
作業内容 AWSサービスを利用したビッグデータ解析、AI基盤の技術検証を行って頂きます。
【Python/SQL】自社Saasソリューションのデータエンジニア
業務委託(フリーランス)
PythonSQLHadoopSparkApache
作業内容 【募集背景】
大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。
プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。
某大手製造メーカー系会社 データ処理インフラ基盤の構築
業務委託(フリーランス)
SparkAWSGoogle Cloud Platform
作業内容 ■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
DMS開発メンバー クレジットカード会社の次世代DWH(DMS)開発支援
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・ポジション:DMS開発メンバー
・業務内容:
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程:
FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。
※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
業務委託(フリーランス)
HadoopAWSTerraform
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【Python】大手小売業向けアプリケーション開発案件
業務委託(フリーランス)
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。
・作業内容において主に下記作業をご担当いただきます。
-AIモデルの運用保守および改善開発
-GCP上で展開される複数のAIモデルの定期的な運用
-AIモデルにエラーが発生した場合にはその対応
-効果測定
-モデル改善の実装
【新規モバイル向けRPG】エフェクト制作案件
業務委託(フリーランス)
SparkUnityAfter EffectsRPG
エフェクトデザイナー
作業内容 モバイル向け(スマホ、Switch 等)RPG制作において、
エフェクトデザイナーとして下記のような作業を行っていただきます。
・キャラクターの攻撃や回復、松明の炎や煙、UIなどのエフェクト制作
・ユーザー体験を最大化させる演出の提案、コンテ制作
※スキルによってお任せする作業内容が異なります。
【Linux/UNIX/Python】製薬業界向けITソリューションの構築
業務委託(フリーランス)
PythonLinuxUnixHadoopSpark
サーバーサイドエンジニア
作業内容 製薬業界向けの企業別薬品の売上、消化情報などの蓄積・分析をするソリューションをAWS上で開発を行っていただきます。
【データ分析】データエンジニア募集
業務委託(フリーランス)
PythonHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【Java】製造業・建設業SCMパッケージ開発案件
業務委託(フリーランス)
JavaCassandraHadoopSpark
作業内容 ・製造業/建設業向けの次世代ERPパッケージシステム導入における、
SCM(販売/購買領域)のパッケージ開発を行っていただきます。
・機能及び、UI/UXを含む製品設計フェーズにご参画いただきます。
※オフショア開発の可能性がある為、実開発は行わない可能性がございます。