【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
PythonSparkAWSApacheGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
Python エンドユーザー向けAWS基盤の開発
作業内容 既存のAWSデータレイク基盤をベースにした追加開発
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【AWS】地図広告プラットフォーム開発
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です!
【リモート可|AWS構築・データ処理】新規プロダクトのインフラ構築
PythonNode.jsSparkAWSDocker
作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【AWS】テレビ視聴データ基盤分析案件
業務委託(フリーランス)
HbaseHadoopSparkAWSHive
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 システム基盤の運用改善をご担当いただきます。
【ダンジョンRPG系IP/新作スマートフォンゲーム/SPARK GEAR】エフェクト制作案件
業務委託(フリーランス)
SparkUnityRPG
エフェクトデザイナー
作業内容 新作スマートフォンタイトルの開発においてSPARK GEAR を用いた3Dエフェクト制作をご担当いただきます。
具体的な作業内容は下記を想定しております。
・バトル用スキルエフェクト作成
・マップの環境エフェクト作成 等
【データエンジニア】★即日~★データエンジニア
業務委託(フリーランス)
HadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【Python/R/Julia】データプラットフォーム構築運用案件
業務委託(フリーランス)
PythonSQLRLinuxMySQLRedisRailsSparkAWSApacheGitBacklogRedshiftBigQueryTreasure DataTensorFlow
作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、
および運用に携わって頂きます。
・データプラットフォームで加工したデータを各種サービス、
および社内スタッフに提供して頂きます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
【インフラ】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境構築を行って頂きます。
工程としましては、設計・構築・維持管理業務全般をご担当頂きます。
【AWS】AWS ETL環境運用案件
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
‐既存のAWS ETL環境の調査改善
‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります
【AWS】データマネジメントシステム更改案件における構築支援業務
作業内容 データマネジメントインフラ支援業務など、
IT基盤戦略担当様のDMシステム更改案件における構築支援業務を行っていただきます。
【上流/Azure】製造業向けデータレイク基盤構築案件
業務委託(フリーランス)
SQLSparkAzure
インフラエンジニアデータベースエンジニア
作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。
・下記のツールにてシステム構築を行っていただきます。
-DataFactory
-Azure Datalake Storage Gen2
-Synapse Analytics Service
【AWS/Windows/Linux/機械学習】ビッグデータ解析AI基盤技術検証
業務委託(フリーランス)
WindowsLinuxHadoopSparkAWS
サーバーサイドエンジニア
作業内容 AWSサービスを利用したビッグデータ解析、AI基盤の技術検証を行って頂きます。
【Python/SQL】自社Saasソリューションのデータエンジニア
業務委託(フリーランス)
PythonSQLHadoopSparkApache
作業内容 【募集背景】
大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。
プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。
某大手製造メーカー系会社 データ処理インフラ基盤の構築
業務委託(フリーランス)
SparkAWSGoogle Cloud Platform
作業内容 ■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
DMS開発メンバー クレジットカード会社の次世代DWH(DMS)開発支援
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・ポジション:DMS開発メンバー
・業務内容:
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程:
FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。
※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
業務委託(フリーランス)
HadoopAWSTerraform
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【Python】大手小売業向けアプリケーション開発案件
業務委託(フリーランス)
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。
・作業内容において主に下記作業をご担当いただきます。
-AIモデルの運用保守および改善開発
-GCP上で展開される複数のAIモデルの定期的な運用
-AIモデルにエラーが発生した場合にはその対応
-効果測定
-モデル改善の実装
【データ分析】データエンジニア募集
業務委託(フリーランス)
PythonHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【Linux/UNIX/Python】製薬業界向けITソリューションの構築
業務委託(フリーランス)
PythonLinuxUnixHadoopSpark
サーバーサイドエンジニア
作業内容 製薬業界向けの企業別薬品の売上、消化情報などの蓄積・分析をするソリューションをAWS上で開発を行っていただきます。
【Python】在庫最適化システムのデータ基盤構築
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【週5日/リモートメイン/Python】データエンジニア
業務委託(フリーランス)
PythonDynamoDBSparkAWSAmazon S3ApacheKafka
作業内容 --------------------------------
※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です
※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です
--------------------------------
某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。
<業務内容>
AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。
Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。
ビッグデータ技術(Hadoop, Sparkなど)を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。
ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【Golang(リモート)】データ分析基盤及びETL基盤/システム開発支援
業務委託(フリーランス)
GoLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud PlatformKubernetesElasticsearch
作業内容 ・システムアーキテクチャの検討、選定及び設計、実装
・ビッグデータを分析(加工)する為の分散処理基盤の開発など
【環境】
・OS(インフラ):GCP、Spark、Kubernetes、Linux
・DB:Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL
・ツール:JIRA、Git、Slack
【Java】製造業・建設業SCMパッケージ開発案件
業務委託(フリーランス)
JavaCassandraHadoopSpark
作業内容 ・製造業/建設業向けの次世代ERPパッケージシステム導入における、
SCM(販売/購買領域)のパッケージ開発を行っていただきます。
・機能及び、UI/UXを含む製品設計フェーズにご参画いただきます。
※オフショア開発の可能性がある為、実開発は行わない可能性がございます。
【Azure】公共向けクラウド移行案件
業務委託(フリーランス)
OracleHadoopSparkAzure
ネットワークエンジニアインフラエンジニアセキュリティエンジニア
作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。
【Python/C言語/IoT】プログラム脆弱性検出システムの高速化
業務委託(フリーランス)
CPythonHadoopSpark
サーバーサイドエンジニア
作業内容 プログラム脆弱性検出システムを一部機能を分散処理させて高速化させる業務をご担当していただきます。