【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
HadoopSparkAWSApache
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業
業務委託(フリーランス)
JavaPythonScalaSparkKafka
サーバーサイドエンジニアバックエンドエンジニア
作業内容
某通信会社向け開発支援作業
【Python/フルリモート】自社サービス開発支援(在庫管理)
業務委託(フリーランス)
PythonSparkApache
サーバーサイドエンジニア
作業内容 ・データ基盤の運用及び保守開発
・新規データ取得のETLの設計及び実装
・構成/プロセスの見直し
・データウェアハウスの設計及び実装
・データの可視化
【Python】在庫管理システムデータ基盤構築
業務委託(フリーランス)
PythonSQLSparkDockerJIRAGitHub
サーバーサイドエンジニア
作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。
【Python】マーケティングデータ処理開発
業務委託(フリーランス)
JavaPythonRubyScalaHadoopSparkHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】マーケティングデータ処理開発
【開発環境】
-言語:Java、Scala(一部:Python、Ruby)
【精算幅】140-180h
【面談】1回
【勤務地】リモート
【備考】
・服装:自由
・就業時間:9:00-17:30
※週5日〜OKの案件です!
【AWS】 ETL環境の設計レビュー・改善・実装・メンテナンス
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
インフラエンジニア
作業内容 ・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となる
データ加工処理マイグレーション検討
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。
現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。
現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。
※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ
クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。
現在想定しているマイグレーション例は、以下の通りです。
-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換
→Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の
Spark関連マネージド・サービスにマイグレーション
<就業時間>
9:00ー18:00
※※こちらの案件は現在募集を終了しております※※
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
PythonSparkAWSApacheGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
Python エンドユーザー向けAWS基盤の開発
作業内容 既存のAWSデータレイク基盤をベースにした追加開発
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【AWS】地図広告プラットフォーム開発
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です!
【リモート可|AWS構築・データ処理】新規プロダクトのインフラ構築
PythonNode.jsSparkAWSDocker
作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【AWS】テレビ視聴データ基盤分析案件
業務委託(フリーランス)
HbaseHadoopSparkAWSHive
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 システム基盤の運用改善をご担当いただきます。
【AWS】データマネジメントシステム更改案件における構築支援業務
作業内容 データマネジメントインフラ支援業務など、
IT基盤戦略担当様のDMシステム更改案件における構築支援業務を行っていただきます。
【AWS】AWS ETL環境運用案件
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
‐既存のAWS ETL環境の調査改善
‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります
【データエンジニア】★即日~★データエンジニア
業務委託(フリーランス)
HadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
業務委託(フリーランス)
HadoopAWSTerraform
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【Databricks】大手損保会社 Databricksノートブック開発/フルリモート
業務委託(フリーランス)
PythonSpark
サーバーサイドエンジニア
作業内容 要件定義/設計~試験、導入、顧客向け資料作成および説明
※ Hadoopのサポート切れに伴い、Hadoop上に保管されている大量の顧客データをDatabricksに移行し、既存の連携バッチをDatabricksに移行する見込みのため、案件開始時の技術者を探しているという状況です。
今年度中に参画可能な技術者がいる場合でもご提案いただきたいです。
【Python】大手小売業向けアプリケーション開発案件
業務委託(フリーランス)
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。
・作業内容において主に下記作業をご担当いただきます。
-AIモデルの運用保守および改善開発
-GCP上で展開される複数のAIモデルの定期的な運用
-AIモデルにエラーが発生した場合にはその対応
-効果測定
-モデル改善の実装
【Azure】公共向けクラウド移行案件
業務委託(フリーランス)
OracleHadoopSparkAzure
ネットワークエンジニアインフラエンジニアセキュリティエンジニア
作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。
【データ分析】データエンジニア募集
業務委託(フリーランス)
PythonHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【Python】チャットコマースプロダクト開発案件
業務委託(フリーランス)
PythonSQLMySQLSpark
作業内容 ・チャットコマースサービスの開発にサーバーサイドエンジニアとして携わっていただきます。
・スキルに応じて下記作業もお任せいたします。
- データ基盤の開発・運用
- データ基盤のデータ品質担保
- データ基盤の運用効率化
【フルリモート|Python】自社サービス開発支援(在庫管理)
PythonSQLSparkAWSApache
データベースエンジニアバックエンドエンジニア
作業内容 在庫管理システムの開発支援を行っていただきます。
【業務例】
・データ基盤の運用及び保守開発
・新規データ取得のETLの設計及び実装
・構成/プロセスの見直し
・データウェアハウスの設計及び実装
・データの可視化
【開発環境】
・開発言語: Python、SQL
・インフラ: Amazon Web Services
・AWS製品: EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch
・ツール: GitHub、Jira、Slack
【担当工程】
基本設計,詳細設計,実装,テスト,運用・保守
【AWS】インフラ構築またはサーバーサイド開発
業務委託(フリーランス)
JavaPythonRedisHadoopSparkAWSReactTypeScriptAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
・Lob分析サービス開発運用
・TVなどの操作Logをもとにランキングなどを出力するサービス開発
(AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発)
【勤務先】
大崎※フルリモート可(9:00~18:00)
【時間精算】下限140h~上限200h
【面談回数】2回
服装:ビジネスカジュアル
※週5日〜OKの案件です!
【Python】某大手小売・流通のシステム開発または広告や社内プロダクトの開発
業務委託(フリーランス)
PythonMySQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformKubernetes
作業内容 【概要】①某大手小売・流通のシステム開発
②広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
案件カテゴリー: 開発
最寄駅:半蔵門※リモート可
打合せ回数:2回
※週5日〜OKの案件です!
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件
業務委託(フリーランス)
SparkApache
AIエンジニア
作業内容 【主な支援内容】
機械学習モデル、推論機能の設計・実装を行うチームの一人として業務
・機械学習モデル、推論機能の設計・実装
・設計、実装はAzure Databricks上で行う
【Python/SQL】自社サービスSaasのバックエンド(データ基盤)
業務委託(フリーランス)
PythonSQLSparkAWS
機械学習エンジニアバックエンドエンジニア
作業内容 ■募集背景・課題
AWS データレイク・DWH管理等
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
<開発環境>
言語:Python, Hive, Spark
AWS:EMR, Glue, Athena, Lambda, APIGateway
GCP:BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他:Terraform, CircleCI, GithubActions, digdag, embulk
<備考>
基本リモート
<基本時間>
10:00~19:00
【Python】トレーサビリティ構築案件
作業内容 ・トレーサビリティ構築に携わっていただきます。
・複数システムからの部品の所在データのIF、DWH・Data Martの実装、テスト、リリース作業をご担当いただきます。
・基本設計以降のフェーズをご対応いただきます。
・開発環境は下記になります。
Databricks, Azure, Apache Spark
【AWS】DB構築開発運用
業務委託(フリーランス)
PythonSQLShellLinuxUnixPostgreSQLSparkAWSApacheRedshiftCloudFormationLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼概要
WS環境におけるDB構築・開発・運用をご担当いただきます。
・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発
・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用
・AWS EMRを使用したETL, データ前処理 (Python, Spark)
▼作業工程
設計・実装・デバッグ・テスト
▼場所
大崎駅
※8月以降はみなとみらいに移転予定
※基本リモートだが作業開始時には数日出社
※今後、出社メインの可能性あり
▼精算幅
140-190h
▼面談回数
1回
※WEB
▼就業時間
9時30分~18時00分
※昼休み45分
※週5日〜OKの案件です!
【Python】データエンジニア募集
業務委託(フリーランス)
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①GPSを用いたデータの集計・予測支援
②SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【データ分析補佐】GPSデータを用いた予測支援
業務委託(フリーランス)
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
Python / SQL / AWS など データエンジニア募集
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 下記のような案件においてデータエンジニア業務に従事いただきます。
・GPSを用いたデータの集計・予測支援
・SaaS型プロダクトの開発支援
【Python】データエンジニア
業務委託(フリーランス)
PythonMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
AWS 分散DBを用いたデータ基盤のインフラエンジニア
HbaseSparkAWSHive
インフラエンジニア
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
【AWS/フルリモート可能】エンドユーザー向けAWS ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheGitHubRedshift
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・日本語ビジネスレベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
既存のAWS ETL環境の調査改善
・メンテ作業の手順化、運用作業(テーブル追加、カラム変更程度)
※対象環境は、ミッションクリティカルではないデータ処理基盤となる上位にて他PJへのスライド案件も御紹介可能で御座います。
【AWS/MySQL/リモート併用】ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・日本語ビジネスレベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
・既存のAWSETL環境の調査改善・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)※対象環境はミッションクリティカルではないデータ処理基盤となる
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Python/テレワーク】データエンジニア
業務委託(フリーランス)
PythonHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 NTTドコモが提供するスーパー販促プログラムにおいて、加盟店(飲食店、小売等)が利用するシステム(クーポン入稿、ターゲティング設定、配信効果分析など)のデータ関連の開発および、顧客企業との仕様調整・実現性検討