AWS 分散DBを用いたデータ基盤のインフラエンジニア
HbaseSparkAWSHive
インフラエンジニア
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【Objective-C/Swift】Bigqueryデータ移行案件
業務委託(フリーランス)
Objective-CMySQLSparkAWSSwiftGoogle Cloud PlatformBigQueryHive
ネットワークエンジニアスマホアプリエンジニア
作業内容 ・AWSのデータレイクからBigqueryへのデータ移行をおこなっていただきます。
・下記を行っていただきます。
-GCPデータ基盤の整備
-ワークフローエンジン導入
AWS データレイク・DWH管理等
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
<開発環境>
言語:Python, Hive, Spark
AWS:EMR, Glue, Athena, Lambda, APIGateway
GCP:BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他:Terraform, CircleCI, GithubActions, digdag, embulk
<備考>
基本リモート
<基本時間>
10:00~19:00
【python/Spark】自動販売機商品入れ替え計画提案プログラムの改修
業務委託(フリーランス)
PythonHadoopSparkHive
サーバーサイドエンジニア
作業内容 自動販売機の商品をアソートリストに沿ったものに入れ替える際の入れ替え計画を提案するプログラムの改修(パフォーマンス改善)、自動販売機ごとに最適とされるアソートリスト(商品の数量、種類、並び)をcsvファイルとして出力する処理をしていただきます。
アソートリスト出力処理は シェルスクリプト・python・R (pyspark / sparkRを利用) 入れ替え計画提案プログラムは python(pyspark を利用)
人材業界でのデータエンジニア募集
業務委託(フリーランス)
JavaSQLScalaHadoopSparkApacheHive
アプリケーションエンジニア
作業内容 ■業務内容
(1)Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯
(2)HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化
(3)Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装
稼 働:週2日~5日 相談可能
時 間:9:30 - 18:30(応相談)
服 装:ビジネスカジュアル・私服
【JavaScript】医療系アプリ開発案件
業務委託(フリーランス)
JavaScriptUnixMongoDBNode.jsHadoopSparkGitGitHubReactHive
作業内容 ・クライアントの自社プロダクトの開発に携わっていただきます。
・具体的には下記の作業を行っていただきます。
-プロダクト改善への提案、情報収集とその共有
-自動化のための整備
-外部への情報発信 Qiitaやブログでの記事投稿
-可能であれば、テックリードとしてチームをマネジメント
【AWS】CANデータ収集・活用システムの開発および維持運用
業務委託(フリーランス)
JavaRedisAWSLambda
サーバーサイドエンジニア
作業内容 CANデータ収集・活用システムの開発および維持運用案件です。
車両から送信されてくるCANデータを収集して、扱いやすいデータに変換するためにAWS上に構築されたシステムの追加開発および維持運用を行っていただきます。
収集はKinesis FirehoseとS3、変換処理はJavaアプリ on EMRで実現している現場です。
Hadoop / AWS データ分析基盤の運用改善
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
ご希望の場合はオンサイトも可能
【Python】ビッグデータ基盤システム開発案件
業務委託(フリーランス)
PythonSQLHadoopAWSGitHive
サーバーサイドエンジニア
作業内容 一般ユーザー向けにコンテンツ制作を手掛けている企業にて
ビッグデータ基盤システム開発案件にご参画いただきます。
【Java】レコメンドシステム開発運用案件
業務委託(フリーランス)
JavaScalaCSSHTMLWindowsLinuxMySQLHbaseHadoopSpringStrutsSparkiBATISTomcatEclipseSubversionHive
作業内容 ・大規模データベースシステム/レコメンドシステムの運用及び運用改善に携わっていただきます。
また、システムに付随する管理ツールや自動化スクリプトの開発もご担当いただきます。
★元請直/リモート/AWS+EMR データ蓄積基盤構築
業務委託(フリーランス)
SQLHadoopSparkAWSRedshiftHiveAthena
データサイエンティスト
作業内容 ビッグデータを蓄積するオンプレHadoop基盤をAWS EMRを利用した基盤に変更する
その後、既存データを新基盤に移行する作業も実施予定。
【分析基盤エンジニア】データエンジニアリング業務 (HR領域)
業務委託(フリーランス)
SQLGoogle Cloud Platform
作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。
使用データベースはGCP/BigQueryを利用
一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。
モバイルアプリデータ解析支援
業務委託(フリーランス)
RubyMySQLRailsSparkApacheBigQueryHive
作業内容 モバイルアプリの解析・マーケティングツールの提供、
アプリの企画・戦略コンサルティングを行っている企業にて
以下の作業を行う。
・分析に必要なデータパイプラインの構築や中間データの整備
・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
【Java】大トラフィックサービス研究開発案件
業務委託(フリーランス)
JavaScalaWindowsLinuxUnixMySQLHbaseHadoopSpringStrutsiBATISEclipseSubversionHive
作業内容 ・大規模なWebサービスの解析用アプリケーション開発や、
各種APIの設計~実装を担当していただきます。
・口頭や簡単なメモで仕様が来ることもありますので、
コミュニケーションをとりながらプロトタイプベースで
開発を進めていただきます。
ビッグデータ基盤システムの構築、開発、保守
業務委託(フリーランス)
JavaPHPPythonSQLGoHadoopAWSApacheGitHive
インフラエンジニア
作業内容 ・主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。
【データベース】データ連携システム開発案件
業務委託(フリーランス)
SQLOracleSQL ServerHive
データベースエンジニア
作業内容 ・データ連携システム開発に携わっていただきます。
・下記を行っていただきます。
-受領データ加工処理
-後続システムへのデータ連携処理の開発
-新環境への処理移行に向けて既存処理(Oracle)の解析、新環境での検証
【BigQuery】機械学習関連DWHエンジニア募集|フルリモート|~100万
業務委託(フリーランス)
PythonSQLLinuxAWSAzureDockerBigQueryHiveSnowflakeTerraformLambda
データベースエンジニア
作業内容 機械学習を用いた予測システムの開発・運用データエンジニア(DWH)
エネルギー業界向けに機械学習を用いた予測システムの開発・運用
・多モデル予測パイプラインの設計
・監視・通知の仕組みの設計 etc..
・希望に応じて機械学習モジュールの開発も可能
【AWS】メディア向けインフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
・SREチームの所属となりますが、
作業としては、インフラと開発の割合が5:5程度です。
CRM施策に関連するデータ加工/抽出/分析業務
PythonSQLMySQLPostgreSQLGitJIRABigQueryHive
作業内容 CRM施策に関連する、以下の業務をご担当いただきます。
■具体的には…
・メールマガジン、Push通知、広告配信等の配信に必要なセグメント抽出用クエリ作成
→事前データ調査やユーザーリストの作成
・事業KPI設計
・成果レポート用クエリ作成
・BIツール移行対応
・施策ヒアリング等の要件定義
■開発環境
PC:Mac(JIS/US 選択可)
ミドルウェア:MySQL、PostgreSQL
管理ツール:Slack、Jira、Confluence、Git
その他:BigQuery、LookerStudio、Redash、Hive
■担当工程
要件定義、基本設計、詳細設計
保守改修、運用
※アダルトコンテンツ一部有り
レポート作成やセグメントに利用するSQLの業務では直接的に触れる形ではないが、
抽出データ内に作品タイトルなどが表示されるケースあり
【AWS】メディア向けインフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
・SREチームの所属となりますが、
作業としては、インフラ構築運用をメインにご担当いただきます。
【Python】ビッグデータ基盤システム開発案件
業務委託(フリーランス)
PythonSQLHadoopAWSGitHive
サーバーサイドエンジニア
作業内容 一般ユーザー向けにコンテンツ制作を手掛けている企業にて
ビッグデータ基盤システム開発案件にご参画いただきます。
インフラエンジニアやアプリケーションエンジニアといった垣根なく、
ご活躍いただく業務になります。
BIツール(データマーケティング)の並びに導入支援 ~アーキテクト~
業務委託(フリーランス)
JavaRubyGoUnixApacheHive
作業内容 <業務内容>
アーキテクトチームにて、開発チームでは解決の難しい、
または機能横断的で影響範囲の広いような、難易度の高い課題解決に従事いただきます。
お願いする事柄は、単なるプログラム修正やインフラ整備だけではなく、技術検証やソリューションの策定など多岐に渡ります。
解決困難な課題に対して、楽しみつつも能動的にアクションを取れる方を求めています。
【言語不問/一部リモート】クラウド分析基盤のアプリケーション保守エンハンス
業務委託(フリーランス)
JavaPythonBigtableGoogle Cloud PlatformHive
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守,その他
ビッグデータ分析基盤のアプリケーションエンハンス保守に携わって頂きます。
・GCP及び周辺ミドルウェアのEOSLに伴う、既存アプリケーションのバージョンアップ対応
・各所からの要望によるデータレイクへの新規ETL対応
・設計から運用保守までの一通りの作業(影響調査、技術調査、設計、実装、テスト、リリース等)
※保守フェーズのため、基本的には新規開発はなく、調査やEOSL、ETL対応がメインです
【Ruby/Typescript/AWS/GCP】データマネジメントプラットフォーム開発案件
業務委託(フリーランス)
JavaScriptPythonRubyPostgreSQLRailsSparkAWSGitHubReactGoogle Cloud PlatformHiveTypeScript
作業内容 ・クライアント向けDMPの開発をご担当いただきます。
・具体的には下記の作業を想定しております。
- 機能機能要件を基に、設計、実装、テスト、リリースまでの一連の開発作業
- Railsを用いたバックエンド開発
- reactを用いたフロントエンド開発
- Hive, Presto, BigQueryを用いたデータ分析機能の開発、パフォーマンスチューニング
- 既存AWSクラウドの運用、保守、改善、機能開発
ビッグデータ開発案件
業務委託(フリーランス)
JavaHadoopHivefluentd
サーバーエンジニアデータベースエンジニア
作業内容 ・ビッグデータを分散処理で集計、分析するシステム開発を担当して頂きます。
【Python/PHP】ビッグデータ基盤システム開発案件
業務委託(フリーランス)
PHPPythonSQLRedisHadoopAWSGitJenkinsMemcacheChefAnsibleHive
作業内容 ・クラウドインフラ及びアプリケーションソフトの構築を行っていただきます。
・オーディエンスデータとの紐づけやデータ配信を行う
ビッグデータ基盤システムの開発を行っていただきます。
・ETLを用いたデータ加工もご担当いただきます。
・要件定義からご担当いただきます。
【Java】数値の集計に関する開発保守
業務委託(フリーランス)
JavaPythonSQLHadoopApacheGitGitHubHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■概要
インターネット広告主が利用する、広告管理ツール内の
広告効果レポートに必要な数値の集計に関する開発・保守を行っていただきます。
担当いただく工程は以下の通りで、プログラミングと単体テストがメインになります。
・プログラミング
・単体テスト実施
ユーザー(広告主)との直接のやり取りはありません。
顧客側で作成した案件定義書に従い、プログラミングをお任せすることになります。
勤務地:リモート
精算幅:140-180h
面談:1回
就業:基本リモート可
※自宅以外からのリモートは不可(自宅のみOK)
※週5日〜OKの案件です!
【Java】広告管理チールの開発保守
業務委託(フリーランス)
JavaPythonSQLHadoopApacheGitGitHubHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼概要
インターネット広告主が利用する、
広告管理ツール内の広告効果レポートに必要な
数値の集計に関する開発・保守を行っていただきます。
担当いただく工程は以下の通りで、
プログラミングと単体テストがメインになります。
・プログラミング
・単体テスト実施
ユーザー(広告主)との直接のやり取りはありません。
顧客側で作成した案件定義書に従い、
プログラミングをお任せすることになります。
▼条件等
就業:リモート可/紀尾井町
※業務的に出社が必要な場合は紀尾井町(東京都千代田区)に出社
精算幅:140-180h
談:1回
※週5日〜OKの案件です!
【SQL】データクレンジング・加工・統合案件
作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルを作成していただきます。
・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。
・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。
【週4日~可】【PM】ビッグデータ向けソリューションアーキテクト開発案件
業務委託(フリーランス)
SQLScalaNode.jsHadoopSparkAWSHive
PM
作業内容 ・クライアントの課題ヒアリングからデータの整理、および解決すべき問題の要件化から、
エンジニアやサイエンティストと協力いただきながら、
実際の開発、運用までの全てに携わっていただきます。
・プロジェクト推進の中核メンバーとして参画いただきますので、
問題解決や開発、技術選定などご自身の意思で柔軟にご対応いただけます。
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
業務委託(フリーランス)
PythonAWSGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
【Hadoop・Hive】大規模データ解析/分析案件
業務委託(フリーランス)
JavaScriptPythonRubySQLPerlRLinuxMySQLRedisHadoopAWSNginxUnicornMemcacheGitHubHive
データサイエンティスト
作業内容 ・世界展開されている大規模なゲーム、
及びWebサービスのデータ分析/解析や運用管理に携わって頂きます。
・データ分析/解析環境の設計から幅広く担当頂きます。
・開発手法は、スクラムです。
・開発フローは、GitHub FlowをベースにPull Requestを活用してます。
・主な業務
データ分析/解析の基盤やツールの開発
データ分析/解析のスクリプト記述
データ分析/解析の結果に基づいた改善や新規サービスの立案
※担当範囲は、経歴やスキルおよび進捗状況により変動いたします。
【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発
業務委託(フリーランス)
JavaJavaScriptMySQLHadoopSparkJenkinsAnsible
アプリケーションエンジニア
作業内容 ・node.js でのAPI設計・開発・テスト
・Hiveクエリの作成・テスト・チューニング
・Spark プログラムの設計・開発・テスト
・Jenkinsジョブの作成
・Ansible設定ファイルの作成
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
PythonSparkAWSApacheGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
【Python/AWS】テレビ局向け大規模データシステム構築案件
業務委託(フリーランス)
JavaPHPPythonSQLGoRedisHadoopAWSGitJenkinsMemcacheChefAnsibleHive
作業内容 ・ビッグデータ基盤システムの開発をご担当いただきます。
・主に大規模データを処理するための
クラウドインフラ・アプリケーションソフトの構築から、
オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを
一貫で担っているチームで作業いただきます。
・ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等を
ご担当いただきます。
【Java】各種通信機器ログ収集及び開発案件
業務委託(フリーランス)
JavaSQLShellPL/SQLOraclePostgreSQLSQL ServerHadoopHive
作業内容 ・主に設計から結合試験までをご担当いただきます。
・ご経験によってご担当範囲を調整いたします。
【PM/上流】在京キー局データ基盤構築案件
業務委託(フリーランス)
PythonSQLDjangoJIRAGoogle Cloud PlatformBigQueryHive
インフラエンジニアPM
作業内容 下記を行っていただきます。
・ロードマップの計画 (年または四半期)
・開発リソースの調整
・開発スプリントの管理
・各種 MTG のファシリテート
・プロダクト開発計画策定
【Python/AWS】テレビ局向け大規模データシステム構築案件
業務委託(フリーランス)
JavaPHPPythonSQLGoRedisHadoopAWSDockerGitJenkinsMemcacheChefAnsibleHive
作業内容 ・ビッグデータ基盤システムの開発をご担当いただきます。
・主に大規模データを処理するための
クラウドインフラ・アプリケーションソフトの構築から、
オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを
一貫で担っているチームで作業いただきます。
・ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等を
ご担当いただきます。
Python / SQL データ分析及び, システムデータ分析基盤構築支援
業務委託(フリーランス)
PythonSQLUnixSparkAWSDockerHive
作業内容 データ分析対応チーム、もしくはデータ分析基盤構築チームにて、AとBのいずれかをご対応いただく予定です。
A: 定型化されたデータ分析の実行(集計/加工/分析/可視化/アドホック対応など)
B: 関連するデータ分析基盤システム構築(インフラ,システム開発/仮想化/など)
・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。
・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。
<関連システム/スキルマップ>
・Python, SQL, Excel
・AWS, Spark, Hive, Docker, RDS, UNIX他
<備考>
リモート or 現場常駐
現状、タスクに応じて50/50で対応中