AWSデータ分析基盤構築プロジェクト
業務委託(フリーランス)
PythonWindowsAWSGlueLambda
作業内容 〇ご依頼範囲
・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイス
・上記に必要な検証環境構築作業および要件定義資料化
※上記の取り組みを顧客案件および社内研究開発の作業として行います。
〇対象プロジェクト※①②両方が依頼範囲です。
①製造業向けデータ分析基盤構築:要件定義
②社内向け研究開発
〇①顧客案件
顧客向けに弊社のデータ分析基盤の構築ソリューションをベースにシステムを構築します。
AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素になります。
要件定義の作業になりますので、
どこまでできるか明確でないところも踏まえて一緒に考えていける方がいらっしゃるとありがたいと思います。
今のところ、このようなサービスが必要なのではと考えております。
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定です。
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えていますので、
そのあたりの統合についてもテーマになります。
〇②研究開発
上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築します。
Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【AWS/リモート併用】データ分析基盤開発/構築支援の案件・求人
業務委託(フリーランス)
AWSSnowflakeDatadog
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
ビックデータ
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Linux】分析基盤開発の求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSGoogle Cloud PlatformBigQuerySnowflake
作業内容 クライアントゲーム事業で蓄積されたビッグデータを用いたデータ分析環境の基盤構築および開発、管理を行っていただきます。
環境構築にとどまらず、社内共通の内製BIツールで利用するためのデータ集計や、各タイトルのデータ分析者とのやりとりを通じてゲーム品質やサービス改善に繋がるための業務を担当していただきます。
・ログ、DBデータのETL/ELT処理のためのシステム開発/運用
・大規模データベースの構築/運用/管理
・社内BIツール向けデータ集計バッチ開発/運用
・データ分析者への技術的サポート
【SQL】BIエンジニアの求人・案件
作業内容 PowerBIのダッシュボードの設計構築をお願いします。
フェーズ:
12月下旬より構築開始
3月末リリース予定
その後、運用
環境:
SQL/Python
Snowflake(DWH)
Alteryx(ETL)
PowerBI(BI)
【AWS/リモート併用】法人利用向けシステムのAWS基盤構築の案件・求人
業務委託(フリーランス)
PythonLinuxAWSDockerRedshiftSnowflakeTerraformKubernetes
DBA
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・経験者採用
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・実務経験3年以上必須
=====
通信会社における法人利用向けのWebサービスシステム(データ分析含む)のAWS基盤構築を行う
【GCP/AWSなど】データ基盤エンジニアの求人・案件
業務委託(フリーランス)
PythonSQLRAWSGoogle Cloud PlatformRedshiftBigQuerySnowflake
作業内容 事業横断のデータ基盤(DWHとデータパイプライン)の設計・構築・運用
既存DWH(BigQuery)とデータパイプラインの拡充
将来のデータ基盤戦略の策定と推進
データ分析によるビジネス課題の発見と推進
・受注背景:既存事業の運用基盤を引き継ぎ、信頼性・利便性向上にコミットするため
【分析基盤エンジニア】AWSからAzureへの移行および拡張(DWH技術者)の求人・案件
業務委託(フリーランス)
AWSAzureRedshiftTableauSnowflake
作業内容 ■クライアント支援範囲 ・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識 ■概要 <1月~3月にて、データ基盤構築(Power BIとTableau込み)の上流工程(基本設計)を予定> 本プロジェクトは、現行のAWS(プロトタイプ環境)からAzureへの移行および拡張となります。 ・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。 TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。 ■想定業務 ※TableauとPower BIを中心としたDWH技術者 ・ドキュメント作成(基本設計書/移行計画書) ・Tableau ServerからTableau Cloudへの移行設計 ・DWH(SynapseやSnowflakeやRedshiftなど)のデータアーキ
▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud(またはTableau Server)
・Power BI Service
■体制
体制:
AIチームは全部で15名程度
6名~7名→AIエンジニア 6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤:Azure
(クライアント内で基盤設計・構築)
BI:PowerBI
(クライアント内でレポート作成・運用)
【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
【AWS】車両データ蓄積基盤構築の求人・案件
業務委託(フリーランス)
SQLDynamoDBAWSSnowflake
作業内容 割り振られた機能要求をもとに、基本設計から詳細設計、実装、テストまで一気通貫で担当
ウォーターホール開発とアジャイル開発を組み合わせたハイブリット開発
New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件
業務委託(フリーランス)
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。
【データアナリスト】大手通信会社内でのデータ分析教育支援
業務委託(フリーランス)
PythonSQLSASTableau
データアナリスト
作業内容 ・社内でのデータ分析人材育成プロジェクトのサポート
・データ分析の知識がない社員への相談や助言
・座学での研修を終えた社員の実践課題をサポート
【SQL】横断的なDWHの構築の求人・案件
作業内容 大手自動車メーカーにて、横断的なDWH環境の構築を実施いただきます。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行います。
期日:7月~12月(継続の可能性あり)
【SQL】自動車メーカ向け見える化システム開発の求人・案件
作業内容 クライアントへの見える化システムの開発に向けて、設計・開発を頂きます。
【主なサービス/ツール/技術】
AWS(EC2、S3、CodeCommit、RDS)Oracle、Snowflake、IICS(ETLツール)、Linux(Red Hat系)
【PM業務】製造・SCM分野のデータ活用の為のシステム開発プロジェクトの求人・案件
作業内容 クライアントがAIや量子コンピューティングを製造分野で有効活用しようとして、複数のプロジェクトを同時並行で立ち上げてます。下記のような複数のプロジェクトの管理、PM業務を担っていただきます。
・車体生産の塗装工程において、塗装順番の効率向上と作業員の身体的負担を最小化する最適な生産順番を、生産計画をInputに量子アニーリングの技術を使って最適解を導出して、システム実装するPJ
・工場の品質管理のある工程において、熟練作業員の耳に頼っていた異音検知の品質確認作業を、マイクで聞き取ってAI学習させて判定させるシステムの構築
・さまざまなSCMやセールスや経営管理指標をInputに、AI技術や量子コンピューティング技術を用いて、最適な生産計画、在庫管理、サプライヤー発注を実現するシステム開発など
※関係者とは英語でのコミュニケーションが求められます。
【PM業務】小売業界向けデータ分析基盤構築PMの求人・案件
作業内容 グローバルブランドとして国内外に展開している某小売企業においてデータ分析基盤構築推進をご担当いただきます。
想定業務
・プロジェクト管理
・各部門からの問い合わせ対応
・データ分析基盤と社内データを活用するための開発/(必要に応じて)保守運用
・機能改善、新規機能開発 等
【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件
業務委託(フリーランス)
JavaPythonSQLScalaSparkAWSDockerApacheGitHubSnowflakeKubernetes
作業内容 【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤(ETL処理、DWH、DM)の開発、運用、保守をお願いします。
【ポイント】
データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。
【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。
チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。
Infeed領域の広告運用のためのプロダクトを開発するグループインターネット広告関連データをデータレイクに蓄積するシステムを開発するグループインターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ機械学習を用いたプロダクトを開発するグループ掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ
【技術キーワード】
ApacheSparkAWS GlueSnowflakeデータレイク/データウェアハウス/データマート
New【JavaScript/Python】アジャイル開発エンジニアの求人・案件
業務委託(フリーランス)
JavaScriptPythonDjangoAWSDockerGitJIRAVue.jsSnowflakeGitlabTerraform
作業内容 アジャイル開発プロジェクトにおいて、AWSサービスを利用したWebアプリケーションおよびシステム開発を担っていただきます。1) 顧客折衝および要件定義
2) Vue.jsを用いたフロントエンドの設計・実装
3) Djangoを用いたバックエンドエンドの設計・実装
4) AWSを用いたインフラ設計・構築
5) Snowflakeを用いたDB設計・構築
6) 外部仕様書・内部仕様書の作成
7) 単体テストの作成
8) テスト仕様書の作成
9) マニュアル等各種ドキュメント作成
10) CI/CDの構築・改善
開発言語: JavaScript ( Vue.js, Vuetify ) , Python ( Django )
ツール: Jira, Confluence, Gitlab, VisualStudio Code, IntelliJ, Zoom, Docker, Slack
【Python】データエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSAzureGoogle Cloud Platform
作業内容 【概要】
分析サービスのSaaSプロダクトを展開している企業にて、事業の拡大に向けてデータ基盤ソリューションチームでのデータエンジニアポジション【作業内容】
・Snowflake, dbtなどモダンデータスタックを活用した最先端のデータ基盤の設計、構築、テスト、開発、保守、運用
・クライアントが保有しているデータを課題解決に活用するための分析要件の策定
【SQL】物流マッチングプラットフォームのデータ分析の求人・案件
業務委託(フリーランス)
PythonSQLRAWSGoogle Cloud PlatformRedshiftBigQuerySnowflakeAurora
データアナリスト
作業内容 内容:
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤(DWHとデータパープライン)の設計・構築・運⽤を⾏っていただきます。
<具体的な業務内容>
既存のDWH(BigQuery)とデータパイプラインの拡充
利用可能なデータの拡充データのリアルタイム性の向上
将来のデータ基盤戦略の策定とその推進新たなDWHとデータパイプライン(ELT)の設計・構築・運用
データ分析によるビジネス課題の発見の推進データによる課題の可視化BIなどを通したモニタリング環境の構築
技術環境:
・言語:Ruby、Python
・バージョン管理:Git/GitHub
・データ基盤:BigQuery、AWS RDS
・BI: Redash、Google Spread Sheet、Google Data Studio
・コミュニケーション:Slack、Notion
【Ruby/リモート併用】webシステム開発の案件・求人
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
現行で利用しているマーケティングプラットフォームの新機能開発および機能改善
バックエンド(Ruby)の基本設計〜テストを担当いただく。
◎環境 :フロントエンド:Vue.JS
バックエンド:Ruby(RubyonRails)
基盤:AWS
その他:Docker/GitHub/Slack/snowflake
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Python(データ分析系)】【業務委託(準委任)】データ基盤開発
業務委託(フリーランス)
PythonSQLShellLinux
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
データ基盤開発(SE)をお任せいたします。
■具体的な作業内容
・機能設計とテスト設計を担当、ETLに必要なテーブル、入出力の設計等
■作業期間:即日~(長期の可能性あり)
■作業時間:9:30~18:00
■作業場所:池袋(溜池山王に変わる可能性あり)
リモート可(最初は常駐して慣れてきたら相談)
【Python(データ分析系)】【業務委託(準委任)】データ基盤開発(SE)
業務委託(フリーランス)
PythonSQLShellLinux
SE
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要データ基盤開発(SE)をお任せします。
■具体的な作業内容
・機能設計とテスト設計を担当、ETLに必要なテーブル、入出力の設計等
■作業期間:即日~(長期の可能性あり)
■作業時間:9:30~18:00
■作業場所:池袋(溜池山王に変わる可能性あり)
※リモート可(最初は常駐して慣れてきたら相談)
【Vue.js/Ruby/リモート併用】マーケティングプラットフォーム開発新機能開発、機能改善の案件・求人
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
■募集枠:フルスタックエンジニア(設計、実装、テスト)
■環境:
フロントエンド:Vue.JS
バックエンド:Ruby(RubyonRails)
インフラ:AWS全般
その他:Docker/GitHub/Slack/snowflake
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【AWS/リモート併用】DWH環境構築対応の案件・求人
業務委託(フリーランス)
AWSCloudFormation
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
大手保険会社様の全社横断DWHの設計・構築案件担当としてチームに合流してもらう
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【SQLなど】データ分析基盤の開発/検証の求人・案件
業務委託(フリーランス)
PythonSQLAzureDockerRedshiftBigQuerySnowflakeDatadogTerraform
データベースエンジニアデータアナリスト
作業内容 データ分析基盤(データクリーンルーム)の設計/開発へ参画いただきます。
既存のデータ分析基盤案件を対応しているチームをベースに、
新しくData Engineeringチームの設立を行う予定で、その構成メンバーを募集しています。
Data Engineeringチームの主な活動は、同社が対応を進めているデータベース、
クラウドベースのDWH案件の各種開発サポート、アドホック対応、
PoC対応など全般を各種案件チームの一員としてご対応いただきます。
状況によって、開発されたデータベース、データウェアハウスの検証作業も担当いただきます。
対応すべき案件の幅が広いことから、幅広いご経験と知見を必要としますが、
案件の開発状況に対し、リーダーからメンバー適正に合わせた業務割り振りを行います。
その為、専門分野でない未経験領域への挑戦意欲や、新しいテクノロジーに対する
学習意欲の高い方が求める人物像となります。
【DX・データ利活用コンサル】開発ガイドライン、ルール策定支援の求人・案件
作業内容 ・顧客である大手SIerが、大手通信キャリアに対し、データプラットフォーム等サービスを提供する際の、開発ガイドラインの整理と、あるべき開発ルールの策定業務になります。
・各開発時の各種データ取り扱い方法や整理、あるべき姿を策定し、SIerのプロパー代替としてプロジェクトに参加いただきます。
・データ鮮度の考え方や公開周期の考え方など、人や会社によってズレる内容などのルール作成
・説明資料等のドキュメンテーション作成
【DX・データ利活用コンサル】データ利活用基盤のマネジメントの求人・案件
作業内容 グループ全体でDX戦略に取り組んでおり、データ利活用を通じて、ビジネス付加価値・オペレーション競争力・経営スピード向上を推進しております。
上記データ利活用基盤の構築に向けて、全社戦略・各C事業戦略、各DXテーマとの紐づけて、データ基盤の整備(統合・更新)を進めるに辺り、データマネジメントの専門的な知見や経験をもって、部署横断的にプロジェクトを推進、管理・実行いただける方を募集いたします。
【利用ツール】
aws/snowflake/tableau
【Python/フルリモート可能】WEBアプリケーションのフルスタック業務の案件・求人
業務委託(フリーランス)
JavaScriptPythonDjangoAWSVue.js
フルスタックエンジニア
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
WEBアプリケーションのフルスタック業務
【Python/SQL】データ分析、ダッシュボード作成の求人・案件
業務委託(フリーランス)
PythonSQLTableau
データアナリスト
作業内容 ■業務内容■
・課題管理、情報整理
・AML(アンチ・マネー・ローンダリング)、リスクに関するアドホックな分析
・SQLを利用した抽出、加工
・ダッシュボード構築(Tableau)
・ドキュメント作成一部以下も対応予定
・データ辞書の作成
■環境■
Python、R
Azure
Snowflake
Slack
Confluence
JIRA
MySQL
Looker■営業コメント■
エンドユーザー様がシニアの方が多い環境となります。
ただ分析ができる、というよりも、分析結果をドキュメントに残して課題定義等ができる方がフィットするかと思っております。
分析だけの経験よりも、BIやドキュメントなど、幅広いご経験が見合うかと思っております。
【SQL/Azure/リモート併用】データ基盤構築の案件・求人
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・外国籍の場合、N1(ビジネス上級)レベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
Azure上に各PaaSを組み合せたデータ基盤の設計・構築をする。
(要件定義・設計・構築・テスト・マニュアル作成など)
※複数案件が進行中のため、参画いただく案件については応相談となります。
①某金融業様向けBIレポート可視化用データ基盤構築(常駐型)
②某大学様向け農業IoTデータ収集分析基盤構築
対象リソース:AzureDataFactory,DataLake,SQLDatabase,Synapse
Analytics,IoTHub,StreamAnalytics,ADLSGen2
(またはBlobStorage),AzureADB2C,等
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】