AWSデータ分析基盤構築プロジェクト
業務委託(フリーランス)
PythonWindowsAWSGlueLambda
作業内容 〇ご依頼範囲
・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイス
・上記に必要な検証環境構築作業および要件定義資料化
※上記の取り組みを顧客案件および社内研究開発の作業として行います。
〇対象プロジェクト※①②両方が依頼範囲です。
①製造業向けデータ分析基盤構築:要件定義
②社内向け研究開発
〇①顧客案件
顧客向けに弊社のデータ分析基盤の構築ソリューションをベースにシステムを構築します。
AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素になります。
要件定義の作業になりますので、
どこまでできるか明確でないところも踏まえて一緒に考えていける方がいらっしゃるとありがたいと思います。
今のところ、このようなサービスが必要なのではと考えております。
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定です。
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えていますので、
そのあたりの統合についてもテーマになります。
〇②研究開発
上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築します。
Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【データ集計・分析補佐】法人営業におけるデータ分析支援業務の求人・案件
業務委託(フリーランス)
SQLVBScriptVBAAccessOracle
PLPM
作業内容 ・業務内容
1. 法人営業関連データマート設計、加工支援業務
2. 分析用データ作成、運用支援業務
3. データ可視化支援業務
4. その他付帯業務
※あくまで支援業務ですので、アナリストやアーキテクトレベルでなくてOK。
・対象システム、ツール等
snowflake、Tableau、Power BI、Access、Excel等
【クラウドエンジニア(AWS)】某非鉄金属メーカー/データ基盤構築支援
作業内容 ■概要
DX推進戦略において、データ基盤構築を進め、データ利活用において全社的に意思決定の向上と高度化を図るプロジェクトとなります。
AWS技術を中心としたインフラ基盤構築、DWH製品のPoC、アーキテクチャ設計支援を行っていただきます。
■具体的な作業内容
<クラウドアーキテクト>
・データ基盤の拡張とアーキテクチャ観点の全社支援、全社ITとの連携。
・全社から上がってくるデータ基盤活用要望ヒアリング及び各種AWSマイクロサービスを利用した最適アーキテクチャ検討、個別環境の準備
<実行リード(PM)>
・ETL開発管理(他ベンダーのサポート)、各種PoC実行リード、データ基盤利活用における要望ヒアリング。
・データ基盤はSnowflakeの導入PoCを推進しているがそこへの段階的関与・推進リード。
・今後、データカタログソリューションPoC等の企画推進をベンダーコントロールの立場での推進。
【BIエンジニア】大手電機メーカー/社内データ分析プロジェクト
作業内容 【概要】
サイロ化されたデータをDWH(Snowflake)に統合し、
Tableauにて分析、可視化を行っていただきます。
【業務スコープ】
・Snowflakeへのデータ統合アドバイザリー
・データマートの仕様検討、設計
・DWHーTableau間のデータ連携
・データ分析、可視化(ダッシュボード構築)
・マーケティング施策の策定から効果検証に係るデータ分析領域の支援
・ステークホルダーへのアウトプット
【データ】
・企業情報、売上、実績、各種オープンデータ
・Salesforceの営業活動等
複数テーブルからのデータ抽出、分析することとなります。
【Python/R】生成AI/大規模言語モデルの応用に関する研究開発及び運用の求人・案件
業務委託(フリーランス)
PythonRGitSnowflake
データサイエンティスト
作業内容 リーガルテックプロダクトへの生成AIや大規模言語モデルの応用に関する研究開発及び運用案件にて、データサイエンティストをご担当いただきます。
・既存サービスにおけるユーザー履歴データを用いた基礎集計や応用分析 ・生成AIや大規模言語モデルを利用したリーガルテックプロダクトの新規機能の開発及び評価 ・生成AIや大規模言語モデル以外の数理最適化手法を用いたリーガルテックプロダクトの新規機能に関する企画提案 ・既存プロダクトAIの保守運用および改善
・開発基盤
・AWS, Microsoft Azure
・ツール
・GitHub(Enterprise), GitHub Copilot
・CI/CD
・GitHub Actions, CircleCI
・グループウェア
・Google Workspace, Slack
・プロジェクト管理/タスク管理
・ClickUp, Jira, GitHub
・関連技術
・Python3
・OpenAI, Hugging Face
・AWS SageMaker
【分析基盤エンジニア】AWSからAzureへの移行および拡張(DWH技術者)の求人・案件
業務委託(フリーランス)
AWSAzureRedshiftTableauSnowflake
作業内容 ■クライアント支援範囲 ・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識 ■概要 <1月~3月にて、データ基盤構築(Power BIとTableau込み)の上流工程(基本設計)を予定> 本プロジェクトは、現行のAWS(プロトタイプ環境)からAzureへの移行および拡張となります。 ・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。 TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。 ■想定業務 ※TableauとPower BIを中心としたDWH技術者 ・ドキュメント作成(基本設計書/移行計画書) ・Tableau ServerからTableau Cloudへの移行設計 ・DWH(SynapseやSnowflakeやRedshiftなど)のデータアーキ
▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud(またはTableau Server)
・Power BI Service
■体制
体制:
AIチームは全部で15名程度
6名~7名→AIエンジニア 6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤:Azure
(クライアント内で基盤設計・構築)
BI:PowerBI
(クライアント内でレポート作成・運用)
【Linux】分析基盤開発の求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSGoogle Cloud PlatformBigQuerySnowflake
作業内容 クライアントゲーム事業で蓄積されたビッグデータを用いたデータ分析環境の基盤構築および開発、管理を行っていただきます。
環境構築にとどまらず、社内共通の内製BIツールで利用するためのデータ集計や、各タイトルのデータ分析者とのやりとりを通じてゲーム品質やサービス改善に繋がるための業務を担当していただきます。
・ログ、DBデータのETL/ELT処理のためのシステム開発/運用
・大規模データベースの構築/運用/管理
・社内BIツール向けデータ集計バッチ開発/運用
・データ分析者への技術的サポート
【GCP/AWSなど】データ基盤エンジニアの求人・案件
業務委託(フリーランス)
PythonSQLRAWSGoogle Cloud PlatformRedshiftBigQuerySnowflake
作業内容 事業横断のデータ基盤(DWHとデータパイプライン)の設計・構築・運用
既存DWH(BigQuery)とデータパイプラインの拡充
将来のデータ基盤戦略の策定と推進
データ分析によるビジネス課題の発見と推進
・受注背景:既存事業の運用基盤を引き継ぎ、信頼性・利便性向上にコミットするため
【AWS/リモート併用】法人利用向けシステムのAWS基盤構築の案件・求人
業務委託(フリーランス)
PythonLinuxAWSDockerRedshiftSnowflakeTerraformKubernetes
DBA
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・経験者採用
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・実務経験3年以上必須
=====
通信会社における法人利用向けのWebサービスシステム(データ分析含む)のAWS基盤構築を行う
【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
【DBエンジニア(SQL全般)】【業務委託(準委任)】DMP基盤開発(SE)
作業内容 ■概要
DMP基盤開発(SE)をお任せいたします。
■具体的な作業内容
・機能設計を担当、ETLに必要なテーブル・入出力の設計
・データ加工・抽出のためのSQL設計
・実装は主に某社オフショア先が担当するため、設計担当した機能のコードレビュー、テストレビューなども行って頂く予定です。
New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件
業務委託(フリーランス)
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。
【SQL】BIエンジニアの求人・案件
作業内容 PowerBIのダッシュボードの設計構築をお願いします。
フェーズ:
12月下旬より構築開始
3月末リリース予定
その後、運用
環境:
SQL/Python
Snowflake(DWH)
Alteryx(ETL)
PowerBI(BI)
【AWS】車両データ蓄積基盤構築の求人・案件
業務委託(フリーランス)
SQLDynamoDBAWSSnowflake
作業内容 割り振られた機能要求をもとに、基本設計から詳細設計、実装、テストまで一気通貫で担当
ウォーターホール開発とアジャイル開発を組み合わせたハイブリット開発
【DBエンジニア(SQL全般)】【業務委託(準委任)】DMP基盤開発(SE)
作業内容 ■概要
DMP基盤開発(SE)をお任せいたします。
■具体的な作業内容
・機能設計を担当、ETLに必要なテーブル・入出力の設計
・データ加工・抽出のためのSQL設計
・実装は主に某社オフショア先が担当するため、設計担当した機能のコードレビュー、テストレビューなども行って頂く予定です。
【SQL】小売系データ分析基盤・データ移行支援
作業内容 ■概要
売上、会員情報のデータ分析基盤の刷新案件にて、データ移行の支援を行う作業をお願いします。
【インフラPMO】製薬業界向けデータ分析基盤導入支援
作業内容 ・クライアント課題・ニーズ把握
・プロジェクト計画策定
・プロジェクトマネジメント
・技術チーム(基盤、データ分析等)との連携・調整
【データアナリスト】大手通信会社内でのデータ分析教育支援
業務委託(フリーランス)
PythonSQLSASTableau
データアナリスト
作業内容 ・社内でのデータ分析人材育成プロジェクトのサポート
・データ分析の知識がない社員への相談や助言
・座学での研修を終えた社員の実践課題をサポート
【SQL】横断的なDWHの構築の求人・案件
作業内容 大手自動車メーカーにて、横断的なDWH環境の構築を実施いただきます。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行います。
期日:7月~12月(継続の可能性あり)
【SQL】自動車メーカ向け見える化システム開発の求人・案件
作業内容 クライアントへの見える化システムの開発に向けて、設計・開発を頂きます。
【主なサービス/ツール/技術】
AWS(EC2、S3、CodeCommit、RDS)Oracle、Snowflake、IICS(ETLツール)、Linux(Red Hat系)
New【JavaScript/Python】アジャイル開発エンジニアの求人・案件
業務委託(フリーランス)
JavaScriptPythonDjangoAWSDockerGitJIRAVue.jsSnowflakeGitlabTerraform
作業内容 アジャイル開発プロジェクトにおいて、AWSサービスを利用したWebアプリケーションおよびシステム開発を担っていただきます。1) 顧客折衝および要件定義
2) Vue.jsを用いたフロントエンドの設計・実装
3) Djangoを用いたバックエンドエンドの設計・実装
4) AWSを用いたインフラ設計・構築
5) Snowflakeを用いたDB設計・構築
6) 外部仕様書・内部仕様書の作成
7) 単体テストの作成
8) テスト仕様書の作成
9) マニュアル等各種ドキュメント作成
10) CI/CDの構築・改善
開発言語: JavaScript ( Vue.js, Vuetify ) , Python ( Django )
ツール: Jira, Confluence, Gitlab, VisualStudio Code, IntelliJ, Zoom, Docker, Slack
【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件
業務委託(フリーランス)
JavaPythonSQLScalaSparkAWSDockerApacheGitHubSnowflakeKubernetes
作業内容 【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤(ETL処理、DWH、DM)の開発、運用、保守をお願いします。
【ポイント】
データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。
【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。
チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。
Infeed領域の広告運用のためのプロダクトを開発するグループインターネット広告関連データをデータレイクに蓄積するシステムを開発するグループインターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ機械学習を用いたプロダクトを開発するグループ掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ
【技術キーワード】
ApacheSparkAWS GlueSnowflakeデータレイク/データウェアハウス/データマート
【PM業務】製造・SCM分野のデータ活用の為のシステム開発プロジェクトの求人・案件
作業内容 クライアントがAIや量子コンピューティングを製造分野で有効活用しようとして、複数のプロジェクトを同時並行で立ち上げてます。下記のような複数のプロジェクトの管理、PM業務を担っていただきます。
・車体生産の塗装工程において、塗装順番の効率向上と作業員の身体的負担を最小化する最適な生産順番を、生産計画をInputに量子アニーリングの技術を使って最適解を導出して、システム実装するPJ
・工場の品質管理のある工程において、熟練作業員の耳に頼っていた異音検知の品質確認作業を、マイクで聞き取ってAI学習させて判定させるシステムの構築
・さまざまなSCMやセールスや経営管理指標をInputに、AI技術や量子コンピューティング技術を用いて、最適な生産計画、在庫管理、サプライヤー発注を実現するシステム開発など
※関係者とは英語でのコミュニケーションが求められます。
【クラウドエンジニア(AWS)】次期DWH構築【外国籍不可】
作業内容 ■概要
クラウドデータベースの構築・試験作業/運用手順・ツールの作成/Auroraを使用した新DWH基盤向けのDB設計・構築を行っております。
■具体的な作業内容
・本番環境の構築は始まっておりますが今後予定されている試験作業や、他の環境の構築作業要員を募集します。
【SQL】物流マッチングプラットフォームのデータ分析の求人・案件
業務委託(フリーランス)
PythonSQLRAWSGoogle Cloud PlatformRedshiftBigQuerySnowflakeAurora
データアナリスト
作業内容 内容:
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤(DWHとデータパープライン)の設計・構築・運⽤を⾏っていただきます。
<具体的な業務内容>
既存のDWH(BigQuery)とデータパイプラインの拡充
利用可能なデータの拡充データのリアルタイム性の向上
将来のデータ基盤戦略の策定とその推進新たなDWHとデータパイプライン(ELT)の設計・構築・運用
データ分析によるビジネス課題の発見の推進データによる課題の可視化BIなどを通したモニタリング環境の構築
技術環境:
・言語:Ruby、Python
・バージョン管理:Git/GitHub
・データ基盤:BigQuery、AWS RDS
・BI: Redash、Google Spread Sheet、Google Data Studio
・コミュニケーション:Slack、Notion
【PM業務】小売業界向けデータ分析基盤構築PMの求人・案件
作業内容 グローバルブランドとして国内外に展開している某小売企業においてデータ分析基盤構築推進をご担当いただきます。
想定業務
・プロジェクト管理
・各部門からの問い合わせ対応
・データ分析基盤と社内データを活用するための開発/(必要に応じて)保守運用
・機能改善、新規機能開発 等
【Python】データエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSAzureGoogle Cloud Platform
作業内容 【概要】
分析サービスのSaaSプロダクトを展開している企業にて、事業の拡大に向けてデータ基盤ソリューションチームでのデータエンジニアポジション【作業内容】
・Snowflake, dbtなどモダンデータスタックを活用した最先端のデータ基盤の設計、構築、テスト、開発、保守、運用
・クライアントが保有しているデータを課題解決に活用するための分析要件の策定
【Ruby/リモート併用】webシステム開発の案件・求人
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・経験者採用
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・実務経験3年以上必須
=====
現行で利用しているマーケティングプラットフォームの新機能開発および機能改善
バックエンド(Ruby)の基本設計〜テストを担当いただく。
◎環境 :フロントエンド:Vue.JS
バックエンド:Ruby(RubyonRails)
基盤:AWS
その他:Docker/GitHub/Slack/snowflake
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Python(データ分析系)】【業務委託(準委任)】データ基盤開発(SE)
業務委託(フリーランス)
PythonSQLShellLinux
SE
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要データ基盤開発(SE)をお任せします。
■具体的な作業内容
・機能設計とテスト設計を担当、ETLに必要なテーブル、入出力の設計等
■作業期間:即日~(長期の可能性あり)
■作業時間:9:30~18:00
■作業場所:池袋(溜池山王に変わる可能性あり)
※リモート可(最初は常駐して慣れてきたら相談)
【Python(データ分析系)】【業務委託(準委任)】データ基盤開発
業務委託(フリーランス)
PythonSQLShellLinux
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
データ基盤開発(SE)をお任せいたします。
■具体的な作業内容
・機能設計とテスト設計を担当、ETLに必要なテーブル、入出力の設計等
■作業期間:即日~(長期の可能性あり)
■作業時間:9:30~18:00
■作業場所:池袋(溜池山王に変わる可能性あり)
リモート可(最初は常駐して慣れてきたら相談)