SQL AWSデータ基盤構築
PythonSQLShellAWSSnowflakeGlueAthenaLambda
作業内容 AWS, Snowflake上にデータ基盤の新規構築を行って頂きます。
主な構成要素は下記となります。
・データ収集I/F(インバウンド)
・データレイク
・データウェアハウス
・データマート
・データ活用I/F(アウトバウンド)
<作業内容>
・I/F系のAPIの設計、開発
・データレイク内のデータ加工、データウェアハウス/データマートへのデータ格納ジョブの設計、開発AWS Glue(Python Shell)/Lambda/Snowflake ストアドプロシージャなどを使い分けます。
ワークフロー/トリガーの定義・設定
・AWS Database Migration Serviceを利用したデータソースのトランザクションログの読み取り処理の設計・実装
※現場メンバーと役割分担の上で上記作業に対応いただく想定です
<開発環境>
AWS(EC2, S3, Lambda, Glue, Athena, CloudWatch, Step Functions, EventBridge 等), Snowflake
<備考>
要件定義や上流工程の作業は出社
他は在宅勤務
<基本時間>
9:30~18:30
【要件定義~/フルリモート可】Python:データ基盤構築支援ツールPoC案件
業務委託(フリーランス)
PythonDjango
サーバーサイドエンジニア
作業内容 Snowflakeを活用したデータ基盤構築支援ツールのPoC検討を行います。
技術検証作業やPythonを用いたバックエンド開発をご担当いただきます。
【Tableau/在宅】Tableau構築/運営
業務委託(フリーランス)
TableauSnowflake
作業内容 ・要件定義/設計
・投入データの設計/tableauでの可視化
・PMOとの相対、作業者との相対
【SQL】業務横断的なDWHの構築の求人・案件
業務委託(フリーランス)
PythonSQLSnowflake
作業内容 大手自動車会社連結子会社のエンジンメーカーにて、親会社と同様のDWHを構築している。
様々なシステムからのデータ収集の実装、データベース設計、データガバナンスの整備などを実施いただきます。
【Python/基本リモート】データ利活用システムの開発支援
作業内容 基本設計,詳細設計,実装,テスト,運用・保守
システム最適化(snowflake化)の一環として、
現状EMRで動作している処理をsnowflakeに置き換え中です。
提供系システム全般(一部既存メンバが手を付けていた)の調査・開発・テスト・検証と社内系を含めた全体テストを担当していただきます。
【ほぼフルリモート】某大手通信事業者向けデータ加工処理マイグレーション検討
業務委託(フリーランス)
SparkAWSApacheSnowflakeGlue
作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます
【マイグレーション例】
・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する
⇒Databricks、snowflake(snowpark)、AWS(Glue,EMR)等のSpark関連マネージド・サービスにマイグレーション
Python / SQL 大手コンビニ向けETL処理開発
PythonSQLAWSSnowflakeGlueAthena
作業内容 コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena, to Snowflake)
・取り込んだデータを使用してのマート作成(Athena, Snowflake)
<備考>
基本リモートワーク
<基本時間>
9:30~18:00
【ITコンサル】製造業様向け データマネジメントコンサルティング支援の求人・案件
業務委託(フリーランス)
AzureSnowflake
ITコンサルタントPLコンサル
作業内容 下記2つの活動を通して、顧客のPGM(レガシーシステムからの脱却PJ群)内でのデータの清流化及びデータ活用基盤の構築を行う。
*共通データ化チーム支援:全社DBを活用したIFのハブアンドスポーク化の推進
*全社データ活用基盤構築:全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進
【PM/上流】地銀向けデータ利活用基盤導入案件
作業内容 ・地方銀行向けデータ利活用基盤の導入支援をしていただきます。
・Snowflake上で利用しやすいデータベース構築の推進に携わっていただきます。
・主に検討など上流工程作をご担当いただき、要件整理や取りまとめをご対応いただきます。
【AWS】コーポレートシステムのデータエンジニア
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud PlatformRedshiftBigQuerySnowflake
DBA
作業内容 データ分析基盤の構築・運用をおまかせします
・各種システムからのBigQueryへのデータパイプラインの構築・運用
・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用
PM/PL 国内大手通信事業者様向けデータ利活用基盤提案・開発
AWSAzureGoogle Cloud PlatformSnowflake
PLPM
作業内容 データ関連システムのアーキテクトとして、今後の某大手通信事業者様におけるデータドリブン経営を支える、
データ利活用基盤の提案および実際の開発をリード・推進していただきます。
某大手通信事業者様の有する全てのデータ基盤をSnowflakeに統一する大規模な次世代データ基盤構築PJとなります。
【BigQuery】機械学習関連DWHエンジニア募集|フルリモート|~100万
業務委託(フリーランス)
PythonSQLLinuxAWSAzureDockerBigQueryHiveSnowflakeTerraformLambda
データベースエンジニア
作業内容 機械学習を用いた予測システムの開発・運用データエンジニア(DWH)
エネルギー業界向けに機械学習を用いた予測システムの開発・運用
・多モデル予測パイプラインの設計
・監視・通知の仕組みの設計 etc..
・希望に応じて機械学習モジュールの開発も可能
【Airflow/Digdag】データエンジニア業務の求人・案件
業務委託(フリーランス)
ApacheSnowflake
作業内容 位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。
【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。
【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば
【体制】
7,8名程度(業務委託含む)
AWS 環境上のCI/CD設計・構築
作業内容 ETL(Tray.io), AWS, Snowflake環境で構成されたデータ分析環境化にてAWSのCI/CD化を図ります。
<備考>
現地作業以外はリモート
直案件【Python/Typescript】データ分析・広告配信基盤構築(リモート)
業務委託(フリーランス)
PythonTypeScript
バックエンドエンジニア
作業内容 データ分析・広告配信基盤構築案件
・顧客データを活用したマーケティングを行い、顧客に最適な広告・クーポン・キャンペーン情報を配信する基盤を構築
・工程:要件定義/設計/開発/テスト
・Cloud:AWS
・言語 :Python,Typescript、Kotlin
・フレームワーク:React、NextJS、expressjs、TypeORM、pandas
・その他:terraform、kubernetes、Snowflake、dbt、dagste
【PM】グローバル環境移管案件
業務委託(フリーランス)
TableauSnowflake
PMPMO
作業内容 ・グローバル環境移管案件にPMとして携わっていただきます。
【Python】データ分析基盤構築(リモート)
業務委託(フリーランス)
PythonSQLAWSSnowflake
バックエンドエンジニア
作業内容 データ分析基盤構築に携わっていただきます。
最新のデータ基盤の設計、開発、データ品質の向上、データセキュリティの確保など、データ関連の幅広い業務に携わることができます。
【Python】データ分析システム開発・運用作業の求人・案件
業務委託(フリーランス)
PythonAWSSnowflake
作業内容 【業務内容】
データ分析システム開発・運用作業全般をお願いします。
スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。
・基本設計
・詳細設計
・実装
・テスト
・リリース
・運用・保守 など
【開発環境】
言語 : Python
クラウド:AWS(Lambda)
DB : SQL
【Snowflake/AWS】自社ATM事業における顧客データのデータ分析基盤構築支援
業務委託(フリーランス)
PythonSQLAWSSnowflake
作業内容 自社ATM事業におけるデータエンジニアとしてご参画して頂きます。
主に行って頂く業務は以下になります。
・データ分析基盤構築に付随する開発・運用業務
∟データ整形処理(データレイクのAWS S3→DWHのAWS Glueに移動)
∟データ加工処理(AWS Glue上で加工→データレイクのSnowflakeに移動)
・データ分析に必要なデータ入出力の検討、分析環境の整備
扱うデータとしては、口座に紐づくデータ・ATMの取引データ等の顧客データが多いですが、
ゆくゆくは人事データ等の社内データも扱う予定になります。
2024年2月は準備期間でPoCを進めていくため、3月からデータ分析基盤の構築業務が開始する予定です。
組織体制
最初は小規模で初期検討~PoCを進める予定ですが、規模が拡大していけば開発メンバーも加わる予定です。
現状:部長1名、メンバー3名
今あるデータ分析基盤のリプレイスをし、
同行内のビックデータを利活用するためのデータ分析基盤の構築ができる方を募集されております。
【Tableau】通信会社向け調達データ分析基盤構築案件
業務委託(フリーランス)
TableauSnowflake
データサイエンティストデータベースエンジニア
作業内容 ・要件/分析要件を整理した結果をもとに、下記を行っていただきます。
‐Tablauによる、調達KPIダッシュボードおよび調達KPIレポートの実装
‐データレイクにおけるデータモデル開発
建設業向けデータ基盤構築(インフラ・業務要件開発)
作業内容 建設業向けデータ分析基盤システムの構築・開発をご担当頂きます。
ETLにAsteria/Fivetran、DWHにsnowflake、データ加工にdbtを使用し、データパイプラインの構築を行います。
業務要件の開発を行うというより、方式設計・構築を行う設計開発になります。
また、上記のSaaS製品の既存インフラとの接続、ネットワーク設計・セキュリティ設計、
データカタログ・ETL製品をAWS上にサーバー構築してインストール等、インフラとの両軸でご対応頂ける方を募集します。
<基本時間>
9:00~18:00
【PM】通信キャリア向けデータマネジメント案件
業務委託(フリーランス)
Snowflake
ITコンサルタントPMPMO
作業内容 ・大手通信キャリア向けデータマネジメントに携わっていただきます。
・主に下記作業をご担当いただきます。
-各種サービスのデータ分析、整理、成形
-データ策定と交渉
-調整とサービス対応後の確認
-説明資料等のドキュメンテーション作成
【データアナリスト】飲食業界 Salesforceとtableau(BI)の知見者の求人・案件
業務委託(フリーランス)
SQLTableauSnowflakeSalesforce
データアナリスト
作業内容 ・ローコードノーコードでアプリケーション開発とデータ利活用ができる営業基盤(ETL、snowflake、Salesforce、Tableau)を、4月から半年かけてSIerと構築していきます。
・アプリケーション開発については、各業務部門が使っているパッケージのアプリケーションを、Salesforceに置き換えていきますが、担当はDX推進部門の1名しかいない状況。
・営業基盤に蓄積されていくデータを、クライアントのビジネスに利活用(客数予測や自動発注など)していくことも必要になりますが、その人材も不足。
【Snowflake/Talend/リモート併用】タイヤメーカーの製造データ基盤PoV案件の案件・求人
作業内容 *****
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中
・週5日稼働
・実務経験3年以上
【外国籍の方の場合】
・日本語でのコミユニケーション及び常用漢字含めたメール資料作成、読解等に問題ないレベル
*****
1.製造データ基盤を国内1工場にパイロット導入
2.並行してあるべきデータ基盤アーキテクチャ及び進め方を具体化し、国内、海外含めた全工場へ展開
3.更には全社データ基盤への展開やデータカタログ、分析ツールとの連携も見据える。
【Python】大手食品通信販売における既存の需要予測モデル運用基盤構築の求人・案件
業務委託(フリーランス)
PythonAWSApacheSnowflake
AIエンジニア
作業内容 概要:
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。
依頼内容:
実験環境の整備:既存の実験環境のSageMaker上への移行。Training/Inferenceパイプラインコードの作成CI/CD環境の構築その他追加作業
環境:
SageMaker, Snowflake, Snowpark, Streamlit
【開発PMO】大手航空会社向け、データ可視化アプリ開発支援の求人・案件
業務委託(フリーランス)
PythonSnowflake
PMO
作業内容 データ可視化アプリケーションを容易に開発できるようにするため、オープンソースのPython GUIライブラリ「Streamlit(ストリームリット)」を導入を検討している。
【PL/上流SE/リモート併用】車両データ活用基盤構築
業務委託(フリーランス)
JavaAngularAWSSnowflakeSpringBoot
PLSE
作業内容 車両データ活用基盤構築といたしまして、
要件定義~基本設計の上流フェーズをご担当いただきます。
【BigQuery/DWH】DBチューニング案件
業務委託(フリーランス)
SQLRedshiftBigQuerySnowflake
データサイエンティスト
作業内容 ・DBチューニングに携わっていただきます。
・データ活用している社内ユーザ(非エンジニア含む)の相談や要望の対応もございます。
・担当範囲はスキルや経験および進捗状況により変動いたします。
【SQLなど】Webアプリ/API処理の改修などの求人・案件
業務委託(フリーランス)
PHPSQLAzureKotlinSnowflake
データアナリスト
作業内容 ■概要
Webアプリ/API処理の改修(Kotlin、PHP)
- 分析ツール(SPSS)の修正等対応
■詳細
クライアントグループPOINTのデータ(主にグループ全体のPOS明細およびPOINTの会員情報)分析基盤において、個人情報等に該当するID情報をハッシュ化するため、処理方式およびデータ保持方式の変更を設計・実装。
想定される影響範囲について、I/F処理、バッチ処理、DL/DWH、Webアプリ、分析ツールが想定される。
New【クラウドエンジニア】クラウド開発の求人・案件
業務委託(フリーランス)
Node.jsAWSReactSnowflake
作業内容 ・クライアントが進めているクラウドベースの開発案件のチームリーダーとして参画いただきます。
・フロントエンド&バックエンド両方に精通した3-5名程度の開発チームを率いることができるリーダー1名を募集いたします。
※上記リーダーの他にメンバークラスの募集も行なっております。