SQL AWSデータ基盤構築
PythonSQLShellAWSSnowflakeGlueAthenaLambda
作業内容 AWS, Snowflake上にデータ基盤の新規構築を行って頂きます。
主な構成要素は下記となります。
・データ収集I/F(インバウンド)
・データレイク
・データウェアハウス
・データマート
・データ活用I/F(アウトバウンド)
<作業内容>
・I/F系のAPIの設計、開発
・データレイク内のデータ加工、データウェアハウス/データマートへのデータ格納ジョブの設計、開発AWS Glue(Python Shell)/Lambda/Snowflake ストアドプロシージャなどを使い分けます。
ワークフロー/トリガーの定義・設定
・AWS Database Migration Serviceを利用したデータソースのトランザクションログの読み取り処理の設計・実装
※現場メンバーと役割分担の上で上記作業に対応いただく想定です
<開発環境>
AWS(EC2, S3, Lambda, Glue, Athena, CloudWatch, Step Functions, EventBridge 等), Snowflake
<備考>
要件定義や上流工程の作業は出社
他は在宅勤務
<基本時間>
9:30~18:30
New【データ集計・分析補佐】SASを使用したデータ加工業務/フルリモート
業務委託(フリーランス)
PythonSQLSASAWSTableauSnowflake
作業内容 ・日次、月次バッチで実行されるSASプログラムのエラー対応・定型レポートの作成サポート・AWS移行サポート(SASからPythonへの書き換え)
【SQL】大手通信事業者向け情報系システム開発の求人・案件
作業内容 DWHへのデータ蓄積設計(DL、DM設計)
【Power BIなど】サステナビリティ・トランスフォーメーションのソリューションの営業支援人材の求人・案件
業務委託(フリーランス)
Google Cloud PlatformBigQuerySnowflake
データアナリスト
作業内容 ・お客さんのニーズから要件をリードして、お客さまとデータエンジニアリング、アナリティクスの議論をしながら、ビジネス設計をする。
【ITコンサル】製造業様向け データマネジメントコンサルティング支援の求人・案件
業務委託(フリーランス)
AzureSnowflake
ITコンサルタントPLコンサル
作業内容 下記2つの活動を通して、顧客のPGM(レガシーシステムからの脱却PJ群)内でのデータの清流化及びデータ活用基盤の構築を行う。
*共通データ化チーム支援:全社DBを活用したIFのハブアンドスポーク化の推進
*全社データ活用基盤構築:全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進
Python / SQL 大手コンビニ向けETL処理開発
PythonSQLAWSSnowflakeGlueAthena
作業内容 コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena, to Snowflake)
・取り込んだデータを使用してのマート作成(Athena, Snowflake)
<備考>
基本リモートワーク
<基本時間>
9:30~18:00
【ほぼフルリモート】某大手通信事業者向けデータ加工処理マイグレーション検討
業務委託(フリーランス)
SparkAWSApacheSnowflakeGlue
作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます
【マイグレーション例】
・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する
⇒Databricks、snowflake(snowpark)、AWS(Glue,EMR)等のSpark関連マネージド・サービスにマイグレーション
【Python/SQL】小売関連分析システムの基幹システム開発の求人・案件
業務委託(フリーランス)
PythonSQLAWSSnowflake
作業内容 全国展開の小売データの基幹システム開発となります。
主にpython、AWS各種サービスを使用し製造~テストをメインに担当いただきます。
対応可能であれば設計~もお願いしたいです。
【SQLなど】通信会社様でのデータ抽出・分析(~可視化)の求人・案件
業務委託(フリーランス)
PythonSQLSnowflake
作業内容 SQLでのデータ抽出&加工、分析 ※分析はトラフィックやアプリ利用実績等を集計 ※現状はExcel数表ベースで提供 ※中長期の案件となります
参考までに、今後、あると良い経験
・ETL…Prep、SASEG、PowerCenter、DataStage
・BI…Tableau、Qlik製品、PowerBI等
【Snowflake/AWS】ログデータの分析基盤構築(リモート)
作業内容 ・製造業における各種ログデータが蓄積されている基盤から、Snowflakeへ連携する仕組みの構築
・環境:Snowflake、AWS
【BigQuery】機械学習関連DWHエンジニア募集|フルリモート|~100万
業務委託(フリーランス)
PythonSQLLinuxAWSAzureDockerBigQueryHiveSnowflakeTerraformLambda
データベースエンジニア
作業内容 機械学習を用いた予測システムの開発・運用データエンジニア(DWH)
エネルギー業界向けに機械学習を用いた予測システムの開発・運用
・多モデル予測パイプラインの設計
・監視・通知の仕組みの設計 etc..
・希望に応じて機械学習モジュールの開発も可能
【PM/上流】地銀向けデータ利活用基盤導入案件
作業内容 ・地方銀行向けデータ利活用基盤の導入支援をしていただきます。
・Snowflake上で利用しやすいデータベース構築の推進に携わっていただきます。
・主に検討など上流工程作をご担当いただき、要件整理や取りまとめをご対応いただきます。
【SQL/Python】インフラ構築エンジニアの求人・案件
業務委託(フリーランス)
PythonSQLGoogle Cloud PlatformBigQueryTableauSnowflake
作業内容 データ分析基盤となるDWHの構築および保守運用支援
【Snowflake/AWS】自社ATM事業における顧客データのデータ分析基盤構築支援
業務委託(フリーランス)
PythonSQLAWSSnowflake
作業内容 自社ATM事業におけるデータエンジニアとしてご参画して頂きます。
主に行って頂く業務は以下になります。
・データ分析基盤構築に付随する開発・運用業務
∟データ整形処理(データレイクのAWS S3→DWHのAWS Glueに移動)
∟データ加工処理(AWS Glue上で加工→データレイクのSnowflakeに移動)
・データ分析に必要なデータ入出力の検討、分析環境の整備
扱うデータとしては、口座に紐づくデータ・ATMの取引データ等の顧客データが多いですが、
ゆくゆくは人事データ等の社内データも扱う予定になります。
2024年2月は準備期間でPoCを進めていくため、3月からデータ分析基盤の構築業務が開始する予定です。
組織体制
最初は小規模で初期検討~PoCを進める予定ですが、規模が拡大していけば開発メンバーも加わる予定です。
現状:部長1名、メンバー3名
今あるデータ分析基盤のリプレイスをし、
同行内のビックデータを利活用するためのデータ分析基盤の構築ができる方を募集されております。
【Airflow/Digdag】データエンジニア業務の求人・案件
業務委託(フリーランス)
ApacheSnowflake
作業内容 位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。
【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。
【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば
【体制】
7,8名程度(業務委託含む)
【AWS/Azure】DWH/BIシステム マイグレーション要件策定の求人・案件
業務委託(フリーランス)
AWSAzureTableauSnowflake
作業内容 既存DWH/BIシステムのEOSに伴うマイグレーションの要件策定
現状確認要件に基づく候補製品の調査比較次期システム方針作成
【Tableau】現行情報分析基盤の刷新プロジェクトの求人・案件
作業内容 【概要】
・現行情報分析基盤の刷新プロジェクトにて、AWS/Snowflake/Tableauで環境構築中です。
AWSとSnowflakeの担当者は決定し、残りのTableau担当者を募集しています。
【SQL】プラスチックメーカー データベースエンジニア(DX推進)の求人・案件
業務委託(フリーランス)
SQLSnowflake
データベースエンジニア
作業内容 データベースエンジニアとしてデータアナリティクスプロジェクトに参画いただき、将来的なデータ利活用による新たな付加価値創出に貢献いただきます。
New【AWS】インフラ監視基盤の構築・運用の求人・案件
業務委託(フリーランス)
AWSGoogle Cloud PlatformSnowflakeGrafana
作業内容 作業内容:
・AWSやGCP、Snowflakeの各種サービスからメトリクスを収集し、監視用のソフトウェアにデータを入れて監視する、監視基盤の拡張。
【BigQueryなど】データ分析基盤の開発・構築の求人・案件
業務委託(フリーランス)
HadoopRedshiftBigQuerySnowflake
作業内容 データ分析基盤の開発・構築を行なっていただきます。
【PMO】各種地銀関連向けプロジェクト支援案件
作業内容 ・地銀関連プロジェクト支援にPMOとして携わっていただきます。
・主に下記作業をご担当いただきます。
-地銀向け移行検討支援
-現行の情報系統合DBへの移行検討支援
-移行方針を整理し、移行に向けた個別カスタマイズの見積
-統合DB(Snowflake)導入に向けた提案や見積検討、全体の交通整理や取りまとめ
-インフォマティカビジネス企画
-PCからIDMCの移行ノウハウ整理、サービスメニュー化
PM/PL 国内大手通信事業者様向けデータ利活用基盤提案・開発
AWSAzureGoogle Cloud PlatformSnowflake
PLPM
作業内容 データ関連システムのアーキテクトとして、今後の某大手通信事業者様におけるデータドリブン経営を支える、
データ利活用基盤の提案および実際の開発をリード・推進していただきます。
某大手通信事業者様の有する全てのデータ基盤をSnowflakeに統一する大規模な次世代データ基盤構築PJとなります。
【データエンジニア】新規事業立ち上げ!snowflakeやThoughtspot、dbtを駆使し最先端のデータビジネスを展開中!
業務委託(フリーランス)
PythonSQLGitSnowflake
作業内容 あらゆる消費者の行動データに触れる/最先端の環境でデータエンジニアの経験を積むことが可能な環境です。
USでは急速にシェアを伸ばしておりRedshiftやBigQueryよりも高速・低価格なソリューショであるsnowflake、その他dbt、ThoughtSpotなどを活用し、次世代のデータマーケティングのスタンダードを築くようなポジションです。CIMにも名前を連ねております
【業務内容詳細】
・データ活用のためのETL処理の開発と運用
・snowflakeを活用した大規模なデータパイプライン、データ蓄積基盤の設計、開発など
・BIツールを使った、意思決定のための分析環境の開発・運用
・インフラタスク自動化の設計・開発
・dbtを利用して、データモデル構築を汎用化し活用できるようするための技術方式の設計
・次世代アーキテクチャの検討・計画立案
・データエンジニアのチームマネジメントおよび人材育成
【開発環境】
言語:Python、SQL
バージョン管理:GitHub、Bitbucket、GitLab
開発ツール:Xcode、Android Studio
コミュニケーションツール:Redmine、Slack
DWH:snowflake
BI:ThoughtSpotpot
※選定から関わることが可能です
【Python/基本リモート】データ利活用システムの開発支援
作業内容 基本設計,詳細設計,実装,テスト,運用・保守
システム最適化(snowflake化)の一環として、
現状EMRで動作している処理をsnowflakeに置き換え中です。
提供系システム全般(一部既存メンバが手を付けていた)の調査・開発・テスト・検証と社内系を含めた全体テストを担当していただきます。
建設業向けデータ基盤構築(インフラ・業務要件開発)
作業内容 建設業向けデータ分析基盤システムの構築・開発をご担当頂きます。
ETLにAsteria/Fivetran、DWHにsnowflake、データ加工にdbtを使用し、データパイプラインの構築を行います。
業務要件の開発を行うというより、方式設計・構築を行う設計開発になります。
また、上記のSaaS製品の既存インフラとの接続、ネットワーク設計・セキュリティ設計、
データカタログ・ETL製品をAWS上にサーバー構築してインストール等、インフラとの両軸でご対応頂ける方を募集します。
<基本時間>
9:00~18:00
【SQL】業務横断的なDWHの構築の求人・案件
業務委託(フリーランス)
PythonSQLSnowflake
作業内容 大手自動車会社連結子会社のエンジンメーカーにて、親会社と同様のDWHを構築している。
様々なシステムからのデータ収集の実装、データベース設計、データガバナンスの整備などを実施いただきます。
【Snowflake】顧客向け製品導入におけるDBエンジニア(データ基盤分野)/ハイブリット勤務
業務委託(フリーランス)
Snowflake
セキュリティエンジニア
作業内容 ■企業情報
国内外のベンダーからPKGソフトウェアやクラウドサービスを仕入れ、
技術サポートや教育サポート等の付加価値を乗せ、顧客へ提供しているパッケージインテグレーターの企業様になります。
■業務内容
今回は今年新設の部署へ配属予定となっております。
昨今、データ活用基盤にSaaS/マネージドサービスの採用を検討しているという相談要望が多くなってきたため、
次世代データ活用基盤の構築支援を行っている専門組織となります。
メイン製品は「Snowflake」を扱っており、お客様折衝から開発に至るまで幅広くお任せする想定となります。
①プリセールス
・お客様からのデータ活用に関する課題ヒアリング/提案内容の検討
・RFI/RFP対応
②ポストセールス
・お客様への技術支援の実施/他部署メンバーとの連携
③次世代データ活用基盤のToBeデザイン策定支援
・現状の整理から最適化プランの策定など、幅広くお願いする想定となります。
■組織体制
計:11名
∟営業6名/技術メンバー5名
■勤務形態
出社/リモート
∟頻度は未定ですが、MTGの兼ね合いで顧客先への訪問が発生する想定となります。
【Java】大手自動車メーカー向けDX基盤構築案件
業務委託(フリーランス)
JavaSQLAWSSnowflake
作業内容 ・大手自動車メーカーのデータ利活用のためのDX基盤構築案件です。
【Snowflake/Talend/リモート併用】タイヤメーカーの製造データ基盤PoV案件の案件・求人
作業内容 *****
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中
・週5日稼働
・実務経験3年以上
【外国籍の方の場合】
・日本語でのコミユニケーション及び常用漢字含めたメール資料作成、読解等に問題ないレベル
*****
1.製造データ基盤を国内1工場にパイロット導入
2.並行してあるべきデータ基盤アーキテクチャ及び進め方を具体化し、国内、海外含めた全工場へ展開
3.更には全社データ基盤への展開やデータカタログ、分析ツールとの連携も見据える。
【Python】大手食品通信販売における既存の需要予測モデル運用基盤構築の求人・案件
業務委託(フリーランス)
PythonAWSApacheSnowflake
AIエンジニア
作業内容 概要:
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。
依頼内容:
実験環境の整備:既存の実験環境のSageMaker上への移行。Training/Inferenceパイプラインコードの作成CI/CD環境の構築その他追加作業
環境:
SageMaker, Snowflake, Snowpark, Streamlit
【PM】通信キャリア向けデータマネジメント案件
業務委託(フリーランス)
Snowflake
ITコンサルタントPMPMO
作業内容 ・大手通信キャリア向けデータマネジメントに携わっていただきます。
・主に下記作業をご担当いただきます。
-各種サービスのデータ分析、整理、成形
-データ策定と交渉
-調整とサービス対応後の確認
-説明資料等のドキュメンテーション作成
【PM】グローバル環境移管案件
業務委託(フリーランス)
TableauSnowflake
PMPMO
作業内容 ・グローバル環境移管案件にPMとして携わっていただきます。
AWS 環境上のCI/CD設計・構築
作業内容 ETL(Tray.io), AWS, Snowflake環境で構成されたデータ分析環境化にてAWSのCI/CD化を図ります。
<備考>
現地作業以外はリモート
【データアナリスト】飲食業界 Salesforceとtableau(BI)の知見者の求人・案件
業務委託(フリーランス)
SQLTableauSnowflakeSalesforce
データアナリスト
作業内容 ・ローコードノーコードでアプリケーション開発とデータ利活用ができる営業基盤(ETL、snowflake、Salesforce、Tableau)を、4月から半年かけてSIerと構築していきます。
・アプリケーション開発については、各業務部門が使っているパッケージのアプリケーションを、Salesforceに置き換えていきますが、担当はDX推進部門の1名しかいない状況。
・営業基盤に蓄積されていくデータを、クライアントのビジネスに利活用(客数予測や自動発注など)していくことも必要になりますが、その人材も不足。
【Python】データ分析システム開発・運用作業の求人・案件
業務委託(フリーランス)
PythonAWSSnowflake
作業内容 【業務内容】
データ分析システム開発・運用作業全般をお願いします。
スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。
・基本設計
・詳細設計
・実装
・テスト
・リリース
・運用・保守 など
【開発環境】
言語 : Python
クラウド:AWS(Lambda)
DB : SQL
【開発PMO】大手航空会社向け、データ可視化アプリ開発支援の求人・案件
業務委託(フリーランス)
PythonSnowflake
PMO
作業内容 データ可視化アプリケーションを容易に開発できるようにするため、オープンソースのPython GUIライブラリ「Streamlit(ストリームリット)」を導入を検討している。
【BigQuery/DWH】DBチューニング案件
業務委託(フリーランス)
SQLRedshiftBigQuerySnowflake
データサイエンティスト
作業内容 ・DBチューニングに携わっていただきます。
・データ活用している社内ユーザ(非エンジニア含む)の相談や要望の対応もございます。
・担当範囲はスキルや経験および進捗状況により変動いたします。
【SQLなど】Webアプリ/API処理の改修などの求人・案件
業務委託(フリーランス)
PHPSQLAzureKotlinSnowflake
データアナリスト
作業内容 ■概要
Webアプリ/API処理の改修(Kotlin、PHP)
- 分析ツール(SPSS)の修正等対応
■詳細
クライアントグループPOINTのデータ(主にグループ全体のPOS明細およびPOINTの会員情報)分析基盤において、個人情報等に該当するID情報をハッシュ化するため、処理方式およびデータ保持方式の変更を設計・実装。
想定される影響範囲について、I/F処理、バッチ処理、DL/DWH、Webアプリ、分析ツールが想定される。
TeradataからSnowflakeでのデータ分析基盤の移行(設計・開発・テスト・移行)
作業内容 データ分析基盤の移行に伴う、以下作業をお任せいたします。
・データ連携処理の移行(主にshellで作成)
・DB移行(ユーザー/テーブル/SQLなど)
・データ移行(移行バッチの設計・開発)
・移行リハテスト
・システム移行本番作業
New【クラウドエンジニア】クラウド開発の求人・案件
業務委託(フリーランス)
Node.jsAWSReactSnowflake
作業内容 ・クライアントが進めているクラウドベースの開発案件のチームリーダーとして参画いただきます。
・フロントエンド&バックエンド両方に精通した3-5名程度の開発チームを率いることができるリーダー1名を募集いたします。
※上記リーダーの他にメンバークラスの募集も行なっております。