AWSデータ分析基盤構築プロジェクト
業務委託(フリーランス)
PythonWindowsAWSGlueLambda
作業内容 〇ご依頼範囲
・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイス
・上記に必要な検証環境構築作業および要件定義資料化
※上記の取り組みを顧客案件および社内研究開発の作業として行います。
〇対象プロジェクト※①②両方が依頼範囲です。
①製造業向けデータ分析基盤構築:要件定義
②社内向け研究開発
〇①顧客案件
顧客向けに弊社のデータ分析基盤の構築ソリューションをベースにシステムを構築します。
AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素になります。
要件定義の作業になりますので、
どこまでできるか明確でないところも踏まえて一緒に考えていける方がいらっしゃるとありがたいと思います。
今のところ、このようなサービスが必要なのではと考えております。
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定です。
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えていますので、
そのあたりの統合についてもテーマになります。
〇②研究開発
上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築します。
Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【DBエンジニア(SQL全般)】DBエンジニア(SQL全般) データ分析・作業アシスタント
業務委託(フリーランス)
PythonSQLRedshiftBigQueryTableauSnowflake
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
音楽フェスのデータを活用したデータ分析業務を担当していただきます。SQLを用いたデータ抽出や、Tableauによる可視化、Pythonを用いた定期ジョブのメンテナンスなどを行います。
■具体的な業務内容
・BigQuery内でSQLを用いたデータ抽出
・Tableauを用いたデータの可視化およびレポート作成
・Pythonを用いた定期ジョブプログラムのメンテナンス
・データ分析結果の報告および顧客との調整
・音楽フェス関連データの管理および分析
【Python(データ分析系)】【週4日以上稼働可能な方にぴったり・20代〜40代活躍中!】データ基盤開発エンジニア(SE)
業務委託(フリーランス)
PythonSQLShellLinux
SE
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
データ基盤の開発において、機能設計とテスト設計を担当します。ETLプロセスに必要なテーブルや入出力の設計を行い、長期的なプロジェクトとしてデータ基盤の整備に貢献します。リモートワークも可能です。
■具体的な業務内容
・データ基盤における機能設計およびテスト設計
・ETLに必要なテーブルおよび入出力の設計
・要件の整理および設計への落とし込み
・SQL、Shell、Pythonを用いた開発支援
・Oracle、Redshift、Snowflakeを使用したDB設計
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(データ分析系)】【週4日以上稼働可能な方にぴったり・20代〜40代活躍中!】データ基盤開発エンジニア(SE)|リモートワーク可
業務委託(フリーランス)
PythonSQLShellLinux
SE
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
データ基盤の開発において、機能設計とテスト設計を担当します。ETLプロセスに必要なテーブルや入出力の設計を行い、長期的なプロジェクトとしてデータ基盤の整備に貢献します。リモートワークも可能です。
■具体的な業務内容
・データ基盤における機能設計およびテスト設計
・ETLに必要なテーブルおよび入出力の設計
・要件の整理および設計への落とし込み
・SQL、Shell、Pythonを用いた開発支援
・Oracle、Redshift、Snowflakeを使用したDB設計
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【クラウドエンジニア(AWS)】【業務委託(準委任)】大手電力会社・メーカ向け工場での機械の稼働状況のデータ蓄積案件/リモート可【リモートOK】
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
大手電力会社・メーカ向け工場での機械の稼働状況のデータ蓄積に関する業務をお任せします。
■具体的な作業内容
工場での機械の稼働状況のデータ蓄積を目指す。
データクレンジングし、大量データを集めてBIで集計。
今後パッケージ化して再販していく。
・ベンダーからきた情報に対するQA対応
・非機能要件※重要
・性能要件
・上流経験
・体制検討
■作業環境:Windows/Mac選択可
■開発環境
■プログラミング言語:Python、Java、Go、C++、Swift、Kotlin
■データベース:MySQL、Redis、Amazon DynamoDB
■Webフレームワーク:Bootstrap、.NET Framework
■環境・OS:iOS、Android、AWS
■ツール:GitHub、Docker、Figma
■開発工程
要件定義|基本設計|運用・保守
【東京の出社可能な方】【Oracle/SQL Server】【業務委託(準委任)】DB開発・構築運用・ヘルプデスク・オペレーション業務
業務委託(フリーランス)
SQLOracleSQL Server
ヘルプデスク
作業内容 ========================
※必ずお読みください※
【必須要件】
東京の顧客先に常駐できる方
【外国籍の方の場合】
日本語能力検定1級お持ちの方
日本語が母国語の方
========================
自動車メーカー様DWHシステム運用における、以下のジョブ監視、ヘルプデスク、オペレーション、および顧客への問題提起・提案作業になります。
【具体的な業務内容】
・システムリソース払い出し (DWH/Lab/Hub)
・運用システムの問合せ/トラブルシューティング
・データベース操作オペレーション
・本番環境クエリ実施対応 (AWS : IAM/EC2/Workspace/ECS/S3/…)
・作業マニュアル作成
・オフショア対応としてのマニュアル英語化
・課題管理/業務改善活動
【クラウドエンジニア(AWS)】AWS/DWH運用ヘルプデスク
業務委託(フリーランス)
SQLOracleSQL ServerAWS
ヘルプデスク
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
≪フルリモート可の案件です!!≫
自動車メーカーのDWH(データウェアハウス)システム運用を支援するプロジェクトです。ジョブ監視やデータベース操作オペレーション、問合せ対応、トラブルシューティングなど、幅広い運用業務を担当します。AWS環境(IAM、EC2、ECS、S3など)を活用し、顧客への問題提起や提案活動を行うため、運用・保守業務を超えた課題解決型の支援が求められます。また、作業マニュアル作成やオフショア対応のための英語化業務も含まれます。土日のジョブ監視対応は当番制で実施されますが、代休が付与されます。
■具体的な業務内容
・AWS環境でのジョブ監視および問題対応(分析・解決)
・SQLを使用したデータベース操作(Oracle Database、SQL Server)
・運用システムの問合せ対応およびトラブルシューティング
・本番環境におけるクエリ実行対応
・DWH/Lab/Hubシステムリソースの払い出し業務
・作業マニュアルの作成およびオフショア対応のための英語化
・顧客への問題提起および提案活動
・土日のジョブ監視対応(当番制・半日程度/代休あり)
【MySQL,PostgreSQL,Terraform週5日/フルリモート◎】テックカンパニーの主力事業におけるDBREエンジニア業務
業務委託(フリーランス)
GoOracleMySQLPostgreSQLAWSDockerGoogle Cloud PlatformAnsibleBigQueryTerraformCloudFormationKubernetes
セキュリティエンジニアデータベースエンジニア
作業内容 ■会社紹介
弊社は、「企業経営のインフラ(エンジニアリング)を支えるプラットフォーム」として、企業活動を支えるエンジニアリング課題をワンストップで解決するサービスを複数提供しています。
現在、中長期視点での事業拡大に向けて、組織拡大の下地を作っております。
<社会の根幹となるようなサービスを出し続ける>
インターネットの根幹を支えるこの技術のように、社会の根幹となるイノベーティブなプロダクトを連続的に生み出し、世界の進歩を加速させていきたい。
そんな想いで、事業やサービスの開発・改善に取り組んでいます。
<世の中になくてはならない企業になることを目指して>
私たちは毎年2ケタ以上の成長を遂げていますが、現状に満足してはいません。
私たちの生活に欠かせない、社会の根幹となる新たなプロダクトを生み出すべく、日々構想しています。
世の中になくてはならない企業となるために、コツコツと成果を積み上げながらも、全力で挑戦していきます。
<Googleテックパートナーに認定!/参入障壁の高い、高度なインフラ技術が強み>
弊社は技術的に難しいインフラ技術のテンプレート化を実現したことにより、お客様ごとにカスタマイズを必要としない、汎用性の高いプロダクトを生み出すことに成功しています。
また、客先で必要となるミドルウェアやデータベースも社内で1から10まで内製することで、導入までのリードタイムを短縮し、低コストで柔軟なクラウド環境構築を叶えています。
その結果、弊社のクラウド型データ連携プラットフォームが日本で3番目となるGoogle社のテックパートナーに認定され、Googleからの販売支援も受けています。
■事業内容
弊社は「企業経営のインフラ(エンジニアリング)を支えるプラットフォーム」として、4つの事業を展開しています。
�@SRE技術支援サービス事業
弊社の主力事業であり、SRE(Site Reliability Engineering)の導入・実践に向けた日本初の伴走型コンサルティングサービス。
金融、製造、小売、AI、メディアなど、技術力が求められる領域で、Google社の提唱するSREの考え方に基づき、クラウドネイティブな技術導入、開発/運用プロセスの支援をしています。
AWS, Google Cloud, Kubernetes, Observability, DBRE, MLOpsなどの最新技術の知見を集約。文化も含めた「インフラ」を整備し、企業のSRE内製化をゴールとして活動します。
�Aクラウド型データ連携プラットフォーム事業
クラウド型データ加工・連携プラットフォームです。
デジタル化に伴うデータ活用、業務自動化ニーズに向けて、データ活用/業務最適化の課題を非エンジニアでも使いこなせるノーコード基盤で解決します。
�Bセキュリティ事業
複雑化するサイバー攻撃に対して事業者が抱えるセキュリティリスクを無くすために、簡単操作で高性能なセキュリティチェックが実現できるプラットフォームです。
�Cフリーランスエンジニア人材紹介事業
「いいエンジニア」をあなたのチームに、をテーマとしたITフリーランスエンジニアの人材紹介エージェントです。
テックカンパニーである弊社が エンジニア目線で案件や人材を分析することでミスマッチを防ぎ、双方にとって最適なマッチングとなるよう支援しています。
■仕事内容
◎インフラ領域のスタープレイヤーが集まった実力派チーム
◎最先端の案件や大規模案件で、思う存分スキルを発揮可能
◎データエンジニアレイヤも挑戦することが可能
◎SREだけでなく、Goレイヤの開発技術も吸収可能
携わっていただくのは、当社の柱となっているSREサービス。
このサービスでは、AWS / GCP / Kubernetesに精通した、インフラ領域のスタープレイヤーと言えるエンジニアたちが「お客様のインフラチーム」として参画。
戦略策定から設計・構築・運用・セキュリティ、人材育成までサポートしていきます。
金融機関や動画配信、AI開発など技術力が求められる分野のインフラも支え、リピート率は実に95%!大手企業からもベンチャーからも、厚い信頼が寄せられています。
<具体的な業務内容>
・データレイヤに関する課題に応じたスキーマ設計、クエリチューニング、トラブルシューティング
・データベースの絶対欲求、バックアップ/リストア、レプリケーション、フェイルオーバーの運用最適化
・セキュリティチームと協力したデータベースセキュリティの標準化
・データレイヤに関するミドルウェアの検証 (CockroachDB, TiDB, SpannerなどのNewSQL, Snowflake, BigQueryなどのDWH, InfluxDB,Timestream, CosmosDBなどの時系列DB)
・SLO策定及びオブザーバビリティ確保のための仕組み開発
・アプリケーション開発者への教育活動
・DBREとしてのブランディング、発信活動 (マーケチームと連携してのセミナー企画、TechBlogの執筆や登壇)
■求める人物像
・急成長する組織を一緒に作り上げていきたい方
・チームを積極的に巻き込んで、目標達成に向けて前向きに取り組める方
【PowerBI/要件定義~】BI構築支援
業務委託(フリーランス)
Azure
データサイエンティスト
作業内容 Azure環境とPowerBIを用いて、データウェアハウスの構築やBIツールの開発支援を行います。
【Snowflake】製造向けデータ分析基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftSnowflakeLambda
作業内容 【案件概要】Snowflakeデータ基盤設計構築
【作業内容】Snowflakeの設計・実装
【環境】AWS Lambda、Amazon Redshift、Amazon Linux
【Snowflake/AWS】ログデータの分析基盤構築(リモート)
作業内容 ・製造業における各種ログデータが蓄積されている基盤から、Snowflakeへ連携する仕組みの構築
・環境:Snowflake、AWS
Snowflake情報基盤問い合わせ対応案件
業務委託(フリーランス)
VBASnowflake
DBAPMPMO
作業内容 構築済みのSnowflake情報基盤に関するユーザ問い合わせ対応支援を行っていただきます。
【分析基盤エンジニア】Snowflakeデータ基盤設計構築の求人・案件
業務委託(フリーランス)
OracleRedshiftSnowflake
作業内容 Snowflakeを利用したデータ蓄積+活用。
連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。
【主なスキル技術セット】
Snowflake
Python
Javascript
AWS
Informatica Intelligent Cloud Services(IICS)
その他(ツール作成等)
Powershell
bash
Excelマクロ
【リモート併用/週3日】証券会社のSnowflakeアーキテクト
作業内容 基本設計,詳細設計
証券会社でSnowflakeのアーキテクトをご担当いただきます。
コンサルタントのような方で、アドバイスだけでなく設計までできる方が理想です。
■エンタープライズアーキテクチャの理解
- アカウント設計・組織設計
- データメッシュ型での複数アカウント運用(マルチアカウント戦略)の設計
- 組織全体のデータ管理ポリシー策定
■Snowflakeのロール・権限設計
- RBAC(Role-Based Access Control)の設計と実装
- アカウントレベルのロール設計(SECURITYADMIN, SYSADMIN, USERADMIN など)
- スキーマ・データベース単位のロール管理
- カラムレベル・行レベルのアクセス制御(Row Access Policy, Column Masking Policy)
- データ共有時のアクセス制御(Secure Views, Secure UDFs)
【Python/Snowflake】ビッグデータ案件
業務委託(フリーランス)
PythonSQLSnowflake
データサイエンティスト
作業内容 ・関西の電機メーカーもしくは通信会社向けのビッグデータ案件です。
・基盤部分及びデータ分析をご担当いただきます。
・SnowflakeやDatabricksを用います。
【Snowflake】某製薬会社向けデータ連携基盤設計構築の求人・案件
業務委託(フリーランス)
AWSJP1SnowflakeGlue
作業内容 【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01- 現行調査など
2024/02- 要件定義工程
【Python/Snowflake】ビッグデータ関連案件
業務委託(フリーランス)
PythonSQLAWSSnowflake
データサイエンティスト
作業内容 ・関西の電機メーカーもしくは通信会社向けのビッグデータ案件です。
・基盤部分及びデータ分析をご担当いただきます。
・SnowflakeやDatabricksを用います。
・詳細は商談内でお伝えさせていただきます。
【分析基盤エンジニア】Snowflakeデータ基盤設計構築の求人・案件
業務委託(フリーランス)
PythonSQLOracleAWSRedshiftSnowflake
作業内容 エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。
業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。
【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD
Javascript
GCP
Informatica Intelligent Cloud Services(IICS)
その他(ツール作成等)
Powershell
bash
Excelマクロ
PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。
【週5日・首都圏限定】医薬品メーカー向けクラウドDWH構築(BI)
業務委託(フリーランス)
Snowflake
データサイエンティストSE
作業内容 【医薬品メーカー向けクラウドDWH構築】
・Snowflakeの設計
・Snowflakeの構築
本案件は【首都圏】にお住まいで【週5日勤務】が可能な方限定となります。
【PM業務】Snowflakeデータ分析基盤構築の求人・案件
業務委託(フリーランス)
SQLAWSSnowflake
PM
作業内容 クライアント(銀行)内におけるSnowflakeに蓄積のデータを分析するための基盤構築
【主なスキル技術セット】
Must
・戦略に基づいた基盤構築の全体絵を描くことができる
・基盤構築のプロマネ経験
Want
・システム開発案件経験者
その他(ツール作成等)
・Microsoft Office
【Snowflake/AWS】原則リモート!面談1回/DWH構築
作業内容 データウェアハウス(DWH)構築案件にご参画いただきます。
現在は要件定義フェーズを対応しており、今後設計フェーズへと進めていく想定です。
※その他詳細は、面談時にご説明させていただきます。
<基盤>
Snowfrake
【Snowflake】データ蓄積+活用ならびに置き換えの求人・案件
作業内容 連携されたファイルなどのデータをSnowflakeにてデータを蓄積
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。
また、基盤構築も併せて実施するが基盤チームへの作業依頼が主な作業となる。
クラウド環境ではあるもののNW等の設定依頼が多く発生するため、オンプレでの
基盤構築経験があった方が良い。
【要件定義~/フルリモート可】Python:データ基盤構築支援ツールPoC案件
業務委託(フリーランス)
PythonDjango
サーバーサイドエンジニア
作業内容 Snowflakeを活用したデータ基盤構築支援ツールのPoC検討を行います。
技術検証作業やPythonを用いたバックエンド開発をご担当いただきます。
【リモート相談可(目黒) / SalesForce / 週5日/ 30~40代活躍中】Tableau案件★分析基盤刷新プロジェクト
業務委託(フリーランス)
AWSTableauSnowflakeSalesforce
ITアーキテクトデータアナリスト
作業内容 -------------------------------------------------------------------
■35歳~50歳が活躍中
■フルタイム案件(副業不可)
■国内在住者の方限定 ※セキュリティ担保の観点
■日本語ネイティブの方が活躍中
-------------------------------------------------------------------
【企業】
AI、IoT、BigData、RPAなど
ハイエンドテクノロジーを活用したデジタルトランスフォーメーションと、
クラウド・WEB・ITインフラストラクチャといった
ICTのベースとなるシステムインテグレーションの融合により、
社会のデジタルトランスフォーメーションを実現し、価値あるイノベーションの創出に努めています。
【業務内容】
分析基盤刷新プロジェクト
データ分析・SalesForce
AWS/Snowflake/Tableauで環境構築中、Tableau領域で上流から対応
【環境】
AWS/Snowflake/Tableau
【その他】
リモートメイン ※出社が必要な場合は目黒駅より徒歩5分
就業時間:9:00~18:00
稼働開始希望時期:2024年11月~2025年2月
【Azure】保持データのハッシュ化などの求人・案件
業務委託(フリーランス)
PythonSQLShellAzureSnowflake
データアナリスト
作業内容 ■概要
保持データのハッシュ化(Snowflake、Azure Synapse、Azure Blob)
- 処理の改修:I/F・バッチ処理(主にデータ加工・ロード/アンロード処理)(Python、SQL)
- 機能の新規開発:ハッシュ化・復号ツール(Python、PHP、Shell)
■詳細
クライアントグループPOINTのデータ(主にグループ全体のPOS明細およびPOINTの会員情報)分析基盤において、個人情報等に該当するID情報をハッシュ化するため、処理方式およびデータ保持方式の変更を設計・実装。
想定される影響範囲について、I/F処理、バッチ処理、DL/DWH、Webアプリ、分析ツールが想定される。
【データ整備/Data Vault】大手製薬業向け・データ利活用基盤の構築支援プロジェクト(都内出社)
業務委託(フリーランス)
Snowflake
データサイエンティストPMPMO
作業内容 ■概要
同社が大手製薬業向けに進めている、データ基盤プロジェクトの支援をお願いいたします。
・顧客:大手製薬会社
・PJ概要:
データ利活用基盤をアジャイルで開発していくPJ。
・お任せしたいこと:
Snowflakeを使った開発にあたり、データモデルの考えをわかった上でJSOLと連携しながら開発。
データ整備におけるハードビジネスルールやソフトビジネスルールについて、顧客要件のヒアリング~定義、整備をお願いいたします。
データモデルに関する知見を補えるメンバーが不足しているため。
【DWH】小売業 データエンジニアの求人・案件
業務委託(フリーランス)
TableauSnowflake
作業内容 グローバルブランドとして国内外に展開している某小売企業においてデータエンジニア業務をご担当いただきます。
少人数で運用出来る整ったデータ基盤を目指して、様々な技術やノウハウを積極的に試行していく予定です。
想定業務:
・データパイプライン清流化設計、実装
・データ項目定義
-データカタログ構築
-プロトタイピング(OpenMetadata)
・その他改善活動
【環境】
DWH:Snowflake
ETL:AWS Glue/dbt
BI:Looker/Tableau
データの清流化及びデータ活用基盤の構築支援
作業内容 下記2つの活動を通して、レガシーシステムからの脱却を行っているプロジェクトにて
構築されたシステムのデータの清流化及びデータ活用基盤の構築をご支援いただきます。
・共通データ化チーム支援:全社DBを活用したIFのハブアンドスポーク化の推進
・全社データ活用基盤構築:全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進
※※こちらの案件は現在募集を終了しております※※
【ITコンサル】製造業様向け データマネジメントコンサルティング支援の求人・案件
業務委託(フリーランス)
AzureSnowflake
ITコンサルタントPLコンサル
作業内容 下記2つの活動を通して、顧客のPGM(レガシーシステムからの脱却PJ群)内でのデータの清流化及びデータ活用基盤の構築を行う。
*共通データ化チーム支援:全社DBを活用したIFのハブアンドスポーク化の推進
*全社データ活用基盤構築:全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進
【Python】データ分析システム開発・運用作業の求人・案件
業務委託(フリーランス)
PythonAWSSnowflake
作業内容 【業務内容】
データ分析システム開発・運用作業全般をお願いします。
スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。
・基本設計
・詳細設計
・実装
・テスト
・リリース
・運用・保守 など
【開発環境】
言語 : Python
クラウド:AWS(Lambda)
DB : SQL