【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
SQL Dr.SumからRedShiftへのシステムリプレース
作業内容 小売業でのDr.SumからRedShiftへのシステムリプレース
作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
<作業内容>
テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
DB:Dr.Sum+データ加工:Connectで作成しているシステムを
DB:RedShift+データ加工:glueでリプレースする
・対象システム数:7
<基本時間>
9:00~18:00
<服装>
基本的には自由
Web会議でクライアントとお話する時はビジネスカジュアル
New【Tableau】データ分析基盤構築の求人・案件
業務委託(フリーランス)
VBARedshiftTableau
作業内容 飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。
New【BIエンジニア】Tableau ダッシュボード作成・小売業向けPOSデータ可視化PJ
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成・小売業向けPOSデータ可視化■作業内容:Tableauダッシュボードの開発・テスト(単体/結合)
【分析基盤エンジニア】航空会社向けBIシステム データ抽出/加工支援
業務委託(フリーランス)
SQLAWSRedshift
作業内容 航空会社向けBIシステム データ抽出
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
【Tableau】BIエンジニアの求人・案件
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成/小売業向けPOSデータ可視化
・Tableauダッシュボードの開発・テスト(単体/結合)
■担当工程:
設計~テスト
■役割
メンバー
【AWS/一部リモート】某生命保険会社AWS環境でのDWH構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニアコンサル
作業内容 ・某生命保険会社のAWS環境にて、構築済のDWH基盤を更に拡充し更なるデータ集約、外部サイトのビックデータ収集、Redshift、EMRを使った データ分析を新たに構築する。
[以下補足]
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施。
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3
・Aurora
・QuickSight
・OpenAPI
・Lamda
・Glue
・EventBridge
・Step Functon
・EC2
・Athnea
・監視・通知系サービス(cloudwatch trail SNS)
・CloudFormation
◎新規追加予定のサービス
・Redshift
・EMR
・LakeFormation
・DynamoDB
・Kinesis Firehorse
【Python】製造業向けデータエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSRedshiftGlueLambda
作業内容 クライアントの調達部門にてAWSを利用した購買データのデータパイプライン構築~運用をご担当いただきます。
【Python/AWS】大手キャリア向けMA基盤開発支援
業務委託(フリーランス)
PythonAWSRedshift
サーバーサイドエンジニアバックエンドエンジニア
作業内容 【20代~40代の方向け】
大手キャリア向けMA基盤のポーティング作業に携わっていただきます。
【DX・データ利活用コンサル】データ利活用推進支援の求人・案件
業務委託(フリーランス)
RedshiftAurora
コンサル
作業内容 大手専門商社のDX管掌部署にて実施中の「データ利活用」をエンドユーザー伴走で推進いただきたい。
≪ポジション≫
①②でそれぞれ1名ずつ
①:各事業部の業務/状況のヒアリング~BIツール(Tableau導入済)活用や見える化の検討~定着化 の支援
②:①と連携し、DWH(Aurora/Redshift導入済)箇所の対応整理・定義・構築
【AWS/データエンジニア】顧客データベース次世代化プロジェクト
業務委託(フリーランス)
PythonSQLAWSRedshift
バックエンドエンジニア
作業内容 【概要】 ・旧データベースの内容を新データベースに名寄せを行うプロジェクト
【対応内容】 ・データの名寄せ・データベースの論理設計・データクレンジング処理プログラムの作成・SQL速度高速化
【開発環境】 ・AWS Glue・AWS Lambda・AWS Redshift
データ分析基盤の開発(SE)
PythonMySQLAWSBacklogRedshiftGlueAthenaAurora
SE
作業内容 <業務内容>
・各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測など
・データレイク、DWH
<開発環境>
・インフラ:AWS(Athena、Redshift、Glue、QuickSightなど)
・データベース:RDS(Aurora MySQL)
・ETL:AWS Glue
・BIツール:QuickSight
・言語:Python
・コミュニケーション:Slack、Zoom、Backlog、DocBase
<基本時間>
9:00~18:00
フレックス
AWS エンジニアの募集
業務委託(フリーランス)
AWSRedshiftGlue
作業内容 大手財閥系の金融子会社にて、AWSを利用したDWHの構築プロジェクトが立ち上がり、AWSの技術者(RedShiftやGlueなど)が必要で一緒に業務して頂ける方を募集中。
<現状>
・オンプレ環境に基幹システム周辺システムをもっており、そのデータを活用してマーケに活用するが管理するベンダーがばらばらな状態でデータが一元管理できていない状態
⇒各システムを一元化してデータウェアハウス、クラウドで構築したい
・金融機関の為、パブリッククラウドで構築が難しいのでセキュリティに制約ありつつ、既存のAWS環境上にデータレイクの中を構築してほしい
⇒8月~PoCで作業を開発していきたい
<備考>
基本リモート
Python / SQL など データ分析基盤データ連携/マート定常化作業
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambdaGoogle Workspace
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。
以下の作業を行います。
<作業内容>
・データパイプラインのPython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
<技術スタック>
AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
GCP:BigQuery, GCS, CloudFunction, CloudComposer,
DB:Redshift,PostgreSQL,Oracle,MySQL
リポジトリ:Github Enterprise,CodeCommit
コラボレーションツール:JIRA, Confluence, Backlog
コミュニケーションツール:Slack,Google Workspaces
PCの貸与またはAWS Workspacesを使用
<備考>
テレワーク
<基本時間>
9:30~18:30
<服装>
オフィスカジュアル
SQL BIツール(Tableau)及びDBパフォーマンスチューニング
作業内容 DWH(Redshift)及びBIツール(Tableau)のチューニングを実施します。
tableauについてはカスタムクエリ、RedshiftについてはマートやViewの見直しやindexの再生成といったSQLを用いたパフォーマンス改善を行います。
既に対象資源は抽出されております為、アセスメント及びチューニング業務が主となります。
<基本時間>
10:00~19:00
【pandas】データ(分析)エンジニアの求人・案件
業務委託(フリーランス)
JSONAWSAmazon S3Redshift
作業内容 pandas ライブラリを利用した ETL 処理
をしていただきます。
担当フェイズ
設計~開発~テスト
【フルリモート|Python・SQL】データ分析基盤開発案件
作業内容 顧客パッケージのデータ分析基盤を使っての開発案件になります。
基盤導入後にお客様のデータをDWH(主にRedshift)に登録、
SQLまたはPythonを使ったELT処理を行います。
※ETLの処理の割合としてSQLが多いです。
基盤導入後のデータの登録、ETL処理になります。
ジョブを実行する機能があり、そのジョブから実行するプログラム(SQL、Python)を開発するイメージなります。
案件の特性として規模は大きくなく2−3名体制で1-3か月ぐらいの案件が多いです。
そのため複数案件にかかわっていただくことがあります。
Python / SQL データパイプライン開発
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubRedshiftBigQueryGlueLambdaGoogle Workspace
作業内容 通信キャリア会員向けECを運営しているグループ子会社でのデータ基盤構築
<主な業務内容>
・データパイプラインのPython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
<技術スタック>
AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
GCP:BigQuery, GCS, CloudFunction, CloudComposer
DB:Redshift, PostgreSQL, Oracle, MySQL
リポジトリ:GitHub Enterprise,CodeCommit
コラボレーションツール:JIRA, Confluence, Backlog
コミュニケーションツール:Slack, Google Workspaces
<備考>
フルリモート
<基本時間>
10:00~19:00
応相談
<服装>
オフィスカジュアル
【SQL】航空会社向けBIシステム データ抽出/加工支援の求人・案件
業務委託(フリーランス)
SQLAWSRedshift
作業内容 セルフBI要件検討
セルフ分析向けデータ設計・開発
マスタ検討、分析項目定義、数値定義検討
セルフ分析デモ プロトタイプ作成
他チームからの問い合わせ対応 (データ調査等)
【SQL/Python】大手金融機関グループ会社向けデータ分析案件
業務委託(フリーランス)
PythonSQLRedshift
データサイエンティスト
作業内容 ・大手グループ会社向けのDX推進プロジェクトに携わっていただきます。
・下記を行っていただきます。
‐SQLやAmazon Redshiftを使用した統計学的なデータ分析
‐ユーザー部門とのMTGでの示唆出し
【AIエンジニア】小売業界における、POSデータの分析から機械学習モデルの構築・評価
業務委託(フリーランス)
PythonRedshift
AIエンジニア機械学習エンジニア
作業内容 小売業界から上がってくる様々なPOSデータの分析、モデル構築・評価
実装はクライアント社内SEが実施致します。
RHEL / Windows AWS基盤構築案件(マイグレーションプロジェクト)
WindowsAWSRedshiftFargate
作業内容 AWSによる基盤構築を行っていただきます。
様々なサードパーティー製の製品を導入することになるため、業務理解も必要となります。
基盤を構築するうえで顧客にヒアリングしながら設計・実装を実施いたします。
また、大規模なプロジェクトチームとなるためコミュニケーションスキルおよび積極性が求められます。
<主な業務>
・ドキュメント作成(基本設計書、テスト仕様書、運用設計など)
・単体/結合テスト/障害テスト項目の作成・実施
・EC2(RHEL/Windows)の構築 ※手順あり
・AWSに関するエラー発生に関する調査協力
<作業工程>
AWS基盤 基本設計・詳細設計・構築・テスト・運用設計
<使用するAWSサービス>
NLB / ALB / EC2 / CloudWatch / IAM
AWS Backup,
API Gateway / WAF/ ECS Fargate / ECR / AWS Backup / Redshift / Kinesis
DataFirehose / S3 / KMS/ VPC / Transit Gateway /
Well-Architected / Redshift / Route 53 / Direct Connect
<勤務地>
虎ノ門エリア
<基本時間>
9:30~18:30
AWS データマネジメント基盤構築
作業内容 データマネジメント基盤構築
・基本設計~構築、テスト
<環境>
AWS:EC2/S3, WorkSpaces, Provided DNS, Streaming Gateway, Redshift(設計はアプリ側)
Linux
クライアント数:約30台
<備考>
リモートあり
<基本時間>
9:00~17:30
<服装>
ビジネスカジュアル
Tableau DWH ストアドファンクション開発
業務委託(フリーランス)
AzureRedshiftTableauSnowflake
作業内容 アンケート情報と購買情報などを基にTableau出力用のデータ加工を行って頂きます。
DWHはSnowflakeを利用(Snowflake環境は構築済み)、既存メンバーと共にストアドファンクションを作成して頂く想定です。
<備考>
原則在宅作業
【Python/BigQuery】Data Hubサービス開発
業務委託(フリーランス)
JavaScriptPythonAWSGoogle Cloud PlatformRedshiftBigQueryVue.js
サーバーサイドエンジニア
作業内容 Data Hubサービスの開発/運用に携わっていただきます。
【ETL/リモート】大手自動車メーカー向けETLツール(IICS)での設計・実装
作業内容 作業内容(上から優先度が高い順)
・詳細設計書作成(バッチ(ETL)設計)
基本設計から詳細設計書を作成する
・Informatica Integration Cloud Service(CDI)(以降、IICS)ツールによる実装
IICSにて詳細設計書から実装を行う
経験者であれば尚可。
新しい技術へのキャッチアップが得意であること。
・単体・結合テスト計画書作成とテスト実施
(単体テスト、結合テスト、システムテスト)
・その他テストに関する計画とテスト実施
(移行テスト、パフォーマンステスト、運用テスト)
【AWS/一部リモート】AWSインフラ要員案件
業務委託(フリーランス)
AWSRedshiftGlueAthenaAurora
ネットワークエンジニア
作業内容 ・ご対応いただく作業内容は、下記になります。
➀案件対応
-要件定義~リリースまで随時フェーズに応じた作業
例:AWS ネットワーク構成の検討・構築(VPC、ELIの設計、設定等)
AWS 分析基盤サービスの検討・構築(Redshift,Amazon EMR等の設定)
AWS セキュリティ、可用性検討・構築(リソースアクセス制御、可用性検討)
②保守対応
-現行本番で発生した問題の調査・対応
-積み残し課題の調査・対応
【Python/Java/C#/~40歳まで/4月稼働開始】データ分析基盤の開発及び運用業務
業務委託(フリーランス)
JavaCPythonSQLC#OracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambda
作業内容 テックビズなら記帳代行無料!仕事に集中して取り組んでいただけます。
■案件情報
・基盤構築:事業要請に応じたデータレイク,データウェハウス,マートの実装, 運用,テスト
■期間:2022年4月~
※3月は最大80%の稼働であれば、4月からは100%で入場も可能
■場所:週4日リモート,週1出社(コロナの状況によって出社しないこともあり)
■技術スタック
・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
・GCP:BigQuery, GCS, CloudFunction, CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:Github Enterprise,CodeCommit
・コラボレーションツール:JIRA, Confluence, Backlog
・コミュニケーションツール:Slack,G Suite
■希望条件
服装
オフィスカジュアル
備考
PCの貸与またはAWS Workspacesを使用
■契約情報
精算方法
140-180
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・40代以上の方
・外国籍の方(永住権をお持ちの方は問題ございません)
・週5日稼働できない方
--------------------------------------------------------
【Python 】データ分析基盤構築PMO
業務委託(フリーランス)
JavaCPythonSQLC#OracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambda
PMPMO
作業内容 【概要】
通信キャリア会員向けECを運営しているグループ子会社での
データ基盤構築のPMO案件です。
主な業務内容は以下を想定しています。
・データ連携案件管理:
データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:
事業要請に応じたデータレイク,データウェハウス,
マートの実装,テスト
拠点は渋谷ですがフルリモート参画になります。
PC貸与はなしです、ご自身の端末からAWS Workspaces上で作業を行います。
技術スタックは以下になります。
・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
・GCP:BigQuery, GCS, CloudFunction, CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:Github Enterprise,CodeCommit
・コラボレーションツール:JIRA, Confluence, Backlog
・コミュニケーションツール:Slack,G Suite
時間は10:00~19:00 応相談
■契約情報
契約形態
業務委託契約(準委任)
精算方法
140-180 上下割
渋谷※フルリモート可
打合せ回数1回
※週5日〜OKの案件です!
SQL / AWS データ分析基盤の開発及び運用業務
JavaPythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubRedshiftBigQueryGlueLambda
作業内容 通信キャリア会員向けECを運営している、グループ子会社でのデータ基盤構築です。
<主な業務内容>
・データ連携案件管理:データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:事業要請に応じたデータレイク、データウェアハウス、マートの実装、テスト
※基盤構築作業が主な作業になります
<技術スタック>
AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
GCP:BigQuery, GCS, CloudFunction, CloudComposer
DB:Redshift,PostgreSQL,Oracle,MySQL
リポジトリ:GitHub Enterprise,CodeCommit
コラボレーションツール:JIRA, Confluence, Backlog
コミュニケーションツール:Slack, G Suite
<備考>
フルリモート
MTGの頻度は、月1回またはそれ以下を想定
PCの貸与またはAWS Workspacesを使用
<基本時間>
10:00~19:00 応相談
<服装>
オフィスカジュアル
【Python/フルリモート】データウェアハウス構築案件
業務委託(フリーランス)
PythonSQLShellAWSRedshiftGlueLambda
作業内容 ・某大手小売企業様向けのデータウェアハウス基盤構築 プロジェクトに携わっていただきます。
・作業内容は以下の通りです。
-ETL処理の開発作業
(設計・設計書作成・実装・単体テスト)
(ETL処理の開発テンプレートの理解)
-ETL処理の結合テスト作業以降
(結合テスト、システムテスト)
データ分析基盤の開発(テックリード)
PythonMySQLAWSBacklogRedshiftGlueAthenaAurora
作業内容 <業務内容>
・各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測など
・データレイク、DWH
・仕様策定
・要求の明確化
・エンジニアのチーミング
<開発環境>
・インフラ:AWS(Athena、Redshift、Glue、QuickSightなど)
・データベース:RDS(Aurora MySQL)
・ETL:AWS Glue
・BIツール:QuickSight
・言語:Python
・コミュニケーション:Slack、Zoom、Backlog、DocBase
<基本時間>
9:00~18:00
フレックス
【Django/Python】新機能・保守運用のサーバサイドスクラッチ開発
JavaJavaScriptPythonSQLCSSHTMLDjangojQueryAWSRedshift
フロントエンドエンジニアサーバーサイドエンジニア
作業内容 マーケティング関連事業のWeb業務システムにおけるサーバサイド開発を担当して頂きます。
新機能開発や保守運用などをお任せします。
※Django/Pythonを使用したスクラッチ開発です。
<開発組織体制>
エンジニア:2〜4名
(業務委託も含む)
AWS / Tableau データレイク分析環境運用
作業内容 データ分析環境運用
・流通/小売り業におけるクラウド下の分析環境の運用
・Tableauでの開発・運用
<備考>
原則テレワーク
週1程度の出社の可能性あり
SQL 基幹DBの運用とデータ分析
SQLAWSRedshiftGlueLambda
データアナリスト
作業内容 データアナリストとして、学習塾における基幹DBの運用とデータ分析をして頂きます。
<業務内容>
保守運用
・AWSのデータ取り込みの管理、運用
・デイリーバッチの理解と管理
SQLによるデータ抽出
・複数テーブル結合におけるデータベース及びView設計
・クエリの設計と作成
・クエリの動作確認におけるテストの実施
抽出データの分析
<開発環境>
・AWS Glue
・AWS Lambda
・AWS Redshift
【AWS/一部リモート】生命保険会社向けAWSインフラ要員案件
業務委託(フリーランス)
AWSRedshiftGlueAthenaAurora
サーバーエンジニア
作業内容 ・要件定義~リリースまで随時フェーズに応じた作業をご担当いただきます。
‐AWS ネットワーク構成の検討・構築(VPC、ELIの設計、設定等)
‐AWS 分析基盤サービスの検討・構築(Redshift,Amazon EMR等の設定)
‐AWS セキュリティ、可用性検討・構築(リソースアクセス制御、可用性検討)
・保守対応
‐現行本番で発生した問題の調査・対応
‐積み残し課題の調査・対応
【Python/AWS/フルリモート】某大手小売企業様向けデータレイク基盤構築プロジェクト案件
業務委託(フリーランス)
PythonSQLShellDynamoDBAWSAmazon SQSGitBacklogRedshiftLambda
作業内容 ・下記の内容に行っていただきます。
-新アーキテクチャ対応移行作業
(単体テスト、結合テスト、システムテスト)
-新アーキテクチャ対応移行作業
(移行テスト、パフォーマンステスト、運用テスト)
-既存ソースコードの修正(新アーキテクチャ対応移行作業)
(AWS Lambda、AWS Glue)
New【Python/SQL】ETL基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLShellAWSAmazon S3DynamoGitRedshiftLambda
作業内容 作業内容:某大手小売業向けETL基盤構築
┗新規ジョブ、既存ジョブの作成
┗設計~開発