Redshift / Tableau データ分析基盤の構築運用
SQLAWSRedshiftTreasure DataTableau
作業内容 データ分析基盤の構築および運用における上流工程をご担当頂きます。
DWH(RedshiftやTreasureDataといった一般的な製品)とBIツール(TableauやPowerBI)を連携させ、クーポン利用実績やアプリ利用実績の効果測定をする為の基盤構築及び運用をしていくプロジェクトになります。
<備考>
フルリモート
<基本時間>
10:00~19:00
【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
【AWS/20代30代活躍中】大手通信業向けAWS Redshift構築支援
業務委託(フリーランス)
WindowsAWSRedshiftTableau
インフラエンジニア
作業内容 ■仕事内容__:
【案件概要】
大手通信業向けにデータ分析基盤(AWS)とデータ可視化支援(tableau)を行っております。
今回はAWS Redshiftの構築を担当いただける方を求めております。
他サーバーへの接続、tableauへの繋ぎこみも担当いただく予定です。
■作業環境__:Windows/Mac選択可
■開発環境
ツール___:AWS Redshift (Amazon Redshift),Tableau
■体制____:複数人
■人物像___:
・勤怠に問題がない方
・コミュニケーションをしっかり取れる方
■就業時間__:9:00〜18:00
■勤務地___:池袋
■勤務地補足_:基本的にフルリモート
■平均稼働__:170時間前後
■面接回数__:1回
■時間幅___:140時間~ 180時間
■服装____:カジュアル
■営業コメント:
元請けの案件を豊富に保有しているマザーズ上場企業でございます。
様々な案件があるので終了した際にもスライド可能でございます。
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
AWS 基盤構築
作業内容 AWS基盤 基本設計~構築・テスト(単体+結合)を対応
<作業工程>
基本設計~
<環境>
AWS
ECS, S3, WorkSpaces, Provided DNS, Streaming Gateway, Redshift, Linux, クライアント30台前後
<備考>
リモートあり
<基本時間>
9:00~17:30
<服装>
ビジネスカジュアル
【AWS】不動産ベースレジストリのプラットフォーム開発
業務委託(フリーランス)
PostgreSQLAWSRedshiftGlueFargateLambda
インフラエンジニア
作業内容 ビッグデータを取り扱うETL環境を構築
DWHのシステム移行案件
業務委託(フリーランス)
JavaPythonSQLLinuxOracleAzureRedshiftTreasure Data
インフラエンジニアサーバーエンジニアデータベースエンジニア
作業内容 ・クラウド移行(AWS+Treasuredata)をご対応いただきます。
New【BIエンジニア】Tableau ダッシュボード作成・小売業向けPOSデータ可視化PJ
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成・小売業向けPOSデータ可視化■作業内容:Tableauダッシュボードの開発・テスト(単体/結合)
New【Tableau】データ分析基盤構築の求人・案件
業務委託(フリーランス)
VBARedshiftTableau
作業内容 飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
【Python/基本リモート】Pythonによるバッチ開発
業務委託(フリーランス)
PythonAWSRedshiftLambda
サーバーサイドエンジニア
作業内容 ・外部データベースサイトからAPI経由で定期的にデータを取り出し、中間DBに格納します。
・中間DBは、AWS S3に一旦よりこみ、Lambdaを使ってPythonでバッチファイルを作成し、AmazonのDWHであるRedshiftに落とし込んでいきます。
・Redshiftにたまったデータは、他チームにてTableau 等を使ってデータ分析を行います。
・AWS上のLambdaやRedshiftなどのインフラ構築は他チームで行うので範囲外です。
・主な仕事は、Pythonでのバッチファイル作成になります。
・データ取り込み時の設計~開発~検証まで行います。
(注意点)
・本案件はお客様によるENDへの提案中の案件です(複数社が提案しています)。
・9月中旬ごろにベンダが決定し、10月より開発がスタートします。
・そのためベンダ選定から漏れた場合には、本案件はキャンセルになります。
【DWH/基本フルリモート】大手インターネットサービス会社様データウェアハウス基盤移行
作業内容 現在稼働中のデータウェアハウス基盤であるTeradata Databaseから、次世代基盤となるAmazon Redshiftへ移行する
SQL Dr.SumからRedShiftへのシステムリプレース
作業内容 小売業でのDr.SumからRedShiftへのシステムリプレース
作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
<作業内容>
テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
DB:Dr.Sum+データ加工:Connectで作成しているシステムを
DB:RedShift+データ加工:glueでリプレースする
・対象システム数:7
<基本時間>
9:00~18:00
<服装>
基本的には自由
Web会議でクライアントとお話する時はビジネスカジュアル
【Python(リモート)】AI系サービスデータ基盤構築
業務委託(フリーランス)
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
〜技術環境〜
OS:Linux、Windows
言語:Python、SQL
DB:Redshift、Aurora(PostgreSQL互換)
Cloud:AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)
DWH:BigQuery、TreasureData等
機械学習系:Kedro、MLflow
CI:CircleCI
監視系:Sentry
その他:GitHub、Slack、CircleCI
【Python/リモート】新サービス導入に向けたAWS移行作業
作業内容 既存システムをAWS環境へ移行し、以下の作業をご担当いただきます。
・外部サービスとのAPI構築
・S3からRedshiftへのデータ取込バッチ構築
・Redshiftのデータマート構築
・他システムへのデータ連携
【分析基盤エンジニア】航空会社向けBIシステム データ抽出/加工支援
業務委託(フリーランス)
SQLAWSRedshift
作業内容 航空会社向けBIシステム データ抽出
【BI】飲食系の顧客向けデータ分析基盤構築|フルリモート
業務委託(フリーランス)
RedshiftTableau
サーバーサイドエンジニア
作業内容 ■案件内容
飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータを
Excel VBAでデータマートに変換するタスクが発生する可能性があります。
■担当工程:
構築
■役割
メンバー
【Tableau】BIエンジニアの求人・案件
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成/小売業向けPOSデータ可視化
・Tableauダッシュボードの開発・テスト(単体/結合)
■担当工程:
設計~テスト
■役割
メンバー
【Redshift/AWS/フルリモート】データエンジニア募集
業務委託(フリーランス)
SQLAWSGitGoogle Cloud PlatformRedshiftBigQuery
データサイエンティスト
作業内容 【案件】データエンジニア募集
【内容】
HR系企業のデータサイエンス部署にてデータマート開発実務を担当いただきます。
データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
<具体的な業務内容>
・分析用データマート開発
┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト
・バッチ基盤(digdag)の実装、運用保守
・データエンジニアリング業務
┗ データの収集、加工、集計
・データマートの保守運用
・TableauのViz作成
【必須スキル】
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
【尚可スキル】
・顧客折衝
・TableauでのViz作成経験
・Pythonなどのスクリプト経験
・HR系サービスの分析や企画開発経験
【Python(リモート)】某ゲーム会社様向け運用中のデータ分析基盤
作業内容 ・バッチ処理コード移行(Java(Spring Boot)→ Google Cloud Composer + Google Data Fusion + dbt) →実装、単体テスト、結合テスト、システムテスト ・SQL構文修正(Redshift(PostgresSQL) → BigQuery) →実装、単体テスト、結合テスト、システムテスト ・テーブルデータ移行(Redshift → BigQuery) →テーブル設計実装、データ移行、データ検証
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
AWS エンジニアの募集
業務委託(フリーランス)
AWSRedshiftGlue
作業内容 大手財閥系の金融子会社にて、AWSを利用したDWHの構築プロジェクトが立ち上がり、AWSの技術者(RedShiftやGlueなど)が必要で一緒に業務して頂ける方を募集中。
<現状>
・オンプレ環境に基幹システム周辺システムをもっており、そのデータを活用してマーケに活用するが管理するベンダーがばらばらな状態でデータが一元管理できていない状態
⇒各システムを一元化してデータウェアハウス、クラウドで構築したい
・金融機関の為、パブリッククラウドで構築が難しいのでセキュリティに制約ありつつ、既存のAWS環境上にデータレイクの中を構築してほしい
⇒8月~PoCで作業を開発していきたい
<備考>
基本リモート
【AWS/一部リモート】某生命保険会社AWS環境でのDWH構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニアコンサル
作業内容 ・某生命保険会社のAWS環境にて、構築済のDWH基盤を更に拡充し更なるデータ集約、外部サイトのビックデータ収集、Redshift、EMRを使った データ分析を新たに構築する。
[以下補足]
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施。
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3
・Aurora
・QuickSight
・OpenAPI
・Lamda
・Glue
・EventBridge
・Step Functon
・EC2
・Athnea
・監視・通知系サービス(cloudwatch trail SNS)
・CloudFormation
◎新規追加予定のサービス
・Redshift
・EMR
・LakeFormation
・DynamoDB
・Kinesis Firehorse
【SQL(リモート)】データ抽出業務
業務委託(フリーランス)
SQLRedshiftBigQuery
作業内容 ・基幹データやアクセスログからのデータ抽出
→新規のSQL作成、既存SQLの調査/改修
・依頼者(事業担当者)との抽出要件の整理、プロジェクトの進行管理
【AWS/データエンジニア】顧客データベース次世代化プロジェクト
業務委託(フリーランス)
PythonSQLAWSRedshift
バックエンドエンジニア
作業内容 【概要】 ・旧データベースの内容を新データベースに名寄せを行うプロジェクト
【対応内容】 ・データの名寄せ・データベースの論理設計・データクレンジング処理プログラムの作成・SQL速度高速化
【開発環境】 ・AWS Glue・AWS Lambda・AWS Redshift
【DX・データ利活用コンサル】データ利活用推進支援の求人・案件
業務委託(フリーランス)
RedshiftAurora
コンサル
作業内容 大手専門商社のDX管掌部署にて実施中の「データ利活用」をエンドユーザー伴走で推進いただきたい。
≪ポジション≫
①②でそれぞれ1名ずつ
①:各事業部の業務/状況のヒアリング~BIツール(Tableau導入済)活用や見える化の検討~定着化 の支援
②:①と連携し、DWH(Aurora/Redshift導入済)箇所の対応整理・定義・構築
【Python】製造業向けデータエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSRedshiftGlueLambda
作業内容 クライアントの調達部門にてAWSを利用した購買データのデータパイプライン構築~運用をご担当いただきます。
【AWS(リモート)】データ分析基盤構築運用検討
業務委託(フリーランス)
PythonSQLAWSRedshiftGlueLambda
インフラエンジニア
作業内容 ・データ連携案件管理:データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:事業要請に応じたデータレイク、データウェハウス、マートの実装、テスト
※基盤構築作業が主な作業になります
【SQL】航空会社向けBIシステム データ抽出/加工支援の求人・案件
業務委託(フリーランス)
SQLAWSRedshift
作業内容 セルフBI要件検討
セルフ分析向けデータ設計・開発
マスタ検討、分析項目定義、数値定義検討
セルフ分析デモ プロトタイプ作成
他チームからの問い合わせ対応 (データ調査等)
データ分析基盤の開発(SE)
PythonMySQLAWSBacklogRedshiftGlueAthenaAurora
SE
作業内容 <業務内容>
・各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測など
・データレイク、DWH
<開発環境>
・インフラ:AWS(Athena、Redshift、Glue、QuickSightなど)
・データベース:RDS(Aurora MySQL)
・ETL:AWS Glue
・BIツール:QuickSight
・言語:Python
・コミュニケーション:Slack、Zoom、Backlog、DocBase
<基本時間>
9:00~18:00
フレックス
【Python/AWS Lambda】Pythonエンジニア
業務委託(フリーランス)
PythonSQLShellAWSGitRedshiftLambda
作業内容 以下、3つポジションを想定
1.新アーキテクチャ対応移行作業
(単体テスト、結合テスト、システムテスト)
2.新アーキテクチャ対応移行作業
(移行テスト、パフォーマンステスト、運用テスト)
3.既存ソースコードの修正(新アーキテクチャ対応移行作業)
(AWS Lambda、AWS Glue)