Redshift / Tableau データ分析基盤の構築運用
SQLAWSRedshiftTreasure DataTableau
作業内容 データ分析基盤の構築および運用における上流工程をご担当頂きます。
DWH(RedshiftやTreasureDataといった一般的な製品)とBIツール(TableauやPowerBI)を連携させ、クーポン利用実績やアプリ利用実績の効果測定をする為の基盤構築及び運用をしていくプロジェクトになります。
<備考>
フルリモート
<基本時間>
10:00~19:00
【AWS/20代30代活躍中】大手通信業向けAWS Redshift構築支援
業務委託(フリーランス)
WindowsAWSRedshiftTableau
インフラエンジニア
作業内容 ■仕事内容__:
【案件概要】
大手通信業向けにデータ分析基盤(AWS)とデータ可視化支援(tableau)を行っております。
今回はAWS Redshiftの構築を担当いただける方を求めております。
他サーバーへの接続、tableauへの繋ぎこみも担当いただく予定です。
■作業環境__:Windows/Mac選択可
■開発環境
ツール___:AWS Redshift (Amazon Redshift),Tableau
■体制____:複数人
■人物像___:
・勤怠に問題がない方
・コミュニケーションをしっかり取れる方
■就業時間__:9:00〜18:00
■勤務地___:池袋
■勤務地補足_:基本的にフルリモート
■平均稼働__:170時間前後
■面接回数__:1回
■時間幅___:140時間~ 180時間
■服装____:カジュアル
■営業コメント:
元請けの案件を豊富に保有しているマザーズ上場企業でございます。
様々な案件があるので終了した際にもスライド可能でございます。
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
【AWS】データウェアハウス構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニア
作業内容 ・AWS Redshiftの構築に携わっていただきます。
・具体的には下記の工程をご担当いただきます。
-バッチ処理の方針決定
-マート構築の基本設計から開発
【Java】ゴルフメーカー向けポータルサイト改修案件
作業内容 ・ゴルフメーカー向けポータルサイトの改修からテスト、
RedshiftからTreasure Dataへの置き換えなど幅広い作業をご担当いただきます。
【AWS/Python】既存環境の向上サポート|医療
業務委託(フリーランス)
PythonAWSRedshift
インフラエンジニア
作業内容 ・医療系企業での既存環境の性能向上サポート
・SAS、PythonもしくはAmazon Redshift環境でのチューニング
・問題を緩和、回避するための設定や構成の変更に伴う顧客折衝
【Python/基本リモート】Pythonによるバッチ開発
業務委託(フリーランス)
PythonAWSRedshiftLambda
サーバーサイドエンジニア
作業内容 ・外部データベースサイトからAPI経由で定期的にデータを取り出し、中間DBに格納します。
・中間DBは、AWS S3に一旦よりこみ、Lambdaを使ってPythonでバッチファイルを作成し、AmazonのDWHであるRedshiftに落とし込んでいきます。
・Redshiftにたまったデータは、他チームにてTableau 等を使ってデータ分析を行います。
・AWS上のLambdaやRedshiftなどのインフラ構築は他チームで行うので範囲外です。
・主な仕事は、Pythonでのバッチファイル作成になります。
・データ取り込み時の設計~開発~検証まで行います。
(注意点)
・本案件はお客様によるENDへの提案中の案件です(複数社が提案しています)。
・9月中旬ごろにベンダが決定し、10月より開発がスタートします。
・そのためベンダ選定から漏れた場合には、本案件はキャンセルになります。
AWS 基盤構築
作業内容 AWS基盤 基本設計~構築・テスト(単体+結合)を対応
<作業工程>
基本設計~
<環境>
AWS
ECS, S3, WorkSpaces, Provided DNS, Streaming Gateway, Redshift, Linux, クライアント30台前後
<備考>
リモートあり
<基本時間>
9:00~17:30
<服装>
ビジネスカジュアル
New【Tableau】データ分析基盤構築の求人・案件
業務委託(フリーランス)
VBARedshiftTableau
作業内容 飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。
【AWS、DynamoDB、EMR、Redshift】AWS関連!インフラエンジニア/管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
インフラエンジニアサーバーエンジニア
作業内容 ・大手商社の管理会計システムのスクラッチ・ビルド案件になります。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、自前の分析ツールからデータ解析を行っております。再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、この候補としてAWSのDynamoDB、EMR、Redshiftの利用を考えています。現在、要件定義フェーズになりますが、上記技術要素の適合性を確認する技術検証要員としてご参画をお願い致します。
AWS 某生命保険会社のAWS環境でのDWH構築
DynamoDBAWSRedshiftGlueCloudFormationAurora
インフラエンジニアコンサル
作業内容 某生命保険会社のAWS環境にて構築済のDWH基盤を更に拡充し、更なるデータ集約、外部サイトのビックデータ収集、Redshift, EMRを使った データ分析を新たに構築する。
<以下は補足>
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3, Aurora, QuickSight, OpenAPI, Lamda, Glue, EventBridge, Step Functon, EC2, Athnea
監視・通知系サービス(CloudWatch Trail SNS)
・CloudFormation
新規追加予定のサービス
・Redshift, EMR, LakeFormation, DynamoDB, Kinesis Firehorse
【Python(リモート)】AI系サービスデータ基盤構築
業務委託(フリーランス)
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
〜技術環境〜
OS:Linux、Windows
言語:Python、SQL
DB:Redshift、Aurora(PostgreSQL互換)
Cloud:AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)
DWH:BigQuery、TreasureData等
機械学習系:Kedro、MLflow
CI:CircleCI
監視系:Sentry
その他:GitHub、Slack、CircleCI
【Redshift/Java/Ruby/PHP】データウェアハウス構築案件
業務委託(フリーランス)
JavaJavaScriptPHPRubySQLLinuxAWSRedshift
サーバーサイドエンジニア
作業内容 ・現在運用中のサービスのデータをRedshiftに集約し、
サービスの課題発見、問題解決、新たな価値を創造するための
DWHを構築して頂きます。
・ログの収集から転送、Redshiftの運用管理まで、幅広くご担当頂きます。
・具体的には下記のような業務をして頂きます。
-Redshiftを用いたDWHの構築。
-ログ送信のためのJavaScriptライブラリの作成。
-ログ出力のためのAPI作成。
-ログデータ、DBのデータの転送。
-関連するインフラ環境の構築。
SQL Dr.SumからRedShiftへのシステムリプレース
作業内容 小売業でのDr.SumからRedShiftへのシステムリプレース
作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
<作業内容>
テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
DB:Dr.Sum+データ加工:Connectで作成しているシステムを
DB:RedShift+データ加工:glueでリプレースする
・対象システム数:7
<基本時間>
9:00~18:00
<服装>
基本的には自由
Web会議でクライアントとお話する時はビジネスカジュアル
DWHのシステム移行案件
業務委託(フリーランス)
JavaPythonSQLLinuxOracleAzureRedshiftTreasure Data
インフラエンジニアサーバーエンジニアデータベースエンジニア
作業内容 ・クラウド移行(AWS+Treasuredata)をご対応いただきます。
【SQL/AWS】データ分析基盤インフラ保守/運用支援案件
業務委託(フリーランス)
SQLMySQLAWSRedshift
インフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
-マーケティング業務の技術的な提案と情報の連携
-情報不備時、その原因究明とリカバリ対応
-日次更新ジョブ作成(DataSpider)
-顧客情報の連携、定常業務の簡略化(Rest API)
-ETLツール運用
-SQLチューニング、不具合調査
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
【DWH/基本フルリモート】大手インターネットサービス会社様データウェアハウス基盤移行
作業内容 現在稼働中のデータウェアハウス基盤であるTeradata Databaseから、次世代基盤となるAmazon Redshiftへ移行する
【AWS】不動産ベースレジストリのプラットフォーム開発
業務委託(フリーランス)
PostgreSQLAWSRedshiftGlueFargateLambda
インフラエンジニア
作業内容 ビッグデータを取り扱うETL環境を構築
【Redshift/AWS/フルリモート】データエンジニア募集
業務委託(フリーランス)
SQLAWSGitGoogle Cloud PlatformRedshiftBigQuery
データサイエンティスト
作業内容 【案件】データエンジニア募集
【内容】
HR系企業のデータサイエンス部署にてデータマート開発実務を担当いただきます。
データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
<具体的な業務内容>
・分析用データマート開発
┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト
・バッチ基盤(digdag)の実装、運用保守
・データエンジニアリング業務
┗ データの収集、加工、集計
・データマートの保守運用
・TableauのViz作成
【必須スキル】
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
【尚可スキル】
・顧客折衝
・TableauでのViz作成経験
・Pythonなどのスクリプト経験
・HR系サービスの分析や企画開発経験
【BI】飲食系の顧客向けデータ分析基盤構築|フルリモート
業務委託(フリーランス)
RedshiftTableau
サーバーサイドエンジニア
作業内容 ■案件内容
飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータを
Excel VBAでデータマートに変換するタスクが発生する可能性があります。
■担当工程:
構築
■役割
メンバー
【データエンジニア】データマート開発実務
業務委託(フリーランス)
SQLRedshiftBigQuery
作業内容 データマート開発実装をメインにご担当いただきます
・分析用データマート開発
・データマート(テーブル)設計、SQL実装、バッチ(digdag)実装
・データマートの保守運用
・TableauのViz作成
【データエンジニア】データマート開発実務
業務委託(フリーランス)
SQLRedshiftBigQuery
作業内容 データマート開発実装をメインにご担当いただきます
・分析用データマート開発
・データマート(テーブル)設計、SQL実装、バッチ(digdag)実装
・データマートの保守運用
・TableauのViz作成
※英語必須※【データエンジニア】外資系企業におけるETL活用※受託案件
作業内容 ■お任せしたいこと概要:
同社が外資系医薬品企業様から受託しているプロジェクトにて、ETLツール(Talend)を使用したデータ管理をお任せします。
グローバルの担当者と英語でコミュニケーションを取っていただく可能性がございます。
■開発環境について/使用技術について:
TalendおよびRedshift
■同社について:
同社はインド系の受託企業となり、外資系企業を中心とした案件を多数抱えています。
New【BIエンジニア】Tableau ダッシュボード作成・小売業向けPOSデータ可視化PJ
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成・小売業向けPOSデータ可視化■作業内容:Tableauダッシュボードの開発・テスト(単体/結合)
【AWS/一部リモート】某生命保険会社AWS環境でのDWH構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニアコンサル
作業内容 ・某生命保険会社のAWS環境にて、構築済のDWH基盤を更に拡充し更なるデータ集約、外部サイトのビックデータ収集、Redshift、EMRを使った データ分析を新たに構築する。
[以下補足]
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施。
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3
・Aurora
・QuickSight
・OpenAPI
・Lamda
・Glue
・EventBridge
・Step Functon
・EC2
・Athnea
・監視・通知系サービス(cloudwatch trail SNS)
・CloudFormation
◎新規追加予定のサービス
・Redshift
・EMR
・LakeFormation
・DynamoDB
・Kinesis Firehorse
SQLエンジニア データ抽出依頼/レポート作成依頼
業務委託(フリーランス)
SQLMySQLRedshiftBigQuery
データベースエンジニア
作業内容 ・別部署(企画や営業)からデータ抽出依頼、レポート作成依頼のが入りますのでそちらの対応とデータ(会員情報、会員の利用履歴、Webデータ等)はDB内にあります。
・SQLを使用して抽出をしていただきます。
・レポートはExcelまたはTableauを使用して提出となります。
【Tableau】レポート開発
作業内容 ・既存Excelレポートを参考にSalesforceMarketingCloudや外部システム出力データを使用してTableauレポートのプロト作成する。 ・意見や指摘をプロトレポートへ反映する。 ・システムへの組み込み設計(Redshift Datamart設計) ・Redshift クロスDBクエリ検証ほか
【DWH/データ分析】医薬品会社向けデータレイク基盤構築
業務委託(フリーランス)
SQL
サーバーサイドエンジニア
作業内容 医薬品会社向けのデータレイク基盤構築案件となります。
WebFOCUSからMicroStrategyへの置き換え作業となります。
Redshiftでデータレイクを構築予定となっております。
役割はSE/PGとして、設計以降の工程をご担当いただきます。
【AWS・DynamoDB、EMR、Redshift】商社の管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
サーバーエンジニア
作業内容 構築から10年以上経過しており、アーキテクチャを含めて根本的に作り変える案件でございます。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、
自前の分析ツールからデータ解析を行っております。
再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、
この候補としてAWSのDynamoDB、EMR、Redshiftの利用を検討しております。
要件定義フェーズでは、技術検証を計画しており、上記技術要素の適合性を確認致します。