AWS 某生命保険会社のAWS環境でのDWH構築
DynamoDBAWSRedshiftGlueCloudFormationAurora
インフラエンジニアコンサル
作業内容 某生命保険会社のAWS環境にて構築済のDWH基盤を更に拡充し、更なるデータ集約、外部サイトのビックデータ収集、Redshift, EMRを使った データ分析を新たに構築する。
<以下は補足>
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3, Aurora, QuickSight, OpenAPI, Lamda, Glue, EventBridge, Step Functon, EC2, Athnea
監視・通知系サービス(CloudWatch Trail SNS)
・CloudFormation
新規追加予定のサービス
・Redshift, EMR, LakeFormation, DynamoDB, Kinesis Firehorse
AWS 基盤構築
作業内容 AWS基盤 基本設計~構築・テスト(単体+結合)を対応
<作業工程>
基本設計~
<環境>
AWS
ECS, S3, WorkSpaces, Provided DNS, Streaming Gateway, Redshift, Linux, クライアント30台前後
<備考>
リモートあり
<基本時間>
9:00~17:30
<服装>
ビジネスカジュアル
New【Tableau】データ分析基盤構築の求人・案件
業務委託(フリーランス)
VBARedshiftTableau
作業内容 飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。
【Python(リモート)】AI系サービスデータ基盤構築
業務委託(フリーランス)
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
〜技術環境〜
OS:Linux、Windows
言語:Python、SQL
DB:Redshift、Aurora(PostgreSQL互換)
Cloud:AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)
DWH:BigQuery、TreasureData等
機械学習系:Kedro、MLflow
CI:CircleCI
監視系:Sentry
その他:GitHub、Slack、CircleCI
DWHのシステム移行案件
業務委託(フリーランス)
JavaPythonSQLLinuxOracleAzureRedshiftTreasure Data
インフラエンジニアサーバーエンジニアデータベースエンジニア
作業内容 ・クラウド移行(AWS+Treasuredata)をご対応いただきます。
【Redshift/Java/Ruby/PHP】データウェアハウス構築案件
業務委託(フリーランス)
JavaJavaScriptPHPRubySQLLinuxAWSRedshift
サーバーサイドエンジニア
作業内容 ・現在運用中のサービスのデータをRedshiftに集約し、
サービスの課題発見、問題解決、新たな価値を創造するための
DWHを構築して頂きます。
・ログの収集から転送、Redshiftの運用管理まで、幅広くご担当頂きます。
・具体的には下記のような業務をして頂きます。
-Redshiftを用いたDWHの構築。
-ログ送信のためのJavaScriptライブラリの作成。
-ログ出力のためのAPI作成。
-ログデータ、DBのデータの転送。
-関連するインフラ環境の構築。
【SQL/AWS】データ分析基盤インフラ保守/運用支援案件
業務委託(フリーランス)
SQLMySQLAWSRedshift
インフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
-マーケティング業務の技術的な提案と情報の連携
-情報不備時、その原因究明とリカバリ対応
-日次更新ジョブ作成(DataSpider)
-顧客情報の連携、定常業務の簡略化(Rest API)
-ETLツール運用
-SQLチューニング、不具合調査
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
SQL Dr.SumからRedShiftへのシステムリプレース
作業内容 小売業でのDr.SumからRedShiftへのシステムリプレース
作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
<作業内容>
テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
DB:Dr.Sum+データ加工:Connectで作成しているシステムを
DB:RedShift+データ加工:glueでリプレースする
・対象システム数:7
<基本時間>
9:00~18:00
<服装>
基本的には自由
Web会議でクライアントとお話する時はビジネスカジュアル
【AWS】不動産ベースレジストリのプラットフォーム開発
業務委託(フリーランス)
PostgreSQLAWSRedshiftGlueFargateLambda
インフラエンジニア
作業内容 ビッグデータを取り扱うETL環境を構築
【BI】飲食系の顧客向けデータ分析基盤構築|フルリモート
業務委託(フリーランス)
RedshiftTableau
サーバーサイドエンジニア
作業内容 ■案件内容
飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータを
Excel VBAでデータマートに変換するタスクが発生する可能性があります。
■担当工程:
構築
■役割
メンバー
【DWH/基本フルリモート】大手インターネットサービス会社様データウェアハウス基盤移行
作業内容 現在稼働中のデータウェアハウス基盤であるTeradata Databaseから、次世代基盤となるAmazon Redshiftへ移行する
【Redshift/AWS/フルリモート】データエンジニア募集
業務委託(フリーランス)
SQLAWSGitGoogle Cloud PlatformRedshiftBigQuery
データサイエンティスト
作業内容 【案件】データエンジニア募集
【内容】
HR系企業のデータサイエンス部署にてデータマート開発実務を担当いただきます。
データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
<具体的な業務内容>
・分析用データマート開発
┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト
・バッチ基盤(digdag)の実装、運用保守
・データエンジニアリング業務
┗ データの収集、加工、集計
・データマートの保守運用
・TableauのViz作成
【必須スキル】
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
【尚可スキル】
・顧客折衝
・TableauでのViz作成経験
・Pythonなどのスクリプト経験
・HR系サービスの分析や企画開発経験
※英語必須※【データエンジニア】外資系企業におけるETL活用※受託案件
作業内容 ■お任せしたいこと概要:
同社が外資系医薬品企業様から受託しているプロジェクトにて、ETLツール(Talend)を使用したデータ管理をお任せします。
グローバルの担当者と英語でコミュニケーションを取っていただく可能性がございます。
■開発環境について/使用技術について:
TalendおよびRedshift
■同社について:
同社はインド系の受託企業となり、外資系企業を中心とした案件を多数抱えています。
【データエンジニア】データマート開発実務
業務委託(フリーランス)
SQLRedshiftBigQuery
作業内容 データマート開発実装をメインにご担当いただきます
・分析用データマート開発
・データマート(テーブル)設計、SQL実装、バッチ(digdag)実装
・データマートの保守運用
・TableauのViz作成
【データエンジニア】データマート開発実務
業務委託(フリーランス)
SQLRedshiftBigQuery
作業内容 データマート開発実装をメインにご担当いただきます
・分析用データマート開発
・データマート(テーブル)設計、SQL実装、バッチ(digdag)実装
・データマートの保守運用
・TableauのViz作成
【AWS/一部リモート】某生命保険会社AWS環境でのDWH構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニアコンサル
作業内容 ・某生命保険会社のAWS環境にて、構築済のDWH基盤を更に拡充し更なるデータ集約、外部サイトのビックデータ収集、Redshift、EMRを使った データ分析を新たに構築する。
[以下補足]
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施。
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3
・Aurora
・QuickSight
・OpenAPI
・Lamda
・Glue
・EventBridge
・Step Functon
・EC2
・Athnea
・監視・通知系サービス(cloudwatch trail SNS)
・CloudFormation
◎新規追加予定のサービス
・Redshift
・EMR
・LakeFormation
・DynamoDB
・Kinesis Firehorse
New【BIエンジニア】Tableau ダッシュボード作成・小売業向けPOSデータ可視化PJ
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成・小売業向けPOSデータ可視化■作業内容:Tableauダッシュボードの開発・テスト(単体/結合)
【Tableau】レポート開発
作業内容 ・既存Excelレポートを参考にSalesforceMarketingCloudや外部システム出力データを使用してTableauレポートのプロト作成する。 ・意見や指摘をプロトレポートへ反映する。 ・システムへの組み込み設計(Redshift Datamart設計) ・Redshift クロスDBクエリ検証ほか
【DWH/データ分析】医薬品会社向けデータレイク基盤構築
業務委託(フリーランス)
SQL
サーバーサイドエンジニア
作業内容 医薬品会社向けのデータレイク基盤構築案件となります。
WebFOCUSからMicroStrategyへの置き換え作業となります。
Redshiftでデータレイクを構築予定となっております。
役割はSE/PGとして、設計以降の工程をご担当いただきます。
SQLエンジニア データ抽出依頼/レポート作成依頼
業務委託(フリーランス)
SQLMySQLRedshiftBigQuery
データベースエンジニア
作業内容 ・別部署(企画や営業)からデータ抽出依頼、レポート作成依頼のが入りますのでそちらの対応とデータ(会員情報、会員の利用履歴、Webデータ等)はDB内にあります。
・SQLを使用して抽出をしていただきます。
・レポートはExcelまたはTableauを使用して提出となります。
【AWS・DynamoDB、EMR、Redshift】商社の管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
サーバーエンジニア
作業内容 構築から10年以上経過しており、アーキテクチャを含めて根本的に作り変える案件でございます。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、
自前の分析ツールからデータ解析を行っております。
再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、
この候補としてAWSのDynamoDB、EMR、Redshiftの利用を検討しております。
要件定義フェーズでは、技術検証を計画しており、上記技術要素の適合性を確認致します。
【AWS・DynamoDB、EMR、Redshift】商社の管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
サーバーエンジニア
作業内容 構築から10年以上経過しており、アーキテクチャを含めて根本的に作り変える案件でございます。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、
自前の分析ツールからデータ解析を行っております。
再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、
この候補としてAWSのDynamoDB、EMR、Redshiftの利用を検討しております。
要件定義フェーズでは、技術検証を計画しており、上記技術要素の適合性を確認致します。
【AWS・DynamoDB、EMR、Redshift】商社の管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
サーバーエンジニア
作業内容 構築から10年以上経過しており、アーキテクチャを含めて根本的に作り変える案件でございます。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、
自前の分析ツールからデータ解析を行っております。
再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、
この候補としてAWSのDynamoDB、EMR、Redshiftの利用を検討しております。
要件定義フェーズでは、技術検証を計画しており、上記技術要素の適合性を確認致します。
AWS エンジニアの募集
業務委託(フリーランス)
AWSRedshiftGlue
作業内容 大手財閥系の金融子会社にて、AWSを利用したDWHの構築プロジェクトが立ち上がり、AWSの技術者(RedShiftやGlueなど)が必要で一緒に業務して頂ける方を募集中。
<現状>
・オンプレ環境に基幹システム周辺システムをもっており、そのデータを活用してマーケに活用するが管理するベンダーがばらばらな状態でデータが一元管理できていない状態
⇒各システムを一元化してデータウェアハウス、クラウドで構築したい
・金融機関の為、パブリッククラウドで構築が難しいのでセキュリティに制約ありつつ、既存のAWS環境上にデータレイクの中を構築してほしい
⇒8月~PoCで作業を開発していきたい
<備考>
基本リモート
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
【Python/リモート】新サービス導入に向けたAWS移行作業
作業内容 既存システムをAWS環境へ移行し、以下の作業をご担当いただきます。
・外部サービスとのAPI構築
・S3からRedshiftへのデータ取込バッチ構築
・Redshiftのデータマート構築
・他システムへのデータ連携
【分析基盤エンジニア】航空会社向けBIシステム データ抽出/加工支援
業務委託(フリーランス)
SQLAWSRedshift
作業内容 航空会社向けBIシステム データ抽出
【AWS・DynamoDB、EMR、Redshift】商社の管理会計システムのスクラッチ・ビルド案件
業務委託(フリーランス)
DynamoDBAWSRedshift
サーバーエンジニア
作業内容 構築から10年以上経過しており、アーキテクチャを含めて根本的に作り変える案件でございます。
現システムはMQを使った分散計算処理、計算結果をSQL Serverに格納し、
自前の分析ツールからデータ解析を行っております。
再構築では、AWSサービスを軸にしたアーキテクチャを構築する予定であり、
この候補としてAWSのDynamoDB、EMR、Redshiftの利用を検討しております。
要件定義フェーズでは、技術検証を計画しており、上記技術要素の適合性を確認致します。
Python / SQL など データ分析基盤データ連携/マート定常化作業
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambdaGoogle Workspace
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。
以下の作業を行います。
<作業内容>
・データパイプラインのPython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
<技術スタック>
AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
GCP:BigQuery, GCS, CloudFunction, CloudComposer,
DB:Redshift,PostgreSQL,Oracle,MySQL
リポジトリ:Github Enterprise,CodeCommit
コラボレーションツール:JIRA, Confluence, Backlog
コミュニケーションツール:Slack,Google Workspaces
PCの貸与またはAWS Workspacesを使用
<備考>
テレワーク
<基本時間>
9:30~18:30
<服装>
オフィスカジュアル