【AWS】Redshift登録データのBigQuery移行業務
業務委託(フリーランス)
SQLAWSGoogle Cloud PlatformRedshiftBigQuery
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
Redshiftに登録されているデータをBigQueryに移行する
【場所】
秋葉原
※リモート
【勤務時間】
9:30~18:30
【精算】
150h~200h
【面談】
1回
※週5日〜OKの案件です!
【C#.NET、PL/SQL】基幹システムの運用/保守(リモート)
業務委託(フリーランス)
ShellPL/SQLC#.NETOracleSVNSubversionRedmineRedshiftVisual Studio
作業内容 運用している複数あるシステムに係る保守改修や機能追加を対応いただく案件となります。
工程:設計〜テストをご担当いただきます。
〜開発環境〜
・ASP.net C#(VisualStudio2019)
・Oracle、Redshift
・AsteriaWarp
・PL/SQL、ShellScript
・Subversion(SVN)
・Redmine
BIシステム運用保守の求人・案件
作業内容 Business Inteligence(ビジネス・インテリジェンス) システムの運用保守要員として、ダッシュボード構築や新規レポートの要件定義・設計案件の対応などをお願いします。
【現行システム】
UI(ユーザ画面):MicroStrategy
DB(データベース):Redshift
【BI/DWH】データ分析システム(PowerBI,Redshift)保守、運用,要件整理
業務委託(フリーランス)
Redshift
データサイエンティスト
作業内容 ・PowerBIServiceをRedshiftに疎通させるための構成設計
・方針整理
・各工程のテスト計画(単体、結合、統合)
・PowerBIを用いた権限整理(画面、データ)
・運用要件整理(監視項目,障害時対応,ユーザー管理,ログ管理)
【分析基盤エンジニア】AWSのデータレイク基盤(蓄積基盤)の設計、構築(Infrastructure)
業務委託(フリーランス)
AWSRedshiftGlue
作業内容 AWSを用いて実現する蓄積基盤の設計、構築(特にRedshift、Glueまわり)
勘定系システムなどからデータを受け取るAWSのデータレイク基盤(蓄積基盤)の設計、構築
【分析基盤エンジニア】大手卸小売業 データ分析基盤構築、分析
業務委託(フリーランス)
PythonAWSRedshiftTableau
作業内容 大手卸小売業のデータエンジニアとして下記業を担当いただきます。
・AWS等のクラウドサービスを活用したデータ分析
・Redshiftでのデータ分析基盤構築
・各種KPI設計およびTableauなどのBIツールでのダッシュボード作成
Redshift / Tableau データ分析基盤の構築運用
SQLAWSRedshiftTreasure DataTableau
作業内容 データ分析基盤の構築および運用における上流工程をご担当頂きます。
DWH(RedshiftやTreasureDataといった一般的な製品)とBIツール(TableauやPowerBI)を連携させ、クーポン利用実績やアプリ利用実績の効果測定をする為の基盤構築及び運用をしていくプロジェクトになります。
<備考>
フルリモート
<基本時間>
10:00~19:00
【Python/SQL(リモート)】データ分析基盤データ連携/マート定常化作業
業務委託(フリーランス)
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambdaGoogle Workspace
バックエンドエンジニア
作業内容 データパイプラインのPythonでの実装作業です。
・データパイプラインのpython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
〜技術スタック〜
・AWS:Glue、Lambda、StepFunctions、Redshift、Redshift Spectrum、IAM、SageMaker、S3、EC2、CodePipeline、CodeDeploy
・GCP:BigQuery、GCS、CloudFunction、CloudComposer、
・DB:Redshift、PostgreSQL、Oracle、MySQL
・リポジトリ:Github Enterprise、CodeCommit
・コラボレーションツール:JIRA、Confluence、Backlog
・コミュニケーションツール:Slack、Google Workspaces
【AWS(リモート)】損保会社向けAWSインフラ構築案件
業務委託(フリーランス)
AWSRedshiftSnowflake
作業内容 既存AWSインフラの追加開発や改修等をご担当いただきます。
大型AWSインフラシステムを学ぶことができます。
ツール:
・AWS
・SnowFlake
・RedShift
AWS 基盤構築
作業内容 AWS基盤 基本設計~構築・テスト(単体+結合)を対応
<作業工程>
基本設計~
<環境>
AWS
ECS, S3, WorkSpaces, Provided DNS, Streaming Gateway, Redshift, Linux, クライアント30台前後
<備考>
リモートあり
<基本時間>
9:00~17:30
<服装>
ビジネスカジュアル
【AWS】不動産ベースレジストリのプラットフォーム開発
業務委託(フリーランス)
PostgreSQLAWSRedshiftGlueFargateLambda
インフラエンジニア
作業内容 ビッグデータを取り扱うETL環境を構築
【Python】Web企業でのデータパイプライン構築や可視化業務の求人・案件
業務委託(フリーランス)
PythonSQLAWSRedshiftBigQuerySnowflake
作業内容 ・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援
【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
言語____:SQL
環境・OS_:AWS (Amazon Web Services)
ツール___:AWS Redshift (Amazon Redshift)
■開発工程__:基本設計|詳細設計|実装・構築・単体試験
【AWS/20代30代活躍中】大手通信業向けAWS Redshift構築支援
業務委託(フリーランス)
WindowsAWSRedshiftTableau
インフラエンジニア
作業内容 ■仕事内容__:
【案件概要】
大手通信業向けにデータ分析基盤(AWS)とデータ可視化支援(tableau)を行っております。
今回はAWS Redshiftの構築を担当いただける方を求めております。
他サーバーへの接続、tableauへの繋ぎこみも担当いただく予定です。
■作業環境__:Windows/Mac選択可
■開発環境
ツール___:AWS Redshift (Amazon Redshift),Tableau
■体制____:複数人
■人物像___:
・勤怠に問題がない方
・コミュニケーションをしっかり取れる方
■就業時間__:9:00〜18:00
■勤務地___:池袋
■勤務地補足_:基本的にフルリモート
■平均稼働__:170時間前後
■面接回数__:1回
■時間幅___:140時間~ 180時間
■服装____:カジュアル
■営業コメント:
元請けの案件を豊富に保有しているマザーズ上場企業でございます。
様々な案件があるので終了した際にもスライド可能でございます。
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
DWHのシステム移行案件
業務委託(フリーランス)
JavaPythonSQLLinuxOracleAzureRedshiftTreasure Data
インフラエンジニアサーバーエンジニアデータベースエンジニア
作業内容 ・クラウド移行(AWS+Treasuredata)をご対応いただきます。
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
【Python/基本リモート】Pythonによるバッチ開発
業務委託(フリーランス)
PythonAWSRedshiftLambda
サーバーサイドエンジニア
作業内容 ・外部データベースサイトからAPI経由で定期的にデータを取り出し、中間DBに格納します。
・中間DBは、AWS S3に一旦よりこみ、Lambdaを使ってPythonでバッチファイルを作成し、AmazonのDWHであるRedshiftに落とし込んでいきます。
・Redshiftにたまったデータは、他チームにてTableau 等を使ってデータ分析を行います。
・AWS上のLambdaやRedshiftなどのインフラ構築は他チームで行うので範囲外です。
・主な仕事は、Pythonでのバッチファイル作成になります。
・データ取り込み時の設計~開発~検証まで行います。
(注意点)
・本案件はお客様によるENDへの提案中の案件です(複数社が提案しています)。
・9月中旬ごろにベンダが決定し、10月より開発がスタートします。
・そのためベンダ選定から漏れた場合には、本案件はキャンセルになります。
New【BIエンジニア】Tableau ダッシュボード作成・小売業向けPOSデータ可視化PJ
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成・小売業向けPOSデータ可視化■作業内容:Tableauダッシュボードの開発・テスト(単体/結合)
New【Tableau】データ分析基盤構築の求人・案件
業務委託(フリーランス)
VBARedshiftTableau
作業内容 飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。
【DWH/基本フルリモート】大手インターネットサービス会社様データウェアハウス基盤移行
作業内容 現在稼働中のデータウェアハウス基盤であるTeradata Databaseから、次世代基盤となるAmazon Redshiftへ移行する
SQL Dr.SumからRedShiftへのシステムリプレース
作業内容 小売業でのDr.SumからRedShiftへのシステムリプレース
作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく
<作業内容>
テーブル設計・作成、glueでのデータ加工の設計・開発・テスト
DB:Dr.Sum+データ加工:Connectで作成しているシステムを
DB:RedShift+データ加工:glueでリプレースする
・対象システム数:7
<基本時間>
9:00~18:00
<服装>
基本的には自由
Web会議でクライアントとお話する時はビジネスカジュアル
【Python(リモート)】AI系サービスデータ基盤構築
業務委託(フリーランス)
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
〜技術環境〜
OS:Linux、Windows
言語:Python、SQL
DB:Redshift、Aurora(PostgreSQL互換)
Cloud:AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)
DWH:BigQuery、TreasureData等
機械学習系:Kedro、MLflow
CI:CircleCI
監視系:Sentry
その他:GitHub、Slack、CircleCI
【Python/リモート】新サービス導入に向けたAWS移行作業
作業内容 既存システムをAWS環境へ移行し、以下の作業をご担当いただきます。
・外部サービスとのAPI構築
・S3からRedshiftへのデータ取込バッチ構築
・Redshiftのデータマート構築
・他システムへのデータ連携
【分析基盤エンジニア】航空会社向けBIシステム データ抽出/加工支援
業務委託(フリーランス)
SQLAWSRedshift
作業内容 航空会社向けBIシステム データ抽出
【BI】飲食系の顧客向けデータ分析基盤構築|フルリモート
業務委託(フリーランス)
RedshiftTableau
サーバーサイドエンジニア
作業内容 ■案件内容
飲食系クライアント向けのBI(Tableau)構築案件です。
下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。
・フェーズ1(年末まで):データレイク、RedshiftでのDWH
・フェーズ2(1月以降):データマート作成、BI(Tableau)設計
PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。
Redshiftから抽出したデータ(数百GB)を2~3GBほどに圧縮しサーバーにパブリッシュします。
※フェーズ1でクレンジングできていないデータを
Excel VBAでデータマートに変換するタスクが発生する可能性があります。
■担当工程:
構築
■役割
メンバー
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
【Python(リモート)】某ゲーム会社様向け運用中のデータ分析基盤
作業内容 ・バッチ処理コード移行(Java(Spring Boot)→ Google Cloud Composer + Google Data Fusion + dbt) →実装、単体テスト、結合テスト、システムテスト ・SQL構文修正(Redshift(PostgresSQL) → BigQuery) →実装、単体テスト、結合テスト、システムテスト ・テーブルデータ移行(Redshift → BigQuery) →テーブル設計実装、データ移行、データ検証
【Tableau】BIエンジニアの求人・案件
業務委託(フリーランス)
AWSRedshiftTableau
作業内容 ・Tableau ダッシュボード作成/小売業向けPOSデータ可視化
・Tableauダッシュボードの開発・テスト(単体/結合)
■担当工程:
設計~テスト
■役割
メンバー
【Redshift/AWS/フルリモート】データエンジニア募集
業務委託(フリーランス)
SQLAWSGitGoogle Cloud PlatformRedshiftBigQuery
データサイエンティスト
作業内容 【案件】データエンジニア募集
【内容】
HR系企業のデータサイエンス部署にてデータマート開発実務を担当いただきます。
データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
<具体的な業務内容>
・分析用データマート開発
┗ 要件定義、データマート(テーブル)設計、SQL実装、テスト
・バッチ基盤(digdag)の実装、運用保守
・データエンジニアリング業務
┗ データの収集、加工、集計
・データマートの保守運用
・TableauのViz作成
【必須スキル】
・データマート設計
・Redshift、BigQueryでの大量データのハンドリング(SQL実装、データマート設計)経験
・クラウド(AWS、GCP)、オープンソース(digdag、git)
・要件定義
【尚可スキル】
・顧客折衝
・TableauでのViz作成経験
・Pythonなどのスクリプト経験
・HR系サービスの分析や企画開発経験
【Python/AWS(リモート)】位置情報ビッグデータアプリ開発
業務委託(フリーランス)
PythonDynamoDBAWSDockerBacklogGitHubReactRedshiftTypeScriptVSCodeCloudFrontLambda
バックエンドエンジニア
作業内容 アプリケーションの調査、設計、開発をご担当いただきます。
〜環境〜
フロントエンド:React(TypeScript)、wepack
バックエンド:Python
プラットフォーム:AWS
(CloudFront、Cognito、Batch、Lambda、CodeBuild、他多数使用)
データベース、ストレージ:Redshift、DynamoDB、S3
監視ツール:Cloudwatch、Sentry
仮想環境:Docker
その他開発ツール:VSCode、Jupyter nootbook
ソース管理:Github
プロジェクト管理:Backlog
コミュニケーション:Slack
【AWS/一部リモート】某生命保険会社AWS環境でのDWH構築案件
業務委託(フリーランス)
AWSRedshift
インフラエンジニアコンサル
作業内容 ・某生命保険会社のAWS環境にて、構築済のDWH基盤を更に拡充し更なるデータ集約、外部サイトのビックデータ収集、Redshift、EMRを使った データ分析を新たに構築する。
[以下補足]
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施。
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3
・Aurora
・QuickSight
・OpenAPI
・Lamda
・Glue
・EventBridge
・Step Functon
・EC2
・Athnea
・監視・通知系サービス(cloudwatch trail SNS)
・CloudFormation
◎新規追加予定のサービス
・Redshift
・EMR
・LakeFormation
・DynamoDB
・Kinesis Firehorse