【クラウドエンジニア】事業会社向け AWS を用いたETL処理及び開発
業務委託(フリーランス)
PythonSQLAWSRedshiftGlue
作業内容 ■業務内容
大手事業会社向け、AWSを用いたETL処理及び開発業務を担っていただきます。
具体的にお任せしたい業務としては以下の通りです。
└Amazon RDS/Redshiftに格納されたデータの読み込み
└上記データを用いたAWS GlueでのETL処理の開発
└EC2上に配置されたファイルのAWS GlueでのETL処理の開発
└設計書、報告用資料の作成
■同社について
独立系SIer企業として、創業から製造、流通、金融などの幅広い業界分野にわたり、多種多様な業務系システム構築を手がけてこられた企業様です。
お客様先での常駐開発、自社受託開発などの業務系システム構築から、データ統計解析、Iot支援等 幅広く事業展開をされていらっしゃいます。
【SQL】データ分析基盤の開発支援の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3
、Quicksight)
AWS / Python IoTデータ分析基盤の設計・構築・テスト
作業内容 AWS上に、IoTデータを集積したレイクハウスを設計・構築いたします。
AWS Glue、StepFunctionsによる設計・構築・テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS GlueやSparkの技術に明るく、性能面、コスト面から最適化のアプローチができる方を募集しております。
<基本時間>
10:00~19:00
New【Python/SQL】AWS/ETL処理開発の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 小売業様向けに、AWS環境でETL処理の追加開発を行う
Amazon RDS/Redshiftに格納されたデータの読み込み
上記データを用いたAWS Glue(Python+SQL)でのETL処理の開発
EC2上に配置されたファイルのAWS Lambda(Python)を用いた取り込み処理の開発
設計書、報告用資料の作成
(リーダのみ)顧客との各種折衝、メンバの管理
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
【PM】物流/倉庫会社向けデータ分析基盤構築案件
業務委託(フリーランス)
PythonAWSRedshiftGlueLambda
データベースエンジニアPM
作業内容 ・物流企業の案件で、データ分析基盤構築プロジェクトにおいて、大量データを効率的に蓄積/管理し、領域横断的なビジネスの課題提起、施策検証に活用するための分析環境ならびに BIツールの整備等に携わっていただきます。
・具体的には下記作業のサポートを行っていただきます。
-データ加工パイプライン作成
-Glue及びGlue DataBrewにてRedshiftへのETL処理
-LambdaにてDWH処理の自動化及びデータクレンジング
-DWHの論理設計
-AWS全般の作業
-プロジェクト管理 等
New【SQL】データ分析基盤の開発支援の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3、Quicksight)
【AWS】クラウドデータ分析基盤構築案件
業務委託(フリーランス)
PythonAWS
インフラエンジニア
作業内容 ・クラウドデータ分析基盤の構築に携わっていただきます。
・下記を行っていただきます。
-AWS Glueを活用したデータ連携
-Snowflakeへのデータ活用基盤構築
【Python】カード会社向けシステムリプレイス
業務委託(フリーランス)
PHPCPythonSQLAWSGlue
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
案件
カード会社向けシステムリプレイス
をご担当いただきます。
現行DWHシステムのOracleExadata→AWS載替
▼条件等
場所:恵比寿
精算:あり
お顔合わせ:1回
※週5日〜OKの案件です!
【リモート】データ分析基盤の開発要員
業務委託(フリーランス)
Glue
データサイエンティスト
作業内容 各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測など。
テックリードとSE2名ずつの募集です。
【Python】顧客社内データ可視化PJの求人・案件
業務委託(フリーランス)
PythonAWSGlueAthena
作業内容 ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ-から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境 :Python(PySpark, pandas)AWS(RDS、Athena、Lambda、Glue、QuickSight)など
【AWS Glue】会計ソフトメーカー向けデータ分析基盤構築PJ
業務委託(フリーランス)
AWSGlue
インフラエンジニアデータベースエンジニア
作業内容 ・会計ソフトメーカー向けデータ分析基盤構築PJに携わっていただきます。
・主にご担当いただきます。
-データ分析基盤の構築
-データを収集、加工するための調査、設計、実装
-機能の設計、実装
【AWS/フルリモート】AWS移行案件
業務委託(フリーランス)
SQLLinuxAWSGitSVNviGlue
作業内容 ・車検やタイヤ交換など、車の整備専門検索サイトのAWS移行作業に携わっていただきます。
・具体的な作業内容は以下の通りです。
-AWS Glueを用いた開発
【AWS Glue+QuickSight/基本リモート】データ分析基盤構築(データエンジニア)
業務委託(フリーランス)
AWSGlue
データサイエンティスト
作業内容 ①新しく立ち上げるサービスのリリースに向けてデータの収集、加工、可視化対応を行う
②既存のデータ抽出の移行や統合対応
⇒イメージ:要件化したものを自動化し更新できる仕組みづくりを対応いただく
③マーケティング施策のための顧客データ基盤構築対応
【SQL】トライネットシステム開発支援の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSGlueAthena
作業内容 ■開発環境
プログラミング言語:Python
ライブラリ:PySpark, pandas
データベース:AWS RDS (SQLServer), AWS Athena(trino)
環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール:QuickSight
■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務
AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善
・データマート日次運用保守業務
【SQL/Python】新規データマート作成の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSGlueAthena
作業内容 ・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務
AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善
・データマート日次運用保守業務
【現場環境】
・プログラミング言語: Python
・ライブラリ: PySpark, pandas
・データベース: AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS: AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール: QuickSight
【SQL/Python】DWH/BIの求人・案件
業務委託(フリーランス)
PythonSQLAWSGlueAthena
作業内容 ・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務
AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善
・データマート日次運用保守業務
【開発環境】
プログラミング言語:Python
ライブラリ:PySpark, pandas
データベース:AWS RDS (SQLServer), AWS Athena(trino)
環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール:QuickSight
【AWS】カード会社向けシステムリプレイス
業務委託(フリーランス)
PHPCSQLAWSGlue
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件
カード会社向けシステムリプレイス
をご担当いただきます。
現行DWHシステムのOracleExadata→AWS載替
▼条件等
場所:恵比寿
精算:あり
お顔合わせ:1回
※週5日〜OKの案件です!
【Python】製造業向けデータエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSRedshiftGlueLambda
作業内容 クライアントの調達部門にてAWSを利用した購買データのデータパイプライン構築~運用をご担当いただきます。
AWS データ分析基盤の開発要員募集
PythonMySQLAWSBacklogRedshiftGlueAthenaAurora
作業内容 各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測等をご担当頂きます。
会計系のシステムをメインとしてはご担当頂く予定ですが、状況に応じて他業界の業務を担当頂く可能性もあります
<環境>
インフラ:AWS(Athena, Redshift, Glue, QuickSightなど)
DB:RDS(Aurora MySQL)
ETL:AWS Glue
BIツール:QuickSight
言語:Python
その他:Slack, Zoom, Backlog, DocBase
開発手法:アジャイル開発
【AWS】データ基盤改善とセキュリティ構築のインフラエンジニア
業務委託(フリーランス)
AWSGlueAthena
インフラエンジニアサーバーエンジニア
作業内容 ■業務内容
人材業界向けのシステムにおいてインフラエンジニアとして以下業務をご担当いただきます。
・データ基盤の改善
└既存データレイクの調査と改善
・ログ管理機能及びセキュリティの設計と構築
AWS / SQL データ分析エンジニア募集
SQLAWSGlueTerraformLambda
作業内容 顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
リーダーとして工程管理、本部横断調整などをお願いします。
各アカウントと連携を取りながら推進していくため、高いコミュニケーションとBI/ETLの深い知識が必要になります。
環境は下記のを想定
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda, StepFunctionを想定)
・Terraformを利用した構成管理(Glueのジョブ, IAMロール, S3, Quicksight)
<備考>
基本リモート
必要に応じ出社あり
<基本時間>
9:00~18:00
<服装>
オフィスカジュアル、自由
Oracle 通貨オプションデータマート案件
作業内容 市況データのデータカタログを作成し、ユーザが2次加工できるようにする対応をご担当いただきます。
例:データの分析、View作成など(SQLでのご対応)
<環境>
AWS Glue / Oracle
※※こちらの案件は現在募集を終了しております※※
【分析基盤エンジニア】AWS・Snowflakeデータ分析基盤構築の求人・案件
業務委託(フリーランス)
SQLAWSSnowflakeGlue
作業内容 ・大手文具メーカーにおけるデータ分析基盤構築案件
・要件定義から設計、開発、リリースまでを担当
・AWSとSnowflakeを用いたデータ分析システム(ETL、DWH、BIなど)の開発を行うチームに参画予定
【環境】
・AWSサービス:S3、Glue、StepFunctions、CloudWatch、QuickSight、DataZone
・DWH:Snowflake
・開発ツール:dbt
【AWS】某製薬会社向け/運用中データ分析基盤の保守運用の求人・案件
業務委託(フリーランス)
PythonAWSGlueLambda
作業内容 ・AWS(Lambda、Glue、Step Functions)を用いた
既存資源の改修、本番環境リリース
障害・仕様変更等発生時の既存資源の修正、リリース
・管理業務、業務改善
ユーザー、DB、ドキュメントのデータ分析基盤内の管理業務
・運用監視
データ分析基盤内エラー監視方針の検討及びエラー時の運用対応
【分析基盤エンジニア】大手金融機関向け データ分析基盤構築の求人・案件
業務委託(フリーランス)
AWSGoogle Cloud PlatformGlue
作業内容 クラウドサービスを活用したデータ分析基盤構築をお任せいたします。
【AWS】クラウド環境システム追加構築案件
業務委託(フリーランス)
AWSGlueAurora
インフラエンジニアサーバーエンジニア
作業内容 ・既存AWS環境へのシステム追加構築における、構築の追加/運用関連作業をご担当いただきます。
【Python/フルリモート】データウェアハウス構築案件
業務委託(フリーランス)
PythonSQLShellAWSRedshiftGlueLambda
作業内容 ・某大手小売企業様向けのデータウェアハウス基盤構築 プロジェクトに携わっていただきます。
・作業内容は以下の通りです。
-ETL処理の開発作業
(設計・設計書作成・実装・単体テスト)
(ETL処理の開発テンプレートの理解)
-ETL処理の結合テスト作業以降
(結合テスト、システムテスト)
【AWS】事業会社の合併に際する基盤移行支援の求人・案件
作業内容 某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。
現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。
下記の作業を行うにあたりアーキテクト(テックリード)のような立ち位置で支援していただける方を募集しています。
・AWS SaaSを利用したデータパイプライン環境構築
-Lambda
-Glue
-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境
SQL AWSデータ基盤構築
PythonSQLShellAWSSnowflakeGlueAthenaLambda
作業内容 AWS, Snowflake上にデータ基盤の新規構築を行って頂きます。
主な構成要素は下記となります。
・データ収集I/F(インバウンド)
・データレイク
・データウェアハウス
・データマート
・データ活用I/F(アウトバウンド)
<作業内容>
・I/F系のAPIの設計、開発
・データレイク内のデータ加工、データウェアハウス/データマートへのデータ格納ジョブの設計、開発AWS Glue(Python Shell)/Lambda/Snowflake ストアドプロシージャなどを使い分けます。
ワークフロー/トリガーの定義・設定
・AWS Database Migration Serviceを利用したデータソースのトランザクションログの読み取り処理の設計・実装
※現場メンバーと役割分担の上で上記作業に対応いただく想定です
<開発環境>
AWS(EC2, S3, Lambda, Glue, Athena, CloudWatch, Step Functions, EventBridge 等), Snowflake
<備考>
要件定義や上流工程の作業は出社
他は在宅勤務
<基本時間>
9:30~18:30
【DWH】土地・建物情報データ連携基盤構築の求人・案件
業務委託(フリーランス)
PythonAWSAmazon S3GlueLambda
作業内容 土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築
SQL 基幹DBの運用とデータ分析
SQLAWSRedshiftGlueLambda
データアナリスト
作業内容 データアナリストとして、学習塾における基幹DBの運用とデータ分析をして頂きます。
<業務内容>
保守運用
・AWSのデータ取り込みの管理、運用
・デイリーバッチの理解と管理
SQLによるデータ抽出
・複数テーブル結合におけるデータベース及びView設計
・クエリの設計と作成
・クエリの動作確認におけるテストの実施
抽出データの分析
<開発環境>
・AWS Glue
・AWS Lambda
・AWS Redshift
【AWS/Angular/Node.js/リモート併用】新規システムのAWS基盤構築案件の案件・求人
業務委託(フリーランス)
Node.jsAngularAWSGlueLambda
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間:随時~
案件内容:要件定義~結合テストまで
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
【Java/python】カーリース会社向けメールサービス再構築検証/リモート併用・
業務委託(フリーランス)
JavaPython
バックエンドエンジニア
作業内容 ■概要
AWSのLambda(java)で作成されたメール送信機能を、
AWSのGlueで再構築するPoCを実施。
■勤務体系
リモート併用(週1,2出社(現場は笹塚))
【AWS】データ分析基盤構築支援の求人・案件
作業内容 顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測などをお願いします。
Python / SQL 大手コンビニ向けETL処理開発
PythonSQLAWSSnowflakeGlueAthena
作業内容 コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena, to Snowflake)
・取り込んだデータを使用してのマート作成(Athena, Snowflake)
<備考>
基本リモートワーク
<基本時間>
9:30~18:00
【ほぼフルリモート】某大手通信事業者向けデータ加工処理マイグレーション検討
業務委託(フリーランス)
SparkAWSApacheSnowflakeGlue
作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます
【マイグレーション例】
・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する
⇒Databricks、snowflake(snowpark)、AWS(Glue,EMR)等のSpark関連マネージド・サービスにマイグレーション
【AWS】データレイク調査/改善案件
業務委託(フリーランス)
OracleAWSGlueAthena
インフラエンジニアセキュリティエンジニア
作業内容 ・下記を行っていただきます。
-セキュリティ強化
-一部GCPを使用しているため、AWSに統一
-アプリ処理方式の改善
-データソース側の影響の削減
【AWS】大手学習塾企業AWSマネジメント保守運用
業務委託(フリーランス)
SQLAWSRedshiftTableauGlueLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件内容
・大手学習塾企業AWSマネジメント保守運用
・AWSマネジメントと保守運用
・複数テーブル結合におけるデータベース及びView設計
・クエリの設計と作成
・クエリの動作確認におけるテストの実施
・AWSのデータ取り込みの管理、運用
・デイリーバッチの理解と管理
・AWSGlue
・AWSLambda
・AWSRedshift
▼条件等
場所:リモート作業が基本必要に応じて対面打合せあり
清算方法:140-180
打合せ回数:1回
※週5日〜OKの案件です!
※実務経験1年以上お持ちの方が対象の案件です!
【AWS】データ分析
業務委託(フリーランス)
JavaScriptCPythonSQLC#HTMLAWSTypeScriptGlueTerraformLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■内容
顧客内の情報を一元的に管理・可視化する、
データ分析基盤の開発支援です。
リーダーとして工程管理、本部横断調整などをお願いします。
各アカウントと連携を取りながら推進していくため、
高いコミュニケーションとBI/ETLの深い知識が必要になります。
■環境
・データソースの収集
・S3への蓄積
・AWSGlueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3
、Quicksight)
■精算:有140-180h
■場所:リモート可/秋葉原駅
■時間:定時9:00~18:00(フレックス相談可)
■面談:1回
■備考:
・初日は機材手続きのため秋葉原または池袋に出社をお願いします
※また、基本リモートですが必要に応じオフィスへ出社頂く可能性あり(応相談)
・円滑なコミュニケーションを図るため業務中はZoom常時接続となります
※週5日〜OKの案件です!