【AWS】データ分析基盤構築
業務委託(フリーランス)
JavaCPythonSQLC#OracleMySQLPostgreSQLAWSBacklogJIRAGoogle Cloud PlatformRedshiftBigQueryGlueLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
通信キャリア会員向けECを運営しているグループ子会社での
データ基盤構築のPMO案件です。
主な業務内容は以下を想定しています。
・データ連携案件管理:
データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:
事業要請に応じたデータレイク,データウェハウス,
マートの実装,テスト
※基盤構築作業が中心でそれに付随して日程調整などの管理業務
若手メンバーのフォローやレビュー作業を担当します。
拠点は渋谷ですがフルリモート参画になります。
PC貸与はなしです、ご自身の端末からAWSWorkspaces上で作業を行います。
技術スタックは以下になります。
・AWS:Glue,Lambda,StepFunctions,Redshift,RedshiftSpectrum,IAM,SageMaker,S3,EC2,CodePipeline,CodeDeploy
・GCP:BigQuery,GCS,CloudFunction,CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:GithubEnterprise,CodeCommit
・コラボレーションツール:JIRA,Confluence,Backlog
・コミュニケーションツール:Slack,GSuite
時間は10:00~19:00応相談
場所:渋谷、フルリモート
清算方法:140-180上下割
打合せ回数:1回
※週5日〜OKの案件です!
【AWS】医療保険関連システムのIaCテンプレート開発
業務委託(フリーランス)
RAWSGlueTerraformCloudFormationAuroraLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■案件概要
医療保険関連システムのIaCテンプレート開発をご担当いただきます。
■PJ概要
本番稼働中の官公庁向けシステムに対して、自動構築用テンプレート
および単体テスト部分の自動テストの実装、PoCの実施
■作業概要
・自動構築:Terraformを使用したテンプレート開発
・自動テスト:ServerSpec等を使用したテストコード開発
■システム環境
下記、既存システム側の構成
・フロントエンド
・Web/APP:ECS/APIGateway/ELB/AutoScaling/ElastiCache
・データベース:DynamoDB/Aurora
・バッグエンド
・バッチ処理:ECS、AWSBatch、Lambda、StepFunctions
・ETL処理:Glue
・共通部分
・監視:Zabbix、CloudWatch
・認証:Cognito、IAM
・セキュリティ:KMS、CloudHSM、Inspector、GuardDuty
・CI/CD:Codeシリーズ、CloudFormation、ECR
■その他条件
精算条件:140h~180h
面談回数:1回
作業場所:八丁堀出社
勤務時間:9時00分~18時00分
※週5日〜OKの案件です!
※実務経験1年以上お持ちの方が対象の案件です!
【Python/AWS/フルリモート】製造業向けデータ基盤構築案件
業務委託(フリーランス)
PythonSQLAWSRedshiftGlueLambda
データサイエンティスト
作業内容 ・製造業向けデータ基盤構築案件に携わっていただきます。
・主に下記作業をご担当いただきます。
‐AWSサービス内で連携されたデータ(RDSforOracle)を他システム(原価システム)へのデータ生成
‐BIツール用のデータ生成構築
‐Lambda(Python、SQLArchemy)製造
‐単体テスト(仕様書作成、実施)
‐結合テスト
【Python】某メーカー開発
業務委託(フリーランス)
PythonAWS
サーバーサイドエンジニア
作業内容 基幹システムから収集しAWS S3に格納されたデータを基に、集計処理を稼働させ、所定のデータを生成していただきます。
【AWS】情報系システム刷新
作業内容 ・オンプレ上のNetezza、Marklogicで構築された情報系システムをAWS基盤に移行
する
・移行先AWS基盤(Redshift, AWS glue, EC2)の設計、構築、テストや、銀行共通基盤準拠の運用機能開発、手順作成がスコープ
AWS 某生命保険会社のAWS環境でのDWH構築
DynamoDBAWSRedshiftGlueCloudFormationAurora
インフラエンジニアコンサル
作業内容 某生命保険会社のAWS環境にて構築済のDWH基盤を更に拡充し、更なるデータ集約、外部サイトのビックデータ収集、Redshift, EMRを使った データ分析を新たに構築する。
<以下は補足>
・基盤だけでなくデータマートやスタースキーマ等、分析に適したデータ設計も 実施
・BIツール等のデータを扱う上での権限制御等も実施
・基盤全体のセキュリティに関する改修も実施可能性有
構築済のDWHサービス
・S3, Aurora, QuickSight, OpenAPI, Lamda, Glue, EventBridge, Step Functon, EC2, Athnea
監視・通知系サービス(CloudWatch Trail SNS)
・CloudFormation
新規追加予定のサービス
・Redshift, EMR, LakeFormation, DynamoDB, Kinesis Firehorse
【Python(Web開発系)】某大手銀行会社様向けのETL基盤構築案件
業務委託(フリーランス)
PythonSQLAWSRedshiftGlueAuroraLambda
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
某大手銀行向けにETL基盤を構築するプロジェクトです。ETL処理の設計からテストまでを担当し、データの抽出・変換・ロードを効率的に行います。
■具体的な作業内容
・ETL処理の設計と実装
・設計書の作成とレビュー
・単体テストと結合テストの実施
・システムテストと最終検証
・AWSを使用したETL処理の最適化と管理
【AWS】某メガバンク向け金融プラットフォーム開発
業務委託(フリーランス)
AWSGlueLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件内
某メガバンク向けの金融プラットフォームの開発案件が既存にあり、
インフラチームの一員として要件定義、
設計~構築、運用を一貫して対応いただける
クラウドエンジニアの方を募集致します。
アジャイル形式で開発を続けている
プラットフォームでインフラも
2週間のスプリントでエンハンス対応をしております。
AWSの基礎的な部分からモダンな
サービスまで幅広く利用しております。
▼技術要素
AWS(CDK、lambda、glue、sagemaker、ecs、ec2、rds、etc...)
▼条件等
場所:虎ノ門
※基本出社ですが、リモート併用も相談可能です
清算方法:140-180h(中間割)
打合せ回数:2回
備考:
・勤怠良好、体調に不安のない方
・金融業界向けSIer様ですが、「スマホ持込不可」等の制限はございません
※週5日〜OKの案件です!
【Python】大手コンビニ向けETL処理開発
作業内容 ・コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena、toSnowflake)
・取り込んだデータを使用してのマート作成(Athena、Snowflake)
【Python】大手コンビニ向けETL処理開発
作業内容 ・コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena、toSnowflake)
・取り込んだデータを使用してのマート作成(Athena、Snowflake)
【Python/リモート】大手コンビニ向けETL処理開発
作業内容 ・コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発
・他システムから連携されるファイルの取り込み(to Athena、toSnowflake)
・取り込んだデータを使用してのマート作成(Athena、Snowflake)
【AWS】金融機関向けのデータ基盤構築および分析支援
業務委託(フリーランス)
JavaVB.NETCOBOLRVBWindowsLinuxAWSVMwareReactTableauSpringBootGlueAurora
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
金融機関向けのデータ基盤構築・分析支援をご担当いただけるSEの方を募集しております。
情報子会社の立ち位置にて、ベンダーがおこなう納品成果物のチェックおよび企業への報告を担当。
・情報系統合データベース分析・加工対応支援などのユーザ受入れ支援
・大規模データベースに蓄積された情報をBIツールなどを利用してユーザの欲する情報を照会する開発のユーザ支援
※実際の手を動かす作業は基本ありません。
【環境】:AWSのAurora、ETLツール、BIツール
【場所】:豊洲※リモート可(リモート5割程度予定)
【時間精算】:相談/140-200h
【面談回数】:1回
【その他】:
・コミュニケーションが良好な方
・BIツール経験
※週5日〜OKの案件です!
【AWS/フルリモート】製造業向けデータ基盤構築案件
作業内容 ・AWSクラウド環境でのAWSサービスを活用したデータ基盤構築に携わっていただきます。
・データ基盤構築により下記のような運用に変わるイメージです。
現運用:データソースの手動取得⇒ETLツールを手動実行⇒BIツール
本運用:データソースを自動取得AWSサービス(AppFlow, Lambda)⇒ETLツールを自動実行⇒BIツール
また、上記処理の監視、エラーハンドリング機能(CloudWatch, StepFunctions)
・ご担当いただくのは主に下記作業です。
-詳細設計書作成
-各インターフェースからデータを取得する収集処理の実装(AppFlow, Lambda(Python))
-収集したデータからデータマートを作成する変換処理の実装(Glue(pySpark, Spark SQL))
-検証作業(単体、結合、総合)
New【Ruby/Python】データ基盤エンジニア募集の求人・案件
業務委託(フリーランス)
PythonRubyRailsAWSDockerReactRedshiftTypeScriptGlueAthena
作業内容 AWSで開発・運用されているサービスのデータ基盤エンジニアとして開発・運用・保守を担当いただきます。具体的にはデジタルサービスを開発・運用するための社内プラットフォーム内の基盤群の開発・運用・運用改善を担当。
【AWS/Python】データ連携アプリ開発
業務委託(フリーランス)
PythonAWSFargate
バックエンドエンジニア
作業内容 同社クライアントのDX事業会社様の案件になります。
現在開発中のシステムに対する追加機能の設計実装をお任せ致します。
工程:アプリケーション設計~総合テスト
AWSエンジニア 情報系システムリプレース
作業内容 ・オンプレ上のNetezza、Marklogicで構築された情報系システムをAWS基盤に移行
する
・移行先AWS基盤(Redshift、AWSglue、EC2)の設計、構築、テストや、銀行共通基盤準拠の運用機能開発、手順作成がスコープ
【Java】銀行情報系アプリケーション開発
業務委託(フリーランス)
JavaWindowsLinuxSpringAWSGlueAurora
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
銀行情報系アプリケーション開発
【開発環境】
Java
Spring
AWS(各種)、Linux、WindowsSever
【主に行う業務】
金融系クラウドの業務関連システム情報系(データ利活用機能など)の
アプリケーション開発をしていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
・主体的に動ける方
【作業工程】
基本設計~運用保守(参画時期により変更の可能性あり)
【場所】
新宿or川崎駅
※メインは川崎になります。
一部新宿に出社の可能性もあります。
【勤務時間】
9:00~18:00(予定)
【精算】
140-200h
【面談】
1回
【備考】
・服装:ビジネスカジュアルまたはスーツ
※週5日〜OKの案件です!
【Java/20代30代活躍中】銀行情報系アプリケーション開発
業務委託(フリーランス)
JavaWindowsLinuxSpringAWSGlueAurora
作業内容 【概要】
銀行情報系アプリケーション開発
【開発環境】
Java
Spring
AWS(各種)、Linux、WindowsSever
【主に行う業務】
金融系クラウドの業務関連システム情報系(データ利活用機能など)の
アプリケーション開発をしていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
・主体的に動ける方
【作業工程】
基本設計~運用保守(参画時期により変更の可能性あり)
【場所】
新宿or川崎駅
※基本常駐
【勤務時間】
9:00~18:00(予定)
【精算】
140h~200h
【面談】
1回
【備考】
・服装:ビジネスカジュアルまたはスーツ
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
New【Python】金融関連システムAWS更改の求人・案件
作業内容 作業内容:PySperkを用いたデータ連携システムの構築工 程 :基本設計~総合試験開発環境:AWS、PySperk
【データエンジニア/AWS】電機メーカー向けデータインフラ基盤構築案件
業務委託(フリーランス)
AWS
データサイエンティスト
作業内容 ・電機メーカー向けデータインフラの基盤構築を担当していただきます。
【PL】原価計算システム再構築案件
業務委託(フリーランス)
JavaScriptReact
PL
作業内容 ・原価計算システム再構築に携わっていただきます。
・ご担当フェーズは、PL/基本設計~です。
AWS DX組織におけるデータマネジメント業務
作業内容 大手小売業のDX組織(分析基盤構築/運用、活用推進組織)におけるデータマネジメント業務をご対応頂きます。
<主に下記業務を実施>
①業務プロセス検討・改善
・基本的な考え方はDMBOKを参考に、データマネジメントに関する業務プロセスの課題整理・改善を実施
・特にメタデータ、セキュリティに関するガバナンスに注力して推進中
②運用業務
セキュリティ関連のレビュー/相談
・顧客会社内のセキュリティレベルに則り、データ利用範囲や格納環境が適切かなどをチェック
データカタログ管理
・分析基盤内で蓄積・加工するデータのカタログ設計と記載内容のレビュー
<環境・ツール>
・AWS(S3, EC2, Glue, RDS, Redshift etc)
・dbt
・Tableau
<服装>
オフィスカジュアル
【Snowflake】某製薬会社向けデータ連携基盤設計構築の求人・案件
業務委託(フリーランス)
AWSJP1SnowflakeGlue
作業内容 【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01- 現行調査など
2024/02- 要件定義工程
AWS データレイク・DWH管理等
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
<開発環境>
言語:Python, Hive, Spark
AWS:EMR, Glue, Athena, Lambda, APIGateway
GCP:BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他:Terraform, CircleCI, GithubActions, digdag, embulk
<備考>
基本リモート
<基本時間>
10:00~19:00
【GCP】スニーカー売買プラットフォームのデータ分析基盤の開発の求人・案件
業務委託(フリーランス)
AWSApacheGitGoogle Cloud PlatformGlueCircleCI
作業内容 話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築
【Python(Web開発系)】社内ツール開発およびデータ分析支援(20代〜40代活躍中!・週4日以上稼働可能な方にぴったり!)
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
社内ツールの開発およびデータ分析業務を担当します。Pythonを使用してツールを開発し、データ分析を行います。また、AWS(Redshift、Glue、Lambda)を活用したインフラ構築や、要件定義から設計・開発・テストまでの一貫したプロジェクト管理も含まれます。サブリーダー経験やシステム開発経験がある方は歓迎です。
■具体的な業務内容
・社内向けツールの仕様作成および開発
・Pythonを使用したデータ分析および処理
・AWS(Redshift、Glue、Lambda)を使用したインフラ構築および運用
・SQL(PostgreSQL)を使用したデータベース管理
・プロジェクトのサブリーダーとしての進行管理(尚可)
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【AWS】分析基盤構築
作業内容 PoC的にAWS上で分析基盤を構築するため分析基盤の方式検討、設計、構築等を実施いただきます。
【AWS】大手小売業のDX組織におけるデータマネジメント
業務委託(フリーランス)
AWSTableauGlue
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件
・大手小売業のDX組織(分析基盤構築/運用、
活用推進組織)におけるデータマネジメント業務頂きます。
・4,5名のチーム体制で主に下記業務を実施
▼業務プロセス検討・改善
・基本的な考え方はDMBOKを参考に、
データマネジメントに関する業務プロセスの課題整理・改善を実施
・特にメタデータ、セキュリティに関するガバナンスに注力して推進中
▼運用業務
・セキュリティ関連のレビュー/相談
顧客会社内のセキュリティレベルに則り、
データ利用範囲や格納環境が適切かなどをチェック
・データカタログ管理
分析基盤内で蓄積・加工するデータのカタログ設計と
記載内容のレビュー
▼環境・ツール
・AWS(S3,EC2,Glue,RDS,Redshiftetc)
・dbt
・Tableau
▼条件等
場所:麹町(リモート可)
清算方法:140‐180h(中間割)
打合せ回数:2回
※週5日〜OKの案件です!
【AWS】データマネジメント
業務委託(フリーランス)
AWSTableauGlue
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件内容
大手小売業のDX組織(分析基盤構築/運用、活用推進組織)における
データマネジメント業務頂きます。
▼主に下記業務を実施
①業務プロセス検討・改善
・基本的な考え方はDMBOKを参考に、
データマネジメントに関する業務プロセスの課題整理・改善を実施
・特にメタデータ、セキュリティに関するガバナンスに注力して推進中
②運用業務
・セキュリティ関連のレビュー/相談
顧客会社内のセキュリティレベルに則り、
データ利用範囲や格納環境が 適切かなどをチェック
・データカタログ管理
分析基盤内で蓄積・加工するデータのカタログ設計と
記載内容のレビュー
▼環境・ツール
・AWS(S3, EC2, Glue, RDS, Redshift etc)
・dbt
・Tableau
▼条件等
場所:リモート可/麹町
打合せ回数:2回
※週5日〜OKの案件です!
※実務経験1年以上お持ちの方が対象の案件です!
【リモート】ETL開発
業務委託(フリーランス)
PythonSQLAWSGitHub
サーバーサイドエンジニア
作業内容 ・現行オンプレHadoopでデータレイク+データマート構築しているものをクラウド移行
・移行対象は40テーブル、ETL処理100本
・Glue+PythonでETL開発