AWS Glue設計構築プロジェクト
作業内容 AWS Glue設計構築プロジェクト(WiFiログデータシステム構築)にご参画いただきます。
CloudWatch,S3,Glue等のAWSサービスの設計・構築をお任せいたします。
<作業工程>
要件定義,設計開発,テスト
【AWSGlueなど】大手金融機関向け データ分析基盤構築の求人・案件
業務委託(フリーランス)
AWSGoogle Cloud PlatformGlue
作業内容 クラウドサービスを活用したデータ分析基盤構築をお任せいたします。
【Python】システム開発および基盤構築(リモート)
業務委託(フリーランス)
PythonDynamoDBAWSDockerGlueAthenaLambda
バックエンドエンジニア
作業内容 ・AWS上でLLMを活用するシステム開発および機能追加
・Pythonを利用したバックエンド開発
※メイン作業
(RestAPIのWEBシステム、Lambda、Glueなど)
・AWSインフラ設計、構築
・新技術調査、要件定義、設計、実装、テスト
【TL/フルリモート】大手ソフトウェア会社のデータ分析基盤開発
業務委託(フリーランス)
AWSRedshiftGlueAthena
サーバーサイドエンジニア
作業内容 下記における仕様策定、要求の明確化、エンジニアのチーミング
・複数のプロダクトからのデータ収集、加工・集計・可視化、分析結果からの将来予測など
・データレイクやDWHの構築
Oracle 通貨オプションデータマート案件
作業内容 市況データのデータカタログを作成し、ユーザが2次加工できるようにする対応をご担当いただきます。
例:データの分析、View作成など(SQLでのご対応)
<環境>
AWS Glue / Oracle
【Java】銀行系システムの周辺システム(情報系等)の再構築(リモート)
作業内容 【内容】
・銀行系システムにおけるシステムの再構築
・既存システム(汎用機+COBOL)を新システム(オープン系+Java+ローコード)に作り替える
【環境】
・Outsystems
・ASTERIA or Glue
・Java
Python / AWS 広告代理店向け分析開発
作業内容 Pythonを用いた分析開発案件(バックエンド)です。
<案件詳細>
・RestAPIのWEBシステム、Lambda、Glueなど
・AWSインフラ設計、構築
・技術調査、要件定義、設計、実装、テスト
【Python/SQL(リモート)】データ分析基盤データ連携/マート定常化作業
業務委託(フリーランス)
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambdaGoogle Workspace
バックエンドエンジニア
作業内容 データパイプラインのPythonでの実装作業です。
・データパイプラインのpython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
〜技術スタック〜
・AWS:Glue、Lambda、StepFunctions、Redshift、Redshift Spectrum、IAM、SageMaker、S3、EC2、CodePipeline、CodeDeploy
・GCP:BigQuery、GCS、CloudFunction、CloudComposer、
・DB:Redshift、PostgreSQL、Oracle、MySQL
・リポジトリ:Github Enterprise、CodeCommit
・コラボレーションツール:JIRA、Confluence、Backlog
・コミュニケーションツール:Slack、Google Workspaces
【Tableau/週5日/基本リモート】売上データ分析システム構築業務案件
業務委託(フリーランス)
SQLTableauGlue
作業内容 <募集企業>
某SIer様です。
<業務内容>
売上分析システム構築向けのETLツール、BIツール(Glue、alteryx、Tablau、QuickSight)の構築を行っていただきます。
適宜依頼があった際にデータ収集、加工、基礎分析作業も行っていただきます。
<参画期間>
・1〜3月までを想定(4月以降は別案件へスライドの可能性有)
<面談回数>
・1回を予定
<その他>
・出社について初日〜1週間程度は豊洲出社、その後リモート予定
・精算幅:140h~180h
・PCについて:貸与PCのみ
・支払いサイト:40日
・インボイス制度:未登録の場合、消費税無しでのお支払いになります
【AWS/フルリモート】エネルギー企業向け業務システム開発
業務委託(フリーランス)
PythonAWSGlueAuroraLambda
作業内容 【20代~40代の方向け】
・エネルギー業界向けの業務システムの開発を担当して頂きます。
・スクラムチームの中でAWSを利用したETL処理、業務担当者向けWebアプリケーションの開発となります。
【PM】AI系SaaSサービスプロジェクト(フルリモート)
業務委託(フリーランス)
PythonSQLPostgreSQLAWSDockerJIRAGitHubRedshiftGlueAthenaFargateTerraformAuroraLambda
PM
作業内容 AI×SaaSプロダクトの開発部門で、プロダクトの要件定義を担当いただきます。
・要件定義
・プロダクト仕様ドキュメント作成
・仕様策定
・品質管理など
【開発環境】
・言語: Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift、Athena
・ライブラリ・フレームワーク:PySpark、Pandas、Polars
・インフラ: Amazon Web Services
・AWS製品: Fargate、Glue、Step Functions、Lambda、SageMaker、QuickSight
・環境、ツール: Docker、GitHub、Jira、Slack、Sentry、Notion、Terraform
【Salesforce/リモート】SFA改修・AppExchange連携開発の案件
業務委託(フリーランス)
SQLApexAWSGlueSalesforceLambda
サーバーサイドエンジニア
作業内容 SFA改修と構築やAppExchange連携開発支援です。
下記のような業務をお願いします。
・CRMソリューションの導入・改修
CRMに関連するMA/データ連携の導入・改修
主に Salesforce Sales、Dynamincs365
※Salesforce Salesの情報の一部をAPI/連携ツール経由で外部サービスに連携予定
・CustomerService並びに関連システムとのデータ連携 (API/SQLベース)
※CustomerService領域は既存システムを活用予定
データ分析・基盤・構築支援
作業内容 顧客が提供する各プロダクトからデータを収集し、加工・集計・可視化業務をお任せいたします。
また、分析結果からの将来予測などもご対応いただく想定です。
<就業時間>
9:00‐18:00(フレックス可)
【AWS】需要予測システムのDWH設計/開発案件(リモート)
作業内容 需要予測システムから生成されたデータベースやファイルを、データレイク(S3)に保存する機能があり、Glueを利用して、そのデータを抽出・変換し、データウェアハウス(Redshift)から
データマート(Redshift)へ登録する機能の設計と開発を行っていただきます。
なお、スコープには含まれませんが、データマートに保存されたデータはBIツールによって読み取られ、レポートが作成される流れとなります。
データ加工処理マイグレーション検討
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。
現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。
現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。
※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ
クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。
現在想定しているマイグレーション例は、以下の通りです。
-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換
→Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の
Spark関連マネージド・サービスにマイグレーション
<就業時間>
9:00ー18:00
【Azure、AWS/一部リモート/週5日】Azure、AWSハイブリッド環境でのDWH環境構築案件
業務委託(フリーランス)
AWSAzure
アプリケーションエンジニア
作業内容
基本設計から総合テストまで
Azure、AWSで使用するサービス:
・Glue
・StepFunction
・Redshift
・オンプレミスデータゲートウェイ
・PowerBI Service
・Azure Service Bus
・AzueAD
・Sharepoint
・CloudWath
・AWS Backup
・S3
Salesforce改修構築支援
SQLApexAWSGlueSalesforceLambda
作業内容 Salesforceの改修構築支援業務をお任せいたします。
<業務内容>
・CRMソリューションの導入・改修
・CRMに関連するMA/データ連携の導入・改修(主にSalesforce Sales、Dynamincs365)
※Salesforce Salesの情報の一部をAPI/連携ツール経由で外部サービスに連携予定
・CustomerService並びに関連システムとのデータ連携 (API/SQLベース)
※CustomerService領域は既存システムを活用予定
<就業時間>
9:00ー18:00(フレックスあり)
【AWS】AWSマネージドサービスを利用したシステム基盤の求人・案件
業務委託(フリーランス)
PythonNode.jsAWSAmazon S3Vue.jsGlueAthenaAurora
作業内容 AWSのマネージドサービスを利用して運営しているシステム基盤に新たな新規システムを構築、また既存案件のエンハンスをご担当いただきます。
担当範囲、役割分担としては、SIerとともに要件定義を実施し基本設計まで執筆を対応、その後の開発工程はオフショアに連携しオフショア開発側が開発タスクを担当します。
オフショア成果物の受け入れ・検証も担当範囲に含まれます。
【Snowflake】某製薬会社向けデータ連携基盤設計構築の求人・案件
業務委託(フリーランス)
AWSJP1SnowflakeGlue
作業内容 【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01- 現行調査など
2024/02- 要件定義工程
【AWS(リモート)】損保会社向けAWSインフラ構築案件
業務委託(フリーランス)
AWSRedshiftSnowflake
作業内容 既存AWSインフラの追加開発や改修等をご担当いただきます。
大型AWSインフラシステムを学ぶことができます。
ツール:
・AWS
・SnowFlake
・RedShift
【SQL(リモート)】データ連携作業支援
作業内容 ・自動車メーカーのデータ連携部分の開発、運用作業
・AWSの環境構築や、設定変更などAWSの環境周りの作業
・データの加工、抽出などを行うため、DB関連の知識は必須
・基本的にはTalendから行うことになりますが、SQLの知識は必要
Java 大手小売業におけるアプリケーション開発
JavaDynamoDBSpringAWSGitGlueFargateDevOpsTerraformCloudFrontLambda
作業内容 AWSによるアプリケーション開発案件です。
販売・調達・物流いずれかのドメインを開発するスクラムチームにエンジニアとしてご参画いただきます。
そのため、ビジネスチームへの業務ヒアリング、アーキテクティング、設計、構築、実装、テスト、リリースといった一連のタスクをスクラム形式でチーム開発することが可能な方を募集しております。
<使用するAWSサービス>
Lambda / ECS Fargate / S3 /
CloudWatch / Kinesis
Terraform / CloudFront / VPC /
API Gateway / CodeCommit /
ECR / WAF / SQS / SNS / Control Tower /
SES / DynamoDB / CodePipeline / IAM /
CodeDeploy / Amplify / CodeBuild /
Cognito / Glue / ELB
<開発環境>
・インフラ: AWS
・OS:Lambda, ECS (Container)
・DB: DynamoDB
・言語:Java (Spring Boot), Terraform
<就業時間>
9:30~17:00
大手精密機器向けDWH運用・エンハンス案件でのアーキテクト兼PM補佐
AWSRedshiftSnowflakeGlueLambda
PMコンサル
作業内容 大手精密機器向けDWH運用・エンハンス案件にて、
DWHとBIの領域を中心に、顧客のレベル感や優先度を基に示唆出しをご対応いただきます。
現状PMが担っている下記業務の一部をご対応いただく想定です。
・基盤チームリーダー
‐基盤の構築/検証/運用(運営全般/環境見直し)のリード
‐各種システム間連携の企画・交渉・調整・検討・実施
‐新規データ連携の取込計画検討/検証、および既存データ群の維持・整備
‐障害発生時対応(対応方針検討・指示、関係者との情報連携、ポータル上への告知等)
・コンサル
‐活動状況や留意すべき問題から取組対象を抽出し、対応の方向性を週次で提案
‐各領域リーダーと日々の議論の中で、現時点や今後(中長期)での取組を具体化し、
適切なタイミングで施策としての計画を提案
・アーキテクト
‐四半期ごとの施策に基づき、対象アーキテクチャの検討・検証を推進
‐日々の発生事象から急ぎ対応すべき課題を抽出し、対応の方向性を検討・提案
‐必要に応じて、リソース監視、アーキテクチャ構築、ツール開発を実施
【AWS/リモート】データ分析基盤の構築/運用
業務委託(フリーランス)
WindowsLinuxAWSRedshift
作業内容 AWS上でのデータ分析基盤の構築/運用をご担当頂きます。
基盤構築〜運用業務まで、一気通貫で業務を実施頂きます。
社内システムDXプロジェクトにおけるAWS設計構築
DynamoDBAWSGitGlueFargateDevOpsAuroraCloudFrontLambda
作業内容 プラットフォームチームのプラットフォームエンジニアとしてご参画いただきます。
下記<AWSサービス>記載のDevOpsツール、監視、認証、アカウントサービスのような、
各チームが共通で利用する内部サービスやインフラストラクチャを定義・構築していただきます。
<AWSサービス>
Control Tower / Lambda / ECS Fargate /Aurora / CloudWatch /
CloudFront / VPC / API Gateway / Well-Architected / CodeCommit /
ECR / WAF / SQS / SNS / S3 /SES / DynamoDB / CodePipeline /
IAM / CodeDeploy / CodeBuild /Route 53 / GuardDuty / Cost Explorer /
Organizations / Transit Gateway /Cognito / Glue / ELB / Budgets / CloudTrail
<業務内容>
・プラットフォームガイドラインの作成
・DevOpsツールの定義・構築
<担当工程>
設計、構築、実装、テスト、リリース
<就業時間>
9:30‐17:00
【DWH】小売業 データエンジニアの求人・案件
業務委託(フリーランス)
TableauSnowflake
作業内容 グローバルブランドとして国内外に展開している某小売企業においてデータエンジニア業務をご担当いただきます。
少人数で運用出来る整ったデータ基盤を目指して、様々な技術やノウハウを積極的に試行していく予定です。
想定業務:
・データパイプライン清流化設計、実装
・データ項目定義
-データカタログ構築
-プロトタイピング(OpenMetadata)
・その他改善活動
【環境】
DWH:Snowflake
ETL:AWS Glue/dbt
BI:Looker/Tableau
【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援
業務委託(フリーランス)
Python
サーバーサイドエンジニアバックエンドエンジニア
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守
データ蓄積基盤の開発
下記いずれかに該当する方を求めています。
・Java/Scala/Pythonの開発経験
・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験
・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験
・Pandasライブライを用いた開発経験
・DataPipeline構築経験(ETL開発経験)
・AWS上でのシステム開発経験3年以上
・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用
・ServerlessFrameworkやCloudFormationを用いたリソース管理
・RDB/DWHの設計、パフォーマンスチューニングを行った経験
・アジャイルでのシステム開発経験
・JIRA/Confluence/Backlogなどを利用した開発経験
【SQL】大手求人検索サービスにおけるデータエンジニアの求人・案件
業務委託(フリーランス)
SQLAWSGoogle Cloud Platform
作業内容 【業務概要】
・大手求人検索サービスを展開されている企業様にてデータエンジニアとしてご参画いただきます。
・現在構築を進めている新しいデータ基盤への移行を推進するための開発作業をご担当いただきます。
【参画のメリット】
・大手企業様になりますので稼働は安定しております。
◆主な開発環境/ツール
クラウドサービス:AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.)
データ基盤:Databricks, Redash, etc.
プロビジョニング:Terraform
開発ツール:GitHub, Slack, JIRA
Go バックエンドエンジニア募集
PHPSQLGoMySQLRedisAWSDockerGitJenkinsMemcacheGoogle Cloud PlatformBigQueryTypeScriptGlueAthenaFargateDatadogTerraformCloudFrontCircleCILambda
バックエンドエンジニア
作業内容 各事業部がマーケティングで使用するツールを提供する横断組織にて、
現在CRM系のプロダクトを統合し、一元管理できるようにするためのプロジェクトを進行中です。
本案件では、一元管理ツールであるメルマガを新環境へ切り替えていただきます。
<開発環境>
・クラウドインフラ
‐GCP(Bigquery, CloudRun, CloudBigTable, CloudSpanner, MemoryStore, Pub/Sub)
‐AWS(Fargate, Athena, Glue, Lambda, S3, ALB, RDS MySQL, Elasticache Redis and Memcached, SQS, CloudFront)
・オンプレミス環境:あり
・開発言語:Go, TypeScript,PHP
・その他ツール:Github, Bitbucket, CircleCI, Jenkins, Datadog, Docker, Terraform, Slack, Confluence
・開発マシン:Mac(M1)
※一部古い仕組みを利用しており、PHPのバージョンは5.6、フレームワークはCodeigniter3(3.0.2)のものが存在しています。
<担当工程>
要件定義、基本設計、詳細設計、保守改修
<備考>
アダルトコンテンツあり
※DB内を確認する際などに文字の羅列を目にします。
また、配信クリエイティブにも含まれるため障害等で実際の配信をチェックする際には目にする可能性があります。
DWH再構築におけるテックリード
作業内容 顧客にて、販売管理・在庫管理等のシステム刷新と並行して、DWHについても刷新を進めており、
現在は要件定義を完了させ、今後は外部設計以降のフェーズを進め、カットオーバー予定してます。
関連システムの開発状況を考慮した上で、今後の運用方法やコストを踏まえ、
「データをどのような構造で収集・蓄積・活用していくか」を検討しながらDWHを開発していく必要がございます。
基本的にはPMが顧客折衝、メンバーが実作業を担当しており、
その間に入って要件整理・監修・作業指示・構築支援等をサポートしていただくテックリードを募集いたします。