Lambda / SQL AWSデータエンジニアリング
PythonSQLDynamoDBAWSRedshiftGlueLambda
作業内容 AWS基盤上に収集する、車載機から送られてくる生データの整形や分析をして頂きます。
データ分析をするためのツールのプログラム言語としては、Pythonを使用する想定です。
データエンジニアリングが得意な方をお待ちしております。
<作業工程>
設計、開発、テスト(分析に関わるLambda周り)
<開発環境>
インフラ:AWS上
言語:Python予定
<使用するAWSサービス>
Lambda/S3/DynamoDB/Glue/Atena/QuickSight
※使用の可能性があるもの
Redshift/SageMaker
<備考>
フルリモート
AWS / Azure ローコード開発案件
作業内容 ローコード開発案件
<業務範囲>
設計、開発、テスト
※各種製品のマスターマネジメントシステム(マスター統合)を実施中
<備考>
週1日程度リモート
残りはオンサイト
<基本時間>
9:00~17:40
【AWS/フルリモート】AWSのバッチシステム構築
業務委託(フリーランス)
AWSGlueLambda
インフラエンジニア
作業内容 24年1月が本番運用開始のシステムの開発の基幹システムのバッチシステム開発(データ受信、取込、加工、外部への提供)を行っていただきます。
背景としてはAWS上に構築するにあたり、チームにAWSに知見のあるメンバーが不在で進捗遅れがあるため、外部から有識者を引き入れて対応を加速させたいという意図です。
【AWS/MySQL/リモート併用】ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・日本語ビジネスレベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
・既存のAWSETL環境の調査改善・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)※対象環境はミッションクリティカルではないデータ処理基盤となる
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【AWS/一部リモート】データ収集プラットフォームの設計・構築
作業内容 データ収集プラットフォームの設計・構築作業案件です。
ご担当していただくのは、AWS Lake Formation, Glue等、各種データ収集・整形サービスを利用したデータ収集基盤、及びそれらに関連する機能の設計と構築です。
【AWS】金融機関向け管理システム構築案件
業務委託(フリーランス)
AWSGlueLambda
インフラエンジニアPM
作業内容 ・AWSインフラ部分の構築をメインにご担当いただきます。
Python(pandas)でのデータレイク基盤構築
PythonSQLShellDynamoDBAWSGitBacklogRedshiftLambda
作業内容 Python3のデータ分析であるpandasを使用してのデータレイク基盤構築案件になります。
AWS EC2→AWS Glueへの新アーキテクチャ対応移行作業をご担当していただく予定です。
<主な作業内容>
・既存ソースコードの修正
・単体テスト、結合テスト、システムテスト
・移行テスト、パフォーマンステスト、運用テスト
リモート/AWS・Python:エネルギー企業向け業務システム開発
業務委託(フリーランス)
PythonAWSGlueAuroraLambda
サーバーサイドエンジニア
作業内容 ・エネルギー業界向けの業務システムの開発を担当して頂きます。
・スクラムチームの中でAWSを利用したETL処理、業務担当者向けWebアプリケーションの開発となります。
Python / SQL / AWS データウェアハウス基盤構築案件
PythonSQLShellAWSRedshiftGlueLambda
作業内容 某大手携帯会社様向けのデータウェアハウス基盤構築プロジェクトになります。
<作業内容>(上から優先度が高い順)
ETL処理の開発作業
・設計・設計書作成・実装・単体テスト
・ETL処理の開発テンプレートの理解
ETL処理の結合テスト作業以降
・結合テスト、システムテスト
<基本時間>
9:30~18:30
フレックスタイム制
【PowerBI/Microsoft365/AWS/一部リモート】製造業向け業務システム開発案件
業務委託(フリーランス)
PythonWindowsLinuxUnixAWSRedshiftGlue
サーバーサイドエンジニア
作業内容 ・PowerBI、Microsoft365、AWSを用いた製造業向け業務システム開発案件に携わっていただきます。
・主に下記作業をご担当いただきます。
-(要件定義)基本設計、詳細設計、開発、単体テスト
【フルリモート|AWS】AWSサービスを活用した機能改善・レベルアップ対応
作業内容 某大手証券会社にて使用しているシステムに対し、AWSサービスを活用して機能の改善、レベルアップ対応を行っていただきます。
具体的な作業内容は下記です。
・AWSサービスを活用した機能の改善/レベルアップ対応
・新規機能追加のための技術調査
・リリース済み機能でエラーが発生した場合の調査等、各種問合せ対応
※顧客とコミュニケーションをとりながら、新しい技術に積極的に取り組み、自走できる方を求めております。
【担当工程】
要件定義,基本設計,詳細設計,実装,テスト,運用・保守
【AWS】AWS基盤調査/改善案件
業務委託(フリーランス)
AWSGlueAthena
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・AWS基盤の調査/改善に携わっていただきます。
・主に下記業務をご担当いただきます。
-既存のAWSデータレイク基盤の調査改善/ログ管理機能
-セキュリティの設計/構築
AWS バッチシステム開発
作業内容 24年1月が本番運用開始のシステムの開発の基幹システムのバッチシステム開発(データ受信、取込、加工、外部への提供)を行っていただきます。
・AWS上に構築するにあたり、チームにAWSに知見のあるメンバーが不在で進捗遅れがあるため、外部から有識者を引き入れて対応を加速させたい
<服装>
オフィスカジュアル
【AWS】製造業向けデータ分析基盤構築・社内向け研究開発の求人・案件
業務委託(フリーランス)
AWSSnowflakeGlue
作業内容 ・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います
①製造業向けデータ分析基盤構築:要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【Python】データ分析基盤の開発
業務委託(フリーランス)
JavaCPythonSQLC#OracleMySQLPostgreSQLAWSBacklogJIRAGoogle Cloud PlatformRedshiftBigQueryGlueLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■案件
データ分析基盤の開発及び運用業務をご担当いただきます。
基盤構築:事業要請に応じたデータレイク,データウェハウス,マートの実装,運用,テスト
■技術スタック
・AWS:Glue,Lambda,StepFunctions,Redshift,RedshiftSpectrum,IAM,SageMaker,S3,EC2,CodePipeline,CodeDeploy
・GCP:BigQuery,GCS,CloudFunction,CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:GithubEnterprise,CodeCommit
・コラボレーションツール:JIRA,Confluence,Backlog
・コミュニケーションツール:Slack,GSuite
■条件等
面談:1回
場所:リモート可/渋谷
※週4日リモート、週1出社となります
服装:オフィスカジュアル
精算方法:140-180h
※週5日~OKの案件です!
【Python】薬局向けプラットフォーム 機械学習エンジニアの求人・案件
業務委託(フリーランス)
PythonAWSAmazon S3ApacheGlueLambda
AIエンジニア機械学習エンジニア
作業内容 【概要】
薬剤在庫管理における需要予測モデルの改善や運用、及びPoC後の新規プロダクト開発に向けたβ版開発や機能拡充、ブラッシュアップをお願いします。
最初は時系列予測、多クラス分類を想定しています。
【業務スコープ】
・機械学習アルゴリズム選定、モデルチューニングのためのEDA
・機械学習アルゴリズムの設計・実装
・モデルで利用するデータ・特徴量生成のためのパイプライン開発
【開発環境】
■主な環境
・Python
・TypeScript
・AWS (Glue,Athena,Fargate,SageMaker,Lamdba,CDK)
・Databricks
■ライブラリ等
・Pandas
・NumPy
・Scikit-Learn
・LightGBM
・Prophet
・PuLP
【機械学習/Python(フルリモート)】MLエンジニア募集
業務委託(フリーランス)
PythonAWSGoogle Cloud PlatformGlueAthenaPyTorchTensorFlow
AIエンジニア
作業内容 データサイエンスチームが構築したモデル・プロトタイプをベースに
システム・プロダクトの設計・実装を行っていただきます。
【AWS/フルリモート】AWSインフラ構築案件
業務委託(フリーランス)
AWSGlueLambda
作業内容 構築予定のシステムは金融機関向けの顧客管理システムとなります。
今回はそのシステムのAWSインフラ部分の構築をご担当いただきます。
New【Java】データ基盤(AWS)エンハンス開発チームの求人・案件
業務委託(フリーランス)
JavaAWSRedshiftGlue
作業内容 自動車大手のお客様にて開発中のデータ基盤(AWSのESK上で構築)に関連するエンハンス開発や追加要求に対する周辺システムの開発
データ収集・分析・可視化・新規サービスへの情報提供・管理機能などPJ規模
チーム単位で5~8名程度のチームが複数8チームほど存在。
このチームのどこかに参画頂く予定
【DB】学習塾における基幹データベースの次世代化プロジェクト
業務委託(フリーランス)
SQLAWSRedshiftTableauGlueLambda
社内SE
作業内容 ■業務内容
大手学習塾企業がクライアントとなります。
DBエンジニアとして同社のプロジェクトを推進いただきます。
・AWS DMSの構築、マネジメントと保守運用。
・Tableauでのアウトプット
・DMSと社内環境との接合、運用
・複数テーブル結合におけるデータベース及びView設計
・クエリの設計と作成
・クエリの動作確認におけるテストの実施
・AWSのデータ取り込みの管理、運用
・デイリーバッチの理解と管理
【SQL】自動車関連サービスに関わるデータ分析基盤の現状調査の求人・案件
業務委託(フリーランス)
SQLAWSAmazon S3RedshiftGlueLambda
作業内容 2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。
【ターゲットとなるシステム】
・In Data : Salesforce 他
・Out Data : Tableau 他
Python / SQL など データ分析基盤データ連携/マート定常化作業
PythonSQLOracleMySQLPostgreSQLAWSBacklogJIRAGitHubGoogle Cloud PlatformRedshiftBigQueryGlueLambdaGoogle Workspace
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。
以下の作業を行います。
<作業内容>
・データパイプラインのPython実装
・データパイプラインのテスト自動化
・テスト駆動開発のチームへの教育
<技術スタック>
AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
GCP:BigQuery, GCS, CloudFunction, CloudComposer,
DB:Redshift,PostgreSQL,Oracle,MySQL
リポジトリ:Github Enterprise,CodeCommit
コラボレーションツール:JIRA, Confluence, Backlog
コミュニケーションツール:Slack,Google Workspaces
PCの貸与またはAWS Workspacesを使用
<備考>
テレワーク
<基本時間>
9:30~18:30
<服装>
オフィスカジュアル
【フルリモート】データ分析基盤構築
業務委託(フリーランス)
JavaPythonSQLAWSRedshiftGlueLambda
データサイエンティスト
作業内容 ・データ連携案件管理:
データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:
事業要請に応じたデータレイク,データウェハウス,
マートの実装,テスト
※基盤構築作業が主な作業になります。
拠点は渋谷ですがフルリモート参画になります。
PC貸与はなしです、ご自身の端末からAWS Workspaces上で作業を行います。
技術スタックは以下になります。
・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
・GCP:BigQuery, GCS, CloudFunction, CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:Github Enterprise,CodeCommit
・コラボレーションツール:JIRA, Confluence, Backlog
・コミュニケーションツール:Slack,G Suite
【Python/AWS】データ分析基盤の開発及び運用業務
業務委託(フリーランス)
JavaPythonSQLAWSRedshiftGlueLambda
サーバーサイドエンジニア
作業内容 ・データ連携案件管理:
データ供給元からデータ利用者のために日程調整や管理業務
・基盤構築:
事業要請に応じたデータレイク,データウェハウス,
マートの実装,テスト
※基盤構築作業が主な作業になります。
拠点は渋谷ですがフルリモート参画になります。
(稀に月1回あるかないかの頻度で渋谷でミーティングあり)
技術スタックは以下になります。
・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy
・GCP:BigQuery, GCS, CloudFunction, CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:Github Enterprise,CodeCommit
・コラボレーションツール:JIRA, Confluence, Backlog
・コミュニケーションツール:Slack,G Suite
時間は10:00~19:00 応相談
【Python/AWS】勘定系データ蓄積/連携システムの構築(リモート)
業務委託(フリーランス)
PythonAWSLambda
作業内容 ・Lambdaで動作するPythonスクリプトの開発、試験、デプロイ
・StepFunctionsによるECS Task, Lambda を組み合わせたロジック作成、試験、デプロイ
・自動構築用のCloudFormationテンプレート作成
・利用予定のAWSサービス
ECS, ECR, Lambda, S3, Glue, Athena, DynamoDB, EventBridgeなど
【Python】データレイク基盤構築
業務委託(フリーランス)
PythonSQLShellRedshift
作業内容 ・既存ソースコードの修正(新アーキテクチャ対応移行作業)
(AWS EC2→AWS Glue)
・新アーキテクチャ対応移行作業
(単体テスト、結合テスト、システムテスト)
・新アーキテクチャ対応移行作業
(移行テスト、パフォーマンステスト、運用テスト)
【DBエンジニア】金融系システムのエンハンス作業の求人・案件
作業内容 【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築
②AWS構築
AWSの設計から環境構築
③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施
【AWS】金融系エンドユーザ向けAWS基盤のPoC/設計実装の求人・案件
業務委託(フリーランス)
PythonDynamoDBNode.jsAWSAmazon S3DynamoGlueAthenaFargateLambda
作業内容 ・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
・DevOpsの流れで、先ずは基本機能の実装を目指しております。
・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
要求事項とAWS仕様調査、実現性確認を行っております。
・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
に入って参ります。
AWS オンプレシステムのマイグレーション
VBAAccessMySQLDynamoDBAWSRedshiftGlueAthenaFargateCloudFormationAuroraCloudFrontLambda
作業内容 オンプレ(VBA+Access+MySQL)で稼働しているシステムのクラウド化PJです。
インフラおよびWebアプリケーションを含む要件定義・設計・実装に携わって頂きます。
<作業工程>
要件定義、設計構築、実装
<使用するAWSサービス>
CloudFormation / CodeCommit / CodePipeline / CodeDeploy / CodeBuild /
EC2 / ECS /S3 / EKS / Fargate /
RDS / Aurora / DynamoDB / ElastiCache / CloudWatch /
CloudFront / VPC /API Gateway /
Well-Architected / Redshift /
ECR / WAF / SQS / SNS /Control Tower /
Auto Scaling / SES / Athena / IAM /
Lambda / Step Functions/
Route 53 /EFS /GuardDuty / CodeStar
Elastic Beanstalk / Amplify
Direct Connect / VPN / Transit Gateway /Cognito /
Glue / ELB / CloudTrail
<開発環境>
インフラ:AWS
OS:指定なし
ネットワーク:閉域環境にする可能性あり
DB:指定なし
言語:指定なし
<備考>
フルリモート
【AWS/一部リモート】AWSインフラ要員案件
業務委託(フリーランス)
AWSRedshiftGlueAthenaAurora
ネットワークエンジニア
作業内容 ・ご対応いただく作業内容は、下記になります。
➀案件対応
-要件定義~リリースまで随時フェーズに応じた作業
例:AWS ネットワーク構成の検討・構築(VPC、ELIの設計、設定等)
AWS 分析基盤サービスの検討・構築(Redshift,Amazon EMR等の設定)
AWS セキュリティ、可用性検討・構築(リソースアクセス制御、可用性検討)
②保守対応
-現行本番で発生した問題の調査・対応
-積み残し課題の調査・対応