【AWS】データ分析基盤構築
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■案件概要
・会計ソフトメーカーにて情報を一元管理・可視化する
データ分析基盤の構築を計画しております。
業務内容として、AWS環境上にて各システムから
データを収集/加工するための調査・設計・実装や
BIツールと連携してデータを可視化する機能の設計・
実装まで広範に渡り対応して頂きます。
■その他条件
・勤務場所:フルリモート※出社時:秋葉原
・勤務時間:9:00~18:00
・面談:1回
・精算幅:140h~180h
※週5日〜OKの案件です!
※実務経験1年以上お持ちの方が対象の案件です!
【AWS】AWS環境でのDWH構築
業務委託(フリーランス)
AWSGlueAthenaAurora
作業内容 同社クライアントの大手SIer様の案件になります。
※エンドは保険会社様
下記における要件定義~設計・構築工程で参画いただける方を募集しております。
・AWS ネットワーク構成の検討・構築(VPC、ELIの設計、設定等)
・AWS 分析基盤サービスの検討・構築(Redshift,Amazon EMR等の設定)
・AWS セキュリティ、可用性検討・構築(リソースアクセス制御、可用性検討)
【BI/DWH/フルリモート】データ分析基盤(テクニカルリーダー)
業務委託(フリーランス)
AWSGlue
データサイエンティスト
作業内容 エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。データレイク、DWH)にて
・仕様策定
・要求の明確化
・エンジニアのチーミング
の対応をいただく。
【AWS/BI/フルリモート】データ収集・分析・加工支援(テクニカルリーダー)
業務委託(フリーランス)
AWSGlue
データサイエンティスト
作業内容 エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。データレイク、DWH)にて
・仕様策定
・要求の明確化
・エンジニアのチーミング
の対応をいただく。
【Python/AWS/リモート】新技術の調査及びプロダクト開発支援
業務委託(フリーランス)
PythonDynamoDBAWSGlueLambda
サーバーサイドエンジニア
作業内容 業務内容:
・新技術(クライアントサービス、AI関連、LLM)に関する技術調査およびプロダクト開発
・PoCに向けた実現案の検討・提案・レポート作成
・AWS上での実行基盤の構成検討・設計・構築
工程:技術検証、プロダクト開発
【AWS/SQL】サーバーサイドエンジニア
業務委託(フリーランス)
SQLAWS
サーバーサイドエンジニア
作業内容 ソーシャルゲームを運用されている企業様社内にて、
外部開発会社(サーバー)で行う作業の方針(主にセキュリティ、サーバ負荷、コスト周り)を検討/決定する
その他データ分析基盤(AWS Kinesis, AWS Glue, AWS Athena, digdag/python)のメンテナンスなどをお願いいたします。
【AWS】某生命保険会社向けAWS環境DWH構築案件
業務委託(フリーランス)
AWSAmazon EC2Amazon S3GlueAthenaAuroraLambda
作業内容 ・某生命保険会社のAWS環境でのDWH構築を行っていただきます。
・大手金融系SIerの社内受託案件でございます。
【AWS/データエンジニア】顧客データベース次世代化プロジェクト
業務委託(フリーランス)
PythonSQLAWSRedshift
バックエンドエンジニア
作業内容 【概要】 ・旧データベースの内容を新データベースに名寄せを行うプロジェクト
【対応内容】 ・データの名寄せ・データベースの論理設計・データクレンジング処理プログラムの作成・SQL速度高速化
【開発環境】 ・AWS Glue・AWS Lambda・AWS Redshift
データ分析・基盤・構築支援
作業内容 顧客が提供する各プロダクトからデータを収集し、加工・集計・可視化業務をお任せいたします。
また、分析結果からの将来予測などもご対応いただく想定です。
<就業時間>
9:00‐18:00(フレックス可)
※※こちらの案件は現在募集を終了しております※※
【AWS】金融プラットフォームの開発
業務委託(フリーランス)
AWSGlueCDKLambda
インフラエンジニア
作業内容 インフラチームの一員として要件定義、設計〜構築、運用を一貫して対応いただきます。
*技術要素:AWS(CDK、lambda、glue、sagemaker、ecs、ec2、rds、etc...)
【AWS】飲食業向けBI/DWH導入案件
業務委託(フリーランス)
AWSRedshiftGlue
インフラエンジニアPMO
作業内容 下記を行っていただきます。
・技術上の調査及び提案のための研究
・クライアントとの要件定義、打ち合わせへの同席
・メンバーのレビューや指導や支援などの開発チームの技術力向上
・プロジェクトのスケジュール管理
・コーディング作業
・バグ修正作業
・ドキュメント作成/修正作業
【Python】ML
業務委託(フリーランス)
PythonAWSGoogle Cloud PlatformGlueAthenaPyTorchTensorFlow
サーバーサイドエンジニア
作業内容 下記、主な作業内容です。
・データサイエンスチームが構築したモデル・プロトタイプをベースにシステム・プロダクトの設計・実装
・機械学習システムデザインの構築
・学習システムの構築・改善、ETLやデータパイプラインの構築
【AWS】製造業向けデータ分析基盤構築・社内向け研究開発の求人・案件
業務委託(フリーランス)
AWSSnowflakeGlue
作業内容 ・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います
①製造業向けデータ分析基盤構築:要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【Python】薬局向けプラットフォーム 機械学習エンジニアの求人・案件
業務委託(フリーランス)
PythonAWSAmazon S3ApacheGlueLambda
AIエンジニア機械学習エンジニア
作業内容 【概要】
薬剤在庫管理における需要予測モデルの改善や運用、及びPoC後の新規プロダクト開発に向けたβ版開発や機能拡充、ブラッシュアップをお願いします。
最初は時系列予測、多クラス分類を想定しています。
【業務スコープ】
・機械学習アルゴリズム選定、モデルチューニングのためのEDA
・機械学習アルゴリズムの設計・実装
・モデルで利用するデータ・特徴量生成のためのパイプライン開発
【開発環境】
■主な環境
・Python
・TypeScript
・AWS (Glue,Athena,Fargate,SageMaker,Lamdba,CDK)
・Databricks
■ライブラリ等
・Pandas
・NumPy
・Scikit-Learn
・LightGBM
・Prophet
・PuLP
【Python】データ分析基盤の開発
業務委託(フリーランス)
JavaCPythonSQLC#OracleMySQLPostgreSQLAWSBacklogJIRAGoogle Cloud PlatformRedshiftBigQueryGlueLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■案件
データ分析基盤の開発及び運用業務をご担当いただきます。
基盤構築:事業要請に応じたデータレイク,データウェハウス,マートの実装,運用,テスト
■技術スタック
・AWS:Glue,Lambda,StepFunctions,Redshift,RedshiftSpectrum,IAM,SageMaker,S3,EC2,CodePipeline,CodeDeploy
・GCP:BigQuery,GCS,CloudFunction,CloudComposer,
・DB:Redshift,PostgreSQL,Oracle,MySQL
・リポジトリ:GithubEnterprise,CodeCommit
・コラボレーションツール:JIRA,Confluence,Backlog
・コミュニケーションツール:Slack,GSuite
■条件等
面談:1回
場所:リモート可/渋谷
※週4日リモート、週1出社となります
服装:オフィスカジュアル
精算方法:140-180h
※週5日~OKの案件です!
【Python】MLエンジニア募集
業務委託(フリーランス)
PHPPythonAWSGoogle Cloud PlatformGlueAthenaPyTorchTensorFlow
サーバーサイドエンジニア
作業内容 データサイエンスチームが構築したモデル・プロトタイプをベースに
システム・プロダクトの設計・実装
機械学習システムデザインの構築
学習システムの構築・改善
ETLやデータパイプラインの構築
【Python】MLエンジニア募集
業務委託(フリーランス)
PythonAWSGoogle Cloud PlatformGlueAthenaPyTorchTensorFlow
サーバーサイドエンジニア
作業内容 データサイエンスチームが構築したモデル・プロトタイプをベースに
システム・プロダクトの設計・実装
機械学習システムデザインの構築
学習システムの構築・改善
ETLやデータパイプラインの構築
Lambda / SQL AWSデータエンジニアリング
PythonSQLDynamoDBAWSRedshiftGlueLambda
作業内容 AWS基盤上に収集する、車載機から送られてくる生データの整形や分析をして頂きます。
データ分析をするためのツールのプログラム言語としては、Pythonを使用する想定です。
データエンジニアリングが得意な方をお待ちしております。
<作業工程>
設計、開発、テスト(分析に関わるLambda周り)
<開発環境>
インフラ:AWS上
言語:Python予定
<使用するAWSサービス>
Lambda/S3/DynamoDB/Glue/Atena/QuickSight
※使用の可能性があるもの
Redshift/SageMaker
<備考>
フルリモート
AWS / Azure ローコード開発案件
作業内容 ローコード開発案件
<業務範囲>
設計、開発、テスト
※各種製品のマスターマネジメントシステム(マスター統合)を実施中
<備考>
週1日程度リモート
残りはオンサイト
<基本時間>
9:00~17:40
【AWS/フルリモート】AWSのバッチシステム構築
業務委託(フリーランス)
AWSGlueLambda
インフラエンジニア
作業内容 24年1月が本番運用開始のシステムの開発の基幹システムのバッチシステム開発(データ受信、取込、加工、外部への提供)を行っていただきます。
背景としてはAWS上に構築するにあたり、チームにAWSに知見のあるメンバーが不在で進捗遅れがあるため、外部から有識者を引き入れて対応を加速させたいという意図です。
【AWS/MySQL/リモート併用】ETL環境の設計レビュー・改善・実装・メンテナンスの案件・求人
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・日本語ビジネスレベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
・既存のAWSETL環境の調査改善・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)※対象環境はミッションクリティカルではないデータ処理基盤となる
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【AWS】データ分析基盤の開発(リモート)
業務委託(フリーランス)
SQLAWSGlue
インフラエンジニア
作業内容 ・情報を一元的に管理・可視化するデータ分析基盤の開発・構築
・AWSの各種サービスを活用した実現可能性の調査
・各システムからのデータ収集・データ加工・データ整形機能の設計・実装
・BIツールによるデータ可視化機能の設計・実装
Python / SQL / AWS データウェアハウス基盤構築案件
PythonSQLShellAWSRedshiftGlueLambda
作業内容 某大手携帯会社様向けのデータウェアハウス基盤構築プロジェクトになります。
<作業内容>(上から優先度が高い順)
ETL処理の開発作業
・設計・設計書作成・実装・単体テスト
・ETL処理の開発テンプレートの理解
ETL処理の結合テスト作業以降
・結合テスト、システムテスト
<基本時間>
9:30~18:30
フレックスタイム制
【PowerBI/Microsoft365/AWS/一部リモート】製造業向け業務システム開発案件
業務委託(フリーランス)
PythonWindowsLinuxUnixAWSRedshiftGlue
サーバーサイドエンジニア
作業内容 ・PowerBI、Microsoft365、AWSを用いた製造業向け業務システム開発案件に携わっていただきます。
・主に下記作業をご担当いただきます。
-(要件定義)基本設計、詳細設計、開発、単体テスト
リモート/AWS・Python:エネルギー企業向け業務システム開発
業務委託(フリーランス)
PythonAWSGlueAuroraLambda
サーバーサイドエンジニア
作業内容 ・エネルギー業界向けの業務システムの開発を担当して頂きます。
・スクラムチームの中でAWSを利用したETL処理、業務担当者向けWebアプリケーションの開発となります。
【AWS】金融機関向け管理システム構築案件
業務委託(フリーランス)
AWSGlueLambda
インフラエンジニアPM
作業内容 ・AWSインフラ部分の構築をメインにご担当いただきます。
Python(pandas)でのデータレイク基盤構築
PythonSQLShellDynamoDBAWSGitBacklogRedshiftLambda
作業内容 Python3のデータ分析であるpandasを使用してのデータレイク基盤構築案件になります。
AWS EC2→AWS Glueへの新アーキテクチャ対応移行作業をご担当していただく予定です。
<主な作業内容>
・既存ソースコードの修正
・単体テスト、結合テスト、システムテスト
・移行テスト、パフォーマンステスト、運用テスト
【Python】広告業界向けハイブリッドAIエンジン開発案件
業務委託(フリーランス)
PythonFlaskAWSGoogle Cloud PlatformBigQueryGlueLambda
作業内容 ・スポンサー広告運用ツールの正式リリースに向け、
入札額や予算最適化のロジック開発、メンテナンス、設計からコードレビューまで
幅広い作業をご担当いただきます。
【AWS/一部リモート】データ収集プラットフォームの設計・構築
作業内容 データ収集プラットフォームの設計・構築作業案件です。
ご担当していただくのは、AWS Lake Formation, Glue等、各種データ収集・整形サービスを利用したデータ収集基盤、及びそれらに関連する機能の設計と構築です。
【フルリモート|AWS】AWSサービスを活用した機能改善・レベルアップ対応
作業内容 某大手証券会社にて使用しているシステムに対し、AWSサービスを活用して機能の改善、レベルアップ対応を行っていただきます。
具体的な作業内容は下記です。
・AWSサービスを活用した機能の改善/レベルアップ対応
・新規機能追加のための技術調査
・リリース済み機能でエラーが発生した場合の調査等、各種問合せ対応
※顧客とコミュニケーションをとりながら、新しい技術に積極的に取り組み、自走できる方を求めております。
【担当工程】
要件定義,基本設計,詳細設計,実装,テスト,運用・保守