【SQLなど】小売業でのDr.SumからRedShiftへのシステムリプレースの求人・案件
作業内容 作業フェーズとして設計、開発、単体テスト、総合テスト、データ移行、リリースを担当していただく作業内容:テーブル設計・作成、glueでのデータ加工の設計・開発・テスト①DB:Dr.Sum+データ加工:Connectで作成しているシステムを
②DB:RedShift+データ加工:glueでリプレースする
③対象システム数:7
【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件
業務委託(フリーランス)
PythonSQLAWSAmazon S3DynamoRedshiftGlueLambda
作業内容 ETL処理(設計、実装、単体テスト、結合テスト、システムテスト)
New【SQL】データ分析基盤の開発支援の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3、Quicksight)
New【Python/SQL】AWS/ETL処理開発の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 小売業様向けに、AWS環境でETL処理の追加開発を行う
Amazon RDS/Redshiftに格納されたデータの読み込み
上記データを用いたAWS Glue(Python+SQL)でのETL処理の開発
EC2上に配置されたファイルのAWS Lambda(Python)を用いた取り込み処理の開発
設計書、報告用資料の作成
(リーダのみ)顧客との各種折衝、メンバの管理
【AWS/Angular/Node.js/リモート併用】新規システムのAWS基盤構築案件の案件・求人
業務委託(フリーランス)
Node.jsAngularAWSGlueLambda
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
案件内容:要件定義~結合テストまで
【SQL】データ分析基盤の開発支援の求人・案件
業務委託(フリーランス)
PythonSQLAWSGlue
作業内容 顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集/外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化(Lambda、StepFunctionを想定)
・terraformを利用した構成管理(Glueのジョブ、IAMロール、S3
、Quicksight)
【Python】顧客社内データ可視化PJの求人・案件
業務委託(フリーランス)
PythonAWSGlueAthena
作業内容 ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ-から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境 :Python(PySpark, pandas)AWS(RDS、Athena、Lambda、Glue、QuickSight)など
【Python】製造業向けデータエンジニアの求人・案件
業務委託(フリーランス)
PythonAWSRedshiftGlueLambda
作業内容 クライアントの調達部門にてAWSを利用した購買データのデータパイプライン構築~運用をご担当いただきます。
【AWS】某製薬会社向け/運用中データ分析基盤の保守運用の求人・案件
業務委託(フリーランス)
PythonAWSGlueLambda
作業内容 ・AWS(Lambda、Glue、Step Functions)を用いた
既存資源の改修、本番環境リリース
障害・仕様変更等発生時の既存資源の修正、リリース
・管理業務、業務改善
ユーザー、DB、ドキュメントのデータ分析基盤内の管理業務
・運用監視
データ分析基盤内エラー監視方針の検討及びエラー時の運用対応
【SQL/Python】DWH/BIの求人・案件
業務委託(フリーランス)
PythonSQLAWSGlueAthena
作業内容 ・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務
AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善
・データマート日次運用保守業務
【開発環境】
プログラミング言語:Python
ライブラリ:PySpark, pandas
データベース:AWS RDS (SQLServer), AWS Athena(trino)
環境・OS:AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール:QuickSight
【DWH】土地・建物情報データ連携基盤構築の求人・案件
業務委託(フリーランス)
PythonAWSAmazon S3GlueLambda
作業内容 土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築
【AWS】モバイルアプリとクラウド連携サービスの開発の求人・案件
業務委託(フリーランス)
JavaPythonAndroidDynamoDBSpringAWSAmazon S3DockerDynamoSpringBootGlueAthenaLambda
スマホアプリエンジニア
作業内容 ・AWSクラウドおよびお客様独自プラットフォーム上でのクラウド連携サービスの開発
・Androidアプリとクラウド間でのデータの入出力を行う機能開発
【AWS】データ分析基盤構築PJの求人・案件
作業内容 ・会計ソフトメーカーにて情報を一元管理・可視化するデータ分析基盤の構築を計画しております。
業務内容として、AWS環境上にて各システムからデータを収集/加工するための調査・設計・実装やBIツールと連携してデータを可視化する機能の設計・実装まで広範に渡り対応して頂きます。
【SQL】基幹データベースの次世代化プロジェクトの求人・案件
業務委託(フリーランス)
SQLAWSRedshiftTableauGlueLambda
作業内容 【業種】
・大手学習塾企業【概要】
・AWS DMSの構築、マネジメントと保守運用。
・Tableauでのアウトプット
・DMSと社内環境との接合、運用【開発環境】
・AWS Glue
・AWS Lambda
・AWS Redshift【募集要員構成】
・データベースエンジニア【対応内容】
・AWS DMSの構築、マネジメントと保守運用。
・Tableauでのアウトプット
・DMSと社内環境との接合、運用
・複数テーブル結合におけるデータベース及びView設計
・クエリの設計と作成
・クエリの動作確認におけるテストの実施
・AWSのデータ取り込みの管理、運用
・デイリーバッチの理解と管理【時期】
・即日(長期継続前提の案件となります)【募集人員】
・1名
【AWS/データエンジニア】顧客データベース次世代化プロジェクト
業務委託(フリーランス)
PythonSQLAWSRedshift
バックエンドエンジニア
作業内容 【概要】 ・旧データベースの内容を新データベースに名寄せを行うプロジェクト
【対応内容】 ・データの名寄せ・データベースの論理設計・データクレンジング処理プログラムの作成・SQL速度高速化
【開発環境】 ・AWS Glue・AWS Lambda・AWS Redshift
【BI/DWH/フルリモート】データ分析基盤(テクニカルリーダー)
業務委託(フリーランス)
AWSGlue
データサイエンティスト
作業内容 エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。データレイク、DWH)にて
・仕様策定
・要求の明確化
・エンジニアのチーミング
の対応をいただく。
【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
地図広告プラットフォーム開発
AWSデータ分析基盤構築プロジェクト
業務委託(フリーランス)
PythonWindowsAWSGlueLambda
作業内容 〇ご依頼範囲
・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイス
・上記に必要な検証環境構築作業および要件定義資料化
※上記の取り組みを顧客案件および社内研究開発の作業として行います。
〇対象プロジェクト※①②両方が依頼範囲です。
①製造業向けデータ分析基盤構築:要件定義
②社内向け研究開発
〇①顧客案件
顧客向けに弊社のデータ分析基盤の構築ソリューションをベースにシステムを構築します。
AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素になります。
要件定義の作業になりますので、
どこまでできるか明確でないところも踏まえて一緒に考えていける方がいらっしゃるとありがたいと思います。
今のところ、このようなサービスが必要なのではと考えております。
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定です。
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えていますので、
そのあたりの統合についてもテーマになります。
〇②研究開発
上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築します。
Snowflakeを用いたデータ基盤の構築を早期化するソリューション
【リモート併用可/Python】関連事業顧客向け社内データ可視化PJ
業務委託(フリーランス)
PythonAWSTableauGlueAthena
フルスタックエンジニア
作業内容 ヘルスケア関連事業を展開されているお客様内で、
社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ-から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら実施していただく予定です。
【AWS】金融系エンドユーザ向けAWS基盤のPoC/設計実装の求人・案件
業務委託(フリーランス)
PythonDynamoDBNode.jsAWSAmazon S3DynamoGlueAthenaFargateLambda
作業内容 ・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
・DevOpsの流れで、先ずは基本機能の実装を目指しております。
・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
要求事項とAWS仕様調査、実現性確認を行っております。
・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
に入って参ります。
【AWS】製造業向けデータ分析基盤構築・社内向け研究開発の求人・案件
業務委託(フリーランス)
AWSSnowflakeGlue
作業内容 ・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います
①製造業向けデータ分析基盤構築:要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール(Power BI)、DWH(Snowflake)が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
AWS Glue
AWS Lambda
AWS Code Pipeline
AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
AWS Step Functions(詳細フロー制御)
Amazon Managed Workflow for Apache Airflow(実行管理)
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション
New【Java】データ基盤(AWS)エンハンス開発チームの求人・案件
業務委託(フリーランス)
JavaAWSRedshiftGlue
作業内容 自動車大手のお客様にて開発中のデータ基盤(AWSのESK上で構築)に関連するエンハンス開発や追加要求に対する周辺システムの開発
データ収集・分析・可視化・新規サービスへの情報提供・管理機能などPJ規模
チーム単位で5~8名程度のチームが複数8チームほど存在。
このチームのどこかに参画頂く予定
New【SQL/Python】データ分析基盤/開発・移行業務におけるリーダーの求人・案件
業務委託(フリーランス)
JavaPythonSQLC#AWSRedshiftGlueLambda
PMPMO
作業内容 ・データ連携案件管理:データ供給元からデータ利用者のために日程調整や管理業務・基盤構築:事業要請に応じたデータレイク,データウェハウス,マートの実装,テスト・基盤移行
■営業担当からのコメント■Pythonでゴリゴリコードを書くというよりも、基盤移行やマート管理等、管理系の業務が主となります。
大手不動産企業におけるデータエンジニア業務
業務委託(フリーランス)
SQLAWSGlueAthena
作業内容 住宅系・商業系データの分析用前処理として、実データと最低限の設計ドキュメントを用いてデータクリーニング・加工を行う。実データが定義書と乖離している部分もあったりするため、必要に応じてメンバーとコミュニケーションをとり、ドキュメントとコードにまとめていく。
【AWS/リモート併用】データ分析環境基盤設計構築の案件・求人
業務委託(フリーランス)
AWSGlueAthena
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
・データ分析環境について要件に基づき必要な基盤を設計、構築する作業
・AWS上に検証環境を構築し、検証、調整を実施
・他システムを含む全体アーキテクチャに基づきデータ分析環境を設計
・エンドユーザー、データエンジニアと随時打合せにより内容を討議、決定
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
New【Ruby/Python】データ基盤エンジニア募集の求人・案件
業務委託(フリーランス)
PythonRubyRailsAWSDockerReactRedshiftTypeScriptGlueAthena
作業内容 AWSで開発・運用されているサービスのデータ基盤エンジニアとして開発・運用・保守を担当いただきます。具体的にはデジタルサービスを開発・運用するための社内プラットフォーム内の基盤群の開発・運用・運用改善を担当。
【AWS】郵便システム向けクラウド環境構築の求人・案件
業務委託(フリーランス)
AWSDockerLambda
作業内容 ECS上で稼働するコンテナアプリケーションの設計構築、LambdaとS3を使った画像圧縮処理の設計構築、Glueを使ったETL処理を行います。
作業内容:全体なシステム構成、インフラ設計・構築・テスト
New【分析基盤エンジニア】データ分析基盤実装案件
業務委託(フリーランス)
PythonSQLAWSGoogle Cloud Platform
作業内容 携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。・AWS:Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP:BigQuery, GCS, CloudFunction, CloudComposer,・DB:Redshift,PostgreSQL,Oracle,MySQL・リポジトリ:Github Enterprise,CodeCommit・コラボレーションツール:JIRA, Confluence, Backlog・コミュニケーションツール:Slack,Google Workspaces
【Java/フルリモート可能】某メーカー向けプラットフォーム開発対応の案件・求人
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
多種多様なデータを収集し管理・分析するデータプラットフォーム(CDP)で、様々な基盤構築の対応となります。
工 程:上流~テストまで ※スクラム開発
リモート可|【AWS】資金調達サービスのインフラエンジニア募集|渋谷|~MAX90万
業務委託(フリーランス)
PythonDynamoDBAWSDockerGlueAthenaLambda
インフラエンジニア
作業内容 資金調達手段を提供するサービスです。
インフラ周りをお任せできるポジションを新たに採用予定です。
企画~開発~運用保守まで一貫して携わっていただきます。
・可用性やセキュリティを考慮したプロダクトのインフラ設計
・ログ基盤構築、解析
・与信のためのデータパイプライン構築