【データエンジニア】全社データ基盤アーキテクチャ設計構築支援案件
作業内容 ・全社データ分析基盤のアーキテクチャ設計・構築に携わっていただきます。
・主に下記作業をご担当いただきます。
- データレイク / DWH(BigQuery)基盤の設計・運用
- ETL / ELTパイプラインの設計・開発
- クロスクラウドデータ連携(OCI → GCP)の設計・実装
- データモデリング(OBT / mart)の設計
- Terraformを用いたIaCによるインフラ管理
- データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス)
- AIデータアクセス基盤(MCP / Agent)の構築
【Databricks/PySpark/Azure】商用車ロジスティクス可視化基盤のデータ処理最適化
業務委託(フリーランス)
ScalaSparkAzure
サーバーエンジニア
作業内容 【作業内容】
・Databricks(PySpark, Scala)環境のパフォーマンス最適化を行います。
・大規模データ処理の実装・改修を担当します。
・Azureデータ基盤のパフォーマンス改善を行います。
・保守・構成管理およびリファクタリングを担当します。
【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件
業務委託(フリーランス)
PythonSQLHadoopSparkApacheGitKafka
サーバーサイドエンジニア
作業内容 【募集背景】
【作業内容】
Databricksによるデータ解析システムの構築支援(設計/実装/テスト)を行います。
【求める人物像】
受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。
チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。
前向きに仕事と向き合える方。
周囲に対して気配りができる方。
【ポジションの魅力】
最新のデータ解析技術に携わり、スキルアップを図ることができます。
【開発環境】
Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI
【クラウドエンジニア(AWS)】AWSデータ確認を中心としたテスト案件
作業内容 【業務内容】
開発中のAWS環境のシステムにおいて、外部データソースとの疎通確認や前処理・分析処理の結合テストを実施し、安定稼働に向けた検証作業を行います。
【作業内容】
・AWS外部のデータソースとの疎通確認(結合テスト)
・前処理パイプライン(Step Functions、EMR、Spark)の結合テスト、サイクルテスト、シナリオテスト
・Lambdaを用いた前処理・分析処理の検証
【稼働日数】週5日
【リモート日数】週1のMTGで出社有
(リモート)データ分析ツールの導入・開発保守案件【Python】
作業内容 ・データ分析、利活用ツールの導入・保守開発等(開発より調査やドキュメント作成の方が多い想定)
・Azureへの移行
【Python】データマート開発支援(フルリモート)
業務委託(フリーランス)
Python
バックエンドエンジニア
作業内容 既存プロパーが参画中の案件において、データマートの設計、開発を中心に、Pythonを用いたバックエンド開発業務をご担当いただきます。
(リモート)【Java】カード基幹系システム オープン系開発
業務委託(フリーランス)
JavaCOBOLWindowsLinuxHiveGitlabVSCode
バックエンドエンジニア
作業内容 ・カード基幹系システム開発
・現行システム(COBOL)から新システムへのマイグレーション開発(ホスト→Hadoop基盤へのデータ連携)
・工程:基本設計、詳細設計、製造、テスト、本番リリース、運用/保守
(リモート)データ利活用を目的としたビッグデータの加工、集計業務【AWS】
業務委託(フリーランス)
PythonSQLLinuxAWSLambda
インフラエンジニア
作業内容 スクラムのメンバーとして、基盤構築/アプリ開発を業務としてご担当していただきます。
【Java/TypeScript/Python/フルリモ】官公庁向け情報管理システムPoC開発
業務委託(フリーランス)
JavaPythonSparkAzureDockerTypeScript
サーバーサイドエンジニア
作業内容 【作業内容】
来年度の本番開発に向けて、主な機能を構築してPoC実施するプロジェクトの開発部分を担当しています。
DBより情報を抽出して、帳票(Excel)出力する機能の開発を行います。また、既存仕様書をもとに自立的に開発・実装を推進し、コンテナ環境やクラウドサービスを活用したシステム構築を行います。
データ基盤やアプリケーションの品質担保や課題解決も担当していただきます。
開発(コーディング)を中心に進行します。
※仕様書上不明瞭な部分があるため、課題管理表やチャットなどを中心にクライアントの確認程度は発生することがあります。
【求める人物像】
・仕様書を読み解き、主体的にタスクを進められる方
・問題解決力が高い方
・コミュニケーション能力があり、チーム連携を重視できる方
【データ分析系(Python/SQL/R/BI)】データ蓄積基盤構築プロジェクのデータパイプラインの設計・構築
業務委託(フリーランス)
PythonSQLAWSGlueAthenaLambda
作業内容 Databricks on AWS 環境におけるデータ蓄積基盤構築プロジェクトにて、データパイプラインの設計・構築を担当いただきます。
データエンジニアリングの実務経験を活かし、最適なデータフロー設計と処理基盤の整備を推進できる方を募集しています。
【業務内容】
Databricks on AWS 環境でのデータパイプライン設計・構築
データ蓄積基盤の要件定義・設計支援
各種データソースからのデータ収集・加工・統合処理
性能最適化および運用性向上に向けた改善提案
【稼働日数】週5日
【リモート日数】フルリモート
【Node.js/TypeScript】自動車向けデータ分析プラットフォーム開発
業務委託(フリーランス)
Node.jsSparkTypeScriptKafka
バックエンドエンジニア
作業内容 【20代~40代の方向け】
自動車の走行データを解析・提供するプラットフォームのバックエンド開発です。
Node.js(TypeScript)を使用して、データストリームの処理、分析結果のAPI化、レポート作成機能の開発を担当します。
【クラウドエンジニア(AWS) / リモート案件紹介可能】AWS・GCPを活用したデータ基盤整備と移行プロジェクト
業務委託(フリーランス)
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
AWSデータレイクからBigQueryへのデータ移行作業や、GCPデータ基盤の整備を行うプロジェクトです。PythonやSparkを活用し、データ基盤の設計・開発を進めるとともに、効率的なデータ処理環境を構築します。TerraformやCI/CDツールを利用した開発プロセスにも携わります。
■具体的な業務内容
・AWSデータレイク(S3 + Glue data catalog)からBigQueryへのデータ移行
・GCPデータ基盤の整備およびワークフローエンジンの導入
・PythonやSparkを使用したアプリケーション開発および保守
・TerraformやCI/CDツールを利用した開発環境の整備
・データ基盤設計および運用改善
【クラウドエンジニア(AWS) / リモート案件紹介可能】AWSおよびGCPを活用したデータ基盤整備プロジェクト
業務委託(フリーランス)
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
AWSおよびGCP環境でのデータ基盤整備プロジェクトです。データレイクからBigQueryへの移行作業や、GCPのデータ基盤整備を担当します。PythonやSparkを活用し、TerraformやCI/CDツールを使用した効率的な基盤開発を進めます。
■具体的な業務内容
・AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業
・GCPデータ基盤の設計および整備(ワークフローエンジン導入など)
・AWS上で動作するアプリケーションの課題発見および解決
・Python、Hive、Sparkを使用したデータ基盤の構築
【Java(Spring Boot)】【業務委託(準委任)】道路交通系開発案件【リモートOK】
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
道路交通系開発をお任せいたします。
Hadoop上で動作する道路交通系システムの開発をご担当いただきます。
■作業工程:詳細設計~結合テスト
【AWS】システム開発案件
業務委託(フリーランス)
JavaPythonSQLCSSHTMLWindowsLinuxMySQLDjangoSparkFlaskAWSGitHub
データサイエンティスト
作業内容 開発、運用を繰り返すイメージです。
AWS上でのデータ解析基盤の構築
画面側はPython,html,cssなどを使います。
利用するAWSサービスの候補
- Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction
開発工程
基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト
【その他】データ解析・データ解析のプログラミング~DBアクセスプログラミング【リモートOK】
PythonAWSGoogle Cloud Platform
作業内容 ■概要
大手製造メーカー様案件で、データ解析・データ解析のプログラミング~DBアクセスプログラミングを担当していただきます。
※参画いただいた後は、相談の上プロジェクトの中でその他の役割も担って頂く可能性もございます。
【Python / リモート案件ご紹介可能】AWSデータ解析基盤開発(大手メーカー内バックオフィス業務)
業務委託(フリーランス)
JavaPythonSQLCSSHTMLSparkAWS
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
大手メーカーのバックオフィス業務を支えるデータ解析基盤の開発を担当します。AWSを活用し、RedshiftやEMR(Spark)、Athenaなどのデータ処理技術を用いたシステムを構築します。Pythonを中心としたデータ処理・分析のスキルが求められます。
■具体的な業務内容
・AWS環境上でのデータ解析基盤の設計・開発
・Pythonを用いたデータ処理スクリプトの作成
・SQLを用いたデータ抽出・集計処理の実装
・AWS Lambda、Step Functionsを活用したワークフロー構築
・Tableauを用いたデータ可視化(可能であれば対応)
【AWS / リモート案件ご紹介可能】大手自動車メーカー向けAWS基盤設計・構築
作業内容 ★エンジニア実務経験2年以上 / ブランクのない方が対象の案件です!!★
■概要
大手自動車会社のIoT基盤を支えるAWS上のサーバ基盤運用における設計・構築業務を担当するプロジェクトです。オンプレミスからクラウドに移行したシステムにおいて、AWSの各種マネージドサービスやHadoopエコシステムを活用し、安定した基盤運用を目指します。長期的な支援が見込まれるため、スキルを深める環境が整っています。
■具体的な業務内容
・AWS環境でのサーバ設計・構築業務
・運用設計の策定および運用支援
・Hadoopエコシステム(Apache Spark、Kafkaなど)を用いたデータ基盤構築
・AWSマネージドサービスの活用および最適化
【Python / リモート案件紹介可能】大規模データ活用基盤改善/データ分析基盤エンジニア
業務委託(フリーランス)
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
大手人材派遣会社における派遣領域のデータ活用基盤を対象とした改善・保守運用を担当します。レコメンドエンジンを提供するデータ基盤や分析環境の改善に加え、クラウドサービスやミドルウェアの新規技術検証、簡易的な機械学習モデルのチューニングなども手掛けます。大規模データ処理やPython、Linux環境での開発経験を活かし、データ基盤の構築に貢献できるポジションです。
■具体的な業務内容
・レコメンドエンジンを提供するデータ基盤・分析環境の改善および保守運用
・クラウドサービスやミドルウェアの新規技術検証
・簡易的な機械学習モデルのチューニングやデータ分析
・大規模データ処理基盤に関する運用業務(Hadoop, Spark, Treasure Data)
・インフラ関連ツール(Docker、CI/CD)の業務運用および保守
【Java(Spring)】某社のクレジット基幹システム内の売上処理の再構築案件
作業内容 ■概要
某社のクレジット基幹システム内の売上処理の再構築案件をお任せいたします。
■具体的な作業内容
・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている。
・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る。
・また、現状バッチ処理による一括更新だが、Kafkaを導入し、トランザクション処理化を行う。
・他担当の技術的サポート・ソースレビューなどもできる開発者を要望。
・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方。
・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方。
【Java(Spring)】【業務委託(準委任)】某社のクレジット基幹システム内の売上処理の再構築案件
業務委託(フリーランス)
JavaOracleSpring
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
某社のクレジット基幹システム内の売上処理の再構築案件に携わっていただきます。
■募集理由
・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている
・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る
・また、現状バッチ処理による一括更新だが、Apache Kafkaを導入し、トランザクション処理化を行う
■求める方
・他担当の技術的サポート、ソースレビューなどもできる開発者
・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方
・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方
【Python / リモート案件紹介可能】大規模データ基盤エンジニア×レコメンドエンジン運用
業務委託(フリーランス)
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
派遣業界向けの大規模データ活用基盤の改善・保守を行うプロジェクトです。レコメンドエンジンの運用や分析環境の改善、クラウド環境の技術検証を通じて、より高度なデータ分析基盤の構築に貢献します。必要に応じて、簡易的な機械学習モデルのチューニングやデータ分析業務も担当します。
■具体的な業務内容
・レコメンドエンジンを提供するデータ基盤の改善および保守運用
・AWSやGCPを活用したクラウド環境での開発および運用業務
・Python、Shell、SQLを用いたデータ処理およびスクリプト作成
・新規クラウドサービスやミドルウェアの技術検証
・簡易的な機械学習モデルのチューニングおよびデータ分析
【Python(Web開発系) / リモート案件紹介可能】AWS活用×新規プロダクト/サーバーサイドエンジニア
業務委託(フリーランス)
PythonAWS
サーバーサイドエンジニア
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
新規プロダクトのサーバーサイド開発を担当するプロジェクトです。主にAWSのリソースを活用し、API GatewayやLambdaを利用したAPI開発やGlue Jobを用いたETL処理の設計・開発を行います。プロダクトオーナーとの仕様策定やデータベース設計を担当するだけでなく、データ処理やAPIの最適化にも携わり、幅広い知識を身に付けることが可能です。
■具体的な業務内容
・RDBのデータベース設計および開発
・Glue Jobを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・AWSリソースを活用したプロダクト開発の設計・実装
・技術的知見を活かしたプロダクトオーナーとの仕様策定
・Git flowをベースにした開発進行
【週5稼働可能な方にぴったり】Python/バッチ開発・運用エンジニア(フルリモート)【Python(データ分析系)】
業務委託(フリーランス)
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
独自のデータ集積プラットフォームを運営する企業での、DBバッチ開発および運用業務です。Pythonを使用したバッチ開発や、データのインサート作業を行います。Google Cloud Platform(GCP)環境下で、5名のチーム体制でデータ処理を手掛けます。
■具体的な業務内容
・Pythonを用いたバッチ開発、改修、運用
・データインサート業務
・GCP環境でのデータ処理(BigQuery、Cloud Composerなど)
・データの高速化や自動化対応
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】Python/バッチ開発・運用(フルリモート)
業務委託(フリーランス)
PythonGoogle Cloud Platform
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
自社のデータ集積プラットフォームを運営する企業にて、Pythonを使用したバッチ開発・運用を担当します。世界中の特許や論文データなどを扱い、データの高速処理や自動化を行うプロジェクトに参画します。リモートでの作業となります。
■具体的な業務内容
・Pythonを使用したバッチ開発および改修
・データベースへのデータインサート
・GCP環境でのシステム開発および運用
・データ処理の高速化および自動化対応
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python / リモート案件紹介可能】レコメンドエンジン|モデル開発・改善プロジェクト
業務委託(フリーランス)
PythonSQLShellLinuxGitSVN
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
大手クライアントの派遣事業におけるレコメンドエンジンの改善および新規開発を担当するプロジェクトです。開発系ではデータ加工やWebAPI開発、分析系では機械学習モデルの構築やチューニングなどを担当いただきます。Python、Shell、SQLを用いた開発または分析経験が求められます。クラウド環境や大規模データ処理に興味がある方も歓迎します。
■具体的な業務内容
開発系:
・データ加工、バッチ開発、WebAPI開発、新規技術の検証
・Linux環境における開発およびドキュメント作成(設計書、テスト仕様書)
分析系:
・基礎分析、機械学習モデル構築、チューニング、レポーティング
・データ加工および検証作業
【Python/SQL/リモート併用/週5日】クラウドデータ基盤構築エンジニア
業務委託(フリーランス)
PythonSQLSparkAWSAzureGoogle Cloud PlatformRedshiftBigQuery
作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守
企業のマーケティングDXや事業変革をデータ活用で支援するコンサルティングファームにて、データ基盤(DWH・ETL・データレイク)の設計・構築を担当いただきます。
東証プライム上場企業を中心とした大手クライアントに対し、データドリブン経営の核となる基盤づくりをリードするポジションです。
具体的には、Snowflake、BigQuery、Databricksといった最新のクラウドDWHの導入支援や、Python/SQLを用いた効率的なデータパイプライン(ETL/ELT)の設計・実装に携わっていただきます。
また、ストリーミングデータ処理やデータガバナンス設計など、大規模かつ複雑なデータ環境において最適なアーキテクチャを提案・構築していただくことを期待しています。
BI・分析チームと密に連携しながら、ビジネス価値を生むためのデータ提供基盤を、最先端の技術スタックを用いて実現できるやりがいのある環境です。
【Java/JavaScript】《建築会社向け》会計パッケージの開発、保守(リモート)
業務委託(フリーランス)
JavaJavaScriptHTMLDynamoDBCassandraSpringSparkAngularAWSApacheAuroraElasticsearch
バックエンドエンジニア
作業内容 ・基本設計~結合テスト、保守をご担当
・フロント:Javascript、Angular、HTML
・サーバー:Java8、Spring Boot、Elasticsearch、Apache Spark
・DB:AWS Aurora、AWS DynamoDB、Apache Cassandra
・インフラ:AWS EC2、S3、EBS、ElastiCache
【リモート併用】官公庁向け電力データ集約システム/アーキテクト(AWS×Databricks) No.25502
作業内容 【概要】
既存電力データ集約システムのアーキテクチャ維持および改善、
AWS・Databricks を活用したデータレイク/ETL基盤の設計見直しなどを担当いただきます。
現時点では構築フェーズではなく、不具合対応・パイプライン設計の見直しなど既存システムのお守りが中心となります。
本格的な構築は 7月-または10月-を予定。
Snowflakeなどデータ基盤の経験がある方はイメージしやすい業務です。
【業務内容】
具体的な業務は以下となります。
・AWS×Databricks のデータパイプラインの設計見直し
・既存Spark/ETLフローの調査と改善
・不具合発生時の原因調査とアーキ再設計
・データレイクの構造改善/最適化
・コードアーキテクチャ(Git)レビュー
・データワークフローの最適化
・将来のBigQuery連携に向けた設計検討
【工程】
現行調査(アーキ・パイプライン)
要件定義(構築フェーズ以降)
基本設計(アーキ構成/データレイク)
詳細設計(パイプライン)
セキュリティ/ネットワーク設計
性能設計
不具合時のアーキレビュー
最適化提案
監査対応を見据えた設計
【体制】
調査-参画中のプロパー:2名+今回のポジション
他、library管理者1名、アーキテクチャ1名
保守チームのプロパー:2名
【リモート/出社】
リモート勤務との併用が可能です。
週1日程度、豊洲にあるデータセンターへの出社対応があります。
【PC】貸与あり
【フルリモート】申し込み及び各種情報確認ポータルにおけるフルスタック開発(週5日 / Go)
業務委託(フリーランス)
JavaPythonAWSGitGitHub
フルスタックエンジニアバックエンドエンジニア
作業内容 社内外に公開しているAPIの開発などをフルスタックに対応いただきます。
========================
※必ずお読みください※
【20 代から50代前半の方が活躍中】
※実務経験1年以上ありの方が対象の案件です!
【外国籍の方の場合】
日本語能力検定1級お持ちの方
日本語が母国語の方
※日本在住の方のみ
========================
Saasプロダクトデータ基盤構築【Python(リモート)】
業務委託(フリーランス)
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語:Python、SQL
・DB:Aurora(PostgreSQL互換)、Redshift
・ライブラリフレームワーク:Pandas、Numpy、Dask
・インフラ:AWS
・AWS製品:ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry
【JavaScript/React】配信入稿管理システム開発案件
業務委託(フリーランス)
JavaScriptReact
フロントエンドエンジニア
作業内容 ・配信入稿管理システムの開発に携わっていただきます。
【DWH/データレイク】製造小売業向けDWH開発業務案件
業務委託(フリーランス)
PythonSQLShellSparkAWSGlueAthena
データサイエンティスト
作業内容 ・大製造小売業におけるデータ設計開発作業に携わっていただきます。
・主に下記作業をご担当いただきます。
- DWHやデータレイクの設計や構築、運用
- ETLやデータパイプラインの開発や改善
-分析向けデータモデルの設計および dbt を用いたモデル開発
- データ処理の品質管理やパフォーマンス改善、運用フローの最適化
- 運用チームのタスク管理やトラブルシューティング
【Azure】顧客DWH移行支援作業(リモート)
業務委託(フリーランス)
SQLAzure
インフラエンジニア
作業内容 ・DIH(Data Integration Hub)からADF(Azure Data Factory)への移行作業
・ADF移行方針決定、検証、連携テスト
【リモート併用】データマート設計エンジニア(ビッグデータ/Databricks担当) No.22061
業務委託(フリーランス)
Tableau
データサイエンティスト
作業内容 【概要】
Databricksを活用したデータマートの設計・構築を担うエンジニアを募集いたします。
可視化・分析用途に特化した高品質な基盤を目指し、顧客との折衝や要件定義も担当頂くポジションです。
【プロジェクト詳細】
具体的な業務は以下となります。
〇要件定義・仕様設計
‐業務オーナーやBIチームと連携し、分析ニーズに基づくデータマート構造やテーブル設計を策定
〇物理-論理設計
‐データモデル(星型スキーマ/スノーフレーク)やスキーマ設計、最適化パラメータの検討
〇Databricks上での実装方針策定
‐Delta Lake活用、スケーラブルな処理設計、ジョブ制御戦略の設計
〇ETL設計・実装
‐PySpark/Scalaを利用したデータパイプライン設計、AirflowやDBT等との連携も含む
〇パフォーマンスチューニング
‐クエリ最適化、ファイルパーティション設計、キャッシュ/メモリ設計
〇レビュー・テスト
‐ユニットテスト・単体結合テストの設計と実施、成果物レビュー対応
〇ドキュメント・ナレッジ共有
‐設計書・運用手順書作成、社内勉強会やドキュメント共有による情報展開
【コミュニケーションについて】
リモート中心ですが、月数回の顔合わせ・対面での議論・調整も発生する可能性があります。
【リモート併用/週4相談可能/AWS×Databricks】官公庁向け電力データ集約システム/Databricks Library 管理エンジニア No.25501
業務委託(フリーランス)
PythonAWSGitJP1
ネットワークエンジニア
作業内容 【概要】
AWS上に構築されたデータレイクおよび Databricks 環境における、
Pythonライブラリ・証明書・ETL関連コンポーネントのバージョン管理・更新作業を担当いただきます。
既存Library やデータレイクに対するアップデートを中心とした業務で、4‐9月は現行システム(ステップ4)の維持保守と引継ぎ期間となります。
【業務内容】
具体的な業務は以下となります。
・Library(Python・Driver など)のバージョン管理
・Databricks上のETL環境に伴うLibrary更新作業
・AWS上のデータレイク環境における構成管理
・証明書更新(Peakload含む)
・個別で実装されているコンポーネントの確認・管理
・Gitを利用したコード管理
・既存環境の棚卸し・ドキュメント整備
【工程】
現行調査
バージョン管理
依存関係管理
脆弱性確認
変更手順の作成
検証(単体/結合)
Libraryリリース
証明書更新(Peakload含む)
ドキュメント整備
【体制】
調査-参画中のプロパー:2名+今回のポジション
他、library管理者1名、アーキテクチャ1名
保守チームのプロパー:2名
【リモート/出社対応】
リモート勤務との併用が可能です。
週1日程度、豊洲にあるデータセンターへの出社対応があります。
【PC】貸与あり
【フルリモート】薬局向けアプリケーション開発エンジニア(週5日 / Python)
業務委託(フリーランス)
PythonAWSReact
作業内容 薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。現状の薬局経営は、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。このダッシュボードは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。
========================
※必ずお読みください※
【20 代から50代前半の方が活躍中】
※実務経験1年以上ありの方が対象の案件です!
【外国籍の方の場合】
日本語能力検定1級お持ちの方
日本語が母国語の方
※日本在住の方のみ
========================
【Databricks/AWS】データ分析基盤構築案件
業務委託(フリーランス)
SparkAWS
サーバーエンジニアデータベースエンジニア
作業内容 ・Databricksを活用してAWS上にデータ分析基盤を構築するための技術検証など作業に携わっていただきます。
・主に下記作業をご担当いただきます。
- 要件定義
- 基本設計
- 詳細設計
- 技術検証
【AWS/Databricks】データ分析基盤構築案件
業務委託(フリーランス)
SparkAWS
データサイエンティスト
作業内容 ・データ分析基盤構築案件に携わっていただきます。
・主に下記のような作業をご担当いただきます。
‐Databricksを活用したAWS上へのデータ分析基盤構築
【データサイエンティスト】事業会社向けアルゴリズム作成案件
業務委託(フリーランス)
PythonSparkBigQuery
データサイエンティスト
作業内容 ・国および自治体向け経営管理システムWseVine Build&Scrapの開発から派生した新規プロジェクトに携わっていただきます。
・主に下記作業をご担当いただきます。
- データを使ってテキストマイニングでマッチングロジックを組み立てることができる
- 予算情報の解析&マッチングアルゴリズムに転用できる