【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ■概要
環境設計レビュー・改善・実装・メンテナンスをお任せいたします。
■具体的な作業内容
以下の業務をお願いします。
・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります。
某大手製造メーカー系会社 データ処理インフラ基盤の構築
業務委託(フリーランス)
SparkAWSGoogle Cloud Platform
作業内容 ■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
【クラウドエンジニア(AWS)】【業務委託(準委任)】クラウドを使用した製品利用ログ分析基盤の開発・運用
作業内容 ■概要
Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。
■具体的な作業内容
・AWS EMRを使用したETL、データ前処理(Python、Spark)
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【Python】ビックデータの基盤構築
業務委託(フリーランス)
PythonSpark
サーバーサイドエンジニア
作業内容 某大手事業会社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、新規機能の開発などがスタートしたため人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。
【データ分析補佐】GPSデータを用いた予測支援
業務委託(フリーランス)
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
【Python(Web開発系)】【業務委託(準委任)】データ基盤開発業務
業務委託(フリーランス)
PythonSQLSpark
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
意思決定をデータドリブンに行っていく基盤の設計・開発・運用をします。
データアナリストやマーケティング、アプリケーションエンジニアと協力しながら、END企業の事業を支えるデータ基盤を整備・改善して課題解決を行っていくロールです。
分析基盤クラウド構築案件
業務委託(フリーランス)
SQLLinuxHadoopSparkAWS
作業内容 オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。
データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。
クラウド環境:AWS
【機械学習,画像認識】パッケージ製品へのAI関連の機能開発支援
作業内容 パッケージ製品へのAI関連の機能の
拡充を検討されており、その開発のご支援となります。
具体的には、
・機械学習を用いた処理の最適化機能
・画像認識機能、OCR機能
・音声での対話入出力機能
が初期スコープとなっております。
【Python(Web開発系)】【業務委託(準委任)】データ基盤開発業務
業務委託(フリーランス)
PythonSQLSpark
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
意思決定をデータドリブンに行っていく基盤の設計・開発・運用をします。
データアナリストやマーケティング、アプリケーションエンジニアと協力しながら、END企業の事業を支えるデータ基盤を整備・改善して課題解決を行っていくロールです。
【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
地図広告プラットフォーム開発
【Python,Scala,Hadoop】大手金融事業社でのビックデータ案件
業務委託(フリーランス)
JavaPythonPerlScalaHadoopSpark
データサイエンティスト
作業内容 某大手金融事業社内でのビックデータ案件になります。
現在稼働しているHadoop環境の運用、保守に加え、
7月から新規機能の開発などがスタートするため、
人員の増員を計画しております。
データ分析は別チームが存在しますので、あくまで分析を行うための
環境構築を行って頂くポジションとなりますが、現場の状況、
また適正次第では分析業務にも関わっていただく可能性がございます。
・PySparkでHadoopクラスタ上のデータを分析するアプリの開発
・Hadoopクラスタにデータを取込(いわゆるETL)アプリ・スクリプトの保守
【Scala】テレコム会社向け情報系システムのマイグレーション対応
業務委託(フリーランス)
SQLScalaLinuxUnixOracle
サーバーサイドエンジニア
作業内容 DWHシステムのマイグレーションに関わる開発
【Python】ネット証券アプリ開発
業務委託(フリーランス)
Python
サーバーサイドエンジニア
作業内容 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発・Hadoopクラスタにデータを取込(いわゆるETL)アプリ・スクリプトの保守
【PHP】証券取引サービスにおける設計開発(BtoC)
業務委託(フリーランス)
PHPOracleMySQLPostgreSQLApacheNginx
サーバーサイドエンジニア
作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。
【MW,機械学習,ブロックチェーン】パッケージ製品ベンダーの研究開発
業務委託(フリーランス)
LinuxHadoopSpark
アプリケーションエンジニア
作業内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、
その研究開発のご支援となります。
具体的には、
・機械学習等のAI機能を用いたグループウェア機能の最適化
・OCR機能を用いた帳票処理自動化機能
・ブロックチェーンを用いたBPM連携
等々がスコープとなっております。
モバイルアプリデータ解析支援
業務委託(フリーランス)
RubyMySQLRailsSparkApacheBigQueryHive
作業内容 モバイルアプリの解析・マーケティングツールの提供、
アプリの企画・戦略コンサルティングを行っている企業にて
以下の作業を行う。
・分析に必要なデータパイプラインの構築や中間データの整備
・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
New【Python/SQL】データ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 【業務内容】
在庫管理システムを支えるデータ基盤の構築案件となります。
主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【AWS/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonNode.jsSparkAWSDocker
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【AWS】システム開発案件
業務委託(フリーランス)
JavaPythonSQLCSSHTMLWindowsLinuxMySQLDjangoSparkFlaskAWSGitHub
データサイエンティスト
作業内容 開発、運用を繰り返すイメージです。
AWS上でのデータ解析基盤の構築
画面側はPython,html,cssなどを使います。
利用するAWSサービスの候補
- Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction
開発工程
基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト
【PHP】データ分析サイトの機能追加支援
業務委託(フリーランス)
JavaScriptPHPCSSHTMLLinuxMySQLHadoopSpark
作業内容 データ分析サイトの機能追加
【工程】:・システム仕様の英訳
・オフショア対応(欧州)
【環境】:Linux、Apache、Tomcat、PHP、MySQL、Hadoop
【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守
関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守
【環境】
言語:SQL,Python
FW:Apache Spark
環境・OS:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール:Docker,Terraform,JIRA,Github
【分析基盤エンジニア】データエンジニア業務
業務委託(フリーランス)
JavaPythonSparkGitHubTypeScriptKubernetes
作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む
【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守
- 関係者からのヒアリング・データ調査
- メンテナンス性・汎用性を意識したテーブルの設計
- SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
言語____:SQL,Python,ShellScript
FW____:Apache Spark
環境・OS_:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール___:Docker,Terraform,digdag,JIRA,Github
【Python(Web開発系)】小売関連分析システム開発
作業内容 ■概要
全国展開の小売データをもとにした分析システム構築となります。
■具体的な作業内容
・主にPython、AWS各種サービスを使用し製造~テストをメインに担当いただきますがもし対応できるのであれば設計もおねがいする想定
【クラウドエンジニア(AWS)】【業務委託(準委任)】データ基盤整備
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
データ基盤整備をお任せします。
リソース逼迫のため、人員増員いたします。
■具体的な作業内容
1. AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業
2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等)
(2については本人の意向、能力等を鑑みて判断とさせてください)
■業務環境
メンバー:3名(TL1名、エンジニア2名)
※部全体:50名弱
■開発環境
・言語:Python, Hive, Spark
・AWS:EMR, Glue, Athena, Lambda, API Gateway
・Google Cloud Platform:BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
■担当工数
1.開発/保守改修
2.基盤設計/基本設計/詳細設計/開発
【Azure】クラウドエンジニアの求人・案件
業務委託(フリーランス)
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入
【Python】自社サービスSaas|~90万|フルリモート
業務委託(フリーランス)
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda
データベースエンジニア
作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、
開発メンバー全員でスプリントを消化していく体制になります。
メディアデータを収集したDMP活用、様々なアルゴリズムの開発
業務委託(フリーランス)
PythonRHadoopSparkAWSGoogle Cloud Platform
データサイエンティスト
作業内容 概要
国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う
業務目的
施策で使われるモデルやアルゴリズムを実装し、運用すること。
部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。
プロジェクト例
● 横断データを活用した、カスタマーのライフイベントタイミング予測
● カスタマー属性の予測(年収、職業など)
New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件
業務委託(フリーランス)
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。