NEW★元請直★【AWS / EMR】データ蓄積基盤構築
業務委託(フリーランス)
SQLHadoopSparkAWSRedshiftHiveAthena
データサイエンティスト
作業内容 ビッグデータを蓄積するオンプレHadoop基盤をAWS EMRを利用した基盤に変更する
その後、既存データを新基盤に移行する作業も実施予定。
【ETL(リモート)】インタフェース開発
作業内容 ・IF各種設計書作成
・MS Fabric環境での実装(検証及びテストも含む)
・その他上記に付随する業務
Python エンドユーザー向けAWS基盤の開発
作業内容 既存のAWSデータレイク基盤をベースにした追加開発
AWS / Python IoTデータ分析基盤の設計・構築・テスト
作業内容 AWS上に、IoTデータを集積したレイクハウスを設計・構築いたします。
AWS Glue、StepFunctionsによる設計・構築・テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS GlueやSparkの技術に明るく、性能面、コスト面から最適化のアプローチができる方を募集しております。
<基本時間>
10:00~19:00
GCP|経験5年|データ基盤構築支援|クラウドエンジニア
業務委託(フリーランス)
PythonLinuxMySQLDjangoSparkFlaskAWSAzureApacheGoogle Cloud PlatformBigQueryTerraformKubernetes
作業内容 大手資本が介入したAIスタートアップです。特定の企業へのAIではなく業界全体の改善を目指したソリューションとなります。
一言でいうと、本屋さんがなくなったら困るよね!みんなで頑張ろう!という想いが大事です。
インフラ担当としてクラウド機能の活用からコスト面の考慮、BIに至るまで全般的なアーキテクト面をお任せいたします。
社内には研究開発チームやデータエンジニアリングを行う方(データサイエンティスト)もおりますので、その方々に向けて
モデル開発/機械学習のためのインフラ面の構築もお任せいたします。
AWS|経験5年|大規模ライブ配信アプリ開発支援|クラウドエンジニア
業務委託(フリーランス)
GoSparkAWSApacheGitGoogle Cloud PlatformBigQueryKubernetes
作業内容 ライブ配信アプリを開発している企業様です。
この度、インフラ周りに精通した方でアプリの開発にご参加いただけるメンバーを募集しております。
具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。
【Python/SQL】ビッグデータ利活用のため加工修正業務の求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSSnowflake
作業内容 クライアントが保有するビッグデータの利活用を進めていくにあたりAWSでのデータの加工、修正をお願いいたします。
Azure|経験5年|製造IoT基盤分析領域の次期システム開発支援|インフラエンジニア
業務委託(フリーランス)
Azure
インフラエンジニア
作業内容 クライアントの内製開発をご支援いただきます。
クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに
Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。
今回は、次期システムの開発支援メンバーを募集します。
同内製開発チームは製造IoT系のシステムを開発しています。
このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。
製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。
・Azureサービスを用いたシステム構築、開発
【DX・データ利活用コンサル】エンタープライズデータアーキテクト支援の求人・案件
業務委託(フリーランス)
JavaPythonSQLScalaHadoopSparkAWSAzureTableau
コンサル
作業内容 ・データエンジニアと緊密に連携して、バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化
・ データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、
高度な分析や機械学習プロジェクトをサポートします。
【概要】
・さまざまなサービスと実装パターンを活用し、安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。
具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、
データの取り込み、保存、処理、消費のためのソリューション設計になります。
【Azure】分析領域の次期システム開発支援の求人・案件
作業内容 クライアントの内製開発をご支援いただきます。
クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに
Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。
今回は、次期システムの開発支援メンバーを募集します。
同内製開発チームは製造IoT系のシステムを開発しています。
このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。
製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。
・Azureサービスを用いたシステム構築、開発
【AWS/フルリモート(新浦安)】ライブ配信サービスのインフラエンジニア募集
業務委託(フリーランス)
AWSGitGoogle Cloud Platform
インフラエンジニア
作業内容 【仕事内容】
Q&Aに特化したライブ配信アプリを開発しております。
インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。
■チーム体制
・PdM:1名
・バックエンドエンジニア:2名
・モバイルエンジニア:3名
・プロダクトデザイナー:1名
■環境
• 分散DB(Cloud Spanner)
• 言語:Go言語
• 通信 :connect-go proto
• コンピューティング:Kubernetes → Cloud Run
• DWH・パイプライン構築
◦ BigQuery
◦ Apache Spark
■働き方
フルリモート
週1回(月or金)出社頂ける方が理想です。
外国籍:不可
【Python/BI/リモート】エンタメサービスのユーザー行動分析
業務委託(フリーランス)
PythonSQLTableauGoogle Analytics
データサイエンティスト
作業内容 ■案 件:【データアナリスト】大手エンタメ事業 サービス内(App/Web)におけるユーザーの活動分析
■内 容:
・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)
<業務詳細>
・分析基盤整備
└ダッシュボードの作成(KPIツリー、目的別ボード)
└ユーザー行動の可視化(推移、利用特性)
└分析基盤整備の推進(データ取得の推進、課題点洗い出し)
・分析
└データを用いた仮説検証(機能、UI改善、施策)
└ユーザー行動(数値化、可視化、セグメント分類)
└効果検証(広告、キャンペーン、メールマガジン等)
└得られたデータを元にしたインサイトの提供
【SQLなど】サービス内(App/Web)におけるユーザーの活動分析の求人・案件
業務委託(フリーランス)
PythonSQLRHadoopRedshiftBigQueryTableauGoogle Analytics
作業内容 ・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)
<業務詳細> ・分析基盤整備 └ダッシュボードの作成(KPIツリー、目的別ボード) └ユーザー行動の可視化(推移、利用特性) └分析基盤整備の推進(データ取得の推進、課題点洗い出し) ・分析 └データを用いた仮説検証(機能、UI改善、施策) └ユーザー行動(数値化、可視化、セグメント分類) └効果検証(広告、キャンペーン、メールマガジン等) └得られたデータを元にしたインサイトの提供
<使用ツール>
・開発言語:Go
・インフラ環境:Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理:GitHub
・CI/CD:CircleCI, Cloud Build
・監視/モニタリング:Google Cloud Logging, Google Cloud Monitoring
・インシデント管理:PagerDuty
・コミュニケーション:Slack, Google Meet
・プロジェクト管理/ドキュメント:JIRA/Confluence/DocBase
Python データアナリスト募集
PythonSQLJIRAGitHubBigQueryTableauGoogle AnalyticsCircleCI
データアナリスト
作業内容 ・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
【役割】
事業のPDCAにおける、Check-分析の効率性/スピードと質を向上させ、かつ次のアクションに繋がるインサイトを提供すること
■ 分析基盤整備
・ダッシュボードの作成(KPIツリー、目的別ボード)
・ユーザー行動の可視化(推移、利用特性)
・分析基盤整備の推進(データ取得の推進、課題点洗い出し)
■ 分析
・データを用いた仮説検証(機能、UI改善、施策)
・ユーザー行動(数値化、可視化、セグメント分類)
・効果検証(広告、キャンペーン、メールマガジン等)
・得られたデータを元にしたインサイトの提供
【働く環境】
・海外や多地点との協働
・メインが日本語で、英語は読み書きが頻出 ※スキルに応じ英会話等も利用の可能性あり
【使用ツール】
開発言語
・Go
インフラ環境
・Google Cloud
・Cloud Spanner
・Cloud Function
・Cloud Run
・BigQuery
ソースコード管理:GitHub
CI/CD: CircleCI, Cloud Build
監視・モニタリング: Google Cloud Logging, Google Cloud Monitoring
インシデント管理: PagerDuty
コミュニケーション: Slack, Google Meet
プロジェクト管理、ドキュメント: JIRA/Confluence/DocBase
【データ分析補佐】GPSデータを用いた予測支援
業務委託(フリーランス)
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
地図広告プラットフォーム開発
New【Python/SQL】データ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 【業務内容】
在庫管理システムを支えるデータ基盤の構築案件となります。
主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【Azure】クラウドエンジニアの求人・案件
業務委託(フリーランス)
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入
【AWS/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonNode.jsSparkAWSDocker
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守
- 関係者からのヒアリング・データ調査
- メンテナンス性・汎用性を意識したテーブルの設計
- SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
言語____:SQL,Python,ShellScript
FW____:Apache Spark
環境・OS_:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール___:Docker,Terraform,digdag,JIRA,Github
【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守
関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守
【環境】
言語:SQL,Python
FW:Apache Spark
環境・OS:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール:Docker,Terraform,JIRA,Github
【AWS】システム開発案件
業務委託(フリーランス)
JavaPythonSQLCSSHTMLWindowsLinuxMySQLDjangoSparkFlaskAWSGitHub
データサイエンティスト
作業内容 開発、運用を繰り返すイメージです。
AWS上でのデータ解析基盤の構築
画面側はPython,html,cssなどを使います。
利用するAWSサービスの候補
- Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction
開発工程
基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト
【分析基盤エンジニア】データエンジニア業務
業務委託(フリーランス)
JavaPythonSparkGitHubTypeScriptKubernetes
作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む
【Python】自社サービスSaas|~90万|フルリモート
業務委託(フリーランス)
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda
データベースエンジニア
作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、
開発メンバー全員でスプリントを消化していく体制になります。
New【分析基盤エンジニア】データ連携基盤検証環境構築の求人・案件
業務委託(フリーランス)
SparkApacheSnowflakeKafkaKubernetes
作業内容 今後の世界的な課題であるエネルギー問題に対するシステム的な取り組みとなります。そのため社会意義の高い要件を新しい技術領域で対応していく事になります。現在、国内の一部地域を利用した分散電源のデータを共有化するためデータ連携基盤の構築が進められております。技術的な背景はクラウド・DWHの技術的な知見が必要となります。業務設計は出来ておりますが、アーキテクチャー設計は出来ていないため、抽象的な要件の非機能要件化を進めて頂きます。
【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語: Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・ライブラリ・フレームワーク:Pandas、Numpy、Dask
・インフラ:AWS
・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry
【Python/SQL】データ基盤運用保守の求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSGoogle Cloud Platform
作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善
主要技術:BigQuery/Cloud Composer(Airflow)/Python/(一部Spark)
【Python/フルリモート可能】Saasプロダクトデータ基盤構築の案件・求人
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語:Python、SQL
・DB:Aurora(PostgreSQL互換)、Redshift
・ライブラリ・フレームワーク:Pandas、Numpy、Dask
・インフラ:AWS
・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch
・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry
New【Python】バックエンドエンジニアの求人・案件
業務委託(フリーランス)
PythonHadoopSparkAWS
バックエンドエンジニア
作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。
[具体的な業務]
・RDBのデータベース設計
・Glue JobでPythonを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナと協調した仕様策定
・AWS関連リソースのより積極的な活用
・git flowベースの開発進行