【AWS】インフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
【SQL】データクレンジング・加工・統合案件
作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルを作成していただきます。
・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。
・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。
【SQL,R】不動産広告事業向けデータ分析/週3~5日
業務委託(フリーランス)
PythonSQLRLinuxApacheHive
作業内容
【AWS】インフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
【Hadoop・Hive】大規模データ解析/分析案件
業務委託(フリーランス)
JavaScriptPythonRubySQLPerlRLinuxMySQLRedisHadoopAWSNginxUnicornMemcacheGitHubHive
データサイエンティスト
作業内容 ・世界展開されている大規模なゲーム、
及びWebサービスのデータ分析/解析や運用管理に携わって頂きます。
・データ分析/解析環境の設計から幅広く担当頂きます。
・開発手法は、スクラムです。
・開発フローは、GitHub FlowをベースにPull Requestを活用してます。
・主な業務
データ分析/解析の基盤やツールの開発
データ分析/解析のスクリプト記述
データ分析/解析の結果に基づいた改善や新規サービスの立案
※担当範囲は、経歴やスキルおよび進捗状況により変動いたします。
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【Objective-C/Swift】Bigqueryデータ移行案件
業務委託(フリーランス)
Objective-CMySQLSparkAWSSwiftGoogle Cloud PlatformBigQueryHive
ネットワークエンジニアスマホアプリエンジニア
作業内容 ・AWSのデータレイクからBigqueryへのデータ移行をおこなっていただきます。
・下記を行っていただきます。
-GCPデータ基盤の整備
-ワークフローエンジン導入
【python/Spark】自動販売機商品入れ替え計画提案プログラムの改修
業務委託(フリーランス)
PythonHadoopSparkHive
サーバーサイドエンジニア
作業内容 自動販売機の商品をアソートリストに沿ったものに入れ替える際の入れ替え計画を提案するプログラムの改修(パフォーマンス改善)、自動販売機ごとに最適とされるアソートリスト(商品の数量、種類、並び)をcsvファイルとして出力する処理をしていただきます。
アソートリスト出力処理は シェルスクリプト・python・R (pyspark / sparkRを利用) 入れ替え計画提案プログラムは python(pyspark を利用)
人材業界でのデータエンジニア募集
業務委託(フリーランス)
JavaSQLScalaHadoopSparkApacheHive
アプリケーションエンジニア
作業内容 ■業務内容
(1)Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯
(2)HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化
(3)Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装
稼 働:週2日~5日 相談可能
時 間:9:30 - 18:30(応相談)
服 装:ビジネスカジュアル・私服
AWS データレイク・DWH管理等
PythonSparkAWSGitGoogle Cloud PlatformBigQueryHiveGlueAthenaTerraformCircleCILambda
作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。
主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。
1. AWSのデータレイクからBigqueryへのデータ移行作業
2. GCPデータ基盤の整備(ワークフローエンジン導入等)
→2番の作業関しては、ご意向と経験に応じてご相談となります。
<開発環境>
言語:Python, Hive, Spark
AWS:EMR, Glue, Athena, Lambda, APIGateway
GCP:BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows
CI・CD・その他:Terraform, CircleCI, GithubActions, digdag, embulk
<備考>
基本リモート
<基本時間>
10:00~19:00
AWS 分散DBを用いたデータ基盤のインフラエンジニア
HbaseSparkAWSHive
インフラエンジニア
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
【JavaScript】医療系アプリ開発案件
業務委託(フリーランス)
JavaScriptUnixMongoDBNode.jsHadoopSparkGitGitHubReactHive
作業内容 ・クライアントの自社プロダクトの開発に携わっていただきます。
・具体的には下記の作業を行っていただきます。
-プロダクト改善への提案、情報収集とその共有
-自動化のための整備
-外部への情報発信 Qiitaやブログでの記事投稿
-可能であれば、テックリードとしてチームをマネジメント
【AWS】CANデータ収集・活用システムの開発および維持運用
業務委託(フリーランス)
JavaRedisAWSLambda
サーバーサイドエンジニア
作業内容 CANデータ収集・活用システムの開発および維持運用案件です。
車両から送信されてくるCANデータを収集して、扱いやすいデータに変換するためにAWS上に構築されたシステムの追加開発および維持運用を行っていただきます。
収集はKinesis FirehoseとS3、変換処理はJavaアプリ on EMRで実現している現場です。
Hadoop / AWS データ分析基盤の運用改善
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
ご希望の場合はオンサイトも可能
【Python】ビッグデータ基盤システム開発案件
業務委託(フリーランス)
PythonSQLHadoopAWSGitHive
サーバーサイドエンジニア
作業内容 一般ユーザー向けにコンテンツ制作を手掛けている企業にて
ビッグデータ基盤システム開発案件にご参画いただきます。
【Java】レコメンドシステム開発運用案件
業務委託(フリーランス)
JavaScalaCSSHTMLWindowsLinuxMySQLHbaseHadoopSpringStrutsSparkiBATISTomcatEclipseSubversionHive
作業内容 ・大規模データベースシステム/レコメンドシステムの運用及び運用改善に携わっていただきます。
また、システムに付随する管理ツールや自動化スクリプトの開発もご担当いただきます。
【SQL】データクレンジング・加工・統合案件
作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルを作成頂きます。
・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。
・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。
【SQL】データクレンジング加工・統合案件
作業内容 ・クライアントの見たいレポートに合わせて、インプットとなるデータを加工・統合し必要なアウトプットテーブルをご作成頂きます。
・ロジックの元となる要件定義は行われている状態のため、実際のデータを見てご対応いただきます。
・要件定義側に必要なロジックの確認などを行いつつ進めるケースもございます。
メディア向けデータ分析支援案件
業務委託(フリーランス)
JavaPHPPythonSQLRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・メディア向けシステムの大規模ビッグデータに携わっていただきます。
・下記を行っていただきます。
-データ分析をするための基盤の構築・運用
-インフラ保守、構築・開発
・実際のデータ分析をお願いすることもございます。
【分析基盤エンジニア】データエンジニアリング業務 (HR領域)
業務委託(フリーランス)
SQLGoogle Cloud Platform
作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。
使用データベースはGCP/BigQueryを利用
一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。
★元請直/リモート/AWS+EMR データ蓄積基盤構築
業務委託(フリーランス)
SQLHadoopSparkAWSRedshiftHiveAthena
データサイエンティスト
作業内容 ビッグデータを蓄積するオンプレHadoop基盤をAWS EMRを利用した基盤に変更する
その後、既存データを新基盤に移行する作業も実施予定。
【BigQuery】機械学習関連DWHエンジニア募集|フルリモート|~100万
業務委託(フリーランス)
PythonSQLLinuxAWSAzureDockerBigQueryHiveSnowflakeTerraformLambda
データベースエンジニア
作業内容 機械学習を用いた予測システムの開発・運用データエンジニア(DWH)
エネルギー業界向けに機械学習を用いた予測システムの開発・運用
・多モデル予測パイプラインの設計
・監視・通知の仕組みの設計 etc..
・希望に応じて機械学習モジュールの開発も可能
【AWS/Hadoop/Python/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間:随時~
地図広告プラットフォーム開発
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
Python/SQL 開発・保守および運用に関する支援業務(リモート)
作業内容 ・データ加工のバッチ開発/運用(データ設計、ETL処理の開発)
・カテゴリ付与などのデータ加工の検討・実装など
【Java】大トラフィックサービス研究開発案件
業務委託(フリーランス)
JavaScalaWindowsLinuxUnixMySQLHbaseHadoopSpringStrutsiBATISEclipseSubversionHive
作業内容 ・大規模なWebサービスの解析用アプリケーション開発や、
各種APIの設計~実装を担当していただきます。
・口頭や簡単なメモで仕様が来ることもありますので、
コミュニケーションをとりながらプロトタイプベースで
開発を進めていただきます。
ビッグデータ基盤システムの構築、開発、保守
業務委託(フリーランス)
JavaPHPPythonSQLGoHadoopAWSApacheGitHive
インフラエンジニア
作業内容 ・主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。
モバイルアプリデータ解析支援
業務委託(フリーランス)
RubyMySQLRailsSparkApacheBigQueryHive
作業内容 モバイルアプリの解析・マーケティングツールの提供、
アプリの企画・戦略コンサルティングを行っている企業にて
以下の作業を行う。
・分析に必要なデータパイプラインの構築や中間データの整備
・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
【AWS】メディア向けインフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
・SREチームの所属となりますが、
作業としては、インフラと開発の割合が5:5程度です。
CRM施策に関連するデータ加工/抽出/分析業務
PythonSQLMySQLPostgreSQLGitJIRABigQueryHive
作業内容 CRM施策に関連する、以下の業務をご担当いただきます。
■具体的には…
・メールマガジン、Push通知、広告配信等の配信に必要なセグメント抽出用クエリ作成
→事前データ調査やユーザーリストの作成
・事業KPI設計
・成果レポート用クエリ作成
・BIツール移行対応
・施策ヒアリング等の要件定義
■開発環境
PC:Mac(JIS/US 選択可)
ミドルウェア:MySQL、PostgreSQL
管理ツール:Slack、Jira、Confluence、Git
その他:BigQuery、LookerStudio、Redash、Hive
■担当工程
要件定義、基本設計、詳細設計
保守改修、運用
※アダルトコンテンツ一部有り
レポート作成やセグメントに利用するSQLの業務では直接的に触れる形ではないが、
抽出データ内に作品タイトルなどが表示されるケースあり
【AWS】メディア向けインフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
・SREチームの所属となりますが、
作業としては、インフラ構築運用をメインにご担当いただきます。