Hadoop / AWS データ分析基盤の運用改善
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
ご希望の場合はオンサイトも可能
【DB】大手広告代理店のデジタル広告におけるクリエイティブを、大量に蓄積されたデータとAIを駆使して改善するサービスの開発
業務委託(フリーランス)
PythonSQLScalaHadoopSparkBigQuery
作業内容 ・データサイエンティストと協働したAIプロジェクトの推進
・画像や動画など、広告クリエイティブにおけるデータ処理、学習モデル化
・最適化アルゴリズム、外部ツール連携、データ解析など、必要アセットの調査研究・検証
・AIを駆使し、現広告業務へ付加価値をつける機能・システムの考案・開発
・機械学習モデルのサービング
大規模なデジタル広告データをバックグラウンドに、データ処理の分散化や、画像・動画の解析、機械学習と組み合わせたアプリケーション開発や学習モデルの管理を行って頂きます。
【GCP/フルリモート】クラウドサービス・Webアプリケーション開発支援案件
業務委託(フリーランス)
LinuxMySQLPostgreSQLRedisCassandraSparkGitJIRAGoogle Cloud Platform
作業内容 ・電帳法、インボイス、会計、販売管理関連の既存サービスの開発に際して、インフラ領域の技術支援に携わっていただきます。
・GCPを用いたインフラ環境の設計~構築をご担当頂く予定です。
【DB】大手広告代理店のデジタル広告におけるクリエイティブを、大量に蓄積されたデータとAIを駆使して改善するサービスの開発
業務委託(フリーランス)
PythonSQLScalaHadoopSparkBigQuery
作業内容 ・データサイエンティストと協働したAIプロジェクトの推進
・画像や動画など、広告クリエイティブにおけるデータ処理、学習モデル化
・最適化アルゴリズム、外部ツール連携、データ解析など、必要アセットの調査研究・検証
・AIを駆使し、現広告業務へ付加価値をつける機能・システムの考案・開発
・機械学習モデルのサービング
大規模なデジタル広告データをバックグラウンドに、データ処理の分散化や、画像・動画の解析、機械学習と組み合わせたアプリケーション開発や学習モデルの管理を行って頂きます。
【AWS】鉄道会社向けアプリ開発
業務委託(フリーランス)
Node.jsSparkAWSLambda
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【作業内容】
鉄道会社向けアプリ開発をご担当いただきます。
・AWSを利用したアプリの改修、小規模開発、運用保守。
-Lambda,S3,RDSなど各種AWSサービスを利用したアプリの機能の改修、小規模開発。
(サーバーサイドはNode.jsがメイン)
-不具合、障害対応
-パフォーマンス改善
-脆弱性診断(定期的に実施)
-セキュリティ対応
【場所】
リモート可/大正
立ち上がりは出社となります。
【精算】
140-180h
【面談】
1回
※週5日〜OKの案件です!
※実務経験1年以上お持ちの方が対象の案件です!
【Python(リモート)】Saasプロダクトデータ基盤構築
業務委託(フリーランス)
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語:Python、SQL
・DB:Aurora(PostgreSQL互換)、Redshift
・ライブラリフレームワーク:Pandas、Numpy、Dask
・インフラ:AWS
・AWS製品:ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry
【Python/Java/Scala】データ分析アプリ開発案件
業務委託(フリーランス)
JavaPythonScalaHadoopSparkApache
作業内容 ・大手企業のグループ内にある各事業会社の要件を実現していくため、
AI/データ分析アプリ開発に携わって頂きます。
・HadoopやSparkなどの技術を使いながら、PoCを回して頂きます。
・モックやプロトタイプの開発から実運営での検証など、PDCAを回し、
投資判断でGoが出たものは、システム開発を行う流れで進めます。
・ご経験がある方は、
アーキテクチャ設計や技術選定などを併せて依頼されることがございます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
モバイルアプリデータ解析支援
業務委託(フリーランス)
RubyMySQLRailsSparkApacheBigQueryHive
作業内容 モバイルアプリの解析・マーケティングツールの提供、
アプリの企画・戦略コンサルティングを行っている企業にて
以下の作業を行う。
・分析に必要なデータパイプラインの構築や中間データの整備
・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
【SQL】ネット広告事業向けDWH/CDP環境構築案件
業務委託(フリーランス)
SQLHadoopSparkGitHubTreasure Data
データサイエンティストデータベースエンジニア
作業内容 ・下記を行っていただきます。
-クラウドを利用したDWH/CDPの構築
-ETLの実施/ワークフローの作成
-BIツールを利用したダッシュボード構築
-API経由でのデータ接続
-BIツールによるダッシュボード構築
New【Python/SQL】データ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 【業務内容】
在庫管理システムを支えるデータ基盤の構築案件となります。
主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
【DWH/ETLなど】内製開発:ETLチームの求人・案件
業務委託(フリーランス)
MySQLMongoDBSparkAWSApacheJIRARedshiftKafkaLambda
作業内容 ・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
【AWS/リモート併用】地図広告プラットフォーム開発の案件・求人
業務委託(フリーランス)
PythonNode.jsSparkAWSDocker
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Python】大規模広告システム/機械学習案件
業務委託(フリーランス)
JavaScriptPythonScalaLinuxMacOSMySQLRedisMongoDBHadoopSparkNginxCoffeeScriptSassRedmineGitHub
データサイエンティスト
作業内容 ・システムに利用する機械学習手法の
調査や研究及び開発などに携わっていただきます。
・主な業務は下記の通りです。
-継続的な効果検証の仕組みづくりやそのアドバイス等
-追加機能の効果測定指標の策定
-指標を元にした機能レベルの実施
-機能改善の方針検討やアドバイス
-他メンバーへの知見共有
・担当範囲は、スキルや経験および進捗状況により変動いたします。
【Python / ~40歳まで】大手自動車メーカー向けAI関連システム開発要員募集
業務委託(フリーランス)
PythonHadoopDjangoSparkAWS
作業内容 テックビズなら記帳代行無料!仕事に集中して取り組んでいただけます。
案件内容 :運送会社向けにドライバーの運行情報を解析するアプリ開発をPoCを回しながら行っております。
デジタルタコグラフから取得した大量の運行情報をAWS環境上で蓄積し、
Djangoにて解析を行うシステムの開発を担当していただきます。
勤務場所 :リモート ※月1~2回出社(品川)
勤務時間 :9:00~18:00(予定)
勤務期間 :即日~※長期
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・40代以上の方
・外国籍の方(永住権をお持ちの方は問題ございません)
・週5日稼働できない方
--------------------------------------------------------
【MW,機械学習,ブロックチェーン】パッケージ製品ベンダーの研究開発
業務委託(フリーランス)
LinuxHadoopSpark
アプリケーションエンジニア
作業内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、
その研究開発のご支援となります。
具体的には、
・機械学習等のAI機能を用いたグループウェア機能の最適化
・OCR機能を用いた帳票処理自動化機能
・ブロックチェーンを用いたBPM連携
等々がスコープとなっております。
【Java】IoT基盤関連API開発案件
業務委託(フリーランス)
JavaPostgreSQLSparkDocker
作業内容 ・Javaを用いたシステム開発案件に携わっていただきます。
・主に下記業務をご担当いただきます。
-基本設計以降の実務開発業務
-API開発
上級SE/コンサル向けSCM要件定義・設計業務案件
業務委託(フリーランス)
JavaJavaScriptCassandraHadoopSparkDynamics CRMSAP WASSAP
コンサルSE
作業内容 ・製造業向けのERP(enterprise resource planning)パッケージソフト導入における
要件定義フェーズから製品設計業務をご担当いただきます。
・複数クライアントとの業務要件定義から業務要件からPKG機能設計への
落とし込み(プロセス/機能/エンティティ設計)等、
主に販売、購買、在庫、原価、PJ管理のモジュールを導入していただきます。
※設計以降開発はオフショアを想定しております。
【PM】データAIプラットフォーム推進案件
業務委託(フリーランス)
SparkAzure
データサイエンティストPM
作業内容 ・データAIプラットフォーム推進案件にPMとしてご参画いただきます。
・主に下記作業をご担当いただきます。
-プロジェクトマネジメント業務
-提案業務
【Java】コンサル向けSCM要件定義・設計業務案件
業務委託(フリーランス)
JavaJavaScriptCassandraHadoopSparkDynamics CRMSAP WASSAP
コンサル
作業内容 ・製造業向けのERP(Enterprise Resource Planning)パッケージソフト
導入における要件定義フェーズから製品設計業務をご担当いただきます。
・複数クライアントとの業務要件定義から業務要件からPKG機能設計への
落とし込み(プロセス/機能/エンティティ設計)等、
主に販売、購買、在庫、原価、PJ管理のモジュールを導入していただきます。
※設計以降開発はオフショアを想定しております。
【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 ・DWH層テーブルの要件定義・設計・開発・保守
- 関係者からのヒアリング・データ調査
- メンテナンス性・汎用性を意識したテーブルの設計
- SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
言語____:SQL,Python,ShellScript
FW____:Apache Spark
環境・OS_:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール___:Docker,Terraform,digdag,JIRA,Github
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
AWS / Python IoTデータ分析基盤の設計・構築・テスト
作業内容 AWS上に、IoTデータを集積したレイクハウスを設計・構築いたします。
AWS Glue、StepFunctionsによる設計・構築・テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS GlueやSparkの技術に明るく、性能面、コスト面から最適化のアプローチができる方を募集しております。
<基本時間>
10:00~19:00
【DWH/SQL】DWH設計開発案件
業務委託(フリーランス)
SQLSQL ServerSparkApacheGitBacklogJIRAGitHub
インフラエンジニアデータベースエンジニア
作業内容 ・組織全体の意思決定をデータドリブンに行っていくために必要な
DWH層テーブルの設計、開発、保守をお任せいたします。
・具体的には以下のような作業が発生いたします。
‐DWH層テーブルの設計
‐DWH層テーブルのSQL及び、PySparkを用いた実装
‐DWH層のテーブルについての問い合わせ対応、不具合解消
‐DWH層開発環境の設計、開発、保守、運用
Python 内製開発(ETLチーム)
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。
<業務内容>
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
<就業時間>
9:00~18:00
※※こちらの案件は現在募集を終了しております※※
大手キャリア向けPM業務
業務委託(フリーランス)
PythonNode.jsSparkAWSFargate
PM
作業内容 通信会社がポイントを使える街の店舗を紹介するような新規サービスを考えており、そのサービスのうちレコメンド機能部分を開発する。
技術要素としては、AWS上でSpark on EMR環境を構築し、その上で機械学習モデルを動かし、これをクライアントアプリから使えるようWeb API化する(AWSのFargate上で動かすことを想定、アプリケーションのプログラム言語やWebフレームワークはまだ決まっていないが、昨今のトレンドからしてPython, Node.js, Goあたりになると思われる)
<備考>
基本リモート
【PHP】データ分析サイトの機能追加支援
業務委託(フリーランス)
JavaScriptPHPCSSHTMLLinuxMySQLHadoopSpark
作業内容 データ分析サイトの機能追加
【工程】:・システム仕様の英訳
・オフショア対応(欧州)
【環境】:Linux、Apache、Tomcat、PHP、MySQL、Hadoop
【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLDockerGitBacklogJIRAGitHubTerraform
作業内容 【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守
関係者からのヒアリング・データ調査メンテナンス性・汎用性を意識したテーブルの設計SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 【開発工程】 基本設計|詳細設計|実装・構築・単体試験|運用・保守
【環境】
言語:SQL,Python
FW:Apache Spark
環境・OS:GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール:Docker,Terraform,JIRA,Github
【Python】TVなどの操作Logをもとにランキングなどを出力するサービスの開発
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅※フルリモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です!
プラットフォーム構築メンバー クレジットカード会社の次世代DWH(DMS)開発支援
SASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・業務内容:
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程:
FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。
※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す
【Python/SQLなど】データエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。
【Python】論文検索システム構築案件
業務委託(フリーランス)
PythonShellHbaseDjangoSparkSolr
作業内容 ・論文検索システムの構築に携わって頂きます。
・設計から幅広く担当して頂きます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
【分析基盤エンジニア】データエンジニア業務
業務委託(フリーランス)
JavaPythonSparkGitHubTypeScriptKubernetes
作業内容 プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む
【Python】Lob分析サービス開発運用
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅
※フルリモート
【勤務時間】
9:00~18:00
【精算】
140-180h
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です!
【Azure】クラウドエンジニアの求人・案件
業務委託(フリーランス)
HadoopAzure
インフラエンジニア
作業内容 在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入
Python 大手通信系企業内の内製開発(ETLチーム)
作業内容 以下業務をご対応いただきます。
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
※※こちらの案件は現在募集を終了しております※※
広告配信システム配信データ分析案件
業務委託(フリーランス)
PythonSQLLinuxSparkGitHub
作業内容 ・広告配信システムにおいて、下記の配信データ分析に携わっていただきます。
-数値に基づいた意思決定をするためのデータ分析
-新規配信手法のプロトタイプ作成・提案
-データ可視化システムを用いたレポーティング・プレゼンなど
【Python】通信会社向け販促システム開発案件
業務委託(フリーランス)
PythonMySQLHadoopSparkApache
作業内容 ・通信会社向け販促システム開発に携わっていただきます。
・主に下記作業をご担当いただきます。
-Webスクレイピング
-追加機能開発
・フルリモートでの作業を想定しております。
※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる
想定です。
【Scala】スマホ向けDSP開発案件
業務委託(フリーランス)
ScalaLinuxAWSGitHubGoogle Cloud PlatformRedshift
アプリケーションエンジニアデータベースエンジニア
作業内容 ・スマートフォンの成果報酬課金型DSPの広告配信システムの開発と、
Sparkを用いたリアルタイムログ処理基盤の開発に携わっていただきます。
【Python】在庫最適化システムのデータ基盤構築(リモート)
業務委託(フリーランス)
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【Python】自社サービスSaas|~90万|フルリモート
業務委託(フリーランス)
PythonSQLPostgreSQLSparkAWSDockerJIRAGitHubRedshiftAuroraCircleCIElasticsearchLambda
データベースエンジニア
作業内容 在庫最適化システムを支えるデータ基盤の構築をお任せいたします。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、
開発メンバー全員でスプリントを消化していく体制になります。
【Python(リモート)】AI系サービスデータ基盤構築
業務委託(フリーランス)
PythonSQLWindowsLinuxPostgreSQLSparkAWSGitHubRedshiftBigQueryTreasure DataAuroraCircleCILambda
バックエンドエンジニア
作業内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
〜技術環境〜
OS:Linux、Windows
言語:Python、SQL
DB:Redshift、Aurora(PostgreSQL互換)
Cloud:AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)
DWH:BigQuery、TreasureData等
機械学習系:Kedro、MLflow
CI:CircleCI
監視系:Sentry
その他:GitHub、Slack、CircleCI
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。