【Scala,ApacheSpark】ビックデータ/レコメンド機能等に関する開発支援
業務委託(フリーランス)
ScalaSparkApache
アプリケーションエンジニア
作業内容 Webサイトへの導入、機能そのものの改修、データ分析などなど
【ほぼフルリモート】某大手通信事業者向けデータ加工処理マイグレーション検討
業務委託(フリーランス)
SparkAWSApacheSnowflakeGlue
作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます
【マイグレーション例】
・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する
⇒Databricks、snowflake(snowpark)、AWS(Glue,EMR)等のSpark関連マネージド・サービスにマイグレーション
【AWS】データマネジメントシステム更改案件
業務委託(フリーランス)
HadoopSparkAWS
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・AWSクラウド環境にHadoop/Sparkといった技術を用いデータ連携/
データ収集 を行い、AIによる情報活用基盤の更改をご担当いただきます。
・下記を行っていただきます。
-DaaS環境構築支援
-インフラ構成検討支援
-リアルタイム/機械学習基盤設計支援
-問合せ対応
リモート併用|【Hadoop/Spark/AmazonKinesis】オンプレミスサーバ運用(バックエンドエンジニア)
業務委託(フリーランス)
HadoopSpark
バックエンドエンジニア
作業内容 【概 要】 Hadoop運用/およびLinuxサーバの運用業務となります。
オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。
・Hadoopまたは類似システムの運用経験があること
(優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど)
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Spark,Tensorflow】産学連携AIシステム開発における基盤構築
業務委託(フリーランス)
SparkTensorFlow
組み込みエンジニア
作業内容 広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、
日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。
言語に関する大規模データの処理
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
HadoopSparkAWSApache
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【AWS】システム更改における構築支援業務案件
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・データマネジメントインフラ支援業務にて以下をご担当いただきます。
-DaaS環境構築支援
-インフラ構成検討支援
-リアルタイム/機械学習基盤設計支援
-問合せ対応
・AWSクラウド環境にHadoop、Sparkを用いてデータ連携/データ収集を行い、
AIによる情報活用基盤の更改を行っていきます。
・またJavaやPHPを用いた一部機能追加も想定しております。
【python/Spark】自動販売機商品入れ替え計画提案プログラムの改修
業務委託(フリーランス)
PythonHadoopSparkHive
サーバーサイドエンジニア
作業内容 自動販売機の商品をアソートリストに沿ったものに入れ替える際の入れ替え計画を提案するプログラムの改修(パフォーマンス改善)、自動販売機ごとに最適とされるアソートリスト(商品の数量、種類、並び)をcsvファイルとして出力する処理をしていただきます。
アソートリスト出力処理は シェルスクリプト・python・R (pyspark / sparkRを利用) 入れ替え計画提案プログラムは python(pyspark を利用)
人材業界でのデータエンジニア募集
業務委託(フリーランス)
JavaSQLScalaHadoopSparkApacheHive
アプリケーションエンジニア
作業内容 ■業務内容
(1)Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯
(2)HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化
(3)Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装
稼 働:週2日~5日 相談可能
時 間:9:30 - 18:30(応相談)
服 装:ビジネスカジュアル・私服
【Python】内製開発:ETLチーム
業務委託(フリーランス)
PythonSpark
サーバーサイドエンジニア
作業内容 ・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
データ加工処理マイグレーション検討
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。
現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。
現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。
※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ
クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。
現在想定しているマイグレーション例は、以下の通りです。
-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換
→Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の
Spark関連マネージド・サービスにマイグレーション
<就業時間>
9:00ー18:00
※※こちらの案件は現在募集を終了しております※※
【Python】在庫管理システムデータ基盤構築
業務委託(フリーランス)
PythonSQLSparkDockerJIRAGitHub
サーバーサイドエンジニア
作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。
【Spark/Hadoop】美容系サービス向けデータ分析基盤運用案件
業務委託(フリーランス)
JavaPythonScalaHadoopSpark
インフラエンジニアデータベースエンジニア
作業内容 ・美容(コスメ)の口コミサイトに関連する
データ分析基盤の運用や機能改修をご担当いただきます。
【DaaS/AWS/Hadoop/Spark】データマネジメントシステム更改案件における構築支援業務
業務委託(フリーランス)
JavaJavaScriptSQLOracleHadoopStrutsSparkAWS
サーバーエンジニア
作業内容 IT基盤戦略担当様のDMシステム更改案件における構築支援業務
データマネジメントインフラ支援業務をしていただきます。
DaaS環境構築支援、インフラ構成検討支援、リアルタイム/機械学習基盤設計支援、問合せ対応、AWSクラウド環境にHadoop,Sparkといった技術を用いデータ連携/データ収集を行い、AIによる情報活用基盤の更改を行っていきます。
【Python/フルリモート】自社サービス開発支援(在庫管理)
業務委託(フリーランス)
PythonSparkApache
サーバーサイドエンジニア
作業内容 ・データ基盤の運用及び保守開発
・新規データ取得のETLの設計及び実装
・構成/プロセスの見直し
・データウェアハウスの設計及び実装
・データの可視化
【Java/JavaScript】証券システム追加開発案件
業務委託(フリーランス)
JavaJavaScriptNode.jsSpark
作業内容 ・証券会社におけるシステム機能追加開発をご担当いただきます。
・分散処理の作業もご担当頂きます。
【Java】SAPユーザーメーカープロジェクト案件
業務委託(フリーランス)
C++JavaPythonScalaHTML5LinuxHadoopSparkCoffeeScriptJadeSAP
アプリケーションエンジニア
作業内容 ・SAPユーザーのメーカーのプロジェクトに携わって頂きます。
【Python】マーケティングデータ処理開発
業務委託(フリーランス)
JavaPythonRubyScalaHadoopSparkHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】マーケティングデータ処理開発
【開発環境】
-言語:Java、Scala(一部:Python、Ruby)
【精算幅】140-180h
【面談】1回
【勤務地】リモート
【備考】
・服装:自由
・就業時間:9:00-17:30
※週5日〜OKの案件です!
【AWS】 ETL環境の設計レビュー・改善・実装・メンテナンス
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
インフラエンジニア
作業内容 ・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となる
【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発
業務委託(フリーランス)
JavaJavaScriptMySQLHadoopSparkJenkinsAnsible
アプリケーションエンジニア
作業内容 ・node.js でのAPI設計・開発・テスト
・Hiveクエリの作成・テスト・チューニング
・Spark プログラムの設計・開発・テスト
・Jenkinsジョブの作成
・Ansible設定ファイルの作成
【AWS/GCP/Python/フルリモート】AWSデータレイクの構築やGCPデータ基盤の整備
PythonSparkAWSApacheGoogle Cloud Platform
作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。
・AWSからGCPへの移行作業
・GCPのデータ基盤構築
【SPARK GEAR】【ソーシャルゲーム向け】エフェクト制作案件
業務委託(フリーランス)
Spark
エフェクトデザイナー
作業内容 ソーシャルゲーム制作においてSPARK GEARを使用したエフェクト制作をお任せいたします。
※お任せする作業はスキルに応じて異なります。
Python エンドユーザー向けAWS基盤の開発
作業内容 既存のAWSデータレイク基盤をベースにした追加開発
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【AWS】地図広告プラットフォーム開発
業務委託(フリーランス)
PythonHadoopSparkAWSHiveGlueAthena
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
【精算幅】140-180h
【面談】1回
【勤務地】虎ノ門※リモート
【備考】
・服装:自由
・就業時間:9:00-18:00
※週5日〜OKの案件です!
【リモート可|AWS構築・データ処理】新規プロダクトのインフラ構築
PythonNode.jsSparkAWSDocker
作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。
AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、
監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。
開発、営業、その他チームとの連携も重要となります。
【AWS】テレビ視聴データ基盤分析案件
業務委託(フリーランス)
HbaseHadoopSparkAWSHive
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 システム基盤の運用改善をご担当いただきます。
【データエンジニア】★即日~★データエンジニア
業務委託(フリーランス)
HadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティスト
作業内容 ①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
【Python/R/Julia】データプラットフォーム構築運用案件
業務委託(フリーランス)
PythonSQLRLinuxMySQLRedisRailsSparkAWSApacheGitBacklogRedshiftBigQueryTreasure DataTensorFlow
作業内容 ・自社の全サービスを横断したデータプラットフォーム構築、
および運用に携わって頂きます。
・データプラットフォームで加工したデータを各種サービス、
および社内スタッフに提供して頂きます。
※担当範囲は、スキルや経験および進捗状況により変動いたします。
【AWS】データマネジメントシステム更改案件における構築支援業務
作業内容 データマネジメントインフラ支援業務など、
IT基盤戦略担当様のDMシステム更改案件における構築支援業務を行っていただきます。
某大手製造メーカー系会社 データ処理インフラ基盤の構築
業務委託(フリーランス)
SparkAWSGoogle Cloud Platform
作業内容 ■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
【インフラ】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境構築を行って頂きます。
工程としましては、設計・構築・維持管理業務全般をご担当頂きます。
【AWS】AWS ETL環境運用案件
業務委託(フリーランス)
MySQLDynamoDBSparkAWSApacheRedshiftGlue
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・下記を行っていただきます。
‐既存のAWS ETL環境の調査改善
‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります
【上流/Azure】製造業向けデータレイク基盤構築案件
業務委託(フリーランス)
SQLSparkAzure
インフラエンジニアデータベースエンジニア
作業内容 ・重電/産業用電気機器メーカー向け、データレイクの基盤構築をご担当いただきます。
・下記のツールにてシステム構築を行っていただきます。
-DataFactory
-Azure Datalake Storage Gen2
-Synapse Analytics Service
【AWS/Windows/Linux/機械学習】ビッグデータ解析AI基盤技術検証
業務委託(フリーランス)
WindowsLinuxHadoopSparkAWS
サーバーサイドエンジニア
作業内容 AWSサービスを利用したビッグデータ解析、AI基盤の技術検証を行って頂きます。
【Python/SQL】自社Saasソリューションのデータエンジニア
業務委託(フリーランス)
PythonSQLHadoopSparkApache
作業内容 【募集背景】
大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。
プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。
DMS開発メンバー クレジットカード会社の次世代DWH(DMS)開発支援
PythonSQLSASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・ポジション:DMS開発メンバー
・業務内容:
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程:
FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。
※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す
【AWS/EMR/Hadoop/フルリモート】分散DBを用いたデータ基盤のインフラエンジニア募集
業務委託(フリーランス)
HadoopAWSTerraform
インフラエンジニア
作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。
データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Linux】ソフトウェア基盤(ミドルウェア)環境構築
業務委託(フリーランス)
LinuxOracleHadoopSparkApacheJBoss
サーバーエンジニア
作業内容 ソフトウェア基盤(ミドルウェア)環境の設計、構築、維持管理業務全般をしていただきます。
【Python】大手小売業向けアプリケーション開発案件
業務委託(フリーランス)
PythonSparkGoogle Cloud PlatformBigQuery
作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。
・作業内容において主に下記作業をご担当いただきます。
-AIモデルの運用保守および改善開発
-GCP上で展開される複数のAIモデルの定期的な運用
-AIモデルにエラーが発生した場合にはその対応
-効果測定
-モデル改善の実装