Hadoop / AWS データ分析基盤の運用改善
作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。
データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。
<備考>
フルリモート
ご希望の場合はオンサイトも可能
【Java(SpringBoot)/一部リモート】鉄道会社向け利用実績管理システム開発・移行支援案件
業務委託(フリーランス)
JavaSpringSpringBoot
作業内容 ・鉄道会社向け利用実績管理システム開発・移行支援に携わっていただきます。
・ご担当フェーズは、製造(改修)~運用~テストです。
【Python】Lob分析サービス開発運用
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅※フルリモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です!
【Java/一部リモート】製造業向けデータ収集システム案件
業務委託(フリーランス)
C++JavaCSQLShellLinuxHadoopDocker
サーバーサイドエンジニア
作業内容 ・Javaを用いた製造業向けのデータ収集システム案件に携わっていただきます。
・主にシステム改修をご担当いただきます。
【Python / ~40歳まで】大手自動車メーカー向けAI関連システム開発要員募集
業務委託(フリーランス)
PythonHadoopDjangoSparkAWS
作業内容 テックビズなら記帳代行無料!仕事に集中して取り組んでいただけます。
案件内容 :運送会社向けにドライバーの運行情報を解析するアプリ開発をPoCを回しながら行っております。
デジタルタコグラフから取得した大量の運行情報をAWS環境上で蓄積し、
Djangoにて解析を行うシステムの開発を担当していただきます。
勤務場所 :リモート ※月1~2回出社(品川)
勤務時間 :9:00~18:00(予定)
勤務期間 :即日~※長期
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・40代以上の方
・外国籍の方(永住権をお持ちの方は問題ございません)
・週5日稼働できない方
--------------------------------------------------------
【分析基盤エンジニア】データエンジニアリング業務 (HR領域)
業務委託(フリーランス)
SQLGoogle Cloud Platform
作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。
使用データベースはGCP/BigQueryを利用
一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。
証券/信販向けデータ分析基盤設計・開発支援
作業内容
証券/信販向けデータ分析基盤設計・開発プロジェクト。
【業務内容】
SAS+Cloudera+Dell PowerScaleによるデータ分析基盤構築
※SASは現行システムからの移行、データレイクは新規
【AWS】メディア向けインフラ構築案件
業務委託(フリーランス)
JavaPHPPythonRedisMemcacheDBHadoopAWSGitJenkinsMemcacheChefHive
インフラエンジニアサーバーエンジニア
作業内容 ・AWSを使ったインフラ構築、及び運用に携わっていただきます。
・SREチームの所属となりますが、
作業としては、インフラ構築運用をメインにご担当いただきます。
【Linux/Oracle】情報系基盤運用保守案件
作業内容 ・ご経験によって以下の作業をお任せいたします。
①Oracle系の案件で情報系基盤運用保守/開発にてインフラ(ハードウェア/OS/ミドルウェア)の運用基盤整備および実運用をお願いいたします。具体的には以下です。
-定常運用業務(構成管理・稼動報告 等)
-非定常運用業務(問合せ/障害対応・設定変更・監視改善 等)
-運用ドキュメント整備
-基盤環境構築(DB/Weblogic/ZFS等の環境構築・構成変更)
②Exadata構築およびOCIでのPoC環境構築/性能検証支援で新たな基盤構築および次期基盤を想定したOCI環境でのPoCをお願いいたします。具体的には以下です。
-基盤環境構築(Exadata、DB、ZFS、OEMなどの環境構築、試験等)
-OCI(ExaCS/Compute Service等)環境構築/性能検証
③情報系基盤の更改にて、DBやHadoop等の基盤の構築をお願いいたします。具体的には以下です。
-基盤環境構築(ExaCC/DB/PCA/ZDLRA/OEM等の環境構築、試験)
-PCA上へのHadoop環境の構築
-PCA上へのWeblogic/Oracle Analyticサーバの構築
【Python】某大手小売・流通のシステム開発または広告や社内プロダクトの開発
業務委託(フリーランス)
PythonMySQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformKubernetes
作業内容 【概要】①某大手小売・流通のシステム開発
②広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。
案件カテゴリー: 開発
最寄駅:半蔵門※リモート可
打合せ回数:2回
※週5日〜OKの案件です!
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
【Python】Lob分析サービス開発運用
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅
※フルリモート
【勤務時間】
9:00~18:00
【精算】
140-180h
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です!
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【Python】TVなどの操作Logをもとにランキングなどを出力するサービスの開発
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅※フルリモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※週5日〜OKの案件です!
【Python/SQLなど】データエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。
【Java】数値の集計に関する開発保守
業務委託(フリーランス)
JavaPythonSQLHadoopApacheGitGitHubHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
■概要
インターネット広告主が利用する、広告管理ツール内の
広告効果レポートに必要な数値の集計に関する開発・保守を行っていただきます。
担当いただく工程は以下の通りで、プログラミングと単体テストがメインになります。
・プログラミング
・単体テスト実施
ユーザー(広告主)との直接のやり取りはありません。
顧客側で作成した案件定義書に従い、プログラミングをお任せすることになります。
勤務地:リモート
精算幅:140-180h
面談:1回
就業:基本リモート可
※自宅以外からのリモートは不可(自宅のみOK)
※週5日〜OKの案件です!
【Java】広告管理チールの開発保守
業務委託(フリーランス)
JavaPythonSQLHadoopApacheGitGitHubHive
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼概要
インターネット広告主が利用する、
広告管理ツール内の広告効果レポートに必要な
数値の集計に関する開発・保守を行っていただきます。
担当いただく工程は以下の通りで、
プログラミングと単体テストがメインになります。
・プログラミング
・単体テスト実施
ユーザー(広告主)との直接のやり取りはありません。
顧客側で作成した案件定義書に従い、
プログラミングをお任せすることになります。
▼条件等
就業:リモート可/紀尾井町
※業務的に出社が必要な場合は紀尾井町(東京都千代田区)に出社
精算幅:140-180h
談:1回
※週5日〜OKの案件です!
【データ分析補佐】GPSデータを用いた予測支援
業務委託(フリーランス)
PythonSQLMySQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。
【フルリモート】Kubernetes:パブリッククラウド移行支援の案件
業務委託(フリーランス)
AWSAzureGoogle Cloud PlatformKubernetes
インフラエンジニア
作業内容 プライベートクラウドで管理されたKubernetes環境やHadoop環境のパブリッククラウドへの移行をおこないます。
下記の業務をご担当いただきます。
・パブリッククラウドのインフラ設計/構築
・Kubernetes コンテナ環境の設計/構築
・CI/CD、モニタリング環境の設計/構築
【Python/20代30代活躍中】Lob分析サービス開発運用
業務委託(フリーランス)
PythonRedisHadoopSparkAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 【概要】
TVなどの操作Logをもとにランキングなどを出力するサービスの開発
【開発環境】
Python
React.js
DynamoDB
AWS(Athena、lambda、APIGatewayなどの各種サービス)
【主に行う業務】
AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発を行っていただきます。
【求める人物像】
・勤怠/健康状態に問題がなく、中長期的に業務に携わっていける方
・コミュニケーション能力のある方
・ハウスルールなど遵守しつつ業務を遂行できる真面目で責任感のある方
【作業工程】
開発、構築~
【場所】
大崎駅
※完全リモート
【勤務時間】
9:00~18:00
【精算】
140h~180h(スキル見合い)
【面談】
2回
【備考】
・服装:ビジネスカジュアル
※以下に該当する方からの応募はお断りしております。
なお、選考を進めるにあたってスキルシートが必要です。
--------------------------------------------------------
・週5日稼働できない方
--------------------------------------------------------
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
【AWS(リモート)】電力データ活用基盤移行に伴うインフラ基盤設計/構築支援
業務委託(フリーランス)
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【Python】通信会社向け販促システム開発案件
業務委託(フリーランス)
PythonMySQLHadoopSparkApache
作業内容 ・通信会社向け販促システム開発に携わっていただきます。
・主に下記作業をご担当いただきます。
-Webスクレイピング
-追加機能開発
・フルリモートでの作業を想定しております。
※キャッチアップ期間の1,2週間は出社いただき、その後リモート作業になる
想定です。
Python / SQL / AWS など データエンジニア募集
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
作業内容 下記のような案件においてデータエンジニア業務に従事いただきます。
・GPSを用いたデータの集計・予測支援
・SaaS型プロダクトの開発支援
AWS データマネジメントシステム更改案件における構築支援業務(リモート有り)
作業内容 DMシステム更改案件における構築支援業務
データマネジメントインフラ支援業務
・DaaS環境構築支援
・インフラ構成検討支援
・リアルタイム/機械学習基盤設計支援
・問合せ対応
AWSクラウド環境にHadoop,Sparkといった技術を用いデータ連携/データ収集を行い、
AIによる情報活用基盤の更改を行っていきます。
【SQL/Python】システム開発データエンジニア案件
業務委託(フリーランス)
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud Platform
データサイエンティストインフラエンジニアデータベースエンジニア
作業内容 ・データエンジニアとして、下記のいずれかをご対応いただきます。
‐通信会社販促システム開発
‐小売/流通のシステム開発
‐広告や社内プロダクトの開発
【Python/AWS/フルリモート可能】調剤薬局向けサービス管理ツールの案件・求人
業務委託(フリーランス)
PythonHadoopSparkAWS
作業内容 ===========
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・日本語ビジネスレベル必須
・週5日稼働必須
・実務経験3年以上必須
===========
◆業務概要
・RDBのデータベース設計
・GlueJobでPythonを利用したETL処理の設計・開発
・APIGateway、Lambdaを利用したAPI開発
調剤薬局向けサービスを複数提供している企業にてサービスを総括的に管理する管理コンソールの開発業務をご担当頂きます。
管理コンソールに必要な機能の集約、追加実装等をお願い致します。
◆就業形態について
現状、開発メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。
◆補足
現場チームについては、
様々な分野での経験を持つ少数精鋭のメンバーが集まっております。
他部署を含め業務委託のエンジニアも複数名在籍しており、社員エンジニアと垣根のない働きやすい環境です。
データ加工処理マイグレーション検討
HadoopSparkAWSApacheSnowflakeGlue
作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。
現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。
現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。
※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ
クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。
現在想定しているマイグレーション例は、以下の通りです。
-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト
-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換
→Databricks、Snowflake(Snowpark)、AWS(Glue,EMR)等の
Spark関連マネージド・サービスにマイグレーション
<就業時間>
9:00ー18:00
※※こちらの案件は現在募集を終了しております※※
New【Python】バックエンドエンジニアの求人・案件
業務委託(フリーランス)
PythonHadoopSparkAWS
バックエンドエンジニア
作業内容 エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。
[具体的な業務]
・RDBのデータベース設計
・Glue JobでPythonを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナと協調した仕様策定
・AWS関連リソースのより積極的な活用
・git flowベースの開発進行
【AWS】SaaSシステム刷新案件
作業内容 ・下記を行っていただきます。
-Terraform、CloudFormationによるIaaS環境の整備
-GitHub Actionsなどを利用したCI/CD環境の整備
-ビッグデータ解析・集計基盤の整備
-解析基盤(Hadoopを想定)の検討/構築
【Python/AIエンジニア】探索型BIツール開発におけるデータサイエンティスト
業務委託(フリーランス)
PythonHadoopSparkTableau
データサイエンティストAIエンジニア機械学習エンジニア
作業内容 [ポジション]:AIエンジニア
自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。
【DB/リモート】大量に蓄積されたデータとAIを駆使して改善するサービスの開発を担当
業務委託(フリーランス)
PythonSQLScalaHadoopSparkBigQuery
作業内容 ・データサイエンティストと協働したAIプロジェクトの推進
・画像や動画など、広告クリエイティブにおけるデータ処理、学習モデル化
・最適化アルゴリズム、外部ツール連携、データ解析など、必要アセットの調査研究・検証
・AIを駆使し、現広告業務へ付加価値をつける機能・システムの考案・開発
・機械学習モデルのサービング
【AWSなど】BtoB向け AIサービス 移行プロジェクトの求人・案件
業務委託(フリーランス)
AWSAzureGoogle Cloud PlatformKubernetes
作業内容 プライベートクラウドで管理されたKubernetes環境やHadoop環境を
パブリッククラウドへ移行する。移行に伴い主に下記業務を想定
・パブリッククラウドのインフラ設計・構築
・Kubernetes コンテナ環境の設計・構築
・CI/CD、モニタリング環境の設計・構築
【Ruby/Go】CE(カスタマーエンゲージメント)プラットフォームのソフトウェアエンジニア
業務委託(フリーランス)
JavaRubyGoAWSReactGoogle Cloud PlatformVue.js
フロントエンドエンジニアバックエンドエンジニア
作業内容 【募集背景・課題】
世界で最も価値のあるマーケティングソリューションを実現する
【React/Node.js】WEB広告開発案件
業務委託(フリーランス)
JavaScriptNode.jsNginxReact
フロントエンドエンジニアサーバーサイドエンジニア
作業内容 ・React、Node.jsを用いたWEB広告開発に携わっていただきます。
・主に開発工程をご担当いただきます。
【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件
業務委託(フリーランス)
JavaPythonKubernetes
バックエンドエンジニア
作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。
データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 (SSL化対応、AD認証連携 etc…)
環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り
【Python/JavaScript】AI診断サービス開発案件
業務委託(フリーランス)
JavaScriptPython
フロントエンドエンジニアUI・UXデザイナー
作業内容 ・BtoB (AI診断)サービス開発に携わっていただきます。
・下記を行っていただきます。
-UIUXの設計構築からサービス実装
-ご希望に応じてフルスタックに関わっていただきます。
【Java】大規模基幹系システム基盤のシステム導入
業務委託(フリーランス)
JavaPythonRubyLinuxHadoop
作業内容 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
▼案件概要
大規模基幹系システム基盤のシステム導入や更改、ベンダコントロールを
含む維持管理業務をお願いします。
システム作業より維持管理支援業務(ドキュメント作成が多い)となり
部署間調整やベンダー調整が多いです。
主な業務は下記となります。
・更改検討(方針・ドキュメント作成)
・開発・構築管理(課題管理)
・運用検討(方針・ドキュメント作成)
・移行準備(進捗管理)
RHEL、LAMP,VMwarevSphere,ESXi,KVM,SANストレージ,WindowsServer等
OpenStack,Hadoop
▼勤務地
場所:リモート可/新宿/初台
▼求める人物像
・社内外の関係者と円滑なコミュニケーションを取り、業務を遂行できる方
・適切な粒度で課題を抽象化し、解決するべき打ち手と実行策をプランニングを可能な方
・要件確認、各種調整を行うコミュニケーションスキル
▼条件
・精算:固定or140-200h
・面談:1回(WEB)
▼その他
・定時:9:00~17:30
・自宅で作業することになるためシンクライアントを
インストールするPCの準備をご検討下さい。
・稼動は非常に安定しています(2月現在平均140-150h)
※週5日〜OKの案件です!
【Java】美容系EC海外向けサイト開発案件
業務委託(フリーランス)
JavaMySQLNode.jsHadoopSpringDockerTomcatJenkinsJIRAMemcacheRedmine
作業内容 ・美容系ECサイトの開発に携わっていただきます。
・Springを用いて、基本設計からテストまで幅広くご対応いただきます。
・ご経験に応じて、リーダー業務をご担当いただく場合がございます。
【Python】データーレイク開発の求人・案件
業務委託(フリーランス)
PythonLinuxAWSDockerGitRedshift
作業内容 概 要:
世界各国で利用されるオンラインサービスにおけるデータ分析基盤の開発運用支援をお願い致します
【ITアーキテクト/一部リモート】大型カーボンニュートラルプロジェクト
作業内容 企画,コンサルティング,ディレクション,データ分析
大型カーボンニュートラルプロジェクトに携わって頂きます。
・データプラットフォームのシステムアーキテクチャの作成
・システム開発を行なう上で必要なOSSを中心とした技術要素の選定
設定していない条件はありませんか?
スキル・リモート・単価などで絞り込み、
効率よく案件を探せます。