Spark × 在宅・リモートのフリーランス案件・求人一覧 | 3ページ目

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】マーケティングデータ処理開発 【開発環境】 -言語:Java、Scala(一部:Python、Ruby) 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-17:30 ※週5日〜OKの案件です！

作業内容 ・システムアーキテクチャの検討、選定及び設計、実装 ・ビッグデータを分析（加工）する為の分散処理基盤の開発など 【環境】 ・OS（インフラ）：GCP、Spark、Kubernetes、Linux ・DB：Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL ・ツール：JIRA、Git、Slack

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00 ※※こちらの案件は現在募集を終了しております※※

作業内容 ソフトウェア基盤（ミドルウェア）環境の設計、構築、維持管理業務全般をしていただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 【精算幅】140-180h 【面談】1回 【勤務地】虎ノ門※リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です！

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 　

作業内容 既存のAWSデータレイク基盤をベースにした追加開発

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 システム基盤の運用改善をご担当いただきます。

作業内容 ・下記を行っていただきます。 ‐既存のAWS ETL環境の調査改善 ‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります

作業内容 データマネジメントインフラ支援業務など、 IT基盤戦略担当様のDMシステム更改案件における構築支援業務を行っていただきます。

作業内容 DMシステム更改案件における構築支援業務 データマネジメントインフラ支援業務 ・DaaS環境構築支援 ・インフラ構成検討支援 ・リアルタイム/機械学習基盤設計支援 ・問合せ対応 AWSクラウド環境にHadoop，Sparkといった技術を用いデータ連携/データ収集を行い、 AIによる情報活用基盤の更改を行っていきます。

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 ソフトウェア基盤（ミドルウェア）環境の設計、構築、維持管理業務全般をしていただきます。

作業内容 ①某大手通信会社販促システム開発 ②某大手小売・流通のシステム開発 ③広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装

作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。

作業内容 ①某大手通信会社販促システム開発 ②某大手小売・流通のシステム開発 ③広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 小売業向けの基盤システム開発。 ※具体的な詳細は、ご面談の際にお伝えします

作業内容 要件定義/設計～試験、導入、顧客向け資料作成および説明 ※ Hadoopのサポート切れに伴い、Hadoop上に保管されている大量の顧客データをDatabricksに移行し、既存の連携バッチをDatabricksに移行する見込みのため、案件開始時の技術者を探しているという状況です。 今年度中に参画可能な技術者がいる場合でもご提案いただきたいです。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 在庫管理システムの開発支援を行っていただきます。 【業務例】 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化 【開発環境】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch ・ツール： GitHub、Jira、Slack 【担当工程】　 基本設計,詳細設計,実装,テスト,運用・保守

作業内容 【概要】 ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【勤務先】 大崎※フルリモート可(9:00~18:00) 【時間精算】下限140h~上限200h 【面談回数】2回 服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 ■募集背景・課題

作業内容 【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う