Spark × 在宅・リモートのフリーランス案件・求人一覧 | 3ページ目

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 「アルゴリズムで、社会はもっとシンプルになる。」をミッションに掲げ、 アルゴリズムを用いて事業開発を行うAIスタートアップです。 【募集背景】 ChatGPTをはじめとする大規模モデルと隆盛により、データ活用の社会的ニーズが高まってきております。 特に、弊社では金融業界でのデータ活用に向けた取り組みを進めており、技術的には、セキュリティや大規模なデータを扱うことを考えて、モダンなデータスタックの導入ができるように社内での検証を進めてきており、 今回大型のプロジェクトを実行するため、技術ケイパビリティ・経験を持ったエンジニアを今回募集しております。 【業務内容】 メインとして顧客環境に、特にMicrosoft Azureを想定としたデータ基盤を構築し、運用できるようにして頂きます。 データの収集元はテキストデータを中心に多岐に渡る想定であり、収集したデータはLLM/RAGと言われる技術を活用し、ChatGPTのようなボットの活用を行い、問い合わせの自動対応を実現することが目的です。 また、セキュリティ的を十分に考慮しながら設計できることが必要であり、業務としてはデータの基盤の設計及び実行のマネジメントも含めて実行頂きます。 また、必要に応じてクライアントコミュニケーションも行って頂くこともございます。 大型プロジェクトのデータエンジニアとしてのご参画を想定しております。 - アーキテクチャの設計 (既存にAzure上に一定構成されたものは存在) - プロジェクトの技術面での実行 - 顧客環境 (特にMicrosoft Azureを想定)にデータ基盤を構築し運用できるようにする。データの収集元は多岐に渡る想定。 - データ基盤の活用の支援 (BIツール等のデータ基盤の活用に関する助言。場合によっては活用基盤の構築) - 実行メンバーを採用及びメンバーの実行マネジメントの検討・実行 - クライアントコミュニケーション - 他データ基盤のプロジェクトへのアドバイス - アーキテクチャレビュー

作業内容 フロー管理システムの開発・保守作業

作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 【概　要】　Hadoop運用/およびLinuxサーバの運用業務となります。 オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。 ・Hadoopまたは類似システムの運用経験があること （優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど) 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 某通信会社向け開発支援作業

作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】マーケティングデータ処理開発 【開発環境】 -言語:Java、Scala(一部:Python、Ruby) 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-17:30 ※週5日〜OKの案件です！

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00 ※※こちらの案件は現在募集を終了しております※※

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 既存のAWSデータレイク基盤をベースにした追加開発

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 【精算幅】140-180h 【面談】1回 【勤務地】虎ノ門※リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です！

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 　

作業内容 システム基盤の運用改善をご担当いただきます。

作業内容 ・下記を行っていただきます。 ‐既存のAWS ETL環境の調査改善 ‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装

作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。

作業内容 【概要】 ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【勤務先】 大崎※フルリモート可(9:00~18:00) 【時間精算】下限140h~上限200h 【面談回数】2回 服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 在庫管理システムの開発支援を行っていただきます。 【業務例】 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化 【開発環境】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch ・ツール： GitHub、Jira、Slack 【担当工程】　 基本設計,詳細設計,実装,テスト,運用・保守

作業内容 【概要】①某大手小売・流通のシステム開発 ②広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。 案件カテゴリー： 開発 最寄駅：半蔵門※リモート可 打合せ回数：2回 ※週5日〜OKの案件です！

作業内容 【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

作業内容 ■募集背景・課題

作業内容 ・チャットコマースサービスの開発にサーバーサイドエンジニアとして携わっていただきます。 ・スキルに応じて下記作業もお任せいたします。 　- データ基盤の開発・運用 　- データ基盤のデータ品質担保 　- データ基盤の運用効率化

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。 主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。 1. AWSのデータレイクからBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) →2番の作業関しては、ご意向と経験に応じてご相談となります。 ＜開発環境＞ 言語：Python, Hive, Spark AWS：EMR, Glue, Athena, Lambda, APIGateway GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk ＜備考＞ 基本リモート ＜基本時間＞ 10：00～19：00

作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ▼概要 　WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190ｈ　 ▼面談回数 1回 ※WEB ▼就業時間 9時30分～18時00分 ※昼休み45分 ※週5日〜OKの案件です！

作業内容 【自動車会社向けデータ転送処理マイグレーション】 AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。 ＜備考＞ フルリモート

作業内容 下記のような案件においてデータエンジニア業務に従事いただきます。 ・GPSを用いたデータの集計・予測支援 ・SaaS型プロダクトの開発支援

作業内容 ・トレーサビリティ構築に携わっていただきます。 ・複数システムからの部品の所在データのIF、DWH・Data Martの実装、テスト、リリース作業をご担当いただきます。 ・基本設計以降のフェーズをご対応いただきます。 ・開発環境は下記になります。 　Databricks, Azure, Apache Spark

作業内容 ＝＝＝＝＝＝＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝＝＝＝＝＝＝ 既存のAWS　ETL環境の調査改善 ・メンテ作業の手順化、運用作業（テーブル追加、カラム変更程度） ※対象環境は、ミッションクリティカルではないデータ処理基盤となる上位にて他PJへのスライド案件も御紹介可能で御座います。

作業内容 ＝＝＝＝＝＝＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝＝＝＝＝＝＝ ・既存のAWSETL環境の調査改善・メンテ作業の手順化および運用作業（テーブル追加やカラム変更程度）※対象環境はミッションクリティカルではないデータ処理基盤となる 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ・機能障害、不足の解消作業に携わっていただきます。 ・主な作業内容は以下の通りです。 　-性能障害の対応含む（最近、クラウド処理遅延等の調査等）新機能への対応　 　※IoT対応、ログ伝送対応など 　-データの品質管理 　-データの取込対応

作業内容 ・AWSのデータレイクからBigqueryへのデータ移行をおこなっていただきます｡ ・下記を行っていただきます｡ 　-GCPデータ基盤の整備 　-ワークフローエンジン導入

作業内容 総合電機メーカー様のビッグデータ蓄積/抽出/分析案件になります。 蓄積された種々の構造化/非構造化データを利活用するために下記をご担当いただきます。 ・No SQL Databaseに格納 ・データ抽出設計 ・抽出用 API 作成 ＜技術要素＞ AWS S3, Apache Spark, SparkSQL, Databricks, AWS AppSync(GraphQL), Python(S3に蓄積されたデータをDatabricks 経由でDynamoDBに送り、AppSyncでAPI展開するイメージ) ＜担当工程＞ データ抽出設計 ～ API 実装 ～ テスト ＜服装＞ オフィスカジュアル

作業内容 ・データエンジニアとして、下記のいずれかをご対応いただきます。 ‐通信会社販促システム開発 ‐小売/流通のシステム開発 ‐広告や社内プロダクトの開発

作業内容 外資系生命保険会社システム開発（Azure） 新規プロジェクトの中で、azure環境での開発を実施。 要件定義、基本設計を実施する。 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。