Spark × 在宅・リモートのフリーランス案件・求人一覧 | 3ページ目

作業内容 既存のAWSデータレイク基盤をベースにした追加開発

作業内容 システム基盤の運用改善をご担当いただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】 【精算幅】140-180h 【面談】1回 【勤務地】虎ノ門※リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00 ※週5日〜OKの案件です！

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストをご担当していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、 監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 　

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業】 1976年の創業から長きにわたって、主に証券・金融業界向けに基幹システムや情報系システムを開発してきました。 近年では証券・金融業界に加え、中堅・中小企業へのDX促進サポートに注力しています。 【業務内容】 情報系システム刷新。データ連携バッチを中心に刷新（DataStage、SPARK、インフォマティカ、Python、JP1）、クラウドは全てAWS。 工程：基本設計～ 【環境】 Python / SPARK / AWS / DataStage / インフォマティカ / JP1 【その他】 就業時間：9：00～17：30 リモート：週２～３程度 作業場所：門前仲町駅 徒歩5分

作業内容 ・下記を行っていただきます。 ‐既存のAWS ETL環境の調査改善 ‐メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度) ※対象環境はミッションクリティカルではないデータ処理基盤となります

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です -------------------------------- 某大手自動車メーカーの「運転診断システム」のデータエンジニアを募集しております。 ＜業務内容＞ AWSのクラウドサービスを利用して、スケーラブルなデータパイプラインの設計と構築を行います。 Pythonを使用してデータ収集、データ処理、データクレンジングのスクリプトを開発します。 ビッグデータ技術（Hadoop, Sparkなど）を用いて大規模データセットのバッチおよびリアルタイム処理を実行します。 ETLプロセスの最適化を行い、データ品質とデータアクセスの向上を図ります。

作業内容 ・大手小売業向けアプリケーションの運用保守、改善開発案件に携わっていただきます。 ・作業内容において主に下記作業をご担当いただきます。 　-AIモデルの運用保守および改善開発 　-GCP上で展開される複数のAIモデルの定期的な運用 　-AIモデルにエラーが発生した場合にはその対応 　-効果測定 　-モデル改善の実装

作業内容 ・クラウド環境における環境設計、構築等をご対応いただきます。

作業内容 【概要】 ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 (AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発) 【勤務先】 大崎※フルリモート可(9:00~18:00) 【時間精算】下限140h~上限200h 【面談回数】2回 服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 在庫管理システムの開発支援を行っていただきます。 【業務例】 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化 【開発環境】 ・開発言語： Python、SQL ・インフラ： Amazon Web Services ・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、Lambda、Cloud Watch ・ツール： GitHub、Jira、Slack 【担当工程】　 基本設計,詳細設計,実装,テスト,運用・保守

作業内容 ・チャットコマースサービスの開発にサーバーサイドエンジニアとして携わっていただきます。 ・スキルに応じて下記作業もお任せいたします。 　- データ基盤の開発・運用 　- データ基盤のデータ品質担保 　- データ基盤の運用効率化

作業内容 【概要】①某大手小売・流通のシステム開発 ②広告や社内プロダクトの開発 上記いずれかにおいてデータエンジニア業務に従事いただきます。 案件カテゴリー： 開発 最寄駅：半蔵門※リモート可 打合せ回数：2回 ※週5日〜OKの案件です！

作業内容 【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

作業内容 ■募集背景・課題

作業内容 下記のような案件においてデータエンジニア業務に従事いただきます。 ・GPSを用いたデータの集計・予測支援 ・SaaS型プロダクトの開発支援

作業内容 某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

作業内容 1.GPSデータを用いた予測支援2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ▼概要 　WS環境におけるDB構築・開発・運用をご担当いただきます。 ・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 ・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 ・AWS EMRを使用したETL, データ前処理 (Python, Spark) ▼作業工程 設計・実装・デバッグ・テスト ▼場所 大崎駅 ※8月以降はみなとみらいに移転予定 ※基本リモートだが作業開始時には数日出社 ※今後、出社メインの可能性あり ▼精算幅 140-190ｈ　 ▼面談回数 1回 ※WEB ▼就業時間 9時30分～18時00分 ※昼休み45分 ※週5日〜OKの案件です！

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 【自動車会社向けデータ転送処理マイグレーション】 AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMRでの Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。 ＜備考＞ フルリモート

作業内容 ・トレーサビリティ構築に携わっていただきます。 ・複数システムからの部品の所在データのIF、DWH・Data Martの実装、テスト、リリース作業をご担当いただきます。 ・基本設計以降のフェーズをご対応いただきます。 ・開発環境は下記になります。 　Databricks, Azure, Apache Spark

作業内容 動画やECサイト等、Webコンテンツを数多く提供しているサービス企業において、サービス提供の根幹となるデータレイク・DWH管理などの対応をしていただきます。 主な業務内容は以下を想定していますが、詳細についてはご面談時に説明させていただきます。 1. AWSのデータレイクからBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) →2番の作業関しては、ご意向と経験に応じてご相談となります。 ＜開発環境＞ 言語：Python, Hive, Spark AWS：EMR, Glue, Athena, Lambda, APIGateway GCP：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows CI・CD・その他：Terraform, CircleCI, GithubActions, digdag, embulk ＜備考＞ 基本リモート ＜基本時間＞ 10：00～19：00

作業内容 ＝＝＝＝＝＝＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝＝＝＝＝＝＝ 既存のAWS　ETL環境の調査改善 ・メンテ作業の手順化、運用作業（テーブル追加、カラム変更程度） ※対象環境は、ミッションクリティカルではないデータ処理基盤となる上位にて他PJへのスライド案件も御紹介可能で御座います。

作業内容 ＝＝＝＝＝＝＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・日本語ビジネスレベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝＝＝＝＝＝＝ ・既存のAWSETL環境の調査改善・メンテ作業の手順化および運用作業（テーブル追加やカラム変更程度）※対象環境はミッションクリティカルではないデータ処理基盤となる 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 総合電機メーカー様のビッグデータ蓄積/抽出/分析案件になります。 蓄積された種々の構造化/非構造化データを利活用するために下記をご担当いただきます。 ・No SQL Databaseに格納 ・データ抽出設計 ・抽出用 API 作成 ＜技術要素＞ AWS S3, Apache Spark, SparkSQL, Databricks, AWS AppSync(GraphQL), Python(S3に蓄積されたデータをDatabricks 経由でDynamoDBに送り、AppSyncでAPI展開するイメージ) ＜担当工程＞ データ抽出設計 ～ API 実装 ～ テスト ＜服装＞ オフィスカジュアル

作業内容 ・AWSのデータレイクからBigqueryへのデータ移行をおこなっていただきます｡ ・下記を行っていただきます｡ 　-GCPデータ基盤の整備 　-ワークフローエンジン導入

作業内容 ・機能障害、不足の解消作業に携わっていただきます。 ・主な作業内容は以下の通りです。 　-性能障害の対応含む（最近、クラウド処理遅延等の調査等）新機能への対応　 　※IoT対応、ログ伝送対応など 　-データの品質管理 　-データの取込対応

作業内容 ・データエンジニアとして、下記のいずれかをご対応いただきます。 ‐通信会社販促システム開発 ‐小売/流通のシステム開発 ‐広告や社内プロダクトの開発

作業内容 外資系生命保険会社システム開発（Azure） 新規プロジェクトの中で、azure環境での開発を実施。 要件定義、基本設計を実施する。 本案件は【首都圏】にお住まいで【週５日勤務】が可能な方限定となります。

作業内容 要件定義,基本設計,詳細設計,実装,テスト,運用・保守 データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormationを用いたリソース管理 ・RDB/DWHの設計、パフォーマンスチューニングを行った経験 ・アジャイルでのシステム開発経験 ・JIRA/Confluence/Backlogなどを利用した開発経験

作業内容 テックビズなら記帳代行無料！仕事に集中して取り組んでいただけます。 案件内容　　：運送会社向けにドライバーの運行情報を解析するアプリ開発をPoCを回しながら行っております。 　　　　　　　デジタルタコグラフから取得した大量の運行情報をAWS環境上で蓄積し、 　　　　　　　Djangoにて解析を行うシステムの開発を担当していただきます。 勤務時間　　：9:00～18:00（予定） ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・外国籍の方(永住権をお持ちの方は問題ございません) ・週5日稼働できない方 --------------------------------------------------------

作業内容 新規プロダクトである地図広告P/Fのインフラ設計、開発、テストを推進していただきます。 AWS上でのデータ処理やクエリーワークロードの設計、デプロイ、監視のためのMapboxのプロセスとツールの簡素化と強化が主要業務となります。 開発、営業、その他チームとの連携も重要となります。 ＜工程＞ 設計、開発、テスト ＜備考＞ フルリモート ＜基本時間＞ 10：00～19：00

作業内容 【募集背景】 大手顧客を中心に幅広い業界の企業へ、自社Saasソリューションを提供している同社。 プロジェクトが並行している中で、データエンジニアのリソース不足のため募集。 【業務内容】 自社Saasソリューションを提供されている大手通信系クライアント様とのPJにおいて 加盟店が利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）の データ関連の開発。

作業内容 テックビズなら記帳代行無料！仕事に集中して取り組んでいただけます。 案件内容　　：運送会社向けにドライバーの運行情報を解析するアプリ開発をPoCを回しながら行っております。 　　　　　　　デジタルタコグラフから取得した大量の運行情報をAWS環境上で蓄積し、 　　　　　　　Djangoにて解析を行うシステムの開発を担当していただきます。 勤務時間　　：9:00～18:00（予定） ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・外国籍の方(永住権をお持ちの方は問題ございません) ・週5日稼働できない方 --------------------------------------------------------

作業内容 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を求めております。 データ基盤以外のインフラ全般を担当するメンバーと連携し、システム基盤の運用改善に取り組んでいただきます。 ＜備考＞ フルリモート ご希望の場合はオンサイトも可能

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■概要 AWS環境でSagemaker構築および運用を実施していただきます。 ■作業場所:東西線木場駅(初期設定後はリモートを予定) ■精算条件:固定 ■打ち合わせ回数:2 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。