Sparkのフリーランス案件・求人一覧 | 4ページ目

作業内容 海外ベンダーの日本進出に伴うAMLパッケージのカスタマイズ開発。日系パートナーとして参画し、他の日系金融機関への導入も予定。参画前の2か月間、英語でのデータエンジニア研修（E-learning＆Project Work）をオンラインで受講。

作業内容 DataStageで作成している業務APをマイグレーションに伴いSparkで刷新・DBA業務系（モデリング、SQL開発など）・SPARK要員Spark経験者・JP1要員ジョブネットの詳細設計以降

作業内容 某通信キャリアの情報系システムのエンハンス対応

作業内容 ＤＷＨシステムのマイグレーションに関わる開発

作業内容 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

作業内容 ・電力会社向けシステム開発支援に携わっていただきます。 ・主な作業内容は以下の通りです。 　-計算ライブラリの変更(Spark →Snowflake)及び、オンプレ→クラウドの載せ替え 　- 基本設計～結合試験

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業】 1976年の創業から長きにわたって、主に証券・金融業界向けに基幹システムや情報系システムを開発してきました。 近年では証券・金融業界に加え、中堅・中小企業へのDX促進サポートに注力しています。 【業務内容】 情報系システム刷新。データ連携バッチを中心に刷新（DataStage、SPARK、インフォマティカ、Python、JP1）、クラウドは全てAWS。 工程：基本設計～ 【環境】 Python / SPARK / AWS / DataStage / インフォマティカ / JP1 【その他】 就業時間：9：00～17：30 リモート：週２～３程度 作業場所：門前仲町駅 徒歩5分

作業内容 ・電力会社向けのシステム開発案件に携わっていただきます。 ・ご担当いただく工程は、基本設計～結合試験です。

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 ・農機具メーカー向けデータ管理基盤運用保守、活用支援に携わっていただきます。 ・主に下記作業をご担当いただきます。 - 企画支援(現状調査、現場ヒアリング支援) - 要件整理(機能、非機能要件をまとめる業務支援) - 開発

作業内容 ・中部LCS Snowflake化対応に携わっていただきます。 ・主に以下作業をご担当いただきます。 　ｰ基本設計 　ｰ詳細設計 　ｰ製造 　ｰ単体試験 　ｰ結合試験

作業内容 ・データのETL処理の基盤構築 ・AWSサービスとPythonを使ってデータ解析基盤の開発 ・設計/製造をメインにご担当

作業内容 【お任せしたいこと概要】 Databricksを活用したエンタープライズ向けデータ基盤構築プロジェクトにおいて、PL・PM候補として顧客現場に入り込んだプロジェクト推進・技術リードを担っていただきます。 エンドクライアント(大手メーカー中心)→大手SIer(AI事業部)→同社の商流ですが、クライアント(SI企業)の案件増加に伴い、同社PM(本ポジション)を中心としたチームを組成予定です。 ※プロジェクトの采配や進行における裁量が大きく、プライム案件のような関わり方が可能とお伺いしております！ なお、同社ではチーム提案の前例がないため、本ポジションでは、顧客先の課題解決に向け支援いただくだけでなく、同社の新たな仕組みづくりに貢献いただける方を募集されています。 具体的に、本ポジションにお任せしたい業務は下記の通りです。 ・プロジェクト開始前：プロジェクトメンバーの選抜やエンド企業への提案など、同社営業責任者様と協業しながら裁量を持って幅広くご対応いただきます ・プロジェクト開始後：要件定義〜設計・構築、運用設計、チームマネジメントまで多岐に渡る想定です 【想定業務】 ・顧客現場における要件整理・技術ヒアリング・設計支援 ・Databricksを活用したデータパイプラインの設計・実装・改善 ・Delta LakeやUnity Catalogを活用したガバナンス・パフォーマンス設計 ・WBS策定、課題管理、品質・スケジュールコントロール ・チームメンバーのタスク管理・レビュー・教育 クライアントの案件拡大に伴い、同社の提案の選択肢を拡大するため

作業内容 同社、プロダクト開発部内のデータ分析チームにおける、データ処理・基盤構築をお任せ致します。 具体的には以下内容を、ご経験に併せてお任せする想定です。 ■業務内容 - 複数のベンダーから提供される移動体の地理空間データを評価・比較、データ調達プロセスの支援 - プロジェクトでの利用を目的とした、移動体の地理空間データ処理ソリューションの設計・開発 - スケーラブルなデータパイプラインシステムの設計・開発・維持、統合されたETLプロセスを通じて効率的なデータフローを確保 - 位置情報を含む大規模データの高速処理環境の設計、構築、および改善 - 上記に関するドキュメントの作成 【組織体制】 PM：1名 PL：1名 メンバー：3～4名 同社は、位置情報ビッグデータのAI解析によって位置情報技術の社会実装を目指す大学発ベンチャーです。 現在、官民問わず様々なデータ分析～可視化の依頼を受ける中で、扱うデータ自体の取り扱い量も増えている状況です。 一方で、データ分析を行う上での加工等の前処理が追い付いておらず、効率的なオペレーションが組み切れておらず 案件を進めていく上で歩留まりが発生してします。 コンサルタントや、データサイエンティスト等 同社内の各ステークホルダーと連携しながら、全体を見据えたデータ処理・分析を推進いただける即戦力の方を探しています。

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・開発工程をメインで携わっていただきます。 ・詳細設計～テスト・運用まで一気通貫してご対応頂きます。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです --------------------------------■案件概要 シニアQAエンジニア ■業務内容 - テスト自動化フレームワークをゼロから開発・保守 - Python、Selenium、Playwrightを用いて自動テストケースを作成、保守、実行 - 開発者、プロダクトマネージャー、DevOpsと連携し、品質をCI/CDライフサイクルに確実に統合 - プロジェクト全体のQAのプロセス管理、指標定義、実装

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 私たちは広告データ分析系SaaSおよびキャリアプラットフォームのさらなる進化を目指し、 データ基盤・分析基盤、LLM/AI基盤の構築・運用を強化し、革新的なプロダクトを支えるため、LLMを用いたプロダクトのバックエンドAPI開発に臨むエンジニアを募集いたします。 ▼役割 SaaS/キャリアプラットフォームに用いるデータ基盤の構築・運用、バックエンドAPIの開発 ▼具体的な業務内容 - LLMを用いたプロダクトのバックエンドAPI開発、運用 - スケーラブルなクラウドインフラの構築、運用 - LLM用のベクトルデータストアの整備 ▼上記業務に慣れてきたら以下にもトライいただきたいです - LLM/AIエージェントの構築 - ビジネス部門との連携によるデータニーズの把握、データ活用支援 - ドキュメンテーション、技術共有、チームへの貢献 ▼このポジションの魅力 - Python、Node.js、LangChain、PostgreSQL、AWSなど、多様な技術を駆使してバックエンドスキルの幅が広げられる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 ------------------------------------------------------------------- ■35歳～50歳が活躍中 ■フルタイム案件（副業不可） ■国内在住者の方限定　※セキュリティ担保の観点 ■日本語ネイティブの方が活躍中 ------------------------------------------------------------------- 【業務内容】 ・職種　　　：Webアプリケーション開発エンジニア（フロント・バックエンド・クラウドインフラ） ・スキル言語：後述 ・概要　　　：社内外公開APIの申し込み及び各種情報確認ポータル（PC向け）のフロントWEB及びそのバックエンドシステムの開発 ・勤務地　　：フルリモート ・就業時間.:9:00～17:30（実働：7時間30分）※コアタイム無しフレックス制度導入（全社員対象）12:00～13:00（休憩時間） ・稼働希望日：10月～ ・開発端末　：MacBook（貸与） ・募集人数　：2名 ＜開発言語＞ 利用頻度順 ・AWS(代替：インフラ知識。LinuxコマンドやDNSについての知識等) ・Typescript(代替：Javascript) ・React.js(代替：Vue.js) ・Node.js ・Go ・Java(SpringBoot3) ・Python ・MySQL ・AWSOpenSearch ・DynamoDB ・Docker ・Jenkins ・Nginx ・ApacheSpark(Pyspark/AWSGlue) ・プロジェクト運用でGitHub、Slack、Jira、Confluence、Cacoo等を利用

作業内容 ・AWS上に構築された大規模データ分析基盤の分析基盤高度化チームのメンバーポジション。 ・新サービス導入および導入後の運用保守やデータ分析基盤の課題改善を行っているチームで、新サービス導入や課題改善では、技術検証、インフラ設計〜リリースまで幅広く担当し、運用保守では分析者から問合せ/作業依頼/障害対応等を主にご担当。

作業内容 同社データサイエンスグループのグループマネージャーのフォロー役として、AIのプロフェッショナル集団をリードし、ビジネスの意思決定を支援するための社内AI戦略策定、AIソリューション開発、技術検証、提案全般を実行していただきたいです。 具体的には、 ・技術動向を踏まえ、同社の将来データ/AIビジョンを描く ・グローバル含めた社内外のステークホルダーと連携し、データサイエンティストや機械学習エンジニアを統括 ・データ分析案件を推進し、クラウドネイティブなML Pipeline構築およびアナリティクス分析業務を担当 ・データサイエンスプロジェクトの計画、管理、進捗報告 ・チームメンバーの育成と指導 をお任せします。 データサイエンス領域における案件推進を加速するため、募集に至りました。

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです --------------------------------【会社概要】 弊社は潜在顧客のLTV（Life Time Value：顧客生涯価値）を予測することにより、ROI（投資利益率）の最適化を実現するという、独自のWebマーケティング支援事業を展開しています。 【募集背景、おかませしたい業務】 -SNS広告の自動入稿・管理を行うSaaSプロダクトにおいて、TikTok Ads、X（Twitter）Ads、 Google Ads等の新規広告媒体への対応を推進していただきます。 【具体的な業務】 - TikTok、X、Google等の広告APIを活用した自動入稿機能の設計・実装 - 各広告媒体のAPI仕様調査と技術検証 - 既存のClean Architectureに準拠した新機能の統合 - 複数媒体を横断的に扱うための共通インターフェース設計 - APIレート制限、エラーハンドリング、リトライ処理の実装 - 広告パフォーマンスデータの取得・集計機能の開発 - 既存コードベースのリファクタリングと改善

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 【会社概要】 - 弊社は、生成AI・LLMや自律型AIの研究開発と社会実装を行うテックカンパニーです。 【募集背景】 現在、基盤が作られて間もない段階であり、今後改善などを行っていくフェーズの中で運用周りをを中心に対応いただけるMLOpsエンジニアを探しております。 今回のポジションではモデルを本番環境で安定運用させるためオペレーション周りを中心にお願いしたいと考えております。 【業務内容】 - 機械学習モデルの開発、デプロイ、モニタリング、更新のための自動化パイプラインの設計と実装 - データサイエンティストやMLエンジニアと協力し、モデルの性能と信頼性を向上させるためのインフラストラクチャの構築 - CI/CDツールを活用した継続的な統合と配信プロセスの確立 - モデルのバージョン管理、実験追跡、モデルレジストリの整備 - セキュリティとコンプライアンスを考慮したMLOps基盤の構築

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです --------------------------------弊社では、企業のマーケティング活動の最適化や顧客エンゲージメントの向上を支援する、国内最大級のダイレクトリサーチサービスを提供していますす。 従来、企業のマーケティング活動に用いるデータは調査会社を介し行われていました。 弊社では、ユーザーインタビューやアンケートを行いたい企業と協力者となるユーザーをマッチングするプラットフォームを提供することで、 新規事業やプロダクトグロースの核になるデータ収集をより積極的に行うことができる環境をつくり、クライアント企業のプロダクトづくりを支援してします。 今後も、どんな開発フェーズやサービス規模感にも対応できる、様々なリサーチ手法を提供することで、より多くのクライアントの支援ができる体制を整えていきたいと考えています。 本案件ではフルスタックエンジニアの枠に留まらず、CTOやビジネス側のメンバーと協働し、プロダクトの成長を牽引していただける方の募集を行っています。 【業務概要】 - 事業スケーリングに伴う最適な技術選定、アークテクチャ設計 - 新機能の設計・提案～実装～リリース - 既存機能のUI/UXの改善 - 既存コードのリファクタリング・パフォーマンスチューニングなど - CICDの設計運用 【開発組織】 CTO（正社員）、業務委託エンジニア

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

作業内容 データ蓄積システム(Hadoop/Spark)を構築し商用トライアルを実施したところ、課題が見つかったため、商用化に向けた改善を行います。 1、HadoopYARN/HDFS/Sparkのチューニング、性能検証：1名 HadoopYARN：メモリ、CPU数、データノード多重度など HDFS：ブロックサイズ、DataNodeへの接続数、Nameノードヒープサイズなど Spark：テーブルキャッシュ、パーティション数、コア数、エグゼキュータ数など 2、OSSの調査・導入・検証：3名 ・HDFSデータの暗号化、圧縮技術の調査・検証 ・大量構造化データの保持方式の調査・検証 GreenplumDB、Hiveなど 環境はHadoop、Spark、PostgreSQL、Java、Linuxとなります。

作業内容 ・Hadoop、Apache Sparkなど分析基盤の 　PoCおよび環境構築に携わっていただきます。

作業内容 ・美容(コスメ)の口コミサイトに関連する 　データ分析基盤の運用や機能改修をご担当いただきます。

作業内容 ・Spark gear を用いた3Dエフェクト制作 ・バトル用スキルエフェクト ・マップの環境エフェクトなどの作成