Spark × 在宅・リモートのフリーランス案件・求人一覧 | 2ページ目

作業内容 スクラムのメンバーとして、基盤構築/アプリ開発を業務としてご担当していただきます。

作業内容 【作業内容】 ・Databricks（PySpark, Scala）環境のパフォーマンス最適化を行います。 ・大規模データ処理の実装・改修を担当します。 ・Azureデータ基盤のパフォーマンス改善を行います。 ・保守・構成管理およびリファクタリングを担当します。

作業内容 【20代～40代の方向け】 自動車の走行データを解析・提供するプラットフォームのバックエンド開発です。 Node.js（TypeScript）を使用して、データストリームの処理、分析結果のAPI化、レポート作成機能の開発を担当します。

作業内容 ・Databricksを活用してAWS上にデータ分析基盤を構築するための技術検証など作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 - 要件定義 - 基本設計 - 詳細設計 - 技術検証

作業内容 【作業内容】 来年度の本番開発に向けて、主な機能を構築してPoC実施するプロジェクトの開発部分を担当しています。 DBより情報を抽出して、帳票（Excel）出力する機能の開発を行います。また、既存仕様書をもとに自立的に開発・実装を推進し、コンテナ環境やクラウドサービスを活用したシステム構築を行います。 データ基盤やアプリケーションの品質担保や課題解決も担当していただきます。 開発（コーディング）を中心に進行します。 ※仕様書上不明瞭な部分があるため、課題管理表やチャットなどを中心にクライアントの確認程度は発生することがあります。 【求める人物像】 ・仕様書を読み解き、主体的にタスクを進められる方 ・問題解決力が高い方 ・コミュニケーション能力があり、チーム連携を重視できる方

作業内容 ・データ分析基盤構築案件に携わっていただきます。 ・主に下記のような作業をご担当いただきます。 　‐Databricksを活用したAWS上へのデータ分析基盤構築

作業内容 ・国および自治体向け経営管理システムWseVine Build&Scrapの開発から派生した新規プロジェクトに携わっていただきます。 ・主に下記作業をご担当いただきます。 - データを使ってテキストマイニングでマッチングロジックを組み立てることができる - 予算情報の解析&マッチングアルゴリズムに転用できる

作業内容 ・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー （工程）要件定義、設計、構築、運用、最適化、技術リード （開発環境） 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDBMS その他：Kafka／Pub/Sub／Spark／dbt／Trocco ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。（但し、企業都合退場は対象外） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～30代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～

作業内容 【募集背景】 【作業内容】 Databricksによるデータ解析システムの構築支援（設計/実装/テスト）を行います。 【求める人物像】 受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。 チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。 前向きに仕事と向き合える方。 周囲に対して気配りができる方。 【ポジションの魅力】 最新のデータ解析技術に携わり、スキルアップを図ることができます。 【開発環境】 Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI

作業内容 ・某メーカーのDX案件における、データ利活用・可視化対応作業を行います。 ・データ収集・加工プログラム（AWS Glue でのSparkジョブ（python））の開発を行います。

作業内容 ・基本設計~結合テスト、保守をご担当 ・フロント：Javascript、Angular、HTML ・サーバー：Java8、Spring Boot、Elasticsearch、Apache Spark ・DB：AWS Aurora、AWS DynamoDB、Apache Cassandra ・インフラ：AWS EC2、S3、EBS、ElastiCache

作業内容 ・薬局ダッシュボード開発案件に携わっていただきます。 ・主に下記作業をご担当していただきます。 　-薬局ダッシュボードの画面、機能開発

作業内容 ・某メーカーのDX案件における、データ利活用・可視化対応作業を行います。 ・9月よりデータ整備・データマートの概要設計等を実施し、性能要件がありその点を踏まえた検討も実施します。 ・データ収集・加工プログラム（AWS Glue でのSparkジョブ（python））の開発を行います。

作業内容 DMシステム更改案件における構築支援業務 データマネジメントインフラ支援業務 ・DaaS環境構築支援 ・インフラ構成検討支援 ・リアルタイム/機械学習基盤設計支援 ・問合せ対応 AWSクラウド環境にHadoop，Sparkといった技術を用いデータ連携/データ収集を行い、 AIによる情報活用基盤の更改を行っていきます。

作業内容 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます

作業内容 ・某メーカーのDX案件における、データ利活用・可視化対応作業を行います。 ・9月よりデータ整備・データマートの概要設計等を実施し、性能要件がありその点を踏まえた検討も実施します。 ・10月以降はデータ収集・加工プログラムの開発やダッシュボード開発を予定しています。

作業内容 ・データ基盤構築/改善PJ支援 ・データエンジニアとして下記支援を実施 -データ基盤構築/改善/課題解決 -データ処理/管理/収集 -Webクローリング/スクレイピング等のデータ活用周りを支援

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・ライブラリフレームワーク：Pandas、Numpy、Dask ・インフラ：AWS ・AWS製品：ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 ・配信入稿管理システムの開発に携わっていただきます。

作業内容 ・データ分析基盤構築およびアプリケーション開発(Java、Scala、Spark) ・AWS上でのJavaバックエンド開発

作業内容 ・大製造小売業におけるデータ設計開発作業に携わっていただきます。 ・主に下記作業をご担当いただきます。 - DWHやデータレイクの設計や構築、運用 - ETLやデータパイプラインの開発や改善 -分析向けデータモデルの設計および dbt を用いたモデル開発 - データ処理の品質管理やパフォーマンス改善、運用フローの最適化 - 運用チームのタスク管理やトラブルシューティング

作業内容 工程：基本設計〜結合テスト、保守をご担当いただきます。

作業内容 ・DIH（Data Integration Hub）からADF（Azure Data Factory)への移行作業 ・ADF移行方針決定、検証、連携テスト

作業内容 kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

作業内容 【概要】 Databricksを活用したデータマートの設計・構築を担うエンジニアを募集いたします。 可視化・分析用途に特化した高品質な基盤を目指し、顧客との折衝や要件定義も担当頂くポジションです。 【プロジェクト詳細】 具体的な業務は以下となります。 〇要件定義・仕様設計 ‐業務オーナーやBIチームと連携し、分析ニーズに基づくデータマート構造やテーブル設計を策定 〇物理-論理設計 ‐データモデル（星型スキーマ/スノーフレーク）やスキーマ設計、最適化パラメータの検討 〇Databricks上での実装方針策定 ‐Delta Lake活用、スケーラブルな処理設計、ジョブ制御戦略の設計 〇ETL設計・実装 ‐PySpark/Scalaを利用したデータパイプライン設計、AirflowやDBT等との連携も含む 〇パフォーマンスチューニング ‐クエリ最適化、ファイルパーティション設計、キャッシュ/メモリ設計 〇レビュー・テスト ‐ユニットテスト・単体結合テストの設計と実施、成果物レビュー対応 〇ドキュメント・ナレッジ共有 ‐設計書・運用手順書作成、社内勉強会やドキュメント共有による情報展開 【コミュニケーションについて】 リモート中心ですが、月数回の顔合わせ・対面での議論・調整も発生する可能性があります。

作業内容 ・大手精密電子機器メーカー向けAIサポートツール導入案件 に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-生成AIプラットフォームの利用ログや業務データを活用したデータ分析、可視化 　-ユーザー行動分析、離脱率分析、機能利用状況の可視化 　-AIモデル出力データを用いた品質評定 　-Pythonを用いたデータ前処理、統計解析、特徴量抽出 　-分析結果をもとにした顧客向けレポート、経営層向けダッシュボード設計 　-BIツールを用いた可視化、レポーティング 　-AIエンジニア、ビジネス部門との協働による施策立案、モデル改善支援

作業内容 薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。現状の薬局経営は、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。このダッシュボードは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 ======================== ※必ずお読みください※ 【20 代から50代前半の方が活躍中】 ※実務経験1年以上ありの方が対象の案件です！ 【外国籍の方の場合】 日本語能力検定１級お持ちの方 日本語が母国語の方 ※日本在住の方のみ ========================

作業内容 国内最大級のインターネット広告配信プラットフォームのシステムの設計、開発。 広告配信システム、大規模データ処理、分析、Web開発など多様な領域で開発を行う事ができ、多様なスキルを求められることになります。 ・広告配信システムのサーバサイド開発 ・広告配信システムや社内向けのWeb管理画面開発 ・Hadoopなどの大規模データ向け基盤を活用した開発 【開発環境】 言語：Scala, Kotlin, Python, Java DB：MySQL KVS：Redis データ基盤：Hadoop(Hive, Spark) その他ミドルウェア：Apache Kafka, Docker インフラストラクチャ：オンプレミス、GCP、AWS バージョン管理システム：Git(Github Enterprise) コラボレーションツール：Slack, Workplace, Confluence, JIRA, Google Workspace ■作業環境＿＿：Windows/Mac選択可 ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。（但し、企業都合退場は対象外） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～30代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～

作業内容 薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。 現状の薬局経営は、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。 このダッシュボードは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 （開発環境） ・React、Next ・TypeScript ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python ・その他(GitHub、Datadog、Google Analytics、GTM、KARTE) ※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。（但し、企業都合退場は対象外） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～30代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 我々は生成AIとデータ統合を組み合わせて25兆円の意思決定市場を創出することを目指すスタートアップです。 単なるマーケティング支援にとどまらず、AIを用いた“意思決定の高度化”に挑戦しており、マーケティング・HR・キャリアなどグロースに直結する領域で複数のプロダクトを展開しています。 大規模データ基盤の設計・構築、RAG実装、API化などを通じ、革新的プロダクトの成長を牽引する体制強化を図るため、技術力と創造性に優れたエンジニアを募集します。 ▼具体的な業務内容 - LLMを用いたエージェントの構築 - RAGにおけるRetrieverの実装 - LLMOpsの整備（運用自動化含む） - CI/CDパイプラインの構築と、エージェントの継続的デプロイ - エージェントを用いたAPIの実装 ▼上記業務に慣れてきたら以下にもトライいただきたいです - データマートの設計・構築・運用 - BIツール (Tableau, Lookerなど) を用いたデータ可視化基盤の構築・運用 - Deep Learningモデルのモデリングおよびそのためのpre-processing ▼このポジションの魅力 - 大規模データ処理やクラウド環境でのデータ基盤構築、最新AI技術（LLMなど）に実践的に携る事が可能 - 生成AIやLLMを活用したエージェント開発に携わり、実際のプロダクトの進化に貢献できる - 企業の成長に直結するサービスに貢献ができる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - Python、Node.js、Airflow、Spark、Flink、Tableauなど、多様な技術を駆使してスキルの幅が広げられる - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 我々は生成AIとデータ統合を組み合わせて25兆円の意思決定市場を創出することを目指すスタートアップです。 単なるマーケティング支援にとどまらず、AIを用いた“意思決定の高度化”に挑戦しており、マーケティング・HR・キャリアなどグロースに直結する領域で複数のプロダクトを展開しています。 大規模データ基盤の設計・構築、RAG実装、API化などを通じ、革新的プロダクトの成長を牽引する体制強化を図るため、技術力と創造性に優れたエンジニアを募集します。 ▼具体的な業務内容 - LLMを用いたエージェントの構築 - RAGにおけるRetrieverの実装 - LLMOpsの整備（運用自動化含む） - CI/CDパイプラインの構築と、エージェントの継続的デプロイ - エージェントを用いたAPIの実装 ▼上記業務に慣れてきたら以下にもトライいただきたいです - データマートの設計・構築・運用 - BIツール (Tableau, Lookerなど) を用いたデータ可視化基盤の構築・運用 - Deep Learningモデルのモデリングおよびそのためのpre-processing ▼このポジションの魅力 - 大規模データ処理やクラウド環境でのデータ基盤構築、最新AI技術（LLMなど）に実践的に携る事が可能 - 生成AIやLLMを活用したエージェント開発に携わり、実際のプロダクトの進化に貢献できる - 企業の成長に直結するサービスに貢献ができる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - Python、Node.js、Airflow、Spark、Flink、Tableauなど、多様な技術を駆使してスキルの幅が広げられる - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 フロー管理システムの開発・保守作業

作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 【概　要】　Hadoop運用/およびLinuxサーバの運用業務となります。 オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。 ・Hadoopまたは類似システムの運用経験があること （優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど) 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 某通信会社向け開発支援作業

作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。

作業内容 データレイクやDWH管理を行っているチームにて、下記業務をご対応いただきます。 ・AWSからGCPへの移行作業 ・GCPのデータ基盤構築

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ 【概要】マーケティングデータ処理開発 【開発環境】 -言語:Java、Scala(一部:Python、Ruby) 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-17:30 ※週5日〜OKの案件です！

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00 ※※こちらの案件は現在募集を終了しております※※