Sparkのフリーランス案件・求人一覧 | 12ページ目

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発 開発環境 ・Java・Hadoop(Cloudera)・Apache kafka・Apache spark・Kubernetes/OpenShift/vCenter

作業内容 ・AWS基盤調査改善/構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-既存のAWS基盤の調査改善 　-ETL環境運用作業(テーブル追加、カラム変更程度)

作業内容 ・下記作業をご担当いただきます。 　-Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発、運用 　-Apache Sparkを利用したETL処理の開発 　-各サービス開発チームのデータエンジニアリングの支援

作業内容 ・大手企業にて、 　機械学習/データマイニングを用いたデータ分析に携わって頂きます。 ・グループ内の数百ある各事業会社の要件を実現していくため、 　AIやIoTの技術なども使いながら、少人数でPoCを回して頂きます。 ・データ分析だけでなく、サービスの改善提案まで担当して頂きます。 ・ご経験がある方は、アーキテクチャ設計や技術選定、 　及びデータ分析基盤の構築なども併せて依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・データエンジニアと緊密に連携して、バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化 ・ データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 高度な分析や機械学習プロジェクトをサポートします。 【概要】 ・さまざまなサービスと実装パターンを活用し、安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューション設計になります。

作業内容 ・基幹システムの運用保守、改修案件に携わっていただきます。 ・基幹システム（Java）以外に POSシステム（C#）、その他システム（PHP）の運用、保守作業をご担当いただきます。

作業内容 ・TeraDataで構築していたDWHを更改する案件に携わっていただきます。

作業内容 ・既存サービス（電帳対応、インボイス関連等）に関するモックデザイン～UI設計、UIコンポーネント開発、プロトタイピング及びフロントエンド開発 ・React・Vue.jsを用いた開発をご担当いただきます。 　 ・状況に応じてバックエンド側の開発もご担当いただく可能性がございます。

作業内容 ・Java、Pythonを用いた通信会社向け開発支援案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-基本設計からテスト

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。 〜開発環境〜 ・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・検索エンジン：Amazon Elasticsearch Service ・ライブラリ・フレームワーク：Pandas、Numpy、Dask ・インフラ：Amazon Web Services ・AWS製品：ECS、S3、Step Functions、Lambda、CloudWatch ・環境、ツール：Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容 ・組織全体の意思決定をデータドリブンに行っていくために必要な 　DWH層テーブルの設計、開発、保守をお任せいたします。 ・具体的には以下のような作業が発生いたします。 　‐DWH層テーブルの設計、開発、保守 　-関係者からのヒアリング、データ調査 　‐DWH層テーブルのSQL及び、PySparkを用いた実装 　‐DWH層のテーブルについての問い合わせ対応、不具合解消 　‐DWH層開発環境の設計、開発、保守、運用

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・開発工程をメインで携わっていただきます。 ・詳細設計～テスト・運用まで一気通貫してご対応頂きます。

作業内容 ・ご経験やご希望に応じて上流から下流まで幅広く携わっていただきます。 ・主にScalaを利用したウェブアプリケーション開発、および 　Google Cloud PlatformおよびAWSを利用した新業務ツールの開発、運用 　を行っていただきます。

作業内容 クライアントの内製開発をご支援いただきます。 クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。 今回は、次期システムの開発支援メンバーを募集します。 同内製開発チームは製造IoT系のシステムを開発しています。 このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。 製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。 ・Azureサービスを用いたシステム構築、開発

作業内容 ・マーケティングを技術でリードするため、 　機械学習やデータマイニングなどに携わって頂きます。 ・課題解決のため、様々なアプローチを検討し、最適化して頂きます。 ・主な業務は下記の通りです。 　-データ分の析や可視化 　-施策の目標設定のサポートや検証の設計 　-機械学習を用いたレコメンド 　-改善を目的とした開発や分析 　-リターゲティング広告配信やプロモーションのためのDMP構築 　-サードパーティの広告配信へのオーディエンスデータ連携 　-ログからキャンペーンのレポーティングやパフォーマンス実証 　-データ解析環境の構築や効果的な広告配信のためのデータ分析 　-アプリのプロモーションや広告運用のテクニカルサポート

作業内容 ・アジャイル開発プロジェクトにて 　Webアプリケーション開発及びインフラ開発に携わっていただきます。 ・製造業、物流、流通関係のプロジェクトを複数抱えている為、 　ご商談後に担当作業を選定させていただいております。

作業内容 ・Goを用いたデータマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用業務 　-アプリケーション開発 　-運用改善

作業内容 クライアントの内製開発をご支援いただきます。 クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。 今回は、次期システムの開発支援メンバーを募集します。 同内製開発チームは製造IoT系のシステムを開発しています。 このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。 製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。 ・Azureサービスを用いたシステム構築、開発

作業内容 ・航空気象系サービスのバックエンド開発をお願いします。 ・Pythonを用いてデータ取り込み開発をご担当いただきます。 ・既存チームに合流して開発を進めていただきます。 ・アジャイル形式で進めるため、API1名、 　取り込み部分1名＋数名が同じチームとなり 　複数チームで開発します。

作業内容 ・小売業の予測モデル構築及び運用支援 【業務詳細】 ・小売業における1日の商品の売り上げを予測、発注推奨数を計算する。 ・予測モデルはすでに運用中のものがあり、一部のデータサイエンティストによってモデルの精度向上を行っている。 ・需要予測モデルでのデータ加工、特徴量生成、売上予測の数字を使った店舗ごとへの発注推奨数計算ロジックの設計を受け取り実装していくのが主な業務。

作業内容 【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■環境 • 分散DB（Cloud Spanner） • 言語：Go言語 • 通信 ：connect-go proto • コンピューティング：Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 フルリモート 週1回（月or金）出社頂ける方が理想です。 外国籍：不可

作業内容 ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 ■利用技術 ・Angular(2〜) ・TypeScript、RxJS、echart、nebular ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python3 ・その他(GitHub、redash、Datadog、Google Analytics、GTM、KARTE)

作業内容 ・自社運営の広告配信システムの開発をご担当いただきます。 ・Scalaを用いた開発をご担当いただきます。 ・設計から実装、テスト、運用まで幅広くご担当いただきます。 ・PCはMacBook Proを使用して開発していただきます。

作業内容 運用中のソーシャルゲームにおいて、 2Dキャラクターアニメーションの制作をご担当いただきます。 場合によっては下記監修作業もご依頼致します。 ・キャラクターモデリング ・外部パートナーと連携してモデルの監修 　 ※ご担当頂く作業領域はご経験に応じて変動致します。

作業内容 ・インターネット広告分析用プロダクトの新規開発において、 　下記作業を想定しております。 　-インターネット広告関連データを蓄積するデータレイクの開発

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 私たちは広告データ分析系SaaSおよびキャリアプラットフォームのさらなる進化を目指し、 データ基盤・分析基盤、LLM/AI基盤の構築・運用を強化し、革新的なプロダクトを支えるため、LLMを用いたプロダクトのバックエンドAPI開発に臨むエンジニアを募集いたします。 ▼役割 SaaS/キャリアプラットフォームに用いるデータ基盤の構築・運用、バックエンドAPIの開発 ▼具体的な業務内容 - LLMを用いたプロダクトのバックエンドAPI開発、運用 - スケーラブルなクラウドインフラの構築、運用 - LLM用のベクトルデータストアの整備 ▼上記業務に慣れてきたら以下にもトライいただきたいです - LLM/AIエージェントの構築 - ビジネス部門との連携によるデータニーズの把握、データ活用支援 - ドキュメンテーション、技術共有、チームへの貢献 ▼このポジションの魅力 - Python、Node.js、LangChain、PostgreSQL、AWSなど、多様な技術を駆使してバックエンドスキルの幅が広げられる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 ヘルスケア企業向けにリリースしたスマホアプリの運用保守において、以下業務を行っていただきます。 基盤はAWS、開発手法はアジャイルです(顧客企業からは2名参画中)。 ＜業務内容＞ ・AWSからの日々のアラート対応(監視・原因調査・対応) ・AWSマネコンを利用したシステム稼働状況確認、Lambdaを用いたジョブ稼働コントロール ・データ集計/手動更新、テストデータ導入、リリース後の検証 ・ユーザー登録、お知らせ通知などの作業依頼対応 ・ユーザー問合せ対応、障害発生時における原因調査/対策 ＜勤務地＞ 恵比寿周辺 ※詳細な出勤地は面談確定時に共有させていただきます ＜基本時間＞ 10：00～19：00

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 大手石油販売会社にてDX推進プロジェクトに参画いただけるメンバーを募集しております! 複数テーマが同時に動いていることもあり、スムーズに進めていくためにも 大手企業のデジタル変革に参画していただけるメンバーを募っております。 具体的には… ●クライアントとMTGをしながら「どういったことができるのか」 「こんな要素があればこんな分析ができる！」といった企画・提案をしながら 実際に分析モデルなどを作っていただきます。 ●各事業部で必要とするデータを依頼された場合、データ抽出や分析 ●既存のデータパイプラインの保守（Azure） ●新規パイプラインの設計・構築(Sparkを想定)

作業内容 ・各サービスで使用する課金基盤やアカウント基盤の開発に携わって頂きます。 ・設計から幅広く担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・AI開発や、データサイエンティスト向けのWebアプリを 　展開している企業にてシステム開発に携わっていただきます。 ・データサイエンス教育における、Webアプリケーション設計や開発、 　ドキュメント作成までご対応いただきます。

作業内容 ・自社運営の広告配信システムの開発をご担当いただきます。 ・Scalaを用いた開発をご担当いただきます。 ・設計から実装、テスト、運用まで幅広くご担当いただきます。 ・PCはMacBook Proを使用して開発していただきます。

作業内容 ・論文検索システムの構築に携わって頂きます。 ・リーダーを担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・AWSクラウド環境でのAWSサービスを活用したデータ基盤構築に携わっていただきます。 ・データ基盤構築により下記のような運用に変わるイメージです。 　現運用：データソースの手動取得⇒ETLツールを手動実行⇒BIツール 　本運用：データソースを自動取得AWSサービス(AppFlow, Lambda)⇒ETLツールを自動実行⇒BIツール 　また、上記処理の監視、エラーハンドリング機能(CloudWatch, StepFunctions) ・ご担当いただくのは主に下記作業です。 　-詳細設計書作成 　-各インターフェースからデータを取得する収集処理の実装(AppFlow, Lambda(Python)) 　-収集したデータからデータマートを作成する変換処理の実装(Glue(pySpark, Spark SQL)) 　-検証作業(単体、結合、総合)

作業内容 新規開発中のスマートフォン向けゲームにおいて、Live2D/Spineアニメーターとしてキャラクターアニメーションの制作をお任せいたします。 具体的には以下の作業を想定しております。 ・絵コンテ ・キャラクターモデリング ・アニメーション制作 ・外部パートナーと連携してのモデル、アニメーションの監修

作業内容 ・バックエンドシステムの設計/開発と運用 ・サービスと解析の両方に最適なデータ構造の設計、実装 ・データの可視化や解析基盤の構築や運用 ・API 等を通じた外部サービスやシステムとの連携 ・Web インフラの構築と運用、自動化

作業内容 【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、地図描画：kepler.gl

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 ・データ処理と前処理の実装 ・Scalaを使用して機械学習アルゴリズムやモデルの実装 ・大規模データセットを使用する場合、分散処理フレームワーク（例: Apache Spark）を使用して機械学習アルゴリズムをスケーラブルに実行 ・モデル評価とパフォーマンス改善 ・データ分析基盤の開発 ・データの可視化とレポーティング