Spark × 在宅・リモートのフリーランス案件・求人一覧 | 7ページ目

作業内容 ・IF各種設計書作成 ・MS Fabric環境での実装（検証及びテストも含む） ・その他上記に付随する業務

作業内容 ・検索エンジンにおけるサーバサイド開発に携わっていただきます。 ・主に下記業務をご担当いただきます。　 　ｰソフトウェアエンジニアとして、検索エンジンのプロダクト開発 　ｰ要件定義～開発～リリースと運用

作業内容 AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。 設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。 データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

作業内容 Webサイト、モバイルアプリに関するQA業務をご担当いただきます。 ■業務内容 ・探索的テスト、機能テスト、レビュー、不具合分析 ・プロセス改善提案

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■案件内容 以下業務をご担当いただきます。 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロントエンド(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ■担当工程:要件定義~運用保守 ■求める人物像 ・見出した課題に対して、解決を目指して自発的に動ける方 ・将来を見越したシステム設計や改善提案を行うことができる方 ・自社サービスの成長や、ユーザーのことを意識し、開発に携われる方 ・リモートの経験がある方(参画後、業務上問題なければフルリモートも可能です) ■作業場所:渋谷 ■リモート頻度:フルリモート(初日出社) ■精算:140-180 ■打ち合わせ:WEB1回 ■備考:服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 ・大規模データを取り扱うクラウドサービスの開発に携わっていただきます。 ・GoやPythonを初めとして、複数言語を用いた開発に携わっていただきます。 　 ・主に下記作業をご担当いただきます。 -システムアーキテクチャの検討、選定及び設計、実装 -Webアプリケーションに関する設計及び実装 -ビッグデータの分析のための分散処理基盤の開発

作業内容 ・Goを用いたマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用 　-アプリケーション開発 　-アプリケーションのワークフロー開発 　-運用改善

作業内容 ・所属アーティストの売上管理システム開発案件をお任せいたします。 ・主に下記作業をお任せいたします。 　- 既存システム機能追加開発のバックエンド開発 　-データ不整合発生時の問題解析

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・開発工程をメインで携わっていただきます。 ・要件定義～テスト・運用まで一気通貫してご対応頂きます。

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発 開発環境 ・Java・Hadoop(Cloudera)・Apache kafka・Apache spark・Kubernetes/OpenShift/vCenter

作業内容 ・AWS基盤調査改善/構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-既存のAWS基盤の調査改善 　-ETL環境運用作業(テーブル追加、カラム変更程度)

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 ・Java、Pythonを用いた通信会社向け開発支援案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-基本設計からテスト

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・開発工程をメインで携わっていただきます。 ・詳細設計～テスト・運用まで一気通貫してご対応頂きます。

作業内容 ・ご経験やご希望に応じて上流から下流まで幅広く携わっていただきます。 ・主にScalaを利用したウェブアプリケーション開発、および 　Google Cloud PlatformおよびAWSを利用した新業務ツールの開発、運用 　を行っていただきます。

作業内容 【お任せしたいこと概要】 Databricksを活用したエンタープライズ向けデータ基盤構築プロジェクトにおいて、PL・PM候補として顧客現場に入り込んだプロジェクト推進・技術リードを担っていただきます。 エンドクライアント(大手メーカー中心)→大手SIer(AI事業部)→同社の商流ですが、クライアント(SI企業)の案件増加に伴い、同社PM(本ポジション)を中心としたチームを組成予定です。 ※プロジェクトの采配や進行における裁量が大きく、プライム案件のような関わり方が可能とお伺いしております！ なお、同社ではチーム提案の前例がないため、本ポジションでは、顧客先の課題解決に向け支援いただくだけでなく、同社の新たな仕組みづくりに貢献いただける方を募集されています。 具体的に、本ポジションにお任せしたい業務は下記の通りです。 ・プロジェクト開始前：プロジェクトメンバーの選抜やエンド企業への提案など、同社営業責任者様と協業しながら裁量を持って幅広くご対応いただきます ・プロジェクト開始後：要件定義〜設計・構築、運用設計、チームマネジメントまで多岐に渡る想定です 【想定業務】 ・顧客現場における要件整理・技術ヒアリング・設計支援 ・Databricksを活用したデータパイプラインの設計・実装・改善 ・Delta LakeやUnity Catalogを活用したガバナンス・パフォーマンス設計 ・WBS策定、課題管理、品質・スケジュールコントロール ・チームメンバーのタスク管理・レビュー・教育 クライアントの案件拡大に伴い、同社の提案の選択肢を拡大するため

作業内容 クライアントの内製開発をご支援いただきます。 クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。 今回は、次期システムの開発支援メンバーを募集します。 同内製開発チームは製造IoT系のシステムを開発しています。 このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。 製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。 ・Azureサービスを用いたシステム構築、開発

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ★本案件の最新の状況は、担当者までお問合せ下さい。 ★期間：随時～ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎

作業内容 ・データ分析（データの前処理、クレンジング、変換） ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発

作業内容 同社、プロダクト開発部内のデータ分析チームにおける、データ処理・基盤構築をお任せ致します。 具体的には以下内容を、ご経験に併せてお任せする想定です。 ■業務内容 - 複数のベンダーから提供される移動体の地理空間データを評価・比較、データ調達プロセスの支援 - プロジェクトでの利用を目的とした、移動体の地理空間データ処理ソリューションの設計・開発 - スケーラブルなデータパイプラインシステムの設計・開発・維持、統合されたETLプロセスを通じて効率的なデータフローを確保 - 位置情報を含む大規模データの高速処理環境の設計、構築、および改善 - 上記に関するドキュメントの作成 【組織体制】 PM：1名 PL：1名 メンバー：3～4名 同社は、位置情報ビッグデータのAI解析によって位置情報技術の社会実装を目指す大学発ベンチャーです。 現在、官民問わず様々なデータ分析～可視化の依頼を受ける中で、扱うデータ自体の取り扱い量も増えている状況です。 一方で、データ分析を行う上での加工等の前処理が追い付いておらず、効率的なオペレーションが組み切れておらず 案件を進めていく上で歩留まりが発生してします。 コンサルタントや、データサイエンティスト等 同社内の各ステークホルダーと連携しながら、全体を見据えたデータ処理・分析を推進いただける即戦力の方を探しています。

作業内容 ・データエンジニアと緊密に連携して、バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化 ・ データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 高度な分析や機械学習プロジェクトをサポートします。 【概要】 ・さまざまなサービスと実装パターンを活用し、安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。 具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューション設計になります。

作業内容 ・Goを用いたデータマーケティングツール開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-Kubernetes上に構築したアプリケーションの開発や運用業務 　-アプリケーション開発 　-運用改善

作業内容 クライアントの内製開発をご支援いただきます。 クライアントの内製開発チームは技術深耕へのモチベーションも高く、「ギークであること」をモットーに Azure系のサービスを中心に積極的なキャッチアップと技術検証に取り組まれています。 今回は、次期システムの開発支援メンバーを募集します。 同内製開発チームは製造IoT系のシステムを開発しています。 このシステムの分析領域に関しては、今後、Microsoft Fabric等の先進的なサービスを活用したアーキテクチャが構想されています。 製造IoT基盤分析領域の次期システム開発支援として、下記をご担当いただきます。 ・Azureサービスを用いたシステム構築、開発

作業内容 ・小売業の予測モデル構築及び運用支援 【業務詳細】 ・小売業における1日の商品の売り上げを予測、発注推奨数を計算する。 ・予測モデルはすでに運用中のものがあり、一部のデータサイエンティストによってモデルの精度向上を行っている。 ・需要予測モデルでのデータ加工、特徴量生成、売上予測の数字を使った店舗ごとへの発注推奨数計算ロジックの設計を受け取り実装していくのが主な業務。

作業内容 【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■環境 • 分散DB（Cloud Spanner） • 言語：Go言語 • 通信 ：connect-go proto • コンピューティング：Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 フルリモート 週1回（月or金）出社頂ける方が理想です。 外国籍：不可

作業内容 ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 ■利用技術 ・Angular(2〜) ・TypeScript、RxJS、echart、nebular ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python3 ・その他(GitHub、redash、Datadog、Google Analytics、GTM、KARTE)

作業内容 ・インターネット広告分析用プロダクトの新規開発において、 　下記作業を想定しております。 　-インターネット広告関連データを蓄積するデータレイクの開発

作業内容 クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 ・クラウドを用いたインタフェースの開発支援に携わっていただきます。 ・主に下記作業をご担当いただきます。 　- Microsoft Fabric環境での実装からテスト 　-インターフェース各種設計書作成

作業内容 大手石油販売会社にてDX推進プロジェクトに参画いただけるメンバーを募集しております! 複数テーマが同時に動いていることもあり、スムーズに進めていくためにも 大手企業のデジタル変革に参画していただけるメンバーを募っております。 具体的には… ●クライアントとMTGをしながら「どういったことができるのか」 「こんな要素があればこんな分析ができる！」といった企画・提案をしながら 実際に分析モデルなどを作っていただきます。 ●各事業部で必要とするデータを依頼された場合、データ抽出や分析 ●既存のデータパイプラインの保守（Azure） ●新規パイプラインの設計・構築(Sparkを想定)

作業内容 ・AWSクラウド環境でのAWSサービスを活用したデータ基盤構築に携わっていただきます。 ・データ基盤構築により下記のような運用に変わるイメージです。 　現運用：データソースの手動取得⇒ETLツールを手動実行⇒BIツール 　本運用：データソースを自動取得AWSサービス(AppFlow, Lambda)⇒ETLツールを自動実行⇒BIツール 　また、上記処理の監視、エラーハンドリング機能(CloudWatch, StepFunctions) ・ご担当いただくのは主に下記作業です。 　-詳細設計書作成 　-各インターフェースからデータを取得する収集処理の実装(AppFlow, Lambda(Python)) 　-収集したデータからデータマートを作成する変換処理の実装(Glue(pySpark, Spark SQL)) 　-検証作業(単体、結合、総合)

作業内容 ・バックエンドシステムの設計/開発と運用 ・サービスと解析の両方に最適なデータ構造の設計、実装 ・データの可視化や解析基盤の構築や運用 ・API 等を通じた外部サービスやシステムとの連携 ・Web インフラの構築と運用、自動化

作業内容 【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、地図描画：kepler.gl

作業内容 -------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- 私たちは広告データ分析系SaaSおよびキャリアプラットフォームのさらなる進化を目指し、 データ基盤・分析基盤、LLM/AI基盤の構築・運用を強化し、革新的なプロダクトを支えるため、LLMを用いたプロダクトのバックエンドAPI開発に臨むエンジニアを募集いたします。 ▼役割 SaaS/キャリアプラットフォームに用いるデータ基盤の構築・運用、バックエンドAPIの開発 ▼具体的な業務内容 - LLMを用いたプロダクトのバックエンドAPI開発、運用 - スケーラブルなクラウドインフラの構築、運用 - LLM用のベクトルデータストアの整備 ▼上記業務に慣れてきたら以下にもトライいただきたいです - LLM/AIエージェントの構築 - ビジネス部門との連携によるデータニーズの把握、データ活用支援 - ドキュメンテーション、技術共有、チームへの貢献 ▼このポジションの魅力 - Python、Node.js、LangChain、PostgreSQL、AWSなど、多様な技術を駆使してバックエンドスキルの幅が広げられる - データパイプラインやデータウェアハウスの設計・運用を通じ、企業の意思決定基盤に携わる事が可能 - 自由度の高い開発環境で新しい技術を試せる - エンジニアリングとプロダクトの両方の視点を養える - 迅速かつ効率的なアジャイル開発で即座にアイデアを形にできる - エンジニア同士の学び合いを大切にする環境

作業内容 ・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 　　　 【開発環境】 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight

作業内容 ・3Dエフェクト制作案件に携わっていただきます。 ・主にゲームのカットシーンの特殊領域をご担当頂きます。 ・その他これまでの経験に合わせて下記項目をご担当いただきます。 ‐エフェクト表現の提案、仕様作成 ‐エフェクト用テクスチャ、モデルやアニメーションの作成 ‐リアルタイム3Dエフェクトの作成 ‐エフェクト全般のクオリティコントロール ‐タスク見積/管理（スケジュール/予算/品質管理） ‐外注管理/ディレクション ‐レギュレーション制作及びワークフローの構築

作業内容 データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 　　　技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 ・ご経験やご希望に応じて上流から下流まで幅広く携わっていただきます。 ・主にiOSモバイルアプリの開発を行っていただきます。