Sparkのフリーランス案件・求人一覧 | 15ページ目

作業内容 クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 ・インターネット広告分析用プロダクトの新規開発において、 　下記作業を想定しております。 　-インターネット広告関連データを蓄積するデータレイクの開発

作業内容 【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、地図描画：kepler.gl

作業内容 ・バックエンドシステムの設計/開発と運用 ・サービスと解析の両方に最適なデータ構造の設計、実装 ・データの可視化や解析基盤の構築や運用 ・API 等を通じた外部サービスやシステムとの連携 ・Web インフラの構築と運用、自動化

作業内容 ・AWSクラウド環境でのAWSサービスを活用したデータ基盤構築に携わっていただきます。 ・データ基盤構築により下記のような運用に変わるイメージです。 　現運用：データソースの手動取得⇒ETLツールを手動実行⇒BIツール 　本運用：データソースを自動取得AWSサービス(AppFlow, Lambda)⇒ETLツールを自動実行⇒BIツール 　また、上記処理の監視、エラーハンドリング機能(CloudWatch, StepFunctions) ・ご担当いただくのは主に下記作業です。 　-詳細設計書作成 　-各インターフェースからデータを取得する収集処理の実装(AppFlow, Lambda(Python)) 　-収集したデータからデータマートを作成する変換処理の実装(Glue(pySpark, Spark SQL)) 　-検証作業(単体、結合、総合)

作業内容 新規開発中のスマートフォン向けゲームにおいて、Live2D/Spineアニメーターとしてキャラクターアニメーションの制作をお任せいたします。 具体的には以下の作業を想定しております。 ・絵コンテ ・キャラクターモデリング ・アニメーション制作 ・外部パートナーと連携してのモデル、アニメーションの監修

作業内容 各種システムを開発している企業にて データ登録システム開発案件にご参画頂きます。 要件定義～テストまでを一貫してご担当頂きます。 業務内容は下記が主業務となります。 ・データの入力 ・新システムの画面周りの開発 ■担当工程： 要件定義、基本設計、詳細設計、実装・単体、結合テスト

作業内容 ・論文検索システムの構築に携わって頂きます。 ・リーダーを担当して頂きます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・自社運営の広告配信システムの開発をご担当いただきます。 ・Scalaを用いた開発をご担当いただきます。 ・設計から実装、テスト、運用まで幅広くご担当いただきます。 ・PCはMacBook Proを使用して開発していただきます。

作業内容 ・機械学習プロダクトにおけるデータ処理基盤、 　データウェアハウスの設計、開発、運用をご担当いただきます。

作業内容 ・ご経験やご希望に応じて上流から下流まで幅広く携わっていただきます。 ・主にiOSモバイルアプリの開発を行っていただきます。

作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 　　　技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発 ・他システムから連携されるファイルの取り込み（to Athena、toSnowflake） ・取り込んだデータを使用してのマート作成（Athena、Snowflake）

作業内容 ・3Dエフェクト制作案件に携わっていただきます。 ・主にゲームのカットシーンの特殊領域をご担当頂きます。 ・その他これまでの経験に合わせて下記項目をご担当いただきます。 ‐エフェクト表現の提案、仕様作成 ‐エフェクト用テクスチャ、モデルやアニメーションの作成 ‐リアルタイム3Dエフェクトの作成 ‐エフェクト全般のクオリティコントロール ‐タスク見積/管理（スケジュール/予算/品質管理） ‐外注管理/ディレクション ‐レギュレーション制作及びワークフローの構築

作業内容 ・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 　　　 【開発環境】 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight

作業内容 運用中ソーシャルゲームにおいて、 3Dエフェクトの作成・3Dエフェクト開発におけるディレクション作業をお任せいたします。

作業内容 コンシューマゲーム（PS5、X-BOX SXなど）またはSteam等のPC向け対戦アクションゲームの 3Dリアルタイム エフェクト制作をお任せいたします。 作業の中ではゲーム用データへの変換作業とゲーム機への実装データチェックも発生いたします。 ※デバッグではありません。

作業内容 ・インターネット広告代理店業における、膨大な広告データのデータレイクの 　開発、運用、保守をご担当いただきます。 ・具体的には下記の作業の一部を想定しております。 　- 媒体APIを利用したデータの取得、蓄積 　- データの加工(ETL)処理 　- データウェアハウスへのロード、データマートの提供

作業内容 ・インターネット広告配信システム、 　および社内システムの開発に携わって頂きます。 ・設計から幅広く担当して頂きます。 ・実装に関しては常に仮説ベースから実装がスタートしていきます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 下記を行っていただきます。 ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案/実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

作業内容 インフラの構築や安定運用のために必要となる作業を主体的に行っていただきます。 １.環境構築 新規サービス開発のための設計や環境構築を行います。 ２.性能管理 処理速度やリソースなど、性能とキャパシティの管理を行います。 ３.運用改善 常に最適な運用体制が取れるように効率化や自動化などを検討していきます。 ４.障害対応 障害時の状況の沈静化及び根本原因の調査を行います。 【開発環境】 ■GCP GKE,GCE,BigQuery,CloudRun, GCSなど ■AWS S3, ElasticTranscoderなど ■Kubernetes ■Istio ■Terraform ■WebRTC ■Ruby on Rails ■Go ■Python ■Rust ■JavaScript,HTML5,CSS3 ■TypeScript ■React ■node.js ■Datadog ■mackerel ■Elasticserach/Kibana ■pagerduty ■Sentry ■Clarity

作業内容 ・広告総合自動運用プラットフォームの開発に携わっていただきます。

作業内容 新規スマホゲームにおいて エフェクトデザインを担当頂きます。 具体的な作業内容は下記を想定しております。 ■制作 ・AfterEffects/Unity/SparkGear等のツールでのゲームエフェクト制作 ・グラフィック品質の追求 ・品質や効率を高める為のミドルウェア等の導入検証 ・効率的なワークフローを実証 ・モバイル端末への実装に沿った最適化や実装に必要な各種セッティング ・ゲーム内に登場するカットシーン演出やガチャ演出等の構成と制作 ■リーダー ・セクション内のチームメンバーや外部発注先への指示出し ・品質の指針確定と指針に則った制作物の品質担保 ※スキルによってお任せする作業内容が異なります。

作業内容 インフラの構築や安定運用のために必要となる作業を主体的に行っていただきます。 １.環境構築 新規サービス開発のための設計や環境構築を行います。 ２.性能管理 処理速度やリソースなど、性能とキャパシティの管理を行います。 ３.運用改善 常に最適な運用体制が取れるように効率化や自動化などを検討していきます。 ４.障害対応 障害時の状況の沈静化及び根本原因の調査を行います。 【開発環境】 ■GCP GKE,GCE,BigQuery,CloudRun, GCSなど ■AWS S3, ElasticTranscoderなど ■Kubernetes ■Istio ■Terraform ■WebRTC ■Ruby on Rails ■Go ■Python ■Rust ■JavaScript,HTML5,CSS3 ■TypeScript ■React ■node.js ■Datadog ■mackerel ■Elasticserach/Kibana ■pagerduty ■Sentry ■Clarity

作業内容 機械学習エンジニアとしてサービスの改善／開発を行っていただきます。主にデータを活用したアルゴリズムの開発とその基盤開発を担当していただきます。 - 機械学習技術を用いたサービス開発および改善。具体的には推薦システムや診断といったサービスに従事していただきます。 - 機械学習モデルの安定的な運用・基盤整備（ML pipeline/MLOps） - 香りのデータを活かしたチャレンジングな課題の解決（R&D） - データ利活用のためのデータ基盤整備（Data Engineering/Data pipeline）

作業内容 要件定義から技術選定、開発、リリースから運用まで幅広く主体的に担当いただきます。 ■業務内容 ・新規機能開発 ・パフォーマンス、品質向上を主とした機能改善 ・検索エンジンのチューニング ・広告パフォーマンスのチューニング ・各種ログの収集・分析 ・SEO改善のためのインデックス精査 ・重複している求人データの整理 ・脆弱性診断ツールを活用したセキュリティ対応など

作業内容 ・車載ネットワークのデータを用いたビッグデータアプリケーションの 　開発に携わっていただきます。 ・担当工程としては、上流工程からご担当いただきます。 ※具体的にご担当頂く作業領域はご経験に応じて変動いたします。

作業内容 ・インターネット広告配信システム、 　および社内システムの開発に携わって頂きます。 ・設計から幅広く担当して頂きます。 ・実装に関しては常に仮説ベースから実装がスタートいたします。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 バックエンドエンジニアを募集します。 人数が不足しており、フルスタックとしてご活躍いただく方を想定しております。 参加される方のスキル・適性によってはアプリケーション改修などの依頼に変更することもありえます。 ・SNSのシステム運用・保守 　・データベースの構成変更 　　・キャパシティ最適化、インデックス最適化、集約など 　・アプリケーションサーバの構成変更 　　・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う 　・OS の変更・OS の更新 　　・CVE対応、サポート切れへの対応など 　・各種ミドルウェアの更新 　　・CVE対応、新機能・性能改善の取り込みなど 　・その他各種システム構成の変更・更新 　　・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など