Sparkのフリーランス案件・求人一覧 | 16ページ目

作業内容 ・薬局向けダッシュボードの開発において、下記業務をご担当いただきます。 　-RDBのデータベース設計 　-Glue JobでPythonを利用したETL処理の設計および開発 　-API Gateway、Lambdaを利用したAPI開発 　-技術的知見からの、プロダクトオーナと協調した仕様策定 　-AWS関連リソースの活用 　-Git flowベースの開発進行

作業内容 自社SaaSプロダクト開発において、 インフラ環境の構築と運用、パフォーマンスやコスト改善などの業務をご担当いただきます。 ▽業務内容 ・セキュリティ対策：アカウントセキュリティ、マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応：アカウントの組織管理、サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保：サービスレベルの策定、モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進：リソース構成のIaC化、監視ツールの導入、セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 開発環境 AWS: EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、CloudWatch、Lambda Python、Rust、Spark ▽募集背景 これまでは在席しているエンジニアがSREを担当していましたが、 事業拡大に伴い、専任のSREエンジニアを募集し、より安定したサービスの提供を目指したいと考えています。

作業内容 ・広告向けサービスのデータ基盤開発において、 　下記作業をご担当いただきます。 　-データレイクに蓄積された膨大な広告関連データのETL処理 　-その後のデータ基盤(DWH)の構築、運用、保守をお願いします。

作業内容 ・大規模広告システムのインフラに携わって頂きます。 ・設計から幅広く担当して頂きます。 ・主な業務は下記の通りです。 　-インフラの運用、監視、障害対応、チューニング 　-Linuxサーバおよびミドルウェアの構築や運用 　-アプリケーションのデプロイや運用 　- ネットワーク管理 　-問い合わせ対応 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・ご経験に応じて、下記業務をご担当いただきます。 　-TypeSriptを用いた実装もしくはPythonを用いた実装 　-RDBやNoSQLなどのデータベース設計 　-AWSサーバレスアーキテクチャに基づくインフラ構築 　-AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 　-DatadogやSentryなどを用いたシステム監視基盤構築、運用 　-プロダクトオーナと協調して技術的知見からの仕様策定

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）【開発環境】 ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter

作業内容 ・機械学習/データマイニングを用いた広告データ分析に携わって頂きます。 ・データ分析からサービスの改善提案まで担当して頂きます。 ・スキルや経験によっては、データ分析基盤の構築、 　新サービスの開発なども併せて依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・ご経験に応じて、下記業務をご担当いただきます。 　-TypeSriptを用いた実装もしくはPythonを用いた実装 　-RDBやNoSQLなどのデータベース設計 　-AWSサーバレスアーキテクチャに基づくインフラ構築 　-AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 　-DatadogやSentryなどを用いたシステム監視基盤構築、運用 　-プロダクトオーナと協調して技術的知見からの仕様策定 　-技術的知見からのフィジビリティスタディ

作業内容 ・AI開発や、データサイエンティスト向けサービスの 　Webアプリケーションの開発、又は運用に携わっていただきます。 ・コンペティションの要件定義や設計、コンペティションの運用や 　顧客対応までご対応いただきます。 ・データサイエンス教育における、コンテンツの設計や開発、 　データの整備等もご対応いただきます。 ・その他データ関連事業の研究開発に関わる業務をご担当いただきます。

作業内容 ・自社のエンタメ系プラットフォームにおける、開発、インフラ整備、ガイドラインの整備、 　セキュリティや品質の確保等の作業を行なっていただきます。 ・具体的には下記のような作業がございます。 -新ポータル開発 -各基盤APIの設計開発 -各サービスに跨る基盤の整備 -高負荷対策 -業務効率化、開発 -運用の自動化 -品質・セキュリティの確保 -新規サービスの立ち上げフォロー

作業内容 ・ご経験やご希望に応じて上流から下流まで幅広く携わっていただきます。 ・主にAndroidを用いたモバイルアプリの開発を行っていただきます。

作業内容 ・ご経験に応じて、下記業務をご担当いただきます。 　-TypeSriptを用いた実装もしくはPythonを用いた実装 　-RDBやNoSQLなどのデータベース設計 　-AWSサーバレスアーキテクチャに基づくインフラ構築 　-AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 　-DatadogやSentryなどを用いたシステム監視基盤構築、運用 　-プロダクトオーナと協調して技術的知見からの仕様策定

作業内容 ・動画サービスのデータ分析や基盤構築に携わっていただきます。 ・具体的な業務は下記となります。 　-KPI集計や統計分析 　-ダッシュボード構築 　-データ分析基盤構築 　-分析を実現するためのデータ収集や段取り 　-企画との連携 　-サービス開発や施策立案の支援 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。 ※スコープが広いためスキルに応じて依頼内容を調整。【業務スコープ】 ・データ基盤や分析基盤の開発、運用 ・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用 ・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

作業内容 検索サービスをはじめ、求人情報のクローリング機能、広告配信機能、求人企業による求人票作成機能など、求人検索エンジンには多くの構成要素が存在します。 社内では各テーマ毎にグループを作成し、それぞれがミッションを定義し、ミッションを実現するためにサービス開発・運用にコミットしています。 そのため、グループの持つ裁量の中で、要件定義から技術選定、開発、リリースから運用まで幅広く主体的に担当いただきます。 ＜業務一例＞ ・新規機能開発 ・パフォーマンス、品質向上を主とした機能改善 ・検索エンジンのチューニング ・広告パフォーマンスのチューニング ・各種ログの収集・分析 ・SEO改善のためのインデックス精査 ・重複している求人データの整理 ・脆弱性診断ツールを活用したセキュリティ対応など

作業内容 ・主に下記作業に携わっていただきます。 -広告オペレーションプロダクトの企画からアーキテクチャの選定/システム構成の設計・開発 -広告媒体からの実績データの取込 -リアルタイムでの集計処理をより高速にするための設計／実装

作業内容 LegalTech企業での新規製品開発案件 プロダクトのバックエンド領域における設計や機能開発・実装・レビュー・テスト・保守運用 - 直近のタスクとして、社内運用アプリケーションとのデータ連携部分のアダプタ設計と実装 - チームの生産性やプロダクト品質向上のため各種自動化やプロセスの整備、チームに知見を共有するためのドキュメント執筆

作業内容 ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。 ■業務内容 ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

作業内容 ・某大手不動産サイト/アプリにおけるデータ分析環境の構築、 　および関連するエンジニアリング業務に携わって頂きます。 ・設計から幅広く担当して頂きます。 ・主な業務は下記の通りです。 　-データウェアハウスの構築 　-データ収集バッチの開発 　-データマートの作成 　-BIツールの設定 　-既存システムにおけるデータの調査 　-関連部署へのヒアリング ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・オリジナルプロダクトの美容系ECサイトの 　運用開発をご担当いただきます。 ・具体的には下記業務をご担当いただきます。 　-クチコミサイトの開発 　-ブログサイトの開発 　-Q&Aサイトの開発 　-ポイントサイトの開発 　-サロン予約サイトの開発 　-新規事業の開発 　-上記開発を支えるAPI開発

作業内容 ・某SNS のシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更　 ・キャパシティ最適化、インデックス最適化、集約など　 ・アプリケーションサーバの構成変更　　 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う　 ・OS の変更・OS の更新　　 ・CVE対応、サポート切れへの対応など　 ・各種ミドルウェアの更新　　 ・CVE対応、新機能・性能改善の取り込みなど　 ・その他各種システム構成の変更・更新　　 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS（言語、ライブラリなど）：Swift、Objective-C Android（言語、ライブラリなど）：Java フロントエンド（言語、ライブラリなど）：JavaScript、TypeScript、LESS サーバーサイド（言語、ライブラリなど）：Perl、Ruby、Python インフラ：AWS (EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP（Cloud Vision API） ミドルウェア：Apache、nginx、memcached データベース：RDS、MySQL、Aurora モニタリング：CloudWatch、Sensu、Datadog データ分析：Google Analytics、EMR、Spark、SageMaker デプロイツール：Consul、stretcher 環境構築：Chef、Docker、Ansible CI：Jenkins、CircleCI、CodeBuild

作業内容 同社各プロダクト（薬局向けSaaSサービス、おくすり手帳アプリ、AI在庫自動管理システムなど）のバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 ■具体的な内容 ・TypeSript利用した実装もしくはPython利用した実装 ・RDBやNoSQLなどのデータベース設計 ・AWSサーバレスアーキテクチャに基づくインフラ構築 ・AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 ・DatadogやSentryなどを用いたシステム監視基盤構築・運用 ・プロダクトオーナと協調して技術的知見からの仕様策定 ・技術的知見からのフィジビリティスタディ

作業内容 - 当社プロダクトのバックエンド領域における設計や機能開発・実装・レビュー・テスト・保守運用 - 直近のタスクとして、社内運用アプリケーションとのデータ連携部分のアダプタ設計と実装 - チームの生産性やプロダクト品質向上のため各種自動化やプロセスの整備、チームに知見を共有するためのドキュメント執筆 このポジションでは、バックエンドにスペシャリティをもつエンジニアとしてプロダクトシリーズの開発に従事していただきます。

作業内容 ・某大手不動産サイト/アプリにおけるデータ分析環境の構築、 　および関連するエンジニアリング業務に携わって頂きます。 ・設計から幅広く担当して頂きます。 ・主な業務は下記の通りです。 　-データウェアハウスの構築 　-データ収集バッチの開発 　-データマートの作成 　-BIツールの設定 　-既存システムにおけるデータの調査 　-関連部署へのヒアリング ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 某ゲーム会社様にて運用中のデータ分析基盤（Redshift）の、Google Cloud環境への移行作業を行って頂きます。 Google Cloud環境では、DWHとしてBigQueryを利用し、データパイプラインにはGoogle Cloudのマネージドサービスと、データ変換ツールdbtを使用する想定です。 【主な作業内容】 ・バッチ処理コード移行（Java（Spling Boot）→ Google Cloud Composer + Google Data Fusion + dbt） （実装、単体テスト、結合テスト、システムテスト） ・SQL構文修正（Redshift（PostgresSQL） → BigQuery） （実装、単体テスト、結合テスト、システムテスト） ・テーブルデータ移行（Redshift → BigQuery） （テーブル設計・実装、データ移行、データ検証）

作業内容 ・数万QPSの配信やビックデータに関わる、 　ターゲティングデータ管理やDMPなどに携わって頂きます。 ・API開発や外部システムのデータ連携機能などの開発で、 　設計から幅広く担当して頂きます。 ・ご経験がある方は、ミドルウェアやインフラの構築、 　およびリニューアルなども依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・数万QPSの配信やビックデータに関わるDMPにおいて、 　AWSをメインとしたインフラに携わって頂きます。 ・設計から幅広く担当して頂きます。 ・主な業務は下記の通りです。 　-データ基盤のインフラ運用 　-サーバの設計や構築および運用 ※担当範囲は、スキルや経験および進捗状況により変動いたします。

作業内容 ・スケール可能な安定したデータプラットフォームの設計、構築、運用 ・GoまたはScala/Pythonなどを用いたデータハブ、業務ロジックの設計、開発 ・Goなどを利用したデータに関するAPI設計、開発 ・KPIに基づいたシステム改善（データの精度向上、コスト削減、速度改善など） ・ETLを使ったデータ集約を筆頭に、集約したデータの加工や他データソースとの結合、レポーティングのための仕組みづくり、ダッシュボード化の支援や同期的な仕組みで動いているデータ処理の非同期化

作業内容 ＜内容＞ 各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、 いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、 アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 ＜チーム構成＞ ・プロダクトマネージャ ・デザイナー ・フロントエンジニア ・バックエンドエンジニア ・薬剤師など ＜技術環境＞ ・言語：Python/TypeScript ・フレームワーク：Angular ・インフラ：AWS(Cognito、Amplify、API Gateway、Lambda、RDS、

作業内容 ・大手企業の100%子会社のDXで、 　機械学習/データマイニングを用いたデータ分析に携わって頂きます。 ・グループ内の数百ある各事業会社の要件を実現していくため、 　AIやIoTの技術なども使いながら、少人数でPoCを回して頂きます。 ・データ分析だけでなく、サービスの改善提案まで担当して頂きます。 ・ご経験がある方は、アーキテクチャ設計や技術選定、 　及びデータ分析基盤の構築なども併せて依頼されることがございます。 ※担当範囲は、スキルや経験および進捗状況により変動いたします。