Sparkのフリーランス案件・求人一覧 | 4ページ目

作業内容 社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主 ・データレイクへの取り込み ・中間テーブル生成 ■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応 ・社内ユーザコミュニケーションや要件定義も含む ・インフラからコードデプロイまでを担当 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

作業内容 AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。 設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。 データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

作業内容 Webサイト、モバイルアプリに関するQA業務をご担当いただきます。 ■業務内容 ・探索的テスト、機能テスト、レビュー、不具合分析 ・プロセス改善提案

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発 開発環境 ・Java・Hadoop(Cloudera)・Apache kafka・Apache spark・Kubernetes/OpenShift/vCenter

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 ■概要 新規プロダクトのサーバーサイドエンジニアをお任せいたします。 ■具体的な作業内容 ・RDBのデータベース設計 ・GlueジョブでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナーと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・Git flowベースの開発進行

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ■概要 大手保険会社グループのデジタルトランスフォーメーションを推進するプロジェクトである。 ■具体的な作業内容 現在は、データ基盤構築、アプリケーション開発のフェーズである。 ・保険業務や関連業務のDX化 ・米国会社のクラウドプラットフォーム上で基本的には開発を実施 ・ビッグデータ処理を前提としている ・今後は業務の高度化に取り組む予定である(機械学習を用いた業務の自動化、効率化など) ・他にも、介護領域において外部へデータを提供するプラットフォームの開発を進めている。 現在、開発チームが3つあり、プロジェクト内のミッション(サブ・プロジェクト)に取り組んでいる。 ■開発環境： ■プログラミング言語：Python　等

作業内容 ■概要 某社のクレジット基幹システム内の売上処理の再構築案件をお任せいたします。 ■具体的な作業内容 ・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている。 ・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る。 ・また、現状バッチ処理による一括更新だが、Kafkaを導入し、トランザクション処理化を行う。 ・他担当の技術的サポート・ソースレビューなどもできる開発者を要望。 ・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方。 ・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方。

作業内容 ■概要 新規プロダクトのサーバーサイドエンジニアをお任せいたします。 ■具体的な作業内容 ・RDBのデータベース設計 ・GlueジョブでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・Git flowベースの開発進行

作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。 ・開発工程をメインで携わっていただきます。 ・要件定義～テスト・運用まで一気通貫してご対応頂きます。

作業内容 ・小売業の予測モデル構築及び運用支援 【業務詳細】 ・小売業における1日の商品の売り上げを予測、発注推奨数を計算する。 ・予測モデルはすでに運用中のものがあり、一部のデータサイエンティストによってモデルの精度向上を行っている。 ・需要予測モデルでのデータ加工、特徴量生成、売上予測の数字を使った店舗ごとへの発注推奨数計算ロジックの設計を受け取り実装していくのが主な業務。

作業内容 ■概要 DX支援事業におけるデータサイエンティストをお任せいたします。 ■具体的な作業内容 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発 ■開発環境： ■プログラミング言語：Python　等

作業内容 大手石油販売会社にてDX推進プロジェクトに参画いただけるメンバーを募集しております! 複数テーマが同時に動いていることもあり、スムーズに進めていくためにも 大手企業のデジタル変革に参画していただけるメンバーを募っております。 具体的には… ●クライアントとMTGをしながら「どういったことができるのか」 「こんな要素があればこんな分析ができる！」といった企画・提案をしながら 実際に分析モデルなどを作っていただきます。 ●各事業部で必要とするデータを依頼された場合、データ抽出や分析 ●既存のデータパイプラインの保守（Azure） ●新規パイプラインの設計・構築(Sparkを想定)

作業内容 クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 バックエンドエンジニア業務をお任せします。 ■具体的な作業内容 RDBのデータベース設計 AWS Glue JobでPythonを利用したETL処理の設計、開発 Amazon API Gateway、AWS Lambdaを利用したAPI開発 技術的知見からの、プロダクトオーナと協調した仕様策定 AWS関連リソースのより積極的な活用 Git flowベースの開発進行

作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 　　　技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

作業内容 ▽チーム体制 開発責任者　1名 └プロダクトオーナー1名 └フロントエンドエンジニア 3名 └バックエンドエンジニア　5名 └SRE　0名（★ここが今回の募集ポジションです） └QAエンジニア0名 └データエンジニア1名 ※上記は社員のみ 業務委託で複数名のエンジニアにご参画頂いております。 ▽業務内容 ・自社SaaSサービスを支えるインフラ環境構築・運用などのシステム管理業務 ・サービスの監視やパフォーマンス・チューニング ・運用業務効率化のツール作成 ・プロダクト開発チームとともに信頼性の高いサービスの設計と実装 ▽環境 - AWS: EC2、ECS、StepFunctions、S3、Aurora(PostgreSQL)、Elastic Search、Cloud Watch - Python、Rust、Spark 【募集背景】 新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。

作業内容 ・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築既存の基盤改修・改善 ・データマート日次運用保守業務 　　　 【開発環境】 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight

作業内容 機械学習エンジニアとしてサービスの改善／開発を行っていただきます。主にデータを活用したアルゴリズムの開発とその基盤開発を担当していただきます。 - 機械学習技術を用いたサービス開発および改善。具体的には推薦システムや診断といったサービスに従事していただきます。 - 機械学習モデルの安定的な運用・基盤整備（ML pipeline/MLOps） - 香りのデータを活かしたチャレンジングな課題の解決（R&D） - データ利活用のためのデータ基盤整備（Data Engineering/Data pipeline）

作業内容 要件定義から技術選定、開発、リリースから運用まで幅広く主体的に担当いただきます。 ■業務内容 ・新規機能開発 ・パフォーマンス、品質向上を主とした機能改善 ・検索エンジンのチューニング ・広告パフォーマンスのチューニング ・各種ログの収集・分析 ・SEO改善のためのインデックス精査 ・重複している求人データの整理 ・脆弱性診断ツールを活用したセキュリティ対応など

作業内容 バックエンドエンジニアを募集します。 人数が不足しており、フルスタックとしてご活躍いただく方を想定しております。 参加される方のスキル・適性によってはアプリケーション改修などの依頼に変更することもありえます。 ・SNSのシステム運用・保守 　・データベースの構成変更 　　・キャパシティ最適化、インデックス最適化、集約など 　・アプリケーションサーバの構成変更 　　・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う 　・OS の変更・OS の更新 　　・CVE対応、サポート切れへの対応など 　・各種ミドルウェアの更新 　　・CVE対応、新機能・性能改善の取り込みなど 　・その他各種システム構成の変更・更新 　　・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など

作業内容 自社SaaSプロダクト開発において、 インフラ環境の構築と運用、パフォーマンスやコスト改善などの業務をご担当いただきます。 ▽業務内容 ・セキュリティ対策：アカウントセキュリティ、マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応：アカウントの組織管理、サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保：サービスレベルの策定、モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進：リソース構成のIaC化、監視ツールの導入、セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 開発環境 AWS: EC2、ECS、StepFunctions、S3、Redshift、Aurora(PostgreSQL)、CloudWatch、Lambda Python、Rust、Spark ▽募集背景 これまでは在席しているエンジニアがSREを担当していましたが、 事業拡大に伴い、専任のSREエンジニアを募集し、より安定したサービスの提供を目指したいと考えています。

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ 某企業の各プロダクトのバックエンド開発を行って頂きます。 スクラム開発を採用しており、同じチームに居るプロダクトマネージャ、デザイナー、フロントエンジニア、バックエンドエンジニア、薬剤師などと共に、バックエンドの専門家としてリーダーシップを取って開発を行って頂きます。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 某ユニコーン企業様にて、データエンジニアとして下記業務に携わっていただく想定になります。 ※スコープが広いためスキルに応じて依頼内容を調整。【業務スコープ】 ・データ基盤や分析基盤の開発、運用 ・AWS/GCP等のクラウド基盤を活用し、機械学習パイプラインやBIツールで利用しやすいデータ構築のためのシステム設計・開発・運用 ・ストリーミング処理開発、挿入されたデータを分析ログとしての価値を高めるパイプライン開発、CI/ CDも活用したインフラ構築の自動化

作業内容 大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）【開発環境】 ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter

作業内容 データ加工、バッチ開発、WebAPI開発、新規技術検証分析チームが別でいるので、そのメンバーの分析を基に話し合いながら進めていただきます。 開発工程 要件定義, 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。 ■業務内容 ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ ・モバイルアプリケーションエンジニアとして、自社サービスや業務に関連するアプリ（iOS・Android）の設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード ・進化するビジネス要件に基づいて、フロントエンドおよびバックエンドのサービスを強化 ・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】