Sparkのフリーランス案件・求人一覧 | 9ページ目

作業内容 オンプレミスの大規模データ収集基板構築に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援していただける方を募集いたします。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS(Hadoop)の構成について考慮する必要があるため、Hadoop環境の利用経験があればよりマッチいたします。 ＜業務内容＞ ・RDBからデータ取得を行うアプリケーションを、DWH(Hadoopベース)からデータ取得を行うように改修 →改修のための設計、開発、テスト ・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等) ＜開発環境＞ ・Java ・Hadoop(Cloudera) ・Apache kafka ・Apache spark ・Kubernetes/OpenShift/vCenter ＜備考＞ 現状リモートワーク 新型コロナウイルス感染症の終息後は出社予定 ＜基本時間＞ 9：00～18：00

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ ・大手メーカー内のバックオフィス業務開発開発、運用を繰り返すイメージです。 ・AWS上でのデータ解析基盤の構築 利用するAWSサービスの候補 -Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation, Lambda,StepFunction その他プロダクト、ツール -Tableau,Github,Confluence,JIRA,Slack 言語・スクリプト -Python,shell,SQL 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。 既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。) また、集約したデータをBIツールを活用し、データ可視化も行っています。 （既存ダッシュボードの保守、新規ダッシュボード構築など）

作業内容 ・データ処理と前処理の実装 ・Scalaを使用して機械学習アルゴリズムやモデルの実装 ・大規模データセットを使用する場合、分散処理フレームワーク（例: Apache Spark）を使用して機械学習アルゴリズムをスケーラブルに実行 ・モデル評価とパフォーマンス改善 ・データ分析基盤の開発 ・データの可視化とレポーティング

作業内容 ・既存のAWS基盤の調査改善 ・ETL環境運用作業（テーブル追加、カラム変更程度）

作業内容 ・自社広告配信プロダクトの100億レコード以上/日のログを分析し 　広告配信の最適化する業務に携わっていただきます。 ・KPI(CPCなど)最適化の改善及び運用をご担当いただきます。

作業内容 某大手通信キャリアが提供する販促プログラムにおいて、加盟店（飲食店、小売等）が 利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）の データ関連の開発および、顧客企業との仕様調整・実現性検討を行って頂きます。 ＜開発環境＞ 言語：Python (一部 Javaもあり) フレームワーク：gRPC, OpenAPI インフラ：AWS Athena, AWS Redshift, MySQL, Apache Airflow, Docker,bazel, github クラウド：AWS

作業内容 ヘルスケア企業向けにリリースしたスマホアプリにおいて、バージョンアップにおける開発対応を行っていただきます。 基盤はAWS、開発手法はアジャイルとなります。(一部、AWSにおける運用保守を行っていただく可能性もございます) ＜備考＞ リモート頻度は週1～2回 ＜基本時間＞ 9：00～18：00

作業内容 鉄道会社向けアプリ保守開発案件となります。 アプリの改修、小規模開発、運用保守等をご担当いただきます。

作業内容 ・SREをご担当いただきます。 ・主に下記作業となります。 　-サーバー構成管理ツールの開発や運用 　-モニタリング環境構築、監視ツールの開発 　-Kuberbetes環境でのコンテナクラスタ運用 　-Hadoop、Kafkaを利用した分析や集計基盤の構築 　-HiveやSparkを用いた集計処理バッチの作成 　-ミドルウェアの検証および選定 　-LinuxOSのチューニング 　-海外展開に向けたクラウドインフラ等の構築

作業内容 開発中のシステムに対する追加機能の設計実装となります。 ・工程：アプリケーション設計～総合テスト

作業内容 モバイルゲーム(RPG)のエフェクトデザイナー業務に携わっていただきます。 以下の業務内容をお任せいたします。 　-キャラクターの攻撃や回復、松明の炎や煙、UIなどのエフェクト制作　 　-ユーザー体験を最大化させる演出の提案、コンテ制作

作業内容 ■概要 データレイクの更改対応および運用業務の技術リーダーを募集しております。 ■具体的な作業内容 ・システムやバッチの要件定義 ・開発計画の作成 ・作業スケジュールの調整 ・レビュー（ソースコード・ドキュメント） ・他部署との調整 ・資料作成 ■開発環境 言語：Python、Scala DB　：Oracle、Postgre 環境：AWS（Glue、EC2、Athena、S3、DMS、SQSなど） 　　 Adobe Analytics 　　　rtmetrics 　　 GCP（Airflow）

作業内容 ゲームの開発/運営を行っている現場で、 主にエフェクトデザイン業務をお願い致します。 中でもパーティクルエフェクトに関する作業を中心にお願い致します。

作業内容 上位受託でお客様向けにデータ基盤の構築をご支援しており、追加のご依頼・ご相談などをいただいている状況です。 　PoCとして様々なテーマを扱う予定で、画像解析、自然言語処理、時系列解析などのテーマもスコープに入る想定で、 　主にDatabricksを用いたデータ基盤構築・活用に向けた推進などをお任せする予定です。

作業内容 ・データ分析基盤及びETL基盤のシステム開発支援に携わっていただきます。 ・下記作業をおまかせいたします。 　-システムアーキテクチャの検討・選定・設計・実装 　-分散処理基盤の開発

作業内容 ・大手外資系製薬会社のデータエンジニアとして参画いただきます。 ・具体的には下記です。 　‐データと分析チームの技術的な問題支援 　‐データインフラストラクチャのニーズのサポート 　‐ビジネスアナリストやその他の利害関係者との連携 　‐ビジネス要件を技術仕様に変換する作業 　‐データプロセスの効率と機能の向上に向けたデータサイエンティストとの連携 　‐データセットの組み立て 　‐Microsoft AzureまたはAWSのいずれかで、最適なデータパイプラインアーキテクチャを設計、構築、テスト、および維持 　‐データソースからのデータの最適な抽出、変換、および読み込みに必要なインフラ構築 　‐データ品質、データセキュリティ、およびデータガバナンスの側面でのデータプラクティスの適用

作業内容 テックビズなら記帳代行無料！仕事に集中して取り組んでいただけます。 【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、 エンタープライズとの契約が急激に増えている中で、 多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 場所:完全フルリモート※地方在住可 面談:1回(オンライン) 精算:140~180h 作業時間:9:00~18:00 ■開発環境 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・検索エンジン:AmazonElasticsearchService ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AmazonWebServices ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・外国籍の方(永住権をお持ちの方は問題ございません) ・週5日稼働できない方 --------------------------------------------------------

作業内容 ビッグデータ処理（日次バッチ処理）の環境再構築案件において、機能開発、自動化・効率化に伴う調査・改修・データ移行、ドキュメント整備などの支援を行っていただきます。

作業内容 企画,コンサルティング,ディレクション,データ分析 大型カーボンニュートラルプロジェクトに携わって頂きます。 ・データプラットフォームのシステムアーキテクチャの作成 ・システム開発を行なう上で必要なOSSを中心とした技術要素の選定

作業内容 テックビズなら記帳代行無料！仕事に集中して取り組んでいただけます。 場　　所：原宿、明治神宮前（基本リモート） 面　　談：1回 作業期間：即日（3月、4月も可）　長期 作業時間：10:00～19:00　フレックスなので柔軟に対応します ■内容 下記をお任せしようと考えています。 ・フルスタックエンジニアとして、自社サービスや業務に関連するシステムの設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード ・進化するビジネス要件に基づいて、フロントエンドおよびバックエンドのサービスを強化 ・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進 ■求める人物像 ・食べること、料理、外食など「食」に対する興味・関心が高い方 ・ユーザー目線を大切にして、ユーザーへの理解・共感をもとに行動出来る方 ・エンジニアリング・デジタルテクノロジーに関する最新の情報や流行を積極的にインプットしている方 ・コミュニケーション力があり、協調性のある方 ・自発的に提案できる方 ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・外国籍の方(永住権をお持ちの方は問題ございません) ・週5日稼働できない方 --------------------------------------------------------

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■業務内容 　・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 　　自社サービスSaasの新バージョンをこの春リリースし、 　　エンタープライズとの契約が急激に増えている中で、非常に多くの 　　機能改善要望や機能追加要望が出てきています。 　　顧客からの数億レコードにもなる大量データの加工をSQLやPythonを 　　用いて作成し、集計後、データストアに投入する機構の構築に携わって 　　いただきます。 　　社員エンジニアとスクラムチームを形成し、 　　スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく 　　体制になります。 ■工程 　・基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境 　・開発言語： Python、SQL 　・DB: Aurora(PostgreSQL互換)、Redshift 　・検索エンジン： Amazon Elasticsearch Service 　・ライブラリ・フレームワーク：Pandas、Numpy、Dask 　・インフラ： Amazon Web Services 　・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch 　・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry ■精算有無 　・140〜180h　上下割 ■勤務体型 　・リモート可 ■勤務時間 　・9:00〜18:00 ■面談と方法 　・1回（Web） ■備考 　・ご自身のPC使用していただいてOKです。貸与の場合は郵送となります。 　・地方人材OK ※週5日〜OKの案件です！

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■概要 AWSのインフラエンジニアを募集します。 人数が不足しており、インフラ領域に留まらず アプリケーションのサーバーサイド(Perl,Ruby,Pythonのいずれか)の開発も対応可能な方だと確度上がります。 ご本人様の適性に合わせてお任せする業務をご相談させて頂きます。 ・SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など ■場所:渋谷駅 ■時間:定時10:00~19:00 ■面談:1回 ■備考 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロントエンド(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ※週5日～OKの案件です！

作業内容 モバイルゲーム及びコンシューマーゲーム開発におけるエフェクト制作業務を行なっていただきます。 以下の業務をご担当いただく予定です。 ・ゲーム開発におけるエフェクト制作業務 ・エフェクト表現の検証、作業効率化の為のツール支援業務 ・エフェクトに関するクオリティ管理、監修業務

作業内容 ・Web解析ツールの新規開発に伴うインフラ構築支援に携わっていただきます。 ・下記を行っていただきます。 -SQLを用いたデータ集計 -Google Cloud Platformでのインフラ構築運用 など

作業内容 ・BtoB （AI診断）サービス開発に携わっていただきます｡ ・下記を行っていただきます｡ 　-UIUXの設計構築からサービス実装 　-ご希望に応じてフルスタックに関わっていただきます。

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■案件内容 以下業務をご担当いただきます。 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロントエンド(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ■担当工程:要件定義~運用保守 ■求める人物像 ・見出した課題に対して、解決を目指して自発的に動ける方 ・将来を見越したシステム設計や改善提案を行うことができる方 ・自社サービスの成長や、ユーザーのことを意識し、開発に携われる方 ・リモートの経験がある方(参画後、業務上問題なければフルリモートも可能です) ■作業場所:渋谷 ■リモート頻度:フルリモート(初日出社) ■精算:140-180 ■打ち合わせ:WEB1回 ■備考:服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 ・アジャイル開発支援アプリケーションの開発に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-要件定義以降の開発 　-既存システムのリプレイス ・ご経験に応じて別プロジェクトのご提案する場合もございます。

作業内容 世界各国で利用されるオンラインサービスにおける、データ分析基盤の開発運用支援をお願い致します。 ＜期間＞ 7月～長期(以降も更新の可能性あり)

作業内容 自社独自のデータ集積のプラットフォームを持つ運営する企業にて 主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ・Pythonを使ったバッチ開発/改修/運用 ・データインサート　…etc. ＜参画先チーム＞ データ収集～データ処理を行っている部署です。 データの翻訳やデータ処理の高速化/自動化などを手掛けており プログラミング言語はPython、GCP環境での業務で現場は5名のチーム体制です。