Spark × 在宅・リモートのフリーランス案件・求人一覧 | 7ページ目

作業内容 自社独自のデータ集積のプラットフォームを持つ運営する企業にて 主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ・Pythonを使ったバッチ開発/改修/運用 ・データインサート　…etc. ＜参画先チーム＞ データ収集～データ処理を行っている部署です。 データの翻訳やデータ処理の高速化/自動化などを手掛けており プログラミング言語はPython、GCP環境での業務で現場は5名のチーム体制です。

作業内容 テックビズなら記帳代行無料！仕事に集中して取り組んでいただけます。 場　　所：原宿、明治神宮前（基本リモート） 面　　談：1回 作業期間：即日（3月、4月も可）　長期 作業時間：10:00～19:00　フレックスなので柔軟に対応します ■内容 下記をお任せしようと考えています。 ・フルスタックエンジニアとして、自社サービスや業務に関連するシステムの設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード ・進化するビジネス要件に基づいて、フロントエンドおよびバックエンドのサービスを強化 ・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進 ■求める人物像 ・食べること、料理、外食など「食」に対する興味・関心が高い方 ・ユーザー目線を大切にして、ユーザーへの理解・共感をもとに行動出来る方 ・エンジニアリング・デジタルテクノロジーに関する最新の情報や流行を積極的にインプットしている方 ・コミュニケーション力があり、協調性のある方 ・自発的に提案できる方 ※以下に該当する方からの応募はお断りしております。 なお、選考を進めるにあたってスキルシートが必要です。 -------------------------------------------------------- ・外国籍の方(永住権をお持ちの方は問題ございません) ・週5日稼働できない方 --------------------------------------------------------

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■業務内容 　・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 　　自社サービスSaasの新バージョンをこの春リリースし、 　　エンタープライズとの契約が急激に増えている中で、非常に多くの 　　機能改善要望や機能追加要望が出てきています。 　　顧客からの数億レコードにもなる大量データの加工をSQLやPythonを 　　用いて作成し、集計後、データストアに投入する機構の構築に携わって 　　いただきます。 　　社員エンジニアとスクラムチームを形成し、 　　スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく 　　体制になります。 ■工程 　・基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境 　・開発言語： Python、SQL 　・DB: Aurora(PostgreSQL互換)、Redshift 　・検索エンジン： Amazon Elasticsearch Service 　・ライブラリ・フレームワーク：Pandas、Numpy、Dask 　・インフラ： Amazon Web Services 　・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch 　・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry ■精算有無 　・140〜180h　上下割 ■勤務体型 　・リモート可 ■勤務時間 　・9:00〜18:00 ■面談と方法 　・1回（Web） ■備考 　・ご自身のPC使用していただいてOKです。貸与の場合は郵送となります。 　・地方人材OK ※週5日〜OKの案件です！

作業内容 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！ ■案件内容 以下業務をご担当いただきます。 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロントエンド(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ■担当工程:要件定義~運用保守 ■求める人物像 ・見出した課題に対して、解決を目指して自発的に動ける方 ・将来を見越したシステム設計や改善提案を行うことができる方 ・自社サービスの成長や、ユーザーのことを意識し、開発に携われる方 ・リモートの経験がある方(参画後、業務上問題なければフルリモートも可能です) ■作業場所:渋谷 ■リモート頻度:フルリモート(初日出社) ■精算:140-180 ■打ち合わせ:WEB1回 ■備考:服装:ビジネスカジュアル ※週5日〜OKの案件です！

作業内容 ・AWS基盤調査改善/構築案件に携わっていただきます。 ・主に下記作業をご担当いただきます。 　-既存のAWS基盤の調査改善 　-ETL環境運用作業(テーブル追加、カラム変更程度)

作業内容 ・所属アーティストの売上管理システム開発案件をお任せいたします。 ・主に下記作業をお任せいたします。 　- 既存システム機能追加開発のバックエンド開発 　-データ不整合発生時の問題解析

作業内容 基盤開発エンジニアを募集中です。 【具体的なお仕事】 サービスで発生する様々なユーザーの行動ログや、業務データを収集、加工して、事業成長に還元するのが我々、ビッグデータ部です。 その中でデータ収集、加工の中心となるビッグデータ基盤の開発を担いながら、データ活用で事業貢献することをミッションに日々取り組んでおります。 アクティビティや分析データを集約するビッグデータ基盤のシステムの設計・開発・運用をご担当いただきます。 ＜開発環境＞ ・Mac 、Windows お好きなマシンを選択可能 ・デュアルディスプレイ支給 開発環境 On-Prem Data Store ・Hadoop(HDFS) ・MariaDB ・Aerospike SQL ・Hadoop Ecosystem(YARN,Hive, Spark2, Sqoop) Cloud ・AWS (S3, Glue, Athena, etc) ・GCP (GKE, BigTable, etc) Job Scheduler & CI/CD ・Jenkins ・Digdag、Rundeck ・CircleCI Real Time Ingestion ・Fluentd, Embulk ・Pub/Sub(Kinesis, etc) BI tools & Note Book ・Redash ・Apache Zeppelin, Jupyter Container ・Docker (docker-compose, swarm-mode) ・Kubernates Programming Languages ・Go ・TypeScript ・Python ・Spark2 Communication tools ・GitHub Enterprise ・Confluence, Jira ・Slack 開発言語 ・Golang (Echo, gorm) ・Node.js (Express) ・Python ・Bash ・Erlang ・SQL (HiveQL, Presto) ツール ・GitHub Enterprise ・CircleCI ・Sider ・Bitbucket ・Atlassian（Confluence, Jira） ・Slack

作業内容 国内最大級のショッピングモールに出店するストアが利用に関わる開発 ＊エンハンスがメインの予定です。 ご経験に合わせ、リーダー職でオファーを行う可能性があります。 リーダーは部下のマネジメントや、ビジネス職、企画職とのMTGの他、開発も行います。人により割合は異なりますが、プレイングマネージャーとしてご活躍頂きます。 メンバーは開発に集中に出来る環境です。slackでコミュニケーションは取りつつも直接コミュニケーションも取ることが出来る社風のためわからないことは聞きやすい環境です。 ■開発の特徴 ショッピングにおけるデータを対象としたストア×顧客の軸でのビッグデータ分散処理技術や、集計データを元に顧客をリアルタイムに判定する高い技術が使われており、新しいテクノロジーなども積極的に取り入れています。 ■開発・業務環境 言語：C、Java、Scala、PHP、Perl フレームワーク：Seasar2 (※移行検討中)、Laravel4 ミドルウェア：Spark、Apache Module、Redis、Solr、Tomcat インフラ：AWS (Aurora, EC2, S3, Kinesis, EMR）、オンプレ環境 ソース管理：GitHub Enterprise コミュニケーションツール：Slack、Backlog

作業内容 ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 ■利用技術 ・Angular(2〜) ・TypeScript、RxJS、echart、nebular ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python3 ・その他(GitHub、redash、Datadog、Google Analytics、GTM、KARTE)

作業内容 ・インターネット広告分析用プロダクトの新規開発において、 　下記作業を想定しております。 　-インターネット広告関連データを蓄積するデータレイクの開発

作業内容 ■案件内容 　日本国内のレガシーシステムを捨てて全世界でのシステム統合対応をしています。 医療系ビッグデータの管理、データ入力システムの再構築 新規作成中のグローバル統合基盤における 日本のデータ管理のためのDB設計、データ移行サポートなど多岐にわたります。 当面のタスクとしては、旧システムからのデータ移行検討、実施と 新規画面作成の２つの面があります。 現在はメインとしてデータ移行関連を対応していますが、 今後は入力システムの刷新の方にシフトしていく想定。 複数国での開発のため資料がほぼすべて英語になりますので、 英会話まではできなくても読み書き問題なければテーブルに乗ります。 ■担当工程： 　基本設計～テスト ■役割 　SE

作業内容 ・バックエンドシステムの設計/開発と運用 ・サービスと解析の両方に最適なデータ構造の設計、実装 ・データの可視化や解析基盤の構築や運用 ・API 等を通じた外部サービスやシステムとの連携 ・Web インフラの構築と運用、自動化

作業内容 ・AWSクラウド環境でのAWSサービスを活用したデータ基盤構築に携わっていただきます。 ・データ基盤構築により下記のような運用に変わるイメージです。 　現運用：データソースの手動取得⇒ETLツールを手動実行⇒BIツール 　本運用：データソースを自動取得AWSサービス(AppFlow, Lambda)⇒ETLツールを自動実行⇒BIツール 　また、上記処理の監視、エラーハンドリング機能(CloudWatch, StepFunctions) ・ご担当いただくのは主に下記作業です。 　-詳細設計書作成 　-各インターフェースからデータを取得する収集処理の実装(AppFlow, Lambda(Python)) 　-収集したデータからデータマートを作成する変換処理の実装(Glue(pySpark, Spark SQL)) 　-検証作業(単体、結合、総合)

作業内容 【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、地図描画：kepler.gl

作業内容 コンビニの顧客分析、商圏分析等の為のAWS Glueを使用したETL処理の開発 ・他システムから連携されるファイルの取り込み（to Athena、toSnowflake） ・取り込んだデータを使用してのマート作成（Athena、Snowflake）

作業内容 ・3Dエフェクト制作案件に携わっていただきます。 ・主にゲームのカットシーンの特殊領域をご担当頂きます。 ・その他これまでの経験に合わせて下記項目をご担当いただきます。 ‐エフェクト表現の提案、仕様作成 ‐エフェクト用テクスチャ、モデルやアニメーションの作成 ‐リアルタイム3Dエフェクトの作成 ‐エフェクト全般のクオリティコントロール ‐タスク見積/管理（スケジュール/予算/品質管理） ‐外注管理/ディレクション ‐レギュレーション制作及びワークフローの構築

作業内容 ・インターネット広告代理店業における、膨大な広告データのデータレイクの 　開発、運用、保守をご担当いただきます。 ・具体的には下記の作業の一部を想定しております。 　- 媒体APIを利用したデータの取得、蓄積 　- データの加工(ETL)処理 　- データウェアハウスへのロード、データマートの提供

作業内容 ・電帳法、インボイス、会計、販売管理関連の既存サービスに関する設計（機能追加）及び実装に携わっていただきます。 ・Goを用いたバックエンド開発、Reactを用いたフロントエンド開発等、ご経験に応じてフルスタックに関わっていただくことを想定しております。 　 ・状況に応じてEDIサービス、DB設計などもご担当いただく可能性がございます。

作業内容 インフラの構築や安定運用のために必要となる作業を主体的に行っていただきます。 １.環境構築 新規サービス開発のための設計や環境構築を行います。 ２.性能管理 処理速度やリソースなど、性能とキャパシティの管理を行います。 ３.運用改善 常に最適な運用体制が取れるように効率化や自動化などを検討していきます。 ４.障害対応 障害時の状況の沈静化及び根本原因の調査を行います。 【開発環境】 ■GCP GKE,GCE,BigQuery,CloudRun, GCSなど ■AWS S3, ElasticTranscoderなど ■Kubernetes ■Istio ■Terraform ■WebRTC ■Ruby on Rails ■Go ■Python ■Rust ■JavaScript,HTML5,CSS3 ■TypeScript ■React ■node.js ■Datadog ■mackerel ■Elasticserach/Kibana ■pagerduty ■Sentry ■Clarity

作業内容 下記を行っていただきます。 ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案/実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

作業内容 IT領域を軸に成長した超大手企業にて、自社マーケティングプラットフォームの開発・運用をして頂くシステム開発エンジニアを募集しております。 ビッグデータ技術を用いたインターネット広告の自社運用基盤となるシステム開発に参画して頂きます。 今年度は、上記のシステムをクラウドベースで刷新し、大幅に機能を拡張したマーケティングプラットフォームの開発を計画しております。

作業内容 インフラの構築や安定運用のために必要となる作業を主体的に行っていただきます。 １.環境構築 新規サービス開発のための設計や環境構築を行います。 ２.性能管理 処理速度やリソースなど、性能とキャパシティの管理を行います。 ３.運用改善 常に最適な運用体制が取れるように効率化や自動化などを検討していきます。 ４.障害対応 障害時の状況の沈静化及び根本原因の調査を行います。 【開発環境】 ■GCP GKE,GCE,BigQuery,CloudRun, GCSなど ■AWS S3, ElasticTranscoderなど ■Kubernetes ■Istio ■Terraform ■WebRTC ■Ruby on Rails ■Go ■Python ■Rust ■JavaScript,HTML5,CSS3 ■TypeScript ■React ■node.js ■Datadog ■mackerel ■Elasticserach/Kibana ■pagerduty ■Sentry ■Clarity

作業内容 ・車載ネットワークのデータを用いたビッグデータアプリケーションの 　開発に携わっていただきます。 ・担当工程としては、上流工程からご担当いただきます。 ※具体的にご担当頂く作業領域はご経験に応じて変動いたします。

作業内容 ・薬局向けダッシュボードの開発において、下記業務をご担当いただきます。 　-RDBのデータベース設計 　-Glue JobでPythonを利用したETL処理の設計および開発 　-API Gateway、Lambdaを利用したAPI開発 　-技術的知見からの、プロダクトオーナと協調した仕様策定 　-AWS関連リソースの活用 　-Git flowベースの開発進行

作業内容 クラウド構築やwebアプリケーションの開発・導入を行う企業様にてデータサイエンティストを募集しています。 弊社で請け負っている案件（大手通信会社系列）のデータサイエンティストとして、データ分析やデータ処理、分析作業の効率化、分析結果による予測モデル構築など 【職種】 ・データ分析エンジニア ・データアナリスト ・データサイエンティスト 【職務内容】 ・統計処理 ・機械学習 ・AIによるデータ分析 ・AIを実装したIoT開発 【プロジェクト例】 ・AIを利用した需要予測 ・IoT・ロボティクス技術の研究開発 ・機器の劣化、故障予測 ・生物の行動分析 ※社内にはApache Spark等の実機での実践習得まで行う環境あり あなたの目指すキャリア、勤務地や労働時間などの希望を尊重し、適切なプロジェクトに参画していただきます。 配属される部署は、サーバーサイドからデザインまで様々な特長を持ったエンジニアが集まる技術者集団です。そのため、多くの技術情報が交わされ、今持っている自身のスキルの他に、違う武器を獲得しやすい環境にあります。

作業内容 テックリードエンジニアを募集中です。 開発環境 【開発環境/ツール】 ・Mac(JIS配列 or US配列) 、Windows お好きなマシンを選択可能 ・デュアルディスプレイ支給 ・マシンスペックはCPU（Core i5）,メモリ（16GB）を標準とするが、必要な開発環境に応じて上位スペックを選択可能 インフラ関連使用技術一例 ・AWS ・GCP ・PHP ・Java ・Rubyなど ビッグデータ関連 ・Hadoop/Hive/Spark/Hue/Sqoop(CDH) ・Presto ・Redash/Apache Zeppelin ツール ・Bitbucket（GitHub Enterpriseも利用中） ・Atlassian（Confluence, Jira） ・Slack ・Google Analytics

作業内容 ・広告向けサービスのデータ基盤開発において、 　下記作業をご担当いただきます。 　-データレイクに蓄積された膨大な広告関連データのETL処理 　-その後のデータ基盤(DWH)の構築、運用、保守をお願いします。

作業内容 ・ご経験に応じて、下記業務をご担当いただきます。 　-TypeSriptを用いた実装もしくはPythonを用いた実装 　-RDBやNoSQLなどのデータベース設計 　-AWSサーバレスアーキテクチャに基づくインフラ構築 　-AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 　-DatadogやSentryなどを用いたシステム監視基盤構築、運用 　-プロダクトオーナと協調して技術的知見からの仕様策定 　-技術的知見からのフィジビリティスタディ

作業内容 リードエンジニアを募集中です。 【具体的なお仕事】 ・新規事業立ち上げの推進 実際に各事業部に入って新規事業の立ち上げに参加していただきます。 ただ立ち上げを行ってもらうだけではなく、事業支援チームで新規事業を立ち上げる際の標準セットを作り、ブラッシュアップし、実際に導入していくところまでやっていただきます。 ・既存事業のモダン化 アーキテクチャ設計、CI/CDの整備などから 理想の標準セットをチームで作る上でリードをしていただき、 実際に各事業部でリアーキテクチャ支援に入っていくことを想定しています。 開発環境 ・Mac(JIS配列 or US配列) 、Windows お好きなマシンを選択可能 ・デュアルディスプレイ支給 ・マシンスペックはCPU（Core i5）,メモリ（16GB）を標準とするが、必要な開発環境に応じて上位スペックを選択可能 利用クラウド ・AWS ・GCP 利用言語 ・PHP ・Java ・Rubyなど ビッグデータ関連 ・Hadoop/Hive/Spark/Hue/Sqoop(CDH) ・Presto ・Redash/Apache Zeppelin ツール ・Bitbucket（GitHub Enterpriseも利用中） ・Atlassian（Confluence, Jira） ・Slack ・Google Analytics

作業内容 ・ご経験に応じて、下記業務をご担当いただきます。 　-TypeSriptを用いた実装もしくはPythonを用いた実装 　-RDBやNoSQLなどのデータベース設計 　-AWSサーバレスアーキテクチャに基づくインフラ構築 　-AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 　-DatadogやSentryなどを用いたシステム監視基盤構築、運用 　-プロダクトオーナと協調して技術的知見からの仕様策定