Sparkのフリーランス案件・求人一覧 | 4ページ目

作業内容 ・検索ソリューション事業における、 　データ分析基盤の構築、運用保守とデータ分析に携わっていただきます。 ・具体的な作業の内容としては、以下を想定しております。 　-データ活用の基盤構築 　-データの加工、および整理 　-データ分析における要件定義

作業内容 ------------------------------------------------------------------- ■35歳～50歳が活躍中 ■フルタイム案件（副業不可） ■国内在住者の方限定　※セキュリティ担保の観点 ■日本語ネイティブの方が活躍中 ------------------------------------------------------------------- 【業務内容】 ・職種　　　：Webアプリケーション開発エンジニア（フロント・バックエンド・クラウドインフラ） ・スキル言語：後述 ・概要　　　：社内外公開APIの申し込み及び各種情報確認ポータル（PC向け）のフロントWEB及びそのバックエンドシステムの開発 ・勤務地　　：フルリモート ・就業時間.:9:00～17:30（実働：7時間30分）※コアタイム無しフレックス制度導入（全社員対象）12:00～13:00（休憩時間） ・稼働希望日：10月～ ・開発端末　：MacBook（貸与） ・募集人数　：2名 ＜開発言語＞ 利用頻度順 ・AWS(代替：インフラ知識。LinuxコマンドやDNSについての知識等) ・Typescript(代替：Javascript) ・React.js(代替：Vue.js) ・Node.js ・Go ・Java(SpringBoot3) ・Python ・MySQL ・AWSOpenSearch ・DynamoDB ・Docker ・Jenkins ・Nginx ・ApacheSpark(Pyspark/AWSGlue) ・プロジェクト運用でGitHub、Slack、Jira、Confluence、Cacoo等を利用

作業内容 ------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

作業内容 ・美容(コスメ)の口コミサイトに関連する 　データ分析基盤の運用や機能改修をご担当いただきます。

作業内容 ソーシャルゲーム制作においてSPARK GEARを使用したエフェクト制作をお任せいたします。 ※お任せする作業はスキルに応じて異なります。

作業内容 データ蓄積システム(Hadoop/Spark)を構築し商用トライアルを実施したところ、課題が見つかったため、商用化に向けた改善を行います。 1、HadoopYARN/HDFS/Sparkのチューニング、性能検証：1名 HadoopYARN：メモリ、CPU数、データノード多重度など HDFS：ブロックサイズ、DataNodeへの接続数、Nameノードヒープサイズなど Spark：テーブルキャッシュ、パーティション数、コア数、エグゼキュータ数など 2、OSSの調査・導入・検証：3名 ・HDFSデータの暗号化、圧縮技術の調査・検証 ・大量構造化データの保持方式の調査・検証 GreenplumDB、Hiveなど 環境はHadoop、Spark、PostgreSQL、Java、Linuxとなります。

作業内容 ・Hadoop、Apache Sparkなど分析基盤の 　PoCおよび環境構築に携わっていただきます。

作業内容 ・Spark gear を用いた3Dエフェクト制作 ・バトル用スキルエフェクト ・マップの環境エフェクトなどの作成

作業内容 大手コスメ系サイトのデータ分析基盤の運用、機能改修をご担当いただきます。

作業内容 業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

作業内容 通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計／分析を 可能とするプラットフォームの構築案件です。

作業内容 Webサイトへの導入、機能そのものの改修、データ分析などなど

作業内容 ・AWSクラウド環境にHadoop/Sparkといった技術を用いデータ連携/ データ収集 を行い、AIによる情報活用基盤の更改をご担当いただきます。 ・下記を行っていただきます。 -DaaS環境構築支援 -インフラ構成検討支援 -リアルタイム/機械学習基盤設計支援 -問合せ対応

作業内容 現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション

作業内容 広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理

作業内容 データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudiといった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 運用中ソーシャルゲームにおいて、 インゲーム（バトル）や演出で使用するエフェクト全般の制作をご担当いただきます。 ※スキルに応じて他の作業もお任せ致します

作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

作業内容 【概　要】　Hadoop運用/およびLinuxサーバの運用業務となります。 オンプレサーバ運用かつ、新規運用となりますのでLinux運用経験/運用設計が可能な方を想定しています。 ・Hadoopまたは類似システムの運用経験があること （優先度としては、Hadoop>類似のシステムSpark/AmazonKinesisなど) 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ゲーム内の特殊効果、バトルエフェクトやスキルのエフェクトなど、 様々な演出の制作に携わって頂きます。 有名版権物RPGや新規開発中タイトルなど 、 ご参画のタイミングによりお任せするタイトルは変わります。

作業内容 ・データマネジメントインフラ支援業務にて以下をご担当いただきます。 　-DaaS環境構築支援 　-インフラ構成検討支援 　-リアルタイム/機械学習基盤設計支援 　-問合せ対応 ・AWSクラウド環境にHadoop、Sparkを用いてデータ連携/データ収集を行い、 　AIによる情報活用基盤の更改を行っていきます。 ・またJavaやPHPを用いた一部機能追加も想定しております。

作業内容 自動販売機の商品をアソートリストに沿ったものに入れ替える際の入れ替え計画を提案するプログラムの改修(パフォーマンス改善)、自動販売機ごとに最適とされるアソートリスト(商品の数量、種類、並び)をcsvファイルとして出力する処理をしていただきます。 アソートリスト出力処理は シェルスクリプト・python・R (pyspark / sparkRを利用) 入れ替え計画提案プログラムは python(pyspark を利用)

作業内容 ■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

作業内容 ・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

作業内容 新作スマートフォンタイトルの開発においてSPARK GEAR を用いた3Dエフェクト制作をご担当いただきます。 具体的な作業内容は下記を想定しております。 ・バトル用スキルエフェクト作成 ・マップの環境エフェクト作成　等

作業内容 大手通信事業者向け、データ加工処理マイグレーション検討案件です。 現行のデータ加工処理をマイグレーションするための、移行計画および移行方式の検討立案を実施頂きます。 現状、上位会社が移行計画/移行方式の検討立案を進めている状況で、今回はその業務をご支援頂きます。 ※参画後は、現行のデータ加工処理基盤をご理解頂き、ユーザ要件を確認しつつ 　クラウドシフトをするための移行計画/移行方式の検討を進めて頂きます。 現在想定しているマイグレーション例は、以下の通りです。 　-現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　-ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換 　→Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）等の 　　Spark関連マネージド・サービスにマイグレーション ＜就業時間＞ 9:00ｰ18:00 ※※こちらの案件は現在募集を終了しております※※

作業内容 在庫管理システムのデータ基盤構築に携わっていただきます。

作業内容 ・データ基盤の運用及び保守開発 ・新規データ取得のETLの設計及び実装 ・構成/プロセスの見直し ・データウェアハウスの設計及び実装 ・データの可視化

作業内容 IT基盤戦略担当様のDMシステム更改案件における構築支援業務 データマネジメントインフラ支援業務をしていただきます。 DaaS環境構築支援、インフラ構成検討支援、リアルタイム/機械学習基盤設計支援、問合せ対応、AWSクラウド環境にHadoop，Sparkといった技術を用いデータ連携/データ収集を行い、AIによる情報活用基盤の更改を行っていきます。

作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。