Hadoopのフリーランス案件・求人一覧 | 3ページ目

作業内容 社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主 ・データレイクへの取り込み ・中間テーブル生成 ■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応 ・社内ユーザコミュニケーションや要件定義も含む ・インフラからコードデプロイまでを担当 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

作業内容 ■概要 新規プロダクトのサーバーサイドエンジニアをお任せいたします。 ■具体的な作業内容 ・RDBのデータベース設計 ・GlueジョブでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・Git flowベースの開発進行

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 ゲーム事業におけるデータ分析業務 ■具体的な作業内容 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。

作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。

作業内容 ■概要 新規プロダクトのサーバーサイドエンジニアをお任せいたします。 ■具体的な作業内容 ・RDBのデータベース設計 ・GlueジョブでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナーと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・Git flowベースの開発進行

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ビックデータ基盤構築・運用案件になります。 現在、オンプレにて社内システムのログをElasticsearch/Hadoopに集約し、 各組織にレポート等の可視化機能を提供している基盤を運用しております。 今回追加データの可視化の要件がありますので、 データパイプライン構築と可視化に伴う設計・構築を中心にご支援いただける人を探しています。

作業内容 ■概要 ゲーム事業におけるデータ分析業務をお任せいたします。 ■具体的な作業内容 主に以下の分析関連業務を担当して頂きます。 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。 ■開発環境： ■プログラミング言語：Python　等

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 ゲーム事業におけるデータ分析業務 ■具体的な作業内容 主に以下の分析関連業務を担当して頂きます。 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。

作業内容 ■概要 ゲーム事業におけるデータ分析業務をお任せいたします。 ■具体的な作業内容 主に以下の分析関連業務を担当して頂きます。 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。 ■開発環境： ■プログラミング言語：Python　等

作業内容 某スマートフォン広告ソリューションツールの国内・海外でのサービス展開をさらに強固なものにするための全体設計やディレクション、新機能の設計,開発,運用下記業務のいずれかを担当・スマートフォン広告の効果測定機能開発・iOS/AndroidSDK開発・Unity,AdobeAIR,Cocos2d-xなどのSDK開発・Hadoopを使ったビッグデータ解析・UI,UXにこだわったレポーティング画面開発・全世界広告システム、メディアとの連携・第三社配信アドサーバーの開発

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 バックエンドエンジニア業務をお任せします。 ■具体的な作業内容 RDBのデータベース設計 AWS Glue JobでPythonを利用したETL処理の設計、開発 Amazon API Gateway、AWS Lambdaを利用したAPI開発 技術的知見からの、プロダクトオーナと協調した仕様策定 AWS関連リソースのより積極的な活用 Git flowベースの開発進行

作業内容 ■概要 DX支援事業におけるデータサイエンティストをお任せいたします。 ■具体的な作業内容 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発 ■開発環境： ■プログラミング言語：Python　等

作業内容 ■概要 VMwareの仮想化基盤で動作している複数システムの新仮想化基盤移行をご支援いただきます。 ■具体的な作業内容 ・アプリチームと連携しながらミドルウェア環境の構築をご担当いただきます。 ・仮想化基盤や共通インフラは別の部隊が担当しますので、そのレイヤについては詳細設計とヒアリングシートの作成をご担当いただきます。 ・実環境はオンプレですが、AWS上にテスト環境があるのでそこで事前検証などを行う予定です。 ・基本的なアーキテクチャは固まっていますが、運用系の機能などは積極的に新しいツールを提案・導入できる環境です。

作業内容 【20代~40代のITエンジニアが活躍中！】 ■概要 ゲーム事業におけるデータ分析業務をお任せいたします。 ■具体的な作業内容 主に以下の分析関連業務を担当して頂きます。 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。

作業内容 広告プラットフォームに関わる業務全般のシステム設計・仕様策定・開発業務を行います。 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 ・エンド会社の共通分析用データ基盤の運用、構築業務 ・エンド会社の持つビックデータを保持、分析するための基盤(BigQuery)の運用、構築業務 ・具体的な作業例は、次のようなものになります。 －社内のあらゆるデータを集約したセントラルDWHの構築 －データ連携・データマート作成フレームワークの開発 －フレームワーク用いたホットペッパー等の各サービスDBやWebログ連携の実装 －分析者・事業側エンジニアのデータマート作成やSQLチューニング支援

作業内容 ■概要 ゲーム事業におけるデータアナリスト業務をお任せいたします。 ■具体的な作業内容 主に以下の分析関連業務を担当して頂きます。 ・事業価値向上のための分析要件の定義 ・データの加工と分析の実施によるインサイトの抽出、打ち手の考案 ・分析結果のプレゼンテーションおよび企画の提案と実行支援 なお業務にあたって、プロデューサーや各企画担当者、エンジニア等と主体的にコミュニケーションを取りながら進めて頂きます。

作業内容 機械学習エンジニアとしてサービスの改善／開発を行っていただきます。主にデータを活用したアルゴリズムの開発とその基盤開発を担当していただきます。 - 機械学習技術を用いたサービス開発および改善。具体的には推薦システムや診断といったサービスに従事していただきます。 - 機械学習モデルの安定的な運用・基盤整備（ML pipeline/MLOps） - 香りのデータを活かしたチャレンジングな課題の解決（R&D） - データ利活用のためのデータ基盤整備（Data Engineering/Data pipeline）

作業内容 某大手オークションサイトの開発案件になります。 膨大なデータを抽出するためのETLツールの作成、抽出したデータを基にシステムの構築を行います。 ・Talendで作成された既存ジョブの改修 ・データ整備 ・Javaでのコーディング作業 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 月間100万UUに達する老人ホーム、高齢者向けの住宅検索サービスの運用開発をメインでご担当いただきます。 開発業務に関しては、オフショア先のベトナムでも担当している為オフショアエンジニアとやり取りするケースも考えられます。 多少英語を使う可能性があります。 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データエンジニアとして、自社独自のデータ集積のプラットフォームを持つ運営する企業にて主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ■具体的な作業内容 ・Pythonを使ったバッチ開発/改修/運用 ・データインサートetc. ■参画先企業について 世界中の特許・論文データや研究費・ベンチャー企業の資金調達情報などを扱っており投資データや特許データなど財務データと非財務データを組み合わせて事業戦略策定のコンサルティング提案などのサービスを行っております。 ■参画先チーム データ収集～データ処理を行っている部署です。 データの翻訳やデータ処理の高速化/自動化などを手掛けておりプログラミング言語はPython、Google Cloud Platform環境での業務で現場は5名のチーム体制です。 ■工程：開発～運用 ■環境 言語：Python インフラ： Google Cloud Platform データベース： PostgreSQL DWH：BigQuery ワークフロー： Google Cloud Composer (Apache Airflow) その他ミドルウェア： Dataflow(Apache Beam), Dataproc(Apach Spark) , Cloud Run その他開発環境： GitLab, Slack, GROWI

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 某企業の各プロダクトのバックエンド開発を行って頂きます。 スクラム開発を採用しており、同じチームに居るプロダクトマネージャ、デザイナー、フロントエンジニア、バックエンドエンジニア、薬剤師などと共に、バックエンドの専門家としてリーダーシップを取って開発を行って頂きます。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 データ加工、バッチ開発、WebAPI開発、新規技術検証分析チームが別でいるので、そのメンバーの分析を基に話し合いながら進めていただきます。 開発工程 要件定義, 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ 【案件概要】 データ分析基盤の開発エンジニアとして、当社が扱うビジネス上のつながりのデータや、ユーザーの行動データを活用するための分析基盤開発を行うことで、事業の成長を担っていただくことがミッションです。 【具体的な業務内容】 ・データのETL処理やETL処理のためのスクリプト・システム開発運用業務 ・データの傾向や内容を知るための集計・分析・可視化 ・AWSを用いた分析基盤構築および運用業務 ・当社で取り扱うデータのセキュリティ対応 ■作業環境＿＿：Windows/Mac選択可 ■開発環境 言語＿＿＿＿：Python,SQL ＤＢ＿＿＿＿：BigQuery 環境・ＯＳ＿：AWS(AmazonWebServices) ■開発工程＿＿：基本設計|詳細設計|実装・構築・単体試験|運用・保守

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・社会人経験必須 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・エンジニア実務経験3年以上必須 ＝＝＝＝＝ テクノロジーセンター_クラウドテクノロジーチーム内にて、システム開発エンジニア枠(ビッグデータ基盤担当)を募集しております。 ＜主な業務内容＞ 主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 AWSを活用したインフラ保守、構築・開発業務【案件例】 ・AWSを活用したテレビ朝日案件などのインフラ保守、構築・開発の大型案件 ・CMSサービスのインフラ保守運用 ・物理サーバー案件（頻度：低） ・インフラ関連業務、及びその他付随業務＊アサイン後はクラウドから物理環境までを扱う業務内容のいづれかをご担当いただきます。アサイン予定のチームは他の複数のチームと関わりながら業務を遂行する横断的な組織になります。 　　　 【参考】 使用サービス例AWS関連: EC2(AmazonLinux), EBS, AutoScalingGroup, ELB各種, ECS, ECR, S3, EFS, DynamoDB, Elasticsearch Service, Aurora, RDS各種, Lambda, Athena, Kinesis, CloudFront, ACM, SNS, SQS, CloudTrail, CodeCommit, CodeBuild, CodeDeploy, Route53, DirectConnect, VPC, CloudWatch, AWS WAF, GuradDutyOSS関連: Apache, Nginx, Redis, MySQL, PostgreSQL, Memcached, Postfix, vsftp, Zabbix, crond, OpenSSL Elasticsearch, Kibana, Fluentd, Docker, Ansible, Hadoop, HBase, Hive, Pig, ZooKeeper, Git,GitHub, Gitlab, Gitlab CI Runner, Circle CI, Redmine, WordPress, Laravel, RubyOnRails, CentOS, Debian, Vernish, Python, Perl, Javascript, PHP※一般のWEBシステムで使うようなサービスを中心に活用しております。その他: Fastly、Twilio、Mackerel、Slack、Backlog

作業内容 ■概要 サービス成長のために必要があればなんでも挑戦したい方、ユーザー視点でサービスの成長を一緒に考えていける方をお待ちしております。 私たちは香水だけでなく、香りを軸にしたECプラットフォームを目指しています。 香りに関するデータを武器に、香り×テクノロジーの領域を一緒に切り拓いていく仲間を募集しております。 「嗅覚」は五感の中でも抽象的であり、表現することが難しい領域です。 だからこそ、私たちが持つ香りに関するデータを元に香り表現を設計することに大きな価値があります。 ■具体的な作業内容 [ 職務内容/本ポジションについて ] ・機械学習エンジニアとしてサービスの改善／開発を行っていただきます。主にデータを活用したアルゴリズムの開発とその基盤開発を担当していただきます。 ・機械学習技術を用いたサービス開発および改善。具体的には推薦システムや診断といったサービスに従事していただきます。 ・機械学習モデルの安定的な運用、基盤整備(ML Pipeline/MLOps) ・香りのデータを活かしたチャレンジングな課題の解決(R&D) ・データ利活用のためのデータ基盤整備(Data Engineering/Data Pipeline)

作業内容 ■概要 大手コミュニケーションツールの金融部門によるデータマネジメント基盤構築案件をお任せいたします。 2019年より、金融データ分析基盤の構築を大手SNS企業にて行っています。 過去は海外サイドで開発と運用が行われてきたが、2021年に内部監査により、オーナーシップを明確に持つべきと指摘された為、オーナーシップを子会社単体で持つように移管し独自Data Management室を設立しました。 2022年度はセキュリティ強化が必要なため、VDI化等を行う予定です。 最近になり、現場上長と本社サイドのエンジニア2名が退職することが重なり、エンジニアの補填が必要になりました。 ■具体的な作業内容 ・現場上長(日本)の最終出社日が8/10のため、それまでに引継ぎ(内容理解)を受けてもらいたいです ・海外サイドのエンジニア(Seniorレベル)が2名抜けるため、補填したいと考えています(プラットフォーム運営) ・下記のシステム運用に関わる業務を海外(韓国)と分担して実施いただきたいが、日本側の室長も離任する為一部の業務もお願いすることも想定されています ・上流のロールだが、プラットフォーム運営の設定やチューニングも実施いただくことも想定されています ■開発環境： ・データベース：Hadoop(Cloudera Data Platform)、一部MySQL ・BIツール：Zeppelin、Tableau ・ETLツール：内製、一部Apache Airflow データ量：約500TB(Diskは1PB) ■ユーザー：80名程度 ■業務： 海外サイド ・プラットフォーム運営　※Seniorレベル ・データ収集(ETL作業) ・KPIレポート作成 ・ユーザー権限管理 ・Zeppelin保守 ■日本サイド： ・ガバナンス系：利用のガイダンス作成および展開、各種契約管理業務 ・システム系：VDI導入、Space Porter導入、韓国サイドの管理業務(通訳あり) ・活用系：データ分析の支援、コンサルティング業務

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 薬局経営を支援する薬局ダッシュボードのデータベース設計、API開発、ETL処理の開発をする責務を担っていただきます。 2020年に正式版をローンチし、利用ユーザーからは一定の高評価やフィードバックをいただいております。 今後は大規模チェーン店舗への導入や単独事業化などによる事業成長を考えており、機能拡充や品質向上のための開発を強化する必要性が高まってきています。 <サプライチェ－ン事業とは？> ・薬局における在庫管理、発注業務や流通といった業務はコンビニなど他業界と比較すると、勘と経験に多くの部分を依存しており、テクノロジーによる最適化の介在余地を多く残しています ・AIを活用した自動発注サービス、その先には薬の二次流通への介入などを通じて、業界の変革を目指します ■具体的な作業内容 ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計、開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・Git-Flowベースの開発進行 ■開発環境： ■作業環境：Windows/Mac選択可 ■プログラミング言語：Python　　　　　　 ■環境・OS：AWS　　　　　 ■ツール：GitHub　Slack　　　　　 ■その他：G Suite　　　　　　 ■作業工程：基本設計|詳細設計|実装、構築、単体試験|結合試験|総合試験|受入試験|運用、保守