Hiveのフリーランス案件・求人一覧

作業内容 案件概要：開発グループ_SQLエンジニア募集 業務内容: CRM施策に関連するデータ加工/抽出/分析を行う業務 メールマガジン、Push通知、広告配信等の配信に必要なセグメント抽出用クエリ作成 L事前データ調査やユーザーリストの作成 事業KPI設計 成果レポート用クエリ作成 BIツール移行対応 施策ヒアリング等の要件定義 開発環境: PC:Mac(JIS/US 選択可) ミドルウェア:MySQL、PostgreSQL 管理ツール:Slack、Jira、Confluence、Git その他:BigQuery、LookerStudio、Redash、Hive 業務環境: テクノロジー部全体:31名 開発グループメンバー:20名 配属先チーム:リーダー1名、メンバー7名 男女比:10:0(部全体では8割男性) 平均年齢:32歳 勤務時間：10:00~19:00 場所：六本木一丁目(基本リモート) ※地方相談可 ※初日はガイダンスの為、出社いただきます 備考: ・アダルトコンテンツ:一部あり ・弊社より20名ほど参画中のエンドクライアントです 外国籍：応相談 ビジネスレベル、日本在住の方のみ

作業内容 ■案　件：【データアナリスト】大手エンタメ事業　サービス内(App/Web)におけるユーザーの活動分析 ■内　容： ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) ※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り) ＜業務詳細＞ ・分析基盤整備 　└ダッシュボードの作成（KPIツリー、目的別ボード） 　└ユーザー行動の可視化（推移、利用特性） 　└分析基盤整備の推進（データ取得の推進、課題点洗い出し） ・分析 　└データを用いた仮説検証（機能、UI改善、施策） 　└ユーザー行動（数値化、可視化、セグメント分類） 　└効果検証（広告、キャンペーン、メールマガジン等） 　└得られたデータを元にしたインサイトの提供

作業内容 ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) ※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り) ＜業務詳細＞ ・分析基盤整備 　└ダッシュボードの作成（KPIツリー、目的別ボード） 　└ユーザー行動の可視化（推移、利用特性） 　└分析基盤整備の推進（データ取得の推進、課題点洗い出し） ・分析 　└データを用いた仮説検証（機能、UI改善、施策） 　└ユーザー行動（数値化、可視化、セグメント分類） 　└効果検証（広告、キャンペーン、メールマガジン等） 　└得られたデータを元にしたインサイトの提供 　　　　 ＜使用ツール＞ ・開発言語：Go ・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery ・ソースコード管理：GitHub ・CI/CD：CircleCI, Cloud Build ・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring ・インシデント管理：PagerDuty ・コミュニケーション：Slack, Google Meet ・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase

作業内容 ■概要 某株式会社にて、Hiveを使用して、社内の大量データに対してデータ取得を行うデータサイエンティストに近い業務となります。 ■具体的な作業内容 ・データ取得ジョブの新規作成、改修(主なツールとしてTalendを使用) ・Hadoop - Teradata間のデータ整備 ・MySQL等のデータベース間とのデータ整備

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 全社横断のデータ分析基盤上でデータエンジニアリングや利用者支援を行う案件で、今年度の実施タスクは下記のとおりでが、作業スコープや仕様の調整から対応頂く想定でおります。 ■具体的な作業内容 ・既存バッチ処理(Hive/Informatica/Databricks)の運用、保守 ・分析用汎用データの新規バッチ処理開発(Databricks) ・Informatica/Hive→DatabricksへのAPマイグレーション ・メタデータ登録、データカタログ製品の比較検討 ・分析者マニュアル作成、バリューエンジニアリング検討、など

作業内容 ■概要 某大手通信事業者／Hadoop環境移行PMO支援をお任せいたします。 ■具体的な作業内容 ・Hadoop環境移行及び現行/新規にて発生する障害に対するPMO支援 ・ユーザー側PMOチームメンバー ・クラスタ運用に伴う課題解決 ・スケジュール、課題の管理、ステークホルダー調整

作業内容

作業内容 現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…) データフロー設計 (Apache NiFi) バッチアプリケーション作成 (Java, Shellスクリプト) インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…) 　　　 環境 オンプレサーバー (現地作業等は無し、リモートから接続) OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…) データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品 (サポートが付くだけのようなイメージ) HPE Ezmeral Runtime (≒ Kubernetes) OpenShift等に⽐べ、より純正Kubernetesに近い 構成 データレイク: HDFS, minio(≒S3), HBase DWH: Hive or Spark ワークフロー: NiFi or Airflow データ加⼯: Hive, Spark (シェルスクリプト/Java or Python) BI: Tableau, Palantir (本募集スコープの作業範囲外) 体制 アジャイル開発 (スクラム) メンバー10名程度 デイリーで午前にスクラムミーティング有り

作業内容 ■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

作業内容 機械学習を用いた予測システムの開発・運用データエンジニア（DWH） エネルギー業界向けに機械学習を用いた予測システムの開発・運用 ・多モデル予測パイプラインの設計 ・監視・通知の仕組みの設計 etc.. ・希望に応じて機械学習モジュールの開発も可能

作業内容 お客様と要件を整理し分析用のデータマートを作成します。データ加工用のSQLを作成したり、データマートの設計が主な業務となります。 使用データベースはGCP/BigQueryを利用 一部のクエリは既存からの移植となり、移植元はHadoop(HIVEで接続)です。

作業内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

作業内容 ・主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築からオーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。

作業内容 ＜業務内容＞ アーキテクトチームにて、開発チームでは解決の難しい、 または機能横断的で影響範囲の広いような、難易度の高い課題解決に従事いただきます。 お願いする事柄は、単なるプログラム修正やインフラ整備だけではなく、技術検証やソリューションの策定など多岐に渡ります。 解決困難な課題に対して、楽しみつつも能動的にアクションを取れる方を求めています。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 リソース逼迫のため、人員増員いたします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■業務環境 メンバー：3名(TL1名、エンジニア2名) ※部全体：50名弱 ■開発環境 ・言語：Python, Hive, Spark ・AWS：EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform：BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 ■概要 テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。 ■具体的な作業内容 ・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データ基盤整備をお任せします。 ■具体的な作業内容 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) ■募集背景：リソース逼迫のため、人員増員 ■業務環境：メンバー：3名(TL1名、エンジニア2名)　※部全体：50名弱 ■開発環境 ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, API Gateway ・Google Cloud Platform BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GitHub Actions, Digdag, Embulk ■担当工数 1.開発/保守改修 2.基盤設計/基本設計/詳細設計/開発

作業内容 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成

作業内容 [ポジション]：分析基盤エンジニア ◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) 　 B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。 [稼働先最寄り]・基本リモート or 現場常駐（出社時は東京都 港区エリア）　※現状、タスクに応じて50/50で対応中 　※ご面談設定の際に、詳細情報を連携させていたます。 [募集人数] ・メンバー枠： 　データ分析エンジニア　　　　： ～1名 　データ分析基盤構築エンジニア： ～最大3名

作業内容 【20代~30代のITエンジニアが活躍中！】 ■概要 データレイクエンジニアをお任せいたします。 ■具体的な作業内容 1.AWSのデータレイク(S3+Glue Data Catalog)からBigQueryへのデータ移行作業 1.Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください)

作業内容 SQLを用いた指標の集計 分析基盤整備、KPI可視化ツールの作成 社内施策及び外部要因の影響の定量分析 プロモーションの投資回収予測及び効果測定

作業内容 ■概要 自社マーケティングプラットフォームシステム開発支援の案件になります。 ■具体的な作業内容 ・アプリケーションの実装方針の検討、概要設計、実装、実装内容のレビュー等を中心に行っていただきます。 ・また、アーキテクチャの見直しやパフォーマンスの改善等、より難易度の高い課題の解決に従事していただきます。 ■開発環境： ■プログラミング言語：Ruby on Rails　等

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ ・Lob分析サービス開発運用 ・TVなどの操作Logをもとにランキングなどを出力するサービス開発 （AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発） 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 【概要】 ・広告配信における傾向の分析及び、異常の検知 ・WEB広告の種別、サイト内での掲載位置、閲覧ユーザーの情報から成果の確認 ・ユーザの行動分析を行い、最も効果が高くなる広告を推測する ・Treasure Data等を経由して連携されるユーザーデータの管理 ・データパイプラインの保守運用 【開発環境】 Python、PyTorch、Hive、PySpark、PostgreSQL、Apache Airflow Google Cloud Dataproc、BigQuery、Cloud Composer GitHub、Slack

作業内容 某大手オークションサイトの開発案件になります。 膨大なデータを抽出するためのETLツールの作成、抽出したデータを基にシステムの構築を行います。 ・Talendで作成された既存ジョブの改修 ・データ整備 ・Javaでのコーディング作業 開発工程 基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト, 運用・保守

作業内容 ビッグデータのインフラチームによるWebアプリの改修を行って頂きます。 大量のデータに対してどのようなアプローチを行えば、 効率よく利用できるかを考えつつ作業をとりおこなう業務となります。 現在導入中のWebアプリがVDI化をすることにより改修が必要となりました。 それに伴いHiveのクエリをブラウザ上から実行するアプリの改修が必要になります。 開発工程 詳細設計, 実装, 単体テスト, 結合テスト

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ テクノロジーセンター_クラウドテクノロジーチーム内にて、システム開発エンジニア枠(ビッグデータ基盤担当)を募集しております。 ＜主な業務内容＞ 主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 AWSを活用したインフラ保守、構築・開発業務【案件例】 ・AWSを活用したテレビ朝日案件などのインフラ保守、構築・開発の大型案件 ・CMSサービスのインフラ保守運用 ・物理サーバー案件（頻度：低） ・インフラ関連業務、及びその他付随業務＊アサイン後はクラウドから物理環境までを扱う業務内容のいづれかをご担当いただきます。アサイン予定のチームは他の複数のチームと関わりながら業務を遂行する横断的な組織になります。 　　　 【参考】 使用サービス例AWS関連: EC2(AmazonLinux), EBS, AutoScalingGroup, ELB各種, ECS, ECR, S3, EFS, DynamoDB, Elasticsearch Service, Aurora, RDS各種, Lambda, Athena, Kinesis, CloudFront, ACM, SNS, SQS, CloudTrail, CodeCommit, CodeBuild, CodeDeploy, Route53, DirectConnect, VPC, CloudWatch, AWS WAF, GuradDutyOSS関連: Apache, Nginx, Redis, MySQL, PostgreSQL, Memcached, Postfix, vsftp, Zabbix, crond, OpenSSL Elasticsearch, Kibana, Fluentd, Docker, Ansible, Hadoop, HBase, Hive, Pig, ZooKeeper, Git,GitHub, Gitlab, Gitlab CI Runner, Circle CI, Redmine, WordPress, Laravel, RubyOnRails, CentOS, Debian, Vernish, Python, Perl, Javascript, PHP※一般のWEBシステムで使うようなサービスを中心に活用しております。その他: Fastly、Twilio、Mackerel、Slack、Backlog

作業内容 ＝＝＝＝＝ ※重要※ ▼必ずお読みください▼ 【必須要件】 ・20～40代までの方、活躍中！ ・経験者採用 ・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須 ・週5日稼働必須 ・実務経験3年以上必須 ＝＝＝＝＝ テクノロジーセンター_クラウドテクノロジーチーム内にて、AWSエンジニアを募集しております。 ＜主な業務内容＞ AWSを活用したインフラ保守、構築・開発業務 ＜案件例＞ ・AWSを活用した某テレビ局社内案件などのインフラ保守、構築・開発の大型案件 ・CMSサービスのインフラ保守運用 ・物理サーバー案件（頻度：低） ・インフラ関連業務、及びその他付随業務 ※アサイン後はクラウドから物理環境までを扱う業務内容のいづれかをご担当いただきます。 アサイン予定のチームは他の複数のチームと関わりながら業務を遂行する横断的な組織になります。 ※【参考】使用サービス例 AWS関連: EC2(AmazonLinux),EBS,AutoScalingGroup,ELB各種,ECS,ECR,S3, EFS,DynamoDB,ElasticsearchService,Aurora,RDS各種, Lambda,Athena,Kinesis,CloudFront,ACM,SNS,SQS, CloudTrail,CodeCommit,CodeBuild,CodeDeploy,Route53, DirectConnect,VPC,CloudWatch,AWSWAF,GuradDuty OSS関連 Apache,Nginx,Redis,MySQL,PostgreSQL,Memcached,Postfix, vsftp,Zabbix,crond,OpenSSL,Elasticsearch,Kibana,Fluentd, Docker,Ansible,Hadoop,HBase,Hive,Pig,ZooKeeper, Git,GitHub,Gitlab,GitlabCIRunner,CircleCI,Redmine, WordPress,Laravel,RubyOnRails,CentOS,Debian,Vernish, Python,Perl,Javascript,PHP ※一般のWEBシステムで使うようなサービスを中心に活用しております。 その他: Fastly、Twilio、Mackerel、Slack、Backlog 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】

作業内容 ・PHPを用いたスマートフォン向け釣りゲームのサーバーサイド開発に携わっていただきます。 ・具体的な作業内容は下記を想定しております。 　-LAMP環境におけるソーシャルゲームの設計と開発及び運用 　-問い合わせについての調査対応 　-各種業務の効率化や自動化のためのツール作成