【データエンジニア】地域DX推進向け データ統合分析基盤構築支援案件
業務委託(フリーランス)
PythonScalaSnowflake
作業内容 ・地域DX推進向け データ統合・分析基盤構築支援案件に携わっていただきます。
・主に下記作業をご担当いただきます。
- データ利活用を前提とした基盤アーキテクチャ設計
- データ統合基盤(DWH / Lakehouse)の設計・構築
- 各種データソースからのデータ収集、ETL/ELT設計・実装
- データ加工・分析基盤の構築および最適化
- AI/機械学習活用に向けたデータ整備・前処理
- 既存業務システム・基幹システムとの連携設計
- PoCから本番環境構築・展開までの一連の支援
【データ分析系(Python/SQL/R/BI)】大手企業向けデータ分析基盤開発支援
業務委託(フリーランス)
PythonSQLGoScalaSpark
作業内容 【案件概要】
・大手企業向けデータ分析基盤およびETL基盤のシステム開発支援。
・データ活用を目的としたアーキテクチャ検討から設計・実装までを担当。
・ビッグデータ分析・加工のための分散処理基盤を構築。
・Python/SQL/クラウド基盤/BIなどを活用したデータエンジニアリング業務。
【作業内容】
・データ分析基盤/ETL基盤におけるアーキテクチャ検討(要件整理、方式検討、ツール選定)
・データレイク/DWH/マート構成の設計(スキーマ設計、パイプライン構成、データフロー設計)
・Python/SQLを用いたETL処理の実装(データ抽出、加工、統合、ロード処理の自動化)
・分散処理基盤(Spark、Hadoop、クラウドネイティブ基盤等)の構築・パフォーマンス最適化
・各種データパイプラインのジョブ設計・バッチ開発
・データ品質管理(クレンジング、検証ロジック実装、異常検知処理の整備)
・BIツール向けデータマートの整備、レポート用データセット設計
・基盤運用に向けたドキュメント作成(設計書、データフロー図、運用手順書など)
【開発環境】
・OS(インフラ)/クラウド(GCP、IaaS、PaaS、FaaS)、Spark、Kubernetes、Linux
・DB/Cassandra、Redis、Elasticsearch、mySQL、PostgreSQL
・ツール/JIRA、Confluence、GitLab、Slack、GoogleWorkspace
・運用/IaC(Terraform、Ansible、Helm)、CI/CD(GitLabCI、kubectl)
【Databricks/PySpark/Azure】商用車ロジスティクス可視化基盤のデータ処理最適化
業務委託(フリーランス)
ScalaSparkAzure
サーバーエンジニア
作業内容 【作業内容】
・Databricks(PySpark, Scala)環境のパフォーマンス最適化を行います。
・大規模データ処理の実装・改修を担当します。
・Azureデータ基盤のパフォーマンス改善を行います。
・保守・構成管理およびリファクタリングを担当します。
【Java/TypeScript/Python/フルリモ】官公庁向け情報管理システムPoC開発
業務委託(フリーランス)
JavaPythonSparkAzureDockerTypeScript
サーバーサイドエンジニア
作業内容 【作業内容】
来年度の本番開発に向けて、主な機能を構築してPoC実施するプロジェクトの開発部分を担当しています。
DBより情報を抽出して、帳票(Excel)出力する機能の開発を行います。また、既存仕様書をもとに自立的に開発・実装を推進し、コンテナ環境やクラウドサービスを活用したシステム構築を行います。
データ基盤やアプリケーションの品質担保や課題解決も担当していただきます。
開発(コーディング)を中心に進行します。
※仕様書上不明瞭な部分があるため、課題管理表やチャットなどを中心にクライアントの確認程度は発生することがあります。
【求める人物像】
・仕様書を読み解き、主体的にタスクを進められる方
・問題解決力が高い方
・コミュニケーション能力があり、チーム連携を重視できる方
【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件
業務委託(フリーランス)
PythonSQLHadoopSparkApacheGitKafka
サーバーサイドエンジニア
作業内容 【募集背景】
【作業内容】
Databricksによるデータ解析システムの構築支援(設計/実装/テスト)を行います。
【求める人物像】
受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。
チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。
前向きに仕事と向き合える方。
周囲に対して気配りができる方。
【ポジションの魅力】
最新のデータ解析技術に携わり、スキルアップを図ることができます。
【開発環境】
Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI
【Java/JavaScript】《建築会社向け》会計パッケージの開発、保守(リモート)
業務委託(フリーランス)
JavaJavaScriptHTMLDynamoDBCassandraSpringSparkAngularAWSApacheAuroraElasticsearch
バックエンドエンジニア
作業内容 ・基本設計~結合テスト、保守をご担当
・フロント:Javascript、Angular、HTML
・サーバー:Java8、Spring Boot、Elasticsearch、Apache Spark
・DB:AWS Aurora、AWS DynamoDB、Apache Cassandra
・インフラ:AWS EC2、S3、EBS、ElastiCache
【Python】需要予測サービスの導入支援
作業内容 ・小売業向け需要予測サービスの導入支援
・ベンダー側SEとして要件定義から導入までの対応
・お客様からの要望に合わせて下記対応
-モデルに読み込ませるデータの加工、ストレージへの対応
-モデル構築、インターフェースの開発
-システムの移行、データの移行(パフォーマンス検証)
電力データ活用基盤移行に伴うインフラ基盤設計/構築支援【AWS(リモート)】
業務委託(フリーランス)
HadoopSparkAWS
インフラエンジニア
作業内容 ・詳細設計書の執筆
・パラメータシート作成
・検証環境の構築
・基盤の構築作業
・単体/結合試験項目書の作成、テストの実施
・その他障害対応、技術検証、ベンダー問い合わせ対応などをご担当いただきます
【クラウドエンジニア(AWS)】AWSデータ確認を中心としたテスト案件
作業内容 【業務内容】
開発中のAWS環境のシステムにおいて、外部データソースとの疎通確認や前処理・分析処理の結合テストを実施し、安定稼働に向けた検証作業を行います。
【作業内容】
・AWS外部のデータソースとの疎通確認(結合テスト)
・前処理パイプライン(Step Functions、EMR、Spark)の結合テスト、サイクルテスト、シナリオテスト
・Lambdaを用いた前処理・分析処理の検証
【稼働日数】週5日
【リモート日数】週1のMTGで出社有
【データ分析系(Python/SQL/R/BI)】データ蓄積基盤構築プロジェクのデータパイプラインの設計・構築
業務委託(フリーランス)
PythonSQLAWSGlueAthenaLambda
作業内容 Databricks on AWS 環境におけるデータ蓄積基盤構築プロジェクトにて、データパイプラインの設計・構築を担当いただきます。
データエンジニアリングの実務経験を活かし、最適なデータフロー設計と処理基盤の整備を推進できる方を募集しています。
【業務内容】
Databricks on AWS 環境でのデータパイプライン設計・構築
データ蓄積基盤の要件定義・設計支援
各種データソースからのデータ収集・加工・統合処理
性能最適化および運用性向上に向けた改善提案
【稼働日数】週5日
【リモート日数】フルリモート
Saasプロダクトデータ基盤構築【Python(リモート)】
業務委託(フリーランス)
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
【開発環境】
・開発言語:Python、SQL
・DB:Aurora(PostgreSQL互換)、Redshift
・ライブラリフレームワーク:Pandas、Numpy、Dask
・インフラ:AWS
・AWS製品:ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry
【Python、SQL】データ基盤構築/改善(リモート)
業務委託(フリーランス)
PythonSQLHadoopSparkAWSAzureApacheGoogle Cloud PlatformAthena
作業内容 ・データ基盤構築/改善PJ支援
・データエンジニアとして下記支援を実施
-データ基盤構築/改善/課題解決
-データ処理/管理/収集
-Webクローリング/スクレイピング等のデータ活用周りを支援
【Python(Web開発系)】設備事業向け統合データ基盤の構築プロジェクト
作業内容 【案件概要】
既存のTableau環境に対し、Databricksを追加採用し、社内外データを一元的かつ効率的に管理する統合データ基盤を構築するプロジェクトです。
現状はTableauのみが導入されており、分析基盤の拡張およびデータ活用高度化が課題となっています。
Databricksを中核としたデータ基盤を新たに構築し、データレイクとDWH(データウェアハウス)を統合します。
あわせて、周辺のデータ準備処理やワークフローを整備し、持続的に運用可能なBI基盤の実現を目指します。
【作業内容】
・Databricksを活用したデータ基盤環境の設計および構築
・データレイクおよびDWHの統合設計
・Pythonを用いたデータパイプラインの設計および構築
・データ準備処理およびワークフローの整備
・既存Tableau環境と連携したデータ活用基盤の構築
【JavaScript/React】配信入稿管理システム開発案件
業務委託(フリーランス)
JavaScriptReact
フロントエンドエンジニア
作業内容 ・配信入稿管理システムの開発に携わっていただきます。
【Azure】顧客DWH移行支援作業(リモート)
業務委託(フリーランス)
SQLAzure
インフラエンジニア
作業内容 ・DIH(Data Integration Hub)からADF(Azure Data Factory)への移行作業
・ADF移行方針決定、検証、連携テスト
【Python】データマート開発支援(フルリモート)
業務委託(フリーランス)
Python
バックエンドエンジニア
作業内容 既存プロパーが参画中の案件において、データマートの設計、開発を中心に、Pythonを用いたバックエンド開発業務をご担当いただきます。
【サーバー(Windows/系)】インターネット企業向け新規DWH構築プロジェクト
業務委託(フリーランス)
WindowsBigQuery
作業内容 【案件概要】
大手インターネット企業にて、社内に点在する各種データを一元管理するための新規DWH構築プロジェクトです。
データ取り込みから加工・集約までを担う基盤を整備し、全社的なデータ活用を支える役割を担います。
BigQueryおよびApache Airflowを活用し、データパイプラインの設計・開発・運用改善までを一貫して対応します。
Google系およびオープンソース技術を組み合わせながら、拡張性と運用性を意識したデータ基盤構築を進める想定です。
【作業内容】
・新規DWH構築に向けた全体アーキテクチャ設計
・BigQueryを用いたDWH設計およびテーブル設計
・Airflowによるデータ取り込み/加工パイプラインの設計および実装
・各種データソースからのデータ連携、加工、集約処理
・データパイプラインの運用設計および改善対応
・性能や安定性を考慮したチューニングおよび最適化
・関係部署との要件調整および技術的な検討支援
【技術環境】
・DWH/分析基盤:BigQuery
・ストレージ:Google Cloud Storage(GCS)
・データ形式:Parquet
・データ処理:Spark
・実行コンテナ:Google Kubernetes Engine(GKE)
・パイプライン制御:Airflow
・連携(ストリーミング/CDC):Kafka, Debezium
【備考】
・PC貸与:無し(ご自身のPCからVDIで作業。PCのOSやスペック不問)
・本エンドに弊社から10名以上参画中(本PJにも3名参画中)
【Python/フルリモート】薬局向けアプリケーション開発エンジニアの案件・求人
作業内容 薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。
現状の薬局経営は、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。
このダッシュボードは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。
(開発環境)
・React、Next
・TypeScript
・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3)
・Python
・その他(GitHub、Datadog、Google Analytics、GTM、KARTE)
※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。(但し、企業都合退場は対象外)
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
=====
※重要※
▼必ずお読みください▼
【必須要件】
・20~30代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間:随時~
【Node.js/TypeScript】自動車向けデータ分析プラットフォーム開発
業務委託(フリーランス)
Node.jsSparkTypeScriptKafka
バックエンドエンジニア
作業内容 【20代~40代の方向け】
自動車の走行データを解析・提供するプラットフォームのバックエンド開発です。
Node.js(TypeScript)を使用して、データストリームの処理、分析結果のAPI化、レポート作成機能の開発を担当します。
【AWS/フルリモート】ウェルネス・運動施設向けSaaSにおけるデータ基盤エンジニア(テックリード)の案件・求人
業務委託(フリーランス)
JavaPythonSQLSparkAWSGoogle Cloud PlatformSnowflakeCDKTerraformCloudFormation
作業内容 ・新データ基盤の設計・構築(AWS/BigQuery/Snowflake等)
・ETL/ELTパイプラインの改善・最適化
・データモデル設計/マルチテナント対応
・データガバナンス、セキュリティ設計・運用、コンプライアンス対応
・全社業務データ/IoTデータ/行動データの統合管理
・BIツール連携設計
・データ基盤運用・最適化、チーム技術育成・レビュー
(工程)要件定義、設計、構築、運用、最適化、技術リード
(開発環境)
言語:Python/Go/Java
クラウド:AWS/GCP/Snowflake
IaC:Terraform/CloudFormation/CDK
DWH:BigQuery/RDBMS
その他:Kafka/Pub/Sub/Spark/dbt/Trocco
※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。(但し、企業都合退場は対象外)
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
=====
※重要※
▼必ずお読みください▼
【必須要件】
・20~30代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間:随時~
【リモート併用※初日~2週間程度は常駐】大手メーカー向けデータ利活用支援
業務委託(フリーランス)
PythonSQLAWSGlue
データサイエンティスト
作業内容 ・某メーカーのDX案件における、データ利活用・可視化対応作業を行います。
・データ収集・加工プログラム(AWS Glue でのSparkジョブ(python))の開発を行います。
【リモート併用※初日~2週間程度は常駐】大手メーカー向けデータ利活用支援
業務委託(フリーランス)
PythonSQLSparkAWSGlue
データサイエンティスト
作業内容 ・某メーカーのDX案件における、データ利活用・可視化対応作業を行います。
・9月よりデータ整備・データマートの概要設計等を実施し、性能要件がありその点を踏まえた検討も実施します。
・10月以降はデータ収集・加工プログラムの開発やダッシュボード開発を予定しています。
バトル演出デザイナー/Unity・AfterEffects/ゲーム開発
業務委託(フリーランス)
Unity
3Dデザイナーデザイナー
作業内容 爽快マッチパズルゲームを代表作として、本格王道RPGゲームを中心にゲームの企画・開発を行う会社にて、ゲーム開発におけるバトル演出デザイナー業務をお任せします。
■□具体的には…□■
・キャラクター、モンスターの必殺技/魔法演出作成(Unity/Photoshop/AfterEffects/SPARK GEARを使用)
<こんな方におすすめです!>
・スキルアップしたい方
・ゲーム開発に携わりたい方
【Java/リモート併用】広告配信システム・社内向けのWeb管理画面のバックエンド開発の案件・求人
業務委託(フリーランス)
JavaScala
バックエンドエンジニア
作業内容 国内最大級のインターネット広告配信プラットフォームのシステムの設計、開発。
広告配信システム、大規模データ処理、分析、Web開発など多様な領域で開発を行う事ができ、多様なスキルを求められることになります。
・広告配信システムのサーバサイド開発
・広告配信システムや社内向けのWeb管理画面開発
・Hadoopなどの大規模データ向け基盤を活用した開発
【開発環境】
言語:Scala, Kotlin, Python, Java
DB:MySQL
KVS:Redis
データ基盤:Hadoop(Hive, Spark)
その他ミドルウェア:Apache Kafka, Docker
インフラストラクチャ:オンプレミス、GCP、AWS
バージョン管理システム:Git(Github Enterprise)
コラボレーションツール:Slack, Workplace, Confluence, JIRA, Google Workspace
■作業環境__:Windows/Mac選択可
※当案件におきましては、直近参画期間が半年以内の案件が続いている方はお見送りとなります。(但し、企業都合退場は対象外)
※20代〜30代が中心で活気ある雰囲気です。
※成長意欲が高く、スキルを急速に伸ばしたい方に最適
※将来リーダーを目指す方歓迎
=====
※重要※
▼必ずお読みください▼
【必須要件】
・20~30代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
★本案件の最新の状況は、担当者までお問合せ下さい。
★期間:随時~
【Python / リモート案件ご紹介可能】AWSデータ解析基盤開発(大手メーカー内バックオフィス業務)
業務委託(フリーランス)
JavaPythonSQLCSSHTMLSparkAWS
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
大手メーカーのバックオフィス業務を支えるデータ解析基盤の開発を担当します。AWSを活用し、RedshiftやEMR(Spark)、Athenaなどのデータ処理技術を用いたシステムを構築します。Pythonを中心としたデータ処理・分析のスキルが求められます。
■具体的な業務内容
・AWS環境上でのデータ解析基盤の設計・開発
・Pythonを用いたデータ処理スクリプトの作成
・SQLを用いたデータ抽出・集計処理の実装
・AWS Lambda、Step Functionsを活用したワークフロー構築
・Tableauを用いたデータ可視化(可能であれば対応)
【AWS / リモート案件ご紹介可能】大手自動車メーカー向けAWS基盤設計・構築
作業内容 ★エンジニア実務経験2年以上 / ブランクのない方が対象の案件です!!★
■概要
大手自動車会社のIoT基盤を支えるAWS上のサーバ基盤運用における設計・構築業務を担当するプロジェクトです。オンプレミスからクラウドに移行したシステムにおいて、AWSの各種マネージドサービスやHadoopエコシステムを活用し、安定した基盤運用を目指します。長期的な支援が見込まれるため、スキルを深める環境が整っています。
■具体的な業務内容
・AWS環境でのサーバ設計・構築業務
・運用設計の策定および運用支援
・Hadoopエコシステム(Apache Spark、Kafkaなど)を用いたデータ基盤構築
・AWSマネージドサービスの活用および最適化
【Python / リモート案件紹介可能】大規模データ活用基盤改善/データ分析基盤エンジニア
業務委託(フリーランス)
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
大手人材派遣会社における派遣領域のデータ活用基盤を対象とした改善・保守運用を担当します。レコメンドエンジンを提供するデータ基盤や分析環境の改善に加え、クラウドサービスやミドルウェアの新規技術検証、簡易的な機械学習モデルのチューニングなども手掛けます。大規模データ処理やPython、Linux環境での開発経験を活かし、データ基盤の構築に貢献できるポジションです。
■具体的な業務内容
・レコメンドエンジンを提供するデータ基盤・分析環境の改善および保守運用
・クラウドサービスやミドルウェアの新規技術検証
・簡易的な機械学習モデルのチューニングやデータ分析
・大規模データ処理基盤に関する運用業務(Hadoop, Spark, Treasure Data)
・インフラ関連ツール(Docker、CI/CD)の業務運用および保守
【Python / リモート案件紹介可能】大規模データ基盤エンジニア×レコメンドエンジン運用
業務委託(フリーランス)
PythonSQLShellLinuxAWSDockerGitSVNGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
派遣業界向けの大規模データ活用基盤の改善・保守を行うプロジェクトです。レコメンドエンジンの運用や分析環境の改善、クラウド環境の技術検証を通じて、より高度なデータ分析基盤の構築に貢献します。必要に応じて、簡易的な機械学習モデルのチューニングやデータ分析業務も担当します。
■具体的な業務内容
・レコメンドエンジンを提供するデータ基盤の改善および保守運用
・AWSやGCPを活用したクラウド環境での開発および運用業務
・Python、Shell、SQLを用いたデータ処理およびスクリプト作成
・新規クラウドサービスやミドルウェアの技術検証
・簡易的な機械学習モデルのチューニングおよびデータ分析
【Python】ビッグデータ解析 AWSデータ基盤構築・運用
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
大手メーカーのバックオフィス業務において、ビッグデータを活用した解析システムの開発・運用を担当します。AWS上でデータ解析基盤を構築し、データの収集・処理・可視化を行います。PythonやSQLを用いたデータ分析を行いながら、新しい技術の導入にも積極的に関わることができます。
■具体的な業務内容
・AWS上でのデータ解析基盤の構築・運用
・Redshift、EMR(Spark)、Athena、RDSなどのAWSサービスを活用したデータ処理
・PythonおよびSQLを用いたデータ解析・集計・レポート作成
・Tableauを活用したデータの可視化・分析支援
・技術的な課題解決および新技術の検討・導入
【Python(Web開発系)】AWS活用/新規プロダクトのサーバーサイドエンジニア募集
業務委託(フリーランス)
PythonAWS
サーバーサイドエンジニア
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
AWSを活用した新規プロダクトのサーバーサイド開発を担当するプロジェクトです。API GatewayやLambdaを使用したAPI開発、Glue Jobを用いたETL処理の設計・開発を行います。また、データベース設計やAWSリソースの最適利用を進めながら、プロダクトオーナーと協力して仕様策定にも携わります。チームでの開発経験やAWSサービスの運用経験を活かせる案件です。
■具体的な業務内容
・RDBを使用したデータベース設計および開発
・Glue Jobを使用したETL処理の設計・開発
・API Gateway、Lambdaを活用したAPI設計および実装
・AWSリソースを利用したプロダクト開発の推進
・プロダクトオーナーとの仕様策定および要件整理
・git flowをベースとした開発プロセスの進行
【Python / リモート案件紹介可能】レコメンドエンジン|モデル開発・改善プロジェクト
業務委託(フリーランス)
PythonSQLShellLinuxGitSVN
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
大手クライアントの派遣事業におけるレコメンドエンジンの改善および新規開発を担当するプロジェクトです。開発系ではデータ加工やWebAPI開発、分析系では機械学習モデルの構築やチューニングなどを担当いただきます。Python、Shell、SQLを用いた開発または分析経験が求められます。クラウド環境や大規模データ処理に興味がある方も歓迎します。
■具体的な業務内容
開発系:
・データ加工、バッチ開発、WebAPI開発、新規技術の検証
・Linux環境における開発およびドキュメント作成(設計書、テスト仕様書)
分析系:
・基礎分析、機械学習モデル構築、チューニング、レポーティング
・データ加工および検証作業
【Python】ビッグデータ処理分析開発
業務委託(フリーランス)
PythonSpark
データサイエンティスト
作業内容 世界的に普及が進んでいる大規模分散処理フレームワークのApacheSpark/Python/Scala
【Python(Web開発系)】データ基盤開発業務
業務委託(フリーランス)
PythonSQLSpark
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
某企業にて、データドリブンな意思決定をサポートするデータ基盤の設計・開発・運用業務を担当していただきます。データアナリストやマーケティング担当と協力し、データ基盤の整備を行います。
■具体的な業務内容
・データ基盤の設計、開発、運用
・PythonやSparkを用いたアプリケーション開発
・ETLの設計および実装
【Python(Web開発系)】データ基盤開発業務
業務委託(フリーランス)
PythonSQLSpark
作業内容 ★エンジニア実務経験2年以上 / 直近で実務経験のある方が対象の案件です!!★
■概要
某企業のデータドリブンな意思決定を支える基盤の設計・開発・運用を行います。データアナリストやマーケティング担当、アプリケーションエンジニアと協力しながら、データ基盤の整備および改善を推進します。
■具体的な業務内容
・データ基盤の設計、開発、運用
・複数のデータソースを統合するシステムの開発
・ETL開発およびデータウェアハウスの設計、運用
・PythonもしくはSparkを用いたアプリケーション開発
【クラウドエンジニア(AWS)】【業務委託(準委任)】環境設計レビュー・改善・実装・メンテナンス
MySQLDynamoDBSparkAWSApacheRedshiftGlue
作業内容 ■概要
環境設計レビュー・改善・実装・メンテナンスをお任せいたします。
■具体的な作業内容
以下の業務をお願いします。
・既存のAWS ETL環境の調査改善
・メンテ作業の手順化および運用作業(テーブル追加やカラム変更程度)
※対象環境はミッションクリティカルではないデータ処理基盤となります。
【クラウドエンジニア(AWS) / リモート案件紹介可能】AWS・GCPを活用したデータ基盤整備と移行プロジェクト
業務委託(フリーランス)
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
AWSデータレイクからBigQueryへのデータ移行作業や、GCPデータ基盤の整備を行うプロジェクトです。PythonやSparkを活用し、データ基盤の設計・開発を進めるとともに、効率的なデータ処理環境を構築します。TerraformやCI/CDツールを利用した開発プロセスにも携わります。
■具体的な業務内容
・AWSデータレイク(S3 + Glue data catalog)からBigQueryへのデータ移行
・GCPデータ基盤の整備およびワークフローエンジンの導入
・PythonやSparkを使用したアプリケーション開発および保守
・TerraformやCI/CDツールを利用した開発環境の整備
・データ基盤設計および運用改善
【クラウドエンジニア(AWS)】【業務委託(準委任)】クラウドを使用した製品利用ログ分析基盤の開発・運用
作業内容 ■概要
Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発をお任せいたします。
■具体的な作業内容
・AWS EMRを使用したETL、データ前処理(Python、Spark)
【クラウドエンジニア(AWS) / リモート案件紹介可能】AWSおよびGCPを活用したデータ基盤整備プロジェクト
業務委託(フリーランス)
AWSGoogle Cloud Platform
作業内容 ※エンジニアとしての実務経験が2年以上ある方が対象の案件です!!
■概要
AWSおよびGCP環境でのデータ基盤整備プロジェクトです。データレイクからBigQueryへの移行作業や、GCPのデータ基盤整備を担当します。PythonやSparkを活用し、TerraformやCI/CDツールを使用した効率的な基盤開発を進めます。
■具体的な業務内容
・AWSのデータレイク(S3+Glue data catalog)からBigQueryへのデータ移行作業
・GCPデータ基盤の設計および整備(ワークフローエンジン導入など)
・AWS上で動作するアプリケーションの課題発見および解決
・Python、Hive、Sparkを使用したデータ基盤の構築
【Python】ビックデータの基盤構築
業務委託(フリーランス)
PythonSpark
サーバーサイドエンジニア
作業内容 某大手事業会社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、新規機能の開発などがスタートしたため人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。
【PHP】証券取引サービスにおける設計開発(BtoC)
業務委託(フリーランス)
PHPOracleMySQLPostgreSQLApacheNginx
サーバーサイドエンジニア
作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。