【Python/SQL】Saasのデータ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制
【工程】
基本設計 詳細設計 開発 単体テスト 結合テスト 総合テスト 運用
【開発環境】
・開発言語: Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン: Amazon Elasticsearch Service
・ライブラリ・フレームワーク:Pandas、Numpy、Dask
・インフラ: Amazon Web Services
・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry
【分析基盤エンジニア】データ利活用を推進するETL/ELT処理開発、DWH構築などのデータ基盤開発支援
業務委託(フリーランス)
AWSAzureGoogle Cloud Platform
サーバーサイドエンジニア
作業内容 エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。 ◆業務内容の詳細◆ Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用 Apache Sparkを利用したETL処理の開発 各サービス開発チームのデータエンジニアリングの支援 ◆今後の進展について◆ 昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。 それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。
【DBエンジニア】PythonでのDBアクセスプログラミング
業務委託(フリーランス)
PythonAWSGoogle Cloud PlatformRedshiftBigQuery
作業内容 大手製造メーカー様案件で、データ解析・データ解析のプログラミング
~DBアクセスプログラミングを担当していただきます。
※参画いただいた後は、相談の上プロジェクトの中でその他の役割も
担って頂く可能性もございます。
【Python(データ分析系)】【業務委託(準委任)】バッチ開発・運用(フルリモート)
業務委託(フリーランス)
PythonGoogle Cloud Platform
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
データエンジニアとして、自社独自のデータ集積のプラットフォームを持つ運営する企業にて主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。
■具体的な作業内容
・Pythonを使ったバッチ開発/改修/運用
・データインサートetc.
■参画先企業について
世界中の特許・論文データや研究費・ベンチャー企業の資金調達情報などを扱っており投資データや特許データなど財務データと非財務データを組み合わせて事業戦略策定のコンサルティング提案などのサービスを行っております。
■参画先チーム
データ収集~データ処理を行っている部署です。
データの翻訳やデータ処理の高速化/自動化などを手掛けておりプログラミング言語はPython、Google Cloud Platform環境での業務で現場は5名のチーム体制です。
■工程:開発~運用
■環境
言語:Python
インフラ: Google Cloud Platform
データベース: PostgreSQL
DWH:BigQuery
ワークフロー: Google Cloud Composer (Apache Airflow)
その他ミドルウェア: Dataflow(Apache Beam), Dataproc(Apach Spark) , Cloud Run
その他開発環境: GitLab, Slack, GROWI
【Python/AIエンジニア】探索型BIツール開発におけるデータサイエンティスト
業務委託(フリーランス)
PythonHadoopSparkTableau
データサイエンティストAIエンジニア機械学習エンジニア
作業内容 [ポジション]:AIエンジニア
自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発
【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件
業務委託(フリーランス)
JavaPythonSQLScalaSparkAWSDockerApacheGitHubSnowflakeKubernetes
作業内容 【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤(ETL処理、DWH、DM)の開発、運用、保守をお願いします。
【ポイント】
データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。
【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。
チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。
Infeed領域の広告運用のためのプロダクトを開発するグループインターネット広告関連データをデータレイクに蓄積するシステムを開発するグループインターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ機械学習を用いたプロダクトを開発するグループ掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ
【技術キーワード】
ApacheSparkAWS GlueSnowflakeデータレイク/データウェアハウス/データマート
【AWS/リモート併用】転職支援サービス開発の案件・求人
業務委託(フリーランス)
PythonNode.jsSparkAWSAzureDockerApacheGoogle Cloud PlatformCDKDevOps
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
・インフラエンジニアとして、インフラの設計・開発・テストから運用・保守まで、全体をエンド・ツー・エンドで担当・リード
・AWSやGCP上でのデータ処理やクエリーワークロードの設計、デプロイ、監視プロセス・ツールの簡素化と強化
・マーケティング・UXデザイン・業務企画・事業開発・カスタマーサービス・営業等と連携し、クロスファンクショナルなチームでの業務推進
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
New【Python/SQL】データ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。【開発環境】・開発言語: Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン: Amazon Elasticsearch Service・ライブラリ・フレームワーク:Pandas、Numpy、Dask・インフラ: Amazon Web Services・AWS製品: ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール: Docker、GitHub、Jira、Slack、CircleCI、Sentry
【Python】データーレイク開発の求人・案件
業務委託(フリーランス)
PythonLinuxAWSDockerGitRedshift
作業内容 概 要:
世界各国で利用されるオンラインサービスにおけるデータ分析基盤の開発運用支援をお願い致します
【Python/リモート併用】AI×SaaSプロダクトのバックエンドの開発の案件・求人
業務委託(フリーランス)
PythonSQLSparkAWSDocker
バックエンドエンジニア
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをリリースし、
エンタープライズとの契約が急激に増えている中で、
多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、
集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、
開発メンバー全員でスプリントを消化していく体制になります。
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Python,SQL/分析基盤エンジニア】法人営業企業系 データ分析及び、システムデータ分析基盤構築支援 (分析エンジニア/分析基盤エンジニア)
業務委託(フリーランス)
PythonSQLUnixSparkAWSDockerApacheHive
作業内容 [ポジション]:分析基盤エンジニア
◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 A: 定型化されたデータ分析の実行(集計/加工/分析/可視化/アドホック対応など) B: 関連するデータ分析基盤システム構築(インフラ,システム開発/仮想化/など) のいずれかをご対応いただく予定です。・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。 [稼働先最寄り]・基本リモート or 現場常駐(出社時は東京都 港区エリア) ※現状、タスクに応じて50/50で対応中 ※ご面談設定の際に、詳細情報を連携させていたます。
[募集人数]
・メンバー枠:
データ分析エンジニア : ~1名
データ分析基盤構築エンジニア: ~最大3名
Scala|経験5年|求人システム開発支援|サーバーサイドエンジニア
業務委託(フリーランス)
PythonScalaMySQLSparkAWSDockerNginxJenkinsJIRAGitHubGoogle Cloud PlatformAnsibleBigQueryTypeScriptVue.jsAthenaFargateDatadogTerraformAuroraCloudFrontfluentdElasticsearchLambda
サーバーサイドエンジニア
作業内容 プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。
また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。
【SQL】アナリティクスエンジニアの求人・案件
業務委託(フリーランス)
SQLApacheGitBacklogJIRAGitHub
作業内容 ・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
【Pythonなど】小売/卸売業向けAI系サービス/データ基盤構築の求人・案件
業務委託(フリーランス)
PythonSQLSparkAWSDocker
作業内容 某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。
業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成(一部)
技術環境
O S :Linux, Windows
言 語 :Python, SQL
D B :Redshift, Aurora(PostgreSQL互換)
Cloud :AWS(ECS, S3, StepFunctions, Lambda, Redshift, Aurora等)
DWH :BigQuery, TreasureData等
機械学習系:Kedro, MLflow
C I :CircleCI
監視系 :Sentry
その他 : GitHub, Slack, CircleCI
【Python/SQL】データ分析基盤開発エンジニアの求人・案件
業務委託(フリーランス)
PythonSQLAWSGitGitHubGoogle Cloud PlatformBigQuery
作業内容 社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主
・データレイクへの取り込み
・中間テーブル生成
■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応
・社内ユーザコミュニケーションや要件定義も含む
・インフラからコードデプロイまでを担当
- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ
【ITコンサル】ITアーキテクトの求人・案件
業務委託(フリーランス)
ITコンサルタントITアーキテクトコンサル
作業内容 データプラットフォームのシステムアーキテクチャの作成やシステム開発を行なう上で必要なOSSを中心とした技術要素の選定をご担当頂きます。
【Python経験/リモート併用】自社サービスSaasのデータ基盤開発の案件・求人
業務委託(フリーランス)
PythonSQLSparkAWS
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
Pythonによるデータ基盤構築
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。
今回の募集は、新バージョンの機能改善やオプション機能の開発が
急務であり、エンジニアリソースが不足しているためとなっております。
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【AWS】IoTデータ分析基盤(レイクハウス)の設計・構築・テストの求人・案件
業務委託(フリーランス)
PythonAWSGitGlue
作業内容 AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。
【品質管理】QAエンジニア|~90万|渋谷/リモート
業務委託(フリーランス)
PythonScalaMySQLSparkAWSDockerNginxJenkinsJIRAGitHubGoogle Cloud PlatformAnsibleBigQueryTypeScriptVue.jsAthenaFargateDatadogTerraformAuroraCloudFrontfluentdElasticsearchLambda
QAエンジニア
作業内容 Webサイト、モバイルアプリに関するQA業務をご担当いただきます。
■業務内容
・探索的テスト、機能テスト、レビュー、不具合分析
・プロセス改善提案
New【Java】大規模データ収集基板構築の求人・案件
業務委託(フリーランス)
JavaHadoopApacheKafkaKubernetes
作業内容 大規模データ収集基板構築(オンプレにて構築)に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。・新環境(分散FS環境)向け機能開発、既存機能の新環境向け修正
・アプリケーションの改修、機能追加
・新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等)、運用機能の開発
開発環境
・Java・Hadoop(Cloudera)・Apache kafka・Apache spark・Kubernetes/OpenShift/vCenter
【DBエンジニア】DX推進におけるDB構築エンジニア
業務委託(フリーランス)
PythonSQLRAzure
作業内容 DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。
既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。)
また、集約したデータをBIツールを活用し、データ可視化も行っています。
(既存ダッシュボードの保守、新規ダッシュボード構築など)
【AWS/Python/リモート併用】インフラ構築の案件・求人
業務委託(フリーランス)
PythonAWSReactAthenaLambda
サーバーサイドエンジニア
作業内容 =====
※重要※
▼必ずお読みください▼
【必須要件】
・20~40代までの方、活躍中!
・社会人経験必須
・外国籍の場合、JLPT(N1)もしくはJPT700点以上のビジネス上級レベル必須
・週5日稼働必須
・エンジニア実務経験3年以上必須
=====
・Lob分析サービス開発運用
・TVなどの操作Logをもとにランキングなどを出力するサービス開発
(AWSインフラ構築または、Pythonを用いたサーバアプリケーション開発)
【日本語ネイティブの方、活躍中!】
【20代・30代・40代、活躍中!】
【出社可能な方、活躍中!】
【Java(Spring)】某社のクレジット基幹システム内の売上処理の再構築案件
作業内容 ■概要
某社のクレジット基幹システム内の売上処理の再構築案件をお任せいたします。
■具体的な作業内容
・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている。
・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る。
・また、現状バッチ処理による一括更新だが、Kafkaを導入し、トランザクション処理化を行う。
・他担当の技術的サポート・ソースレビューなどもできる開発者を要望。
・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方。
・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方。
【Python(データ分析系)】【業務委託(準委任)】データエンジニア(フルリモート・週4日)
業務委託(フリーランス)
PythonLinuxUnix
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
Python/データエンジニアとしてご活躍いただきます。
■具体的な作業内容
自社独自のプラットフォームを持つ企業にて様々な種類のDBに関する業務をお願い致します。
・データベース設計
・Google Cloud Platformを用いたデータパイプラインの開発運用
・各種データソースとデータパイプライン連携のためのツール開発運用
■工程:設計~開発~運用
■環境
・言語:Python
・インフラ: Google Cloud Platform
・データベース: PostgreSQL
・DWH:BigQuery
・ワークフロー: Google Cloud Composer (Apache Airflow)
・その他ミドルウェア: Dataflow(Apache Beam), Dataproc(Apach Spark) , Cloud Run
・その他開発環境: GitLab, Slack, GROWI
【Java/フルリモート】データ分析基盤及びETL基盤・システム開発支援案件
業務委託(フリーランス)
JavaPythonSQLGoC#ScalaLinuxMySQLPostgreSQLRedisCassandraSparkGitJIRA
データサイエンティスト
作業内容 ・データ分析基盤及び、ETL基盤の開発、システム開発に携わっていただきます。
・開発工程をメインで携わっていただきます。
・要件定義~テスト・運用まで一気通貫してご対応頂きます。
【AIエンジニア】小売業様向け 需要予測モデル開発、日商ポテンシャル推論支援
業務委託(フリーランス)
PythonLinuxAWS
AIエンジニア
作業内容 ・小売業の予測モデル構築及び運用支援
【業務詳細】
・小売業における1日の商品の売り上げを予測、発注推奨数を計算する。
・予測モデルはすでに運用中のものがあり、一部のデータサイエンティストによってモデルの精度向上を行っている。
・需要予測モデルでのデータ加工、特徴量生成、売上予測の数字を使った店舗ごとへの発注推奨数計算ロジックの設計を受け取り実装していくのが主な業務。
【分析基盤エンジニア】大手企業のデジタル変革に向けたデータエンジニア
作業内容 大手石油販売会社にてDX推進プロジェクトに参画いただけるメンバーを募集しております!
複数テーマが同時に動いていることもあり、スムーズに進めていくためにも
大手企業のデジタル変革に参画していただけるメンバーを募っております。
具体的には…
●クライアントとMTGをしながら「どういったことができるのか」
「こんな要素があればこんな分析ができる!」といった企画・提案をしながら
実際に分析モデルなどを作っていただきます。
●各事業部で必要とするデータを依頼された場合、データ抽出や分析
●既存のデータパイプラインの保守(Azure)
●新規パイプラインの設計・構築(Sparkを想定)
【Python/SQL】小売業界向けデータ基盤構築エンジニアの求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSGoogle Cloud PlatformBigQuery
作業内容 クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。
技術要素
GoogleCloud
Cloud Composer2(及びAirflow2)
Cloud Dataproc(Apache Spark(scala))
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
Kinesis firehose
SQS / SNS
ECS
Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform
【Python/SQL】小売業界/データエンジニアの求人・案件
業務委託(フリーランス)
PythonSQLWindowsLinuxAWSDockerGoogle Cloud Platform
作業内容 Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用
データ分析システム・サービスの監視設計・運用
日々の運用業務から発生する課題の解決・改善
技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2(及びAirflow2)
★Cloud Dataproc(Apache Spark(scala))
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform
【Python/SQL】小売業界向けデータパイプライン構築の求人・案件
業務委託(フリーランス)
PythonSQLLinuxAWSGoogle Cloud PlatformBigQuery
作業内容 データパイプラインの構築エンジニア
主業務:要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。
技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2(及びAirflow2)
★Cloud Dataproc(Apache Spark(scala))
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform