【Python】ビックデータの基盤構築
業務委託(フリーランス)
PythonSpark
サーバーサイドエンジニア
作業内容 某大手事業会社内でのビックデータ案件になります。現在稼働しているHadoop環境の運用、保守に加え、新規機能の開発などがスタートしたため人員の増員を計画しております。データ分析は別チームが存在しますので、あくまで分析を行うための環境構築を行って頂くポジションとなりますが、現場の状況、また適正次第では分析業務にも関わっていただく可能性がございます。
【Python(Web開発系)】データ基盤開発業務(20代〜40代活躍中!・週4日以上稼働可能な方にぴったり!)
業務委託(フリーランス)
PythonSQLSpark
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
某企業にて、データドリブンな意思決定をサポートするデータ基盤の設計・開発・運用業務を担当していただきます。データアナリストやマーケティング担当と協力し、データ基盤の整備を行います。
■具体的な業務内容
・データ基盤の設計、開発、運用
・PythonやSparkを用いたアプリケーション開発
・ETLの設計および実装
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】データ基盤開発業務(20代〜40代活躍中!・週4日以上稼働可能な方にぴったり!)
業務委託(フリーランス)
PythonSQLSpark
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
某企業のデータドリブンな意思決定を支える基盤の設計・開発・運用を行います。データアナリストやマーケティング担当、アプリケーションエンジニアと協力しながら、データ基盤の整備および改善を推進します。
■具体的な業務内容
・データ基盤の設計、開発、運用
・複数のデータソースを統合するシステムの開発
・ETL開発およびデータウェアハウスの設計、運用
・PythonもしくはSparkを用いたアプリケーション開発
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【PHP】証券取引サービスにおける設計開発(BtoC)
業務委託(フリーランス)
PHPOracleMySQLPostgreSQLApacheNginx
サーバーサイドエンジニア
作業内容 証券取引サービスにおけるDB及び検索基盤の設計・開発を行います。PythonをI/Fとして、CassandraとSparkを利用したシステムの開発を行います。工程としては詳細設計〜テストまで一貫して担当頂きますがドキュメントの作成もお願いします。
【AWS】システム開発案件
業務委託(フリーランス)
JavaPythonSQLCSSHTMLWindowsLinuxMySQLDjangoSparkFlaskAWSGitHub
データサイエンティスト
作業内容 開発、運用を繰り返すイメージです。
AWS上でのデータ解析基盤の構築
画面側はPython,html,cssなどを使います。
利用するAWSサービスの候補
- Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction
開発工程
基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト
Python 内製開発(ETLチーム)
PythonMySQLMongoDBSparkAWSJIRARedshiftKafkaLambda
作業内容 ETLチームの一員として、内製開発を行っていただきます。
<業務内容>
・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
<就業時間>
9:00~18:00
プラットフォーム構築メンバー クレジットカード会社の次世代DWH(DMS)開発支援
SASOracleSparkAWSAzureApacheGoogle Cloud PlatformBigQuery
作業内容 大手小売企業においてグループ全体のマーケティング情報を一元的に集約し、
複数社が持つデータを掛け合わせた分析が可能な、データ分析基盤を構築するPJが進行しています。
・業務内容:
上記PJにおける大手小売企業の子会社のクレジットカード会社パートの開発において、
グループ会社各社とBigQuery/Databricks間でデータ連携を行えるようにDWH移行を行う。
・開発環境:AWS/Azure上にDatabricksを構築、GCP上にBigQueryを構築
・実施工程:
FY23でオンプレDWH(Oracle、SAS)の一部をGCP(BigQuery)に移行しており、FY24では完全移行を目指す。
※想定工程:2024年7 月~要件定義開始、2025月5月にリリースを目指す
【その他】予兆監視システム改修
作業内容 プロダクトベースに開発した予兆監視システムの機能拡張・改修プロジェクトの開発
【Java(Spring Boot)】【業務委託(準委任)】道路交通系開発案件【リモートOK】
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
道路交通系開発をお任せいたします。
Hadoop上で動作する道路交通系システムの開発をご担当いただきます。
■作業工程:詳細設計~結合テスト
【クラウドエンジニア(その他クラウド)】【業務委託(準委任)】在庫管理等の分散処理システム構築案件
作業内容 ■概要
在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入を実施。
■具体的な作業内容
・リーダー:1名(Hadoop有識者、テックリード)
・SIer内Hadoopスペシャリストに相談可能。
・オフショアメンバー(中国)側と連携して進める。
【クラウドエンジニア(AWS)】【業務委託(準委任)】バックエンドエンジニア・データエンジニア
業務委託(フリーランス)
PythonWindowsLinuxUnixSparkAWSDockerApacheGoogle Cloud PlatformBigQueryGitlab
バックエンドエンジニア
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
世界最大級の傑出した無形資産データ統合基盤から的確な未来予測や社会課題解決を支援していただきます。
■具体的な作業内容
・世界各国の特許や論文、国家研究予算データなどオープンデータの収集、分析を行うためのデータ基盤、API、バッチシステムの構築、運用
・上記、Google Cloud Platformを用いたETLパイプラインの構築、運用ならびに既存システムのリファクタリング
・データカタログや監査などのデータガバナンスのためのアーキテクチャ選定や構築
【クラウドエンジニア(AWS)】【業務委託(準委任)】自社サービス開発
作業内容 ■概要
テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特にAWS EMRでのSpark、HBase、Hive、Presto、Hudiといった分散DBの知見のある方を募集いたします。
■具体的な作業内容
・データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。
【Python(Web開発系)】【業務委託(準委任)】自社サービスSaaSのバックエンド(データ基盤)
業務委託(フリーランス)
PythonSQLSparkAWS
バックエンドエンジニア
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
Pythonによるデータ基盤構築をお任せします。
■詳細
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaaSの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。
【DBエンジニア(SQL全般)】自社マーケティングオートメーション事業のログ集計
業務委託(フリーランス)
SQLLinuxSparkAWSApacheGit
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
自社マーケティングオートメーション事業において、ログ集計業務を担当していただきます。クリック履歴の集計や名寄せなど、マーケティングデータの効率的な処理と分析を行います。
■具体的な業務内容
・メール内リンクのクリック集計業務
・クリック履歴とWebサイト訪問履歴の名寄せ
・Go, Python3, Scala, Javaを使用した開発
・AWSおよびデータベースの管理
・ログ集計システムの改善および最適化
・RabbitMQやnginxなどのツールを使用したインフラ管理
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Ruby on Rails】飲食店 店舗向けビッグデータ分析システム改修支援
業務委託(フリーランス)
RubySQLLinuxRails
サーバーサイドエンジニア
作業内容 既存サイトにおけるビッグデータ(店舗メニュー情報)分析システムのバッチ処理に関する処理の大幅改修作業
【DBエンジニア(SQL全般)】バックエンドエンジニア(20代〜40代活躍中!・週4日以上稼働可能な方にぴったり!)
業務委託(フリーランス)
JavaJavaScriptSQLScalaPostgreSQLSparkAWSSpringBootGlueAurora
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
SaaSサービスのバックエンドエンジニアとして、各サイトからデータを取得し、レポートを出力するためのデータ収集とマイニングを行います。ETLやAPIの作成、AWS GlueやScalaを使用したデータ処理も担当します。
■具体的な業務内容
・SaaSサービスにおけるデータ収集およびマイニング
・ETLプロセスの設計および実装
・ScalaおよびAWS Glueを使用したデータ処理
・APIの設計および開発
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(機械学習・AI系)】自社サービスSaaSのバックエンド(データ基盤)
業務委託(フリーランス)
PythonSQLSparkAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
自社SaaSのバックエンド開発を担当し、在庫最適化システムを支えるデータ基盤の構築を行います。大量データを扱いながら、SQLやPythonを用いて効率的なデータ処理システムを構築します。スクラムチームでの開発体制です。
■具体的な業務内容
・在庫最適化システムのデータ基盤構築
・SQLやPythonを使用したデータの加工および集計
・スクラムチームでの開発およびスプリント管理
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】某社サービスのバックエンド(データ基盤)
業務委託(フリーランス)
PythonSQLSparkAWS
バックエンドエンジニア
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
Pythonを用いて、某社サービスの在庫最適化システムを支えるデータ基盤の構築を担当します。大量データの集計や加工を行い、データストアへの投入を行います。
■具体的な業務内容
・在庫最適化システムのデータ基盤構築
・数億レコードの大量データの集計および加工
・SQLやPythonを用いたデータ処理およびデータストアへの投入
・スクラムチームでの開発およびスプリントの推進
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】データーレイク開発運用保守
作業内容 ■概要
AWSクラウドベンダー内でデータレイク開発運用保守案件をお任せいたします。
データレイク開発の経験者の方、興味のある方宜しくお願い致します。
■具体的な作業内容
・Python、Node.js、ShellScriptなどによるバッチ処理の作成
・SQLによるデータ抽出
・Docker、Kubernetes、Git、クラウドを活用した業務
・Laravelによる社内向けWebアプリケーションの開発
■開発環境:
・AWS、Lake Formation、Amazon S3、Glue、Amazon QuickSight、EMR for Apache Spark、Redshift、Athena
【Java】製造業・建設業SCMパッケージ開発
業務委託(フリーランス)
JavaLinuxPostgreSQLSpringGitHub
サーバーサイドエンジニア
作業内容 製造業・建設業向け次世代ERPパッケージシステム導入における、SCMパッケージ開発を行っていただきます。
開発工程
基本設計, 詳細設計, 実装, 単体テスト, 結合テスト, システムテスト
【クラウドエンジニア(AWS)】【業務委託(準委任)】データレイクエンジニア
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
AWS上で動作するアプリケーションの開発をお任せいたします。
■具体的な作業内容
1. AWSのデータレイク(S3+Glue Data Catalog)からBigQueryへのデータ移行作業
2. Google Cloud Platformデータ基盤の整備(ワークフローエンジン導入等)
(2については本人の意向、能力等を鑑みて判断とさせてください)
【AWS】某通信業者の新サービスレコメンド部分の開発PM
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
通信業者の新サービスにおけるレコメンド機能の開発プロジェクトにて、プロジェクトマネージャー(PM)として要件定義から開発、運用までを牽引します。AWS上でのSpark on EMR環境を構築し、機械学習モデルを実装しWeb API化を行います。技術的なトレンドに基づいた最適なソリューションを提供します。
■具体的な業務内容
・レコメンド機能の開発に関するPM業務
・要件定義およびシステム全体の進行管理
・AWS上でのSpark環境の構築およびWeb API化
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(データ分析系)】【週4日以上稼働可能な方にぴったり・20代〜40代活躍中!】Pythonによるデータ基盤構築
業務委託(フリーランス)
PythonSQLSparkAWS
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
在庫最適化システムを支えるデータ基盤の構築を担当します。顧客から提供される大規模データを加工し、SQLやPythonを用いてデータストアに投入するための基盤を構築します。スクラムチームの一員として、メンバーと協力しながらスプリントを消化し、システムの機能改善および新機能の追加を行います。
■具体的な業務内容
・PythonおよびSQLを用いたデータ基盤の構築
・大規模データの加工および集計
・データストアへのデータ投入機構の開発
・スクラムイベントへの参加およびスプリントの消化
・AWS環境でのインフラ構築および管理
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Python(Web開発系)】新規プロダクトのサーバーサイドエンジニア
作業内容 ■概要
新規プロダクトのサーバーサイドエンジニアをお任せいたします。
■具体的な作業内容
・RDBのデータベース設計
・GlueジョブでPythonを利用したETL処理の設計・開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナーと協調した仕様策定
・AWS関連リソースのより積極的な活用
・Git flowベースの開発進行
【Java(Spring)】某社のクレジット基幹システム内の売上処理の再構築案件
作業内容 ■概要
某社のクレジット基幹システム内の売上処理の再構築案件をお任せいたします。
■具体的な作業内容
・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている。
・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る。
・また、現状バッチ処理による一括更新だが、Kafkaを導入し、トランザクション処理化を行う。
・他担当の技術的サポート・ソースレビューなどもできる開発者を要望。
・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方。
・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方。
【クラウドエンジニア(AWS)】【業務委託(準委任)】新規プロダクトのサーバーサイドエンジニア
業務委託(フリーランス)
PythonAWS
サーバーサイドエンジニア
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
新規プロダクトのサーバーサイドエンジニアをお任せいたします。
■具体的な作業内容
・RDBのデータベース設計
・Glue JobでPythonを利用したETL処理の設計、開発
・API Gateway、Lambdaを利用したAPI開発
・技術的知見からの、プロダクトオーナと協調した仕様策定
・AWS関連リソースのより積極的な活用
・Gitflow ベースの開発進行
【Python(Web開発系)】小売関連分析システム開発
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
全国展開の小売データを元にした分析システム構築です。PythonやAWS各種サービスを使用した製造からテストまでを担当します。
■具体的な業務内容
・PythonおよびSQLを用いた分析システムの開発
・AWS環境でのシステム設計および実装
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
------------------------------------------------------------------
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
弊社は様々なプロジェクトの提案を強みとしておりますので、お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
【Java(Spring)】【業務委託(準委任)】某社のクレジット基幹システム内の売上処理の再構築案件
業務委託(フリーランス)
JavaOracleSpring
作業内容 【20代~30代のITエンジニアが活躍中!】
■概要
某社のクレジット基幹システム内の売上処理の再構築案件に携わっていただきます。
■募集理由
・Host(COBOL)のシステムをオープン化(Java化)しているが、ストレートコンバージョンによる実施の為、Host特有のロジック等があり非効率なロジックが多く、無駄な処理時間がかかっている
・ロジックを見直しながら、純粋にJavaで一から作り直すことで性能改善を図る
・また、現状バッチ処理による一括更新だが、Apache Kafkaを導入し、トランザクション処理化を行う
■求める方
・他担当の技術的サポート、ソースレビューなどもできる開発者
・フェーズがテストよりになるため、結合テスト/システムテストをひと通り従事したことあり、具体的にどのようなタスクかを理解している方
・在宅勤務下であることから、コミュニケーション能力があり、各種報告等をしっかりできる方
【DBエンジニア(SQL全般)】道路交通系開発案件
作業内容 【20 代から40 代の方が活躍中!】
※週4日〜OK案件です!
※実務経験2年以上ありの方が対象の案件です!
■概要
道路交通系システムの開発を担当していただきます。Hadoop上で動作するシステムの詳細設計からテストまでの工程を行います。
■具体的な業務内容
・Hadoopを使用したシステムの詳細設計
・JavaおよびSQLを使用したシステム開発
・システムの結合テストおよび運用支援
勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら業務を進めて頂く予定です。また、緊急時に出社が必要となる場合がございます。
直近の参画案件の経験とご希望に併せた案件のご紹介をさせて頂きます。
------------------------------------------------------------------
弊社は様々なプロジェクトの提案を強みとしております。お気軽にご相談頂けますと幸いです。
------------------------------------------------------------------
※弊社では、法人、請負いの案件は取り扱っておりません。
データアーキテクト エンタープライズ
JavaPythonSQLScalaHadoopSparkAWSAzureTableau
作業内容 外資コンサル日本法人内でのクラウドチームへご参画いただきます。
※エンジニアではなくコンサル枠となります。
さまざまなサービスと実装パターンを活用して、
安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指します。
具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、
データの取り込み、保存、処理、消費のためのソリューションを設計します。
組織の要件に応じて、アーキテクチャが高可用性、災害復旧、
およびグローバル分散向けに設計されていることが目的です。
<想定される作業>
・データエンジニアと緊密に連携し、
バッチおよびリアルタイムデータ処理用のデータパイプラインの構築と最適化を目指します。
・データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、
高度な分析や機械学習プロジェクトをサポートします。
1.データモデリング
2.データベース管理
3.データ統合
4.データガバナンスとセキュリティ
5.データ分析と視覚化
6.テクノロジーの評価と実装
7.コラボレーションとコミュニケーション
8.戦略計画
※各項目詳細は、面談時にお伝えさせていただきます。