Data Engineer - Dispatch

求人詳細

【Department Overview/ 部署概要】

ビジネスサポート開発部で店舗様に提供している（ASPサービス）の一部を担当しています。さらに、プラットフォームを運営するためのビジネススタッフを支える様々なアプリケーションの開発と運用も行っています。私たちのミッションは、店舗様が効率的にビジネスを展開できるよう、最先端の技術を駆使して高品質なサービスを提供することです。

ECビジネスデータアナリティクス&プラットフォーム課では、プラットフォームの巨大なトランザクションデータを支えるデータ基盤を構築しています。出店ショップ数5万、商品数3億、年間流通額3兆円超という膨大なデータを扱い、データのハブとしてビジネスの意思決定やデータ活用をサポートしています。また、大型イベントにおける日本最大級のトラフィックデータを処理し、安定的なシステム提供とサービス品質の継続的な向上に努めています。

【Position Outline/ 依頼概要】
プラットフォームは、出店している店舗様向け（B2B）およびコンシューマ向け（B2C）サービスの拡充を目指し、新たなメンバーを募集しています。Google Cloud Platformをデータ・ストレージとして活用し、Python、Spark、Kafkaを駆使してデータを効率的に格納・処理しています。

今回の募集は、巨大なプラットフォームのトランザクションデータを扱うデータパイプラインの拡張と最適化を担うデータエンジニアを対象としています。このポジションは、楽天市場における重要な意思決定を支えるデータを提供し、ビジネスの成長とサービスの向上に直結する非常に重要な役割を果たします。

経験豊富なリードソフトウェアエンジニアを求めています。理想的な候補者は、ビッグデータ技術、クラウドプラットフォーム、データ移行に強いバックグラウンドを持ち、チームをリードし、プロジェクトを管理し、運用効率とコスト削減を推進する高品質なソリューションを提供する能力を持つ方です。

【Responsibilities/ 担当業務】
・Spark、Kafka、Spark-Streaming、Google Cloud Platformなどのデータ処理フレームワークやテクノロジーを用いて、大規模なバッチデータパイプラインを構築を行い、データパイプラインを活用して、プラットフォームのガイドラインに沿ったデータチェック、顧客獲得、その他の主要なビジネスパフォーマンス指標についての重要な意思決定データの提供を行います

・データパイプライン管理：大規模なeコマースプラットフォームのデータパイプラインを構築・維持

・自動化：データ取り込みプロセスを自動化し、手動データ処理を削減

・クラウド移行：オンプレミスのデータインフラをGoogle Cloud Platformに移行

・アプリケーション管理：大量のデータを取り込み・処理するプラットフォーム上のアプリケーションを管理

・複雑なデータストレージおよび取得問題の解決：ビッグデータパイプラインにおける複雑なデータストレージおよび取得問題を解決し、明確に説明します

・本番環境でのアプリケーションのデバッグと保守：ロギング、アラート、モニタリングツールを使用して本番環境でのアプリケーションをデバッグおよび保守します

・チームおよびクロスチームメンバーとの効果的なコラボレーション：他のチームおよびクロスチームメンバーと効果的に協力します

・チームリーダーシップ：ソフトウェアエンジニアのチームをリードし、プロジェクト目標を達成

希望スキル:
・ビッグデータを活用した開発経験

・データベースの運用経験、最適なパフォーマンスチューニングの経験

・Docker、Kubernetesなどのインフラマネージメントの経験​

・DevOps／Micro service アーキテクチャに対する深い理解と経験​

・Jenkinsもしくはその他のCI技術を使った運用経験 ​

・Scrum／Agile開発経験​

・Looker セマンティックレイヤーの開発経験

・チームリーダーシップ: ソフトウェアエンジニアリングチームをリードし、指導した経験

こんな方を求めています

経験・スキル

必須スキル：
・Spark、Kafkaアプリケーション開発、運用経験

・PythonまたはJava／Scalaでの開発経験

・5年以上のデータエンジニア経験

・Google Cloud PlatformやBigQueryの開発、運用経験

・SQLに関する高度な知識とリレーショナル データベースの経験

・データパイプライン、データセットの構築とパフォーマンス最適化の経験

・Docker、Kubernetesなどのインフラマネージメントの経験​

・データモデリングの経験

・Linuxでの開発経験

・データ分析：データ処理と変換のための強力な分析スキル

・プロジェクト管理：プロジェクトを管理し、高品質なソリューションを提供する能力

・日本語の読み書き、会話（ビジネスレベル）が出来ること

学歴

大学卒業以上

募集要項

職種

データサイエンティスト

給与

年収 600 〜 800万円

賞与

0

雇用形態

契約社員

雇用期間

期間の定めなし

試用期間

無し

就業時間

09:00～17:30

休日休暇

祝日

保険

健康保険　厚生年金保険　雇用保険

受動喫煙防止措置

敷地内禁煙

業種

ソフトウェア・情報処理

※詳細はお仕事のご紹介時にお伝えします