【合同会社DMM.com】データエンジニア/データ基盤開発部_データアーキテクトチーム案件｜Python 東京都 年収 ～ 800万円（2024/04/24更新）

GCPを中心としたデータ基盤の構築 * データフロー（ETL,ワークフロー,データバリデーション,データクオリティチェック） * データガバナンス（メタデータ管理,データセキュリティ管理） 業務イメージの一貫として以下もご参照ください。 https://speakerdeck.com/yuki_saito/aws-detareikushi-li-ji-ri-deng-tan-zi-liao 「ポジションの魅力」 ■ミッション DWH基盤の提供を通してDMMグループのデータ戦略を支える * 各事業のデータの取り込みを省力化し、分析基盤をリードタイムなく使えるようにする * DWHのテクニカルメタデータを収集, 解析し、データ異常を検知、予防する * DWHのビジネスメタデータを収集, 提供し、分析者の生産性を向上する * DWH利用者のDXを損なわない形で、コストの最適化を図る ■ポジションの魅力 * 多くの事業からなる大規模なDWH基盤特有の課題に向き合う事ができます * PJ立ち上げ、リリースに一貫して携わるなど裁量に制限はありません * データ基盤運用は多くのステークホルダーとの調整に追われ開発に専念できない事がありますが、窓口を別に設けているため、開発に専念できる体制としています （窓口のチームも同じ組織内なので、ユーザーのニーズを拾えないといった状況ではありません） 開発環境/チーム体制 【チーム体制】 TL1名、エンジニア2名 ※ チームの立ち上げ直後に伴い、少人数となっています。中途採用以外に新卒メンバーも配属予定です。 【開発環境/ツール】 * Mac(JIS配列 or US配列) 、Windows お好きなマシンを選択可能 * デュアルディスプレイ支給 * マシンスペックはCPU（Core i5）,メモリ（16GB）を標準とするが、必要な開発環境に応じて上位スペックを選択可能 【主要技術一例】 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActions, digdag, embulk