【Supership株式会社】データ分析基盤運用エンジニア案件（2024/07/16更新）

弊社の事業の根幹である、データ分析基盤やETL基盤の構築及び、運用に携わっていただきます。 データサイエンティストやアナリスト、ビジネスサイドのメンバーと協力して、それぞれの基盤の構築、運用、運用改善などを行っていただきます。 【具体的な業務内容】 取引先企業よりデータを預かるSupershipの信頼を高めていくための活動を担い、社内外のデータを利用するシステムにおいて、システムの保守運用やデータ授受に関わる設定が目的や各種要件に合致しているかの評価など、ガバナンスを強化するための業務を担当いただきます。 運用ポリシーやワークフローの作成、実運用などを進めていく中で、直面する問題に対し、ご自身の技術スキルや最適なソリューションを用いて関係者と一緒に課題解決を実施していただきます。 具体的には、 ・クライアントや自社データサイエンティストが利用しやすいデータ基盤の構築 ・データ利用のガバナンス維持など、現行の運用時のFit＆Gap及び、Gapの解決に向けての方法 ・Databricks / Snowflake/ AWSなどの設定、棚卸しなどのシステム管理業務 ・データ利用の要件や条件などを遵守した社内外のシステムとの連携 ・新技術の評価、バージョンUPの検証 ・負荷やコストとパフォーマンスを意識したシステム構築 【プロジェクトで利用している技術スタック】 Infra：AWS（S3, IAM, EC2) 言語：Python, SQL OS：Linux DWH：Databricks, Snowflake, Hive 構成管理ツール：Terraform, Serverless Framework その他：GitHub, CircleCI, Redash, Docker