Hadoopの社内SE 転職・求人【社内SE転職ナビ】

弊社の事業の根幹である、データ分析基盤やETL基盤の構築及び、運用に携わっていただきます。 データサイエンティストやアナリスト、ビジネスサイドのメンバーと協力して、それぞれの基盤の構築、運用、運用改善などを行っていただきます。 【具体的な業務内容】 取引先企業よりデータを預かるSupershipの信頼を高めていくための活動を担い、社内外のデータを利用するシステムにおいて、システムの保守運用やデータ授受に関わる設定が目的や各種要件に合致しているかの評価など、ガバナンスを強化するための業務を担当いただきます。 運用ポリシーやワークフローの作成、実運用などを進めていく中で、直面する問題に対し、ご自身の技術スキルや最適なソリューションを用いて関係者と一緒に課題解決を実施していただきます。 具体的には、 ・クライアントや自社データサイエンティストが利用しやすいデータ基盤の構築 ・データ利用のガバナンス維持など、現行の運用時のFit＆Gap及び、Gapの解決に向けての方法 ・Databricks / Snowflake/ AWSなどの設定、棚卸しなどのシステム管理業務 ・データ利用の要件や条件などを遵守した社内外のシステムとの連携 ・新技術の評価、バージョンUPの検証 ・負荷やコストとパフォーマンスを意識したシステム構築 【プロジェクトで利用している技術スタック】 Infra：AWS（S3, IAM, EC2) 言語：Python, SQL OS：Linux DWH：Databricks, Snowflake, Hive 構成管理ツール：Terraform, Serverless Framework その他：GitHub, CircleCI, Redash, Docker

自社アドプラットフォーム（DSP/SSP）の広告効果最適化を目的として、最適な予算配分を算出する理論や広告配信アルゴリズム構築のための設計・企画・推進をお任せします。 具体的には以下業務を、営業・エンジニア・データサイエンティストと連携しながら進めていただきます。 【主な業務内容】 ・統計的手法や機械学習による広告運用方法の改善 ・仮説構築・モデリング ・ABテスト ・広告のクリック率 / コンバージョン率などの推定 ・広告クリエイティブ選択アルゴリズム ・広告配信面の分析・効率的な予算配分 ・オークション理論などを用いた入札戦略 【開発環境】 ・Spark、Hadoop、Hive等が利用できます ・Python、C++ ・GitHub、Apache Airflow ・その他、必要なツールがあれば相談の上導入を検討します

様々な業種のお客様のデータに関して、お客様が抱える課題ごとに必要な技術を用いて解決まで導く業務となります。 データ利活用の企画、アーキテクチャの設計、ソリューション選定、構築、継続的な改善まで、開発業務全般を推進いただきます。 【業務詳細】 ・AWS Redshift、Google BigQuery、Snowflake等を活用したデータパイプライン、DWHの設計、開発、運用 ・データ利活用のためのETL処理の開発と運用 ・Tableau等BIツールや機械学習を使った分析環境の開発・運用 ・AIシステムの開発・導入、運用 【配属部署】 データソリューション本部 【プロジェクト事例】 ・AI自動発注システム 　https://datumstudio.jp/information/200317_itmedia ・未来型無人化店舗「SECURE AI STORE LAB」開発 　https://datumstudio.jp/information/0624_secure ・プロスポーツ団体向け顧客分析データ基盤構築　 ・製薬メーカー向けDMP構築支援 ・機械学習を用いたオークション落札価格の予測 【参照記事など】 ・当社CTOによるインタビュー記事： 「需要急増「データエンジニア」はなぜアツいの？「縁の下の力持ち」を面白がるデータのスペシャリストたちを直撃」https://levtech.jp/media/article/interview/detail_9/ ・技術解説サイト「Think IT」連載記事： 「これからのDXエンジニアが知っておくべき ビッグデータ分析の基礎知識https://thinkit.co.jp/article/17868 ・当社データサイエンティストによる論文紹介twitter： ML論文調査bot@DATUMSTUDIO https://twitter.com/DATUM_MLbot ・Snowflake社との鼎談記事： 「DATUM STUDIOのAI構築とSnowflakeの技術を活用し、データをビジネスの力に」 https://news.mynavi.jp/kikaku/20210420-1644337/ 【技術環境】 言語：Python、SQL DWH：Snowflake、Redshift、BigQuery データ基盤：Hadoop、Sparkなどの並列分散処理基盤 BIツール：Tableau、Looker、Datoramaなど クラウド：AWS、Azure、GCP ETL/ELTツール: Fivetran, Talend, AWS Glue

薬局経営を支援する薬局ダッシュボード(以下、Musubi Insight)のバックエンド・インフラを中心とした開発業務全般を担当して頂き、チームをリードして頂きます。 ＜Musubi Insightとは＞ 現状の薬局経営は他業界に比べ経営者のKKD（勘、経験、度胸）に依存した経営体制が多く、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。 Musubi Insightは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 ■募集背景 2020年にMusubi Insightの正式版をローンチし、利用ユーザーからは一定の高評価やフィードバックをいただいております。 今後は大規模チェーン店舗への導入や単独事業化などによる事業成長を考えており、機能拡充や品質向上のための開発を強化する必要性が高まってきています。 ■具体的な業務 ・スクラムチームでのプロダクト開発 ・Glue JobでPythonを利用したETL処理の設計・開発・運用 ・API Gateway、Lambdaを利用したAPI開発 ・技術選定やアーキテクチャの設計・実装・運用 ・技術的知見からのプロダクトマネージャーと協調した仕様策定 ・開発プロセスの改善と見直し ・開発チームのリードやコードレビューなどを通じた生産性と開発効率の向上 ・技術負債管理・解消、SLO管理・改善 ・チーム間を跨いだ課題の解決 ・テックブログの執筆など企業ブランディングや採用活動

カケハシの各プロダクトのバックエンド開発を行って頂きます。 カケハシではスクラムを採用しており、同じチームに居るプロダクトマネージャ、デザイナー、フロントエンジニア、バックエンドエンジニア、薬剤師などと共に、バックエンドの専門家としてリーダーシップを取って開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 【 具体的な業務 】 ・TypeScript利用した実装もしくはPython利用した実装 ・RDBやNoSQLなどのデータベース設計 ・AWSサーバレスアーキテクチャに基づくインフラ構築 ・AWS CDKやTerraformなどのIaCツールを用いたインフラ構築 ・DatadogやSentryなどを用いたシステム監視基盤構築・運用 ・プロダクトオーナと協調して技術的知見からの仕様策定 ・技術的知見からのフィジビリティスタディ 【 ポジション詳細 】 ・【新規事業】バックエンドエンジニア 　https://herp.careers/v1/kakehashi/ziI8_Xo6Nilu ・【新規事業】バックエンドエンジニア (TypeScript) 　https://herp.careers/v1/kakehashi/pjJQ9wIoVppz ・【Musubi】シニア　バックエンドエンジニア 　https://herp.careers/v1/kakehashi/H1CAcXvUZejq ・【Musubi Insight】バックエンドエンジニア 　https://herp.careers/v1/kakehashi/FxrJ_EX1x1Ka ・【プラットフォーム／共通基盤】バックエンドエンジニア 　https://herp.careers/v1/kakehashi/dLGY5rmqJErF ・【サービスデリバリーチーム】バックエンドエンジニア 　https://herp.careers/v1/kakehashi/hUy3pi9XZXy3 ・【Pocket Musubi】バックエンドエンジニア 　https://herp.careers/v1/kakehashi/AvUVdQIaNd98 【 紹介記事 】 カケハシで働くエンジニア https://blog.kakehashi.life/m/m7f8181d9a76b カケハシ技術ブログ https://kakehashi-dev.hatenablog.com/

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、患者向けの新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集します。 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airflowを利用したデータパイプラインの開発運用 効率的なデータ活用を推進するための中間テーブル設計 Amazon SageMakerを利用したデータ分析 現状のチーム体制 プロダクトオーナー/データエンジニア スクラムマスター

薬局経営を支援する薬局ダッシュボード(以下、Musubi Insight)の画面・機能開発する責務を担って頂きます。 ＜Musubi Insightとは＞ 現状の薬局経営は他業界に比べ経営者のKKD（勘、経験、度胸）に依存した経営体制が多く、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。 Musubi Insightは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 ■募集背景 今夏にMusubi Insightの正式版をローンチし、利用ユーザーからは一定の高評価やフィードバックをいただいております。 今後は大規模チェーン店舗への導入や単独事業化などによる事業成長を考えており、機能拡充や品質向上のための開発を強化する必要性が高まってきています。 ■具体的な業務 ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行 ■チーム構成 PDM PO/薬剤師 PO/デザイナー SM/エンジニア TL/エンジニア フロントエンドエンジニア バックエンドエンジニア フロントエンドエンジニア(募集中) バックエンドエンジニア(募集中) ■利用技術 ・Angular(2〜) ・TypeScript、RxJS、echart、nebular ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python3 ・その他(GitHub、redash、Datadog、Google Analytics、GTM、KARTE)

■業務概要 薬局経営を支援する薬局ダッシュボード(以下、Musubi Insight)のデータ基盤構築、パフォーマンスチューニング、ETL処理の開発をする責務を担って頂きます。 ＜Musubi Insightとは＞ 現状の薬局経営は他業界に比べ経営者のKKD（勘、経験、度胸）に依存した経営体制が多く、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。 Musubi Insightは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airflowを利用したデータパイプラインの開発運用 効率的なデータ活用を推進するための中間テーブル設計

ヤフー全社で利用されているクローラーと情報抽出システムに関連する開発、運用、技術調査タスクに携わっていただきます。 インターネット上に爆発的な規模で存在するウェブページをいかに扱いやすく収集・管理するか、またその大規模なデータからいかにサービス貢献につながるようなデータを見つけ出すかというチャレンジングな取り組みを通じて、エンジニアとして成長できる環境です。 ヤフーは10億を超える規模でクロールデータを保有しており、この規模感のデータを扱えるのは検索サービスをもつ当社ならではの魅力です。 分散処理に関するシステムの開発・運用経験や情報抽出などの自然言語処理分野の開発を通して、自身のスキルを伸ばせる環境です。 ＜主な業務内容＞ ・全社で利用されているクローラープラットフォームの開発、運用 ・クロールデータからサービス改善につながる情報抽出システムの開発、運用 ・社内で保有するナレッジベースに対するエンティティリンキング手法の技術調査、開発 ・クローリング、情報抽出に関する基盤技術の調査、開発 ・Hadoop, HBaseクラスタの構築、運用

【業務内容】 ヤフオク!・PayPayフリマのサービス体験向上のための開発業務を担当していただきます。 企画・デザイナー・エンジニアと協業しながら、プロダクト開発における設計からリリース、リリース後の数値分析からの改善を含めた運用まで行います。 多くのユーザーに利用いただくECプラットフォームの開発に携わることができます。 ＜主な業務内容＞ ・Webアプリケーションの開発 ・デザイナーや企画担当との連携 ・サービスの設計からリリース、運用 ・リリース後の数字分析、改善提案 ＜関わるサービス＞ ・ヤフオク！ https://auctions.yahoo.co.jp/topic/mobile/app/promo/ ・PayPayフリマ https://about.yahoo.co.jp/service/paypayfleamarket/