Hadoopの社内SE 転職・求人【社内SE転職ナビ】

自然言語処理等を目的とした機械学習モデリング、アナリストとしての分析、開発などを担当 業務詳細 LINEヤフーではさまざまな機能をデータによって最適化しています。 このためには高度な機械学習の活用が必要なほか、目的に応じた大規模システムを構築していく必要があります。 本職種では、レコメンデーション、検索、自然言語処理等を目的とした機械学習モデリング、アナリストとしての分析、システム開発、機能開発、MLOpsの業務を担っていただきます。 ミッション・展望 検索クエリ、ユーザー、タイミングなどを考慮し最適なコンテンツを掲出する 機械学習モデルを中心とした、掲出するコンテンツの判定ロジックと独自配信システムの進化 掲出内容を最適化するための、検索・レコメンドロジックと独自配信システムの進化 上記を実現するためのデータ処理基盤の進化、データ処理・分析技術の向上 主な業務内容 下記のいずれかを担当いただきます。 ・ウェブ検索における訪問ユーザーやタイミング、クエリに応じた、最適なコンテンツの掲出/自然言語処理技術の活用・検索サービスへの適用 ・機械学習を用いた、コマース検索における検索ランキングの改善 ・データ利活用推進室における、各種横断データを用いた機械学習モデルの精度向上 ・共通レコメンデーション基盤における機能開発、大規模データを活用できる機械学習基盤の開発 開発環境 ・サーバーサイド：Spring Boot、Java、Python ・データ処理：Hive、Spark、Jupyter Notebook ・データベース：Cassandra ・インフラ：プライベートクラウド ・CI / CD：screwdriver ・管理：Airflow、Argo Workflows、MLflow ・機械学習ライブラリ：TensorFlow、LightGBM、Spark MLlib ・その他：GitHub、Docker、Confluence、JIRA、Slack

下記のいずれかを担当いただきます。 ・検索サービスにかかわるソフトウェア開発 ・データ利活用推進室における、各種横断データを用いた機械学習モデルの精度向上 ・機械学習エンジニアやデータサイエンティストと協働し、機械学習をサービスへ実装 ・機能改善を繰り返し、増加し続けるトラフィックに対応しながら継続的デリバリーを実践 ・機械学習を用いた、コマース検索における検索ランキングの改善 ・共通レコメンデーション基盤における機能開発、大規模データを活用できる機械学習基盤の開発 ・自然言語処理技術の検索サービスへの適用 ・検索クエリログを用いたクエリ処理システムの開発・運用 ・ナレッジベースシステムの開発・運用 ・ウェブ検索における訪問ユーザーやタイミング、クエリに応じた、最適なコンテンツの掲出/自然言語処理技術の活用・検索サービスへの適用

検索データのデータマネジメント推進を担当 業務詳細 データ分析基盤を構築し、データの利活用を促進していただきます。 LINEヤフーではさまざまな事業においてデータの利活用を推進しています。 本職種では、意思決定者や関連部署のユースケースを把握したうえで、データエンジニアと協力しながら安心・安全・便利なデータ分析基盤を構築し、データの利活用の促進を担当いただきます。 また、データマネジメントとして事業部やプロダクト開発組織が日々正しい数値を確認・分析できるBIツールも開発、提供していきます。 安心・安全・便利なデータ分析基盤の実現にあたってはデータガバナンスも日々重要性を増しています。 CDOや法務、政策渉外部門をはじめ、経営層やビジネス部門など幅広いステークホルダーとの折衝・調整を進めながら、データ活用を最大化するためのルールやプロセスを設計し、運用しています。 リスクやコストをコントロールしながら、業界の最前線での経験や専門性を身につけることで事業に貢献できることが本職種の魅力です。 ミッション・展望 ・データ資産を最大限に活用するための、安心・安全・便利なデータ活用基盤の提供 ・事業成長に貢献するため、データ保護の仕組み作りによる適切なデータ管理・利用時の利便性向上の実現 主な業務内容 ・データ利用者の要求整理と要件定義、利用サポート ・各種データのポリシーやルール、セキュリティ、規制などの管理 ・各種サービスのログやマスタをもとにしたテーブル設計、ETL開発とジョブの保守・運用 ・各種データの保守・運用 ・BIツールの開発と保守・運用、利用者サポート 開発環境 ・サーバーサイド：Spring Boot、Java ・フロントエンド：React、JavaScript、TypeScript ・インフラ：プライベートクラウド、Kubernetes ・CI / CD：Screwdriver.cd ・データ処理：SQL、Hive、Trino（Presto） ・その他：GitHub、Confluence、JIRA、Slack

サービス開発におけるデータ分析業務担当 業務詳細 国内最大級のデータ分析を行い、事業のさらなる成長に貢献いただきます。 日本最大級のユーザー数を抱える当社のビッグデータの分析結果をもとに事業、プロダクト改善に貢献できるのは本職種ならではの魅力です。 ETLツールを利用し、Hive、Teradata、などのDBに格納されているデータを用いて、 ニーズに合わせたテーブルの設計やETLジョブの開発、保守・運用作業、利用サポートなどを行います。 各DBの特性と仕様を理解し、大規模なデータ処理を行うスキルを身に付けることで、データエンジニアとして成長することができます。 ＜配属想定部門＞ ・検索グループ ・テクノロジーグループ 主な業務内容 ・データ利用者との要件定義、利用サポート ・大規模データのテーブル設計、ETL開発、ETLジョブの保守・運用 ・トレーニング用データセットの前処理とクリーニング ・データの保守、運用

自然言語処理技術の開発、検索サービスへの適用を担当 業務詳細 検索サービスを提供する開発チームにおいて、ソフトウェアエンジニアとして機械学習や自然言語処理を活用し、課題解決に取り組んでいただきます。 Yahoo!検索には大量のトラフィックがあり、さまざまな検索クエリに対してユーザーが望む検索結果を提供するため、自然言語処理や機械学習の技術が必要不可欠です。 これらの技術を用いて、開発から運用までを一貫して担い、満足度No.1の検索サービス実現に挑戦できる点が本職種の魅力です。 ミッション・展望 ユーザーの検索体験向上のための、検索機能やシステムの開発および改善 主な業務内容 ・大規模トラフィックを処理し、検索結果や検索クエリに応じたコンテンツを配信するためのシステム開発・運用 ・ユーザーの検索意図にマッチしたコンテンツを配信するための、最適化処理の開発・運用 ・コンテンツ配信、大規模開発、サービスを支える独自ツールの開発・運用 開発環境 ・プログラミング言語：Python、Java ・インフラ：プライベートクラウド ・CI / CD：screwdriverなど ・その他：GitHub、Confluence、JIRA、Slackなど

○業務概要 おうちでイオン（イオン ネットスーパー）で使用されているシステムの開発・保守・運用 イオン各店舗で従業員が接客時に使用するシステムの開発・保守・運用 イオン各社の従業員が使うシステム（各種申請システムなど）の開発 ■職務内容 ネットスーパーのようなオンライン（ネット）とオフライン（店舗）の融合を目指したたシステムの開発・保守・運用 店頭での接客時に店舗従業員が使用する商品/サービスを承るためのシステムおよびそのバックエンドシステムの開発・保守・運用 各種申請受付処理などのワークフローが発生するイオングループの従業員が使用するイントラネット上のシステムの開発・保守・運用 ○　詳細 ・プロダクトのマイクロサービスのITインフラを主務とし、本部が担う各プロダクトのAzure上のITインフラのアーキテクチャと設計品質に横断で責任を持つ ○本部概要 オンラインとオフラインを融合した顧客体験を具現化するために必要となるDXソリューションを提供する。 従業員の接客レベル向上、生産性向上、エンゲージメント向上をサポートするためのITソリューションを提供する。

自社アドプラットフォーム（DSP/SSP）の広告効果最適化を目的として、最適な予算配分を算出する理論や広告配信アルゴリズム構築のための設計・企画・推進をお任せします。 具体的には以下業務を、営業・エンジニア・データサイエンティストと連携しながら進めていただきます。 【主な業務内容】 ・統計的手法や機械学習による広告運用方法の改善 ・仮説構築・モデリング ・ABテスト ・広告のクリック率 / コンバージョン率などの推定 ・広告クリエイティブ選択アルゴリズム ・広告配信面の分析・効率的な予算配分 ・オークション理論などを用いた入札戦略 【開発環境】 ・Spark、Hadoop、Hive等が利用できます ・Python、C++ ・GitHub、Apache Airflow ・その他、必要なツールがあれば相談の上導入を検討します

弊社の事業の根幹である、データ分析基盤やETL基盤の構築及び、運用に携わっていただきます。 データサイエンティストやアナリスト、ビジネスサイドのメンバーと協力して、それぞれの基盤の構築、運用、運用改善などを行っていただきます。 【具体的な業務内容】 取引先企業よりデータを預かるSupershipの信頼を高めていくための活動を担い、社内外のデータを利用するシステムにおいて、システムの保守運用やデータ授受に関わる設定が目的や各種要件に合致しているかの評価など、ガバナンスを強化するための業務を担当いただきます。 運用ポリシーやワークフローの作成、実運用などを進めていく中で、直面する問題に対し、ご自身の技術スキルや最適なソリューションを用いて関係者と一緒に課題解決を実施していただきます。 具体的には、 ・クライアントや自社データサイエンティストが利用しやすいデータ基盤の構築 ・データ利用のガバナンス維持など、現行の運用時のFit＆Gap及び、Gapの解決に向けての方法 ・Databricks / Snowflake/ AWSなどの設定、棚卸しなどのシステム管理業務 ・データ利用の要件や条件などを遵守した社内外のシステムとの連携 ・新技術の評価、バージョンUPの検証 ・負荷やコストとパフォーマンスを意識したシステム構築 【プロジェクトで利用している技術スタック】 Infra：AWS（S3, IAM, EC2) 言語：Python, SQL OS：Linux DWH：Databricks, Snowflake, Hive 構成管理ツール：Terraform, Serverless Framework その他：GitHub, CircleCI, Redash, Docker

様々な業種のお客様のデータに関して、お客様が抱える課題ごとに必要な技術を用いて解決まで導く業務となります。 データ利活用の企画、アーキテクチャの設計、ソリューション選定、構築、継続的な改善まで、開発業務全般を推進いただきます。 【業務詳細】 ・AWS Redshift、Google BigQuery、Snowflake等を活用したデータパイプライン、DWHの設計、開発、運用 ・データ利活用のためのETL処理の開発と運用 ・Tableau等BIツールや機械学習を使った分析環境の開発・運用 ・AIシステムの開発・導入、運用 【配属部署】 データソリューション本部 【プロジェクト事例】 ・AI自動発注システム 　https://datumstudio.jp/information/200317_itmedia ・未来型無人化店舗「SECURE AI STORE LAB」開発 　https://datumstudio.jp/information/0624_secure ・プロスポーツ団体向け顧客分析データ基盤構築　 ・製薬メーカー向けDMP構築支援 ・機械学習を用いたオークション落札価格の予測 【参照記事など】 ・当社CTOによるインタビュー記事： 「需要急増「データエンジニア」はなぜアツいの？「縁の下の力持ち」を面白がるデータのスペシャリストたちを直撃」https://levtech.jp/media/article/interview/detail_9/ ・技術解説サイト「Think IT」連載記事： 「これからのDXエンジニアが知っておくべき ビッグデータ分析の基礎知識https://thinkit.co.jp/article/17868 ・当社データサイエンティストによる論文紹介twitter： ML論文調査bot@DATUMSTUDIO https://twitter.com/DATUM_MLbot ・Snowflake社との鼎談記事： 「DATUM STUDIOのAI構築とSnowflakeの技術を活用し、データをビジネスの力に」 https://news.mynavi.jp/kikaku/20210420-1644337/ 【技術環境】 言語：Python、SQL DWH：Snowflake、Redshift、BigQuery データ基盤：Hadoop、Sparkなどの並列分散処理基盤 BIツール：Tableau、Looker、Datoramaなど クラウド：AWS、Azure、GCP ETL/ELTツール: Fivetran, Talend, AWS Glue

■業務概要 薬局経営を支援する薬局ダッシュボード(以下、Musubi Insight)のデータ基盤構築、パフォーマンスチューニング、ETL処理の開発をする責務を担って頂きます。 ＜Musubi Insightとは＞ 現状の薬局経営は他業界に比べ経営者のKKD（勘、経験、度胸）に依存した経営体制が多く、経営者による意思決定の質のばらつき、現場薬剤師に適切な説明責任を果たすことができない、分析にコストがかかるなどの課題が存在しています。 Musubi Insightは、薬局経営のオーナーや現場薬剤師に対して、薬歴業務・収益・患者関係性の項目を可視化することで、薬局経営の日々の業務改善の意思決定をサポートするサービスとなります。 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airflowを利用したデータパイプラインの開発運用 効率的なデータ活用を推進するための中間テーブル設計