# See https://www.robotstxt.org/robotstxt.html for documentation
#
# SEO対象URL（クロールを許可する）:
#   - /jobs/agent, /jobs/direct
#   - /jobs/{agent|direct}/{category}/{slug} の静的カテゴリURL（#1998）
#   - 上記のページネーション /jobs/... ?page=N（#1981）
# SEO対象外URL（本ファイルでDisallowする）:
#   - 複合絞り込み・キーワード検索・並び替え・年収等の検索条件付きURL
#   - 静的カテゴリURLへ移行済みの旧カテゴリーパラメータURL
#   - トラッキングパラメータURL
#
# 制約: Disallowの値は必ず `?` または `&` で始まるクエリ指定にする。パスだけのDisallowを
# 追加すると Sitemaps::RobotsTxt の制約検証に違反し、Sitemapの公開が停止する（#1995 Part 4-2）。

# Allow all crawlers
User-agent: *

# 非公開領域（パラメータ付きURLのみ。素の /login /register は発見性のため許可する）
Disallow: /login?*
Disallow: /register?*

# キーワード検索
Disallow: /*?keywords=*
Disallow: /*&keywords=*

# 並び替え
Disallow: /*?sort_by=*
Disallow: /*&sort_by=*
Disallow: /*?sort=*
Disallow: /*&sort=*

# 年収・給与（direct: min/max_annual_income, agent: wage_min/wage_max）
Disallow: /*?min_annual_income=*
Disallow: /*&min_annual_income=*
Disallow: /*?max_annual_income=*
Disallow: /*&max_annual_income=*
Disallow: /*?wage_min=*
Disallow: /*&wage_min=*
Disallow: /*?wage_max=*
Disallow: /*&wage_max=*

# 市区町村・雇用形態
Disallow: /*?city_ids=*
Disallow: /*&city_ids=*
Disallow: /*?employment_types=*
Disallow: /*&employment_types=*

# カテゴリーパラメータ（#1998の静的カテゴリURLへ移行済みの旧形式）。
# 静的URLへの恒久転送は行わずHTTP 200とcanonical集約を維持したうえで、クロールだけを抑える。
# 末尾を `=` で閉じないのは、dropdown-search-condition_controller が
# `?job_types%5B%5D=102` のような配列形式のURLも生成するため（両形式をまとめて対象にする）。
Disallow: /*?job_types*
Disallow: /*&job_types*
Disallow: /*?prefectures*
Disallow: /*&prefectures*
Disallow: /*?industries*
Disallow: /*&industries*
Disallow: /*?skills*
Disallow: /*&skills*
Disallow: /*?job_features*
Disallow: /*&job_features*

# ページネーション（#1981）: 求人一覧の2ページ目以降はページ内の noindex,follow と
# 自己参照canonicalで制御するため、クロール自体は許可する。/jobs 向けのAllowルールは
# 追加しない（最長一致で優先され、同じURLのkeywords・sort等のDisallowを打ち消すため）。
# 非求人の公開ページネーションはパス限定のDisallowで従来どおりブロックする。
Disallow: /stories?*page=*
Disallow: /company/*/stories?*page=*

# トラッキングパラメータ（SeoMeta::JobSearchNormalizer::TRACKING_PARAM_PATTERN と揃える）
Disallow: /*?utm_*
Disallow: /*&utm_*
Disallow: /*?gclid=*
Disallow: /*&gclid=*
Disallow: /*?fbclid=*
Disallow: /*&fbclid=*
Disallow: /*?msclkid=*
Disallow: /*&msclkid=*
Disallow: /*?yclid=*
Disallow: /*&yclid=*

# NOTE: ?agent=true は /company/{id}/info・/stories の旧互換URLで使われるため意図的に許可する

# Sitemaps
# アプリ管理分はsitemap_index.xmlへ集約する（#1979/#1995）。
# media/sitemap_media.xml はWordPress管理で、それ自体がSitemap Indexのためネストせず並列宣言する（#1993）。
Sitemap: https://se-navi.jp/sitemap_index.xml
Sitemap: https://se-navi.jp/media/sitemap_media.xml