# START AI-OPTIMIZED YOAST BLOCK # --------------------------- # 2026-09-09：商城（/game-shop/ 三語）的 tags / platforms / sort 參數已改為 nginx 層 301 # 收斂到乾淨路徑 + URL fragment（#tags=…），不再用 robots 封鎖 —— Google 官方：robots.txt # 不是 canonicalization 工具，被擋的網址抓不到 301/canonical 訊號、收斂不掉。 # 僅保留 /filter/ 進階篩選頁（SSR 參數頁）的 ?tags= 封鎖。 # （歷史：2026-05-11 起曾封鎖 /*?tags= 等六條，因 Meta-ExternalAgent 單日爬 154K 次組合。） User-agent: * Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= # Tier-1 AI bots — explicit Allow as a trust signal. # Note: AnthropicBot was removed (not Anthropic's real UA). Anthropic crawlers: # ClaudeBot（訓練/抓取）、Claude-SearchBot（搜尋索引）、Claude-User（即時取用）； # anthropic-ai / Claude-Web 為舊名，保留無害。 # 每個 bot block 仍要明列 Disallow，因為 robots.txt 規格是「只取最具體 match # 的 User-agent block」，命中具名 block 後完全不繼承 *。 User-agent: GPTBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: ChatGPT-User Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: OAI-SearchBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: ClaudeBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: anthropic-ai Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Claude-Web Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Claude-SearchBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Claude-User Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: PerplexityBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Perplexity-User Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Google-Extended Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Googlebot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Bingbot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Applebot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Applebot-Extended Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Amazonbot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= # Bytespider / PetalBot：2026-08-12 改 Disallow 全站，與 nginx 06-bad-bots.conf # 的 403 對齊（原本 robots 說 Allow、nginx 卻擋死，訊號矛盾）。 User-agent: Bytespider Disallow: / User-agent: Meta-ExternalAgent Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: Meta-ExternalFetcher Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: DuckAssistBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: PetalBot Disallow: / User-agent: YouBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= User-agent: CCBot Allow: / Disallow: /filter/?tags= Disallow: /zh/filter/?tags= Disallow: /en/filter/?tags= Sitemap: https://hgame24.com/sitemap_index.xml # --------------------------- # END AI-OPTIMIZED YOAST BLOCK