User-agent: *
Allow: /

# ============================================================
# 说明：表单结果页 / 接口页（custom_result、get_cities、city_search、
# ip_search、ip_result、get_zhenshi、各国 *_search）已由控制器输出
# noindex,follow + X-Robots-Tag。
#
# 这里【故意不再 Disallow】它们 —— 原 robots.txt 同时对这些路径写了
# Disallow，与 noindex 直接冲突：爬虫被挡在外面就读不到 noindex 标记，
# 已收录的 URL 反而永远无法从索引中清除。
# 正确做法是放开抓取、让爬虫读到 noindex，等其自然退出索引。
# ============================================================

# 真正无检索价值且不涉及"需要退出索引"的路径
Disallow: /index.php/
Disallow: /index/login/
Disallow: /index/member/
Disallow: /Admin/
Disallow: /admin/

# 会话与跟踪参数（防止同一内容生成无限 URL 变体）
Disallow: /*?utm_
Disallow: /*?from=
Disallow: /*?ref=
Disallow: /*?hash=
Disallow: /*?PHPSESSID=

# 允许抓取 CSS/JS/图片，否则 Google 无法正确渲染页面
Allow: /Public/
Allow: /Uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.webp$
Allow: /*.gif$

# 屏蔽采集类与 AI 训练类爬虫
User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

Sitemap: https://www.ssnzk.com/sitemap.xml