robots.txt 生成器
可视化配置爬虫规则，实时预览输出。注意：robots.txt 只是「请求」遵守，真正阻止收录要用 noindex 或密码保护。
常见坑
robots.txt 与收录的正确关系
很多人以为「Disallow 了就等于删除了」。事实相反：如果页面已被收录，Disallow 只会让爬虫无法读取页面上的 noindex 标签，页面会以「无摘要」的形式长期留在索引里。
正确顺序是：先确认页面是否有价值 → 无价值用 410 彻底删除 → 有价值但版本重复用 canonical → 只想阻止抓取（如后台、购物车）才用 Disallow。
AI 爬虫要不要放行
2024 年后，AI 搜索流量占比持续上升。放行 OAI-SearchBot 与 PerplexityBot 意味着你的内容有机会被引用并获得带链接的引用流量；屏蔽它们则意味着在 AI 答案里彻底缺席。训练型爬虫（GPTBot、CCBot）与检索型爬虫是两件事，建议分开决策。
规则优先级与生效条件
robots.txt 的匹配不是「谁写在前面谁优先」，而是最长路径匹配优先：爬虫会选出所有能匹配该 URL 的规则中最具体的那一条。这点和防火墙规则、nginx location 的逻辑都不一样，是最容易理解错的地方。
三个常见误区
用 robots.txt 隐藏已收录页面
它阻止的是抓取，不是收录。已收录页面要用 noindex 或返回 410。
Disallow 整个站点
上线前忘了删，等于把整站从搜索结果里抹掉。发布流程里必须加一道检查。
Disallow 和 noindex 一起用
Disallow 会让爬虫读不到页面上的 noindex 标签，两个指令互相抵消。
常见问题
robots.txt 能阻止收录吗？
不能。它只阻止抓取。如果页面已经被收录，Disallow 之后它仍会以「无摘要」的形式长期留在索引里。要移除必须用 noindex，或让服务器返回 410。
要不要屏蔽 AI 爬虫？
取决于你是否希望内容进入 AI 摘要与训练。本工具提供 GPTBot、ClaudeBot、PerplexityBot 等常见 AI 爬虫的一键开关，可单独放行或屏蔽。
为什么改了 robots.txt 没立刻生效？
爬虫通常缓存 24 小时左右，且它只在新的一次抓取时才读取。Search Console 的 robots.txt 报告可以看到实际生效的版本。
相关工具
整站 SEO 审计 · SERP 预览 · Meta 优化工作台 · 关键词密度检测 · 同时生成站点地图