要不要放行 GPTBot、ClaudeBot：robots 策略的取舍与分层写法
「我们该不该屏蔽 AI 爬虫」这个问题，从 2023 年问到现在，答案正在从「一律屏蔽」转向「分层放行」。原因很实际：屏蔽之后，你的品牌就从这些模型的语料里消失了，而用户仍然在问这些模型。 一、先厘清两类爬虫 很多人把「AI 爬虫」当成一个
「我们该不该屏蔽 AI 爬虫」这个问题，从 2023 年问到现在，答案正在从「一律屏蔽」转向「分层放行」。原因很实际：屏蔽之后，你的品牌就从这些模型的语料里消失了，而用户仍然在问这些模型。
一、先厘清两类爬虫
很多人把「AI 爬虫」当成一个东西，其实至少分两类，行为完全不同：
| 类型 | 代表 UA | 用途 |
|---|---|---|
| 训练抓取 | GPTBot、ClaudeBot、Google-Extended、CCBot | 把内容纳入模型训练语料 |
| 实时检索 | OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-User | 回答当下问题时抓取页面作依据 |
关键区别：训练抓取影响的是未来，实时检索影响的是现在。屏蔽训练抓取，短期看不出变化；屏蔽实时检索，几乎立刻就会发现「AI 回答里再也搜不到我们的页面」。
对大多数内容型网站来说，实时检索爬虫应该放行——那本质上是带着新名字的搜索引擎。真正需要斟酌的是训练爬取。
二、内容分层：不是全放也不是全禁
一刀切是最差的选择。合理做法是按内容类型分层：
- 放行：博客、帮助文档、产品说明、公开数据报告——这些内容本来就希望被更多人看到
- 观察：付费内容的前几段、会员专属的摘要页
- 禁止：登录后才能访问的后台、客户数据页、内部知识库、未公开的草稿
robots.txt 只能做路径级控制，做不了精细权限。凡是需要登录的内容，靠 robots 保护本来就不够——那该用鉴权，而不是指望爬虫守规矩。
三、一个务实的 robots 片段
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /account/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
User-agent: CCBot
Disallow: /
CCBot 是 Common Crawl 的爬虫，它的数据会被大量下游模型复用，且不带来任何回访流量。对多数站点来说，屏蔽它的成本最低、争议最小。
四、屏蔽的隐性代价
需要意识到一件事：你屏蔽了抓取，不等于内容消失了。竞品评测、媒体报道、用户论坛帖仍然会描述你。结果是，AI 提到你时只能依赖第三方转述——而转述往往是过时的、片面的，甚至是错的。
这就是「控制权 vs 曝光量」的经典权衡。选择屏蔽，你要接受一个结果：关于你的叙述，由别人来写。
五、验证方式
改完 robots 后，做三件事：
- 用各家官方工具或日志确认爬虫确实按预期访问或停止访问
- 两周后查一次「站点名」相关提问，看 AI 回答里是否还能找到你
- 观察日志里 AI 爬虫的访问频次变化——如果放行后零访问，说明还有别的地方挡住了（CDN、防火墙、WAF 规则）
第 3 点很常见。很多站点改了 robots 却没效果，最后发现是 CDN 的 Bot 防护把 UA 拦掉了。
六、一句话建议
公开内容放行实时检索爬虫，训练爬取按商业策略决定，需要鉴权的内容靠权限而非 robots。别用「全部屏蔽」来解决一个本该分层处理的问题。