该不该屏蔽 AI 爬虫：内容站面对「被白嫖」的战略取舍

先说结论：对绝大多数中小内容站，屏蔽 AI 爬虫是亏本买卖。你损失的是未来两年的入口曝光，换来的只是「别人不能免费读」的心理安慰——而实际上你的内容早就被搜索引擎缓存、被聚合站转载了。这个决定要看清楚代价再下。

先搞清楚有哪些爬虫、各自干什么

关键区分：「训练抓取」和「检索抓取」是两回事。屏蔽 GPTBot 只是不进训练集，屏蔽 OAI-SearchBot 才会让 ChatGPT 搜索彻底看不到你。很多站一怒之下全挡了，等于把自己的 AI 入口一起关掉。

三种站型，三种答案

1. 靠流量变现的资讯/内容站：不要屏蔽

你的收入来自曝光。AI 搜索是新的曝光渠道，而且竞争还没那么激烈。现在屏蔽，等于把位置让给同行。

至于「被白嫖」——AI 引用通常会带来源链接，这本身是一种品牌曝光。用户看完答案有兴趣的，会点进来。

2. 靠直接销售的产品站/服务商：不要屏蔽

这类站的内容（产品说明、价格、服务范围）是用户决策的依据。用户问 AI「XX 服务大概多少钱」，如果 AI 能引用你的页面，你就在决策链里；如果不能，你就不存在。

3. 付费墙内容、独家数据、研究机构：可以部分屏蔽

如果你的内容本身就是付费商品，屏蔽「训练抓取」是合理的。但建议保留「检索抓取」——让 AI 能看到摘要和标题，用户想看全文再付费。这是「试读」逻辑。

具体做法：

# 屏蔽训练抓取，保留检索抓取
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Allow: /

屏蔽的实际效果可能没你想的好

三个现实：

• UA 可以伪装：robots.txt 靠爬虫自觉遵守。真正想抓你内容做训练的公司，不会因为一行 Disallow 就停手。
• 内容早就被抓过了：如果你的站运营超过两年，主要文章大概率已经进入过某轮训练数据。现在屏蔽只是阻止未来的增量。
• 转载不可避免：公众号、聚合站、各种采集，你的内容早就在别处了。屏蔽 AI 爬虫并不能改变这一点，只会让你失去一个正当的曝光渠道。

如果确实要屏蔽，怎么做损失最小

1. 只挡训练，不挡检索：按上面的配置分开处理。
2. 只挡特定路径：付费内容、会员专区挡住，公开文章放开。
3. 保留 sitemap 声明：让搜索引擎仍能正常抓取。
4. 记录决策时间点：如果三个月后发现流量下滑，能快速定位是不是这个改动导致的。

一个更值得投入的方向

与其纠结要不要屏蔽，不如把精力放在让内容被正确引用上：

• 结构化写清楚（结论前置、数字具体、条件明确）
• 加 Article 结构化数据，明确作者与更新时间
• 文章里放一处品牌名和联系方式，被 AI 抽取时能带上署名
• 定期更新过时内容，AI 更愿意引用新鲜的来源

这些动作的收益，远大于屏蔽爬虫那点安全感。

总结判断标准

问自己一个问题：我的商业模式，靠的是「内容被看到」还是「内容被独占」？

• 靠被看到（流量、品牌、获客）——不要屏蔽。
• 靠被独占（付费订阅、独家数据、会员）——可以挡训练，但保留检索。

绝大多数站属于第一类。