Sitemap、内链与抓取预算：AI 爬虫来了会先抓哪一页

爬虫的时间是有限的

不论传统搜索引擎还是 AI 爬虫，单次访问的页面数量都有上限，这个上限就是「抓取预算」。站点越大、结构越乱，预算被浪费得越多，真正重要的页面反而抓不到。

很多站点的状况是：几万条标签页、分页页、参数页占满了抓取配额，而核心的产品页和内容页一周才被访问一次。

Sitemap 的三个基本要求

• 只放要收录的页面。把已下架、重复、无内容的分页塞进 Sitemap，是最常见的自我损耗。
• 带上 lastmod 且真实。每次部署都刷新全站时间戳，等于告诉爬虫「全都变了」，久而久之它就不再相信这个字段。
• 超过 5 万条要拆分，并在 Sitemap 索引里统一声明。

内链决定权重流向

爬虫没有全局视野，它靠链接发现页面。一个只有从首页三层才能点到的页面，被抓取的优先级会明显低于首屏就有链接的页面。

实操上：把最重要的一批页面（核心产品、支柱内容、高转化落地页）放在导航或首页可见位置；在正文里用描述性锚文本互相链接；避免把所有链接都写成「点击这里」「了解更多」。

几个高消耗低回报的页面类型

• 筛选项组合产生的参数页（颜色 + 尺码 + 排序，能生成上万条）
• 无内容的分页（第 2 页之后往往是重复列表）
• 只有标题的标签聚合页
• 测试页、临时活动页、已结束的专题页

这些页面的处理方式：能合并的合并，不能合并的加 noindex，确定无用的直接 410 或 301。

AI 爬虫与传统爬虫的差异

AI 的检索型爬虫通常更「任务导向」：它往往是为了回答某个具体问题而来，抓取路径更依赖搜索结果和链接上下文，而不是从首页开始系统性遍历。这意味着单页的独立可读性比站内层级更重要。

所以除了优化 Sitemap，还要保证每个重要页面即使被单独抓取，也能自洽：标题说清主题，首段给出结论，正文不依赖「如上文所述」这类只有连续阅读才成立的表述。

一个季度该做的三件事

一、清理 Sitemap，只留真实有价值的 URL；二、检查重要页面的点击深度，超过三层的挪上来；三、看服务器日志里的抓取分布，找出被反复抓取的垃圾页并处理掉。