百度抓取频次一直上不去：我从日志里看出的四个信号

抓取频次上不去，是 Z-Blog 站长最容易焦虑的指标之一。它确实能反映一些问题，但不是所有「上不去」都需要处理。我这半年翻了几个站的服务器日志，看出四类信号，按重要程度排。

先看日志，别看后台数字

百度搜索资源平台显示的抓取频次是延迟数据，通常滞后两三天。真正实时的是服务器访问日志。用 grep 过滤一下就能看清蜘蛛什么时候来、来了几次、抓了什么、拿到的是 200 还是 404。

grep -i "baiduspider" /var/log/nginx/access.log | tail -200

谷歌对应的是 googlebot。这两条命令能给的信息量，比后台那个曲线有用得多。

信号一：大量 404 和 301

日志里如果看到蜘蛛频繁抓取已经不存在的地址，说明你的站有死链没清理。来源可能是改过 URL 结构、删过文章、换过主题。

百度的处理方式是降低抓取优先级，因为它觉得「这个站一半的地址是坏的，不值得多花预算」。清理办法：把日志里的 404 地址统计出来，能恢复的恢复，确实删掉的，用 301 跳到相近页面，剩下的在 sitemap 里也别列了。

信号二：响应时间超过两秒

日志里记录的是耗时。如果蜘蛛请求经常在两秒以上，或者偶发 502、504，抓取频次会明显下滑。这类问题本地测速往往看不出来，因为你在国内测，蜘蛛也从国内来，但如果服务器带宽小、同一时间有别的爬虫在扫，就会互相抢资源。

解决方向：查服务器负载、给静态资源加缓存、必要时给蜘蛛单独限流。别一上来就换服务器，多数情况是资源没优化，不是机器不够。

信号三：总是只抓首页

如果日志里蜘蛛来得挺勤，但每次都只抓首页，说明内页的入口不够。Z-Blog 常见的成因是首页只显示十几篇、分页又没做、归档页被 noindex 了，导致蜘蛛「进不去」。

这种情况抓取频次看起来不低，但索引量一直不涨，很多人误以为是内容问题。其实只要把内页入口补齐，情况就会改善。

信号四：抓取时段极端集中

正常站点蜘蛛是分散来的。如果日志显示每天只在凌晨某一小时集中抓几百次，然后其他时间一次不来，通常是站点被判定为「更新不规律」的信号。这种情况单纯靠加更新频率无法改善，要先把更新节奏稳定下来，两周左右会正常。

不建议做的两件事

一是频繁用 API 推送，尤其是推送失败了还一直重试；二是短时间内大量生成内容，比如一次导入几百篇。这两件事都会让引擎判断站点异常，反而降配额。

说到底，抓取频次是「结果」，不是「原因」。它反映的是站点整体健康度，而不是某一个可以调优的参数。把可访问性、结构、更新节奏做稳，频次自己会上去。