网站做完三个月,百度一条都没收录,最后查出来是这个
去年十一月,我帮朋友做了个站。上线那天他截了张图发我,说挺好。三个月后他又发我一张图,是百度搜索资源平台的后台,抓取频次那一栏,一条平线贴着底,数字是 0。 他问我,是不是百度还不认新站,要等。我说等等看,又过了一个月,还是 0。这时候我
去年十一月,我帮朋友做了个站。上线那天他截了张图发我,说挺好。
三个月后他又发我一张。百度搜索资源平台的后台,抓取频次那一栏,一条平线贴着底。
数字是 0。
他问我,是不是百度还不认新站,要等。我说等等看。又过一个月,还是 0。
这时候我才坐下来认真查。前后两个晚上。最后发现问题小得让我有点想笑。
先说我排除掉的那些
第一反应是 robots.txt。我去看了一眼,干干净净,就两行,Disallow 都没写。没问题。
第二反应是 sitemap。他确实提交了,后台显示「已提交」,状态正常。
但这里有个细节很多人不知道。
sitemap 提交成功,只代表百度收到了这个文件。不代表它读了。更不代表它认了里面的链接。提交和收录之间,隔着两条街。
第三是主动推送。他做了,每天推,返回码 200,看起来一切正常。可推送成功只是把 URL 递过去。收不收、什么时候收,是另一回事。
这三样查完,我一度怀疑是服务器。用站长工具里的抓取诊断跑了一下,返回 200,页面内容也正常。
那就更奇怪了。
真正的原因
后来我是用最笨的办法查出来的。打开首页,右键查看源代码,Ctrl+F 搜一个词:noindex。
搜到了。
模板的 head 里躺着一行 <meta name="robots" content="noindex">。就在 title 下面第三行。
这行东西是他当初做测试环境时加的,怕测试页被搜到。后来正式上线,忘了删。
就这么一行。三个月,全站所有页面,百度一条都不敢收。
你可能会说这也太蠢了。但我搜了一圈,同类事故真不少。有人是 robots.txt 里写了 Disallow: / 忘了改;有人整站套了 CDN,蜘蛛来的时候被 WAF 当成爬虫拦了,返回 403;还有人是开发时把站设成「维护模式」,上线没关。
共同点在哪?这些设置都不影响你自己打开网站。你看着一切正常。只有蜘蛛被挡在门外。
所以我现在的习惯
新站上线,我一定做一件事。
用无痕窗口打开首页,查看源代码,搜 noindex。再搜 robots。再打开 /robots.txt 直接看。三步,两分钟。
然后去百度搜索资源平台,用「抓取诊断」跑一次首页。这个工具会模拟百度蜘蛛来访问。返回什么状态码、抓到什么内容,一目了然。如果这里返回 403 或者内容不对,那问题在服务器层,跟内容质量一点关系都没有。
这两步做完,才能谈后面的事。内容、更新频率、内链。
前面没通,后面做什么都是白做。
顺便说一句。这个站的 noindex 删掉之后,第五天首页就收了。第十二天收了四十多页。
不是内容变好了。是门终于开了。
如果你现在也卡在「提交了但没收录」,先别急着怀疑内容。去看看那行代码还在不在。