llms.txt 到底有用吗:现有证据、适用场景,以及别指望它做什么

· 资讯 · 阅读 2
摘要

结论先说:llms.txt 目前是一个「成本低、上限不确定」的动作。放上去不吃亏,但不能把它当成 GEO 的核心抓手——它更像给爬虫的一张名片,而不是一份保证书。别指望加了这个文件,AI 就开始引用你。 一、它是什么 llms.txt 是放

结论先说:llms.txt 目前是一个「成本低、上限不确定」的动作。放上去不吃亏,但不能把它当成 GEO 的核心抓手——它更像给爬虫的一张名片,而不是一份保证书。别指望加了这个文件,AI 就开始引用你。

一、它是什么

llms.txt 是放在站点根目录的一个纯文本文件,用结构化方式告诉大模型:这个站点是做什么的、主要内容的入口在哪、哪些页面值得优先读、哪些不适合用于训练。格式上接近 Markdown 的标题 + 列表结构。

二、它可能起作用的地方

  • 帮助理解站点结构:当爬虫预算有限时,一份清晰的入口清单有可能影响抓取优先级。
  • 声明使用意愿:可以表达哪些内容允许用于训练或摘要,属于表态层面。
  • 降低误判:站点名与主营在文件里写清楚,对实体识别有轻微正向作用。

三、它明确做不到的事

  • 不能替代内容质量:内容不可引用,写一百行 llms.txt 也没用。
  • 不是强制协议:主流模型是否读取、读多少,均无公开保证。
  • 不会让你进回答:它影响的可能只是「怎么抓」,而不是「会不会被引用」。
  • 不能挡爬虫:要控制抓取,靠的是 robots.txt 和站点侧限制,不是这个文件。

四、该写什么(最小可用版)

区块内容
站点说明一句话:谁、做什么、面向谁
核心栏目3–6 个主要栏目的 URL 与一句话说明
重点内容10–20 篇高价值页面的链接与摘要
使用声明训练与摘要的使用意愿
联系信息主体与联系方式

控制在 100 行以内。清单越长越没用,因为维护跟不上就会失真。

五、优先级判断

如果你现在还没做以下几件事,先做那些,再回来写 llms.txt:

  1. 页面能被正常抓取,没有被误拦
  2. 核心页面有清晰的结构与结论
  3. 实体信息(关于页、联系页)准确统一
  4. 内容有可核对的清单或数据

这四件事每一件的收益都高于 llms.txt。

六、什么时候该认真做

内容量在几百篇以上、站点结构复杂、或者有明显多个内容板块需要指引时,llms.txt 的边际价值上升。站点几十篇内容时,投入产出比并不高。

一句话总结:把它当基础设施,别当增长手段。加进去,然后回去写能被引用的内容。