llms.txt 到底要不要做:目前能确认的三个事实

· 资讯 · 阅读 3
摘要

llms.txt 这两年被讲得很多,但真去查证会发现,大部分说法都停留在「据说」层面。这篇只讲能确认的部分。 事实一:它是提案,不是标准 llms.txt 由 Jeremy Howard 在 2024 年提出,格式是一份放在根目录的 Mar

llms.txt 这两年被讲得很多,但真去查证会发现,大部分说法都停留在「据说」层面。这篇只讲能确认的部分。

事实一:它是提案,不是标准

llms.txt 由 Jeremy Howard 在 2024 年提出,格式是一份放在根目录的 Markdown 文件,用来告诉大模型「我这个站有哪些重要内容、分别是什么」。它不属于任何 RFC,没有被 W3C 或搜索引擎联盟采纳,也没有任何一个主流厂商公开承诺会读取它。

这一点很关键。robots.txt 是有共识的协议,爬虫不遵守会被认为是坏的;llms.txt 不是,爬虫不读它完全正常,没有任何后果。

事实二:读取方极少,且不构成抓取依据

目前公开表示过关注 llms.txt 的,主要是少数 AI 搜索创业公司和一些编辑器工具,用途多是「帮助生成摘要」,而不是「决定抓不抓你」。像 GPTBot、ClaudeBot、Google-Extended、Bytespider 这些真正决定你内容能不能进语料库的爬虫,公开文档里都没有把 llms.txt 列为抓取入口。

换句话说:你写了 llms.txt,不等于 AI 就会来读;你不写,也不等于 AI 就不抓你。真正决定抓取的是 robots.txt、站点地图、内链结构和响应速度。

事实三:成本极低,做了不亏,但别排优先级

写一份 llms.txt 大约花 20 分钟,格式简单,不需要插件。所以「不做」也没什么道理,问题只在于排序。

合理的顺序是:

  • 先保证 robots.txt 没把 AI 爬虫挡在外面(这个错的人最多)
  • 再保证站点地图干净、无死链
  • 然后是把文章结构写清楚、关键结论前置
  • 最后才是 llms.txt 这种锦上添花的东西

如果你连 robots.txt 都没检查过,先去做 llms.txt 属于把精力花在了错误的地方。

如果要写,怎么写

放到站点根目录,文件名小写 llms.txt,内容是 Markdown:

# 站点名

> 一句话说明这个站是做什么的。

## 核心内容

- [文章标题](https://example.com/post/1): 一句话说明这一页讲什么
- [文章标题](https://example.com/post/2): 一句话说明这一页讲什么

## 可选

- [关于我们](https://example.com/about)

几个要点:

  • 链接用绝对地址,别用相对路径
  • 每条的描述写「这页解决什么问题」,不要写「这是 XX 栏目」
  • 只列真正重要的 20–50 个页面,不要全站导出,几百条没人看
  • 放在根目录,/llms.txt 能直接访问,状态码 200

结论

llms.txt 是一个「做对了没坏处、做错了没损失、不做也不影响」的东西。它的价值目前更多在于梳理自己的核心页面结构,而不是真的指望 AI 来读。把它当成一次内容盘点,心态就对了;把它当成 GEO 的入场券,那就是花钱买安慰。