简短回答： llms.txt是一个放在一个网站根部的Markdown文件,列出了它最重要的页面供AI系统阅读,它是一个社区建议,而不是标准,并且AI搜索系统实际上读取它的证据接近不存在:一个研究137,210个域发现97%的已发布文件收到零请求. 运输费用低廉,而且有一个真实的、有证据的用途案例——编码代理的开发商文件——但它不是AI的能见度杠杆。
核心要点
llms.txt2024年9月的公约,而不是批准的网络标准, 任何爬行者都有义务阅读它。- 研究 137,210 找到域 97% 出版量
llms.txt文件收到任何机器人提出的零请求。 - 过去一年,收养急剧增加,而实际使用量却接近零——这两个曲线指向相反的方向。
- Google直接声明搜索不使用
llms.txt,并且不需要在 AI-产生了结果。 - 证实的使用情况是开发者文档: AI 编码代理获取
llms.txt文档比其他类型的 AI 检索机器人要多。
何为llms.txt?
Markdown文件在yoursite.com/llms.txt中,将AI系统定位为您的最佳内容,由Jeremy Howard of Answer.AI于2024年9月提出.
想法是直截了当的。网页上充满了导航、脚本和锅炉板,而且一种语言模型在有限的上下文窗口内工作,将所有符号都分析出来。 llms.txt 是一个干净、结构化的网址摘要,与重要的网页链接,在一个格式中,一个模型可以便宜读取——后面的逻辑相同 设计一个网站,让AI引擎可以引用 更广义地说。
有两个事情不是, 两者都被广泛误解:
- 这不是一个阻塞工具。
llms.txt无法限制任何爬行者或阻止任何AI系统读取您的网站。robots.txt是控制爬行者访问的文件两者混淆,使人们相信,在没有控制下进入时,他们可以控制——区别问题要由任何决定者决定。 允许或屏蔽的AI爬行器. - 这不是标准。 没有任何W3C、IETF或任何公认的标准机构的支持,也没有执行机制。 AI提供商完全按照自己的条件采纳或忽略它。
到底有什么读的吗?
过度,不,采用曲线和使用曲线指向相反方向。
| 措施 | 查找 |
|---|---|
| 收养率 | 10.13% 编号~300,000 分析域 |
| 收到请求的文件 | 97%收到零请求 涉及所有领域 137,210 研究域 |
| 这些文件的最大流量源 | SEO 以及技术配置审计工具,检查一个网站是否有一个,而不是 AI 检索 bots |
| 与AI引用频率的关联 | 无统计上重要的关联性 找到的 。 |
2026年5月Ahrefs分析分析中每个域 都接受流量检查 每一个根都活下来 llms.txt,然后测量了这些路径的每个请求。它们的总结很直截了当:AI检索bots几乎不拿这些文件,而AI系统也没有去寻找一个网站还没有公布的。
有两个细节让画面变得陌生 一部分 llms.txt 经济是衡量公约遵守情况的工具,几乎没有人会消费。 500 百万个 AI 机器人事件只发现几百个针对目标的请求 llms.txt 直接, 由主要检索爬行器跳过并取 HTML 取回 HTML 取回—— 提醒 AI搜索引擎如何实际决定该提及或引用什么 仍然主要通过普通的页面内容运行.
为什么人们对此有不同意见?
因为平台发出混合信号,而且因为一个真正的使用案例被概括为关于搜索可见度的主张.
Google一直以来都是最直接的. Gary Illyes在2025年7月表示Google不支持. llms.txt 而并没有计划,约翰·穆勒将其与无名关键词元标记进行比较. Google的AI优化文档,2026年6月15日更新,表示网站不需要新的机器可读文件,AI文本文件,标记或马克下架,以出现在Google Search中,包括其基因能力,因为Search没有使用它们.
Mueller还给出了结构论证,这是反对文件作为排名信号的最有说服力的论证:自报的表单不能区分网站,因为每个网站都会自称是最佳的. 网站写自己写的信号不是一个独立的信号——同样的原因. 结构化数据和实体身份 与外界人士核对时,携带更多的重量。
还没到呢 Google 添加一个 llms.txt 2026年5月对灯塔的审计,在新的代理浏览类别下提交。这一矛盾加剧了许多混乱,它指出文件的实际价值: 代理准备基础设施,指为AI编码代理而不是搜索或答题引擎而建的工具. 包括Frede、Cloudflare和Anthropic在内的公司都发布了一个,它们都具有文件重度。在Ahrefs数据集中,获取的代理商 llms.txt 超过任何 AI 检索机器人是编码代理 符合提案的文献第一起源
所以,你应该 运送一个?
如果一个网站有大量文件,也许不是优先文件,而且从不取代实际引文引用的内容,那么,也许可以。
第一号船如果一个网站公布开发者的文件、API参考文献或AI编码代理商可能参考的大型技术知识库——那里的好处是具体和直接的。 将它优先用于一个营销网站、服务企业或希望更多AI引用的出版商,因为证据不支持这种使用,而且文件很可能不被阅读。
两种失败模式值得避免, 不仅仅是跳过它。 生成每个页面的马克当式副本会生成规模上的重复内容, 从而冲淡了爬行预算, 并可以压制原版的排名。 而一个被扭曲的文件比没有更糟糕, 因为文件会发布一个不再匹配网站的自我描述 。
衡量而不是假设解决任何特定网站的问题:过滤请求访问日志 /llms.txt 被知道,被确认 AI 用户代理,或设置一个独有的 URL 档案里没有其它地方出现, 并观察是否有任何东西跟随它。 几周内就给出了事实答案 。
机会成本是真正的争论。每花一小时擦亮一个文件,机器跳过一个小时,而不是在爬行器配置上。 答案形状的内容结构,原始数据和第三方的证实,所有这些都具有可衡量的效果。 基因引擎优化 作为一种学科:首先进入,然后结构,然后证据, 与新兴的公约,如 llms.txt 被看做是廉价的家务,而不是策略。 Lifewood属于自己的 答覆引擎优化 工作对客户进行加权,以在工程时间中花费时间,遵循相同的顺序。