簡短回答： llms.txt是一個放在一個網站根部的Markdown文件,列出了它最重要的頁面供AI系統閱讀,它是一個社區建議,而不是標準,並且AI搜索系統實際上讀取它的證據接近不存在:一個研究137,210個域發現97%的已發佈文件收到零請求. 運輸費用低廉,而且有一個真實的、有證據的用途案例——編碼代理的開發商文件——但它不是AI的能見度槓桿。
核心重點
llms.txt2024年9月的公約,而不是批准的網絡標準, 任何爬行者都有義務閱讀它。- 研究 137,210 找到域 97% 出版量
llms.txt文件收到任何機器人提出的零請求。 - 過去一年,收養急劇增加,而實際使用量卻接近零——這兩個曲線指向相反的方向。
- Google直接聲明搜索不使用
llms.txt,並且不需要在 AI-產生了結果。 - 證實的使用情況是開發者文檔: AI 編碼代理獲取
llms.txt文檔比其他類型的 AI 檢索機器人要多。
何爲llms.txt?
Markdown文件在yoursite.com/llms.txt中,將AI系統定位爲您的最佳內容,由Jeremy Howard of Answer.AI於2024年9月提出.
想法是直截了當的。網頁上充滿了導航、腳本和鍋爐板,而且一種語言模型在有限的上下文窗口內工作,將所有符號都分析出來。 llms.txt 是一個乾淨、結構化的網址摘要,與重要的網頁鏈接,在一個格式中,一個模型可以便宜讀取——後面的邏輯相同 設計一個網站,讓AI引擎可以引用 更廣義地說。
有兩個事情不是, 兩者都被廣泛誤解:
- 這不是一個阻塞工具。
llms.txt無法限制任何爬行者或阻止任何AI系統讀取您的網站。robots.txt是控制爬行者訪問的文件兩者混淆,使人們相信,在沒有控制下進入時,他們可以控制——區別問題要由任何決定者決定。 允許或屏蔽的AI爬行器. - 這不是標準。 沒有任何W3C、IETF或任何公認的標準機構的支持,也沒有執行機制。 AI提供商完全按照自己的條件採納或忽略它。
到底有什麼讀的嗎?
過度,不,採用曲線和使用曲線指向相反方向。
| 措施 | 查找 |
|---|---|
| 收養率 | 10.13% 編號~300,000 分析域 |
| 收到請求的文件 | 97%收到零請求 涉及所有領域 137,210 研究域 |
| 這些文件的最大流量源 | SEO 以及技術配置審計工具,檢查一個網站是否有一個,而不是 AI 檢索 bots |
| 與AI引用頻率的關聯 | 無統計上重要的關聯性 找到的 。 |
2026年5月Ahrefs分析分析中每個域 都接受流量檢查 每一個根都活下來 llms.txt,然後測量了這些路徑的每個請求。它們的總結很直截了當:AI檢索bots幾乎不拿這些文件,而AI系統也沒有去尋找一個網站還沒有公佈的。
有兩個細節讓畫面變得陌生 一部分 llms.txt 經濟是衡量公約遵守情況的工具,幾乎沒有人會消費。 500 百萬個 AI 機器人事件只發現幾百個針對目標的請求 llms.txt 直接, 由主要檢索爬行器跳過並取 HTML 取回 HTML 取回—— 提醒 AI搜索引擎如何實際決定該提及或引用什麼 仍然主要通過普通的頁面內容運行.
爲什麼人們對此有不同意見?
因爲平臺發出混合信號,而且因爲一個真正的使用案例被概括爲關於搜索可見度的主張.
Google一直以來都是最直接的. Gary Illyes在2025年7月表示Google不支持. llms.txt 而並沒有計劃,約翰·穆勒將其與無名關鍵詞元標記進行比較. Google的AI優化文檔,2026年6月15日更新,表示網站不需要新的機器可讀文件,AI文本文件,標記或馬克下架,以出現在Google Search中,包括其基因能力,因爲Search沒有使用它們.
Mueller還給出了結構論證,這是反對文件作爲排名信號的最有說服力的論證:自報的表單不能區分網站,因爲每個網站都會自稱是最佳的. 網站寫自己寫的信號不是一個獨立的信號——同樣的原因. 結構化數據和實體身份 與外界人士覈對時,攜帶更多的重量。
還沒到呢 Google 添加一個 llms.txt 2026年5月對燈塔的審計,在新的代理瀏覽類別下提交。這一矛盾加劇了許多混亂,它指出文件的實際價值: 代理準備基礎設施,指爲AI編碼代理而不是搜索或答題引擎而建的工具. 包括Frede、Cloudflare和Anthropic在內的公司都發布了一個,它們都具有文件重度。在Ahrefs數據集中,獲取的代理商 llms.txt 超過任何 AI 檢索機器人是編碼代理 符合提案的文獻第一起源
所以,你應該 運送一個?
如果一個網站有大量文件,也許不是優先文件,而且從不取代實際引文引用的內容,那麼,也許可以。
第一號船如果一個網站公佈開發者的文件、API參考文獻或AI編碼代理商可能參考的大型技術知識庫——那裏的好處是具體和直接的。 將它優先用於一個營銷網站、服務企業或希望更多AI引用的出版商,因爲證據不支持這種使用,而且文件很可能不被閱讀。
兩種失敗模式值得避免, 不僅僅是跳過它。 生成每個頁面的馬克當式副本會生成規模上的重複內容, 從而沖淡了爬行預算, 並可以壓制原版的排名。 而一個被扭曲的文件比沒有更糟糕, 因爲文件會發佈一個不再匹配網站的自我描述 。
衡量而不是假設解決任何特定網站的問題:過濾請求訪問日誌 /llms.txt 被知道,被確認 AI 用戶代理,或設置一個獨有的 URL 檔案裏沒有其它地方出現, 並觀察是否有任何東西跟隨它。 幾周內就給出了事實答案 。
機會成本是真正的爭論。每花一小時擦亮一個文件,機器跳過一個小時,而不是在爬行器配置上。 答案形狀的內容結構,原始數據和第三方的證實,所有這些都具有可衡量的效果。 基因引擎優化 作爲一種學科:首先進入,然後結構,然後證據, 與新興的公約,如 llms.txt 被看做是廉價的家務,而不是策略。 Lifewood屬於自己的 答覆引擎優化 工作對客戶進行加權,以在工程時間中花費時間,遵循相同的順序。