簡短回答： 訓練爬行者和檢索爬行者是不同的混血兒,大多數阻礙的決定都把它們當作一個。阻斷訓練爬行者會花費你目前無法測量的任何代價。阻斷檢索爬行者會使引用變得不可能。 陷阱是常見的默認無法區分它們:自2025年7月1日起,Cloudflare上的新域默認屏蔽了GPTBot,ClaudeBot和PerplexityBot,在單切換標記下進行訓練.
核心重點
- A 訓練爬行者 收集數據,以改進未來的模型;a 檢索爬行器 獲取網頁以回答一個實時查詢或構建引用索引——屏蔽一個不具有和屏蔽另一個相同的成本.
- 以來 1 7月(半天會議) 2025,在Cloudflare塊上的新域名 GBTBot, ClaudeBot 財務報告和已審計財務報表 PerplexityBot 默認,而且該控制不會將訓練爬行者與檢索爬行者分開。
- Google- 管理範圍延長 Gemini 僅使用培訓; 屏蔽它不會移除一個站點 Google AI 概覽,因爲這些是建立在普通的Googlebot搜索爬行上。
- AI爬行者獲取的頁面比他們發送迴轉流量要多得多,這是阻止訓練bots的真正理由,但並不是阻止實際上能夠產生引用或訪問的檢索bots.
llms.txt沒有對 AI 概覽或 ChatGPT 引用, 不應取代檢查是否真正能夠到達您的頁面 。
訓練爬行者和檢索爬行者實際上做什麼?
他們是單獨執行不同任務的用戶代理,一個網站可以在機器人.txt中屏蔽另一個時允許一個,一個訓練爬行者收集用來改進未來模型的內容;一個檢索爬行者獲取一個頁面來構建搜索索引或回答用戶的直播請求,並屏蔽它可以立即消除引用的可能性.
| 用戶代理 | 運算符 | 任務 | 擋住它要花你錢 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | 構建索引 ChatGPT 搜索答案從 | 任何可能使用 ChatGPT 引用 |
| GBTBot 調制解調器 | OpenAI | 收集培訓數據 | 未來模型記憶中的存在 |
| ChatGPT-User | OpenAI | 在用戶請求時獲取一個活頁 | 用戶詢問時加載頁面 |
| ClaudeBot | Anthropic | 收集培訓數據 | 未來模型記憶中的存在 |
| Claude-SearchBot / Claude-User | Anthropic | 檢索和實時用戶獲取 | 引用於 Claude 答案 |
| PerplexityBot | Perplexity | 構建其檢索索引 | 引用於 Perplexity 答案 |
| Google- 延期 | 控制器 Gemini 僅培訓使用 | 搜索或AI 概覽中無任何內容 | |
| Googlebot | 搜索索引,以及AI概覽的基礎 | 搜索和AI 概覽一起 |
Google- 被限制的是人們在昂貴的方向上犯錯:它規範訓練的使用,而不是搜索,所以封鎖它不會從一個網站中移除 AI 概覽,因爲 AI 概覽基於普通 Googlebot 爬行 - 情況也是如此 AI 模式。沒有單獨的 AI 概覽選擇退出, 將一個網站保留在搜索中。 OpenAI 分割運行於另一條途徑 : ChatGPT 引用自 OAI-SearchBot索引而不是GPTBot的訓練爬行,所以屏蔽"OpenAI",因爲一件事會失去可移動性的一半,同時失去可移動性的一半.
你的網站會不會在沒人決定的情況下 封鎖AI爬行者?
很有可能,因爲現在最常見的默認會阻斷檢索爬行器作爲阻斷訓練爬行器的副作用. 2025年7月1日起,Cloudflare上的新域默認會阻斷GPTBot,ClaudeBot和PerplexityBot,而這種控制不會將純檢索的bot像PerplexityBot與訓練的bot分開.
網站可以寫得精細,結構完整,並有計劃標記,由於域名上載當天設置了基礎設施默認,所以仍然完全無法解析。
- 獲取
/robots.txt並讀誦. 尋找Disallow由每個AI用戶代理名下,而不是僅僅在下面*. - 單獨檢查CDN或WAF層. 如果邊緣本身將403還給機器人,那麼允許機器人.txt就毫無意義了.
- 檢查服務器日誌或 CDN 分析是否真實點擊 發件人 OAI-SearchBot, PerplexityBot 財務報告和已審計財務報表 Googlebot許可是一種要求;a 200 記錄裏有證據
- 請檢查JavaScript依賴的內容. 檢索爬行者無法保證執行,因此,只有水合之後,文本纔到達的頁面,就可以成爲他們的空頁.
是誰擋住了AI爬行者,他們還送了多少交通?
封鎖訓練爬行者現在已是常見的做法,它花費了它所能衡量的阻塞地點,因爲這些爬行者永遠不會發送轉介. 2026年的獨立機器人.txt分析一致發現GPTBot,CCBot,ClaudeBot,Google-Extended和bytespider在最常被拒絕的用戶代理中,很大一部分被調查域至少屏蔽了其中的一個域.
交通經濟學解釋爲什麼, 多重 2026 雲浮尺度數據分析發現: AI 爬行者獲取的頁數比他們以轉介點擊方式發送的頁數要多,培訓和混合目的爬行佔大多數。 AI 爬行器流量, 搜索和用戶啓動的獲取構成一個小的少數。 精確的比例因數據集和麪板而異 — — 一份報告的不同, 大小順序可能不同, 但每個來源的方向一致 : AI 爬行者比回來還需要很多 Google普通的搜索爬行返回的每個頁面的查詢流量遠大於任何 AI-特定機器人。
阻止培訓爬行者是真正的論點,而擁有真正帶寬成本或許可槓桿的出版商是正確製造的。 阻止檢索爬行者並不是一個論點,而這是CDN默認的通常決定,除非有人糾正。
你該阻止AI爬行者嗎?
對於大多數銷售某種內容而不是許可內容的組織來說,答案會按照爬行者的類型來劃分:允許那些可以引用或推薦你的人,並且原則上而不是交通決定培訓內容。 一項合理的政策有五個部分。
- 允許每個檢索和用戶動作爬行器 — OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Googlebot. 這些是能夠提供引用或訪問的唯一工具,因此,除非故意隱瞞內容,否則阻止它們不會有任何反面效果。
- 原則上決定培訓爬行者,而不是交通 – GPTBot, ClaudeBot, CCBot, Google-Extend。 允許它們是一種在未來模型的記憶中: 真實但不可計量和緩慢的賭注。 封鎖它們今天沒有可觀察的成本。 兩種答案都是可辯駁的; 選擇一個並寫下原因 。
- 無答案的拆船工,比如字節和類似bots既不引用也不提及,任何事物都不能因爲排除它們而放棄.
- 校驗邊沿,不只是在
robots.txt. 確認CDN,WAF和bot管理規則實際上與文件一致;這就是政策在實踐中通常矛盾的地方. - 每季度重新檢查,由於用戶代理被添加,平臺默認會改變,例行的安全審查可以將整個政策在一個承諾中重回.
步驟2中的不對稱性值得一提:阻斷訓練爬行器的成本是無法觀察的,而阻斷回收爬行器的成本是該引擎的即時和總成本。 當一個決定有一個可測量的方面和一個不可測量的方面時,該可測量的方面應該決定。
llms.txt幫助AI爬行者找到你的內容?
沒有經證實的證據支持這一點,因此不應將其作爲爬行者出入檢查的替代物。 Google自己的指導稱llms.txt對搜索排名或AI Overviews沒有影響,Google的約翰·穆勒表示沒有Google搜索系統讀取或行爲在文件中,將其與Google因爲自己聲明且易於遊戲而停止使用的舊關鍵詞元標記相比較.
收養尚未轉化爲使用。 2026 找到的 。 llms.txt 137,000個網站的Ahrefs分析發現,大約97%的已出版網站 llms.txt 文件收到的請求是零的,在取來的少量剩餘文件中,實際的AI檢索數據只算這些請求的一線數據。 將它算作AI的能見度工作不是,因爲它可以取代爬行者訪問檢查,而實際上決定一個頁面是否可以引用——一個沒有爬行者讀取的文件不能代替一個 Disallow 每一個爬行者都服從。 網站需要嗎? ——更詳細地涵蓋格式本身.
允許爬行者給你帶來什麼?
取用是引用的先決條件,而不是保證。 Crawler 訪問使得引用成爲可能;它沒有使引用成爲可能,任何合法提供者都不能保證將引用置於任何具體的AI答案中。
引擎在獲取的頁面上也有所不同: Perplexity源列表比 ChatGPT的,因爲,而Google的搜索和AI Overviews表面可以相互區別,儘管它們都有一個爬行。在事實之後,屏蔽決定也不能被逆轉——在那個時期,一個被屏蔽的機器人被排除在索引中的頁面沒有被引用,重新籠罩運行在運營商的日程上,而不是出版商的。 最終在頁面可到達後 就能得到引用的是一個單獨的問題, 包含在 AI答錄引擎引用的品牌.
Lifewood如何接近AEO和GEO的爬行者訪問?
Lifewood 將爬行者的訪問作爲任何一端的第一個門 AEO 或 或 時 間 GEO 約定,在內容被設定範圍之前進行檢查,因爲以引擎無法獲取的頁面爲對象的內容不可能返回。檢查是基於證據的,而不是聲明的:機器人.txt由用戶代理、邊緣和 WAF 規則與文件分開閱讀,服務器日誌按實際檢查 200 對 OAI-SearchBot, PerplexityBot 財務報告和已審計財務報表 Googlebot,因爲文件中所述許可是索賠,日誌線是證明。