简短回答： 训练爬行者和检索爬行者是不同的混血儿,大多数阻碍的决定都把它们当作一个。阻断训练爬行者会花费你目前无法测量的任何代价。阻断检索爬行者会使引用变得不可能。 陷阱是常见的默认无法区分它们:自2025年7月1日起,Cloudflare上的新域默认屏蔽了GPTBot,ClaudeBot和PerplexityBot,在单切换标记下进行训练.
核心要点
- A 训练爬行者 收集数据,以改进未来的模型;a 检索爬行器 获取网页以回答一个实时查询或构建引用索引——屏蔽一个不具有和屏蔽另一个相同的成本.
- 以来 1 7月(半天会议) 2025,在Cloudflare块上的新域名 GBTBot, ClaudeBot 财务报告和已审计财务报表 PerplexityBot 默认,而且该控制不会将训练爬行者与检索爬行者分开。
- Google- 管理范围延长 Gemini 仅使用培训; 屏蔽它不会移除一个站点 Google AI 概览,因为这些是建立在普通的Googlebot搜索爬行上。
- AI爬行者获取的页面比他们发送回转流量要多得多,这是阻止训练bots的真正理由,但并不是阻止实际上能够产生引用或访问的检索bots.
llms.txt没有对 AI 概览或 ChatGPT 引用, 不应取代检查是否真正能够到达您的页面 。
训练爬行者和检索爬行者实际上做什么?
他们是单独执行不同任务的用户代理,一个网站可以在机器人.txt中屏蔽另一个时允许一个,一个训练爬行者收集用来改进未来模型的内容;一个检索爬行者获取一个页面来构建搜索索引或回答用户的直播请求,并屏蔽它可以立即消除引用的可能性.
| 用户代理 | 运算符 | 任务 | 挡住它要花你钱 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | 构建索引 ChatGPT 搜索答案从 | 任何可能使用 ChatGPT 引用 |
| GBTBot 调制解调器 | OpenAI | 收集培训数据 | 未来模型记忆中的存在 |
| ChatGPT-User | OpenAI | 在用户请求时获取一个活页 | 用户询问时加载页面 |
| ClaudeBot | Anthropic | 收集培训数据 | 未来模型记忆中的存在 |
| Claude-SearchBot / Claude-User | Anthropic | 检索和实时用户获取 | 引用于 Claude 答案 |
| PerplexityBot | Perplexity | 构建其检索索引 | 引用于 Perplexity 答案 |
| Google- 延期 | 控制器 Gemini 仅培训使用 | 搜索或AI 概览中无任何内容 | |
| Googlebot | 搜索索引,以及AI概览的基础 | 搜索和AI 概览一起 |
Google- 被限制的是人们在昂贵的方向上犯错:它规范训练的使用,而不是搜索,所以封锁它不会从一个网站中移除 AI 概览,因为 AI 概览基于普通 Googlebot 爬行 - 情况也是如此 AI 模式。没有单独的 AI 概览选择退出, 将一个网站保留在搜索中。 OpenAI 分割运行于另一条途径 : ChatGPT 引用自 OAI-SearchBot索引而不是GPTBot的训练爬行,所以屏蔽"OpenAI",因为一件事会失去可移动性的一半,同时失去可移动性的一半.
你的网站会不会在没人决定的情况下 封锁AI爬行者?
很有可能,因为现在最常见的默认会阻断检索爬行器作为阻断训练爬行器的副作用. 2025年7月1日起,Cloudflare上的新域默认会阻断GPTBot,ClaudeBot和PerplexityBot,而这种控制不会将纯检索的bot像PerplexityBot与训练的bot分开.
网站可以写得精细,结构完整,并有计划标记,由于域名上载当天设置了基础设施默认,所以仍然完全无法解析。
- 获取
/robots.txt并读诵. 寻找Disallow由每个AI用户代理名下,而不是仅仅在下面*. - 单独检查CDN或WAF层. 如果边缘本身将403还给机器人,那么允许机器人.txt就毫无意义了.
- 检查服务器日志或 CDN 分析是否真实点击 发件人 OAI-SearchBot, PerplexityBot 财务报告和已审计财务报表 Googlebot许可是一种要求;a 200 记录里有证据
- 请检查JavaScript依赖的内容. 检索爬行者无法保证执行,因此,只有水合之后,文本才到达的页面,就可以成为他们的空页.
是谁挡住了AI爬行者,他们还送了多少交通?
封锁训练爬行者现在已是常见的做法,它花费了它所能衡量的阻塞地点,因为这些爬行者永远不会发送转介. 2026年的独立机器人.txt分析一致发现GPTBot,CCBot,ClaudeBot,Google-Extended和bytespider在最常被拒绝的用户代理中,很大一部分被调查域至少屏蔽了其中的一个域.
交通经济学解释为什么, 多重 2026 云浮尺度数据分析发现: AI 爬行者获取的页数比他们以转介点击方式发送的页数要多,培训和混合目的爬行占大多数。 AI 爬行器流量, 搜索和用户启动的获取构成一个小的少数。 精确的比例因数据集和面板而异 — — 一份报告的不同, 大小顺序可能不同, 但每个来源的方向一致 : AI 爬行者比回来还需要很多 Google普通的搜索爬行返回的每个页面的查询流量远大于任何 AI-特定机器人。
阻止培训爬行者是真正的论点,而拥有真正带宽成本或许可杠杆的出版商是正确制造的。 阻止检索爬行者并不是一个论点,而这是CDN默认的通常决定,除非有人纠正。
你该阻止AI爬行者吗?
对于大多数销售某种内容而不是许可内容的组织来说,答案会按照爬行者的类型来划分:允许那些可以引用或推荐你的人,并且原则上而不是交通决定培训内容。 一项合理的政策有五个部分。
- 允许每个检索和用户动作爬行器 — OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Googlebot. 这些是能够提供引用或访问的唯一工具,因此,除非故意隐瞒内容,否则阻止它们不会有任何反面效果。
- 原则上决定培训爬行者,而不是交通 – GPTBot, ClaudeBot, CCBot, Google-Extend。 允许它们是一种在未来模型的记忆中: 真实但不可计量和缓慢的赌注。 封锁它们今天没有可观察的成本。 两种答案都是可辩驳的; 选择一个并写下原因 。
- 无答案的拆船工,比如字节和类似bots既不引用也不提及,任何事物都不能因为排除它们而放弃.
- 校验边沿,不只是在
robots.txt. 确认CDN,WAF和bot管理规则实际上与文件一致;这就是政策在实践中通常矛盾的地方. - 每季度重新检查,由于用户代理被添加,平台默认会改变,例行的安全审查可以将整个政策在一个承诺中重回.
步骤2中的不对称性值得一提:阻断训练爬行器的成本是无法观察的,而阻断回收爬行器的成本是该引擎的即时和总成本。 当一个决定有一个可测量的方面和一个不可测量的方面时,该可测量的方面应该决定。
llms.txt帮助AI爬行者找到你的内容?
没有经证实的证据支持这一点,因此不应将其作为爬行者出入检查的替代物。 Google自己的指导称llms.txt对搜索排名或AI Overviews没有影响,Google的约翰·穆勒表示没有Google搜索系统读取或行为在文件中,将其与Google因为自己声明且易于游戏而停止使用的旧关键词元标记相比较.
收养尚未转化为使用。 2026 找到的 。 llms.txt 137,000个网站的Ahrefs分析发现,大约97%的已出版网站 llms.txt 文件收到的请求是零的,在取来的少量剩余文件中,实际的AI检索数据只算这些请求的一线数据。 将它算作AI的能见度工作不是,因为它可以取代爬行者访问检查,而实际上决定一个页面是否可以引用——一个没有爬行者读取的文件不能代替一个 Disallow 每一个爬行者都服从。 网站需要吗? ——更详细地涵盖格式本身.
允许爬行者给你带来什么?
取用是引用的先决条件,而不是保证。 Crawler 访问使得引用成为可能;它没有使引用成为可能,任何合法提供者都不能保证将引用置于任何具体的AI答案中。
引擎在获取的页面上也有所不同: Perplexity源列表比 ChatGPT的,因为,而Google的搜索和AI Overviews表面可以相互区别,尽管它们都有一个爬行。在事实之后,屏蔽决定也不能被逆转——在那个时期,一个被屏蔽的机器人被排除在索引中的页面没有被引用,重新笼罩运行在运营商的日程上,而不是出版商的。 最终在页面可到达后 就能得到引用的是一个单独的问题, 包含在 AI答录引擎引用的品牌.
Lifewood如何接近AEO和GEO的爬行者访问?
Lifewood 将爬行者的访问作为任何一端的第一个门 AEO 或 或 时 间 GEO 约定,在内容被设定范围之前进行检查,因为以引擎无法获取的页面为对象的内容不可能返回。检查是基于证据的,而不是声明的:机器人.txt由用户代理、边缘和 WAF 规则与文件分开阅读,服务器日志按实际检查 200 对 OAI-SearchBot, PerplexityBot 财务报告和已审计财务报表 Googlebot,因为文件中所述许可是索赔,日志线是证明。