AI搜索时代,你的品牌被AI推荐了吗? 免费获取AI搜索可见度诊断 →
AI搜索趋势

AI 训练退出口正在统一:robots.txt 新令牌怎么用

想对 AI 公司说「别拿我的内容训练」,过去要对每家分别写规则。10月30日,OpenAI、谷歌、微软与 Anthropic 四家同时认了同一个退出口:robots.txt 里的共享训练偏好令牌。但各家生效时间排到2027年,屏蔽训练也不等于退出 AI 搜索答案——企业要理清的是训练、检索增强与搜索展示这三层开关。

一句话结论:退出口统一了,但不用急着改

2026年10月30日,谷歌搜索中心博客发布文章,宣布将支持一种共享的 AI 训练控制信号;据搜索引擎行业媒体当日报道,OpenAI、微软必应与 Anthropic 也表态支持同一提案。这意味着,企业网站想对 AI 公司表达「别拿我的内容训练模型」,今后可能只需要在 robots.txt 里写一段声明,不必再对每家公司分别配置。但这件事对企业官网的实际影响,没有「一行代码搞定」那么简单:各家生效时间排到了2027年,而且屏蔽训练并不等于退出 AI 搜索答案。本文把令牌机制、时间表和企业该做的检查一次讲清。

从四份配置到一份声明:令牌解决什么问题

过去两年,AI 公司陆续公布了自己的爬虫身份:OpenAI 有负责训练的 GPTBot 和负责搜索的 OAI-SearchBot,Anthropic 把 ClaudeBot、Claude-SearchBot、Claude-User 分开管理,谷歌则有 Googlebot 与 Google-Extended 各管一摊。网站想表达「允许搜索引用、拒绝训练」,就得在 robots.txt 里逐家写规则。碎片化的结果是大多数网站只做了局部配置:据 IPTC 对 504 家内容网站的统计(21世纪经济报道2026年11月14日报道),49.6% 的网站通过 robots.txt 屏蔽了至少一种 AI 爬虫,但其他退出机制的采用率均低于2%。

令牌是什么,边界在哪里

新令牌由 Anthropic 标准技术负责人 Kevin Kelley 在互联网工程任务组(IETF)以个人草案形式提出,属于 AIPREF(AI 偏好)工作方向。令牌写作 __usage_ai-training,写在 robots.txt 的 User-Agent 行,配合一条 Disallow 规则,即可表达「本站内容不用于 AI 训练」。草案文本明确两个边界:其一,通配的 User-agent: * 规则不算数,网站必须为令牌单独开一个组,沉默即代表没有表达偏好;其二,令牌只表达训练用途偏好,不阻止抓取本身,也不影响搜索爬虫和用户主动发起的读取。它是「用途声明」,不是「访问开关」。该草案目前没有 IETF 正式标准地位,有效期至2027年5月3日,细节仍可能调整。

四家时间表各不相同,当下生效的还是逐家规则

四家的落地节奏差别很大。Anthropic 表示已开始识别这一信号,并会逐步覆盖旗下服务;OpenAI 承诺在未来几个月内支持;微软给出了明确日期,2027年2月1日起按新偏好执行;谷歌表示计划在2027年内与其他 AI 提供商同步支持。换句话说,在2027年到来之前,真正管用的仍是各家公司自己的爬虫规则。Meta 公开表态支持这一方向,但未承诺是否遵守;苹果、Meta 与 Perplexity 均不在首批名单中。企业如果现在就想表达训练偏好,逐家写规则的旧办法依然是唯一可靠手段。

微软把日期列得最全

微软公告给出了四个时间点:2026年12月15日,必应站长平台开放临时的检索增强偏好设置;2027年2月1日起按新偏好执行抓取;2027年3月1日起,页面级的 NoArchive、NoCache 指令不再被视为 AI 偏好信号,仍在使用这两个指令的站点需要在此之前做出决定;临时偏好到2027年9月30日过期。

训练、检索增强、搜索展示:三个开关别混用

这次调整最大的价值,是让企业看清 AI 时代内容使用的三层结构。第一层是训练,内容进入模型参数;第二层是检索增强(grounding),模型回答问题时实时调取网页并给出引用;第三层是搜索展示,即在 AI Overviews、AI Mode 这类产品里出现的资格。三层各有开关:谷歌明确说明,屏蔽 Google-Extended 不影响网站在谷歌搜索中的收录与排名,但只有明确允许 Google-Extended 的网站,才有资格出现在 Gemini 应用的回答里并获得点击;微软把训练与检索增强做成两个独立设置,退出任何一个都不影响必应搜索结果的展示;谷歌搜索控制台里的「搜索生成式 AI」设置自2026年8月31日起向全球站点开放,单独控制 AI Overviews、AI Mode 与 Discover 的 AI 功能。

最容易踩的坑:一把屏蔽把引用资格也关了

行业里流传的「屏蔽所有 AI 爬虫」模板,常把 OAI-SearchBot、Claude-SearchBot 这类搜索爬虫也一并拒绝。后果是:拒绝 GPTBot 只是退出训练,拒绝 OAI-SearchBot 则会让网站在 ChatGPT 搜索答案里直接消失。对以获客为目标的企业站来说,这通常是一笔亏本交换——训练退出保住的只是「不进下一个版本的模型」,丢掉的却是当下正在发生的引用与点击。

主动屏蔽是有代价的商业决策

对多数企业官网,我们不建议把这组新开关当作优化技巧来执行。原因有三。第一,谷歌已把共享令牌与 Google-Extended 挂钩:网站用令牌退出训练而没有单独提到 Google-Extended 时,谷歌将其视为已屏蔽 Google-Extended,这会连带失去 Gemini 应用的回答资格。第二,屏蔽训练的收益是长期且间接的(减少内容进入未来模型),损失却是即时且直接的(检索增强的引用与点击)。第三,各家中途可能调整规则,写错一条通配规则误伤 Googlebot,反而伤及搜索基本盘。另据谷歌2026年11月11日在搜索中心博客的提醒,CDN 或防火墙层面的「一刀切」爬虫拦截,可能让爬虫停在错误页面上连 robots.txt 都读不到,屏蔽意愿反而无法传达。是否退出训练,应基于内容授权策略与合规要求来决定,而不是随大流。

企业官网本周就能做的三条检查

无论是否打算使用令牌,有三件事值得立即核对。第一,打开网站根目录的 robots.txt,检查通配的 User-agent: * 组有没有误伤搜索与引用类爬虫,重点是 OAI-SearchBot、Claude-SearchBot、PerplexityBot 这三个直接决定「能否被 AI 搜索引用」的名字。第二,把训练退出、检索增强、搜索展示三层分开记录:每一层当前用哪个信号控制、由谁维护、上次核对日期,避免三层混在一处说不清。第三,改动 robots.txt 时保留带日期的版本副本,并在无痕窗口打开线上文件确认改动真实生效——后台编辑器里的版本不等于线上版本。2027年各家令牌支持落地前后,再依据官方文档决定是否启用,不必抢跑。

结语:可见度的开关比退出口更值得管理

从逐家谈判到一份声明,robots.txt 正在成为企业向 AI 行业表达内容偏好的标准位置;谷歌也在公告中提到,这一机制与欧盟 AI 法案通用行为守则中「发布者通过 robots.txt 表达偏好」的思路相合。对做 GEO 的企业来说,这次调整传递的信号很清楚:访问与用途正在被拆成多个可独立设置的开关,「怎么被引用」比「要不要退出」更值得花心思。把三层开关的口径理清、把搜索引用类爬虫守好,比追逐任何一个新令牌都更贴近业务结果。

免费获取 AI 搜索可见度诊断

看看你的品牌在 DeepSeek、豆包、Kimi、文心一言、通义千问、腾讯元宝等平台中是否被提及、被引用、被推荐。

免费获取诊断报告 直接联系顾问

常见问题

网站现在需要在 robots.txt 里加上 __usage_ai-training 令牌吗?

不需要。谷歌计划2027年内支持,微软2027年2月1日起执行,OpenAI 表示在未来几个月内落地。在此之前令牌不会被识别,逐家写爬虫规则仍是唯一生效手段;建议等各家官方文档确认后再启用。

屏蔽 GPTBot、ClaudeBot 这些训练爬虫,会影响网站出现在 AI 搜索答案里吗?

不会直接影响。各家公司把训练爬虫与搜索爬虫分开管理,屏蔽训练爬虫不影响搜索引用资格;真正决定引用资格的是 OAI-SearchBot、Claude-SearchBot 这类搜索爬虫是否放行。

屏蔽 Google-Extended 会让网站从谷歌搜索结果里消失吗?

不会。谷歌明确说明 Google-Extended 不影响收录与排名;但它决定内容能否用于 Gemini 训练与检索增强,屏蔽后网站会失去出现在 Gemini 应用回答并从中获得点击的资格。

想保持 AI 搜索可见度、又想拒绝训练,应该怎么配置?

放行 OAI-SearchBot、Claude-SearchBot、PerplexityBot 等搜索与引用爬虫,单独对 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended 等训练控制写拒绝规则;不要使用「屏蔽所有 AI」的一刀切模板。

Meta、苹果这些公司会遵守这个令牌吗?

待观察。Meta 仅公开表态支持方向、未承诺遵守,苹果、Meta 与 Perplexity 都不在首批四家名单内;令牌目前仍是 IETF 个人草案,最终标准与覆盖范围以各家官方文档为准。

免责声明

本文为深圳八方网络原创内容,观点基于公开信息与项目实践整理,仅作行业观察与方法分享,不构成对任何具体项目优化结果的承诺,也不构成法律、财务或投资建议。

文中涉及的搜索引擎与 AI 平台规则、算法与展示形式可能随时调整,请以各平台官方公告为准;文中提及的第三方品牌与商标归其权利人所有,仅用于说明与比对。

转载请注明来源并保留原文链接(https://www.szbfw.cn/insights/ai-training-opt-out-token.html),不得删改标题与结论后二次发布。