AI 爬虫放行还是拦截：官网抓取配置清单

做 GEO 的人最近都在讨论一个看起来很小、实际很致命的问题：AI 到底能不能读到你的网站。不是有没有被推荐，而是更前置的一步——抓取。2026 年下半年，这件事从「一个 robots.txt 开关」变成了需要分层判断的议题。

AI 爬虫这件事，今年变复杂了

从一个开关，变成三类机器人

过去谈爬虫，主要指搜索引擎的蜘蛛。现在主流模型厂商把爬虫拆成了至少三类：训练语料收集、构建 AI 搜索索引、用户提问时实时抓取页面。OpenAI 对应 GPTBot、OAI-SearchBot、ChatGPT-User；Anthropic 对应 ClaudeBot、Claude-SearchBot、Claude-User；Perplexity 则以 PerplexityBot 承担检索索引、Perplexity-User 承担用户触发抓取。Google 稍特殊：Google-Extended 是 robots.txt 中的控制标记，用于声明内容能否用于 Gemini 的训练与 grounding；承担搜索索引职责的是 Googlebot 本身，AI Overviews 与 AI Mode 的答案都建立在它之上。三类爬虫对企业的意义完全不同，把它们当成一个整体来放行或拦截，是目前最常见的配置失误。

网络层开始替站点做默认决定

更值得注意的变化发生在网络层。Cloudflare 在 2026 年 7 月 1 日宣布，自 9 月 15 日起，新接入其网络的域名会收到预设策略：展示广告的页面默认拒绝训练类与代理类爬虫，搜索类爬虫保持放行，没有广告的站点则三类默认放行。该预设随后被调整为两套方案，并说明混合用途爬虫按其全部用途判定。这意味着机器人能不能读你的站，已不完全由站点里的 robots.txt 决定，接入的 CDN、WAF 默认值同样在起作用，且随时可能调整。

一份审计：多数站点在「可达」这一环就没过关

SEO 与 GEO 咨询机构 Stradiji 在 2026 年 10 月 12 日公布 GEO Score Card 审计结果，称在七个国家深度检查了 100 多个网站，把 AI 可见度拆成可达、可识别、可信任三个环节，其中约四分之三的受检站点未在 robots.txt 中对 AI 爬虫做显式配置，接近九成站点至少有一个环节未达标。这是该机构基于自身客户样本的自述口径，样本量有限，不宜当作全行业普查数据引用；但「没有显式配置」这一现象足够普遍，值得每家企业核一遍自己的站点。

三类爬虫该分别怎么对待

训练类：这是授权选择，不是流量问题

GPTBot、ClaudeBot 与 Google-Extended 对应语料收集。放行与否本质上是内容授权决策：不希望原创内容被无偿用于模型训练，选择拒绝是合理的，厂商文档也说明这类拒绝不影响网站在搜索结果中的常规收录；若目标是扩大品牌在模型知识里的存在感，则应当放行。这里没有统一答案，但必须是刻意做出的决定，而不是默认值留下的结果。

检索索引类：这一类直接决定你能否进入答案

OAI-SearchBot、Claude-SearchBot、PerplexityBot 以及被 AI 功能复用的 Googlebot，承担的是构建可引用索引。拦掉它们，等于把自己从答案的候选池中移除。OpenAI 的文档把 OAI-SearchBot 的可访问性与站点出现在 ChatGPT 搜索结果中的能力直接关联。对以获客为目标的官网而言，这一类应当保持放行。

用户实时抓取类：robots.txt 未必拦得住

ChatGPT-User 与 Perplexity-User 属于用户提问后触发的实时抓取。OpenAI 说明，由于这类动作由用户发起，robots.txt 规则可能并不适用；Perplexity 也表示其用户触发抓取一般不遵循 robots.txt。robots.txt 在这里只能表达意愿，若确实需要硬性拦截，只能放到网络层去做，并接受随之而来的可见度代价。Anthropic 相对特殊，为用户触发抓取也提供了退出选项。

一份可执行的官网抓取配置清单

先查 CDN 与防护层的实际策略

不要假设 robots.txt 就等于全部策略。登录 CDN 或 WAF 控制台，确认 Bot 管理与 AI 爬虫相关开关的实际取值，特别留意「拒绝训练」与「拒绝整个爬虫」的区别：部分厂商把拒绝训练设为拦截时，会连带拦掉兼具搜索索引职责的混合用途爬虫，误伤收录。改动前截图存档，改动后复测抓取日志。

再让 robots.txt 把关键目录写具体

未写规则的路径默认允许抓取，但显式声明仍有价值：多团队协作与后续接手时不易误改，在网络层默认策略发生变化、判断逐步收紧时也更容易被正确解析。做法是为检索类与用户抓取类爬虫显式放行站点主干，为训练类爬虫按授权策略单独声明，并确保 sitemap 地址正常给出。

然后确认内容本身能被读到

抓取许可解决的是能不能来，内容可得性解决的是读到了什么。正文如果依赖脚本渲染才出现，模型抓到的可能是空壳页面。把关键内容做进 HTML，保证无脚本环境下正文、标题与结构化数据都在，比任何声明都更基础；核心信息也不要只放在图片里。

最后给自己留一条观测通道

配置是否生效不能只靠感觉：至少在 CDN 或服务器日志里能分辨主要 AI 爬虫的访问记录，并用业务相关问题在主流模型里定期自查。如果日志显示抓取正常、答案里却始终没有你，问题多半不在可达性，而在内容与实体信号。

放行与拦截之间的取舍

屏蔽检索类爬虫的代价，已有观察性证据

2026 年 SIGIR 会议上发表的一项研究（Grossman 等）分析了 11,500 条查询，发现屏蔽 Google AI 爬虫的网站被 AI Overviews 检索到的概率显著更低。这是观察性研究，不能直接推出因果结论——屏蔽抓取的站点本身可能在其他方面存在差异——但结论方向与厂商文档一致：检索类与用户触发类的可访问性，直接影响曝光机会。

把决策落在两个层面，并定期复查

建议分层处理：检索索引类与用户实时抓取类保持放行，训练类按内容授权策略单独决定，任一决定都同时写进 robots.txt 与网络层配置，避免互相矛盾。另外建议每季度复查一次，因为 CDN 默认值、爬虫 User-Agent 名单和厂商文档都在持续更新，一次配置长期沿用，很容易在某个时点悄悄失效。

三个常见误判

「我们从没拦过 AI 爬虫」并不等于「模型读到了我们」

可达性是多层叠加的结果：robots.txt 没有禁止、CDN 没有默认拦截、页面不依赖脚本渲染、核心信息不在图片里。任何一层出问题，结果都是 AI 看不到你，而企业往往只查了最上面一层。

配了白名单就万事大吉

放行只是拿到了入场资格。能不能被引用、能不能被列为可选方案，取决于内容是否具体、是否可核验、品牌实体是否清晰。可达性做完却停在原地，往往只能得到偶尔被提到、从不被推荐的结果。

把 llms.txt 当成开关

llms.txt 目前仍属倡议性质，不是通用标准，也没有公开证据表明它能单独改变模型的抓取与引用行为。可以顺手提供，但不能替代 robots.txt、网络层策略与内容本身的可读性。