AI爬虫User-Agent清单:GPTBot该放行,谁该挡
GPTBot该放行,Bytespider看业务定,Fake Referral爬虫直接挡——AI爬虫管理不是一刀切,是一张对照表加三条robots规则。这张表把主流AI爬虫的用途和处置一次说清。
一、先分清:AI爬虫不是一种东西
主流AI爬虫按用途分三类,处置方式完全不同:
| 类别 | 代表爬虫 | 用途 | 对站点意味着什么 |
|---|---|---|---|
| 搜索入口型 | OAI-SearchBot | 抓取内容进入ChatGPT搜索结果 | 挡了它=从ChatGPT搜索里消失 |
| 训练数据型 | GPTBot、ClaudeBot、Bytespider | 抓取内容用于训练大模型 | 决定你的内容能否进入模型知识 |
| 用户触发型 | ChatGPT-User | 用户实时提问时抓取网页 | robots.txt不约束,无需为其配置规则 |
OpenAI官方文档明确:OAI-SearchBot决定站点是否出现在ChatGPT搜索答案里,"退出OAI-SearchBot的站点不会出现在ChatGPT搜索答案中";GPTBot抓取的内容用于训练生成式模型,两者独立控制,可以只放一个。
二、主流AI爬虫对照表
| 爬虫 | 运营方 | 用途 | 建议处置 | 挡了会失去什么 |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT搜索收录 | 放行 | ChatGPT搜索答案中的展示 |
| GPTBot | OpenAI | 模型训练语料 | 放行(看训练诉求) | 进入未来模型知识的可能 |
| ChatGPT-User | OpenAI | 用户提问时实时抓取 | 无需规则 | 无(用户触发,robots不适用) |
| ClaudeBot | Anthropic | 模型训练 | 看业务定 | Claude生态的内容认知 |
| Bytespider | 字节跳动 | 豆包等产品的语料采集 | 看业务定 | 豆包生态的内容认知 |
| Google-Extended | Gemini训练语料 | 看业务定 | Gemini的训练覆盖(不影响搜索收录) | |
| PerplexityBot | Perplexity | AI搜索索引 | 放行(看AI搜索诉求) | Perplexity答案中的展示 |
放行的判断标准只有一条:这家AI的产品触达你的目标用户,就放;不触达,就挡。GPTBot放行值得优先考虑——Cloudflare Radar数据显示,GPTBot请求量2024年5月到2025年5月增长305%,爬虫份额从2.2%升到7.7%,训练语料这趟车还在加速。
三、robots.txt三条规则怎么写
robots.txt是君子协定:合规爬虫遵守,伪装成浏览器UA的流量要靠WAF和日志分析拦。
# 全放行(推荐起步配置,适合希望被AI生态收录的内容站)
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 全部屏蔽(内容付费墙/敏感数据站参考)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Google-Extended
Disallow: /
两条实操提醒:其一,OpenAI文档写明robots.txt变更后系统调整需要约24小时,改完别急着验证;其二,OpenAI为GPTBot和OAI-SearchBot发布了官方IP段列表(openai.com/gptbot.json、openai.com/searchbot.json),可在WAF层面做真伪校验——这也是识别Fake Referral爬虫的手段。
FAQ
Q:屏蔽GPTBot会影响Google收录吗?
A:不会。GPTBot是OpenAI的训练爬虫,与Googlebot无关,两者独立。
Q:挡了训练爬虫,还能进AI搜索结果吗?
A:能。ChatGPT搜索走OAI-SearchBot,与GPTBot独立控制,可只放搜索型。
Q:robots.txt挡不住的爬虫怎么办?
A:用WAF按UA真伪、IP段、请求频率拦截,定期分析日志识别伪装流量。
Q:怎么知道哪些AI爬虫来过我的站?
A:分析访问日志的User-Agent字段,对照官方爬虫清单逐一核对。
参考来源
- OpenAI Crawlers官方文档 https://platform.openai.com/docs/bots
- Cloudflare博客:《从Googlebot到GPTBot:2025年谁在爬取您的网站》 https://blog.cloudflare.com/zh-cn/from-googlebot-to-gptbot-whos-crawling-your-site-in-2025