谷歌、微软、Anthropic与OpenAI支持新的AI爬虫屏蔽标准

谷歌、微软、Anthropic和OpenAI于2026年10月30日宣布，将支持一项新的网站抓取标准，旨在让出版商更容易阻止AI公司使用其内容来训练模型。

在现行系统下，想要屏蔽AI训练爬虫的网站运营者必须在robots.txt文件中为每一个爬虫单独添加一条规则——随着AI厂商运行多个爬虫，这一流程变得越来越繁琐。新标准将允许robots.txt中的单条规则一次性屏蔽所有收集数据用于生成式AI模型训练的爬虫。该设置不适用于仅执行非生成式任务的模型。

这四家公司已向互联网工程任务组（Internet Engineering Task Force）提交了一份草案提案，该非营利组织负责维护《机器人排除协议》（Robots Exclusion Protocol）——即规定robots.txt文件结构的标准化格式。它们计划将新的抓取标准纳入该格式之中。

OpenAI和微软打算在未来几个月内增加对该标准的支持，谷歌则计划在明年某个时候跟进。Meta表示支持这一想法，但尚未承诺实施。

微软还宣布了一项名为“AI Grounding”的独立功能，针对的是另一种场景：当AI模型访问网页是为了回答用户的问题，而非收集训练数据时。网站运营者将能够使用该设置，阻止微软的服务——以及依赖微软技术的第三方AI工具——发出此类请求。