谷歌、微软、OpenAI与Anthropic支持用一行代码屏蔽AI训练爬虫

谷歌、微软、Anthropic和OpenAI宣布计划支持一项新的爬虫标准，该标准将使网站运营者能够阻止AI开发者使用其内容来训练模型。在目前的体系下，一家希望禁止训练相关抓取的公司必须多次编辑其robots.txt文件，为每个AI提供商单独添加一条规则，如果某个提供商运行多个爬虫，还需为每个爬虫额外添加规则。新标准将允许运营者只用robots.txt中的一条规则，就能屏蔽所有为生成式AI模型收集训练数据的爬虫。该设置不会适用于仅执行非生成式任务的模型。

这四家公司计划将该标准纳入Robots Exclusion Protocol（机器人排除协议），即robots.txt文件所遵循的格式。它们已经向负责维护该协议的非营利组织——互联网工程任务组（Internet Engineering Task Force）提交了提案草案。

微软在一篇博客文章中表示，还将提供一项名为“AI Grounding”的设置，适用于AI模型为回答用户问题而访问网页、而非为收集训练数据而抓取内容的情形。网站运营者将能够阻止微软的相关服务发送此类请求，这项控制还将延伸至使用微软技术处理提示词的第三方AI工具。OpenAI计划提供类似的控制选项。

OpenAI和微软打算在未来几个月内支持该标准，谷歌则将在明年某个时候跟进。Meta Platforms表示支持这项技术背后的理念，但尚未承诺实施。