Google, Microsoft, OpenAI и Anthropic поддержат однострочный способ блокировки краулеров для обучения ИИ

Google, Microsoft, Anthropic и OpenAI объявили о планах поддержать новый стандарт сканирования, который позволит владельцам сайтов запретить разработчикам ИИ использовать их контент для обучения моделей. В нынешней системе компания, желающая запретить сбор данных для обучения, вынуждена многократно редактировать файл robots.txt, добавляя отдельную запись для каждого поставщика ИИ и дополнительную запись для каждого краулера, если у поставщика их несколько. Новый стандарт позволит владельцам сайтов одной записью в robots.txt заблокировать всех краулеров, собирающих обучающие данные для генеративных моделей ИИ. Эта настройка не будет распространяться на модели, выполняющие исключительно негенеративные задачи.

Четыре компании планируют встроить стандарт в Robots Exclusion Protocol — формат, которому следуют файлы robots.txt. Они уже направили черновик своего предложения в Internet Engineering Task Force — некоммерческую организацию, которая поддерживает этот протокол.

Microsoft сообщила в блоге, что также предложит настройку под названием AI Grounding. Она касается случаев, когда модель ИИ посещает веб-страницу, чтобы ответить на вопрос пользователя, а не для сбора обучающих данных. Владельцы сайтов смогут запретить сервисам Microsoft отправлять такие запросы, и этот контроль также распространится на сторонние ИИ-инструменты, использующие технологии Microsoft для обработки запросов. OpenAI планирует предложить аналогичные настройки.

OpenAI и Microsoft намерены поддержать стандарт в ближайшие месяцы, а Google — в течение следующего года. Meta Platforms заявила, что поддерживает идею, лежащую в основе этой технологии, но пока не взяла на себя обязательств по её внедрению.