Google, Microsoft, Anthropic и OpenAI поддержали новый стандарт блокировки ИИ-краулеров

30 октября 2026 года Google, Microsoft, Anthropic и OpenAI объявили, что поддержат новый стандарт сканирования сайтов, призванный упростить издателям задачу — не допустить использования их контента ИИ-компаниями для обучения моделей.

В нынешней системе владелец сайта, желающий заблокировать краулеров, собирающих данные для обучения ИИ, должен добавлять в файл robots.txt отдельную запись для каждого отдельного краулера — процедура, которая становится всё более громоздкой по мере того, как поставщики ИИ используют несколько краулеров. Новый стандарт позволит одной записи в robots.txt одновременно блокировать всех краулеров, собирающих данные для обучения генеративных моделей ИИ. Эта настройка не будет распространяться на модели, выполняющие исключительно негенеративные задачи.

Четыре компании уже представили проект предложения в Internet Engineering Task Force — некоммерческую организацию, которая поддерживает Robots Exclusion Protocol, стандартизированный формат, регулирующий структуру файлов robots.txt. Они планируют включить новый стандарт сканирования в этот формат.

OpenAI и Microsoft намерены добавить поддержку стандарта в ближайшие месяцы, тогда как Google планирует сделать это в течение следующего года. Meta поддержала идею, но не взяла на себя обязательств по её внедрению.

Microsoft также анонсировала отдельную функцию под названием AI Grounding, предназначенную для другого сценария: когда модель ИИ обращается к веб-странице, чтобы ответить на вопрос пользователя, а не для сбора обучающих данных. Владельцы сайтов смогут использовать эту настройку, чтобы запретить сервисам Microsoft — а также сторонним ИИ-инструментам, работающим на технологиях Microsoft, — делать такие запросы.