Google, Microsoft, Anthropic і OpenAI підтримали новий стандарт блокування ШІ-краулерів

30 жовтня 2026 року Google, Microsoft, Anthropic і OpenAI оголосили, що підтримають новий стандарт сканування вебсайтів, покликаний полегшити видавцям завдання не допустити використання їхнього контенту ШІ-компаніями для навчання моделей.

За нинішньою системою власник сайту, який хоче заблокувати краулерів, що збирають дані для навчання ШІ, має додавати в файл robots.txt окремий запис для кожного окремого краулера — процедура, яка стає дедалі громіздкішою, оскільки постачальники ШІ використовують по кілька краулерів. Новий стандарт дозволить одному запису в robots.txt одночасно блокувати всіх краулерів, що збирають дані для навчання генеративних моделей ШІ. Це налаштування не поширюватиметься на моделі, які виконують виключно негенеративні завдання.

Чотири компанії вже подали проєкт пропозиції до Internet Engineering Task Force — неприбуткової організації, що опікується Robots Exclusion Protocol, стандартизованим форматом, який регулює структуру файлів robots.txt. Вони планують включити новий стандарт сканування до цього формату.

OpenAI і Microsoft мають намір додати підтримку стандарту найближчими місяцями, тоді як Google планує зробити це протягом наступного року. Meta підтримала ідею, але не взяла на себе зобов'язань щодо її впровадження.

Microsoft також анонсувала окрему функцію під назвою AI Grounding, призначену для іншого сценарію: коли модель ШІ звертається до вебсторінки, щоб відповісти на запитання користувача, а не для збору навчальних даних. Власники сайтів зможуть використовувати це налаштування, щоб заборонити сервісам Microsoft — а також стороннім ШІ-інструментам, що працюють на технологіях Microsoft, — робити такі запити.