Google, Microsoft, OpenAI і Anthropic підтримають однорядковий спосіб блокування краулерів для навчання ШІ

Google, Microsoft, Anthropic і OpenAI оголосили про плани підтримати новий стандарт сканування, який дозволить власникам вебсайтів забороняти розробникам ШІ використовувати їхній контент для навчання моделей. За нинішньою системою компанія, яка хоче заборонити скрапінг, пов'язаний з навчанням, змушена багато разів редагувати файл robots.txt, додаючи окремий запис для кожного постачальника ШІ та ще один запис для кожного краулера, якщо постачальник використовує кілька. Новий стандарт дозволить власникам сайтів одним записом у robots.txt заблокувати всіх краулерів, які збирають навчальні дані для генеративних моделей ШІ. Це налаштування не поширюватиметься на моделі, що виконують виключно негенеративні завдання.

Чотири компанії планують вбудувати стандарт у Robots Exclusion Protocol — формат, якому слідують файли robots.txt. Вони вже подали чернетку своєї пропозиції до Internet Engineering Task Force — некомерційної організації, що опікується цим протоколом.

Microsoft повідомила в блозі, що також запропонує налаштування під назвою AI Grounding. Воно стосується випадків, коли модель ШІ відвідує вебсторінку, щоб відповісти на запитання користувача, а не для збору навчальних даних. Власники сайтів зможуть забороняти сервісам Microsoft надсилати такі запити, і цей контроль також поширюватиметься на сторонні інструменти ШІ, які використовують технології Microsoft для обробки запитів. OpenAI планує запропонувати подібні засоби контролю.

OpenAI і Microsoft мають намір підтримати стандарт найближчими місяцями, а Google приєднається протягом наступного року. Meta Platforms заявила, що підтримує ідею, закладену в цій технології, але поки не взяла на себе зобов'язань щодо її впровадження.