Google, Microsoft, OpenAI e Anthropic sostengono una soluzione di una sola riga per bloccare i crawler di addestramento dell'IA

Google, Microsoft, Anthropic e OpenAI hanno annunciato piani per sostenere un nuovo standard di crawling che permetterà ai gestori di siti web di impedire agli sviluppatori di IA di usare i loro contenuti per addestrare i modelli. Con il sistema attuale, un'azienda che vuole vietare lo scraping legato all'addestramento deve modificare più volte il proprio file robots.txt, aggiungendo una voce separata per ciascun fornitore di IA e un'ulteriore voce per ogni scraper quando un fornitore ne gestisce più di uno. Il nuovo standard permetterà ai gestori di bloccare, con una sola voce nel robots.txt, tutti gli scraper che raccolgono dati di addestramento per modelli di IA generativa. L'impostazione non si applicherà ai modelli che svolgono esclusivamente compiti non generativi.

Le quattro aziende prevedono di integrare lo standard nel Robots Exclusion Protocol, il formato seguito dai file robots.txt. Hanno già presentato una bozza della loro proposta all'Internet Engineering Task Force, l'organizzazione no profit che gestisce il protocollo.

Microsoft ha dichiarato in un post sul blog che offrirà anche un'impostazione chiamata AI Grounding. Questa riguarda i casi in cui un modello di IA visita una pagina web per rispondere alla domanda di un utente, anziché per raccogliere dati di addestramento. I gestori di siti web potranno impedire ai servizi Microsoft di inviare tali richieste, e il controllo si estenderà anche agli strumenti di IA di terze parti che usano tecnologie Microsoft per elaborare le richieste. OpenAI prevede di offrire controlli simili.

OpenAI e Microsoft intendono sostenere lo standard nei prossimi mesi, mentre Google seguirà nel corso del prossimo anno. Meta Platforms ha dichiarato di sostenere l'idea alla base della tecnologia, ma non si è ancora impegnata ad adottarla.