Google, Microsoft, Anthropic e OpenAI sostengono un nuovo standard per bloccare i crawler di IA

Google, Microsoft, Anthropic e OpenAI hanno annunciato il 30 ottobre 2026 che sosterranno un nuovo standard per la scansione dei siti web, pensato per rendere più semplice agli editori impedire alle aziende di IA di usare i loro contenuti per addestrare i modelli.

Nel sistema attuale, chi gestisce un sito web e vuole bloccare i crawler di addestramento dell'IA deve aggiungere una voce distinta nel file robots.txt per ciascun singolo crawler, una procedura che diventa sempre più complicata man mano che i fornitori di IA utilizzano più crawler. Il nuovo standard permetterebbe a una singola voce nel robots.txt di bloccare in una volta sola tutti i crawler che raccolgono dati per l'addestramento di modelli di IA generativa. L'impostazione non si applicherebbe ai modelli che svolgono esclusivamente compiti non generativi.

Le quattro aziende hanno già presentato una proposta preliminare all'Internet Engineering Task Force, l'organizzazione no profit che gestisce il Robots Exclusion Protocol, il formato standardizzato che regola la struttura dei file robots.txt. Prevedono di integrare il nuovo standard di scansione in quel formato.

OpenAI e Microsoft intendono aggiungere il supporto allo standard nei prossimi mesi, mentre Google prevede di farlo nel corso del prossimo anno. Meta ha espresso appoggio all'idea, ma non si è impegnata ad attuarla.

Microsoft ha inoltre annunciato una funzione separata chiamata AI Grounding, pensata per uno scenario diverso: quando un modello di IA accede a una pagina web per rispondere alla domanda di un utente anziché per raccogliere dati di addestramento. I gestori dei siti web potranno usare questa impostazione per impedire ai servizi Microsoft — e agli strumenti di IA di terze parti basati sulle tecnologie Microsoft — di effettuare richieste di questo tipo.