Google, Microsoft, OpenAI et Anthropic soutiennent une solution d'une seule ligne pour bloquer les robots d'entraînement de l'IA

Google, Microsoft, Anthropic et OpenAI ont annoncé des plans pour soutenir une nouvelle norme de crawling qui permettra aux exploitants de sites web d'empêcher les développeurs d'IA d'utiliser leur contenu pour entraîner des modèles. Dans le système actuel, une entreprise souhaitant interdire le scraping lié à l'entraînement doit modifier son fichier robots.txt à de multiples reprises, en ajoutant une entrée distincte pour chaque fournisseur d'IA, et une entrée supplémentaire pour chaque robot lorsqu'un fournisseur en exploite plusieurs. La nouvelle norme permettra aux exploitants de bloquer, avec une seule entrée robots.txt, tous les robots qui collectent des données d'entraînement pour des modèles d'IA générative. Ce réglage ne s'appliquera pas aux modèles qui effectuent exclusivement des tâches non génératives.

Les quatre entreprises prévoient d'intégrer cette norme au Robots Exclusion Protocol, le format que suivent les fichiers robots.txt. Elles ont déjà soumis une ébauche de leur proposition à l'Internet Engineering Task Force, l'organisation à but non lucratif qui gère ce protocole.

Microsoft a indiqué, dans un billet de blog, qu'il proposera également un réglage appelé AI Grounding. Celui-ci concerne les cas où un modèle d'IA consulte une page web pour répondre à la question d'un utilisateur, plutôt que pour collecter des données d'entraînement. Les exploitants de sites web pourront empêcher les services de Microsoft d'envoyer ce type de requêtes, un contrôle qui s'étendra aussi aux outils d'IA tiers utilisant les technologies de Microsoft pour traiter les requêtes. OpenAI prévoit de proposer des contrôles similaires.

OpenAI et Microsoft comptent soutenir cette norme dans les prochains mois, tandis que Google suivra au cours de l'année prochaine. Meta Platforms a déclaré soutenir l'idée derrière cette technologie, mais ne s'est pas encore engagé à la mettre en œuvre.