Google, Microsoft, OpenAI und Anthropic unterstützen Ein-Zeilen-Lösung gegen KI-Trainings-Crawler

Google, Microsoft, Anthropic und OpenAI haben Pläne angekündigt, einen neuen Crawling-Standard zu unterstützen, der es Website-Betreibern ermöglicht, zu verhindern, dass KI-Entwickler ihre Inhalte zum Training von Modellen nutzen. Im aktuellen System muss ein Unternehmen, das trainingsbezogenes Scraping unterbinden will, seine robots.txt-Datei mehrfach bearbeiten – mit einem eigenen Eintrag für jeden KI-Anbieter und einem weiteren Eintrag für jeden Scraper, falls ein Anbieter mehrere betreibt. Der neue Standard würde es Betreibern erlauben, mit nur einem robots.txt-Eintrag alle Scraper zu blockieren, die Trainingsdaten für generative KI-Modelle sammeln. Die Einstellung würde nicht für Modelle gelten, die ausschließlich nicht-generative Aufgaben erfüllen.

Die vier Unternehmen planen, den Standard in das Robots Exclusion Protocol einzubauen, das Format, dem robots.txt-Dateien folgen. Sie haben bereits einen Entwurf ihres Vorschlags bei der Internet Engineering Task Force eingereicht, der Non-Profit-Organisation, die das Protokoll pflegt.

Microsoft erklärte in einem Blogbeitrag, zusätzlich eine Einstellung namens AI Grounding anzubieten. Diese betrifft Fälle, in denen ein KI-Modell eine Webseite aufruft, um die Frage eines Nutzers zu beantworten, statt Trainingsdaten zu sammeln. Website-Betreiber sollen Microsofts Dienste daran hindern können, solche Anfragen zu senden, wobei die Kontrolle auch für Drittanbieter-KI-Tools gelten soll, die Microsoft-Technologien zur Verarbeitung von Prompts nutzen. OpenAI plant ähnliche Kontrollmöglichkeiten.

OpenAI und Microsoft wollen den Standard in den kommenden Monaten unterstützen, Google will im Laufe des nächsten Jahres folgen. Meta Platforms erklärte, die Idee hinter der Technologie zu unterstützen, hat sich aber noch nicht zu einer Umsetzung verpflichtet.