Google, Microsoft, Anthropic und OpenAI unterstützen neuen Opt-out-Standard für KI-Crawler

Google, Microsoft, Anthropic und OpenAI gaben am 30. Oktober 2026 bekannt, dass sie einen neuen Standard für das Website-Crawling unterstützen werden, der es Verlagen erleichtern soll, KI-Unternehmen daran zu hindern, ihre Inhalte zum Training von Modellen zu nutzen.

Im derzeitigen System muss ein Website-Betreiber, der KI-Trainings-Crawler blockieren möchte, für jeden einzelnen Crawler einen separaten Eintrag in seine robots.txt-Datei einfügen – ein Verfahren, das immer unübersichtlicher wird, da KI-Anbieter mehrere Crawler betreiben. Der neue Standard würde es ermöglichen, mit einem einzigen robots.txt-Eintrag alle Crawler zu blockieren, die Daten für das Training generativer KI-Modelle sammeln. Die Einstellung würde nicht für Modelle gelten, die ausschließlich nicht-generative Aufgaben ausführen.

Die vier Unternehmen haben bereits einen Entwurfsvorschlag bei der Internet Engineering Task Force eingereicht, der gemeinnützigen Organisation, die das Robots Exclusion Protocol verwaltet – das standardisierte Format, das die Struktur von robots.txt-Dateien regelt. Sie planen, den neuen Crawling-Standard in dieses Format zu integrieren.

OpenAI und Microsoft wollen die Unterstützung des Standards in den kommenden Monaten einführen, während Google plant, im Laufe des nächsten Jahres nachzuziehen. Meta äußerte Unterstützung für die Idee, hat sich aber nicht zur Umsetzung verpflichtet.

Microsoft kündigte außerdem eine separate Funktion namens AI Grounding an, die auf ein anderes Szenario abzielt: wenn ein KI-Modell auf eine Webseite zugreift, um die Frage eines Nutzers zu beantworten, statt Trainingsdaten zu sammeln. Website-Betreiber werden diese Einstellung nutzen können, um zu verhindern, dass Microsoft-Dienste – sowie Drittanbieter-KI-Tools, die auf Microsoft-Technologien basieren – solche Anfragen stellen.