Google, Microsoft, Anthropic y OpenAI respaldan un nuevo estándar para bloquear a los rastreadores de IA

Google, Microsoft, Anthropic y OpenAI anunciaron el 30 de octubre de 2026 que respaldarán un nuevo estándar de rastreo web diseñado para facilitar que los editores impidan que las empresas de IA utilicen sus contenidos para entrenar modelos.

Con el sistema actual, el operador de un sitio web que quiera bloquear a los rastreadores de entrenamiento de IA debe añadir una entrada independiente a su archivo robots.txt por cada rastreador individual, un proceso que se vuelve cada vez más complicado a medida que los proveedores de IA utilizan varios rastreadores. El nuevo estándar permitiría que una sola entrada en robots.txt bloquee de una vez a todos los rastreadores que recopilan datos para el entrenamiento de modelos de IA generativa. El ajuste no se aplicaría a los modelos que realizan exclusivamente tareas no generativas.

Las cuatro empresas ya han presentado una propuesta preliminar al Internet Engineering Task Force, la organización sin fines de lucro que mantiene el Protocolo de Exclusión de Robots, el formato estandarizado que rige la estructura de los archivos robots.txt. Planean incorporar el nuevo estándar de rastreo a ese formato.

OpenAI y Microsoft tienen previsto añadir compatibilidad con el estándar en los próximos meses, mientras que Google planea hacerlo en algún momento del próximo año. Meta expresó su apoyo a la idea, pero no se ha comprometido a implementarla.

Microsoft también anunció una función independiente llamada AI Grounding, dirigida a un escenario distinto: cuando un modelo de IA accede a una página web para responder a la pregunta de un usuario en lugar de recopilar datos de entrenamiento. Los operadores de sitios web podrán usar ese ajuste para impedir que los servicios de Microsoft —y las herramientas de IA de terceros que dependen de tecnologías de Microsoft— realicen ese tipo de solicitudes.