Google, Microsoft, OpenAI y Anthropic respaldan una solución de una línea para bloquear rastreadores de entrenamiento de IA

Google, Microsoft, Anthropic y OpenAI anunciaron planes para respaldar un nuevo estándar de rastreo que permitirá a los operadores de sitios web impedir que los desarrolladores de IA utilicen su contenido para entrenar modelos. Con el sistema actual, una empresa que quiera prohibir el rastreo relacionado con el entrenamiento debe editar su archivo robots.txt muchas veces, añadiendo una entrada distinta para cada proveedor de IA y otra adicional por cada rastreador cuando un proveedor utiliza varios. El nuevo estándar permitirá a los operadores bloquear, con una sola entrada en robots.txt, a todos los rastreadores que recopilan datos de entrenamiento para modelos de IA generativa. La configuración no se aplicará a los modelos que realizan exclusivamente tareas no generativas.

Las cuatro empresas planean incorporar el estándar al Robots Exclusion Protocol, el formato que siguen los archivos robots.txt. Ya han presentado un borrador de su propuesta ante el Internet Engineering Task Force, la organización sin fines de lucro que mantiene el protocolo.

Microsoft indicó en una publicación de blog que también ofrecerá una configuración llamada AI Grounding. Esta cubre los casos en los que un modelo de IA visita una página web para responder a la pregunta de un usuario, en lugar de recopilar datos de entrenamiento. Los operadores de sitios web podrán impedir que los servicios de Microsoft envíen ese tipo de solicitudes, y el control también se extenderá a herramientas de IA de terceros que utilicen tecnologías de Microsoft para procesar las consultas. OpenAI planea ofrecer controles similares.

OpenAI y Microsoft tienen previsto respaldar el estándar en los próximos meses, mientras que Google lo hará en algún momento del próximo año. Meta Platforms dijo que apoya la idea detrás de la tecnología, pero aún no se ha comprometido a implementarla.