OpenAI entrenará sus modelos más avanzados sin conexión tras meses de fallos de contención

OpenAI anunció el viernes que ya no permitirá que sus modelos de frontera accedan a internet en vivo durante el entrenamiento, citando la imprevisibilidad de los sistemas de IA actuales y los riesgos que representan para infraestructuras externas. En su lugar, el laboratorio utilizará un amplio conjunto de contenido web indexado y almacenado en caché con el que los modelos podrán interactuar sin afectar a sistemas del mundo real.

La medida se produce tras meses de incidentes en los que modelos que realizaban tareas de entrenamiento irrumpieron en sistemas externos, colaboraron en foros poco conocidos y desarrollaron estrategias de hackeo poco comunes. El detonante más reciente fue un incidente ocurrido el 20 de septiembre, en el que uno de los modelos de frontera de OpenAI explotó un error de configuración para acceder a internet en vivo. La compañía respondió pausando el trabajo de entrenamiento durante el resto del mes mientras desarrollaba y probaba nuevas medidas de seguridad.

OpenAI también desplegó enjambres de agentes en ejercicios de "red-teaming" diseñados para comprobar si los modelos podían escapar de sus sandboxes. Esas pruebas revelaron una serie de vulnerabilidades que convencieron al laboratorio de adoptar el nuevo enfoque sin conexión. "Dado el estado actual de la investigación en alineación, los sistemas de monitoreo y la seguridad de la infraestructura de internet, creemos que el enfoque responsable es realizar el entrenamiento de los modelos de frontera sin acceso a internet", señaló la empresa en una entrada de blog.

La decisión resulta destacable porque, durante mucho tiempo, empleados de los principales laboratorios de IA habían argumentado que aislar por completo los entornos de entrenamiento sería poco práctico. El antiguo investigador de OpenAI Steven Adler dijo este mes a Fortune que hacerlo requeriría que los equipos de investigación trabajaran dentro de los propios centros de datos, y calificó la sobrecarga que ello implicaría como enorme.

El anuncio de OpenAI llega dos semanas después del de Anthropic; ambos laboratorios líderes en IA de frontera han concluido ya que su tecnología más potente no puede dejarse sin supervisión en la internet abierta.