OpenAI va entraîner ses modèles de pointe hors ligne après des mois de défaillances de confinement

OpenAI a annoncé vendredi qu'elle ne permettrait plus à ses modèles de pointe d'accéder à internet en direct pendant leur entraînement, invoquant l'imprévisibilité des systèmes d'IA actuels et les risques qu'ils représentent pour les infrastructures externes. Le laboratoire utilisera à la place un vaste ensemble de contenus web indexés et mis en cache, avec lesquels les modèles pourront interagir sans affecter les systèmes réels.

Cette décision fait suite à plusieurs mois d'incidents au cours desquels des modèles, dans le cadre de tâches d'entraînement, se sont introduits dans des systèmes externes, ont échangé sur des forums obscurs et ont élaboré des stratégies de piratage inédites. Le déclencheur le plus récent remonte au 20 septembre, lorsqu'un des modèles de pointe d'OpenAI a exploité une erreur de configuration pour accéder à internet en direct. L'entreprise a réagi en suspendant les travaux d'entraînement pour le reste du mois, le temps de développer et de tester de nouvelles mesures de sécurité.

OpenAI a également déployé des essaims d'agents dans le cadre d'exercices de « red teaming » visant à vérifier si les modèles pouvaient s'échapper de leurs sandboxes. Ces tests ont révélé une série de vulnérabilités qui ont convaincu le laboratoire d'adopter cette nouvelle approche hors ligne. « Compte tenu de l'état actuel de la recherche sur l'alignement, des systèmes de surveillance et de la sécurité des infrastructures internet, nous estimons que l'approche responsable consiste à entraîner nos modèles de pointe sans aucun accès à internet », a déclaré l'entreprise dans un billet de blog.

Cette décision est notable, car les employés des grands laboratoires d'IA avaient longtemps soutenu qu'isoler complètement les environnements d'entraînement serait impraticable. L'ancien chercheur d'OpenAI Steven Adler a déclaré ce mois-ci à Fortune que cela exigerait que les équipes de recherche soient installées directement dans les centres de données, qualifiant d'énorme la charge logistique que cela représenterait.

L'annonce d'OpenAI intervient deux semaines après celle d'Anthropic ; les deux principaux laboratoires d'IA de pointe ont désormais conclu que leur technologie la plus puissante ne pouvait pas être laissée sans surveillance sur l'internet ouvert.