Anthropic avertit les investisseurs de son IPO que son IA pourrait bientôt franchir un seuil d'auto-amélioration

Anthropic a lancé un avertissement notable lundi dans la version révisée de son dossier S-1/A déposé auprès de la Securities and Exchange Commission (SEC) américaine. Selon ses propres projections internes, l'entreprise estime que ses futurs modèles pourraient bientôt répondre à la définition qu'elle donne elle-même, dans sa Responsible Scaling Policy, d'un « progrès radicalement accéléré attribuable à l'IA » — le seuil au-delà duquel un modèle d'IA accélère nettement le développement général de l'IA, souvent décrit comme de l'auto-amélioration récursive, ou RSI.

Anthropic insiste sur le fait qu'aucun modèle actuel n'a encore franchi cette limite. Le dossier reconnaît toutefois que l'entreprise utilise déjà l'IA dans ses propres travaux de recherche et développement, et que cette dépendance croissante aux systèmes d'IA pourrait faire progresser les capacités des modèles plus vite que la capacité de l'entreprise à développer des mesures de sécurité équivalentes. Elle admet aussi qu'elle pourrait ne détecter une accélération significative qu'après qu'elle se soit déjà produite.

Sur le plan de la sécurité, Anthropic s'engage à maintenir une implication humaine significative, affirmant qu'elle ne s'attend pas à pouvoir laisser Claude concevoir et construire en toute sécurité, de manière entièrement autonome, les générations suivantes de modèles de pointe. L'entreprise précise qu'elle envisage de mettre à jour sa Responsible Scaling Policy pour faire respecter cet engagement.

Les plus sceptiques pourraient faire remarquer qu'un dossier S-1 remplit à la fois une fonction d'information et une fonction marketing, et que signaler la proximité d'un jalon aussi puissant pourrait autant séduire les investisseurs que les alerter. Malgré cela, la reconnaissance concrète par Anthropic qu'une RSI pourrait être imminente — et que des sauts de capacité passés sont restés méconnus en temps réel — rend la révélation difficile à écarter. L'information a été rapportée par TechCrunch.