Anthropic avertit, dans son dossier d'introduction en bourse, que l'IA pourrait bientôt se construire elle-même

Dans une version modifiée du formulaire S-1/A publiée lundi, Anthropic a averti les investisseurs qu'elle pourrait approcher d'une étape qu'elle appelle le seuil d'auto-amélioration récursive (recursive self-improvement, RSI). Le RSI désigne le moment où une IA devient si capable de s'entraîner elle-même qu'elle déclenche une accélération spectaculaire et rapide des capacités de l'IA — une évolution que les chercheurs en sécurité de l'IA considèrent comme un point d'inflexion critique et potentiellement incontrôlable. Dans sa Politique de mise à l'échelle responsable (Responsible Scaling Policy), Anthropic définit ce seuil comme «des progrès spectaculairement accélérés attribuables à l'IA».

L'entreprise a indiqué qu'aucun de ses modèles actuels n'avait encore franchi cette limite, mais a ajouté que ses projections internes concernant les futurs modèles suggèrent que le seuil pourrait être atteint «de manière imminente». Dans un aveu frappant, Anthropic a reconnu avoir, par le passé, échoué à identifier des sauts importants dans les capacités de ses propres modèles avant qu'ils ne se produisent, et a précisé que cela pourrait se reproduire.

Outre cette révélation sur le RSI, le dossier a noté que si les revenus s'envolent, les dépenses aussi augmentent fortement. Anthropic s'est également engagée à maintenir une implication humaine significative dans le développement de ses modèles de pointe dans un avenir prévisible, et a indiqué qu'elle envisageait de mettre à jour sa Politique de mise à l'échelle responsable afin de préserver la supervision humaine.

Les sceptiques pourraient faire remarquer qu'un formulaire S-1 remplit à la fois une fonction d'information et de marketing, et que l'annonce d'une approche vers un jalon aussi puissant peut être lue à la fois comme un avertissement et comme un argument de vente. Néanmoins, les progrès rapides de l'entreprise en programmation, en mathématiques et en cybersécurité au cours de l'année écoulée donnent à cet avertissement un poids réel.