Anthropic warnt Börsengang-Investoren: KI könnte bald Schwelle zur Selbstverbesserung erreichen

Anthropic hat am Montag in seiner überarbeiteten S-1/A-Einreichung bei der US-Börsenaufsicht SEC eine bemerkenswerte Warnung veröffentlicht. Laut internen Prognosen geht das Unternehmen davon aus, dass künftige Modelle schon bald die eigene Definition der Responsible Scaling Policy für „drastisch beschleunigten, auf KI zurückführbaren Fortschritt“ erfüllen könnten – jene Schwelle, ab der ein KI-Modell die allgemeine Entwicklung von KI deutlich beschleunigt, gemeinhin als rekursive Selbstverbesserung (RSI) bezeichnet.

Anthropic betont, dass bislang kein aktuelles Modell diese Grenze überschritten hat. Die Einreichung räumt jedoch ein, dass das Unternehmen bereits KI in seiner eigenen Forschungs- und Entwicklungsarbeit einsetzt und dass diese wachsende Abhängigkeit von KI-Systemen dazu führen könnte, dass sich die Fähigkeiten der Modelle schneller weiterentwickeln, als Anthropic entsprechende Sicherheitsmaßnahmen entwickeln kann. Zudem gibt das Unternehmen zu, eine erhebliche Beschleunigung möglicherweise erst erkennen zu können, nachdem sie bereits eingetreten ist.

In Sachen Sicherheit verspricht Anthropic, Menschen weiterhin maßgeblich einzubeziehen. Das Unternehmen erklärt, es rechne nicht damit, Claude sicher vollständig autonom die Gestaltung und den Bau nachfolgender Generationen von Spitzenmodellen überlassen zu können, und erwägt Aktualisierungen seiner Responsible Scaling Policy, um diese Zusage durchzusetzen.

Kritiker könnten anmerken, dass eine S-1-Einreichung sowohl der Offenlegung als auch dem Marketing dient und dass das Signalisieren der Nähe zu einem derart mächtigen Meilenstein Investoren ebenso anlocken wie warnen könnte. Dennoch lässt sich Anthropics konkretes Eingeständnis, dass RSI bevorstehen könnte – und dass frühere Fähigkeitssprünge in Echtzeit unerkannt blieben – nur schwer von der Hand weisen. Über die Geschichte berichtete zuerst TechCrunch.