Anthropic warnt in Börsenprospekt: KI könnte sich bald selbst verbessern

In einer geänderten S-1/A-Einreichung, die am Montag veröffentlicht wurde, warnte Anthropic Investoren, dass sich das Unternehmen einem Meilenstein nähern könnte, den es als „Schwelle zur rekursiven Selbstverbesserung" (recursive self-improvement, RSI) bezeichnet. RSI beschreibt den Punkt, an dem eine KI so fähig wird, sich selbst zu trainieren, dass dies eine dramatische, rasante Beschleunigung der KI-Fähigkeiten auslöst – eine Entwicklung, die KI-Sicherheitsforscher als kritischen und potenziell unkontrollierbaren Wendepunkt betrachten. In seiner Responsible Scaling Policy definiert Anthropic diese Schwelle als „durch KI verursachten, dramatisch beschleunigten Fortschritt".

Das Unternehmen erklärte, keines seiner aktuellen Modelle habe diese Grenze bislang überschritten, fügte jedoch hinzu, dass interne Prognosen zu baldigen Modellen darauf hindeuteten, dass die Schwelle „unmittelbar" erreicht werden könnte. In einem bemerkenswerten Eingeständnis räumte Anthropic ein, dass es in der Vergangenheit bedeutende Fortschritte bei den Fähigkeiten eigener Modelle erst nachträglich erkannt habe, und erklärte, dass dies erneut geschehen könnte.

Neben der RSI-Offenlegung vermerkte die Einreichung, dass zwar die Einnahmen stark steigen, zugleich aber auch die Ausgaben. Anthropic sicherte zudem zu, Menschen auch künftig in die Entwicklung von Spitzenmodellen maßgeblich einzubinden, und erklärte, es prüfe Aktualisierungen seiner Responsible Scaling Policy, um die menschliche Aufsicht zu erhalten.

Skeptiker dürften anmerken, dass ein S-1-Filing sowohl der Offenlegungspflicht als auch Marketingzwecken dient und dass die Ankündigung, sich einem derart mächtigen Meilenstein zu nähern, sowohl als Warnung als auch als Verkaufsargument gelesen werden kann. Dennoch verleihen die raschen Fähigkeitszuwächse des Unternehmens im vergangenen Jahr in den Bereichen Programmierung, Mathematik und Cybersicherheit der Warnung echtes Gewicht.