Anthropic warnt im Börsenprospekt, nahe an einer KI zu sein, die sich selbst verbessert: Das Unternehmen räumt ein, eine Beschleunigung der eigenen Entwicklung schon einmal erst bemerkt zu haben, als sie bereits passiert war

Anthropic hat den überarbeiteten Antrag für den Börsengang (das Dokument S-1/A) veröffentlicht, und die Aufmerksamkeit galt sofort den Zahlen: Die Umsätze wachsen, aber auch die Kosten. Tiefer im Dokument, im Abschnitt über Risiken, steht ein Satz, der wichtiger ist als jede Bilanz. Das Unternehmen schreibt, es stehe möglicherweise an der Schwelle zu künstlicher Intelligenz, die sich selbst verbessert.

Der Begriff lautet rekursive Selbstverbesserung (RSI) - der Punkt, an dem KI so gut darin wird, sich selbst zu trainieren, dass sich die Entwicklung ungebremst zu beschleunigen beginnt. Für die einen ist das der Moment, in dem der Mensch die Kontrolle verliert und es kein Zurück gibt. Für die anderen ein Versprechen von Produktivität und wissenschaftlichen Entdeckungen, die wir uns kaum vorstellen können. Anthropic hält es laut eigenem Dokument für beides.

Neu im Risikoabschnitt sind zwei Sätze. Erstens: Das Unternehmen nutzt zunehmend KI für die eigene Entwicklung, sodass Modelle schneller voranschreiten könnten, als es sie prüfen und absichern kann. Und es räumt ein, in der Vergangenheit eine erhebliche Beschleunigung der Entwicklung nicht erkannt zu haben, bis sie bereits eingetreten war. Zweitens: Interne Einschätzungen künftiger Modelle zeigen, dass Anthropic „in naher Zukunft“ die Schwelle erreichen könnte, die die eigene Responsible Scaling Policy als „dramatisch beschleunigten, auf KI zurückzuführenden Fortschritt“ beschreibt.

Das Dokument beruhigt sofort. Für keines der aktuellen Modelle wurde festgestellt, dass es diese Schwelle überschritten hat, und die Daten werden noch ausgewertet. Das Unternehmen schreibt, es gehe nicht davon aus, Claude sicher völlig allein neue Modellgenerationen entwerfen und bauen lassen zu können, ohne „bedeutsame menschliche Aufsicht oder Verständnis“, und erwäge Änderungen seiner Richtlinien, um die Menschen in Kontrolle zu halten.

Hier muss man innehalten und lesen, wer schreibt und warum. Ein Börsenprospekt ist zugleich Pflichtoffenlegung von Risiken und Werbematerial vor einem Aktienverkauf. Ein Unternehmen, das Investoren sagt, es sei nahe an einer KI, die sich selbst baut, sendet ihnen auch eine zweite Botschaft: dass es allen anderen voraus ist. Ist das eine Warnung oder die teuerste Werbung des Jahres?

Andererseits ist Claudes Fortschritt in diesem Jahr bei Programmierung, Mathematik und Cybersicherheit auch ohne Prospekt sichtbar. Wenn das Unternehmen, das das System baut, selbst sagt, es nähere sich der Linie, ist die Frage nicht mehr technologisch. Wer bewacht diese Linie - die Aktionäre, die erst noch einsteigen, oder die Gesetzgeber in Washington und Brüssel?