Der Chef von Anthropic, Dario Amodei, schrieb in einem neuen Text etwas, das aus dem Mund eines Mannes, der künstliche Intelligenz verkauft, wie Sabotage am eigenen Geschäft klingt: „Wir müssen das Tempo drosseln, mit dem wir die Fähigkeiten der Modelle verbessern.“ Derselbe fügte hinzu, der Fortschritt werde dennoch schnell wirken und die gewonnene Zeit müsse klug genutzt werden. Die Frage, die er sich selbst stellte, lautet: Wer hat es eigentlich so eilig?

Der Anlass ist nicht philosophisch. Amodei nannte zwei Dinge, die ihn zum Schreiben brachten - den Sicherheitsvorfall bei OpenAI und HuggingFace und den Umstand, dass Modelle beginnen, sich selbst zu verbessern. Zuvor hatte ein Anthropic-Forscher namens Jacob Coxon gekündigt und war mit einem Satz gegangen, den man nicht leicht vergisst: dass die Menschen an der Spitze der Branche aufrichtig glauben, die Technologie könne uns alle noch vor Ende des Jahrzehnts töten. Ein Mann, der die Sache baut, geht von ihr weg und sagt das laut - das ist für sich genommen ein Datum.

Drei Vorschläge, von denen einer die Erlaubnis des Staates braucht

Der erste ist interne Aufsicht: unabhängige Prüfer aus Organisationen wie METR sollen in den Firmen sitzen und kontrollieren, ob das versprochene Sicherheitsverhalten auch umgesetzt wird, mit demselben Zugang zu internen Risikobewertungen. Anthropic sagt, es werde das von sich aus tun, und fordert, dass die Regierungen alle dazu verpflichten. Sam Altman von OpenAI antwortete, der Vorschlag sei eine gute Idee und man mache mit - „ich stimme Dario zu, dass wir das Tempo an der Front regulieren sollten“, schrieb er. Elon Musk fasste sich kürzer: „Dario hat recht.“

Der zweite Vorschlag ist schwerer. Führende Firmen in demokratischen Staaten sollen sich auf gemeinsame Sicherheitsstandards und auf eine Begrenzung der Entwicklungsgeschwindigkeit einigen. Nur hat eine Absprache zwischen den größten Akteuren eines Marktes darüber, wie schnell sie arbeiten dürfen, im Recht auch einen anderen Namen, und Amodei weiß das - deshalb fordert er eine enge Ausnahme vom Kartellrecht, mit einer Regierung, die vermittelt, ohne teilzunehmen. Lesen Sie das zweimal. Konkurrenten fordern rechtliche Deckung, um an einem Tisch sitzen zu können.

Der dritte ist global und schließt Gespräche mit autoritären Regierungen ein. Amodei räumt ein, dass die Erwartungen dort gering sind, meint aber, zumindest für offensichtlich gefährliche Anwendungen - etwa Biowaffen - lasse sich eine gemeinsame Sprache finden. Für die chinesische Konkurrenz schlägt er eine ältere Lösung vor: begrenzten Zugang zu Chips und Kampf gegen das Kopieren von Modellen, was Amerika seiner Ansicht nach drei bis fünf Jahre Vorsprung verschaffen würde.

Wer vom Bremsen profitiert

Der Journalist Brian Merchant und andere aus der Branche stellten sofort die Frage, die über der ganzen Sache schwebt: Ist das Sicherheit oder ist das Regulierungsvereinnahmung? Wenn zwei Firmen, die bereits an der Spitze stehen, Regeln dafür fordern, wie schnell gelaufen werden darf, stören diese Regeln selten sie selbst. Sie stören den, der hinter ihnen liegt und kein Geld für unabhängige Prüfer im eigenen Haus hat. Andere sagen, Weltuntergangserzählungen seien bequem, weil sie von den Schäden ablenken, die heute schon existieren, mit den Modellen, wie sie sind.

Amodei schließt damit, sein Wunsch nach den Vorteilen sei ungebrochen, doch sie kämen nur, wenn die Technologie auf die richtige Weise gebaut werde. Das ist ein Satz, dem schwer zu widersprechen ist - und genau deshalb lohnt es, darauf zu achten, wer ihn sagt und zu wessen Gunsten das Gewicht der vorgeschlagenen Regeln ausfällt.