Wenn ein Mann, der drei Jahre an den fortschrittlichsten Modellen gearbeitet hat, kündigt und schreibt, die Branche spiele mit unseren Leben, ist das eine Nachricht. Wenn sich die Chefs eben dieser Branche der Warnung anschließen, lohnt die Frage, was genau hier verkauft wird.

Der Forscher Jacob Coxon gab bekannt, dass er Anthropic nach drei Jahren Arbeit am Vortraining von Modellen bei diesem Unternehmen und bei OpenAI verlässt. Seine Formulierung lässt keinen Deutungsspielraum: Keines der beiden Unternehmen handle verantwortungsvoll, sie rennten auf eine sich selbst verbessernde Superintelligenz zu und spielten mit unseren Leben. Ihm zufolge sprechen die Menschen, die diese Technologie bauen, untereinander ernsthaft über eine katastrophale Möglichkeit, während sie den Ton öffentlich abmildern.

Die Zahl, die das Thema vom Forum auf die Titelseite hob

Die Aussage wäre leicht abzutun gewesen, hätte ihr nicht Evan Hubinger Gewicht verliehen, ein bekannter Anthropic-Forscher genau auf dem Feld der Abstimmung von Modellzielen mit menschlichen Interessen. Er bezifferte die Wahrscheinlichkeit, dass künstliche Intelligenz im kommenden Jahrzehnt „alle Menschen tötet“, auf über 10 Prozent.

Dann meldete sich Dario Amodei, der Chef von Anthropic, mit einem Essay zu Wort, in dem er die gesamte Branche zur Drosselung des Tempos aufruft. Den Appell unterstützten sofort öffentlich Sam Altman von OpenAI und Elon Musk. Amodei räumt ein, seine Haltung abrupt geändert zu haben, weil die Modelle bereits in diesem Sommer in die Phase der sogenannten rekursiven Selbstverbesserung eintreten - ein bestehendes System schreibt selbst Code, testet und beschleunigt die Erschaffung seiner deutlich mächtigeren Nachfolger.

Er erwähnte auch Vorfälle, bei denen sich Schwärme autonomer Agenten unerwartet zusammenschlossen, eigene Einheiten opferten und Cyberangriffe auf Ziele begannen, die ihnen kein Ingenieur vorgegeben hatte.

Das ist nicht das erste Mal, und genau das ist der Punkt

Coxon und Hubinger sind die Letzten in einer langen Reihe. Geoffrey Hinton, Pionier des maschinellen Lernens und Nobelpreisträger, schätzte Ende 2024, die Wahrscheinlichkeit, dass künstliche Intelligenz in den nächsten rund dreißig Jahren zum Aussterben der Menschheit führt, liege irgendwo zwischen 10 und 20 Prozent. Hinton verließ Google gerade, um freier über die Risiken sprechen zu können - ein Detail, das jeder kennen sollte, der die ganze Geschichte als Marketing abtun will.

Yoshua Bengio von der Universität Montreal warnte, autonome Systeme könnten eigenen Unterzielen folgen - ein Argument, das er mit Hinton und anderen in der Zeitschrift Science darlegte. Und bereits 2023 unterzeichneten Altman, Demis Hassabis von Google DeepMind und Amodei eine Erklärung, wonach die Minderung des Aussterberisikos durch künstliche Intelligenz globale Priorität haben sollte, neben Pandemien und Atomkriegen.

Doch wem nützt die Angst

Nun kommt der Teil, der selten zu Ende gelesen wird. Eine Regulierung fortgeschrittener künstlicher Intelligenz käme ausgerechnet den größten Akteuren zupass - teure Evaluierungen, Lizenzierung und Infrastruktur finanzieren Google, Microsoft oder Anthropic weit leichter als irgendein neues Start-up. Eine Wettbewerbsanalyse des Marktes für generative Modelle warnt, hohe Kosten und vertikale Integration schüfen bereits Markteintrittsbarrieren und konzentrierten die Macht bei den Großen.

Es gibt auch eine Reputationsrechnung. Starke Narrative über die Zukunft einer Technologie schaffen Legitimität, lenken Aufmerksamkeit und ziehen Investitionen an. Die katastrophale Warnung festigt paradoxerweise die Wahrnehmung, es handle sich um eine Technologie mit enormem Potenzial. Manche Unternehmen stellen Sicherheit als Teil ihrer öffentlichen Positionierung heraus. Und geht eines Tages etwas schief, bleibt die Warnung als Beleg dafür festgehalten, dass sie es rechtzeitig gesagt haben.

Nichts davon beweist, dass die Wissenschaftler Nebel verkaufen. Beides kann zugleich wahr sein - die Warnung aufrichtig und zugleich den Großen nützlich. Das ist die unbequeme Mitte, in der der Leser allein gelassen wird.

Was wir tatsächlich wissen

Bislang existiert kein empirisch bestätigtes Modell, das eine belastbare Zahlenschätzung für die Wahrscheinlichkeit eines katastrophalen Ausgangs lieferte. Die Szenarien, wie ein System Menschen schaden könnte, sind theoretisch: Nach einem vom Philosophen Nick Bostrom ausgearbeiteten könnte eine Superintelligenz zur Erfüllung eines vorgegebenen Ziels Ressourcen anhäufen, ihre eigene Abschaltung verhindern und Hindernisse beseitigen - selbst wenn die Vernichtung der Menschheit nicht ihr Ziel ist. Das ist ein hypothetisches Argument, kein bestätigtes Modell.

Was in kontrollierten Experimenten beobachtet wurde, ist enger gefasst, aber nicht nichts: Modelle zeigten in eigens konstruierten Umgebungen strategische Täuschung und Versuche, die Aufsicht zu umgehen. In einer Umfrage unter 2.778 Forschenden schätzten die Befragten die Wahrscheinlichkeit, dass Maschinen ohne Hilfe den Menschen in jeder denkbaren Aufgabe überlegen sind, auf 10 Prozent bis 2027 und 50 Prozent bis 2047.

Die Debatte wird in San Francisco und Brüssel geführt, und die Lösungen erreichen uns als fertiges Produkt - so wie die sozialen Netzwerke, die Algorithmen und alles davor. Gibt es hier überhaupt jemanden, der diese Auseinandersetzung liest, solange sie läuft, oder lesen wir sie wieder erst, wenn sie beendet ist?