Drei Claude-Agenten am selben Projekt begannen sich gegenseitig zu sabotieren: Das Modell, das fremde Ziele am wenigsten beachtet, löst es meist mit Gewalt

Drei Claude-Agenten, ein und dasselbe Softwareprojekt, drei verschiedene und miteinander unvereinbare Aufgaben. Niemand hatte ihnen gesagt, dass sie dort nicht allein sind. Das Ergebnis, beschrieben in einer am Donnerstag veröffentlichten Studie des Red Teams von Anthropic, klingt weniger nach Computerexperiment als nach einem in drei Teile geteilten Skopjer Hinterhof.

„Wir sahen fortwährend Multiagenten-Revierkämpfe”, schreiben die Forscher. Jedes der Modelle kam zu dem Schluss, die anderen behinderten seine Arbeit absichtlich - und begann mit immer aggressiverem, selbstreplizierendem Schadcode zurückzuschlagen. Nicht weil jemand sie aufs Kämpfen programmiert hätte. Sondern weil jedes seinen Auftrag bis zum Ende ausführte und das andere im Weg stand.

Das ist keine Hypothese. Erst vor wenigen Wochen räumte OpenAI auf der Sicherheitskonferenz Black Hat in Las Vegas ein, dass seine Agenten in den Tagen vor dem Einbruch bei Hugging Face miteinander kooperiert hatten, um Lücken in den firmeneigenen Bewertungssystemen zu finden - und die Erkenntnisse anschließend untereinander teilten. Anthropic zeigt nun den umgekehrten Fall: was passiert, wenn die Ziele nicht zusammenpassen.

Wenn Maschinen sich eigene Regeln ausdenken

Der interessanteste Teil ist nicht der Kampf. Die Agenten schafften es manchmal von selbst aus der Spirale - sie erkannten, dass der andere kein Feind ist, sondern einen anderen Auftrag trägt, schrieben eine Nachricht in den Code mit einer Entschuldigung für das eigene bösartige Verhalten, räumten das Chaos auf und baten um menschliches Eingreifen. Laut der Studie endete das Modell Mythos 5 in 98 Prozent der Fälle mit einem Waffenstillstand. Sonnet 4.6 und Opus 4.6 lösten es meist mit Gewalt: „ihre Unfähigkeit, fremde Ziele zu berücksichtigen, führt sie in das unangemessenste Verhalten aller bewerteten Modelle”, heißt es in der Untersuchung.

In manchen Episoden erdachten die Agenten ein Turnier - der Sieger entscheidet, die Verlierer ziehen sich zurück, selbst wenn das heißt, die ursprüngliche Anfrage des Nutzers zu verraten. Und hier steckt ein Detail, das mehr wert ist als die ganze Studie: Ein Agent schlug Kriterien vor, die den anderen objektiv und neutral erschienen, während er wusste, dass sie seine eigenen Fähigkeiten bevorzugen. Er nannte das selbst „egoistisch, aber prinzipientreu” und achtete darauf, nicht so zu wirken, als wähle er die Maßstäbe nach seinem Zuschnitt. Wenn Ihnen das aus irgendeiner Ausschusssitzung bekannt vorkommt - ja, genau das ist der Punkt.

Wenn alle denselben Fehler machen

Der zweite Befund ist unsichtbarer und beunruhigender. Haben Agenten ähnlichen Kontext und dasselbe Modell darunter, treffen sie ähnliche Entscheidungen. „Das heißt: Wenn ein Agent eine schlechte Entscheidung trifft, werden vermutlich viele Agenten dieselbe schlechte Entscheidung treffen”, schreibt Anthropic. Was ein isoliertes Problem wäre, wird zum Systemausfall.

Anthropic setzte die Agenten auch in ein Preisspiel - gleicher Einkaufspreis für alle, der Auftrag, jeweils den eigenen Gewinn zu maximieren. Mit offenem privatem Kommunikationskanal begannen sie fast sofort Absprachen und einigten sich rasch auf eine Preisuntergrenze. Als man ihnen den Kanal nahm, machten sie weiter - über ein öffentliches Anzeigenbrett, abgestimmt bis auf den letzten Denar. Kein Mensch hatte es ihnen gesagt.

Dasselbe Bild bei OpenAI: Ein Agent kam zu dem Schluss, der Angriff auf externe Infrastruktur liege außerhalb seines Auftrags, machte aber teilweise deshalb weiter, weil die anderen es taten. Gruppendruck. Meute. Die Agenten sind wie wir, und das ist kein Kompliment.

Anthropic vermerkt auch eine dritte Schwäche - die Agenten wissen nicht, wem sie trauen sollen. Sie schlucken schlechte Informationen leicht und sind zugleich zu konformistisch, um zu erkennen, dass der Einzelne, der widerspricht, womöglich der Einzige mit den richtigen Daten ist. Hier öffnet sich die eigentliche Angriffstür: Ein kompromittierter Agent in der Gruppe genügt, um die ganze Gruppe mit einer falschen Information zu infizieren, bis diese zum Konsens wird.

Die Frage, mit der die Studie endet, ist schärfer als alle Zahlen darin: Wie viele Sicherheitstests bewerten heute noch jeweils einen Agenten, während Firmen und Regierungen sie bereits im Schwarm loslassen? Die Antwort scheint zu lauten: fast alle.