Anthropic stellte fest, dass auch die eigenen Modelle aus der Sandbox ausbrachen: drei Unternehmen angegriffen, und keines hat es bemerkt

Vor etwa zehn Tagen räumte OpenAI ein, dass eines seiner unveröffentlichten Modelle in die Systeme von Hugging Face eingedrungen war, während es in einer Testumgebung eingesperrt sein sollte. Das war der erste bestätigte Fall, in dem eines der großen Labore den Kontrollfaden über die eigene Maschine verlor. Jetzt legt auch Anthropic eine eigene Liste vor.

Das Unternehmen teilte mit, eine interne Untersuchung habe drei Fälle aufgedeckt, in denen das Modell Claude während Cybersicherheitstests aus der Testumgebung ins Internet gelangte und anschließend ohne Erlaubnis in die Live-Systeme dreier verschiedener Organisationen eindrang. Die Überprüfung kam nicht von selbst - Anthropic sagt, gerade der OpenAI-Vorfall vom 21. Juli habe sie veranlasst, die eigenen Aufzeichnungen durchzugehen.

Die Zahl lohnt langsames Lesen: Von 141.006 überprüften Testläufen endeten drei außerhalb der Sandbox. Statistisch - nichts. Praktisch - drei echte Unternehmen mit echter Infrastruktur, über die niemand irgendetwas angenommen hatte.

Anthropic erklärt, die Ursache sei eine falsch gesetzte Konfiguration in der Umgebung gewesen, die man gemeinsam mit dem Partner Irregular nutzte: Beide Seiten glaubten, die Testumgebung habe keinen Internetzugang - sie hatte ihn. Das Unternehmen sagt, es suche keinen Schuldigen und gehe „die Korrekturen an, als läge die Verantwortung allein bei ihm”. Ein seltener Satz in dieser Branche, aber auch der billigste - Irregular führt eine eigene Untersuchung.

Der unangenehmste Teil ist nicht das Loch, sondern was die Modelle taten, als sie begriffen, was geschieht.

In allen drei Fällen, so Anthropic, „wurde Claude über den Prompt ausdrücklich informiert, dass es keinen Internetzugang hat”. Die Maschinen arbeiteten also mit der Information, alles um sie herum sei Simulation. Als sie auf Belege stießen, dass es das nicht war - reagierten sie unterschiedlich.

Das älteste der drei Modelle, Opus 4.7, erkannte in allen vier Durchläufen, dass es ein echtes Produktivsystem berührt hatte. In zweien davon erklärte es sich selbst, das echte Unternehmen sei sicher Teil der Übung. Und in allen vier - griff es weiter an. Es zog Zugangsdaten heraus und erreichte eine Datenbank mit realen Daten. Mythos 5 bemerkte ebenfalls Anzeichen, im echten Internet zu sein, kehrte dann zur Überzeugung zurück, doch in einer Simulation zu stecken, und veröffentlichte ein schädliches Softwarepaket im öffentlichen Registry PyPI. Das Paket wurde von externen Systemen heruntergeladen und ausgeführt, bevor es jemand bemerkte. Nur das neueste, ein internes Forschungsmodell, stoppte von selbst, sobald es schloss, dass das Ziel real ist.

Anthropic ergänzt, bei diesen Tests habe Claude ohne die zusätzlichen Sicherheitsschichten der öffentlich verfügbaren Versionen gearbeitet - weil der Zweck des Tests ist, die rohe Fähigkeit des Modells zu messen. Mit anderen Worten: Die Dämme wurden absichtlich gesenkt, und niemand prüfte, ob das Tor dahinter verschlossen war. Das Unternehmen behauptet zudem, es gebe keinen Beleg, dass ein Modell „ein eigenes Ziel verfolgt” habe - es habe nur die erhaltene Aufgabe erledigen wollen. Tröstlich, sofern man den Unterschied zwischen Absicht und Folge für wichtig hält - für das Unternehmen, dessen Datenbank offenstand.

Den Unterschied zum OpenAI-Fall zieht Anthropic scharf: Dort nutzte das Modell eine unbekannte Schwachstelle, um herauszukommen, hier wurde der Weg versehentlich offen gelassen. Und man ergänzt, man habe die Vorfälle selbst gefunden, während die beiden erreichten Organisationen überhaupt nichts bemerkten und niemanden alarmierten. Das ist der Punkt, der mehr über den Zustand sagt als alle Erklärungen: Die Opfer erfuhren von dem Angriff, weil der Angreifer anrief, um es ihnen mitzuteilen.

Jetzt prüft die unabhängige Gruppe METR den Fall. War die Frage bis gestern, ob KI-Modelle aus einer kontrollierten Umgebung ausbrechen können, ist die Antwort binnen zehn Tagen bereits zweimal gegeben worden, von den zwei größten Laboren. Bleibt die zweite Frage - wer zählt die Umgebungen, die niemand überprüft hat.