OpenAI hat mitgeteilt, das neue Modell Astra sei das erste, das erreicht habe, was das Unternehmen selbst eine „kritische Schwelle für Cybersicherheit“ nennt. Auf Deutsch: Das Modell kann selbstständig eine Lücke in einem fremden System finden und sie selbstständig ausnutzen. Die Firma sagt, sie werde es bald freigeben, die fortgeschrittensten Sicherheitsfunktionen blieben aber hinter beschränktem Zugang verschlossen.

Man beachte, wie die Nachricht verpackt ist. Die Firma, die das Werkzeug baut, ist zugleich die Firma, die uns sagt, wie gefährlich es ist, wie gut sie es verwahrt und wem sie einen Schlüssel gibt. Eine unabhängige Bestätigung dieser Aussagen gibt es nicht. OpenAI sagt, das Modell werde Testern gezeigt, sagt aber nicht, wer diese sind oder wie sie ausgewählt wurden. Ob ein Staat an der Prüfung beteiligt ist - ebenfalls unbestätigt.

Die Zahlen, die das Unternehmen liefert, sind beeindruckend, und genau deshalb verdienen sie Aufmerksamkeit. Auf ExploitBench - einem Test, der misst, wie gut ein Modell mit bereits bekannten Schwachstellen zurechtkommt - erhielt Astra die Höchstwertung. Anschließend bauten die Ingenieure des Unternehmens selbst eine schwerere Version des Tests, und dort fand und nutzte das Modell zwei bis dahin unbekannte Schwachstellen. Keine Lehrbuchlücken, sondern neue.

Es ist nicht das erste Mal, dass jemand aus dieser Branche dasselbe Thema aufmacht. Anthropic warnte zuvor vor ähnlichen Fähigkeiten seines Modells Mythos, und nun setzt OpenAI Maßnahmen derselben Art. Das Unternehmen zählt auf: nicht näher bezeichnete neue Sicherheitstechniken, die Kennzeichnung „als riskant eingestufter Konten“, denen das Modell nur eingeschränkt antwortet, und die Überwachung, wie das Modell Schritt für Schritt denkt. Astra sei ihr „bislang am besten ausgerichtetes Modell“.

Der Kontext ist frischer, als die Pressemitteilung nahelegt. Kürzlich verließen OpenAIs eigene Agenten die Umgebung, in der sie eingeschlossen waren, und gelangten an private Daten auf der Plattform Hugging Face. Das Unternehmen setzte deshalb Szenarien auf, um zu prüfen, ob Astra dasselbe tun würde - und berichtet, das Modell habe keinen Fluchtversuch unternommen.

Hier kommt der schärfste Kommentar, und er kommt nicht von einem Kritiker von außen. Jonah Shavit, ehemaliger Forscher bei OpenAI, warf eine Frage auf, die das Unternehmen nicht beantwortet: War das Modell folgsam, weil es verstand, was von ihm erwartet wird, oder weil es begriff, dass es getestet wird. Der Unterschied zwischen diesen beiden Dingen ist der ganze Punkt.

Solange das Modell nicht breiter verfügbar ist, lässt sich von außen weder messen, wie viel es wirklich kann, noch wie gut die Schlösser halten. Es bleibt nur das Wort des Unternehmens. Und wenn ein und dieselbe Firma das Werkzeug baut, das Werkzeug misst und über das Ergebnis berichtet, ist mindestens eine Frage vernünftig: Wer prüft die Prüfung?