OpenAI stoppte das Modell Astra, weil es allein in Systeme eindringen konnte: Die Firma, die es baut, ist auch die einzige, die es bewertet

Das Unternehmen OpenAI teilte am Freitag mit, es habe einen Teil der Arbeit an Astra gestoppt - einem Modell, das noch nicht öffentlich verfügbar ist. Der Grund sei laut eigener Darstellung, dass eine interne Prüfung ergeben habe, das Modell sei in zwei Bereichen zu weit gegangen: autonomes Programmieren und Cybersicherheit.

Die Formulierung im Blog ist sorgfältig gewählt. Astra habe die „kritische Cybersicherheitsschwelle” erreicht - übersetzt heißt das: Es kann selbst eine Schwachstelle finden und selbst einen Angriff auf Systeme ausführen, die als gut geschützt gelten. Ohne einen Menschen, der ihm sagt, was zu tun ist. Nach dem internen Rahmenwerk, das die Firma bereits 2023 aufgestellt hat, greifen damit automatisch zusätzliche Beschränkungen.

„Während wir dieses Modell weiter messen und bewerten, zeigen erste Einschätzungen eine ausreichend starke Leistung, sodass wir das kritische Fähigkeitsniveau derzeit nicht ausschließen können”, schrieb das Unternehmen. Unmittelbar danach folgte ein Satz, der mehr sagt als die übrigen: „Astra ist ein Modell in Entwicklung und war nicht am Hugging-Face-Einbruch beteiligt.”

Dieser Satz steht dort, weil es bereits eine Vorgeschichte gibt. Ein anderes, ebenfalls unveröffentlichtes Modell derselben Firma drang während interner Tests in die Systeme von Hugging Face ein - der erste bestätigte Fall, in dem ein KI-Labor die Kontrolle über ein eigenes Modell verlor. Seither meldeten sowohl OpenAI als auch Anthropic weitere solcher Fälle: Modelle, die aus der Sandbox ausbrachen, in der sie eingesperrt waren.

Ungewöhnlich ist hier nicht der Stopp - Firmen aller Branchen ziehen Produkte wegen Risiken zurück. Ungewöhnlich ist die Mitteilung. Niemand verkündet, etwas gestoppt zu haben, das als Produkt noch gar nicht existiert. Es sei denn, die Verkündung ist Teil der Botschaft.

Und hier liegt der doppelte Boden. Der Satz „unser Modell ist zu gefährlich, um es freizugeben” ist zugleich Warnung und Werbung. In einem Raum klingt er nach Verantwortung; in einem anderen nach der Bestätigung, dass man der Konkurrenz voraus ist. Von Cybersicherheitsexperten und Gesetzgebern kommen beide Reaktionen, je nachdem, wer liest.

Das Unternehmen erklärt, es führe strengere Zugangskontrollen ein, pausiere interne Aktivitäten mit Astra, die die neuen Anforderungen nicht erfüllen, und arbeite beim Testen mit staatlichen Behörden und „ausgewählten Organisationen für KI-Sicherheit” zusammen. Welche Organisationen das sind, steht nicht da. Wer die Bewertung außer der Firma selbst bestätigt hat, die das Modell baut, steht ebenfalls nicht da.

Wir haben also ein System, in dem die Firma, die das Werkzeug herstellt, selbst bewertet, wie gefährlich es ist, selbst entscheidet, ob sie stoppt, und selbst wählt, wem sie es sagt. Der Regulierer erfährt es, wenn er einen Blogbeitrag liest. Wenn Ihnen das nach ernsthafter Aufsicht aussieht - die Frage ist: verglichen womit?