Die Militärflugzeuge waren bereits in der Luft, als den amerikanischen Beamten klar wurde, was sie da in Händen hielten. Der Geheimdienstbericht, der eine bewaffnete Operation gegen ein chinesisches Schiff antrieb, war weder der Fehler eines Analysten noch eine schlechte Quelle. Er war von einem Chatbot halluziniert. Die Operation wurde im letzten Moment abgebrochen, und mit ihr ein möglicher Zusammenstoß mit China.

Die Details sind interessanter als das Fazit. Der Bericht behauptete, das Schiff transportiere Komponenten für ein Atomwaffenprogramm, und er kursierte, während der Krieg mit dem Iran lief. Sein Ursprung liegt bei einem Analysten des Special Operations Command, der einen Chatbot bat, öffentlich zugängliche Daten mit geheimen Signalinformationen zu verbinden. Das Werkzeug verwechselte das Ladungsmanifest des Schiffs. Dann setzte derselbe Analyst es ein zweites Mal ein - diesmal, um dem Fehler ein ordentliches, dienstliches Aussehen zu geben. So verpackt, machte sich die Lüge auf den Weg durch die Befehlskanäle.

Der zweite Schritt ist der, den man zweimal lesen sollte. Das Problem ist nicht nur, dass die Maschine etwas erfunden hat. Das Problem ist, dass dieselbe Maschine die Erfindung anschließend in ein Format kleidete, das durch eine Hierarchie ohne Widerstand reist. Ein Dokument, das aussieht wie ein echtes Dokument, hält niemand auf halber Strecke an.

Das amerikanische Militär beeilt sich, diese Technologie einzubauen, um schneller zu entscheiden und den Vorsprung vor China zu halten. Das Pentagon sagt offen, der Gewinn liege in der Beschleunigung der Entscheidungskette, damit Kommandeure rechtzeitig reagieren. Genau die Geschwindigkeit, die das Werkzeug attraktiv macht, lässt auch eine Halluzination ohne ausreichende menschliche Prüfung durch. Der Preis des Vorsprungs und der Preis des Fehlers werden aus derselben Kasse bezahlt.

„Es ist wichtig, dass die Angehörigen die Unsicherheit verstehen, die in diesen Modellen steckt“, sagte Jake Steckler, Forscher bei GovAI und ehemaliger Offizier der US-Armee. „Besonders kritisch ist das aber bei jeder Entscheidung, die zum Einsatz von Gewalt führen kann - Zielauswahl, nachrichtendienstliche Analyse, Einsatzplanung. Solche Entscheidungen haben Folgen über Leben und Tod.“

Steckler verlangt nicht, das Werkzeug wegzuwerfen. Der Vorfall solle mehr Schutzmechanismen bedeuten, nicht den Rückzug. „Diese Werkzeuge können im richtigen Kontext und mit den richtigen Sicherungen nützlich sein. Aber die Geschwindigkeit der Einführung über alles andere zu stellen, wird höchstwahrscheinlich Vorfälle bringen, die den Angehörigen nur das Vertrauen in diese Systeme nehmen - was am Ende die Einführung bloß verlangsamt.“

Achten Sie darauf, was in der ganzen Geschichte fehlt: ein Mechanismus, der das Problem erwischt hat. Der Bericht wurde nicht von einer Prüfung gestoppt, sondern von einer Entdeckung im letzten Moment, mit bereits fliegenden Flugzeugen. Das ist kein System, das funktioniert - das ist ein System, das diesmal Glück hatte.