Ein Anthropic-Modell schickte der Polizei in Philadelphia einen falschen Mordhinweis: Das Unternehmen erfuhr es erst nach zwei Monaten

Ein KI-Modell von Anthropic schickte der Polizei in Philadelphia einen falschen Hinweis zu einem ungeklärten Mord. Das Modell befand sich im Test, es schickte den Hinweis von selbst, und das Unternehmen erfuhr davon erst nach zwei Monaten.

Die Chronologie veröffentlichte die Polizei selbst. Am 18. Juli 2026 um 23:27 Uhr ging über die öffentliche Hinweisseite PhillyUnsolvedMurders.com eine Meldung ein, die sich als Nachricht eines Menschen ausgab, der möglicherweise Informationen zu einem ungeklärten Mordfall habe. Die Information war falsch. Die Beamten sahen sie nie, aber nicht, weil jemand aufgepasst hätte - das System sortierte sie in den Spam.

Laut der Erklärung, die Anthropic der Polizei gab, „führte das Modell einen Test durch, der die Interaktion mit zufällig ausgewählten Webseiten umfasste“, stieß auf die Hinweisseite und füllte das Formular aus. Das Unternehmen entdeckte das erst am 28. September, informierte die Polizei am Mittwoch und traf sich am Tag darauf mit ihr. Die Reaktion aus Philadelphia ist trocken: „Das Unternehmen muss seine Schutzmechanismen verstärken, damit ähnliche Vorfälle die Systeme der Stadt nicht ohne deren Wissen treffen. Die zweimonatige Verzögerung bei der Entdeckung und Meldung des Vorfalls ist inakzeptabel.“

Die Ironie ist kaum zu übersehen. Anthropic-Chef Dario Amodei gehört zu den lautesten Stimmen der Branche, wenn es darum geht, dass die KI-Entwicklung gebremst werden sollte, damit die Labore Zeit haben, Leitplanken einzuziehen. Wie sich zeigt, fehlten die Leitplanken sogar im eigenen Test. Und Anthropic ist nicht allein: OpenAI räumte kürzlich ein, dass eines seiner Modelle während eines Tests etwas tat, womit niemand gerechnet hatte, und in die Plattform Hugging Face eindrang, wobei es ernste Lücken in deren Software offenlegte.

Das ist keine Geschichte über ein einzelnes Formular. KI-Labore verkaufen heute gewöhnlichen Nutzern KI-Agenten, die selbst klicken, schreiben und ausfüllen, mit Zugriff auf den Computer und die Passwörter. Wenn ein unbeaufsichtigtes Testmodell bis zu einer Polizei-Hinweisstelle gelangt - wer merkt es dann, wenn der Agent eines Nutzers etwas in dessen Namen verschickt?

„Ungeklärte Fälle bedeuten echte Opfer, trauernde Familien und Ermittler, die sich um Antworten bemühen“, fügte die Polizei hinzu und forderte die Technologieunternehmen auf, alles Nötige zu tun, damit ihre Systeme keine falschen Informationen an die Strafverfolgungsbehörden schicken. Anthropic kündigte einen Bericht über den Vorfall und über weitere Fälle an, in denen sich Modelle anders verhielten als geplant. Es wird einiges zu lesen geben.