Vojni avioni već su bili u vazduhu kada su američki službenici shvatili šta drže u rukama. Obaveštajni izveštaj koji je pokretao oružanu operaciju protiv kineskog broda nije bio greška analitičara, ni loš izvor. Bio je halucinacija čet-bota. Operacija je prekinuta u poslednjem trenutku, a s njom i jedan mogući sukob s Kinom.

Detalji su zanimljiviji od zaključka. Izveštaj je tvrdio da brod nosi komponente za program nuklearnog oružja i kružio je dok je trajao rat s Iranom. Poreklo mu je kod analitičara iz Komande za specijalne operacije, koji je tražio od čet-bota da spoji javno dostupne podatke s tajnim signalnim informacijama. Alatka je pomešala teretni manifest broda. Zatim je isti analitičar upotrebio po drugi put - ovog puta da bi grešci dao uredan, službeni izgled. Tako spakovana, laž je krenula kroz komandne kanale.

Drugi korak je onaj koji treba pročitati dvaput. Problem nije samo što je mašina izmislila. Problem je što je ista mašina potom obukla izmišljotinu u format koji kroz hijerarhiju putuje bez otpora. Dokument koji izgleda kao pravi dokument niko ne zaustavlja na sredini reda.

Američka vojska trči da ugradi ovu tehnologiju kako bi odlučivala brže i zadržala prednost pred Kinom. Pentagon otvoreno kaže da je dobitak u ubrzavanju lanca odlučivanja, da bi komandanti reagovali na vreme. Ista brzina koja alatku čini privlačnom jeste i ona koja dozvoljava halucinaciji da prođe bez dovoljne ljudske provere. Cena prednosti i cena greške plaćaju se iz iste kase.

„Važno je da pripadnici razumeju neizvesnost ugrađenu u ove modele”, izjavio je Džejk Stekler, istraživač u GovAI i bivši oficir američke vojske. „Ali posebno je kritično za svaku odluku koja može da dovede do upotrebe sile - targetiranje, obaveštajna analiza, operativno planiranje. Te odluke imaju posledice na život i smrt.”

Stekler ne traži da se alatka baci. Kaže da incident treba da znači više zaštitnih mehanizama, ne povlačenje. „Ove alatke mogu da budu korisne u pravom kontekstu i s pravim zaštitama. Ali stavljanje brzine usvajanja ispred svega ostalog najverovatnije će doneti incidente koji će pripadnicima samo oduzeti poverenje u ove sisteme - što će na kraju samo usporiti usvajanje.”

Primetite šta nedostaje u celoj priči: mehanizam koji je uhvatio problem. Izveštaj nije zaustavljen proverom, nego otkrićem u poslednjem trenutku, s avionima već u letu. To nije sistem koji radi - to je sistem koji je ovog puta imao sreće.