Воените авиони веќе беа во воздух кога американските службеници сфатија што држат во раце. Разузнавачкиот извештај што ја движеше вооружената операција против кинески брод не беше грешка на аналитичар, ниту лош извор. Беше халуциниран од чет-бот. Операцијата е прекината во последен момент, а со неа и еден можен судир со Кина.

Деталите се поинтересни од заклучокот. Извештајот тврдел дека бродот носи компоненти за програма за нуклеарно оружје и кружел додека траела војната со Иран. Потеклото му е кај аналитичар од Командата за специјални операции, кој побарал од чет-бот да спои јавно достапни податоци со тајни сигнални информации. Алатката го помешала товарниот манифест на бродот. Потоа истиот аналитичар ја употребил по втор пат – овојпат за да ѝ даде на грешката уреден, службен изглед. Така спакувана, лагата тргнала низ командните канали.

Вториот чекор е тој што треба да се чита двапати. Не е проблемот само што машината измислила. Проблемот е што истата машина потоа ја облекла измислицата во формат што низ хиерархијата патува без отпор. Документ што изгледа како вистински документ никој не го застанува на средина од редот.

Американската војска трча да ја вгради оваа технологија за да одлучува побрзо и да ја задржи предноста пред Кина. Пентагон отворено вели дека добивката е во забрзувањето на синџирот на одлучување, за команданти да реагираат навреме. Истата брзина што ја прави алатката привлечна е и таа што дозволува халуцинацијата да помине без доволно човечка проверка. Цената на предноста и цената на грешката се плаќаат од иста каса.

„Важно е припадниците да ја разберат неизвесноста што е вградена во овие модели“, изјави Џејк Стеклер, истражувач во GovAI и поранешен офицер на американската армија. „Но особено е критично за секоја одлука што може да доведе до употреба на сила – таргетирање, разузнавачка анализа, оперативно планирање. Тие одлуки имаат последици на живот и смрт.“

Стеклер не бара алатката да се фрли. Вели дека инцидентот треба да значи повеќе заштитни механизми, не повлекување. „Овие алатки можат да бидат корисни во вистински контекст и со вистински заштити. Но ставањето на брзината на усвојување пред сè друго најверојатно ќе донесе инциденти што само ќе им ја одземат довербата на припадниците во овие системи – што на крај само ќе го забави усвојувањето.“

Забележете што недостига во целата приказна: механизам што го фатил проблемот. Извештајот не бил запрен од проверка, туку од откритие во последен момент, со авиони веќе во лет. Тоа не е систем што работи – тоа е систем што овојпат имал среќа.