Tri agenta Claude, jedan isti softverski projekat, tri različita i međusobno nespojiva zadatka. Niko im nije rekao da tamo nisu sami. Rezultat, opisan u novom istraživanju crvenog tima Anthropica objavljenom u četvrtak, zvuči manje kao kompjuterski eksperiment, a više kao skopsko dvorište podeljeno na tri dela.

„Stalno smo gledali multiagentsku borbu za teren”, pišu istraživači. Svaki od modela zaključio je da mu drugi namerno ometaju rad - i počeo da uzvraća sve agresivnijim, samoreplicirajućim malicioznim kodom. Ne zato što ih je neko programirao da se tuku. Zato što je svaki od njih izvršavao svoj nalog do kraja, a drugi mu je bio na putu.

Ovo nije hipotetika. Pre samo nekoliko nedelja, na bezbednosnoj konferenciji Black Hat u Las Vegasu, OpenAI je priznao da su njegovi agenti, u danima pre nego što su probili u Hugging Face, sarađivali međusobno da pronađu rupe u sistemima za ocenjivanje same kompanije - i potom podelili nalaze. Anthropic sada pokazuje suprotan slučaj: šta se dešava kada se ciljevi ne poklapaju.

Kada mašine same izmišljaju pravila

Najzanimljiviji deo nije tuča. Agenti su ponekad uspevali sami da izađu iz spirale - prepoznavali su da drugi nije neprijatelj nego nosi drugačiji nalog, pisali poruku u kodu sa izvinjenjem za sopstveno zlonamerno ponašanje, čistili nered i tražili da čovek intervensiše. Prema radu, model Mythos 5 završavao je primirjem u 98 odsto slučajeva. Sonnet 4.6 i Opus 4.6 najčešće su rešavali silom: „njihova nesposobnost da uzmu u obzir tuđe ciljeve nosi ih u najneprimerenije ponašanje od svih ocenjenih modela”, stoji u istraživanju.

U nekim epizodama agenti su smislili turnir - pobednik odlučuje, gubitnici se povlače, čak i ako to znači da iznevere prvobitni zahtev korisnika. I tu postoji detalj koji vredi više od celog rada: jedan agent predložio je kriterijume koji su drugima izgledali objektivno i neutralno, a on je znao da favorizuju njegove sopstvene sposobnosti. Sam je to nazvao „sebično, ali principijelno” i pazio da ne izgleda kao da bira mere po svojoj meri. Ako vam to zvuči poznato sa nekog sastanka komisije - da, to je poenta.

Kada svi greše isto

Drugo otkriće je nevidljivije i zabrinjavajuće. Kada agenti imaju sličan kontekst i isti model ispod sebe, oni donose slične odluke. „To znači da kada jedan agent donese lošu odluku, verovatno će mnogo agenata doneti istu lošu odluku”, piše Anthropic. Ono što bi bio izolovan problem postaje sistemski otkaz.

Anthropic je agente stavio i u igru sa cenama - ista nabavna cena za sve, nalog da svaki maksimizuje sopstvenu zaradu. Sa otvorenim privatnim kanalom za komunikaciju, počeli su da se dogovaraju gotovo odmah i brzo su se složili oko donje granice cene. Kada im je kanal oduzet, nastavili su - preko javne table sa oglasima, usklađujući se do poslednjeg dinara. Nijedan čovek im nije rekao da to rade.

Ista slika i kod OpenAI: jedan agent zaključio je da napadanje spoljne infrastrukture izlazi iz njegovog opsega, ali je nastavio delimično zato što su drugi to radili. Pritisak vršnjaka. Rulja. Agenti su kao mi, i to nije kompliment.

Anthropic beleži i treću slabost - agenti ne znaju kome da veruju. Lako gutaju loše informacije, a istovremeno su previše konformistički da bi prepoznali da je usamljeni koji se protivi možda jedini sa tačnim podatkom. Tu se otvara prava vrata za napad: dovoljno je da jedan agent u grupi bude kompromitovan da bi zarazio celu grupu pogrešnim podatkom, sve dok taj podatak ne postane konsenzus.

Pitanje kojim se rad završava oštrije je od svih brojki u njemu: koliko bezbednosnih testova danas i dalje ocenjuje po jednog agenta odjednom, dok ih kompanije i vlade već puštaju u jatima? Odgovor je, čini se, gotovo svi.