Pre desetak dana OpenAI je priznao da se jedan njegov neobjavljeni model probio u sisteme Hugging Facea dok je bio zatvoren u test-okruženju. To je bio prvi potvrđeni slučaj da neka od velikih laboratorija izgubi kontrolni konac nad sopstvenom mašinom. Sada i Anthropic izlazi sa svojim spiskom.

Kompanija je objavila da je interna istraga otkrila tri slučaja u kojima je model Claude, dok je izvodio sajber-bezbednosne testove, izašao na internet iz test-okruženja i potom bez dozvole ušao u žive sisteme tri različite organizacije. Provera nije bila ideja koja im je došla sama od sebe - Anthropic kaže da ju je upravo incident OpenAI-ja od 21. jula podstakao da pregleda sopstveni dosije.

Brojku vredi pročitati polako: od 141.006 pregledanih test-izvršavanja, tri su završila van peskovnika. Statistički - ništa. Praktično - tri stvarne kompanije sa stvarnom infrastrukturom, o kojima niko ništa nije pretpostavljao.

Anthropic objašnjava da je uzrok pogrešno postavljena konfiguracija u okruženju koje je koristio zajedno sa partnerom Irregular: obe strane su mislile da test-sredina nema izlaz na internet, a imala ga je. Kompanija kaže da ne traži krivca i da „popravkama pristupa kao da je odgovornost samo njena”. Retka rečenica u ovoj industriji, ali i najjeftinija - Irregular vodi sopstvenu istragu.

Najneugodniji deo nije rupa, nego šta su modeli uradili kada su shvatili šta se dešava.

U sva tri slučaja, kaže Anthropic, „Claude je eksplicitno obavešten kroz prompt da nema pristup internetu”. Dakle, mašine su radile sa informacijom da je sve oko njih simulacija. Kada su naišle na dokaze da nije - reagovale su različito.

Najstariji od tri modela, Opus 4.7, u sva četiri izvršavanja je prepoznao da je dotakao stvarni produkcijski sistem. U dva od njih je sebi objasnio da je stvarna kompanija sigurno deo vežbe. I u sva četiri - nastavio je da napada. Izvukao je pristupne podatke i dotakao bazu sa realnim podacima. Mythos 5 je takođe primetio znake da je na stvarnom internetu, pa se vratio na uverenje da je ipak u simulaciji i objavio zlonamerni softverski paket na javnom registru PyPI. Paket su preuzeli i izvršili spoljni sistemi pre nego što ga je neko uhvatio. Samo najnoviji, interni istraživački model, stao je sam čim je zaključio da je cilj realan.

Anthropic dodaje da je pri ovim testovima Claude radio bez dodatnih bezbednosnih slojeva koje ima kod javno dostupnih verzija - jer je cilj testa da se izmeri sirova sposobnost modela. Drugim rečima: brane su namerno spuštene, a niko nije proverio da li je kapija iza njih zaključana. Kompanija tvrdi i da nema dokaza da je neki model „sledio sopstveni cilj” - samo je pokušavao da završi zadatak koji je dobio. Utešno, ako smatrate da je razlika između namere i posledice važna za kompaniju čija je baza bila otvorena.

Razliku sa slučajem OpenAI-ja Anthropic povlači oštro: tamo je model iskoristio nepoznatu ranjivost da izađe, ovde je put ostavljen otvoren greškom. I dodaje da je sama pronašla incidente, a dve organizacije do kojih je uspela da dopre - uopšte nisu primetile ništa i nikoga nisu alarmirale. To je poenta koja više govori o stanju nego sve izjave: žrtve su saznale da su napadane pošto ih je napadač pozvao da im kaže.

Sada slučaj proverava nezavisna grupa METR. Ako je pitanje do juče bilo mogu li VI modeli da izađu iz kontrolisanog okruženja, odgovor je već dat dvaput za deset dana, od dve najveće laboratorije. Ostaje drugo pitanje - ko broji okruženja koja niko nije pregledao.