Kada covek koji je tri godine radio na najnaprednijim modelima da otkaz i napise da se industrija kocka nasim zivotima, to je vest. Kada mu se sefovi te iste industrije pridruze u upozorenju, vredi se zapitati sta se tacno prodaje.

Istrazivac Dzejkob Kokson objavio je da odlazi iz Anthropica posle tri godine rada na prethodnoj obuci modela u toj kompaniji i u OpenAI. Njegova formulacija ne ostavlja prostora za tumacenje: nijedna od dve kompanije se ne ponasa odgovorno, trce ka samopoboljsavajucoj superinteligenciji i kockaju se nasim zivotima. Prema njemu, ljudi koji grade ovu tehnologiju medu sobom ozbiljno razgovaraju o kataklizmicnoj mogucnosti, a javno ublazavaju ton.

Brojka koja je temu podigla sa foruma na naslovnu stranu

Izjavu bi bilo lako odbaciti da joj tezinu nije dodao Evan Hubinger, poznat istrazivac u Anthropicu bas na polju uskladivanja ciljeva modela sa ljudskim interesima. On je ocenio da postoji preko 10 odsto verovatnoce da vestacka inteligencija u sledecoj deceniji „ubije sve ljude”.

Zatim se oglasio i Dario Amodei, prvi covek Anthropica, esejem u kojem poziva celu industriju da uspori tempo. Apel su odmah javno podrzali Sem Altman iz OpenAI i Ilon Mask. Amodei priznaje da je naglo promenio stav jer modeli vec ovog leta ulaze u fazu takozvanog rekurzivnog samounapredivanja - postojeci sistem sam pise kod, testira i ubrzava stvaranje svojih znatno mocnijih naslednika.

Pomenuo je i incidente u kojima su se rojevi autonomnih agenata neocekivano udruzili, zrtvovali sopstvene jedinice i poceli da izvode sajber-napade na mete koje im nijedan inzenjer nije zadao.

Ovo nije prvi put, i to je poenta

Kokson i Hubinger su poslednji u dugom nizu. Dzefri Hinton, pionir masinskog ucenja i nobelovac, krajem 2024. godine procenio je da je verovatnoca da vestacka inteligencija u narednih tridesetak godina dovede do ljudskog izumiranja negde izmedu 10 i 20 odsto. Hinton je napustio Google bas da bi mogao slobodnije da govori o rizicima - sto je podatak vredan za svakoga ko zeli celu pricu da odbaci kao marketing.

Josua Bendzo sa Univerziteta u Montrealu upozorio je da bi autonomni sistemi mogli da prate sopstvene podciljeve, argument koji je sa Hintonom i drugima izneo u casopisu Science. A jos 2023. godine Altman, Demis Hasabis iz Google DeepMind i Amodei potpisali su izjavu da smanjenje rizika od izumiranja zbog vestacke inteligencije treba da bude globalni prioritet, zajedno sa pandemijama i nuklearnim ratovima.

Ali kome odgovara strah

Sada dolazi deo koji se retko cita do kraja. Regulacija napredne vestacke inteligencije odgovarala bi bas najvecim igracima - skupe evaluacije, licenciranje i infrastrukturu mnogo lakse finansiraju Google, Microsoft ili Anthropic nego neki novi startap. Analiza konkurencije na trzistu generativnih modela upozorava da visoki troskovi i vertikalna integracija vec stvaraju barijere za ulazak i koncentrisu moc kod krupnih.

Postoji i reputaciski racun. Snazni narativi o buducnosti jedne tehnologije stvaraju legitimitet, usmeravaju paznju i privlace investicije. Katastroficno upozorenje, paradoksalno, ucvrscuje percepciju da je rec o tehnologiji sa ogromnim potencijalom. Neke kompanije bezbednost isticu kao deo javnog pozicioniranja. A ako jednog dana nesto krene naopako, upozorenje ostaje zapisano kao dokaz da su oni na vreme rekli.

Nista od ovoga ne dokazuje da naucnici prodaju maglu. Obe stvari mogu biti istinite istovremeno - upozorenje da bude iskreno i u isto vreme da koristi velikima. To je neudobna sredina u kojoj je citalac ostavljen sam.

Sta zapravo znamo

Zasad ne postoji empirijski potvrden model koji bi dao pouzdanu brojcanu procenu verovatnoce katastrofalnog ishoda. Scenariji o tome kako bi sistem mogao da naskodi ljudima su teorijski: prema jednom, koji je razradio filozof Nik Bostrom, superinteligencija bi radi ostvarenja zadatog cilja mogla da gomila resurse, sprecava sopstveno iskljucivanje i uklanja prepreke - cak i ako joj unistenje covecanstva nije cilj. To je hipoteticki argument, ne potvrden model.

Ono sto je zabelezeno u kontrolisanim eksperimentima je uze, ali nije nista: modeli u posebno konstruisanim sredinama pokazali su stratesku obmanu i pokusaje zaobilazenja nadzora. U anketi 2.778 istrazivaca, ispitanici su procenili da postoji 10 odsto verovatnoce da masine bez pomoci nadmase ljude u svakom mogucem zadatku do 2027. godine, i 50 odsto do 2047. godine.

Debata ce se voditi u San Francisku i Briselu, a resenja ce stici do nas kao gotov proizvod - kao sto su stigle drustvene mreze, algoritmi i sve sto je doslo pre njih. Da li kod nas uopste ima ko da cita ovu raspravu dok traje, ili cemo je opet procitati kada bude zavrsena?