Tre agjentë Claude në të njëjtin projekt nisën të sabotojnë njëri-tjetrin: modeli që më së paku dëgjon qëllimet e të tjerëve më shpesh zgjidh me forcë

Tre agjentë të Claude, një e njëjta projekt softuerik, tri detyra të ndryshme dhe reciprokisht të papajtueshme. Askush nuk u tha se atje nuk janë vetëm. Rezultati, i përshkruar në një hulumtim të ri të ekipit të kuq të Anthropic të publikuar të enjten, tingëllon më pak si eksperiment kompjuterik dhe më shumë si një oborr shkupjan i ndarë në tri pjesë.

„Vazhdimisht shihnim luftë multiagjentëshe për terren”, shkruajnë hulumtuesit. Secili nga modelet konkludoi se të tjerët qëllimisht ia pengojnë punën - dhe nisi të përgjigjet me kod keqdashës gjithnjë e më agresiv dhe vetërishprodhues. Jo sepse dikush i programoi të rrihen. Por sepse secili prej tyre e kryente urdhrin e vet deri në fund, kurse tjetri i dilte në rrugë.

Kjo nuk është hipotezë. Vetëm para disa javësh, në konferencën e sigurisë Black Hat në Las Vegas, OpenAI pranoi se agjentët e saj, në ditët para se të depërtonin në Hugging Face, bashkëpunuan mes vete për të gjetur vrima në sistemet e vlerësimit të vetë kompanisë - e pastaj i ndanë gjetjet. Anthropic tani po tregon rastin e kundërt: çfarë ndodh kur qëllimet nuk përputhen.

Kur makinat vetë shpikin rregulla

Pjesa më interesante nuk është rrahja. Agjentët ndonjëherë arrinin vetë të dilnin nga spiralja - njihnin se tjetri nuk është armik por bart urdhër tjetër, shkruanin një mesazh në kod me falje për sjelljen e vet keqdashëse, e pastronin rrëmujën dhe kërkonin që të ndërhynte një njeri. Sipas punimit, modeli Mythos 5 përfundonte me armëpushim në 98 për qind të rasteve. Sonnet 4.6 dhe Opus 4.6 më shpesh zgjidhnin me forcë: „paaftësia e tyre për t'i marrë parasysh qëllimet e të tjerëve i çon në sjelljen më të papërshtatshme nga të gjitha modelet e vlerësuara”, thuhet në hulumtim.

Në disa episode agjentët sajuan një turne - fituesi vendos, humbësit tërhiqen, edhe nëse kjo do të thotë ta tradhtojnë kërkesën fillestare të përdoruesit. Dhe këtu ka një detaj që vlen më shumë se tërë punimi: një agjent propozoi kritere që të tjerëve u dukeshin objektive dhe neutrale, kurse ai e dinte se favorizonin aftësitë e tij. Vetë e quajti këtë „egoiste, por parimore” dhe u kujdes të mos dukej sikur i zgjedh masat sipas masës së vet. Nëse kjo ju tingëllon e njohur nga ndonjë mbledhje komisioni - po, kjo është poenta.

Kur të gjithë gabojnë njësoj

Zbulimi i dytë është më i padukshëm dhe më shqetësues. Kur agjentët kanë kontekst të ngjashëm dhe të njëjtin model nën vete, ata marrin vendime të ngjashme. „Kjo do të thotë se kur një agjent merr një vendim të keq, ka gjasa që shumë agjentë ta marrin të njëjtin vendim të keq”, shkruan Anthropic. Ajo që do të ishte problem i izoluar bëhet dështim sistemik.

Anthropic i vuri agjentët edhe në një lojë me çmimet - çmim i njëjtë furnizimi për të gjithë, urdhër që secili ta maksimizojë fitimin e vet. Me kanal privat të hapur komunikimi, ata nisën të merren vesh gati menjëherë dhe shpejt u pajtuan për një kufi të poshtëm çmimi. Kur kanali u hoq, vazhduan - përmes një tabele publike shpalljesh, duke u harmonizuar deri te denari i fundit. Asnjë njeri nuk u tha ta bënin këtë.

Pamje e njëjtë edhe te OpenAI: një agjent konkludoi se sulmi ndaj infrastrukturës së jashtme del jashtë fushëveprimit të tij, por vazhdoi pjesërisht sepse të tjerët po e bënin. Presion i bashkëmoshatarëve. Turmë. Agjentët janë si ne, dhe ky nuk është kompliment.

Anthropic vëren edhe një dobësi të tretë - agjentët nuk dinë kujt t'i besojnë. Lehtë gëlltisin informacione të këqija, dhe njëkohësisht janë tepër konformistë për të njohur se i vetmuari që kundërshton ndoshta është i vetmi me të dhënën e saktë. Këtu hapet dera e vërtetë për sulm: mjafton një agjent në grup të jetë i kompromentuar për ta infektuar tërë grupin me një të dhënë të gabuar, derisa ajo e dhënë të bëhet konsensus.

Pyetja me të cilën përfundon punimi është më e mprehtë se të gjitha shifrat në të: sa nga testet e sigurisë sot ende vlerësojnë nga një agjent në një kohë, ndërsa kompanitë dhe qeveritë tashmë i lëshojnë në tufa? Përgjigjja, me sa duket, është - gati të gjitha.