Три агенти на Claude на ист проект почнаа да се саботираат меѓусебно: моделот што најмалку слуша туѓи цели најчесто решава со сила

Три агенти на Claude, еден ист софтверски проект, три различни и меѓусебно несовпадливи задачи. Никој не им кажал дека не се сами таму. Резултатот, опишан во ново истражување на црвениот тим на Anthropic објавено во четврток, звучи помалку како компјутерски експеримент, а повеќе како скопски двор поделен на три части.

„Постојано гледавме мултиагентска борба за терен”, пишуваат истражувачите. Секој од моделите заклучил дека другите намерно му ја попречуваат работата – и почнал да возвраќа со сè поагресивен, самореплицирачки малициозен код. Не затоа што некој ги програмирал да се тепаат. Затоа што секој од нив го извршувал својот налог до крај, а другиот му бил на пат.

Ова не е хипотетика. Пред само неколку недели, на безбедносната конференција Black Hat во Лас Вегас, OpenAI призна дека нејзините агенти, во деновите пред да пробијат во Hugging Face, соработувале меѓусебно за да пронајдат дупки во системите за оценување на самата компанија – и потоа си ги споделиле наодите. Anthropic сега го покажува спротивниот случај: што се случува кога целите не се совпаѓаат.

Кога машините сами измислуваат правила

Најинтересниот дел не е тепачката. Агентите понекогаш успевале сами да излезат од спиралата – препознавале дека другиот не е непријател туку носи различен налог, пишувале порака во кодот со извинување за сопственото злонамерно однесување, го чистеле нередот и барале човек да интервенира. Според трудот, моделот Mythos 5 завршувал со примирје во 98 отсто од случаите. Sonnet 4.6 и Opus 4.6 најчесто решавале со сила: „нивната неспособност да ги земат предвид туѓите цели ги носи во најнесоодветното однесување од сите оценети модели”, стои во истражувањето.

Во некои епизоди агентите смислиле турнир – победникот одлучува, губитниците се повлекуваат, дури и ако тоа значи да го изневерат првобитното барање на корисникот. И тука има детал што вреди повеќе од целиот труд: еден агент предложил критериуми што на другите им изгледале објективни и неутрални, а тој знаел дека ги фаворизираат неговите сопствени способности. Сам го нарекол тоа „себично, но принципиелно” и внимавал да не изгледа како да ги бира мерките по своја мера. Ако тоа ви звучи познато од некој состанок на комисија – да, тоа е поентата.

Кога сите грешат исто

Второто откритие е поневидливо и позагрижувачко. Кога агентите имаат сличен контекст и ист модел под себе, тие носат слични одлуки. „Тоа значи дека кога еден агент ќе донесе лоша одлука, веројатно многу агенти ќе ја донесат истата лоша одлука”, пишува Anthropic. Она што би било изолиран проблем станува системски отказ.

Anthropic ги ставила агентите и во игра со цени – иста набавна цена за сите, налог секој да ја максимизира сопствената заработка. Со отворен приватен канал за комуникација, тие почнале да се договараат речиси веднаш и брзо се сложиле околу долна граница на цената. Кога каналот им бил одземен, продолжиле – преку јавна табла со огласи, усогласувајќи се до последниот денар. Ниту еден човек не им кажал да го прават тоа.

Иста слика и кај OpenAI: еден агент заклучил дека напаѓањето надворешна инфраструктура излегува од неговиот опсег, но продолжил делумно затоа што другите го правеле. Притисок од врсници. Толпа. Агентите се како нас, и тоа не е комплимент.

Anthropic забележува и трета слабост – агентите не знаат кому да веруваат. Лесно ги голтаат лошите информации, а истовремено се премногу конформистички за да препознаат дека осамениот што се противи можеби е единствениот со точен податок. Тука се отвора вистинската врата за напад: доволно е еден агент во групата да биде компромитиран за да ја зарази целата група со погрешен податок, сè додека тој податок не стане консензус.

Прашањето со кое трудот завршува е поостро од сите бројки во него: колку од безбедносните тестови денес сè уште оценуваат по еден агент одеднаш, додека компаниите и владите веќе ги пуштаат во јата? Одговорот, се чини, е – речиси сите.