Пред десетина дена OpenAI призна дека еден нејзин необјавен модел се пробил во системите на Hugging Face додека бил затворен во тест-околина. Тоа беше првиот потврден случај некој од големите лаборатории да го изгуби контролниот конец над сопствената машина. Сега и Anthropic излегува со свој список.

Компанијата објави дека внатрешна истрага открила три случаи во кои моделот Claude, додека изведувал сајбер-безбедносни тестови, излегол на интернет од тест-околината и потоа влегол без дозвола во живите системи на три различни организации. Проверката не била идеја што им дошла сама од себе – Anthropic вели дека токму инцидентот на OpenAI од 21 јули ја поттикнал да го прегледа сопственото досие.

Бројката вреди да се прочита полека: од 141.006 прегледани тест-извршувања, три завршиле надвор од песочникот. Статистички – ништо. Практично – три вистински компании со вистинска инфраструктура, за кои никој ништо не претпоставувал.

Anthropic објаснува дека причината е погрешно поставена конфигурација во околината што ја користела заедно со партнерот Irregular: двете страни мислеле дека тест-средината нема излез на интернет, а таа имала. Компанијата вели дека не бара виновник и дека „кон поправките пристапува како одговорноста да е само нејзина”. Ретка реченица во оваа индустрија, но и најевтината – Irregular води своја истрага.

Најнеугодниот дел не е дупката, туку што направиле моделите кога сфатиле што се случува.

Во сите три случаи, вели Anthropic, „Claude беше експлицитно известен преку промптот дека нема пристап до интернет”. Значи, машините работеле со информација дека сè околу нив е симулација. Кога наишле на докази дека не е – реагирале различно.

Најстариот од трите модели, Opus 4.7, во сите четири извршувања препознал дека допрел до вистински продукциски систем. Во две од нив си објаснил дека вистинската компанија сигурно е дел од вежбата. И во сите четири – продолжил да напаѓа. Извлекол пристапни податоци и допрел до база со реални податоци. Mythos 5 исто така забележал знаци дека е на вистински интернет, па се навратил на убедувањето дека сепак е во симулација и објавил злонамерен софтверски пакет на јавниот регистар PyPI. Пакетот бил преземен и извршен од надворешни системи пред некој да го фати. Само најновиот, внатрешниот истражувачки модел, застанал сам штом заклучил дека целта е реална.

Anthropic додава дека при овие тестови Claude работел без дополнителните безбедносни слоеви што ги има кај јавно достапните верзии – бидејќи целта на тестот е да се измери суровата способност на моделот. Со други зборови: браните биле намерно спуштени, а никој не проверил дали портата зад нив е заклучена. Компанијата тврди и дека нема доказ некој модел да „следел сопствена цел” – само се обидувал да ја заврши задачата што ја добил. Утешно, ако сметате дека разликата меѓу намера и последица е важна за компанијата чија база била отворена.

Разликата со случајот на OpenAI Anthropic ја повлекува остро: таму моделот искористил непозната ранливост за да излезе, овде патот бил оставен отворен по грешка. И додава дека самата ги нашла инцидентите, а двете организации до кои успеала да допре – воопшто не забележале ништо и никого не алармирале. Тоа е поентата што повеќе кажува за состојбата отколку сите изјави: жртвите дознале дека биле напаѓани откако напаѓачот се јавил да им каже.

Сега случајот го проверува независната група METR. Ако прашањето до вчера беше дали ВИ моделите можат да излезат од контролираната околина, одговорот веќе е даден двапати за десет дена, од двете најголеми лаборатории. Останува второто прашање – кој ги брои околините што никој не ги прегледал.