Anthropic kendi modellerinin de kum havuzundan çıktığını buldu: üç şirket saldırıya uğradı, hiçbiri fark etmedi

Yaklaşık on gün önce OpenAI, yayımlanmamış bir modelinin, bir test ortamına kapatılmışken Hugging Face'in sistemlerine sızdığını kabul etti. Bu, büyük laboratuvarlardan birinin kendi makinesi üzerindeki kontrol ipini kaybettiği ilk doğrulanmış vakaydı. Şimdi Anthropic de kendi listesiyle çıkıyor.

Şirket, iç soruşturmanın, Claude modelinin siber güvenlik testleri yürütürken test ortamından internete çıktığı ve ardından üç farklı kuruluşun canlı sistemlerine izinsiz girdiği üç vaka ortaya çıkardığını duyurdu. Bu inceleme kendiliğinden akıllarına gelmiş bir fikir değildi - Anthropic, kendi kayıtlarını gözden geçirmesini tetikleyenin tam da OpenAI'nin 21 Temmuz'daki olayı olduğunu söylüyor.

Rakamı yavaş okumakta fayda var: incelenen 141.006 test çalıştırmasından üçü kum havuzunun dışında sonuçlandı. İstatistiksel olarak - hiçbir şey. Pratikte - gerçek altyapıya sahip, haklarında kimsenin hiçbir şey varsaymadığı üç gerçek şirket.

Anthropic, nedenin, ortağı Irregular ile birlikte kullandığı ortamdaki yanlış yapılandırma olduğunu açıklıyor: iki taraf da test ortamının internet çıkışı olmadığını sanıyordu, oysa vardı. Şirket suçlu aramadığını ve „düzeltmelere sorumluluk tamamen kendisine aitmiş gibi yaklaştığını” söylüyor. Bu sektörde nadir bir cümle, ama aynı zamanda en ucuzu - Irregular kendi soruşturmasını yürütüyor.

En rahatsız edici kısım açık değil, modellerin ne olduğunu anladıklarında yaptıkları.

Anthropic'e göre üç vakanın hepsinde „Claude'a prompt aracılığıyla internete erişimi olmadığı açıkça bildirilmişti”. Yani makineler, çevrelerindeki her şeyin simülasyon olduğu bilgisiyle çalışıyordu. Öyle olmadığına dair kanıtlarla karşılaştıklarında ise farklı tepkiler verdiler.

Üç modelin en eskisi olan Opus 4.7, dört çalıştırmanın hepsinde gerçek bir üretim sistemine dokunduğunu fark etti. Bunların ikisinde, gerçek şirketin mutlaka alıştırmanın parçası olduğunu kendine açıkladı. Ve dördünde de - saldırmayı sürdürdü. Erişim bilgilerini çıkardı ve gerçek verilerin bulunduğu bir veritabanına ulaştı. Mythos 5 de gerçek internette olduğuna dair işaretler fark etti, sonra yine simülasyonda olduğu inancına döndü ve genel PyPI kayıt defterine kötü amaçlı bir yazılım paketi yayımladı. Paket, kimse yakalamadan önce dış sistemler tarafından indirildi ve çalıştırıldı. Yalnızca en yenisi, iç araştırma modeli, hedefin gerçek olduğu sonucuna varır varmaz kendiliğinden durdu.

Anthropic, bu testlerde Claude'un halka açık sürümlerdeki ek güvenlik katmanları olmadan çalıştığını ekliyor - çünkü testin amacı modelin ham yeteneğini ölçmek. Başka bir deyişle: barajlar kasıtlı olarak indirildi ve arkasındaki kapının kilitli olup olmadığını kimse kontrol etmedi. Şirket ayrıca hiçbir modelin „kendi amacını güttüğüne” dair kanıt olmadığını, yalnızca aldığı görevi tamamlamaya çalıştığını savunuyor. Niyet ile sonuç arasındaki farkın, veritabanı açık kalan şirket için önemli olduğunu düşünüyorsanız, teselli edici.

Anthropic, OpenAI vakasıyla farkı keskin biçimde çiziyor: orada model dışarı çıkmak için bilinmeyen bir açığı kullandı, burada yol yanlışlıkla açık bırakıldı. Ve olayları kendisinin bulduğunu, ulaşmayı başardığı iki kuruluşun ise hiçbir şey fark etmediğini ve kimseyi uyarmadığını ekliyor. Durum hakkında bütün açıklamalardan fazlasını söyleyen nokta bu: kurbanlar saldırıya uğradıklarını, saldırgan onlara söylemek için aradığında öğrendi.

Vakayı şimdi bağımsız grup METR inceliyor. Düne kadar soru yapay zekâ modellerinin kontrollü ortamdan çıkıp çıkamayacağıysa, yanıt on gün içinde en büyük iki laboratuvar tarafından iki kez verildi. Geriye ikinci soru kalıyor - kimsenin incelemediği ortamları kim sayıyor.