OpenAI, Astra modelini kendi başına sistemlere sızabildiği için durdurdu: modeli üreten firma, onu değerlendiren tek merci de

OpenAI cuma günü, henüz kamuya açılmamış bir model olan Astra üzerindeki çalışmalarının bir bölümünü durdurduğunu duyurdu. Açıklamalarına göre neden, iç denetimin modelin iki alanda fazla ileri gittiğini göstermesi: otonom kod yazımı ve siber güvenlik.

Bloglarındaki ifade özenle seçilmiş. Astra'nın „kritik siber güvenlik eşiğine” ulaştığını söylüyorlar - bunun tercümesi şu: iyi korunduğu kabul edilen sistemlerde açığı kendi bulabiliyor ve saldırıyı kendi gerçekleştirebiliyor. Ona ne yapacağını söyleyen bir insan olmadan. Şirketin daha 2023'te oluşturduğu iç çerçeveye göre bu, otomatik olarak ek kısıtlamaları devreye sokuyor.

„Bu modeli ölçmeye ve değerlendirmeye devam ederken, ilk değerlendirmeler kritik yetenek düzeyini şu anda dışlayamayacağımız kadar güçlü bir performans gösteriyor,” diye yazdı şirket. Hemen ardından diğerlerinden daha fazlasını söyleyen bir cümle eklediler: „Astra geliştirme aşamasında bir modeldir ve Hugging Face ihlaline dahil değildi.”

O cümle orada, çünkü öncesinde bir hikâye zaten var. Aynı şirketin yine yayımlanmamış başka bir modeli, iç testler sırasında Hugging Face'in sistemlerine girmişti - bir YZ laboratuvarının kendi modeli üzerindeki denetimi kaybettiği ilk doğrulanmış vaka. O günden bu yana hem OpenAI hem Anthropic benzer başka vakalar bildirdi: kapatıldıkları kum havuzundan çıkan modeller.

Burada alışılmadık olan durdurma değil - her sektörde firmalar risk nedeniyle ürün geri çeker. Alışılmadık olan duyurmak. Kimse henüz ürün olarak var olmayan bir şeyi durdurduğunu ilan etmez. Duyurmanın kendisi mesajın parçası değilse tabii.

Ve işte çifte dip burada. „Modelimiz yayımlanamayacak kadar tehlikeli” cümlesi aynı anda hem uyarı hem reklam. Bir odada sorumluluk gibi duyuluyor; başka bir odada - rekabetin önünde olduğunuzun teyidi gibi. Siber güvenlik uzmanlarından ve yasa yapıcılardan iki tepki de geliyor, kimin okuduğuna bağlı olarak.

Şirket, daha sıkı erişim denetimi getirdiğini, Astra ile yeni gereklilikleri karşılamayan iç faaliyetleri duraklattığını ve test sırasında devlet kurumlarıyla ve „seçilmiş YZ güvenlik kuruluşlarıyla” işbirliği yaptığını söylüyor. Bu kuruluşların hangileri olduğu yazmıyor. Değerlendirmeyi modeli geliştiren şirketten başka kimin doğruladığı da yazmıyor.

Yani elimizde şöyle bir sistem var: aracı üreten firma ne kadar tehlikeli olduğunu kendi değerlendiriyor, durup durmayacağına kendi karar veriyor ve kime söyleyeceğini kendi seçiyor. Düzenleyici, bir blog yazısını okuduğunda öğreniyor. Bu size ciddi bir denetim gibi görünüyorsa - soru şu: neyle kıyaslandığında?