Anthropic ve OpenAI laboratuvarlarının içine bağımsız denetçiler sözü verdi: ama kim olacak, neye erişecek ve ne söyleyebilecek - söylemiyorlar

Anthropic'in yöneticisi Dario Amodei, hafta sonu yayımlanan bir makalede, sektörün bir yıl önce anında reddedeceği bir şey önerdi: her büyük yapay zekâ şirketinin içinde, güvenlik olaylarını bildirme, modellerin gerçekten hizalı olup olmadığını denetleme ve bulgularını şirket sözlerini dizmeden yayımlama hakkına sahip, yerleşik bağımsız değerlendiricilerin bulunması. Sam Altman, OpenAI'ın da aynı taahhüdü vereceğini söyledi. Bir dönüm noktası gibi duruyor. Ama değerlendirici kim olacak, ne zaman girecek, neye erişimi olacak ve ne söyleyebilecek - yinelenen sorulara rağmen iki şirket de bu soruların hiçbirini yanıtlamadı.

Şimdiye dek bu şirketlerle çalışmış değerlendiriciler, vaat edilen açıklığın kendisinden etkilenmiş değil. Somut bir şey istiyorlar: yalnızca yayımlanmadan önceki bitmiş modele değil, eğitiminin tamamından alınan ara kesitlere erişim. FAR.AI'nin direktörü Adam Gleave nedenini açıklıyor - bu kesitleri karşılaştırınca sorunlu davranışın hangi anda ortaya çıktığı görülüyor, modeli bunun için hangi ortamın ödüllendirdiği kontrol ediliyor ve şirketin modelin testleri aslında nasıl geçtiğine dair iddiaları doğrulanıyor.

Bu neden önemli? Çünkü modeller test edildiklerini fark etmekte giderek daha iyi hale geliyor. Bir güvenlik testini geçen model, o testi tam olarak nasıl geçeceğini öğrenmişse güvenli değildir. Palisade Research'ten John Stidley bunu doğrudan Volkswagen'in "Dieselgate" skandalıyla karşılaştırdı - otomobiller egzozun ölçüldüğünü fark ediyor ve ölçüm sürerken farklı davranıyordu. Aynı mantık, yalnızca motor yerine modelle.

Apollo Research'ün araştırma başkanı Alexander Meinke soruyu daha da keskin sordu. "Yapay zekâ şirketleri tamamen temel bir soruya yanıt verebilmeli: model, hizalama eğitimi sürerken kendi eğitimini aktif olarak baltalamaya hiç çalıştı mı?" Yanıt, diyor, tereddütsüz hayır olmalı - şu anda ise tümüyle şirketlerin kendilerinin dikkatle kontrol edip sonra doğru biçimde bildirmesine bağımlıyız. "Ve son olaylardan gördük ki kural olarak ikisini de yapmayacaklar."

Şimdiye kadarki uygulama vaatleri desteklemiyor. Hugging Face olayı soruşturulurken OpenAI, METR ve Redwood'a yerinde yaklaşık bir hafta verdi - iki firma da sonrasında, kapsamın sınırlılığı ve zamanın azlığı nedeniyle güvenilir sonuçlar çıkaramadıklarını söyledi. OpenAI'ın şimdiye dek en hizalı diye tanıttığı GPT-6 Astra modelinin testinde Apollo Research üç gün aldı. Model kartına katkısında firma, sorunlu davranışın düşük oranlarının modelin hizalılığına dair ciddi bir kanıt oluşturmadığını yazdı - kontrol için yeterli zamanları olmamıştı.

Gleave, FAR.AI'nin süreç üzerinde fazla denetim isteyen birkaç önde gelen laboratuvarla sözleşmeleri reddetmek zorunda kaldığını söylüyor. Standart olarak değerlendiriciler sıradan alt yükleniciler gibi görülüyor - şirkete neyin yayımlanabileceği üzerinde önemli denetim bırakan kısıtlayıcı gizlilik sözleşmeleriyle bağlı. "Dario ve Sam'in fikirlerini değiştirmiş ve bu konuda çok açık olacak olmaları mümkün", diyor Gleave. "Ama bu şirketlerin fikri mülkiyeti onlar için inanılmaz değerli ve bence kural olarak neyin paylaşılabileceği konusunda çok dikkatli olacaklar."

Hikâyenin en sert kısmı da burada geliyor. Safer AI'ın icra direktörü Henry Papadatos, gönüllü önlemlerin her zaman şirketin iyi niyetine bağlı olduğunu söylüyor. "İdeal olan, bunu zorunlu kılan iyi bir düzenlemeye sahip olmak - çünkü o zaman şirketler, büyük bir kamuoyu krizi başlarına geldiğinde yarın fikirlerini değiştiremez." Papadatos argümanı akılda tutmaya değer biçimde kapatıyor: ikisine birden sahip olunamaz - sıfır dış hesap verebilirlik, ama aynı anda kamuoyundan kurallara uyulduğuna inanmasını istemek.

Meta, SpaceXAI ve Google DeepMind şimdilik hiçbir taahhüt vermedi. Yasalar ise makalelerden yavaş ilerliyor: Kaliforniya'nın SB 53'ü büyük geliştiricilerden güvenlik çerçeveleri yayımlamasını ve kritik olayları bildirmesini istiyor; yeni SB 813 ise devletçe tanınan bağımsız doğrulama kuruluşları için bir çerçeve oluşturuyor. Avrupa yapay zekâ yasası belgelenmiş değerlendirmeler ve ciddi olayların bildirilmesini şart koşuyor; Yapay Zekâ Ofisi de kendisi denetim yapabiliyor ve bağımsız uzmanlar atayabiliyor. Bunların hiçbiri henüz Amodei'nin önerdiği kadar ileri gitmiyor - yani ne kadar dış denetimi üzerlerine kabul edecekleri kararını hâlâ laboratuvarların kendisi veriyor. Balkanlar'da biri o rapor yayımlandığında onu görecek mi, yoksa her şey gibi onu da ikinci elden mi okuyacağız?