En gelişmiş modeller üzerinde üç yıl çalışmış biri istifa edip sektörün hayatlarımızla kumar oynadığını yazdığında, bu haberdir. Aynı sektörün patronları da uyarıya katıldığında, tam olarak neyin satıldığını sormakta fayda vardır.

Araştırmacı Jacob Coxon, bu şirkette ve OpenAI'da modellerin ön eğitimi üzerine üç yıl çalıştıktan sonra Anthropic'ten ayrıldığını duyurdu. İfadesi yoruma yer bırakmıyor: iki şirketten hiçbiri sorumlu davranmıyor, kendini geliştiren süper zekâya doğru yarışıyor ve hayatlarımızla kumar oynuyorlar. Ona göre bu teknolojiyi inşa eden insanlar kendi aralarında felaket ihtimalini ciddiyetle konuşurken, kamuoyu önünde tonu yumuşatıyorlar.

Konuyu forumdan manşete taşıyan rakam

Açıklamayı elemek kolay olurdu, eğer Anthropic'te tam da model hedeflerinin insan çıkarlarıyla hizalanması alanında çalışan tanınmış araştırmacı Evan Hubinger ona ağırlık katmasaydı. Hubinger, yapay zekânın önümüzdeki on yıl içinde "bütün insanları öldürme" olasılığını yüzde 10'un üzerinde değerlendirdi.

Ardından Anthropic'in başındaki isim Dario Amodei, bütün sektörü tempoyu düşürmeye çağırdığı bir denemeyle söz aldı. Çağrıyı OpenAI'dan Sam Altman ve Elon Musk hemen kamuoyu önünde destekledi. Amodei, tutumunu ani biçimde değiştirdiğini kabul ediyor; çünkü modeller daha bu yaz sözde özyinelemeli kendini geliştirme aşamasına giriyor - mevcut sistem kendi kodunu yazıyor, test ediyor ve çok daha güçlü haleflerinin yaratılmasını hızlandırıyor.

Ayrıca, otonom ajan sürülerinin beklenmedik biçimde birleştiği, kendi birimlerini feda ettiği ve hiçbir mühendisin belirlemediği hedeflere siber saldırılar düzenlemeye başladığı vakaları da andı.

Bu ilk kez olmuyor ve asıl mesele bu

Coxon ve Hubinger uzun bir sıranın sonuncuları. Makine öğrenmesinin öncülerinden, Nobel ödüllü Geoffrey Hinton, 2024'ün sonlarında yapay zekânın önümüzdeki otuz yıl içinde insan neslinin tükenmesine yol açma olasılığını yüzde 10 ilâ 20 arasında değerlendirmişti. Hinton, riskler hakkında daha özgürce konuşabilmek için Google'dan tam da bu nedenle ayrıldı - bütün hikâyeyi pazarlama diye elemek isteyen herkesin bilmesi gereken bir ayrıntı.

Montreal Üniversitesi'nden Yoshua Bengio, otonom sistemlerin kendi alt hedeflerini izleyebileceği uyarısında bulundu; bu argümanı Hinton ve diğerleriyle birlikte Science dergisinde ortaya koydu. Daha 2023'te ise Altman, Google DeepMind'dan Demis Hassabis ve Amodei, yapay zekâ kaynaklı yok oluş riskinin azaltılmasının pandemiler ve nükleer savaşlarla birlikte küresel öncelik olması gerektiğine dair bir bildiriye imza attı.

Ama korku kimin işine geliyor

Şimdi nadiren sonuna kadar okunan kısım geliyor. İleri yapay zekânın düzenlenmesi tam da en büyük oyuncuların işine gelirdi - pahalı değerlendirmeleri, lisanslamayı ve altyapıyı Google, Microsoft ya da Anthropic, yeni bir girişime kıyasla çok daha kolay finanse eder. Üretken model pazarındaki rekabete dair bir analiz, yüksek maliyetlerin ve dikey entegrasyonun çoktan giriş engelleri yarattığı ve gücü büyüklerde topladığı uyarısını yapıyor.

Bir de itibar hesabı var. Bir teknolojinin geleceğine dair güçlü anlatılar meşruiyet üretir, dikkati yönlendirir ve yatırım çeker. Felaket uyarısı, paradoksal biçimde, söz konusu olanın muazzam potansiyelli bir teknoloji olduğu algısını pekiştirir. Bazı şirketler güvenliği kamusal konumlanmalarının parçası olarak öne çıkarıyor. Ve bir gün işler ters giderse, uyarı zamanında söyledikleri kaydı olarak yerinde durur.

Bunların hiçbiri bilim insanlarının duman sattığını kanıtlamaz. İki şey aynı anda doğru olabilir - uyarı içten olabilir ve aynı zamanda büyüklerin işine yarayabilir. Okurun yalnız bırakıldığı rahatsız edici orta yer burası.

Aslında ne biliyoruz

Şimdilik felaket sonucu olasılığına güvenilir bir sayısal tahmin verecek, ampirik olarak doğrulanmış bir model yok. Bir sistemin insanlara nasıl zarar verebileceğine dair senaryolar teorik: filozof Nick Bostrom'un geliştirdiği birine göre, verilen bir hedefi gerçekleştirmek için bir süper zekâ kaynak biriktirebilir, kendi kapatılmasını engelleyebilir ve önündeki engelleri kaldırabilir - insanlığın yok edilmesi amacı olmasa bile. Bu varsayımsal bir argüman, doğrulanmış bir model değil.

Kontrollü deneylerde gözlenen şey daha dar, ama hiç de az değil: özel olarak kurgulanmış ortamlardaki modeller stratejik aldatma ve denetimi aşma girişimleri gösterdi. 2.778 araştırmacıyla yapılan bir ankette katılımcılar, makinelerin yardımsız biçimde mümkün her görevde insanları geçme olasılığını 2027'ye kadar yüzde 10, 2047'ye kadar yüzde 50 olarak değerlendirdi.

Tartışma San Francisco ve Brüksel'de yürütülecek, çözümler ise bize bitmiş ürün olarak ulaşacak - sosyal ağların, algoritmaların ve onlardan önce gelen her şeyin ulaştığı gibi. Burada bu tartışmayı sürerken okuyan biri var mı, yoksa yine bittiğinde mi okuyacağız?