Anthropic'in otomatik araştırmacısı saatte 4 dolar, insan 150: karşılaştırmayı şirketin kendisi yazdı

Anthropic, kendi uyumunu kendisi onaran - ve bunu yaparken aynı iş için para ödediği insanı geride bırakan - bir sistemi anlatan bir makale yayımladı. Makalenin adı „Otomatik araştırmacılar hizalama başarısızlıklarını güvenilir biçimde azaltabilir“, havada asılı kalan rakam ise teknik değil. O rakam, saatte 4 dolara karşı saatte 150 dolar.

Bu, otomatik araştırmacının maliyeti ile şirketin kendisinin onunla karşılaştırdığı insanın ücreti arasındaki fark. Dışarıdan bir eleştirmenin zarar vermek için çıkardığı bir veri değil - kendi makalelerinden bir cümle, oraya bilerek konmuş.

Sistemi, Anthropic'in programındaki bursiyer Chen Yueh-Han yürütüyor. Mekanizma, bilimde çalışmış herkese tanıdık: literatürü tara, bir yöntem öner, modeli otuz dakika eğit, ölç, işe yarayanı tut, yaramayanı at, tekrarla. Tek fark, hiçbir adımı bir insanın yapmaması. Hizasız davranış için kullanılan on ayrı ölçütte, otomatik sistemler her birinde sonucu iyileştirdi, üstelik genel performansı bozmadan.

Asıl hikâyeyi anlatan cümle

„Otomatik araştırmacının en iyi yöntemi, deneyimli insanların önerdiğini ortalama altı saat farkla geride bırakıyor“, deniyor makalede. Ardından, kuşkuya yer bırakmamak için: „İnsan öncülüğündeki araştırma yönelimleri daha güçlü performansa götürmüyor.“ Bu, modellerle ilgili bir cümle değil. İş yerleriyle ilgili bir cümle - ve inandırıcı görünmesinden doğrudan çıkarı olan bir tarafça yazılmış.

Korunması gereken şüphecilik de buradan geliyor. Anthropic, tam da bu tür modellere erişim satan bir şirket. Sistemlerinin insanlardan daha ucuza ve daha hızlı çalıştığını gösteren bir makale tarafsız bilim değil - aynı zamanda mümkün olan en iyi pazarlama malzemesi; cuma günü yayımlanmış, fiyat karşılaştırması içine gömülü. Bu, sonuçların yalan olduğu anlamına gelmiyor. Küçük yazıların da okunmaya değer olduğu anlamına geliyor.

Ve küçük yazılar var. Makalenin kendisi, sistemin ancak ölçütlerin modelden istediğimizi gerçekten yansıttığı ölçüde işlediğini kabul ediyor. Birilerinin o ölçütleri hazırlaması, sürdürmesi, otomatik araştırmacıların beslendiği literatürü genişletmesi gerekiyor. Başka bir deyişle - insan ortadan kalkmıyor, bir adım geri çekiliyor ve çerçeveyi kuran kişi hâline geliyor. Soru şu: o rol daha ne kadar insana ait kalacak?

Bu neden yalnızca bir Silikon Vadisi hikâyesi değil

Sektörde, bir sonraki gerçek sıçramanın daha büyük bir modelden değil, kendini geliştiren bir modelden geleceği fikri var - özyinelemeli kendini geliştirme. Bir sistem kendi hizalamasını onarabiliyorsa, mantık onun eğitiminin diğer parçalarını da onarabileceğini söylüyor. Bu makale o yöndeki ilk ciddi adım; bir konferans sahnesindeki varsayım değil.

Bizde yapay zekâ tartışması hâlâ kimin ödevini daha hızlı yazdıracağı düzeyinde. Bu arada, o araçları inşa eden şirketlerin makalelerinde insan çoktan saatlik fiyatıyla bir tabloya yerleştirilmiş durumda - ve pahalı sütun o. Onu satan şirket karşılaştırmalı fiyatı çoktan yayımlamışken, yapay zekânın meslekleri değiştirip değiştirmeyeceğini tartışmanın anlamı var mı?