Fransız firma yeni çip olmadan otuz kat hızlanma sözü verdi: demo, vaadin yüz kat küçüğü bir modelle çalıştı

Son yılların bütün yapay zekâ yarışı tek bir şeye indirgendi: daha çok çip al. Fransız firma Kog ise tersi varsayımdan yola çıkıyor - şirketlerin zaten sahip olduğu grafik işlemcilerin kapasitelerinin çok altında çalıştığı ve farkın donanımda değil, birinin onu ne kadar derinden anlamak istediğinde olduğu.

Firma mayısta, „işletmelerin zaten sahip olduğu standart veri merkezi grafik işlemcilerinde tek bir sorgunun aşırı hızlı çözülmesinin mümkün olduğunu” kanıtlaması gereken teknik bir yazıyla Hacker News'in ana sayfasına çıktı. Gösterim AMD MI300X ve Nvidia H200 üzerinde yapıldı - yeni sipariş ve bekleme gerektirmeden, sunucu odalarında hâlihazırda duran kartlar.

Tepki anında geldi. „200 somut iş bağlantımız oldu”, dedi icra direktörü Gaël Delalleau. Alıcı değil - bağlantı. Ama tek kurucusu olan on bir kişilik bir firma için bu, saldırdığı sorunun gerçek olduğunu anlamaya yeter.

Bekleyen öder

Nedeni sıradan. Çalıştırma hızı, fiyat etiketi olan bir darboğaza dönüştü. Claude Code gibi araçların kullanıcıları bir sonuç için saatlerce beklemenin ne demek olduğunu bilir; Anthropic'in kendisi de daha hızlı kipi için kat kat ücret alıyor. Başka bir deyişle: hız zaten ayrı bir ürün olarak satılıyor, Kog ise onu mevcut donanım üzerinde satmak istiyor.

Hikâyedeki en büyük boşluk da burada ve Delalleau bunu gizlemiyor. Vaat şöyle: „büyük dil modellerinin 30 kat daha hızlı çalıştırılması”. Gösterim sorgu başına saniyede 3.000 token gösterdi - ama yaklaşık iki milyar parametrelik, amaca özel küçük bir modelle: o zamandan beri açık kaynak olarak yayımlanan Laneformer 2B. Küçük bir modelden gerçekten büyük bir modele giden yolda, vaadi bozulmadan aşan henüz kimse olmadı.

Delalleau başaracağını savunuyor. „Grafik işlemcilerin geleceği parlak”, diyor ve yeni kartların, açığa çıkarılmayı bekleyen giderek artan bellek bant genişliğine sahip olduğunu açıklıyor. Sınav yakında geliyor ve tarihi kendisi koydu: on kat hızda ilk büyük modeli eylülde bekliyor, sonraki finansman turu da buna bağlı.

Sistem kırmayı öğrenmiş bir fizikçi

Firmanın yaklaşımı kurucusunun geçmişiyle açıklanıyor. Delalleau Fransa'da École Polytechnique'te katıhâl fiziği okudu, ardından saldırgan siber güvenlikte çalıştı - DEFCON'daki CTF yarışmasının dört kez finalisti. Bilimden, diyor, „fizik yasalarını ve grafik işlemcinin yasalarını anlayıp onlardan azamiyi çıkarmaya yönelik o düşünme biçimi” geliyor. Hackleme'den ise „nasıl çalıştığını anlamak ve tasarlanmadığı bir amaç için kullanmak üzere işleri çok düşük seviyede, assembly diline ve ikili koda kadar parçalayabilme” yetisi.

Bu yaklaşımın bedeli zaman. „Her yeni grafik işlemci için gerçekten ayrıntılara inmek üzere birkaç hafta, hatta aylar ayıracağız”, diye kabul ediyor. On bir kişiyle bu, öngörülebilir gelecekte az sayıda desteklenen çip demek.

Kog bu fikirde yalnız değil - bir başka Fransız firma ZML, rakip çiplerde hızlı çalıştırmayı desteklemek için Nvidia'nın CUDA platformunu atlayan bir yazılım yayımladı. Ve bu tesadüf değil. Avrupa'nın üst düzey çip fabrikaları yok ve yakında da olmayacak; geriye kalan tek konum yazılım: donanımı üretemiyorsan, hiç değilse başkasının donanımından azamiyi çıkarmayı öğren. Kog'un arkasında Bpifrance ve French Tech 2030 programı var - teknik egemenliğin ardındaki devlet parası.

Bu, Balkan okurunun tanıması gereken bir strateji. En iyisini alacak sermayen yoksa, geriye çoktan aldığını teknik belgesinde yazandan fazlasını yapmaya zorlama becerisi kalır. Fark, Fransa'da bu becerinin devlet desteği ve eylüle kadar bir süre alması.