Bütün yapay zekâ piyasası yeni çiplerin peşinde koşarken, on bir kişilik bir ekibi olan bir Fransız paranın zaten harcandığını, yalnızca kimsenin onu nasıl kullanacağını bilmediğini savunuyor. Fransa merkezli girişim Kog, şirketlerin çoktan satın alıp kurduğu grafik işlemcilerinden çok daha hızlı işlem çıkaran bir yazılım üzerinde çalışıyor.

Mayısta firma, tek bir şeyi kanıtlaması gereken teknik bir gösterimle Hacker News'in ana sayfasına çıktı: „tek istek başına aşırı hızlı kod çözmenin, firmaların hâlihazırda sahip olduğu standart veri merkezi grafik işlemcilerinde mümkün olduğu”. Demo AMD MI300X ve Nvidia H200 üzerinde çalıştı. Sonuç, istek başına saniyede 3.000 token oldu.

Tepki beklenenden büyüktü. „200 somut iş bağlantımız oldu” diyor genel müdür Gaël Delalleau. On bir çalışanı olan bir girişim için bu, kaldırabileceğinden fazla iş demek.

Tek bir sorun var ve Delalleau bundan kaçmıyor. Demo, yaklaşık 2 milyar parametreli bir modelle çalıştı - o zamandan beri açık kaynak olarak yayımlanan Laneformer 2B. Firmanın vaadi ise „büyük dil modellerinin 30 kat daha hızlı işlenmesi”. Küçük, amaca özel bir modelle gerçekten büyük bir dil modeli arasında henüz yapılmamış bir sıçrama duruyor. Kuşkucular bunun tutmayacağını söylüyor. Delalleau, grafik işlemcilerinin parlak bir geleceği olduğunu ve bunların kod çözmeye uygun olmadığı inancının bir yanılgıya dönüştüğünü söylüyor - yeni çiplerin giderek artan bellek bant genişliği, yalnızca birinin onu açmasını bekliyor.

Çalışma biçimleri acı verecek kadar elle yürüyor. Her yeni çip için firma, o donanımın ayrıntılarını kazımakla haftalar, kimi zaman aylar harcıyor. On bir kişilik bir ekiple bu, desteklenen çip sayısının az olması demek. Delalleau eğitimi gereği bir araştırmacı değil - École Polytechnique'te katıhal fiziği okudu, ardından ofansif siber güvenlikte çalıştı ve DEFCON'daki CTF yarışmasında dört kez finalist oldu. Bu deneyim ona, kendi ifadesiyle, „şeyleri çok düşük düzeye kadar - assembly diline ve ikili koda kadar - parçalara ayırmayı, nasıl çalıştıklarını anlamayı ve onları tasarlanmadıkları bir amaç için kullanmayı” öğretti.

Kog bu işte yalnız değil. Yine Fransız olan ZML, Nvidia'nın CUDA'sını devre dışı bırakan bir yazılım geliştirdi. Kog'un arkasında Bpifrance, French Tech 2030 programı ve Scaleway duruyor - yani Fransız devleti işin içinde ve bu tesadüf değil. Avrupa hem çiplerde hem modellerde kendi kapasitesini istiyor; mevcut donanımın daha fazlasını yapabileceğini vaat eden herkes de bu işi kolaylaştırıyor.

Sıradaki tarih eylül. „İlk büyük modeli on kat hızla çalıştırır çalıştırmaz gerçek müşteriler gösterebilecek ve bunun üzerinden bir A Serisi toplayabileceğiz” diyor Delalleau. O zamana kadar Kog, arkasında iyi bir hikâyesi olan bir vaat - on bir kişi, bir kurucu ve iki milyar parametrelik bir demo; karşısında ise yeni çiplere milyarlar harcayan koca bir piyasa. Tutarsa, o milyarların bir bölümünün hiç harcanması gerekmediği anlamına gelecek.