Francuska firma obećala tridesetostruko ubrzanje bez novog čipa: demo je radio sa modelom sto puta manjim od obećanja

Cela trka u veštačkoj inteligenciji poslednjih godina svela se na jedno: kupi više čipova. Francuska firma Kog polazi od suprotne pretpostavke - da grafički procesori koje kompanije već poseduju rade daleko ispod svog kapaciteta, i da razlika nije u hardveru, nego u tome koliko duboko je neko hteo da ga razume.

U maju je firma stigla na naslovnu stranicu Hacker Newsa tehničkim prikazom koji je trebalo da dokaže da je „ekstremno brzo dekodiranje jednog upita moguće na standardnim grafičkim procesorima za data centre koje preduzeća već imaju”. Demonstracija se odvijala na AMD MI300X i Nvidia H200 - karticama koje već stoje u serverskim salama, bez novih porudžbina i bez čekanja.

Reakcija je bila momentalna. „Imali smo 200 konkretnih poslovnih kontakata”, izjavio je izvršni direktor Gael Delalo. Ne kupaca - kontakata. Ali za firmu od jedanaest ljudi sa jednim osnivačem, to je dovoljno da se razume da je problem koji napada stvaran.

Ko čeka, taj plaća

Razlog je prozaičan. Brzina izvršavanja postala je usko grlo sa cenom. Korisnici alata poput Claude Code znaju šta znači čekati satima na rezultat, a sam Anthropic naplaćuje višestruku cenu za svoj brži režim. Drugim rečima: brzina se već prodaje kao poseban proizvod, a Kog želi da je prodaje na postojećem hardveru.

Tu je i najveća rupa u priči, i Delalo je ne krije. Obećanje glasi „30 puta brže izvršavanje velikih jezičkih modela”. Demonstracija je pokazala 3.000 tokena u sekundi po upitu - ali sa namenski malim modelom od oko dve milijarde parametara, Laneformer 2B, koji je otada objavljen sa otvorenim kodom. Od malog modela do pravog velikog modela postoji rastojanje koje dosad niko nije prešao sa obećanjem nepromenjenim.

Delalo tvrdi da će uspeti. „Grafički procesori imaju svetlu budućnost”, kaže on, objašnjavajući da nove kartice imaju sve više memorijske propusnosti koja samo čeka da bude otključana. Provera dolazi uskoro i sam ju je zakazao: prvi veliki model sa desetostrukom brzinom očekuje u septembru, a od toga zavisi i sledeći krug finansiranja.

Fizičar koji je učio da razbija sisteme

Pristup firme objašnjava se biografijom osnivača. Delalo je studirao fiziku čvrstog stanja na Politehničkoj školi u Francuskoj, a potom radio u ofanzivnoj sajber-bezbednosti - četiri puta finalista takmičenja CTF na DEFCON-u. Iz nauke, kaže, dolazi „taj način razmišljanja za razumevanje zakona fizike i zakona grafičkog procesora da bi se iz njih izvukao maksimum”. Iz hakovanja - sposobnost „da se stvari razlažu na vrlo niskom nivou, do asemblerskog jezika i binarnog koda, da bi se razumelo kako funkcioniše i upotrebilo za svrhu za koju nije bilo namenjeno”.

Cena tog pristupa je vreme. „Za svaki novi grafički procesor posvetićemo nekoliko nedelja ili čak meseci da bismo zaista ušli u detalje”, priznaje on. Sa jedanaest ljudi, to znači mali broj podržanih čipova i u doglednoj budućnosti.

Kog nije sama u ovoj ideji - druga francuska firma, ZML, objavila je softver koji zaobilazi Nvidijinu platformu CUDA da bi podržao brzo izvršavanje na konkurentskim čipovima. I to nije slučajno. Evropa nema svoje fabrike za vrhunske čipove i neće ih imati uskoro, pa je jedina preostala pozicija softver: ako ne možeš da proizvedeš hardver, bar nauči da izvučeš maksimum iz tuđeg. Kog je podržan od Bpifrance i od programa French Tech 2030 - državni novac iza tehničkog suvereniteta.

To je strategija koju bi balkanski čitalac trebalo da prepozna. Kada nemaš kapital da kupiš najbolje, preostaje veština da već kupljeno nateraš da radi više nego što piše u specifikaciji. Razlika je u tome što u Francuskoj ta veština dobija državnu podršku i rok do septembra.