Dok ceo tržišni sektor veštačke inteligencije trči za novim čipovima, jedan Francuz sa timom od jedanaest ljudi tvrdi da su pare već potrošene - samo što niko ne zna kako da ih iskoristi. Kog, startap iz Francuske, radi na softveru koji izvlači drastično bržu obradu iz grafičkih procesora koje kompanije već imaju kupljene i ugrađene.

U maju je firma stigla na naslovnu stranicu Hacker Newsa sa tehničkom demonstracijom koja je trebalo da dokaže jednu stvar: da je „ekstremno brzo dekodiranje po jednom zahtevu moguće na standardnim podatkovnim grafičkim procesorima koje firme već poseduju”. Demo je radio na AMD MI300X i Nvidia H200. Rezultat je bio 3.000 tokena u sekundi po zahtevu.

Reakcija je bila veća od očekivane. „Imali smo 200 konkretnih poslovnih kontakata”, kaže izvršni direktor Gael Delalo. To je brojka koja za startap sa jedanaest zaposlenih znači više posla nego što može da primi.

Ima samo jedan problem, i Delalo se ne krije od njega. Demo je radio sa modelom od oko 2 milijarde parametara - Laneformer 2B, koji je otada objavljen sa otvorenim kodom. Obećanje firme je „30 puta brža obrada velikih jezičkih modela”. Između malog namenskog modela i stvarno velikog jezičkog modela stoji skok koji još uvek nije napravljen. Skeptici kažu da neće uspeti. Delalo kaže da grafički procesori imaju svetlu budućnost i da je verovanje da nisu pogodni za dekodiranje postalo zabluda - novi čipovi imaju sve veću memorijsku propusnost koja samo čeka nekoga da je otključa.

Način na koji rade je ručan do bola. Za svaki novi čip firma troši nedelje, ponekad mesece, kopajući po detaljima tog konkretnog hardvera. Sa timom od jedanaest ljudi, to znači mali broj podržanih čipova. Delalo nije istraživač po obrazovanju - studirao je fiziku čvrstog stanja na École Polytechnique, zatim radio ofanzivnu sajberbezbednost i bio četvorostruki finalista takmičenja CTF na DEFCON-u. To iskustvo ga je, kaže, naučilo „da razlaže stvari na vrlo niskom nivou - do asemblerskog jezika i binarnog koda - da bi razumeo kako funkcionišu i upotrebio ih za cilj za koji nisu bili namenjeni”.

Kog nije sam u ovome. ZML, takođe francuski, napravio je softver koji zaobilazi CUDA na Nvidiji. Iza Koga stoje Bpifrance, program French Tech 2030 i Scaleway - znači francuska država je unutra, što nije slučajno. Evropa želi sopstveni kapacitet i za čipove i za modele, a svako ko obećava da postojeći hardver može da radi više joj olakšava taj zadatak.

Sledeći datum je septembar. „Čim sprovedemo prvi veliki model sa deset puta većom brzinom, moći ćemo da pokažemo realne klijente i odatle da skupimo Seriju A”, kaže Delalo. Do tada, Kog je obećanje sa dobrom pričom iza sebe - jedanaest ljudi, jedan osnivač i demo od dve milijarde parametara protiv celog tržišta koje troši milijarde na nove čipove. Ako uspe, to znači da deo tih milijardi uopšte nije morao da se potroši.