Ndërsa i gjithë tregu i inteligjencës artificiale vrapon pas çipave të rinj, një francez me një ekip prej njëmbëdhjetë vetash pretendon se paratë tashmë janë shpenzuar - vetëm se askush nuk di si t'i shfrytëzojë. Kog, një startap nga Franca, punon në një softuer që nxjerr përpunim dukshëm më të shpejtë nga procesorët grafikë që kompanitë tashmë i kanë blerë dhe instaluar.

Në maj firma arriti në faqen e parë të Hacker News me një demonstrim teknik që duhej të dëshmonte një gjë: se „dekodimi jashtëzakonisht i shpejtë për një kërkesë të vetme është i mundur në procesorë grafikë standardë të qendrave të të dhënave që firmat tashmë i posedojnë”. Demoja punoi në AMD MI300X dhe Nvidia H200. Rezultati ishte 3.000 token në sekondë për kërkesë.

Reagimi ishte më i madh se i pritshmi. „Patëm 200 kontakte konkrete biznesi”, thotë drejtori ekzekutiv Gael Delalo. Kjo është shifër që për një startap me njëmbëdhjetë të punësuar do të thotë më shumë punë nga sa mund të pranojë.

Ka vetëm një problem, dhe Delaloja nuk fshihet prej tij. Demoja punoi me një model prej rreth 2 miliardë parametrash - Laneformer 2B, i cili që atëherë është publikuar me kod të hapur. Premtimi i firmës është „përpunim 30 herë më i shpejtë i modeleve të mëdha gjuhësore”. Mes një modeli të vogël të dedikuar dhe një modeli gjuhësor vërtet të madh qëndron një kërcim që ende nuk është bërë. Skeptikët thonë se nuk do të dalë. Delaloja thotë se procesorët grafikë kanë të ardhme të ndritur dhe se besimi se nuk janë të përshtatshëm për dekodim është kthyer në keqkuptim - çipat e rinj kanë gjithnjë e më shumë gjerësi brezi memorieje që vetëm pret dikë ta zhbllokojë.

Mënyra si punojnë është e mundimshme deri në dhimbje. Për çdo çip të ri firma shpenzon javë, ndonjëherë muaj, duke gërmuar në detajet e atij hardueri konkret. Me një ekip prej njëmbëdhjetë vetash, kjo do të thotë numër i vogël çipash të mbështetur. Delaloja nuk është studiues nga arsimimi - ka studiuar fizikën e gjendjes së ngurtë në École Polytechnique, pastaj ka punuar në sigurinë kibernetike ofensive dhe ka qenë katër herë finalist i garës CTF në DEFCON. Ajo përvojë, thotë ai, e mësoi „t'i zbërthejë gjërat në një nivel shumë të ulët - deri te gjuha e asemblerit dhe kodi binar - për të kuptuar si funksionojnë dhe për t'i përdorur për një qëllim për të cilin nuk ishin menduar”.

Kog nuk është i vetmi në këtë. ZML, gjithashtu franceze, ka ndërtuar softuer që e anashkalon CUDA-n e Nvidias. Pas Kog qëndrojnë Bpifrance, programi French Tech 2030 dhe Scaleway - domethënë shteti francez është brenda, gjë që nuk është e rastësishme. Evropa dëshiron kapacitet të vetin si për çipa ashtu edhe për modele, kurse kushdo që premton se harduerja ekzistuese mund të bëjë më shumë ia lehtëson atë detyrë.

Data e ardhshme është shtatori. „Sapo ta xhirojmë modelin e parë të madh me shpejtësi dhjetë herë më të lartë, do të mund të tregojmë klientë realë dhe prej andej të mbledhim një Seri A”, thotë Delaloja. Deri atëherë, Kog është një premtim me një histori të mirë pas vetes - njëmbëdhjetë veta, një themelues dhe një demo prej dy miliardë parametrash kundër një tregu të tërë që shpenzon miliarda për çipa të rinj. Nëse ia del, kjo do të thotë se një pjesë e atyre miliardave fare nuk kishte nevojë të shpenzohej.