Firmë franceze premtoi tridhjetëfishim shpejtësie pa çip të ri: demoja punoi me një model njëqindfish më të vogël se premtimi

E gjithë gara në inteligjencën artificiale këto vitet e fundit u përmblodh në një gjë: bli më shumë çipa. Firma franceze Kog niset nga supozimi i kundërt - se procesorët grafikë që kompanitë i zotërojnë tashmë punojnë shumë nën kapacitetin e vet, dhe se dallimi nuk është te hardueri, por te sa thellë dikush deshi ta kuptonte.

Në maj firma arriti në faqen kryesore të Hacker News me një paraqitje teknike që duhej të dëshmonte se „dekodimi jashtëzakonisht i shpejtë i një kërkese të vetme është i mundur në procesorët grafikë standardë për qendra të dhënash që ndërmarrjet i kanë tashmë”. Demonstrimi u zhvillua në AMD MI300X dhe Nvidia H200 - karta që tashmë qëndrojnë në sallat e serverëve, pa porosi të reja dhe pa pritje.

Reagimi ishte i menjëhershëm. „Patëm 200 kontakte konkrete biznesi”, deklaroi drejtori ekzekutiv Gael Delalo. Jo blerës - kontakte. Por për një firmë me njëmbëdhjetë veta dhe një themelues, kjo mjafton për të kuptuar se problemi që sulmon është i vërtetë.

Kush pret, ai paguan

Arsyeja është prozaike. Shpejtësia e ekzekutimit u bë ngushticë me çmim. Përdoruesit e mjeteve si Claude Code e dinë çfarë do të thotë të presësh me orë për një rezultat, ndërsa vetë Anthropic e ngarkon shumëfish çmimin për regjimin e vet më të shpejtë. Me fjalë të tjera: shpejtësia tashmë shitet si produkt i veçantë, ndërsa Kog dëshiron ta shesë mbi harduerin ekzistues.

Këtu është edhe vrima më e madhe në histori, dhe Delalo nuk e fsheh. Premtimi thotë „ekzekutim 30 herë më i shpejtë i modeleve të mëdha gjuhësore”. Demonstrimi tregoi 3.000 tokenë në sekondë për kërkesë - por me një model të vogël të posaçëm prej rreth dy miliardë parametrash, Laneformer 2B, i publikuar që atëherë me kod të hapur. Nga një model i vogël deri te një model vërtet i madh ka një distancë që deri tani askush nuk e ka kaluar me premtimin të pandryshuar.

Delalo pohon se do t'ia dalë. „Procesorët grafikë kanë të ardhme të ndritur”, thotë ai, duke shpjeguar se kartat e reja kanë gjithnjë e më shumë gjerësi bande memorieje që vetëm pret të zhbllokohet. Verifikimi vjen së shpejti dhe vetë e caktoi: modelin e parë të madh me shpejtësi dhjetëfishe e pret në shtator, dhe prej kësaj varet edhe raundi tjetër i financimit.

Një fizikan që mësoi t'i thyejë sistemet

Qasja e firmës shpjegohet me biografinë e themeluesit. Delalo studioi fizikën e gjendjes së ngurtë në Shkollën Politeknike në Francë, e pastaj punoi në sigurinë kibernetike ofensive - katër herë finalist i garës CTF në DEFCON. Nga shkenca, thotë, vjen „ai mënyrë e të menduarit për të kuptuar ligjet e fizikës dhe ligjet e procesorit grafik që të nxirret maksimumi prej tyre”. Nga hakimi - aftësia „t'i zbërthesh gjërat në nivel shumë të ulët, deri te gjuha e asemblerit dhe kodi binar, për të kuptuar si funksionon dhe për ta përdorur për një qëllim për të cilin nuk ishte menduar”.

Çmimi i asaj qasjeje është koha. „Për çdo procesor të ri grafik do t'i kushtojmë disa javë ose edhe muaj që vërtet të hyjmë në detaje”, pranon ai. Me njëmbëdhjetë veta, kjo do të thotë numër i vogël çipash të mbështetur edhe në të ardhmen e afërt.

Kog nuk është vetëm në këtë ide - një firmë tjetër franceze, ZML, publikoi softuer që e anashkalon platformën CUDA të Nvidias për të mbështetur ekzekutim të shpejtë në çipa konkurrentë. Dhe kjo nuk është rastësi. Evropa nuk ka fabrikat e veta për çipa të nivelit të lartë dhe nuk do t'i ketë së shpejti, prandaj pozita e vetme që mbetet është softueri: nëse nuk mund ta prodhosh harduerin, të paktën mëso ta nxjerrësh maksimumin nga i huaji. Kog mbështetet nga Bpifrance dhe nga programi French Tech 2030 - para shtetërore pas sovranitetit teknik.

Kjo është një strategji që lexuesi ballkanik duhet ta njohë. Kur nuk ke kapital për të blerë më të mirën, mbetet zotësia ta detyrosh të blerën tashmë të japë më shumë se sa shkruan në specifikim. Dallimi është se në Francë ajo zotësi merr mbështetje shtetërore dhe një afat deri në shtator.