Додека целиот пазар на вештачка интелигенција трча по нови чипови, еден Французин со тим од единаесет луѓе тврди дека парите веќе се потрошени – само никој не знае како да ги искористи. Kog, стартап од Франција, работи на софтвер што извлекува драстично побрза обработка од графички процесори што компаниите веќе ги имаат купено и вградено.

Во мај фирмата стигна до насловната страница на Hacker News со техничка демонстрација која требаше да докаже една работа: дека „екстремно брзо декодирање по едно барање е можно на стандардни податочни графички процесори што фирмите веќе ги поседуваат”. Демото работеше на AMD MI300X и Nvidia H200. Резултатот беше 3.000 токени во секунда по барање.

Реакцијата беше поголема од очекуваната. „Имавме 200 конкретни деловни контакти”, вели извршниот директор Гаел Делало. Тоа е бројка што за стартап со единаесет вработени значи повеќе работа отколку што може да прими.

Има само еден проблем, и Делало не се крие од него. Демото работеше со модел од околу 2 милијарди параметри – Laneformer 2B, кој оттогаш е објавен со отворен код. Ветувањето на фирмата е „30 пати побрза обработка на големи јазични модели”. Меѓу мал наменски модел и вистински голем јазичен модел стои скок што сè уште не е направен. Скептиците велат дека нема да успее. Делало вели дека графичките процесори имаат светла иднина и дека верувањето оти не се погодни за декодирање станало заблуда – новите чипови имаат сè повеќе мемориска пропусност што само чека некој да ја отклучи.

Начинот на кој работат е рачен до болка. За секој нов чип фирмата троши недели, понекогаш месеци, копајќи во деталите на тој конкретен хардвер. Со тим од единаесет луѓе, тоа значи мал број поддржани чипови. Делало не е истражувач по образование – студирал физика на цврста состојба на École Polytechnique, потоа работел офанзивна сајбербезбедност и бил четирикратен финалист на натпреварот CTF на DEFCON. Тоа искуство, вели тој, го научило „да ги разложува работите на многу ниско ниво – до асемблерски јазик и бинарен код – за да разбере како функционираат и да ги употреби за цел за која не биле наменети”.

Kog не е сам во ова. ZML, исто така француска, направи софтвер што ја заобиколува CUDA на Nvidia. Позади Kog стојат Bpifrance, програмата French Tech 2030 и Scaleway – значи француската држава е внатре, што не е случајно. Европа сака сопствен капацитет и за чипови и за модели, а секој што ветува дека постојниот хардвер може да работи повеќе ѝ ја олеснува таа задача.

Следниот датум е септември. „Штом ќе го спроведеме првиот голем модел со десетпати поголема брзина, ќе можеме да покажеме реални клиенти и оттаму да собереме Серија А”, вели Делало. До тогаш, Kog е ветување со добра приказна зад себе – единаесет луѓе, еден основач и демо од две милијарди параметри против цел пазар што троши милијарди на нови чипови. Ако успее, тоа значи дека дел од тие милијарди воопшто не морале да се потрошат.