Француска фирма вети триесеткратно забрзување без нов чип: демото работеше со модел стократно помал од ветувањето

Целата трка во вештачката интелигенција последниве години се сведе на едно: купи повеќе чипови. Француската фирма Kog тргнува од спротивната претпоставка – дека графичките процесори што компаниите веќе ги поседуваат работат далеку под својот капацитет, и дека разликата не е во хардверот, туку во тоа колку длабоко некој сакал да го разбере.

Во мај фирмата стигна до насловната страница на Hacker News со технички приказ што требаше да докаже дека „екстремно брзо декодирање на едно барање е можно на стандардните графички процесори за дата центри што претпријатијата веќе ги имаат“. Демонстрацијата се одвиваше на AMD MI300X и Nvidia H200 – карти што веќе стојат во серверските сали, без нови нарачки и без чекање.

Реакцијата беше моментална. „Имавме 200 конкретни деловни контакти“, изјави извршниот директор Гаел Делало. Не купувачи – контакти. Но за фирма од единаесет луѓе со еден основач, тоа е доволно за да се разбере дека проблемот што го напаѓа е вистински.

Кој чека, тој плаќа

Причината е прозаична. Брзината на извршување стана тесно грло со цена. Корисниците на алатки како Claude Code знаат што значи да се чека со часови за резултат, а самата Anthropic наплатува повеќекратна цена за својот побрз режим. Со други зборови: брзината веќе се продава како посебен производ, а Kog сака да ја продава на постоечки хардвер.

Тука е и најголемата дупка во приказната, и Делало не ја крие. Ветувањето гласи „30 пати побрзо извршување на големи јазични модели“. Демонстрацијата покажа 3.000 токени во секунда по барање – но со наменски мал модел од околу две милијарди параметри, Laneformer 2B, кој оттогаш е објавен со отворен код. Од мал модел до вистински голем модел има растојание што досега никој не го поминал со ветувањето непроменето.

Делало тврди дека ќе успее. „Графичките процесори имаат светла иднина“, вели тој, објаснувајќи дека новите карти имаат сè повеќе мемориска пропусност што само чека да биде отклучена. Проверката доаѓа наскоро и самиот ја закажа: првиот голем модел со десеткратна брзина го очекува во септември, а од тоа зависи и следниот круг финансирање.

Физичар што учел да разбива системи

Пристапот на фирмата се објаснува со биографијата на основачот. Делало студирал физика на цврста состојба на Политехничката школа во Франција, а потоа работел во офанзивна сајбербезбедност – четирипати финалист на натпреварот CTF на DEFCON. Од науката, вели, доаѓа „тој начин на размислување за разбирање на законите на физиката и законите на графичкиот процесор за да се извлече максимум од нив“. Од хакирањето – способноста „да се разложуваат работите на многу ниско ниво, до асемблерски јазик и бинарен код, за да се разбере како функционира и да се употреби за цел за која не била наменета“.

Цената на тој пристап е време. „За секој нов графички процесор ќе посветиме неколку недели или дури месеци за навистина да навлеземе во деталите“, признава тој. Со единаесет луѓе, тоа значи мал број поддржани чипови и во догледна иднина.

Kog не е сама во оваа идеја – друга француска фирма, ZML, објави софтвер што ја заобиколува платформата CUDA на Nvidia за да поддржи брзо извршување на конкурентски чипови. И тоа не е случајно. Европа нема свои фабрики за врвни чипови и нема да ги има наскоро, па единствената преостаната позиција е софтверот: ако не можеш да го произведеш хардверот, барем научи да го извлечеш максимумот од туѓиот. Kog е поддржана од Bpifrance и од програмата French Tech 2030 – државни пари зад техничка сувереност.

Тоа е стратегија што балканскиот читател би требало да ја препознае. Кога немаш капитал за да купиш најдоброто, преостанува вештината да го натераш веќе купеното да работи повеќе отколку што пишува во спецификацијата. Разликата е што во Франција таа вештина добива државна поддршка и рок до септември.