Skip to content

Französische Firma verspricht dreißigfache Beschleunigung ohne neuen Chip: Die Demo lief mit einem Modell, das hundertmal kleiner war als das Versprechen

1 Min. Lesezeit
Teilen
Französische Firma verspricht dreißigfache Beschleunigung ohne neuen Chip: Die Demo lief mit einem Modell, das hundertmal kleiner war als das Versprechen

Das ganze KI-Rennen der letzten Jahre lief auf eines hinaus: mehr Chips kaufen. Die französische Firma Kog geht von der gegenteiligen Annahme aus - dass die Grafikprozessoren, die Unternehmen bereits besitzen, weit unter ihrer Kapazität laufen, und dass der Unterschied nicht in der Hardware liegt, sondern darin, wie tief jemand sie verstehen wollte.

Im Mai schaffte es die Firma mit einem technischen Beitrag auf die Startseite von Hacker News, der belegen sollte, dass „extrem schnelles Decoding einer einzelnen Anfrage auf den Standard-Rechenzentrums-GPUs möglich ist, die Unternehmen bereits haben”. Die Demonstration lief auf AMD MI300X und Nvidia H200 - Karten, die schon in den Serverräumen stehen, ohne neue Bestellungen und ohne Wartezeit.

Die Reaktion kam sofort. „Wir hatten 200 konkrete Geschäftskontakte”, sagte Geschäftsführer Gaël Delalleau. Keine Käufer - Kontakte. Aber für eine Firma mit elf Leuten und einem Gründer reicht das, um zu verstehen, dass das Problem, das sie angeht, real ist.

Wer wartet, zahlt

Der Grund ist prosaisch. Die Ausführungsgeschwindigkeit ist zum Engpass mit Preisschild geworden. Wer Werkzeuge wie Claude Code nutzt, weiß, was es heißt, stundenlang auf ein Ergebnis zu warten, und Anthropic selbst verlangt ein Vielfaches für den schnelleren Modus. Anders gesagt: Geschwindigkeit wird bereits als eigenes Produkt verkauft, und Kog will sie auf vorhandener Hardware verkaufen.

Hier liegt auch das größte Loch in der Geschichte, und Delalleau verbirgt es nicht. Das Versprechen lautet „30-mal schnellere Ausführung großer Sprachmodelle”. Die Demonstration zeigte 3.000 Token pro Sekunde und Anfrage - allerdings mit einem eigens gebauten kleinen Modell von rund zwei Milliarden Parametern, Laneformer 2B, das inzwischen quelloffen veröffentlicht ist. Zwischen einem kleinen Modell und einem wirklich großen liegt eine Distanz, die bislang niemand mit unverändertem Versprechen überbrückt hat.

Delalleau ist überzeugt, dass es gelingt. „GPUs haben eine glänzende Zukunft”, sagt er und erklärt, neue Karten hätten immer mehr Speicherbandbreite, die nur darauf warte, freigesetzt zu werden. Die Prüfung kommt bald, und er hat den Termin selbst gesetzt: Das erste große Modell mit zehnfacher Geschwindigkeit erwartet er im September, und davon hängt auch die nächste Finanzierungsrunde ab.

Ein Physiker, der gelernt hat, Systeme zu knacken

Der Ansatz der Firma erklärt sich aus der Biografie des Gründers. Delalleau studierte Festkörperphysik an der École Polytechnique in Frankreich und arbeitete danach in offensiver Cybersicherheit - viermal Finalist beim CTF-Wettbewerb der DEFCON. Aus der Wissenschaft komme „diese Denkweise, die Gesetze der Physik und die Gesetze der GPU zu verstehen, um das Maximum aus ihnen herauszuholen”. Aus dem Hacking - die Fähigkeit, „Dinge auf sehr niedriger Ebene zu zerlegen, bis hinunter zu Assembler und Binärcode, um zu verstehen, wie es funktioniert, und es für einen Zweck einzusetzen, für den es nicht gedacht war”.

Der Preis dieses Ansatzes ist Zeit. „Für jede neue GPU werden wir mehrere Wochen oder sogar Monate aufwenden, um wirklich in die Details zu gehen”, räumt er ein. Bei elf Leuten heißt das: auf absehbare Zeit nur wenige unterstützte Chips.

Kog steht mit dieser Idee nicht allein - eine andere französische Firma, ZML, veröffentlichte Software, die Nvidias CUDA-Plattform umgeht, um schnelle Ausführung auf Konkurrenzchips zu ermöglichen. Und das ist kein Zufall. Europa hat keine Fabriken für Spitzenchips und wird sie so bald nicht haben, also bleibt nur die Software: Wenn du die Hardware nicht herstellen kannst, lerne wenigstens, aus fremder das Maximum zu holen. Kog wird von Bpifrance und dem Programm French Tech 2030 gestützt - Staatsgeld hinter technischer Souveränität.

Das ist eine Strategie, die ein Leser auf dem Balkan wiedererkennen sollte. Wenn das Kapital fehlt, um das Beste zu kaufen, bleibt die Fertigkeit, das bereits Gekaufte zu mehr zu bringen, als im Datenblatt steht. Der Unterschied ist, dass diese Fertigkeit in Frankreich staatliche Förderung und eine Frist bis September bekommt.