Während der gesamte KI-Markt neuen Chips hinterherläuft, behauptet ein Franzose mit einem Team von elf Leuten, das Geld sei längst ausgegeben - nur wisse niemand, wie man es nutzt. Kog, ein Start-up aus Frankreich, arbeitet an Software, die aus Grafikprozessoren, die Unternehmen bereits gekauft und verbaut haben, drastisch schnellere Verarbeitung herausholt.

Im Mai schaffte es die Firma mit einer technischen Demonstration auf die Startseite von Hacker News, die eines beweisen sollte: dass „extrem schnelles Decoding pro Einzelanfrage auf den handelsüblichen Rechenzentrums-GPUs möglich ist, die Firmen ohnehin besitzen”. Die Demo lief auf AMD MI300X und Nvidia H200. Das Ergebnis waren 3.000 Token pro Sekunde und Anfrage.

Die Reaktion fiel größer aus als erwartet. „Wir hatten 200 konkrete Geschäftsanfragen”, sagt Geschäftsführer Gaël Delalleau. Für ein Start-up mit elf Beschäftigten ist das mehr Arbeit, als es annehmen kann.

Es gibt nur ein Problem, und Delalleau versteckt sich nicht davor. Die Demo lief mit einem Modell von rund 2 Milliarden Parametern - Laneformer 2B, das inzwischen als Open Source veröffentlicht wurde. Das Versprechen der Firma lautet „30-mal schnellere Verarbeitung großer Sprachmodelle”. Zwischen einem kleinen Spezialmodell und einem wirklich großen Sprachmodell liegt ein Sprung, der noch nicht geschafft ist. Skeptiker sagen, es werde nicht gelingen. Delalleau sagt, GPUs hätten eine glänzende Zukunft, und die Überzeugung, sie eigneten sich nicht zum Decoding, sei zum Irrtum geworden - neue Chips hätten immer mehr Speicherbandbreite, die nur darauf warte, dass jemand sie freilegt.

Ihre Arbeitsweise ist mühsam bis zum Schmerz. Für jeden neuen Chip verbringt die Firma Wochen, manchmal Monate damit, sich in die Details genau dieser Hardware einzugraben. Bei einem Team von elf Personen heißt das: wenige unterstützte Chips. Delalleau ist von Haus aus kein Forscher - er studierte Festkörperphysik an der École Polytechnique, arbeitete dann in offensiver Cybersicherheit und war viermal Finalist beim CTF-Wettbewerb der DEFCON. Diese Erfahrung habe ihn gelehrt, „Dinge auf sehr niedriger Ebene zu zerlegen - bis hinunter zu Assemblersprache und Binärcode -, um zu verstehen, wie sie funktionieren, und sie für einen Zweck einzusetzen, für den sie nicht gedacht waren”.

Kog steht damit nicht allein. ZML, ebenfalls französisch, hat Software gebaut, die Nvidias CUDA umgeht. Hinter Kog stehen Bpifrance, das Programm French Tech 2030 und Scaleway - der französische Staat ist also mit im Boot, und das ist kein Zufall. Europa will eigene Kapazitäten sowohl bei Chips als auch bei Modellen, und wer verspricht, dass vorhandene Hardware mehr leisten kann, erleichtert diese Aufgabe.

Der nächste Termin ist der September. „Sobald wir das erste große Modell mit zehnfacher Geschwindigkeit fahren, können wir echte Kunden vorweisen und darauf eine Series A einsammeln”, sagt Delalleau. Bis dahin ist Kog ein Versprechen mit einer guten Geschichte im Rücken - elf Leute, ein Gründer und eine Zwei-Milliarden-Parameter-Demo gegen einen ganzen Markt, der Milliarden für neue Chips ausgibt. Gelingt es, heißt das: Ein Teil dieser Milliarden hätte nie ausgegeben werden müssen.