Cloudflare stellt KI-Bots eine Mautschranke hin: das Ende des kostenlosen Abgrasens fremder Inhalte

Das Unternehmen Cloudflare, über dessen Server ein großer Teil des weltweiten Internetverkehrs läuft, hat eine Regel angekündigt, die die großen Player der künstlichen Intelligenz direkt trifft. Ab dem 15. September 2026 blockiert es standardmäßig sogenannte „gemischte" Webroboter auf Seiten, die Werbung anzeigen - jene Bots, die gleichzeitig suchen, als KI-Agenten agieren und Inhalte zum Training von Modellen sammeln. Die Regel gilt für neue Kunden, für neue Seiten bestehender Kunden und für alle Gratis-Nutzer.

Hinter der technischen Sprache steckt ein simpler Kampf ums Geld. KI-Firmen grasen seit Jahren fremde Texte, Bilder und Daten ab, um ihre Modelle zu füttern - ohne denen etwas zu zahlen, die den Inhalt erstellt haben. Cloudflare stellt ihnen jetzt eine Mautschranke hin. Die begleitenden Werkzeuge sagen es offen: Pay Per Crawl, ein Marktplatz, über den Seiten von KI-Bots für jedes Sammeln von Daten kassieren können, und Pay Per Use, ein Modell, das abrechnet, wenn Inhalt Wert schafft. Die ersten Partner sind Ceramic.ai und You.com.

Die Zahlen, die das Unternehmen nennt, erklären, warum es überhaupt so weit kam. Der Bot-Verkehr überholte kürzlich zum ersten Mal den menschlichen im Internet - mehr als die Hälfte derer, die Seiten besuchen, sind keine Menschen mehr. Noch schärfer: Über 50 Prozent des KI-Roboter-Verkehrs entfallen auf das erneute Laden von Seiten, die sich gar nicht verändert haben. Mit anderen Worten: Die Server der Verlage zahlen dafür, dass fremde Maschinen dasselbe immer wieder lesen, ohne Nutzen für irgendjemanden außer der KI-Firma.

„Jetzt, wo der größte Teil des Internetverkehrs nicht-menschlich ist, müssen wir weiter gehen und schneller handeln, um ein tragfähiges Ökosystem zu schaffen", sagte Matthew Prince, Mitgründer und Vorstandschef von Cloudflare. Das Ziel sei, gemischte Roboter zu zwingen, die Suche von KI-Agenten und Training zu trennen - drei Dinge, die bisher gerade deshalb zusammengepackt waren, damit man nicht weiß, wer was nimmt.

Es gibt auch ein Detail, das verrät, wer wirklich im Visier steht. Laut Cloudflare hat Google Search Zugriff auf etwa doppelt so viele Informationen wie die Konkurrenten - weil sein Roboter gleichzeitig sucht und fürs Training sammelt, sodass es schwer ist, das eine zu blockieren, ohne das andere zu verlieren. Das ist ein Schritt, mit dem kleine Verlage eine Waffe gegen ungleich mächtigere Gegner erhalten. Ob er dem Druck von Firmen mit Budgets größer als ganze Volkswirtschaften standhält, wird sich zeigen - aber zum ersten Mal stellt sich jemand, der die Leitungen des Internets kontrolliert, auf die Seite derer, die den Inhalt schreiben, und nicht derer, die ihn gratis nehmen.