Cloudflare sagt, das Internet habe ein zweites Publikum, doch Agenten zahlen nicht wie Menschen

Cloudflare zufolge hat das Internet ein zweites Publikum, nachdem die täglichen Anfragen von KI-Agenten in seinem Netzwerk innerhalb eines Jahres um mehr als 1.700 % gestiegen sind. Mehr als die Hälfte des beobachteten Datenverkehrs ist inzwischen automatisiert. Dieser Wandel untergräbt eine grundlegende wirtschaftliche Annahme des offenen Webs.

Menschen besuchen Seiten, sehen Werbung, kaufen Abonnements und werden mitunter zu Kunden. KI-Agenten extrahieren häufig die nützlichen Informationen, ohne eines dieser Ergebnisse hervorzubringen. Dennoch verbrauchen sie Bandbreite, Rechenkapazität und Inhalte von Publishern.

Cloudflare möchte nun, dass Websites Agenten als eigenständiges Publikum behandeln. Seine Werkzeuge identifizieren automatisierte Besucher, unterscheiden ihre Zwecke, legen Zugriffsregeln fest und testen neue Zahlungsmodelle. Der zentrale Konflikt besteht nicht länger zwischen Publishern und allen Bots. Es geht um offene Auffindbarkeit gegenüber unvergüteter Extraktion.

Das Unternehmen nimmt in diesem Konflikt eine ungewöhnlich einflussreiche Position ein. Cloudflare zufolge nutzt mehr als 20 % des Webs sein Netzwerk. Außerdem gibt das Unternehmen an, dass sich fast 80 % der führenden KI-Unternehmen auf seine Infrastruktur verlassen.

Diese Reichweite verschafft Cloudflare Einblick in beide Seiten des entstehenden Marktes. Sie verleiht dem Unternehmen zudem erheblichen Einfluss darauf, wie Publisher und KI-Dienste über den Zugang verhandeln.

Die Ankündigung ist nicht bloß ein weiteres Update für das Bot-Management. Cloudflare schlägt eine wirtschaftliche und technische Ebene für ein Internet vor, das zunehmend von Software besucht wird, die im Auftrag von Menschen handelt.

Cloudflares Verkehrszahlen markieren einen strukturellen Wandel

Cloudflares zentrale Aussage lautet, dass automatisierter Datenverkehr von einer Hintergrundaktivität zu einem primären Internetpublikum geworden ist.

Ende 2024 verarbeitete Cloudflare durchschnittlich 63 Millionen HTTP-Anfragen pro Sekunde. Nun meldet das Unternehmen einen Durchschnitt von 115 Millionen, mit Spitzenwerten von über 150 Millionen.

Cloudflare führt einen Teil dieses Anstiegs auf KI-Agenten zurück. Die täglichen Agentenanfragen in seinem Netzwerk sollen im vergangenen Jahr um mehr als 1.700 % gestiegen sein.

Diese Zahlen erscheinen in Cloudflares Ankündigung zum agentischen Web vom 30. September. Sie beschreiben Datenverkehr, der über Cloudflare läuft, und keine vollständige Erfassung aller Internetanfragen.

Diese Unterscheidung ist wichtig. Cloudflare verfügt über ein riesiges Netzwerk, doch sein Kundenmix und seine Klassifizierungsmethoden prägen die Stichprobe. Die Zahlen bleiben vom Unternehmen gemeldete Messwerte und keine unabhängige Schätzung der gesamten globalen Aktivität.

Trotz dieser Einschränkung lässt sich die Richtung kaum ignorieren. Automatisierte Systeme rufen Webinhalte in wachsendem Umfang ab, vergleichen sie, indexieren sie und handeln auf ihrer Grundlage.

Cloudflare zufolge ist die am schnellsten wachsende Kategorie nicht der traditionelle Crawler. Es ist der Agent, also Software, die Informationen abruft oder eine Aufgabe für einen Menschen erledigt.

Ein Trainings-Crawler sammelt Seiten für die Modellentwicklung. Ein Such-Crawler erstellt einen Index. Ein Agent besucht eine Seite typischerweise, weil jemand einen Chatbot gebeten hat, eine Frage zu beantworten oder eine Handlung auszuführen.

Ein solcher Agent könnte Versicherungspolicen vergleichen, ein Restaurant finden, die Produktverfügbarkeit prüfen oder Zugang zu einem Datensatz kaufen. Der Mensch steht weiterhin hinter der Anfrage, besucht jedoch nicht zwangsläufig die zugrunde liegende Website.

Dieses Verhalten macht Agentenverkehr wirtschaftlich mehrdeutig. Er kann Kundenabsicht repräsentieren und zugleich die Schnittstellen umgehen, die Websites für Kunden aufgebaut haben.

Cloudflare zufolge folgt die Aktivität von Agenten menschlichen Mustern, einschließlich Wochenzyklen und saisonaler Veränderungen. Das deutet darauf hin, dass zumindest ein Teil des Datenverkehrs reale Nachfrage widerspiegelt, statt wahllose Sammlung zu sein.

Eine mit menschlicher Absicht verbundene Anfrage schafft jedoch nicht automatisch Wert für die Website. Ein Agent kann eine Antwort abrufen, ohne Werbung, ein Abonnement, einen Lead oder einen Direktverkauf zu generieren.

Das Ergebnis ist ein neues Abrechnungsproblem. Seitenaufrufe lieferten einst ein grobes Signal für die Aufmerksamkeit des Publikums. Automatisierte Anfragen können diese Zahl steigern und zugleich ihre kommerzielle Aussagekraft verringern.

Der Wandel verändert auch die Infrastrukturplanung. Ein Publisher muss Anfragen bedienen, selbst wenn sie nur wenig messbaren Ertrag liefern.

Cloudflare zufolge haben stark gecrawlte Branchen in weniger als einem Jahr Rückgänge beim menschlichen Datenverkehr von bis zu 40 % erlebt. Das Unternehmen nennt Einzelhandel, Software, IT-Dienstleistungen und Finanzdienstleistungen als Beispiele.

Das ist eine folgenreiche Behauptung, sollte jedoch nicht als Beweis gelesen werden, dass KI jeden Rückgang verursacht hat. Veränderungen bei der Suche, Marktbedingungen und Unterschiede bei der Messung können direkte Besuche ebenfalls verringern.

Cloudflares stärkster Beleg ist die gleichzeitige Veränderung der Zusammensetzung des Datenverkehrs. Software-Anfragen nehmen zu, während der kommerzielle Wert vieler Website-Besuche sinkt.

Diese Kombination schafft den zentralen Druckpunkt des Artikels. Publisher können nicht davon ausgehen, dass mehr Traffic ein größeres zahlendes Publikum bedeutet.

Das Internet hat ein zweites Publikum, das keine Werbung anklickt

Das Internet hat ein zweites Publikum, dessen wirtschaftliches Verhalten sich jedoch grundlegend von dem menschlichen Publikum unterscheidet, das das Publishing finanziert hat.

Etwa drei Jahrzehnte lang boten Suchmaschinen Websites einen impliziten Tausch an. Ein Crawler erhielt die Erlaubnis, Inhalte zu indexieren, und die Suchergebnisse schickten anschließend Menschen zurück zur Quelle.

Diese Besucher konnten Werbung sehen, Konten registrieren, Produkte kaufen oder Abonnements abschließen. Auffindbarkeit und Monetarisierung waren getrennte Schritte, fanden jedoch meist innerhalb desselben kommerziellen Kreislaufs statt.

Antwortmaschinen verändern diesen Tausch. Sie rufen Informationen aus mehreren Quellen ab und setzen eine Antwort innerhalb eines KI-Produkts zusammen.

Eine nützliche Antwort kann den Nutzer zufriedenstellen, bevor sich überhaupt eine Quellseite öffnet. Der Publisher liefert einen Teil des Werts, doch die KI-Schnittstelle kontrolliert die Beziehung zum Publikum.

Das bedeutet nicht, dass jede KI-Interaktion einen Besuch verhindert. Einige Antworten führen zu Zitaten, Weiterleitungen, Käufen oder weiterführender Recherche.

Das Problem ist, dass Publisher diese Ergebnisse nicht voraussetzen können. Sie benötigen Daten darüber, welche Systeme ihre Arbeit crawlen, welche Antworten sie zitieren und welche Interaktionen Menschen zurückbringen.

KI-Agenten bringen eine weitere Komplikation mit sich, da sie handeln können, statt lediglich zu antworten. Ein Shopping-Agent könnte Produkte vergleichen und einen Kauf abschließen, ohne den üblichen Storefront des Verkäufers zu laden.

Dieser Agent kann dennoch ein wertvoller Kunde sein. Der Händler braucht jedoch eine Möglichkeit, ihn zu erkennen, verlässliche Daten bereitzustellen, Bedingungen durchzusetzen und die Transaktion zuzuordnen.

Dasselbe Problem gilt für Forschungsdienste. Ein Agent könnte eine spezialisierte Passage für einen Bericht sammeln, während der ursprüngliche Leser die Publikation nie sieht.

Hier wird die Aussage, das Internet habe ein zweites Publikum, mehr als eine einprägsame Formulierung. Websites müssen entscheiden, ob ein automatisierter Besucher eine Bedrohung, ein Vertriebskanal oder ein Kunde ist.

Cloudflare zufolge hängt die Antwort von der Absicht ab. Seine Daten zeigten, dass Training im Frühjahr 2025 22 % der deklarierten Crawler-Anfragen ausmachte. Bis Juni 2026 stieg dieser Anteil auf 52 %.

Trainingsverkehr und nutzergesteuerter Verkehr schaffen für Publisher unterschiedlichen Wert. Ein Modellentwickler könnte Inhalte in künftigen Produkten wiederverwenden, während ein Live-Agent auf eine aktuelle Kundenanfrage reagiert.

Das Blockieren beider Kategorien schützt Inhalte, verringert jedoch die Auffindbarkeit. Beide zuzulassen erhält die Reichweite, kann jedoch wertvolles Material ohne Vergütung preisgeben.

Deshalb reicht die alte Unterscheidung zwischen Mensch und Bot nicht mehr aus. Publisher müssen zwischen Suchindexierung, Modelltraining und Agentenaktivität unterscheiden.

Dieser Druck betrifft weit mehr als Medienunternehmen. Produktdokumentationen, Vergleichsseiten, Forschungsarchive und öffentliche Wissensdatenbanken können allesamt zu Eingaben für automatisierte Antworten werden.

Unternehmen, die bereits eine KI-Wissensdatenbank aufbauen, stehen vor einer verwandten Governance-Frage. Sie müssen entscheiden, welche Informationssysteme Inhalte abrufen dürfen und wie diese Informationen zuordenbar bleiben.

Die kommerziellen Folgen unterscheiden sich je nach Geschäftsmodell. Eine werbefinanzierte Seite verliert an Wert, wenn ein Agent die Werbung umgeht.

Einer Abonnementpublikation droht der Verlust der Kontrolle über Premium-Berichterstattung. Ein Online-Shop könnte einen Agenten begrüßen, der einen Kauf über einen genehmigten Transaktionsweg abschließt.

Ein API-Anbieter erwartet bereits Softwarekunden. Seine Herausforderung besteht darin, unbekannten Agenten begrenzten Zugang kaufen zu lassen, ohne zuvor ein Konto aushandeln zu müssen.

Cloudflares Argument lautet, dass diese Fälle unterschiedliche Richtlinien benötigen. Eine universelle Sperre oder universelle Erlaubnis kann ihren jeweiligen Risiken und Vorteilen nicht gerecht werden.

Darin liegt die Umkehrung im Zentrum der Ankündigung. Automatisierter Datenverkehr wurde einst vor allem als operatives oder sicherheitsrelevantes Problem behandelt.

Nun ähneln manche Bots Kunden, während andere extraktiven Zwischenhändlern gleichen. Website-Betreiber müssen wissen, wer anklopft, bevor sie antworten.

Cloudflare trennt Suche, Agenten und Training

Cloudflares Antwort beginnt mit der Klassifizierung, weil Publisher keine sinnvollen Bedingungen für ein Publikum festlegen können, das sie nicht identifizieren können.

Das Unternehmen hat seinen einzelnen KI-Bot-Schalter durch separate Kontrollen für Suche, Agenten und Trainingsaktivität ersetzt. Cloudflare zufolge stehen diese Kontrollen in allen Tarifen zur Verfügung.

Die Trennung adressiert ein grundlegendes Zustimmungsproblem. Weniger als 1 % der Cloudflare-Websites blockieren Such-Crawler, während 17 % Trainings-Crawler blockieren.

Diese Zahlen deuten darauf hin, dass viele Betreiber Auffindbarkeit ohne uneingeschränktes Modelltraining wünschen. Ein kombinierter Crawler kann diese Präferenz schwer durchsetzbar machen.

Crawler mit gemischter Nutzung erfüllen mehrere Aufgaben unter einer Identität. Eine Website, die Training blockiert, könnte auch Suchsichtbarkeit verlieren, wenn beide Aktivitäten denselben Crawler nutzen.

Cloudflare führte Disallow AI Training am 15. September ein, um diesen Konflikt zu lösen. Der Mechanismus ermöglicht es einer Website, weiterhin durchsuchbar zu bleiben und zugleich zu signalisieren, dass ihre Inhalte nicht für das Training verwendet werden dürfen.

Apple, Google und Microsoft haben sich laut Cloudflare verpflichtet, das Signal zu respektieren. Die Einhaltung hängt weiterhin davon ab, dass Crawler-Betreiber die deklarierte Regel beachten.

Damit wird Identität zur nächsten Ebene. Web Bot Auth ermöglicht es einem automatisierten Betreiber, Anfragen kryptografisch zu signieren.

Eine kryptografische Signatur verknüpft eine Anfrage mit einem überprüfbaren Betreiber. Sie verringert die Abhängigkeit von User-Agent-Strings, die von Nachahmern kopiert werden können.

Cloudflare zufolge gehören OpenAI, Google und AWS zu den Betreibern, die Anfragen signieren. Das Unternehmen meldet mehr als 500 Milliarden verifizierte Bot-Anfragen pro Woche.

Eine verifizierte Identität garantiert kein akzeptables Verhalten. Sie zeigt einem Publisher, wer die Anfrage gestellt hat, wodurch die Durchsetzung von Richtlinien und Rechenschaftspflicht praktikabler werden.

Cloudflare bietet außerdem AI Crawl Control, Business Insights und BotBase an. Gemeinsam sollen diese Produkte zeigen, wer eine Website besucht hat, welche Seiten angefragt wurden und welcher Referral-Traffic zurückkehrte.

Die umfassenderen Inhaltskontrollen enthalten empfohlene Einstellungen, die auf dem Geschäftsmodell einer Website basieren. Werbefinanzierte Seiten können Training untersagen und Agenten blockieren, wenn menschliche Aufrufe Umsatz generieren.

Website-Betreiber können diese Einstellungen ändern. Diese Flexibilität ist wichtig, weil ein Publisher die Suchindexierung begrüßen und gleichzeitig Gebühren für den Zugang von Recherche-Agenten verlangen könnte.

Die Kontrollen erhöhen auch den Druck auf KI-Unternehmen. Ein Betreiber, der klar getrennte und authentifizierte Crawler verwendet, kann Zugang erhalten, den ein Crawler mit gemischter Nutzung oder unbekannter Identität verliert.

Dieser Anreiz könnte Unternehmen dazu bewegen, Suche, Training und nutzergesteuerte Abrufe präziser zu kennzeichnen. Er könnte jedoch auch das Verhalten von Crawlern auf mehrere Identitäten aufsplitten.

Cloudflare positioniert sich als Durchsetzungsinstanz für Richtlinien. Sein Netzwerk kann Anfragen prüfen, bevor sie den Origin-Server einer Website erreichen.

Diese Regelung reduziert den Aufwand für einzelne Publisher. Zugleich bündelt sie wichtige Klassifizierungsentscheidungen bei einem Infrastrukturprovider.

Cloudflare sagt, seine Standards blieben offen. Web Bot Auth kann verschiedene Identitätsanbieter unterstützen, während Website-Betreiber andere Partner wählen können.

Dennoch wird die Akzeptanz darüber entscheiden, ob Offenheit in der Praxis besteht. Ein Standard wird erst nützlich, wenn große Akteure Anfragen signieren und große Websites die daraus resultierenden Identitäten durchsetzen.

Klassifizierungsfehler bergen ein weiteres Risiko. Ein legitimer Akteur könnte blockiert werden, während ein entschlossener Scraper seine Absicht verschleiert oder deklarierte Crawler-Infrastruktur umgeht.

Keine technische Kontrolle löst böswillige Zugriffe vollständig. Der unmittelbare Nutzen liegt darin, regelkonforme Betreiber leichter identifizieren und verwalten zu können.

Cloudflares Ansatz richtet sich daher an die kooperative Mehrheit statt an jeden feindseligen Scraper. Er schafft eine strukturierte Verhandlung zwischen Publishern und KI-Unternehmen, die bereit sind, sich zu identifizieren.

Die nächste Frage lautet, ob diese Verhandlung genügend Einnahmen erzeugt, um die Websites zu finanzieren, die die Informationen bereitstellen.

Zahlungen machen Bot-Management zu einer Marktwette

Cloudflare geht über Zugangskontrollen hinaus und testet, ob einzelne Interaktionen von Agenten einen funktionierenden Content-Markt tragen können.

Große Publisher und KI-Unternehmen haben bereits Lizenzvereinbarungen geschlossen. Cloudflare zählt seit 2023 mehr als 50 Vereinbarungen zwischen Publishern und KI-Unternehmen.

Die meisten davon sind bilaterale Vereinbarungen zwischen großen Organisationen. Sie bieten keinen praktischen Weg für einen spezialisierten Blog, eine unabhängige Publikation oder einen kleinen Datenanbieter.

Cloudflare testet zwei breiter angelegte Mechanismen. Pay Per Use vergütet einen Publisher, wenn Inhalte zu einem definierten Ergebnis eines KI-Produkts beitragen.

Monetization Gateway berechnet einem Agenten Gebühren, wenn er auf eine Seite, einen Datensatz, eine API, ein Modell oder ein Tool zugreift. Die Produkte nutzen gemeinsame Komponenten für Identität, Messung, Preisgestaltung, Abrechnung und Analysen.

Pay Per Use versucht, Zahlungen mit nachgelagertem Wert zu verknüpfen. Ein Käufer definiert das Ereignis, für das er zahlen wird, etwa eine Zitierung oder Empfehlung.

Publisher prüfen das Angebot und entscheiden, ob sie teilnehmen möchten. Das KI-Unternehmen meldet anschließend qualifizierende Nutzungen über Cloudflare.

Cloudflare prüft, ob jede gemeldete Nutzung zu einem registrierten Publisher gehört. Das Unternehmen übernimmt die Abrechnung und verteilt die daraus resultierenden Zahlungen.

Die Pay Per Use beta des Unternehmens adressiert eine Schwäche der Abrechnung für jeden einzelnen Crawl. Ein KI-Dienst ruft häufig mehr Inhalte ab, als er letztlich verwendet.

Nur den Zugriff zu berechnen, kann Erkundungen teuer machen. Die Bezahlung tatsächlicher Nutzung richtet die Gebühr am vom Käufer angegebenen Wert aus.

Dieses Modell bringt eine andere Schwäche mit sich. Die Nutzungsberichte stammen vom Käufer, daher müssen Publisher sowohl den kommerziellen Bedingungen als auch dem Berichtsprozess vertrauen.

Cloudflare sagt, Publisher könnten sehen, was wann verwendet wurde und wie viel damit verdient wurde. Einige Käufer können zudem die Fragen melden, durch die die Inhalte aufgerufen wurden.

Dieses Feedback könnte redaktionelle Entscheidungen beeinflussen. Ein spezialisierter Publisher könnte Material aktualisieren, das Agenten regelmäßig zitieren, oder stark nachgefragte Informationen leichter abrufbar machen.

Monetization Gateway richtet sich an Dienste, bei denen die Anfrage selbst Wert schafft. APIs und Tools funktionieren bereits auf diese Weise, doch Agenten-Käufer verfügen möglicherweise nicht über etablierte Konten.

Wenn eine Anfrage der Regel eines Verkäufers entspricht, gibt das Gateway HTTP 402 Payment Required zurück. Der Agent kann dann über x402, ein offenes Zahlungsprotokoll, bezahlen.

Die geschlossene Beta steht berechtigten Cloudflare-Kunden in den Vereinigten Staaten zur Verfügung. Verkäufer können Preise pro Anfrage, Abfrage oder Token definieren, einschließlich Obergrenzen.

Cloudflare nennt als Beispiel einen Sportdatendienst, der Gebühren erhebt, wenn ein Agent eine Liga-Statistik anfordert. Der Mensch erhält die Antwort, ohne eine werbefinanzierte Seite zu besuchen.

Cloudflare nutzt das Gateway auch für seinen KI Gateway-Inferenzdienst. Dieser interne Einsatz kann operative Probleme aufdecken, bevor externe Kunden davon abhängig werden.

Pay Per Crawl bleibt ein verwandtes Zugangsmodell. Laut Cloudflare-Dokumentation können Website-Betreiber einzelne Crawler-Betreiber blockieren, zulassen oder ihnen Gebühren berechnen.

Seine crawler payment rules berechnen jeden erfolgreichen Zugriff, einschließlich wiederholter Anfragen für dieselbe Seite. Standarddateien wie robots.txt und sitemap.xml bleiben kostenlos.

Die erweiterte Konfiguration ermöglicht es Betreibern, ausgewählte Pfade auszuschließen oder dynamische Preise festzulegen. Eine Website kann somit allgemeine Informationen offen halten und zugleich für besonders wertvolle Bereiche Gebühren verlangen.

Diese Mechanismen ersetzen eine binäre Entscheidung durch mehrere Optionen. Ein Publisher kann Suche erlauben, Training ablehnen, kostenpflichtige Nutzungen akzeptieren und transaktionalen Agenten Gebühren berechnen.

Diese Flexibilität ist strategisch wichtig. Sie erkennt an, dass eine Zitierung, eine Kopie für Modelltraining und ein abgeschlossener Kauf keinen gleichwertigen Nutzen schaffen.

Ein Menü an Kontrollen garantiert jedoch keine Nachfrage. KI-Unternehmen müssen entscheiden, dass lizenzierter Zugriff ihre Produkte ausreichend verbessert, um Zahlungen zu rechtfertigen.

Publisher müssen zudem feststellen, ob Zahlungen nach Infrastrukturkosten und administrativer Komplexität noch bedeutend sind. Ein technisch eleganter Markt kann dennoch scheitern, wenn Transaktionsvolumen oder Preisgestaltung schwach bleiben.

Cloudflare bezeichnet Pay Per Use und Monetization Gateway ausdrücklich als Wetten. Das Unternehmen räumt außerdem ein, dass Preisgestaltung und Auffindbarkeit weiterhin ungelöst sind.

Diese Vorsicht ist angemessen. Die technische Infrastruktur existiert, bevor jemand weiß, ob ein stabiler Markt darüber laufen wird.

Was Cloudflares Zahlen nicht beweisen

Der Anstieg des automatisierten Traffics ist eindeutig, doch das Geschäftsmodell, jeden Agenten als Kunden zu behandeln, bleibt unbewiesen.

Die erste Unsicherheit betrifft die Messung. Cloudflare sieht einen großen und bedeutenden Teil des Webtraffics, aber nicht das gesamte Internet.

Seine Kunden kommen zudem aus unterschiedlichen Branchen und mit verschiedenen technischen Profilen. Traffic, der durch das Netzwerk fließt, repräsentiert möglicherweise keine Websites außerhalb dieses Bereichs.

Die Bot-Klassifizierung fügt eine weitere Quelle der Unsicherheit hinzu. Cloudflare unterscheidet zwischen deklarierten Crawler-Zwecken, verifizierten Identitäten und Verhaltensmustern.

Betreiber können Anfragen falsch kennzeichnen, Infrastruktur ändern oder Traffic über Dienste leiten, die den Ursprung verschleiern. Neue Agenten-Designs können bestehende Kategorien ebenfalls infrage stellen.

Eine zweite Unsicherheit betrifft die Kausalität. Cloudflare berichtet über starke Rückgänge beim menschlichen Traffic in intensiv gecrawlten Sektoren, doch Korrelation kann den vollständigen Grund nicht belegen.

Suchalgorithmen, veränderte Konsumgewohnheiten, Konjunkturzyklen und Website-Qualität können den Traffic beeinflussen. KI-Antwortmaschinen sind ein Faktor innerhalb eines größeren Wandels der Distribution.

Die dritte Unsicherheit ist die kommerzielle Akzeptanz. Publisher haben gute Gründe, Vergütung zu verlangen, aber KI-Unternehmen haben ebenfalls Alternativen.

Sie können eine kleinere Auswahl hochwertiger Quellen lizenzieren, sich auf öffentliche Daten stützen oder das Crawling reduzieren. Einige könnten Agenten statt auf allgemeine Websites auf strukturierte APIs lenken.

Eine fragmentierte Zahlungslandschaft könnte eine weitere Hürde schaffen. Agenten benötigen vorhersehbare Möglichkeiten, Konditionen zu entdecken, sich zu authentifizieren, Kosten zu schätzen und Käufe zu erfassen.

Cloudflares Einsatz von x402 und Web Bot Auth soll diese Schritte standardisieren. Konkurrierende Anbieter und Protokolle könnten die Akzeptanz dennoch aufspalten.

Marktmacht ist ein weiteres Anliegen. Cloudflare sagt, die zugrunde liegenden Standards seien offen und Kunden könnten andere Anbieter wählen.

Dennoch betreibt Cloudflare Sichtbarkeits-, Identitäts-, Zugriffs- und Abrechnungsschichten im eigenen Produkt-Stack. Das schafft Komfort, geht jedoch mit Konzentrationsrisiken einher.

Publisher sollten prüfen, wer Transaktionsaufzeichnungen, umstrittene Klassifizierungen und Zahlungsbeziehungen kontrolliert. Sie sollten außerdem berücksichtigen, wie leicht sich diese Aufzeichnungen andernorts übertragen lassen.

Das Pay-Per-Use-Modell enthält ein spezifisches Vertrauensproblem. Käufer berichten, welche Inhalte zahlungspflichtige Nutzungen ausgelöst haben.

Cloudflare validiert gemeldete Ereignisse gegenüber teilnehmenden Publishern, kann jedoch nicht jeden internen Beitrag zu einer KI-Antwort unabhängig beobachten. Die Attribution innerhalb generativer Systeme bleibt technisch schwierig.

Ein Modell kann Informationen aus mehreren Quellen zusammenführen. Zu bestimmen, welche Quelle einen Satz, ein Ranking oder eine Empfehlung verursacht hat, ist selten einfach.

Die Definition einer zahlungspflichtigen Nutzung wird daher von Vertragsbedingungen und Instrumentierung abhängen. Verschiedene Käufer können ähnliche Ergebnisse unterschiedlich messen.

Zahlungen könnten außerdem Inhalte bevorzugen, die sich leicht messen lassen, statt Inhalte, die den größten Wert schaffen. Eine sichtbare Zitierung lässt sich einfacher verfolgen als Hintergrundwissen, das eine Antwort prägt.

Website-Betreiber stehen vor eigenen operativen Risiken. Aggressives Blockieren kann die Sichtbarkeit in der Suche verringern oder nützliche Agenten daran hindern, aktuelle Informationen zu erreichen.

Freizügiger Zugang kann Infrastrukturkosten erhöhen und die Kontrolle über proprietäres Material schwächen. Die beste Richtlinie hängt vom Erlösmodell und dem Inhaltstyp der Website ab.

Cloudflares Kontrollen verbessern die Entscheidungsgrundlage, machen die Entscheidung jedoch nicht automatisch. Publisher benötigen weiterhin Belege, die Crawler-Aktivität mit Verweisen, Verkäufen, Zitierungen und Zahlungen verbinden.

Sie sollten vermeiden, sämtlichen automatisierten Traffic entweder als harmlose Nachfrage oder als Diebstahl zu behandeln. Beide Bezeichnungen verwischen die Unterschiede, die Cloudflares neues System sichtbar machen soll.

Die fairste Einschätzung lautet, dass Cloudflare ein Marktexperiment rund um einen verifizierten Trend aufgebaut hat. Automatisierte Zielgruppen wachsen, während ihre nachhaltige wirtschaftliche Rolle ungeklärt bleibt.

Drei Signale werden zeigen, ob das agentische Web zahlt

Der nächste Test besteht darin, ob verifizierter Agenten-Traffic messbaren Wert erzeugt statt nur eine weitere Ebene aus Dashboards und Protokollen.

Das erste Signal ist die Akzeptanz durch große KI-Betreiber. Mehr Unternehmen müssen Such-, Trainings- und Agenten-Crawler trennen und zugleich Anfragen über Web Bot Auth signieren.

Eine breite Akzeptanz würde Cloudflares Klassifizierungsmodell stärken. Anhaltendes Crawling mit gemischten Zwecken würde es schwächen, indem Zugriffsentscheidungen unnötig binär blieben.

Das zweite Signal sind Publisher-Einnahmen aus Pay Per Use und Monetization Gateway. Cloudflare hat bislang nicht gezeigt, dass diese Systeme bei kleineren Websites nachhaltige Erträge erzeugen.

Die entscheidende Kennzahl sind nicht Registrierungen oder die Größe der Warteliste. Es ist das wiederkehrende Zahlungsvolumen im Verhältnis zu den Kosten für Bereitstellung und Verwaltung des Agenten-Traffics.

Cloudflares eigene Ankündigung besagt, dass sich Tausende Verkäufer auf die Warteliste für Monetization Gateway gesetzt haben. Die Nachfrage von Verkäufern ist wichtig, doch die Nachfrage zahlender Agenten-Betreiber ist wichtiger.

Das dritte Signal ist die Crawling-Effizienz. Cloudflare sagt, dass mehr als die Hälfte der KI-Crawler-Aktivität das Abrufen unveränderter Seiten betreffen kann.

Das Unternehmen arbeitet mit OpenAI an Signalen, die aktuelle oder relevante Inhalte vor einem weiteren vollständigen Crawl identifizieren. Erste Ergebnisse wurden innerhalb weniger Wochen nach der Ankündigung erwartet.

Tools wie Markdown for Agents können Darstellungscode entfernen, den Software nicht benötigt. WebMCP kann strukturierte Aktionen bereitstellen, statt Agenten visuelle Oberflächen interpretieren zu lassen.

Diese Änderungen könnten verschwendete Bandbreite reduzieren und die Zuverlässigkeit verbessern. Sie könnten Cloudflares Infrastruktur zugleich noch zentraler für Agenten-Zugriffe machen.

Das Internet hat ein zweites Publikum, doch diese Aussage wird nur dann Bedeutung haben, wenn Websites wertvolle Anfragen von Extraktion unterscheiden können. Identität, Richtlinien und Zahlungen müssen zusammenwirken.

Für Website-Betreiber ist die unmittelbare Maßnahme die Messung. Trennen Sie menschliche Verweise, Such-Crawling, Trainingszugriffe und nutzergesteuerte Agenten-Aktivität, bevor Sie umfassende Regeln ändern.

Testen Sie Richtlinien anschließend an realen Geschäftsergebnissen. Führt ein authentifizierter Agent zu einem Verkauf, einer Erwähnung, einem qualifizierten Lead oder einer sinnvollen Zahlung?

Für KI-Entwickler ist die Frage ebenso direkt. Werden Ihre Agenten sich identifizieren, deklarierte Zwecke respektieren und zahlen, wenn der Zugang wirtschaftlichen Wert schafft?

Der frühere Austausch im Web beruhte auf Weiterleitungen, die unvollkommen, aber nachvollziehbar waren. Sein Ersatz braucht Aufzeichnungen, durchsetzbare Bedingungen und eine Ökonomie, die für beide Seiten funktioniert.

Beobachten Sie den Anteil authentifizierten Traffics, die Zahlungen, die Publisher tatsächlich erhalten, und die Verringerung ineffizienten Crawlings. Diese drei Ergebnisse werden zeigen, ob Cloudflare einen Markt aufbaut oder ihn lediglich beschreibt.