Cloudflare 称互联网迎来第二类受众，但 AI 智能体不像人类那样付费

Cloudflare 表示，在其网络中，AI 智能体的日均请求量一年内增长超过 1,700%，互联网已经迎来了第二类受众。如今，该公司观察到的流量中已有超过一半来自自动化系统。这一转变打破了开放网络背后的一项基本经济假设。

人们访问页面、浏览广告、购买订阅，并有时成为客户。AI 智能体则往往提取有用信息，却不带来上述任何一种结果。它们仍然消耗带宽、计算能力和发布者内容。

Cloudflare 现在希望网站将智能体视为独立的受众群体。其工具能够识别自动化访客、区分其用途、设置访问规则，并测试新的付费模式。核心冲突已不再是发布者与所有机器人的对立，而是开放发现与无偿提取之间的矛盾。

Cloudflare 在这场冲突中处于一个影响力异常显著的位置。该公司称，超过 20% 的互联网使用其网络；它还表示，近 80% 的领先 AI 公司依赖其基础设施。

这种覆盖范围让 Cloudflare 能够洞察这一新兴市场的双方，也赋予该公司相当大的影响力，左右发布者和 AI 服务如何协商访问权限。

这项公告并不只是机器人管理的又一次更新。Cloudflare 正在为一个越来越多由代表人类行动的软件访问的互联网，提出一套经济与技术层。

Cloudflare 的流量数据标志着结构性转变

Cloudflare 的核心论点是，自动化流量已从后台活动跨越为互联网的主要受众。

2024 年底，Cloudflare 平均每秒处理 6,300 万个 HTTP 请求。该公司目前报告的平均值为 1.15 亿个，峰值超过 1.5 亿个。

Cloudflare 将部分增长归因于 AI 智能体。据称，其网络中的日均智能体请求量在过去一年增长超过 1,700%。

这些数据出现在 Cloudflare 9 月 30 日发布的智能体网络公告中。它们描述的是经过 Cloudflare 的流量，而非对所有互联网请求的完整统计。

这一区别很重要。Cloudflare 拥有庞大的网络，但其客户构成和分类方法会影响样本。这些数字仍是公司自行报告的测量结果，而不是对全球所有活动的独立估算。

即便存在这一局限，其发展方向仍难以忽视。自动化系统正以不断扩大的规模获取、比较、索引并处理网络内容。

Cloudflare 表示，增长最快的类别并非传统爬虫，而是智能体，即为人类获取信息或完成任务的软件。

训练爬虫收集页面用于模型开发。搜索爬虫构建索引。智能体通常则是因为有人要求聊天机器人回答问题或完成操作而进行访问。

这类智能体可能比较保险政策、寻找餐厅、查询产品库存，或购买数据集的访问权限。人类仍是请求背后的主体，却未必会访问底层网站。

这种行为使智能体流量在经济上显得模糊不清。它可能代表客户意图，同时又绕过了网站为客户构建的界面。

Cloudflare 表示，智能体活动遵循人类行为模式，包括每周周期和季节性变化。这表明至少部分流量反映了真实需求，而非无差别的信息收集。

不过，与人类意图相关的请求，并不会自动为网站创造价值。智能体可以获取答案，却不产生广告展示、订阅、销售线索或直接销售。

由此产生了一个新的核算问题。页面浏览量过去曾粗略反映受众注意力。自动化请求可能推高这一数字，却降低其商业意义。

这种转变也改变了基础设施规划。即使请求几乎没有带来可衡量的回报，发布者仍必须为其提供服务。

Cloudflare 表示，在被大量爬取的行业中，人类流量在不到一年内下降了多达 40%。该公司列举的类别包括零售、软件、IT 服务和金融服务。

这是一个影响重大的说法，但不应将其解读为 AI 导致了每一次流量下降的证据。搜索变化、市场环境和测量差异同样可能减少直接访问。

Cloudflare 最有力的证据在于流量构成的同步变化。软件请求正在增加，而许多网站访问的商业价值却在减弱。

这一组合构成了本文的核心压力点。发布者不能再假定更多流量意味着更大的付费受众。

互联网迎来了不会点击广告的第二类受众

互联网迎来了第二类受众，但其经济行为与支撑出版业的人类受众根本不同。

大约三十年来，搜索引擎与网站之间存在一种隐含交换。爬虫获得索引内容的许可，随后搜索结果将用户带回来源网站。

这些访客可以浏览广告、注册账户、购买产品或订阅服务。发现与变现是两个独立步骤，但通常处于同一商业闭环之中。

答案引擎改变了这种交换。它们从多个来源获取信息，并在 AI 产品内部整合成回复。

在任何来源页面被打开之前，一个有用的答案就可能已满足用户需求。发布者提供了部分价值，但 AI 界面掌控着受众关系。

这并不意味着每一次 AI 互动都会消除一次访问。有些回复会带来引用、引流、购买或后续研究。

问题在于，发布者不能假定这些结果一定会发生。他们需要数据来了解哪些系统在抓取其内容、哪些答案引用了内容，以及哪些互动带回了用户。

AI 智能体还带来了另一层复杂性，因为它们能够行动，而不只是回答。购物智能体可以比较产品，并在不加载卖家常规店面的情况下完成购买。

这种智能体仍可能是有价值的客户。但商家需要一种方式来识别它、提供可靠数据、执行条款并归因交易。

研究服务同样面临这一问题。智能体可能为报告收集某段专业内容，而原始读者从未看到该出版物。

正是在这里，“互联网迎来第二类受众”不再只是一句令人印象深刻的话。网站必须决定，自动化访客究竟是威胁、分发渠道，还是客户。

Cloudflare 表示，答案取决于意图。其数据显示，2025 年春季，训练用途占已声明爬虫请求的 22%。到 2026 年 6 月，这一比例达到 52%。

训练流量和用户导向的流量，为发布者创造的价值不同。模型开发者可能在未来产品中反复使用内容，而实时智能体则是响应当前客户请求。

屏蔽这两类流量可以保护内容，却会减少被发现的机会。允许二者进入则保留了覆盖面，但可能在没有补偿的情况下交出有价值的材料。

这正是旧有的人类与机器人区分已不再足够的原因。发布者需要区分搜索索引、模型训练和智能体活动。

这种压力并不限于媒体公司。产品文档、比较页面、研究档案和公共知识库，都可能成为自动化回答的输入来源。

已经在构建AI 知识库的公司也面临类似的治理问题。它们必须决定哪些信息可被系统获取，以及这些信息如何保持可归属性。

不同商业模式面临的商业风险各不相同。依赖广告的页面在智能体绕过广告时会失去价值。

订阅型出版物面临失去对优质报道控制权的风险。在线商店则可能欢迎通过获批交易路径完成购买的智能体。

API 提供商本就预期会有软件客户。它们面临的挑战是，如何让陌生智能体在无需事先协商账户的情况下购买有限访问权限。

Cloudflare 的观点是，这些情形需要不同的政策。全面封锁或全面许可，都无法反映其中不同的风险与收益。

这正是该公告的核心反转。自动化流量过去主要被视为运营或安全问题。

如今，一些机器人更像客户，另一些则像提取型中间人。网站所有者必须在开门之前知道敲门的是哪一种。

Cloudflare 区分搜索、智能体与训练

Cloudflare 的回应始于分类，因为发布者无法为无法识别的受众设定有意义的条款。

该公司用针对搜索、智能体和训练活动的独立控制项，取代了单一的 AI 机器人开关。Cloudflare 表示，这些控制项适用于其所有套餐。

这种区分解决了一个基本的同意问题。不到 1% 的 Cloudflare 网站屏蔽搜索爬虫，而有 17% 屏蔽训练爬虫。

这些数字表明，许多运营者希望获得被发现的机会，但不希望接受不受限制的模型训练。混合用途的爬虫会使这一偏好难以执行。

混合用途爬虫会以同一身份执行多项任务。当训练和搜索活动共用同一个爬虫时，屏蔽训练的网站也可能失去搜索可见性。

Cloudflare 于 9 月 15 日推出 Disallow AI Training，以解决这一冲突。该机制允许网站保持可搜索，同时表明其内容不得用于训练。

据 Cloudflare 称，Apple、Google 和 Microsoft 已承诺遵守这一信号。是否合规仍取决于爬虫运营方是否尊重这一声明规则。

因此，身份验证成为下一层。Web Bot Auth 允许自动化运营方对请求进行加密签名。

加密签名将请求与可验证的运营方关联起来，减少对用户代理字符串的依赖，因为后者可能被冒充者复制。

Cloudflare 表示，OpenAI、Google 和 AWS 都是对请求进行签名的运营方。该公司报告称，每周有超过 5,000 亿个经验证的机器人请求。

经验证的身份并不能保证行为可被接受。它能告诉发布者请求来自谁，从而使政策执行和问责更具可操作性。

Cloudflare 还提供 AI Crawl Control、Business Insights 和 BotBase。这些产品共同旨在展示谁进行了访问、他们请求了哪些页面，以及带回了哪些引荐流量。

更广泛的内容控制包括基于网站商业模式的推荐设置。依靠广告支持的页面可以禁止训练，并在人工浏览量带来收入时屏蔽智能体。

网站所有者可以更改这些设置。这种灵活性很重要，因为发布者可能欢迎搜索索引，同时对研究型智能体的访问收费。

这些控制项也给 AI 公司带来压力。使用明确分离且经过身份验证的爬虫的运营方，可以获得混合或未识别爬虫会失去的访问权限。

这种激励机制可能会促使企业更精确地标注搜索、训练和用户定向检索行为。但它也可能让爬虫行为分散到多个身份之下。

Cloudflare 正将自身定位为政策执行节点。其网络可在请求到达网站源服务器之前对其进行检查。

这一安排降低了单个发布商的工作量，但也将重要的分类决策集中在一家基础设施提供商内部。

Cloudflare 表示，其标准仍然保持开放。Web Bot Auth 可支持不同的身份提供商，网站所有者也可以选择其他合作伙伴。

不过，开放性是否能在实践中成立，仍取决于采用情况。只有主要代理对请求进行签名、主要网站执行由此生成的身份识别，标准才会真正发挥作用。

分类错误构成另一项风险。合法代理可能遭到拦截，而执意进行抓取的一方则可能伪装意图，或绕开已声明的爬虫基础设施。

没有任何技术控制手段能够彻底解决恶意访问问题。其眼下的价值在于，让合规运营者更容易被识别和管理。

因此，Cloudflare 的方案瞄准的是愿意合作的大多数，而不是每一个敌对爬虫。它为愿意表明身份的发布商与 AI 公司之间建立了结构化协商机制。

下一个问题是，这种协商能否带来足够的收入，以支撑提供信息的网站。

付费让机器人管理成为一场市场押注

Cloudflare 正在超越访问控制，测试单次代理交互能否支撑一个正常运作的内容市场。

大型发布商和 AI 公司已经签署了许可协议。Cloudflare 表示，自 2023 年以来已促成超过 50 项发布商与 AI 公司之间的交易。

其中大多数是大型机构之间的双边安排。它们并未为专业博客、独立出版物或小型数据提供商提供一条切实可行的路径。

Cloudflare 正在测试两种更广泛的机制。Pay Per Use 会在内容促成明确的 AI 产品结果时向发布商支付报酬。

Monetization Gateway 则在代理访问页面、数据集、API、模型或工具时收费。这些产品共享身份识别、计量、定价、结算和分析组件。

Pay Per Use 试图将付款与下游价值联系起来。买方定义愿意为之付费的事件，例如一次引用或推荐。

发布商审核报价，并决定是否参与。随后，AI 公司通过 Cloudflare 报告符合条件的使用行为。

Cloudflare 会核验每一项上报的使用行为是否属于已加入计划的发布商，并负责计费和分配相应款项。

该公司的 Pay Per Use beta 旨在解决按每次抓取收费的一个弱点：AI 服务检索的内容往往多于其最终实际使用的内容。

仅按访问收费可能会让探索变得昂贵。为实际使用付费，则能让费用与买方声明的价值相匹配。

这一模式也带来了不同的弱点。使用情况由买方提供，因此发布商必须信任商业条款和报告流程。

Cloudflare 表示，发布商可以查看内容被如何使用、何时使用，以及由此获得多少收益。一些买方还可以报告哪些问题促成了相关内容的出现。

这些反馈可能会影响编辑决策。专业发布商或许会更新代理经常引用的材料，或让高需求信息更易于检索。

Monetization Gateway 针对的是请求本身会创造价值的服务。API 和工具已经以这种方式运行，但代理买方可能没有既有账户。

当请求符合卖方规则时，该网关会返回 HTTP 402 Payment Required。代理随后可通过 x402——一种开放支付协议——完成付款。

封闭测试版面向符合条件的美国 Cloudflare 客户开放。卖方可以按请求、查询或 token 定价，并可设置上限。

Cloudflare 举例称，当代理请求某项联赛统计数据时，体育数据服务可以收费。用户无需访问依赖广告支持的页面，便可得到答案。

Cloudflare 还将该网关用于其 AI Gateway 推理服务。这种内部部署可在外部客户依赖它之前暴露运营问题。

Pay Per Crawl 仍是一种相关的访问模式。Cloudflare 文档称，网站所有者可以拦截、允许或向单个爬虫运营方收费。

其 crawler payment rules 会对每次成功访问收费，包括对同一页面的重复请求。robots.txt 和 sitemap.xml 等标准文件仍可免费访问。

高级配置允许运营者排除指定路径或设置动态定价。因此，网站可以保持一般信息开放，同时对高价值板块收费。

这些机制将原本的二元决策替换为多种选项。发布商可以允许搜索、拒绝训练、接受付费使用，并向交易型代理收费。

这种灵活性具有重要战略意义。它承认一次引用、一次模型训练副本和一笔完成的购买，并不会创造等同的价值。

然而，提供一套控制选项并不保证需求。AI 公司必须认定，获得许可的访问能够充分改善其产品，值得为此付费。

发布商还必须在扣除基础设施开支和管理复杂性后，确认这些付款具有实际意义。即便技术上设计精巧，若交易量或定价始终疲软，市场仍可能失败。

Cloudflare 明确将 Pay Per Use 和 Monetization Gateway 称为押注。该公司也承认，定价和发现机制仍未解决。

这种谨慎是恰当的。在任何人知道是否会有稳定市场在这些技术轨道上运行之前，技术轨道已经存在。

Cloudflare 的数据无法证明什么

自动化流量的增长是明确的，但将每个代理都视为客户的商业逻辑仍未得到验证。

第一个不确定性与测量有关。Cloudflare 观察到大量且重要的一部分网络流量，但并非整个互联网。

其客户也横跨不同的行业和技术特征。流经其网络的流量未必代表其覆盖范围之外的网站。

机器人分类又增加了一层不确定性。Cloudflare 区分已声明的爬虫用途、经过验证的身份和行为模式。

运营者可能错误标注请求、更换基础设施，或通过掩盖来源的服务路由流量。新的代理设计也可能挑战既有分类。

第二个不确定性涉及因果关系。Cloudflare 报告称，在被大量抓取的领域中，人类流量大幅下降，但相关性无法证明完整原因。

搜索算法、不断变化的消费者习惯、经济周期和网站质量都会影响流量。AI 答案引擎只是更大规模分发转变中的一个因素。

第三个不确定性是商业采用。发布商有充分理由希望获得补偿，但 AI 公司同样拥有替代方案。

它们可以授权较小范围的优质来源、依赖公开数据，或减少抓取。一些公司可能会引导代理使用结构化 API，而不是普通网站。

碎片化的支付环境可能形成另一重障碍。代理需要可预测的方式来发现条款、验证身份、估算成本和记录购买行为。

Cloudflare 对 x402 和 Web Bot Auth 的使用，旨在让这些步骤标准化。但竞争性提供商和协议仍可能分散采用。

市场力量是另一项担忧。Cloudflare 表示，底层标准是开放的，客户可选择其他提供商。

然而，Cloudflare 在自身产品栈中运营着可见性、身份、访问和结算层。这在带来便利的同时，也造成了集中化风险。

发布商应审视谁控制交易记录、争议分类和支付关系，也应考虑这些记录能否轻松迁移至其他地方。

Pay Per Use 模式包含一个具体的信任问题：买方报告哪些内容促成了应付费的使用行为。

Cloudflare 会根据参与发布商核验上报事件，但它无法独立观察内容对每一项 AI 回复所作出的内部贡献。生成式系统中的归因在技术上仍然困难。

模型可以综合多个来源的信息。要确定哪一来源导致了某一句话、排序或推荐，通常并不直接。

因此，对应付费使用的定义将取决于合同条款和监测工具。不同买方可能以不同方式衡量相似结果。

付款也可能偏向于易于衡量的内容，而非创造最大价值的内容。可见的引用比塑造答案的背景知识更容易追踪。

网站运营者也面临自身的运营风险。激进的拦截策略可能降低搜索可见性，或阻止有益代理获取最新信息。

宽松的访问策略则可能增加基础设施开支，并削弱对专有材料的控制。最佳政策取决于网站的收入模式和内容类型。

Cloudflare 的控制措施改善了决策空间，但并不会让决策自动完成。发布商仍需要证据，将爬虫活动与引荐流量、销售、引用和付款联系起来。

他们不应将所有自动化流量都视为无害需求或盗窃。这两种标签都会抹去 Cloudflare 新系统旨在揭示的差异。

最公允的评估是：Cloudflare 围绕一个已得到验证的趋势构建了一场市场实验。自动化受众正在增长，而它们可持续的经济角色仍未明朗。

三个信号将揭示代理式网络是否能带来收益

下一项考验在于，经过验证的代理流量是否会产生可衡量的价值，而不只是增加一层仪表板和协议。

第一个信号是主要 AI 运营商的采用情况。更多公司必须区分搜索、训练和代理爬虫，同时通过 Web Bot Auth 对请求进行签名。

广泛采用将强化 Cloudflare 的分类模型。持续的混合用途抓取则会削弱它，因为这会让访问决策不必要地停留在二元层面。

第二个信号是发布商从 Pay Per Use 和 Monetization Gateway 获得的收入。Cloudflare 尚未证明这些系统能够为较小网站带来可持续回报。

关键指标并非注册量或候补名单规模，而是经常性付款规模与提供和管理代理流量成本之间的对比。

Cloudflare 自己的公告称，已有数千名卖方加入 Monetization Gateway 候补名单。卖方需求很重要，但付费代理运营商的需求更重要。

第三个信号是抓取效率。Cloudflare 表示，超过一半的 AI 爬虫活动可能涉及检索未发生变化的页面。

该公司正与 OpenAI 合作，研究可在再次完整抓取之前识别新鲜或相关内容的信号。初步发现预计将在公告发布后的数周内公布。

Markdown for Agents 等工具可以移除软件不需要的呈现代码。WebMCP 则可暴露结构化操作，而无需让代理解读可视界面。

这些变化可能减少浪费的带宽，并提高可靠性。它们也可能让 Cloudflare 的基础设施在代理访问中变得更加核心。

互联网拥有了第二类受众，但只有当网站能够将有价值的请求与单纯提取行为区分开来，这句话才有意义。身份、政策和支付必须协同运作。

对网站所有者而言，当务之急是测量。在改变广泛规则之前，应先区分人工引荐流量、搜索抓取、训练访问和用户定向的代理活动。

然后根据实际商业成果检验这些政策。经过身份验证的代理是否带来了销售、引用、合格线索或有价值的付费？

对 AI 开发者而言，问题同样直接：当访问创造商业价值时，你们的代理是否会表明身份、遵守声明的用途，并为此付费？

旧有的网络交换模式依赖引荐机制；它并不完美，但易于理解。取而代之的体系需要记录、可执行的条款，以及对双方都行得通的经济模式。

关注经身份验证流量的占比、出版商实际获得的付款，以及无效爬取的减少程度。这三个结果将揭示 Cloudflare 究竟是在构建一个市场，还是只是在描述一个市场。