Cloudflare 2026 年年度创始人信称，代理赢了，但 Web 的交换并未实现

Cloudflare 的 2026 年年度创始人信记录了一项比预期早得多出现的首次突破：2026 年 5 月，自动化 Web 流量超过了人类流量。Cloudflare 原本预测这一交叉点会在 2027 年末出现。该公司如今认为，AI 代理打破的不只是流量纪录，它们也正在检验支撑开放 Web 的经济交换机制。

Cloudflare 联合创始人 Matthew Prince 和 Michelle Zatlyn 于 9 月 27 日、公司成立 16 周年之际发布了这封信。他们对人们借助 AI 能创造的成果持乐观态度；但对于代理如何发现、消费并回报这些成果，则更加审慎。

核心矛盾并非人类与机器的对立，而是代理效率与创作者经济之间的冲突。一个代理在推荐一家企业前，可能会考察数百家企业；而每一家未被选中的企业都要承担基础设施成本，却得不到客户。

这种动态让 Cloudflare 处在两个彼此需要的群体之间。AI 公司需要及时、可信的 Web 内容。出版商、开发者、商家和独立创作者则需要曝光、报酬，或两者兼得。

Cloudflare 希望成为双方之间的协调层。它提出的模式结合了经过验证的机器人身份、按用途划分的控制机制、新鲜度信号，以及与内容使用挂钩的支付方式。足够多的 AI 公司是否会接受这些规则，仍是决定性问题。

Cloudflare 2026 年年度创始人信重新定义了 Web 的流量问题

这封信将自动化流量从一项技术指标转化为经济层面的警示。

Cloudflare 表示，代理和 AI 爬虫在 2026 年 5 月将自动化流量推高至人类流量之上。这比其此前预测早了一年多。该公司将这一变化归因于迅速扩张的代理活动，而非人类使用量下降。

Cloudflare 还预测，如果当前趋势延续，自动化流量将在五年内达到人类流量的 1,000 倍。这一预测来自公司自身，并非独立证实的结果。尽管如此，较早出现的交叉点仍让人难以忽视这一方向。

关键变化在于，自动化软件如今正在做什么。传统机器人会为页面建立索引、检查可用性、过滤垃圾信息，或为搜索引擎收集信息。AI 代理则越来越多地代表用户进行研究、比较、决策和交易。

Cloudflare 给出了一个简单场景：一个被要求推荐午餐的代理，可能会在选择一家餐厅前查看 1,000 份餐厅菜单。被选中的餐厅或许能获得一位顾客，但另外 999 家仍需响应请求，却没有得到生意。

代理为一个人节省了大量时间，同时也将研究成本转移给了那些并未要求开展这项工作的站点。Cloudflare 将其描述为“公地悲剧”：受益者并不承担其消费的全部成本。

这一框架将讨论扩展到了新闻出版商和模型训练之外。餐厅、承包商、零售商、旅行服务商和软件提供商都可能面临同样的不平衡。即使最终交易在其他地方完成，它们的页面仍会成为机器可读取的输入。

这之所以重要，是因为代理做的不只是替代单个页面访问。它们可以将整个客户旅程压缩为一个答案。发现、比较、选择和购买都可能在用户看不到大多数贡献网站的情况下完成。

这封创始人信认为，这种转变对小企业的威胁最大。代理通常基于可获得的数据、可衡量的属性和既有信号进行选择。这些输入往往更有利于数字足迹更大的成熟企业。

人类的选择包含许多排序系统难以捕捉的因素。一位顾客可能会因为店员记得自己的名字而光顾一家熟食店；也有人可能因为一家本地商店位于熟悉的路线旁而偏爱它。

代理并没有这类互动的个人记忆，也不会在开车回家时经过那家店面。除非这些优势能转化为结构化信号，否则它们可能会在自动化比较中消失。

因此，Cloudflare 将这一流量里程碑视为一个市场设计问题。问题不再是机器人能否访问一个网站，而是由此形成的市场是否能为新创作者和小企业保留机会。

这封信也赋予 Cloudflare 清晰的战略角色。位于网站与自动化客户端之间的公司，可以分类请求、执行访问规则、减少浪费，并帮助引导支付。Cloudflare 希望这一中介地位成为代理式 Web 的核心。

AI 代理正在扩展创作，也在集中发现渠道

AI 正在降低在线构建的成本，同时提高新项目无人问津的风险。

Cloudflare 论点中乐观的一面关乎创作。该公司称，Web 长期停滞的状态在 2025 年年中左右结束，当时新网站数量开始再次增长。Cloudflare 不认同其中大部分增长都是一次性 AI 生成材料的看法。

相反，Prince 和 Zatlyn 将更多人进入 Web 的原因归功于 AI 辅助开发。Vibe coding 工具让用户可以通过自然语言指令创建软件，即便他们缺乏传统编程经验。

Cloudflare 表示，如今已有超过 700 万开发者在其开发者平台上构建产品。它还称，许多 AI 编程服务更倾向于选择 Cloudflare 作为部署目标。这些是公司披露的数据和主张，但它们说明了为何 Cloudflare 将 AI 创作视为机遇。

学生可以将一个想法变成可运行的应用程序。小团队无需先组建庞大的工程组织，就能测试产品。初创公司也能比早期几代创始人更快发布实验项目。

然而，扩大供给的同一项技术也可能收窄分发渠道。更多人能够创建网站和应用，而用户如何找到它们，却越来越由较少数量的代理界面来中介。

这正是 Cloudflare 2026 年年度创始人信中的核心反转。AI 扩大了能够构建的人群，但代理可能会集中被发现的对象。Web 拥有了更多创作者，但其推荐层却变得更加缺乏多样性。

代理通常会针对可量化结果进行优化。它可以比较可用性、价格、评论数量、配送时间、兼容性或规格。它较难获取关系、本地语境、新近形成的声誉，以及冒险尝试的吸引力。

成熟企业通常拥有更多评论、引用、结构化数据和历史互动。它们的信息出现在更多索引和模型输出中。每一次推荐随后都可能产生额外信号，从而强化下一次推荐。

这一反馈循环会形成既有企业优势。大型企业更容易被代理评估，因此代理会更频繁地选择它们。更多选择又会生成更多数据，使它们更容易在未来被选择。

压力并不只落在商家身上。独立网站同样依赖读者接触到自己的作品。如果一个答案引擎概述了它们的报道，读者可能永远不会访问原始页面。

一项 Pew Research 研究发现，在包含 Google AI 摘要的访问中，用户点击传统搜索结果的比例为 8%。在没有出现摘要时，这一比例为 15%。AI 摘要中的链接仅在 1% 的访问中获得点击。

这些发现并不能证明每一家出版商都会损失同等比例的收入。但它们表明，答案界面可能削弱“被引用”与“获得访客”之间的联系。

Cloudflare CEO Matthew Prince 在 2026 年 6 月的一场活动中进一步阐述了这一观点。他警告称，代理可以在没有品牌忠诚度或情感依附的情况下比较数千种产品。这一过程可能使知名度较低的企业处于结构性劣势。

Cloudflare 的担忧既有原则层面的原因，也有商业层面的考量。当更多网站、应用和代理使用其基础设施时，该公司会从中受益。多元化的 Web 会为其网络带来更多客户和更多流量。

这一激励并不会使其诊断失效。但它意味着读者应将这封信同时视为一项政策论述和一项平台战略。Cloudflare 正在描述一个问题，同时也在提出自己是解决该问题不可或缺的基础设施。

旧有的“爬取换流量”交换已不再平衡

主要冲突在于：代理要求获得更多 Web 访问权，而创作者从这些访问中获得的价值却更少。

大约三十年来，公共 Web 的发现机制遵循着一种易于理解的交换。搜索引擎爬取页面、建立索引并展示链接。网站接受爬取成本，因为搜索会将用户带回来。

这些访客可以订阅、浏览广告、购买商品或加入社区。爬取与变现沿着同一条基本路径运作。这种交换并不完美，但双方都能够获得价值。

AI 答案引擎打断了这一路径。它们可以检索信息、整合内容并满足用户需求，而无需用户访问网站。准确引用仍具有声誉价值，但并不会自动带来关注或收入。

代理加剧了这种不平衡，因为一次请求可能触发大规模研究过程。用户提出一个问题，代理却可能抓取数百个页面。界面掌握了用户关系，而网站承担了底层工作。

这并不意味着每一次自动化访问都有害。一些代理会完成直接惠及商家的交易。另一些则帮助用户找到原本不会独立发现的服务。

难点在于区分有益的委托与攫取。实时购物代理的行为不同于为模型训练收集材料的爬虫。搜索索引的目的也不同于这两类活动。

Cloudflare 在 2026 年 7 月推出了按用途划分的分类体系。它将自动化行为分为搜索、代理和训练三类。

搜索自动化会收集内容以供后续回答使用。Cloudflare 称，网站所有者应从这类使用中获得引荐流量或公平报酬。

代理流量代表个人执行即时任务。例如，浏览器代理比较产品，或聊天服务获取用户请求的页面。

训练爬虫会为模型开发或微调收集材料。这类使用可能会将信息永久吸收到模型中，而不是服务于某一次当前的用户请求。

AI 流量控制让站点所有者能够分别管理这些类别。Cloudflare 认为，当机器人的自动化服务于多种用途时，机器人运营方也应使用不同的爬虫。

这种区分是必要的，因为单一的“允许或阻止”选择过于粗糙。阻止所有自动化访客可以减少滥用，但也可能让一个站点失去新的发现渠道。允许一切则保留了覆盖范围，却放弃了控制权。

小型站点最强烈地感受到这种权衡。它们需要被发现，因为很少有用户已经知道它们的名字。然而，当大型平台提取内容却未带回有意义的流量时，它们拥有的议价能力有限。

大型出版商可以直接与 AI 公司协商授权协议。独立作者、垂直数据库、本地商家和小型软件团队通常做不到。任何可行的体系都必须能超越逐一协商的合同，具备规模化能力。

Cloudflare 的策略是将访问转化为可编程的选择。网站应能够允许搜索、拒绝训练、欢迎由客户指派的智能体，或针对特定用途要求获得补偿。

这一愿景还需要可信的身份识别。爬虫的 user-agent 字符串只是一种声明，恶意运营者可以伪造它。因此，Cloudflare 一直在推广 Web Bot Auth，该机制利用加密凭证来验证自动化客户端。

经过验证的身份仍无法解决所有执行问题。爬虫可以利用代理、浏览器自动化或外包采集来伪装成人类流量。内容也可能从镜像、存档或此前汇编的数据集中获取。

Cloudflare 可以对通过其网络的流量施加规则。它无法确立普遍适用的法律权利，也无法阻止每一种间接复制。它的影响力来自覆盖范围、协调能力，以及它能够对不合规访问施加的成本。

该公司称，超过 20% 的互联网位于其网络之后。这个位置让 Cloudflare 对不断变化的页面和流量模式拥有不同寻常的可见性。与此同时，这也引出了一个治理问题：由一家基础设施提供商塑造智能体访问方式。

旧有的交易模式是去中心化的，但基本由搜索引擎控制。Cloudflare 提出的替代方案或许会将更多控制权分配给网站所有者。它也可能同时赋予 Cloudflare 更大的角色，使其负责识别机器人、设定类别并促成支付。

Cloudflare 希望衡量价值，而不只是拦截爬虫

Cloudflare 提出的机制，将减少无效爬取与基于实际内容使用情况的付款结合起来。

该公司最初的回应聚焦于防御。2025 年 7 月，Cloudflare 宣布“内容独立日”，并推出用于拦截 AI 爬虫的控制措施。它还开始测试 Pay Per Crawl，让发布者可以向自动化客户端收取访问费用。

这种做法让创作者获得了更强的默认立场。然而，为每一次请求付费也会产生新的问题。一次爬取未必会生成有用信息，重复访问也不一定带来成比例的价值。

Cloudflare 现在希望从 Pay Per Crawl 转向 Pay Per Use。在这一概念下，补偿将随有价值的结果而发生，例如内容出现在 AI 回答中。

这一转变承认访问与价值并不相同。一个页面可能被反复抓取，却没有影响任何回答。另一个页面则可能提供支撑某项推荐的决定性事实。

Cloudflare 表示，参与的发布者可以通过其与 Ceramic.ai 的合作获得有关查询、引用和排名的信息。You.com 正在测试另一种方式：智能体可在需要时为特定优质内容付费。

这些合作仍处于实验阶段。它们尚未形成一个通用市场、标准化估值方法，或在领先 AI 平台间实现广泛参与。

Cloudflare 也在处理成本问题。其数据显示，超过一半的优质机器人爬取流量会重复访问没有变化的页面。每一次不必要的请求都会消耗带宽、服务器容量和 AI 公司的算力。

新鲜度信号可以告知回答引擎，一个页面自上次访问后是否发生变化。这样，爬虫便可跳过未变内容，同时仍能找到最新信息。

AI 搜索项目旨在衡量这些信号是否能提高内容新鲜度，并减少不必要的爬取。Cloudflare 表示计划发布结果并扩大可用范围。

即使没有付款，这一机制也能带来收益。发布者可处理更少的无效请求。AI 公司可降低检索和处理成本。用户则更有可能从最新页面中获取信息。

一旦引入补偿，模式就会变得更复杂。支付系统必须确定哪些内容影响了回答，以及这种贡献价值多少。

简单地统计引用次数可能具有误导性。一条回答可能引用一个页面，却依赖于其他来源获取的事实。多个来源可能提供相同信息，智能体也可能结合它们的贡献。

定价也因情境而异。餐厅菜单、医学参考资料、财务申报文件、调查报道、产品目录和软件文档页面，提供的是不同形式的价值。

固定的爬取费用忽略了这些差异。基于结果的补偿解决了部分问题，但它需要创作者和 AI 服务都信任的归因机制。

该系统还需要将交易成本降至足以支持机器规模使用的水平。智能体在执行一项任务时可能作出大量检索决策。人工协商或传统订阅流程会让多数交互失去可行性。

Cloudflare 在网络中的位置可以降低这些成本。它能够识别参与网站、确认获得授权的智能体、应用访问规则，并通过共同的基础设施记录使用情况。

这一角色更像清算层，而非发布者市场。Cloudflare 无需自行决定每一项价格。它可以提供身份、政策、衡量和支付轨道，让其他各方能够完成交易。

这种方式契合智能体商业的发展：软件代表用户跨多个企业采取行动。经过验证的智能体需要获得授权，才能访问账户、比较报价并完成购买，同时不暴露原始凭证。

然而，高效支付并不能保证公平市场。大型 AI 公司仍可能拥有更强的议价能力。它们可以偏向免费来源、使用既有数据集，或将智能体引导至提供优惠条件的合作伙伴。

创作者还面临集体行动压力。一家发布者可能要求付款，而竞争对手则继续免费开放。除非付费材料具有独特性，否则回答引擎可以用其他来源替代。

因此，Cloudflare 必须证明的不只是技术可行性。它还必须表明，高质量内容能够充分改善智能体结果，从而值得付费。更好的归因也必须创造超过参与成本的收入。

Cloudflare 的数据仍无法证明什么

流量交叉具有重要意义，但 Cloudflare 提出的经济体系仍取决于采用率、归因和可执行的身份识别。

这一头条数据值得谨慎解读。“自动化流量”不仅包括自主 AI 智能体。视分类方式而定，它还可能包括爬虫、监控服务、安全工具、信息源以及其他非人类请求。

Cloudflare 特别将加速发生的交叉归因于智能体和 AI 爬虫。然而，自动化流量占多数的互联网，并不意味着智能体已控制大部分购买、决策或人类注意力。

请求量不等于经济影响力。一个智能体可在单项任务中产生大量请求，而一次人类页面浏览就可能直接促成购买。因此，比较原始流量份额可能夸大或低估实际影响。

五年预测则更不确定。Cloudflare 预计，如果当前模式持续，自动化流量将达到人类流量的 1,000 倍。基础设施限制、爬虫优化、监管或 AI 架构变化，都可能改变这一轨迹。

Cloudflare 自身的新鲜度项目旨在减少重复请求。若该项目成功，智能体可能在产生更少流量的同时完成更多有用工作。这一结果将削弱请求量作为衡量智能体采用情况主要指标的地位。

创作者层面的论点也因商业模式而异。订阅制发布者在回答取代访问时会损失可衡量的价值。餐厅即使被查看了许多菜单，只要智能体带来已确认的预订，仍可能受益。

一些网站运营者希望获得授权收入。另一些则看重分发、引用、完成的交易或更低的支持成本。单一补偿框架无法将这些结果视为完全相同。

批评者也质疑，爬虫费用能否阻止规避性采集。秉持善意行事的 AI 公司可以进行身份验证、遵守政策并参与付款。合作意愿较低的运营者则可以伪装流量或从其他渠道获取数据。

一项批判性的按爬取付费分析认为，通用材料仍可通过既有数据集广泛获得。它还指出，滥用性爬虫几乎没有理由如实表明身份。

如果 Cloudflare 聚焦于最新、稀缺或优质信息，这一异议的影响就会减弱。陈旧的通用数据很容易替代。实时库存、专业分析和频繁更新的数据库则更难取代。

Cloudflare 还必须证明其归因方法可供审计。发布者需要证据证明，报告中的使用情况反映了真实的智能体行为。AI 公司则需要确信，收费对应的是确实影响了回答的内容。

开放性还存在另一层张力。互联网的发展部分得益于页面可以广泛访问，无需进行交易协商。在普通检索过程中引入支付检查，可能会提高研究人员、档案机构、无障碍服务和新兴搜索提供商的门槛。

Cloudflare 的用途类别有所帮助，但分类涉及判断。一个搜索产品也可以训练模型。智能体可以在任务过程中创建索引。服务也可能在采集后改变已存储材料的使用方式。

混合用途的爬虫尤其会带来困难的政策选择。网站所有者需要能够区分当前由用户指向的检索与无关训练的控制措施。机器人运营者则必须提供随时间推移仍然准确的身份和用途说明。

因此，Cloudflare 的提案在很大程度上依赖治理，而不仅仅是工程技术。必须有人定义类别、解决争议、更新分类，并在运营者违反声明条款时作出回应。

该公司还应公布有关误报和漏报的证据。拦截合法自动化可能损害内容发现和无障碍服务。未能识别伪装的自动化则会削弱对创作者的保护。

集中化仍然是最大的结构性担忧。Cloudflare 警告称，智能体可能偏向既有巨头，并给新企业留下更少机会。然而，由大型基础设施和 AI 提供商主导的补偿市场，也可能形成另一层集中化结构。

Cloudflare 论点最有力的版本，并不是声称其系统已经解决了这些问题。而是指出，现有模式已无法使成本与回报保持一致。

Cloudflare 公开将其较新的项目描述为实验。这种克制很重要。该公司提出了可信的机制，但它是否能形成更公平的市场，仍须由采用情况和独立测量来决定。

三个信号将显示智能体互联网能否向贡献者付费

下一项考验在于，Cloudflare 能否将有说服力的诊断转化为可衡量的创作者收入和更广泛的市场参与。

第一个信号是 Cloudflare 新鲜度项目的有据可查表现。该公司称，超过 50% 的优质机器人爬取会重复访问未发生变化的页面。公开的试验结果应显示这部分流量减少了多少。

有价值的报告应区分带宽节省、爬虫算力减少、信息新鲜度和回答质量。如果智能体错过重要更新或偏向既有来源，仅仅降低爬取次数并不足够。

强劲的结果将支持 Cloudflare 的基础设施论点：网络中介可以在不只是限制访问的情况下，为供需双方降低成本。疲软或不透明的结果则会让效率提升这一主张仍未得到验证。

第二个信号是 Pay Per Use 是否得到有意义的参与。Ceramic.ai 和 You.com 提供了初步样本，但市场还需要更多答案引擎、出版商、商家和独立创作者加入。

关键指标并不是已宣布合作伙伴的数量，而是内容贡献者是否获得实质性付款和有用的归因数据。Cloudflare 还应展示，较小型出版商能否无需专门的技术工作即可参与。

更大型 AI 平台的采用将显著增强这一模式。拒绝采用则表明，Cloudflare 缺乏足够的影响力，或 AI 公司认为付费访问的价值有限。

第三个信号是，基于用途的机器人身份是否能经受现实世界的压力。Cloudflare 需要提供证据，证明搜索、代理和训练流量能够在混合用途服务中被可靠分类。

值得关注的是，爬虫运营商是否采用独立身份、出版商是否使用精细化控制措施，以及是否对虚假呈现的流量采取执法行动。监管决定也可能让机器可读的同意机制变得更具影响力。

成功意味着，代理仍能保持广泛实用性，同时创作者获得介于无限制访问与全面封锁之间的更多选择。失败则会使网站在应对不断增长的机器需求时，依然缺乏可靠的补偿路径。

Cloudflare 的《2026 年年度创始人信》归根结底是在试图先行定义规则，避免少数代理平台独自定义这些规则。该公司希望构建一个拥有众多创作者、众多 AI 提供商，并为陌生的新型业务留出赢得关注空间的互联网。

这一结果并不会因部署工具更快或爬虫更出色而自然实现。它需要能够识别新事物的发现系统、重视贡献的支付系统，以及让自动化参与者承担责任的身份机制。

开发者和企业采购方现在应审视其代理如何获取信息：这些系统是否表明自身身份、遵守声明用途、避免重复访问未变化的页面，并保留来源归因？

创作者应关注，补偿是否会成为可重复的收入，而非有限的试点项目。AI 用户则应思考，便捷的答案是否正在削弱令这些答案成为可能的内容来源。

决定性的问题已不再是自动化流量是否将占据主导地位。Cloudflare 表示，这一门槛已经跨越。问题在于，下一代网络是否会奖励那些为其代理提供值得发现内容的人和企业。