Meta 抓取条款删除 AI 训练措辞，但爬虫仍然存在

在三名法律专家警告该措辞可能涵盖出版商网站后，Meta 从其商业条款中删除了明确涉及 AI 训练的表述。这项修订缩小了 Meta 爬取权利的明示用途范围，将于 2026 年 10 月 30 日条款生效前实施。不过，Meta 抓取条款仍授权其自动访问与使用其产品的企业相关联的网站。

这一差异正是争议的核心。Meta 表示，它只是整合了既有授权，无意改变其网页爬取方式。批评者则聚焦于合同文本表面上允许什么，而非 Meta 声称计划怎么做。

因此，这一删除举措意义重大，但并未终结争论。爬虫授权依然存在，条款仍覆盖广泛类型的企业，且 robots.txt 保护并未写入合同条款本身。

Meta 从商业条款中删除了什么

Meta 删除了网站爬取与 AI 训练之间最直接的关联，同时保留了爬取企业关联页面的许可。

争议源于 Meta 即将生效版本的《商业条款》。这些条款适用于将 Facebook、Instagram、WhatsApp 及相关产品用于商业或经营目的的个人和组织。

原始更新授权 Meta 或代表其行事的实体，对与企业相关联的网站使用自动化软件。示例包括网页抓取器、机器人、robots、spiders、crawlers 和用户代理。

该条款还授权创建测试凭证。Meta 可以使用这些凭证访问、索引、缓存、分析、收集、检索或爬取相关域名和页面。

第二句话令该规定更具争议。其称，Meta 可以使用这些页面的内容来提供、开发、改进、研究、“训练”和维护 Meta 产品与服务。

“训练”一词在 Meta 网站爬取与其 AI 开发之间建立了明确联系。该条款并未指明某一个爬虫、模型、数据集，或受限类别的商业页面。

10 月 15 日，Nieman Lab 发布了一篇法律评估，邀请三名法律专家评估这段语言。他们认为，Meta 可能据此主张拥有收集与商业账户关联的出版商网站内容的许可。

这一解读受到关注，是因为许多出版商依赖 Meta 的平台。新闻编辑部可能运营 Facebook Page、维护 Instagram 账户、使用 Messenger，或管理 WhatsApp 频道。

这些条款并不限于大型广告主。它们适用于管理 Page、运营商业群组、发送营销信息、列出产品、开发应用及使用 Meta Business Suite 等活动。

收到通知后继续进行商业使用将构成接受。拟议条款告知企业，不愿接受更新者应停止将 Meta 产品用于商业用途。

Meta 拒绝了这种宽泛解读。Meta 通信副总裁 Andy Stone 表示，此次更新不会改变公司的网页爬取做法。

随后，Meta 修订了该条款。根据修订后的措辞，公司删除了包含“训练”的句子，并将所述用途限定为广告和商业产品。

Meta 发言人表示，整合后的爬取语言仅适用于这些商业系统。该公司称，在听取出版商和其他观察人士的担忧后修改了文本。

这一变化很重要，因为合同是依据书面语言判断的，而非仅依据配套说明。删除“训练”削弱了最明确的文本论点，即接受条款即授予一般 AI 模型训练的许可。

然而，修订并未消除底层的爬取授权。Meta 仍可访问与企业账户相关产品或服务关联的域名、页面和 URL。

它还可以定期检索这些页面的更新。这一能力可支持合理的商业功能，例如刷新广告或推荐中显示的产品详情。

但当它被应用于出版商、研究机构、软件公司或独立创作者时，同样的能力就可能显得范围广泛得多。这些企业可能将 Meta 账户连接到包含有价值编辑内容或专有材料的网站。

因此，这一变化解决了一个狭义问题。它并未完整界定 Meta 可以收集什么、如何分离收集的内容，或哪些系统之后可以处理这些内容的边界。

为什么 Meta 抓取条款给出版商带来压力

原始条款迫使出版商将 Meta 宣称的意图，与表面上远超产品目录范围的合同语言进行比较。

Meta 表示，该规定旨在支持广告和平台内推荐中的准确信息。零售商修改产品描述或库存状态，就是一个直观例子。

自动化爬取能够保持这些信息的最新状态，而无需零售商手动提交每一次更新。这种用途类似于常见的索引和目录刷新系统。

该文本之所以引发批评，是因为它并非只为零售商而写。它覆盖了受商业条款约束的任何企业，其产品或服务所关联的域名和页面。

这一群体包括核心产品是内容的出版商，也包括专业协会、顾问、艺术家、软件公司，以及网站上拥有原创材料的小型企业。

媒体与知识产权律师 Matt Topic 称，原始规定引人注目。他认为，其宽泛语言覆盖的材料，在许可市场中可能具有可观价值。

康奈尔法学院教授 James Grimmelmann 则聚焦于潜在竞争影响。他表示，最宽泛的解读可能支持建立一个用于 Meta 产品（包括 AI 系统）的出版商内容档案库。

这两种观点都没有证明 Meta 已采取了此类行动。它们讨论的是 Meta 可能根据拟议合同主张的权利。

这种区别很重要。一家公司可以准确地表示，其当前运营行为没有变化，同时公布赋予其更大未来灵活性的条款。

法律许可往往涵盖的活动多于公司立即实施的活动。企业寻求这种灵活性，是因为产品、供应商、基础设施和商业策略都会发生变化。

出版商则将同样的灵活性视为风险。一旦访问权进入具有约束力的协议，执行非正式限制可能取决于 Meta 是否持续作出狭义解释。

测试凭证的纳入加剧了这种担忧。测试账户可用于常规质量检查，包括确认页面对已登录访问者的表现。

不过，原始条款没有说明这些凭证是否能访问注册墙或其他受控区域。据报道，Meta 拒绝回答它们是否能够绕过付费墙。

付费墙不仅仅是技术障碍。它体现了出版商限制订阅者或注册读者访问的决定。

在这样的边界之后进行自动化访问的可能性，改变了商业层面的讨论。它引发了有关同意、许可、身份验证，以及公开内容与受限内容区别的问题。

小型出版商面临的选择尤其艰难。他们可能依赖 Facebook 或 Instagram 触达无法在其他地方迅速重建的社群。

Nieman Lab 描述了 The Steampunk Explorer 编辑 Stephen Beale 的案例。他的读者群高度依赖 Facebook 进行社群活动，并通过该平台跳转至其网站。

Beale 表示，他在更新前正考虑关闭自己的账户。他的反应表明，对每个企业而言，“停止使用这些产品”都不是中性的替代方案。

出版商离开 Meta，可能失去分发渠道、受众关系、账户历史和既有工作流程。出版商留下，则可能被视为接受了本不会通过单独许可谈判授予的合同权限。

威斯康星大学法学教授 Benjamin Sobel 将这一结构比作捆绑销售。简单来说，捆绑销售是指以接受另一项义务为条件，换取对某个有用产品的访问。

这种类比的法律地位仍未确定。但它清楚地指出了经济压力所在。

Meta 控制着企业用于广告、社群管理、客户沟通和受众发展的平台。这些企业无法与 Meta 单独协商标准条款。

这种不平衡解释了为何删除一个词会带来些许宽慰，却无法完全恢复信心。出版商希望协议内部有更清晰的界限，而不只是协议之外的保证。

更广泛的 AI 市场使这些担忧更为紧迫。模型开发者需要大量文本、图像和其他媒体集合，而出版商越来越将其档案视为可授权资产。

包括 Meta 在内的公司也运营着可以回答问题、总结信息或推荐内容的产品。这些功能可能与提供底层信息的来源形成竞争。

这并不意味着每次爬取都会替代一次读者访问。爬取支持多种不同功能，包括链接预览、安全检查、搜索索引、广告系统和模型开发。

核心问题在于分离。网站运营者需要知道，哪一种自动化代理收集哪些内容、用于什么目的，以及依据何种合同授权。

Meta 表示其爬取做法并未改变

Meta 的辩护针对运营意图，而批评则针对书面许可的范围和持久性。

在整个争议期间，Meta 的公开立场始终一致。该公司表示，它整合了此前分散在不同商业条款中的语言。

其发言人称，此次更新并未授予凌驾于出版商偏好之上的新权利。Meta 还表示，该规定涉及广告和商业产品，而非抓取新闻网站。

该公司的最初回应强调，其网页爬取行为并未改变。后来的编辑使合同内容更接近这一说明。

这一过程构成了转变，但未必意味着承认。Meta 并未承认原始条款授权了法律专家所描述的行为。

相反，该公司表示，该措辞曾被误解，并对其进行了修订以澄清预期范围。当宽泛起草产生一家公司声称从未预期的解读时，这是一种常见的合同应对方式。

这种澄清仍为分歧留下空间。即便与广告和商业产品相连，“开发”和“改进”仍是宽泛的动词。

现代广告系统在整个运营过程中都使用机器学习。模型会对内容排序、匹配受众、检测欺诈、生成创意素材，并预测用户可能重视哪些产品。

因此，训练模型可能构成广告产品开发的一部分。删除“训练”一词降低了明确性，但并未为所有机器学习用途设置技术屏障。

这并不能证明 Meta 会将抓取的出版商内容用于训练。它意味着，外部人士无法仅凭审视一个动词来判断数据流向。

更清晰的框架应明确允许使用的内容、负责的爬虫、目标系统、保留期限以及禁止用途。还应说明某个爬虫的输出能否转移至另一款产品。

Meta 已在其公开文档中区分了多个自动化代理。其爬虫文档为不同用途列出了不同的用户代理。

Meta-ExternalAgent 与训练基础 AI 模型、或通过直接索引内容改进产品等用途相关。Meta-ExternalAds 则支持广告及其他商业相关产品。

Meta-ExternalFetcher 执行由用户发起的抓取，而 FacebookExternalHit 支持生成共享链接预览等功能。Meta 还记录了一种用于以最新信息为回答提供依据的网页索引器。

这些差异很重要，因为屏蔽所有与 Meta 相关的机器人可能会破坏有用功能。出版商可能希望保留 Facebook 链接预览，同时拒绝为基础模型训练进行自动化采集。

因此，一条“屏蔽 Meta”的指令可能过于粗糙。网站运营者必须将每项政策选择对应到正确的用户代理标记。

商业条款并未提供这样的操作映射。它们也没有承诺，为某一所述目的采集的内容绝不会在日后支持其他功能。

这一缺口并非 Meta 独有。AI 公司已为训练、搜索、用户发起的检索和产品功能推出多个爬虫。

OpenAI 将可能收集材料用于模型训练的 GPTBot，与 OAI-SearchBot 和 ChatGPT-User 区分开来。Google 提供 Google-Extended，用于控制某些生成式 AI 用途。

这些区分很有用，但也将责任更多地转移给网站运营者。出版商必须监控文档、维护爬虫规则、检查日志，并随着产品变化调整控制措施。

大型机构可以让安全、法务、编辑和基础设施团队承担这项工作。小型企业往往做不到。

Meta 的抓取条款带来了额外不确定性，因为它将合同授权与一个已在多个代理之间划分抓取任务的技术系统结合在一起。

企业可能阅读修订后的合同后，认为 AI 训练不在其适用范围内。如果其反对与训练相关的采集，管理员仍必须单独屏蔽 Meta-ExternalAgent。

反过来，企业也可能在技术上屏蔽某个爬虫，却仍不确定合同层面的同意情况。Robots.txt 向自动化代理传达一种偏好，但它不是经协商达成的许可。

由此形成的系统要求企业管理三个独立层面：理解平台条款、配置机器可读的偏好，并通过服务器日志验证实际行为。

对于跟踪政策变化的团队而言，将带日期的条款、通知和基础设施决策保存在可搜索的知识库中，可以减少混乱。当措辞、用户代理或内部设置发生变化时，这些记录会变得很有价值。

Robots.txt 有帮助，但无法解决同意问题

Robots.txt 提供了实用的控制手段，但无法回答 Meta 条款引发的所有合同、技术或法律问题。

robots.txt 文件位于网站根目录，用于告知自动化代理应避免访问哪些路径。它是一项长期存在的惯例，而不是物理访问屏障。

Meta 表示，内容所有者可以使用 robots.txt 表达其偏好。其文档为管理员提供了可允许或禁止的具体用户代理名称。

这一保证很重要。独立研究也提供证据表明，在测试条件下，Meta 已识别的爬虫能够遵守该文件。

一项 2025 年的爬虫测量研究通过被动和主动实验考察了自动化代理。研究人员在被动测量中观察到 Meta-ExternalAgent 遵守 robots.txt。

他们还发现，在主动测试期间，Meta 的 AI 助手爬取行为遵守了禁止指令。不过，观察到的用户代理行为并不总是符合 Meta 在文档中对各爬虫的划分。

研究人员看到 FacebookExternalHit 或 Meta-ExternalAgent 同时执行与训练相关及由用户触发的检索。他们未在这些测试中观察到 Meta-ExternalFetcher。

这一发现并不表明存在故意规避。但它说明，文档中的类别需要经验证据检验。

Robots.txt 也依赖自愿遵守。除非服务器主动拒绝请求，否则通常仍会交付被请求的页面。

网站所有者可以通过防火墙规则、机器人管理系统、速率限制、身份验证和监控来强化自身偏好。这些控制会增加成本和运营复杂性。

出于特定目的，某些 Meta 代理可能绕过 robots.txt。Meta 的文档称，用户发起的检索以及某些安全性或完整性检查，其运行方式可能与一般爬取不同。

这种例外可能是合理的。即使自动化索引器遭到屏蔽，分享链接的人也可能期望 Facebook 获取其标题、图片和描述。

但例外让简单政策更难传达。出版商可能希望拒绝 AI 训练，同时允许链接预览和用户请求的摘要。

网站必须识别代理、信任其声明的用途，并应用正确规则。还必须确认，自称使用 Meta 用户代理的流量是否来自真正由 Meta 控制的地址。

恶意机器人可以复制用户代理字符串。仅按名称屏蔽并不能证明请求的身份或目的。

合同又增加了一层。最初的 Meta 抓取条款授权自动化访问，并称采集的内容可用于训练 Meta 产品。

法律专家质疑，Meta 是否可能主张这种合同同意取代了相冲突的 robots.txt 偏好。Meta 表示，更新并未凌驾于这些信号之上。

修订后的措辞通过删除“训练”缓解了这种紧张关系，但合同仍未明确纳入对 robots.txt 的承诺。最有力的保证仍来自 Meta 的公开声明和技术文档。

当企业团队评估风险时，这一区别至关重要。声明解释当前政策，而合同界定可执行的权利与义务。

正确结论并非 robots.txt 毫无用处。它仍是网站所有者大规模传达爬虫偏好的最清晰方式之一。

也并非每家企业都应立即屏蔽所有 Meta 代理。这样做可能降低可发现性、禁用预览，或干扰企业所重视的产品功能。

实际应对措施应从内容清单开始。零售商可能希望 Meta 刷新公开商品目录页面，同时排除文档、客户门户或编辑档案。

出版商可能允许预览爬虫，但屏蔽与基础模型训练相关的代理。软件公司可能对营销页面、开发者论坛和需认证的支持内容应用不同规则。

随后，管理员应将这些选择与实际服务器日志进行比对。日志能显示哪些代理请求哪些路径、返回频率如何，以及禁止规则是否改变了流量。

他们还应保存向其账户展示的商业条款版本。平台条款可能因司法管辖区或语言而异，也可能在生效日期前发生变化。

法务团队不应假定删除“训练”就解决了所有许可问题。技术团队也不应假定合同编辑会自动改变爬虫行为。

因此，怀疑论者的观点比最激烈的早期反应更为有限。引用报道中没有经验证据表明，Meta 利用这一新条款绕过出版商控制措施或采集付费墙文章。

担忧具有前瞻性。宽泛的措辞、不清晰的数据隔离，以及对外部保证的依赖，会在任何有争议的采集得到证实前就带来风险。

这种区分可避免双方夸大其词。没有证据时，不应指控 Meta 存在某种行为；与此同时，也不应要求出版商忽视那些措辞足够宽泛、足以引发可信担忧的授权。

10 月 30 日前后应关注什么

三个信号将显示 Meta 的澄清究竟会成为可执行的边界，还是仅仅是一项临时措辞修正。

第一个信号是条款于 10 月 30 日生效时企业实际收到的最终文本。Meta 的修订应始终将与爬取相关的用途限制在广告和商业产品范围内。

企业应核查其账户、语言和司法管辖区所显示的版本。应将带日期的副本与促使其接受条款的通知一并保存。

一致性将强化 Meta 的立场，即争议源于不够精确的整合。相互矛盾或范围更宽的版本将削弱这一解释，并重新引发对协议实际范围的疑问。

最终条款还应澄清“测试凭证”。这一表述引发担忧，因为它可能指普通测试，也可能指访问公开页面以外的内容。

明确限制不得绕过付费墙、订阅者控制或受限区域，将回应最严重的解读。若保持沉默，企业就只能依赖 Meta 未明说的内部实践。

第二个信号是 Meta 的爬虫文档及可观察到的流量。Meta 应在广告、训练、索引、预览和用户请求的检索之间维持清晰边界。

用户代理名称、用途或 robots.txt 行为的变化值得密切关注。企业应将文档与自身服务器日志进行比较，而不能只依赖名称。

如果 Meta-ExternalAgent 仍可单独控制且遵守禁止规则，这将支持该公司关于出版商仍保有实质选择权的说法。

如果代理在未清晰披露的情况下承担重叠角色，修订后的合同将带来较少保证。技术上的模糊性甚至会削弱精心收窄的法律措辞。

独立测量将尤其有用。这项 2025 年的爬虫研究发现，Meta 在测试中遵守 robots.txt，但也观察到不同功能之间出现意外的用户代理共享。

未来研究可以确认这些模式在新条款生效后是否仍然持续。它们还可以测试 Meta 如何处理需要认证的页面、重定向、缓存规则和速率限制。

第三个信号是 Meta 是否将其公开承诺转化为明确的合同承诺。该公司表示，此次更新不会推翻 robots.txt 偏好，也并非旨在抓取新闻网站。

将这些边界写入条款将减少不确定性。在规划长期数据政策时，这也会给企业比发言人声明更坚实的依据。

Meta 可以明确，商业条款下抓取的内容不能用于训练通用基础模型。它还可以列明允许的产品类别，并禁止超出网站授予权限的访问。

这类措辞将强化一种观点：这是一项起草问题。若继续依赖宽泛动词和外部解释，围绕同意的争议将持续存在。

出版商还应关注围绕 AI 训练数据的诉讼与监管动态。法院仍在审理多起案件，涉及版权、合理使用、合同、访问控制及救济措施等问题。

这些裁决将影响平台条款和爬虫排除规则的价值。当技术偏好有可执行的合同、版权主张或访问控制法律作为支撑时，其意义就大不相同。

对于开发者和企业采购方而言，这一教训不止适用于 Meta。AI 数据治理在信息进入模型之前就已开始。

合同、爬虫身份、采集路径、留存规则和系统边界，共同决定后续 AI 功能是否建立在可辩护的访问基础之上。模糊的采集权限会为客户和供应商带来后续的合规工作。

知识工作者也应关注这一问题，因为企业账户可能会以普通用户未曾预料的方式，将外部材料连接到平台。一个社交账户可能成为更广泛授权链的一环，涉及网站、目录、文档和自动化检索。

Meta 的抓取条款已不再包含最明确的 AI 训练措辞。这确实是一项修正，也降低了眼下的合同担忧。

不过，爬虫仍然存在，对精确边界的需求也依然存在。下一项考验是，Meta 的最终条款、技术控制和实际观察到的行为，是否讲述同一个故事。

在 10 月 30 日之前，企业应回答一个实际问题：它们希望使用哪些 Meta 功能，又准备授权哪些形式的自动化访问？答案应指导其审查账户通知、robots.txt 规则、访问控制和爬虫日志。出版商应保留其接受的条款，并记录所作出的任何技术变更。开发者应验证每个 Meta 用户代理，而不是将所有自动化流量视为同一个系统。Meta 已澄清其所称争议条款的用途。现在，其合同与爬虫行为必须让这一承诺清晰可见。