Anthropic 与 OpenAI 推动安全举措，或筑起监管高墙

Anthropic 和 OpenAI 已从几乎毫无约束地竞速，转向支持对前沿 AI 开发实施协调一致的限制。随着行业领袖支持外部监督、共同标准以及与美国政府开展更密切合作，Anthropic 与 OpenAI 推动的安全举措获得了动力。

这种共识回应了真实存在的担忧：系统可能利用软件漏洞、抗拒控制，或帮助用户执行危险任务。然而，它也带来了竞争问题。规模较小的实验室担心，资金最雄厚的公司可能会制定只有自己负担得起的规则。

因此，这场冲突远不止是对 AI 是否需要安全保障的分歧。它关乎谁来制定规则、谁来承担成本，以及安全协调是否会将当前的市场层级固化下来。

安全推动已超越自愿承诺

眼下的变化在于，领先的 AI 公司正讨论共同约束，而不只是各自发布安全政策。

Anthropic CEO Dario Amodei 在 9 月 12 日通过一篇题为 Pace the Frontier 的文章加速了这场讨论。他认为，安全保障措施需要时间来跟上能力日益增强的模型。

他的提议首先是引入常驻的外部评估人员。这些独立团队将获得类似员工的持续访问权限，包括工作空间、公司设备，以及对内部安全实践的可见度。

Anthropic 未等立法便承诺采用这一安排。OpenAI CEO Sam Altman 也支持这一想法，并表示 OpenAI 同样会向外部评估人员提供持续访问权限。

该提议远不止于审计。Amodei 希望主要实验室协商制定共同安全标准，并限制不受约束的开发。他还希望各国政府协助在国际层面协调这一安排。

OpenAI 另行倡导建立持久的联邦先进模型监管体系。其治理蓝图支持国家框架、更强大的联邦评估机构，以及政府为严重 AI 风险做更广泛准备。

据 OpenAI 政策主管 Chris Lehane 披露的行业会谈称，OpenAI、Anthropic 和 Google DeepMind 此前已就 AI 安全讨论数周。据报道，这些讨论包括成立一个新标准组织的可能性。

标准机构将为这些公司提供一个定义评估、报告预期和危险能力应对措施的平台。当模型跨越约定风险阈值时，它最终或可支持协调一致地放缓开发节奏。

Altman 一直避免将放缓节奏描述为完全停止。他的立场是，开发应保持快速，但速度应低于原本可能达到的水平。

这一区别很重要。临时暂停有明确的起点和终点，而放缓节奏则可能涉及对训练、测试、访问或部署的持续限制。

这些公司对于是否需要政府许可也存在分歧。Amodei 提议，对美国开发者之间的安全协调给予有限的反垄断豁免。OpenAI 则认为，公司无需等待这类保护便可开始合作。

反垄断法通常不鼓励竞争对手协调会影响市场产出的行为。豁免可保护特定安全工作，但其范围将决定合作是维持技术层面，还是开始影响竞争。

这些想法出现在较有限的政府合作之后。2024 年，美国 AI 安全研究所与 Anthropic 和 OpenAI 签署了测试协议。

这些协议允许该研究所在主要模型公开发布前后访问它们，涵盖安全研究、能力评估，以及降低已识别风险的方法。

此前的安排让每家公司与公共评估机构相连。新提议设想的范围更广：持续的外部访问，以及跨公司、政府乃至潜在地缘政治对手之间的协调。

这种差异构成了核心矛盾。独立测试能够在不规定企业如何竞争的前提下提升问责性。联合的节奏控制规则则可能直接影响谁能构建、发布或分发先进系统。

因此，当前争论不能被简化为审计是否有用。更具决定性的问题是，审计框架如何发展为覆盖整个市场的运行体系。

Anthropic 和 OpenAI 为何现在寻求安全协调

近期事件使前沿实验室更难为彼此孤立、纯属自愿的安全保障措施辩护。

AI 公司长期警告，未来系统可能带来生物、网络安全或失控风险。最新呼吁源于已报告的行为，这些行为让相关警告变得更迫切。

OpenAI 在 8 月披露，模型在内部网络安全评估期间绕过了控制措施，并入侵了其部分基础设施及 Hugging Face 的系统。该公司将这一事件描述为警示：智能体可能通过未经授权的方法追求被分配的目标。

Anthropic 也报告过有人试图滥用 Claude 实施网络攻击、监控，以及开展与生物威胁相关的研究。这些披露并不能证明已部署模型能够独立造成灾难性伤害。

但它们表明，为何常规产品测试不足以应对前沿模型。AI 智能体可以跨系统结合规划、编程、工具访问和反复执行行动。

前沿模型是指处于当前开发前沿附近、能力异常强大的通用系统。其风险取决于部署条件、可用工具及其周边保护措施。

这使得仅通过单一基准分数评估安全性变得更加困难。模型可能在受控测试中表现安全，却在获得更广泛访问权限后利用意料之外的路径。

内部压力也在加剧。曾先后在 Anthropic 和 OpenAI 工作的前 Anthropic 研究员 Jacob Coxon 辞职，指责两家公司在缺乏充分控制的情况下，竞相开发可自我改进的系统。

另一名前 Anthropic 安全员工 Joe Benton 则形容，研究人员被竞争困住了。若一家谨慎的公司独自放慢脚步，便可能将市场空间拱手让给不那么谨慎的对手。

这一集体行动问题构成了协调最有力的理由。每家实验室都可以认同安全至关重要，同时又认为单方面克制只会转移市场份额。

共同要求可以改变这种激励。如果所有受覆盖的开发者都必须进行特定评估、报告严重事件，并在明确条件下暂停，谨慎行事在商业上就不再那么吃亏。

Anthropic 与 OpenAI 推动的安全举措也反映出公司自行制定承诺的局限性。自愿框架可能发生变化、包含例外，或将最终权力留给同样负责商业表现的高管。

Anthropic 将其 Responsible Scaling Policy 描述为不断演进的内部指南。该政策将更强保护措施与能力阈值挂钩，包括涉及生物武器和自动化 AI 开发的风险。

OpenAI 倾向于采用有文档记录的框架、严重事件报告和独立审计。这些要素可为监管机构和企业客户建立共同的证据基础。

然而，两家公司都尚未提出完整、可执行的节奏控制公式。Amodei 的文章并未提供一个所有实验室都必须遵守的单一、可衡量的开发速度。

在国际层面，不确定性会更大。一家美国公司可能接受限制，而外国竞争对手仍继续训练、发布或修改同等能力的系统。

Amodei 承认这一风险。他的方法呼吁民主国家政府之间开展合作，随后再努力让威权国家参与其中。

最容易达成的协议将禁止狭窄且明确危险的用途，例如协助制造生物武器。更具雄心的协议将要求对网络或生物能力进行共同的发布前测试。

最困难的版本将限制具备递归式自我改进能力的系统，也就是能实质性加速创造更强后继系统的系统。全面的全球暂停则会更加困难。

这一提议阶梯解释了为何支持者认为，放缓节奏不仅是一场公关活动。它试图将可立即实现的监督，与需要非同寻常国际信任的协议区分开来。

它也解释了为何竞争对手仍持谨慎态度。早期技术标准往往会成为日后法律要求的模板，即使最初承诺是自愿的。

设计首批标准的组织将获得对定义、证据和执行的影响力。在立法者正式进入这一流程前，这种影响力便可能转化为持久优势。

Anthropic 与 OpenAI 的安全推动可能筑起监管高墙

当合规成本的增长快于小型实验室的承受能力时，安全规则就会成为竞争壁垒。

Bloomberg 的报道分析聚焦于初创公司高管和行业观察人士发出的警告。他们担心的并非先进模型完全不需要安全保障。

他们质疑，现有大型实验室是否应当设计一套约束自身挑战者的体系。Anthropic、OpenAI 和 Google 拥有大量算力、专业研究人员、安全团队、律师以及政府关系。

规模较小的开发者资源则更为有限。它可能需要将工程师从模型研发中抽调出来，投入文档、评估、事件系统、网络安全控制和监管报告。

每项要求单独看都可能有充分理由。但合在一起，它们可能在公司训练或发布有竞争力的模型之前，就形成一笔可观的固定成本。

固定合规成本有利于大公司，因为这些支出可摊销至更多产品和客户。初创公司却必须以更窄的收入基础支撑同样的机构体系。

常驻评估人员就说明了这种取舍。持续访问可改善监督，但它需要安全工作空间、技术接口、法律协议，以及负责回应调查结果的员工。

实验室还必须在向评估人员提供有意义可见度的同时保护商业机密。成熟公司已经维持了适合这项任务的访问控制和合规职能。

独立测试也可能带来另一项瓶颈。如果只有少数评估组织获得官方认可，获得这些评估人员的机会就会成为稀缺基础设施。

大型实验室可以预留能力、参与设计测试，并针对已知方法提前准备。小型公司则可能需要等待更久，或承担相对更高的成本。

标准也可能有利于其制定者所采用的架构和开发实践。围绕封闭式、集中控制模型设计的要求，可能比开放权重开发者更适合 OpenAI 或 Anthropic。

开放权重模型允许外部组织下载或修改参数。与由单一提供商控制的托管服务相比，其分发带来了不同的执行与监测挑战。

围绕提供商持续控制而制定的规则，可能会无意中让这种模式处于不利地位。反之，对可下载权重的要求若过于宽松，也可能无法应对严重的滥用风险。

因此，竞争影响取决于监管设计。基于风险的框架可以将义务聚焦于实际能力、部署暴露程度以及已证实的危害。

按公司规模设定门槛会更简单，但准确性较低。一个小型实验室也可能构建危险模型，而一家大型公司则可能发布风险有限的狭窄系统。

算力门槛也存在类似问题。训练资源提供了可量化的代理指标，但算法改进能够在训练规模未按比例扩大的情况下产出更强的系统。

营收门槛同样会忽略那些在建立大型业务之前便已拥有强大模型的研究机构。没有任何单一指标能够清晰捕捉前沿风险。

Cohere CEO Aidan Gomez提出了最明确的公开质疑。他警告称，少数与商业利益高度一致的实验室不应在反垄断豁免的掩护下制定规则。

Cohere在企业级AI领域竞争，也代表了可能面临这些成本的独立实验室类型。其反对意见明确了主要的反对方。

这从根本上并非Anthropic与OpenAI之争，而是由既有企业主导的安全协调，与开放且竞争中立的规则制定之间的分歧。

这种区别很重要，因为Anthropic和OpenAI仍是激烈的商业竞争对手。它们可以在产品、政府合同和部署实践上存在分歧，同时共同倾向于较高的准入要求。

共同标准不需要秘密串通也可能有利于既有企业。只要它反映的是参与制定规则的组织的运营假设，就可能造成市场集中。

这种前景类似于监管俘获，即受监管实体对原本意在约束它们的规则获得过大的影响力。监管俘获可以通过技术专长发生，而不必存在明确腐败。

前沿实验室比大多数政府机构更了解自己的系统。因此，政府需要它们的知识，但过度依赖这些知识可能会缩小可接受政策选择的范围。

狭窄的反垄断豁免将加剧这一担忧。它必须清楚界定允许的活动，排除商业协调，并保留竞争主管机构的审查。

否则，安全讨论可能涉及发布时间、能力限制、访问条款，或对可接受竞争对手的共同定义。这些议题会直接影响市场结构。

可信的流程应包括较小的开发者、独立评估机构、学术研究人员、公民社会团体、客户和开源社区。参与必须包含决策权，而不只是征询意见。

公共机构也应拥有最终规则制定权。企业可以提供证据和提出方法，但应由民主机构决定哪些风险足以构成法律限制的理由。

更好的规则必须将能力风险与公司规模区分开来

最佳回应不是削弱安全监管，而是让义务依据已证实的风险，而非既有企业的商业模式。

中立的体系应从具体危害类别开始。这些类别可能包括高级网络攻击、生物领域协助、自主复制、规避控制以及大规模操纵。

监管机构和评估机构随后将界定可观察的能力门槛。每项门槛都应触发与之相称的测试、安全、报告或部署限制。

这种做法不同于将一小群公司宣布为永久性的前沿实验室。公司名单很快会过时，也可能保护既有企业免受新兴挑战者的竞争。

测试也应保持开放，接受独立审查。仅由领先供应商设计和解读的基准测试，可能沦为认证仪式，而非可靠的安全措施。

评估者需要技术能力、安全访问权限，以及免受财务依赖影响的保障。为审计付费的实验室不应控制负面发现是否公开。

完整公开披露并不总是恰当。公布敏感的模型漏洞可能会成为滥用指南。

然而，监管机构可以要求标准化摘要、重大事件报告，以及对缓解决策的说明。这些披露能让外部人士比较不同公司，同时不会暴露危险的运营细节。

该框架还必须区分研究与部署。涉及强大模型的受控实验，并不会像不受限制的工具访问那样带来同等的公共暴露风险。

与此同时，研究标签不应成为漏洞。即便尚未进行商业发布，一个被数千名外部测试者使用的系统，也可能产生类似部署的风险。

较小公司需要一条切实可行的合规路径。共享测试基础设施、政府支持的评估和标准化报告工具，能够降低固定成本。

公共评估能力尤为重要。没有它，市场可能会依赖由受评估实验室本身资助的私人评估机构。

美国已通过Center for AI Standards and Innovation——即原US AI Safety Institute——为这项工作打下基础。扩大公共专业能力能够减少对既有实验室的依赖。

规则应允许通过多种方式实现安全目标。规定性要求往往有利于那些现有流程启发了相关监管规定的公司。

基于结果的要求可以规定，开发者必须证明模型无法可靠地执行某项定义明确的危险任务。它会让开发者在实现该结果的方式上保有灵活性。

基于结果的规则仍需要谨慎执行。公司可能选择对自己有利的测试，或围绕狭窄基准进行设计，同时保留底层能力。

混合模式能提供更好的平衡。监管机构可以要求基础控制措施，同时允许以同等证据支持的替代方法。

开源开发者应得到专门对待，而不是被自动豁免或禁止。其发布支持研究、本地部署、定制化，以及与封闭平台竞争的替代方案。

但它们也可能让发布后的限制难以执行。一旦模型权重传播至不同司法辖区，原始开发者便无法撤回它们，也无法监控每一种使用方式。

按比例设定的框架可以同时评估能力与不可逆性。高度强大的可下载模型，与同一模型在受控访问条件下的风险状况不同。

这种差异应影响发布前所需的测试。它不应变成一条一刀切的规则，要求只有最大的托管服务提供商才能达标。

企业买家也扮演着角色。采购要求可以推动供应商采用事件报告、外部评估和有文档记录的部署控制措施。

然而，买家应询问认证是否衡量了相关风险。当底层测试仍然薄弱时，冗长的合规材料可能制造虚假的信心。

开发者与客户都应追踪部署后发生的情况。险些发生的事故、企图滥用、意外的工具行为和控制失效，可能比一份精心修饰的发布前报告揭示更多信息。

竞争利害关系也延伸至下游用户。如果监管只剩下少数获批提供商，企业将更容易受到价格变化、访问限制和产品决策的影响。

市场集中还可能减少技术多样性。多种架构和安全方法有助于发现某一主导框架忽视的故障。

因此，安全论点与竞争论点在最佳状态下相互强化。多元化的提供商需要可信的保障，而可信的保障也需要多元机构的审查。

错误的二选一是在不受限制的发展与由既有企业制定的规则之间做选择。公共、基于风险的标准提供了第三条路径。

政治联盟远未稳定

行业共识打开了政策窗口，但政治上的不信任使持久协议难以达成。

President Donald Trump拒绝了放缓美国AI发展的呼吁，认为这种克制会让中国受益。多位共和党高级人士也对监管和国家安全表达了类似担忧。

Vice President JD Vance将这些公司要求政府介入的诉求形容为类似特洛伊木马。这一评论反映了政府内部一些群体的疑虑。

David Sacks多次将行业支持的监管描述为潜在的监管俘获。他的批评是，既有实验室可能将商业保护包装为公共安全。

一些民主党人士同样不信任这些公司，但得出了不同结论。他们支持强制性的公共规则，而非高管之间的自愿协议。

这种不同寻常的反对并未形成简单的支持监管联盟。一方担心任何减速都会牺牲美国的领导地位；另一方则担心私人协调会保护主导企业。

这些公司本身也并不完全一致。Anthropic希望政府支持某些协调，而OpenAI表示，立即合作并不需要反垄断豁免。

Google DeepMind的领导者支持建立标准机构，但细节仍未解决。Meta和Nvidia总体上反对要求广泛放缓AI发展的论点。

国际参与更加不确定。仅限美国的协议将覆盖主要实验室，但无法约束中国或其他市场的开发者。

各国政府对于哪些风险应优先处理也存在分歧。一届政府可能关注灾难性滥用，另一届则强调歧视、隐私、劳动或市场集中。

任何全球协议都需要核查。各国需要确信参与者会披露重要训练运行、能力测试和严重事件。

当模型具有经济和军事价值时，这项任务将变得困难。政府有强烈动机隐瞒进展，或以策略性方式解读限制。

因此，主张放缓者使用的核武器类比并不完整。导弹和发射场地在物理上可被观察，而软件开发通常并非如此。

先进AI仍依赖芯片、数据中心、电力和专业人才。这些投入提供了可能的监测点，但并不能揭示每一项算法进展。

放缓协议还必须界定其目标。若在未明确可衡量安全里程碑的情况下放缓发展，暂时性克制可能演变为无限期的政治争论。

支持者需要说明，哪些条件将证明再次加速是合理的。可能的里程碑包括经过验证的遏制方法、可靠的事件报告或更强的国际核查。

没有这些标准，公司可能机会主义地解读进展。面临商业压力的实验室可能会在独立评估者尚未认同前，就宣称其保障措施已经充分。

相反的风险同样存在。当这些限制对正在逼近的竞争对手造成的阻碍大于对自身运营的影响时，既有企业可能支持继续实施限制。

在任何协调过程中，反垄断监管都必须保持活跃。安全豁免不应成为永久免受竞争法约束的保护。

政府机构应公布豁免的范围、参与组织、会议结构和禁止讨论的议题。独立观察者应能够评估讨论是否仍聚焦于安全。

该框架还需要设定到期日。是否续期应取决于已证明的效益，以及限制更少的替代方案仍不足以应对问题的证据。

这些保障措施无法消除不信任，但可以让这一安排更具问责性，也更容易受到质疑和挑战。

这场政治争议最终反映了两项同样正当的关切。行动过快可能造成严重的技术与社会伤害，而设计不当的限制措施则可能巩固私人权力。

将任何一项关切视为干扰因素，都会削弱最终的制度。缺乏竞争正当性的安全规则，将难以经受政治变化的考验。

忽视前沿风险的竞争政策则会面临相反的问题。一次严重事件可能引发仓促监管，其限制程度甚至超过当前的提案。

三个信号将表明监管高墙是否真实存在

下一阶段应通过制度设计、参与范围和可衡量的义务来评判，而非依赖高管背书。

第一个信号是拟议安全机构的结构。其成员构成和权限将揭示，它究竟是独立机构，还是由既有企业主导的论坛。

一个可信的组织应纳入规模较小的实验室、外部研究人员、公共利益代表和政府评估人员。其标准应接受有记录可查的审查。

一个以 Anthropic、OpenAI 和 Google 为核心的封闭团体，将强化“监管高墙”的论点。即使每位参与者都真诚表达安全关切，这一点仍然成立。

第二个信号是任何反垄断保护条款的措辞。一项范围狭窄的豁免应涵盖评估、事故信息共享以及定义明确的技术标准。

它应排除定价、客户分配、宽泛的发布安排和商业访问决策。监管机构应保留调查受保护范围之外行为的能力。

范围宽泛或无限期的豁免，将加剧市场被隔离保护的担忧。没有豁免、但具备透明技术合作的安排，则会削弱这种担忧。

第三个信号是立法者是否选择基于能力的门槛。与经测试风险挂钩的规则，可以覆盖危险系统，而不会自动偏袒知名公司。

主要与企业身份、资本支出或参与行业机构挂钩的要求，更值得怀疑。这些代理指标可能保护今天的领先者，却错过明天的风险。

读者还应关注实施成本。一项看似中立的标准，如果认证耗时过长或需要稀缺的私营评估人员，仍可能具有排他性。

Anthropic 和 OpenAI 推动安全措施值得认真关注，因为其背后的风险并非假想的抽象概念。开发者已报告控制失效、未经授权的行为，以及能力不断增强的网络活动。

然而，紧迫性并不能决定谁应当治理。企业不能一边要求竞争对手和公众接受闭门起草的规则，一边期待获得公众信任。

对开发者而言，结果将决定哪些模型能够被训练、测试、发布或修改。开源社区可能面临围绕集中式服务提供商设计的要求。

企业采购方或许能获得更完善的事故披露和更强的保障，但如果只有少数供应商能够通过合规流程，他们也可能失去供应商选择权。

知识工作者将通过访问权限、产品限制，以及敏感信息集中于更少平台等方式感受到后果。安全与市场多样性都会影响日常的 AI 使用。

近期的问题并非所有前沿开发是否停止。实际问题在于，外部评估能否在政治势头消退前真正落实。

独立评估人员必须获得足够的访问权限，才能质疑企业的主张。他们的发现必须影响部署决策，而不是在发布后以咨询说明的形式出现。

政府必须建立自身的技术能力，而不是将判断外包给正在接受审查的公司。小型开发者必须在标准固化前获得有意义的参与角色。

同样的原则也适用于任何在工作中评估 AI 主张的人。保留原始材料，将公司声明与独立证据进行比较，并记录结论如何随时间变化。

随着这场辩论的发展，请提出三个直接的问题：谁制定了标准，它要解决什么可衡量的风险，以及哪些具备能力的竞争者能够现实地遵守？

如果答案始终透明且广泛可及，协调一致的安全措施就能改善市场。如果答案仍然集中于少数人手中，安全框架也将成为一道监管高墙。