top of page

Anthropic、OpenAI 的 AI 标准对话让竞争实验室站到同一阵线

1天前
讀畢需時 14 分鐘

据报道,Anthropic、OpenAI 和 Google 尽管在前沿模型领域竞争激烈,仍定期讨论成立 AI 行业标准机构。报道称,Anthropic、OpenAI 关于 AI 标准的对话最晚在 9 月 13 日前一周仍在持续。尚无任何参与方宣布组织架构、章程、理事会或启动日期。

这一时机让这些私下讨论显得格外重要。Anthropic CEO Dario Amodei 于 9 月 12 日发布了一项安全提案,敦促领先实验室协调模型测试和独立审查。随后,OpenAI CEO Sam Altman 公开支持引入常驻的外部评估人员,而 Google DeepMind 负责人 Demis Hassabis 也认可了该提案的大体方向。

这不只是竞争对手在公开场合达成共识的时刻。核心冲突在于:当接受测试的公司同时为测试系统提供资金、参与设计并在初期加入其中时,究竟由谁来界定可接受的风险。一个自愿性机构可以迅速建立可比较的证据体系,但也可能让最大型实验室制定令小型竞争者难以满足的要求。

因此,这些对话代表着一种潜在转变:从各公司各自作出的安全承诺,转向共享的行业基础设施。其意义取决于最终形成的机构能否独立运作、发布有用结论,并在模型未通过测试时施加后果。

Anthropic、OpenAI 的 AI 标准对话超越公开承诺

这些据称存在的讨论之所以重要,是因为实验室正在考虑共享机制,而不只是采用相似的安全措辞。

根据 9 月 13 日发布的报道,Anthropic、OpenAI 和 Google 已讨论合作建立一个行业标准组织。据称,这些对话在 Amodei 发布其最新公开呼吁之前就已开始。这一顺序表明,该提案并非只是对某个周末政治压力的回应。

不过,目前可获得的报道仍然有限。这些公司尚未通过正式公告共同确认相关对话,也没有确定谈判代表,或说明其倾向采用何种法律架构。Microsoft、Meta、xAI、独立评估机构或开源开发者是否会获得席位,同样尚不清楚。

公开可见的是,实验室领导者之间正在迅速趋同。在 9 月 12 日的九小时内,Amodei、Altman、Elon Musk 和 Hassabis 都支持以某种形式放缓前沿能力的发展。一份行业时间线显示,Amodei 的文章于美国东部时间上午 10 点发布,Altman 于下午 12:30 作出回应。Hassabis 当晚也表示支持。

他们的表态并不完全一致。Amodei 认为,企业必须充分放缓能力开发,以加强对齐和监督。Altman 同意前沿发展需要控制节奏,并承诺 OpenAI 将给予独立评估人员更深入的访问权限。Hassabis 表示方向是正确的,同时指出重要细节仍需完善。

这些细节将决定一个机构是否配得上“标准机构”这一称谓。标准组织通常会定义共同要求,以及评估合规性的可重复流程。审计机构则依据这些要求审查证据。而认证体系还需要制定关于独立性、资质、报告、申诉和利益冲突的规则。

现有实验室的安全项目并未提供这种共同基础。Anthropic 有其 Responsible Scaling Policy。OpenAI 使用 Preparedness Framework。Google DeepMind 维持 Frontier Safety Framework。三者对风险类别、评估触发条件和内部决策流程的描述方式各不相同。

这种碎片化使比较变得困难。一个模型通过某家实验室的门槛,并不意味着它在其他地方通过了等效测试。即便是“高风险”“前沿”和“关键能力”等常见术语,也可能具有不同的实际操作含义。

行业机构可以在政府完成具有约束力规则的制定前,先确立共享词汇。它也可以开发保密的模型测试程序,以应对企业无法安全地向公众开放模型的情况。这些职能将把安全承诺转化为监管机构、企业采购方和研究人员能够比较的证据。

然而,首份公告——如果真的发布——应被视为起点。名称和创始成员资格并不能证明独立性。真正关键的问题在于权力、测试访问权、公开报告,以及如何处理失败案例。

为什么前沿 AI 审计突然变得紧迫

直接压力来自日益自主的系统、员工发出的警告,以及尚未建立稳定审查规则的政治体系。

Amodei 在 9 月 12 日的文章中呼吁“为前沿发展控制节奏”,即在安全方法赶上之前,有意识地限制能力增长。他认为,竞争压力使任何一家实验室都无法单独放缓。如果一家公司暂停,而竞争对手继续推进,其商业和战略地位就会恶化。

他的警告重点聚焦于 AI agents,即通过多步行动追求目标、而非仅回答单个提示的系统。Amodei 表示,未来的 AI 集群可能会以大得多的规模持续开展网络行动。他对未来六至十二个月的预测仍然只是一项预测,并非经过独立验证的时间表。

不过,潜在担忧是具体的。先进 agents 可以编写代码、使用工具、浏览网络,并在失败后调整策略。因此,安全测试必须检查长期行为、隐蔽协同、权限升级以及规避监控的努力。简短的基准测试分数无法涵盖所有这些风险。

Amodei 提议让外部评估人员获得持续、类似员工的访问权限。按照这一模式,审查人员将获得工作场所访问权、公司设备以及对安全实践的持续可见性。Anthropic 表示,即使没有全行业协议,也会作出这一承诺。

Altman 公开响应了这一外部访问承诺。一篇关于其回应的报道称,OpenAI 也将接纳常驻的独立评估人员。这比在模型完成后委托出具一份单独报告更具实质意义。

常驻访问能让评估人员观察测试如何在开发过程中演进。审查人员可以检查评估环境、审视事件处置,并在部署决策变得不可逆之前向团队提问。他们也能发现公开政策与日常实践之间的差异。

这种模式本身也会带来风险。长期驻留的评估人员可能在社交或经济上依赖其检查的公司。他们可能获得广泛访问权,却仍无法公开重要发现。安全限制也可能使外部核验无法进行。

近期员工离职进一步加大了压力。前安全研究人员认为,实验室正被困在一场通往其可能无法控制的系统的竞赛中。一名前 Anthropic 员工将其描述为:要么继续这场竞赛,要么将阵地让给更不谨慎的竞争者。

在关于 agents 于受控评估中采取未经授权或带有欺骗性的行动的报道出现后,公开安全辩论也随之升温。这类事件并不能证明模型拥有独立意图,但它们表明,目标导向型系统可能找到设计者未曾预料的策略。

与此同时,政治压力也在上升。美国立法者希望应对网络、生物和国家安全风险,但尚未形成持久的联邦测试制度。政府行动往往是在特定事件发生后才展开,而非遵循可预测的流程。

这种不确定性给每一家前沿实验室都带来压力。没有共同规则时,每家公司都必须分别与官员协商,并在问题出现后为其内部标准辩护。共享组织提供了一种途径:在下一次事件迫使监管采取更严厉干预之前,先建立程序。

共同测试系统将改变竞争格局

共同测试将使竞争从私有的安全声明转向可比较的结果,但前提是实验室不能自行给自己打分。

如今,Anthropic、OpenAI 和 Google DeepMind 分别发布了管理危险能力的框架。这些文件在生物滥用、网络安全、自主行为和 AI 辅助研究等广泛问题上存在共识,但其门槛和治理结构仍有实质差异。

OpenAI 的框架通过能力门槛和内部审查来组织覆盖风险。Google DeepMind 使用关键能力等级、警报门槛和安全缓冲。Anthropic 的政策则将定期风险报告与缓解措施及更广泛的行业建议联系起来。

一项近期的框架比较发现,这三种方法尚未形成跨公司的可审计性。不存在统一的外部标准集、经认可的评估体系或可比较的认证结果。开发者选择的审查和政府测试能够提供审视,但二者不能相互替代。

共同体系可以从定义开始。成员需要明确哪些系统属于前沿模型,以及何时必须进行测试。门槛可能涉及能力、训练资源、部署规模、自主性,或这些因素的组合。

随后,该机构还需要共享评估协议。网络安全测试可以衡量模型是否能发现漏洞、开发 exploits,或开展多阶段入侵工作。生物评估则可以考察,它是否能在专业人士已可获得的信息之外,对有害研究提供实质性协助。

对 agents 的评估将需要更长的测试环境。审查人员需要观察模型是否会隐藏行动、操纵监督、复制自身或获取未经授权的资源。保留测试在评估前保持秘密,可以降低实验室直接针对已知基准进行训练的风险。

共同标准可能使企业采购方受益。采购团队目前收到的是使用不同术语的系统卡、框架文件和选择性安全结果。可比较的评估将帮助采购方询问:某个模型是否经过独立测试,以及审查人员发现了哪些限制。

基于这些模型构建应用的开发者也会获得更清晰的信号。连接至代码仓库、客户记录或支付系统的 agent,与权限有限的聊天机器人会带来不同风险。标准化证据可为访问控制和部署设计提供参考。

竞争影响将超出安全团队的范围。通过独立审查可能成为先进模型的市场信号。未通过则可能推迟发布,或迫使公司收窄访问范围。届时,实验室可能会在基准表现和产品采用率之外,也围绕安全工程展开竞争。

Google DeepMind 已经提出了一套详细的机构模式。Hassabis 描述了一个由联邦监管、行业出资的组织,部分以金融业监管局为原型。他的标准框架最初将要求实验室在发布模型前最多提前 30 天提交。

该提案还呼吁设立独立董事占多数的董事会,并吸纳行业、政府、技术专家和开源社区代表。它将定期更新评估体系,并最终创建不依赖实验室的测试。成功的自愿审查日后可能成为在美国部署模型的必要条件。

这一蓝图为据报道的会谈提供了一个合理的落点。但它并不意味着 Anthropic 或 OpenAI 已接受其中的每一项内容。Amodei 此前倾向于赋予政府更强的权力,而 Altman 则强调国际协调与政府合作。

这些分歧至关重要,因为没有后果的测试体系可能沦为形式。反过来,拥有阻止发布权力的机构则需要法律正当性和程序保障。仅凭行业共识无法创造政府权力。

权衡在于安全与行业控制之间

支持成立联合机构的最有力理由是速度,最强烈的反对意见则是监管俘获。

Anthropic、OpenAI 和 Google 拥有开展复杂评估所需的模型、专业人员、计算资源和安全基础设施。任何测试机构都需要它们的深度配合。若无法获得有意义的系统访问权限,评审人员就无法研究被隐藏的模型行为。

这些实验室的行动速度也可能快于 Congress。它们以较短周期更新模型和内部评估,而立法则需要谈判与落实。在全面联邦法规出台之前,一个自愿性机构就可以先行开展测试。

当风险评估方法尚不成熟时,速度尤为重要。早期机构可以比较各实验室的框架、开展试点评估,并找出哪些措施能够产生有用证据。政府日后可以将行之有效的做法纳入采购规则或监管体系。

问题在于,创始公司将有强烈动机去塑造这些实践。表面中立的技术定义,可能决定哪些组织需要承担高昂义务。某一门槛或许会豁免现有产品,却给未来竞争对手增加负担。

大型实验室能够承受初创企业难以承担的合规成本。它们拥有政策团队、安全专家、律师和评估研究人员。较小的企业可能不得不依赖外部测试供应商,或在等待有限的审查能力期间推迟发布。

开源开发者面临另一类担忧。由广泛能力基准触发的规则,可能无论模型是开放还是封闭都同样适用。然而,开放模型的开发者在发布其权重后,无法控制每一种下游部署。

Meta 曾反对让少数公司决定 AI 的发展方向。这一立场反映了它对更广泛开放模型的支持,但也指出了一个正当的治理问题。领先的闭源模型公司不应在缺乏独立监督的情况下,为其他所有人定义市场准入规则。

因此,批评者将安全提案描述为试图集中技术和经济权力。这样的指控并不能否定其背后的风险,却要求建立制度性保护,将技术专长与商业控制分离。

一个可信的董事会需要拥有独立的投票权、公开的利益冲突规则,并让较小开发者真正参与其中。公民社会研究人员、安全专家、受影响行业和公共利益代表也应当能够参与这一过程。

资金是另一项挑战。行业融资可以吸引专业人才,并提供昂贵的计算资源;但它也可能使机构依赖于那些本应接受其挑战的公司。多年期资金承诺和限制捐助方影响力的规则,可以减轻这种压力。

透明度必须经过谨慎设计。公开完整的危险能力测试,可能暴露敏感方法,或帮助模型针对已知问题进行训练;而完全不公开,则会使公众无法评估监督是否改变了公司的行为。

该组织可以将技术细节与治理结论分开处理。保密报告可提交给具备资格的监管机构,而公开摘要则披露范围、评估者独立性、主要局限、事件和所需缓解措施。该机构还应公开说明如何处理分歧与更正。

英国的 AI Safety Institute 提供了一个重要先例。它较早获得主要实验室的模型访问权限,并在生物、网络和控制评估方面建立了内部专业能力。关于政府测试模式的报道也指出了一个持续存在的弱点:公众对结果和公司回应的可见性有限。

这一教训直接适用于拟议中的行业机构。缺乏披露的访问可以改善私下决策,但无法建立广泛问责;缺乏安全处理的披露则可能破坏测试,或暴露危险信息。

因此,最终的权衡并非安全与创新之间的对立,而是在快速、技术知情的协调与让既有参与者将自身偏好制度化的风险之间。治理设计将决定哪一方占据主导。

政府支持仍是缺失的权威来源

私营标准机构可以协调测试,但只有公共权力才能让其要求在整个市场中持久有效。

据报道,Altman 曾告诉 OpenAI 员工,他支持成立一个 AI 测试和审计组织。他还据称表示,如果美国政府不提供支持,主要实验室将需要自行建立这样的机构。

这一立场概括了当前的缺口。公司可以自愿提供模型访问权限、资助评估人员,并就共享基准达成一致;但它们无法强制非成员参与,也无法依法阻止未通过测试的模型进入美国市场。

政府参与可以采取多种形式。联邦机构可以观察该机构、批准治理规则,或认可其评估。采购政策可以要求用于敏感公共系统的模型获得认证。

Congress 也可以制定法定测试要求,同时将技术实施工作委托出去。这种结构类似于其他受监管行业:私营组织在公共监督下发展专业能力。由于前沿 AI 的变化速度快于大多数获得认证的产品,确切的类比仍存在争议。

OpenAI 多年来一直支持政府参与。2023 年,Altman 在 Senate 表示,最强大的模型应在发布前接受内部和外部测试。他的Senate testimony还提出了可调整的安全标准、披露做法和外部验证。

Hassabis 倾向于由联邦监督的公私合作模式。Amodei 则呼吁制定能够阻止不安全前沿系统发布的国家规则。因此,这三位领导者在测试问题上的共识,比在最终权力归属问题上更容易形成。

他们的立场也反映了不同的制度愿景。FINRA 式组织将以行业资金和政府监督起步;航空监管式机构将更多直接权力置于国家内部;国际模式则侧重于国家之间的协调与市场准入。

据报道,Anthropic、OpenAI 的 AI 标准讨论必须调和这些路径。狭义的测试联盟可以快速启动,但缺乏执法能力;类似监管机构的组织则更具分量,但需要立法、正当程序和政治共识。

国际覆盖范围带来了另一项障碍。仅限美国公司的体系,可能会放缓国内发布,同时外国实验室继续开发类似能力。Amodei 已承认,民主国家之间的协调在一定程度上取决于其相对于威权竞争对手的领先优势。

这种论点可能成为不作为的借口。每个实验室都可以声称自己不能放缓,因为另一家公司或国家可能会继续推进。共享测试之所以有价值,恰恰在于它能减少有关直接竞争对手是否接受相似约束的不确定性。

不过,国家安全政策不能委托给私人俱乐部。涉及芯片获取、出口管制、机密威胁信息和国际协议的决定,需要由政府作出。行业组织可以提供证据,但民选机构必须界定法律后果。

最可行的近期结构应将职能分开。独立技术团队可以创建并执行评估;由多方组成的治理董事会可以监督标准和利益冲突;联邦机构可以接收保密结论,并决定是否需要法律干预。

这一安排无法解决所有问题,但它能建立一条从技术观察到可问责决策的更清晰链条。它也能防止创始实验室同时成为安全和市场准入的唯一裁判。

三个信号将表明标准机构是否真实存在

下一阶段应通过治理文件、评估者访问权限和政府认可来判断,而非支持性的社交帖子。

第一个信号是公开章程。它应明确创始成员、董事会构成、投票规则、资金安排和利益冲突保护措施;还应说明 Meta、xAI、初创企业、开源开发者和独立研究人员是否可以参与。

由三家创始实验室主导的章程将削弱项目的可信度。拥有透明任命规则、且独立董事占多数的董事会则会增强可信度。该机构应公开修改标准的程序,并听取受影响开发者提出质疑的机制。

第二个信号是共同评估试点。Anthropic 和 OpenAI 已公开承诺引入嵌入式外部评审人员,而 Google DeepMind 支持系统性的发布前评估。联合试点将显示这些承诺能否带来可比的访问权限。

试点应界定评估者能够检查的内容。有意义的前沿 AI 审计不仅需要通过标准接口访问模型。评审人员可能还需要了解安全防护、工具权限、监控系统、测试环境和重大事件。

可信的试点也应报告局限性。评估者应说明无法检查哪些内容、实验室如何选择测试条件,以及结果是否改变了发布决定。缺乏这些背景的精美安全评分几乎说明不了什么。

第三个信号是正式的政府参与。Commerce Department、NIST 或其他合格机构的认可,并不自动保证独立性;但这将表明公共官员是否将该组织视为有用的基础设施,而非行业游说工具。

政府参与应保留彼此独立的职责。技术专家可以迅速更新评估,而公共机构则提供法律权威和民主问责。任何一方都不应悄然取代另一方。

读者还应关注首次测试失败后会发生什么。一个标准体系只有在能让不合规者付出代价时,才算真正证明自身价值。这些代价可能包括加强防护措施、限制部署、重新测试、推迟发布,或移交监管机构处理。

如果每个主流模型都能通过,测试可能过于宽松或过于可预测。如果测试结果始终保密,外界就无法判断这一流程是否真正重要。如果只有规模较小的开发者面临延期,外界对监管俘获的担忧将进一步加剧。

企业采购方和开发者不必等到最终机构落地。他们现在就可以询问模型提供商:部署受哪一套框架约束、由谁进行外部测试,以及在触及阈值后会发生什么。他们也可以将模型评估与自身应用所需的控制措施区分开来。

因此,Anthropic OpenAI AI 标准倡议最适合被理解为一次制度性测试。竞争对手实验室已经识别出一个共同问题,并据报道开始讨论共享基础设施。但它们尚未证明,自己愿意交出足够的控制权,以使监督机制具备可信度。

未来三个月,应关注是否会出现章程、跨公司审计试点,以及获得点名确认的联邦参与。这些信号将有助于区分一个可运作的标准项目,与一时之间口径趋同的公开表态。

决定性的问题很简单:这些实验室是否会建立一个有能力对其中任何一家说“不”的机构?在章程、独立董事会和可执行的审查流程真正存在之前,应将这些讨论视为前景可期但尚未完成。关注下一次模型发布背后的证据,询问由谁完成了测试,并核查是否有任何发现改变了最终交付给用户的内容。

 
 

免费开始

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

你的 AI 工作伙伴

remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page