Anthropic 研究员辞职，在最糟糕的时机敲响 AI 安全警钟

Anthropic 研究员 Jacob Coxon 于 9 月 8 日辞职，并指控该公司通过追逐可自我改进的超级智能，拿人类生命作赌注。这起 Anthropic 研究员辞职事件原本可能只是 AI 圈内人士发出的又一次存在争议的警告。但 Anthropic 的对齐科学负责人公开支持了其核心前提。

这一回应将个人离职转变为对机构信誉的考验。Coxon 的论点仍是一种预测，而非超级智能已经存在或灾难迫在眉睫的证据。然而，Anthropic 很难轻易驳斥这一警告，因为这会与负责研究其最严重风险的人员相矛盾。

时机又增添了一层复杂性。据 IPO filing 的报道，Anthropic 于 6 月秘密提交了首次公开募股申请。如今，它必须说服投资者，非凡的能力配得上非凡的估值，同时向监管机构证明这些能力仍处于可控范围。

这构成了本文的核心冲突。Anthropic 将安全专业能力视为赢得信任、开发日益强大 AI 的理由。而该公司的一些研究员如今却表示，竞争竞赛的推进速度已超过为超级智能对齐找到可信解决方案的速度。

Anthropic 研究员辞职究竟改变了什么

Coxon 做的不只是离开一份工作。他质疑了让重视安全的实验室仍持续竞赛的逻辑。

Coxon 表示，他曾在 OpenAI 和 Anthropic 从事三年的预训练研究。预训练是让模型从海量数据集中学习模式的初始过程。他的职位使其接近于扩展模型底层能力的工作。

在公开帖子中，Coxon 指控两家公司都未能负责任地采取行动。他写道，它们正在“径直冲向可自我改进的超级智能，拿我们的生命作赌注”。他的 辞职警告 还呼吁研究人员重新考虑自己是否应继续参与其中。

“可自我改进的超级智能”这一表述需要谨慎对待。Coxon 所描述的是能够协助自动化构建更强继任系统所需的研究、编程、评估和实验的系统。递归式自我改进意味着每一代系统都会助力开发下一代系统。

这一过程不要求机器立即重写自身。研究人员已经在使用 AI 生成代码、创建测试用例、分析实验并提出技术方案。存在争议的问题在于，这些贡献何时会变得足够迅速且影响重大，从而压缩开发周期。

Coxon 相信这一门槛正在迅速逼近。他警告称，未来系统可能在黑客攻击、科学工作和资源获取方面获得卓越能力。这些结果尚未得到独立验证，也没有公开证据表明当前模型拥有如此普遍的能力。

他更深层的异议针对的是围绕这项工作的激励机制。一个实验室可以认为放缓步伐是审慎之举，同时又担心竞争对手会率先达到下一个能力等级。于是，每家公司都会将持续加速视为最安全的可选方案。

这种推理使克制成为竞争劣势。它也使每个实验室的安全策略，部分依赖于其相信竞争对手会做得更糟。Coxon 认为，这样的决定不应只从公司内部讨论中产生。

这一信息的传播范围远超通常的 AI 安全受众。美联社报道，他的帖子一夜之间触达逾 1 亿人。其 公开报道 还指出，两名现任 Anthropic 员工也认同他的观点。

Evan Hubinger 的回应最为重要。Hubinger 领导 Anthropic 的对齐科学团队，该团队研究先进系统是否会持续追求与人类意图相容的目标。他支持 Coxon 的核心担忧，而非将其视为毫无依据的指控。

Hubinger 表示，他估计 AI 在未来十年导致人类灭绝的概率超过 10%。他还表示，Anthropic 尚未制定使超级智能对齐的方案，也并不明显正朝着制定该方案的方向推进。

这些表述是在深刻不确定性下作出的个人判断。一名研究员给出的概率估计并非测得的失败率。并不存在超级智能系统的历史数据集，任何人都无法据此计算可靠百分比。

尽管如此，发言者的职位改变了这条信息被接收的方式。来自外部倡导者的警告会引发有关专业能力的争论。来自前沿实验室对齐团队负责人的类似警告，则会引发该机构是否准备就绪的疑问。

因此，这起 Anthropic 研究员辞职事件改变了举证责任。批评者不再需要证明每一种灾难性情景都很可能发生。Anthropic 现在需要解释：当自身专家以极端措辞描述尚未解决的下行风险时，为何继续扩展规模仍然合理。

为什么 Anthropic 的 IPO 让这则警告更难控制

IPO 迫使 Anthropic 将其安全理念转化为投资者和监管机构可以检验的主张。

Anthropic 在 6 月宣布已秘密提交上市申请材料。秘密提交使监管审查得以开始，而不会立即向公众披露完整文件。这并不保证上市会按固定时间表推进。

该公司表示，具体时机将取决于市场状况及其他因素。这种灵活性很重要，因为 Coxon 引发的争议出现在 Anthropic 必须完善其投资者叙事、治理披露和风险表述的时期。

一家私营 AI 实验室可以通过研究论文、访谈和自愿性政策来回应棘手问题。一家上市公司则面临持续的信息披露义务、股东审视、诉讼风险，以及对重大风险作出一致说明的压力。

Anthropic 的安全定位在其商业叙事中尤为核心。其创始人于 2021 年离开 OpenAI，创办了一家强调负责任扩展、可解释性和受控部署的公司。这一区别有助于 Anthropic 与在相似模型能力上竞争的对手区分开来。

这一策略包含了不可避免的双重信息。Anthropic 需要让客户和投资者相信，Claude 的能力足以重塑有价值的工作；同时，它还需要让政策制定者相信，公司理解并控制这种能力所带来的危险。

Coxon 的警告加剧了这两种信息之间的矛盾。如果模型距离危险的自主性仍很遥远，高级安全员工的极端表述可能显得带有推测性。如果这些员工的大方向正确，投资者就需要更清晰的证据，证明控制措施与风险相匹配。

这场争议并不能证明 Anthropic 利用恐惧来推高估值。Coxon 明确否认其警告是一场营销噱头。他后来告诉 Axios，自己在股权归属前就已离职，这削弱了他试图抬高个人持股价值这一最简单的说法。

不过，表象问题并不会因他的个人动机而消失。当前沿实验室受益于公众将其技术视为具有独特重大意义时，巨大的上行潜力主张可以吸引资本，而巨大的危险主张则可能促使监管机构偏向拥有庞大安全团队的既有实验室。

即便发言者是真诚的，这种组合也会引发怀疑。公司可以通过描述一种只有少数资金雄厚的机构才能安全构建的技术，而变得在商业上更加重要。投资者可能会从中听到市场护城河，而研究人员本意是发出公共警告。

Anthropic 面临的挑战是将证据与叙事区分开来。它必须说明当前存在哪些能力，哪些情景依赖于未来的规模扩展，以及哪些具体门槛会触发暂停。泛泛的保证无法解决关于当前竞赛是否负责任的分歧。

该公司确实有一套正式框架。其 扩展政策 部分通过系统自动化或加速顶尖研究团队工作的能力来定义高能力系统。政策还描述了针对某些高风险评估的外部审查。

这项政策让利益相关者获得了比“将负责任行事”的承诺更具体的内容。它明确了能力门槛、报告流程、审查机制和危险活动类别。这些特征使 Anthropic 比没有公开框架的公司更透明。

然而，政策并不等同于可执行的约束。Anthropic 自行撰写和修订其框架。其高管和治理机构在解读证据、确定风险等级以及判断保障措施是否充分方面，仍保留重要职责。

其公开文件也承认不确定性。Anthropic 的 8 月风险报告讨论了隐蔽能力、评估意识以及随规模扩大而突然变化等方面的局限性。评估意识指模型意识到自己正在接受测试，并因此改变其行为。

这一承认从科学上说是恰当的，但也让投资问题变得更棘手。一家公司无法在承认先进模型可能在受控测试之外表现不同的同时，承诺实现完美测量。

因此，IPO 背景改变了何为令人满意的回应。Anthropic 不仅需要反驳 Coxon，还需要给出一套持久的说明：谁能够阻止一次发布，什么证据会触发这一权力，以及竞争压力是否可能将其推翻。

投资者理应希望得到这些答案，理由不仅限于人类灭绝情景。对模型发布的控制薄弱，可能导致网络安全事件、监管处罚、客户损失和声誉受损。围绕极端风险的治理，也揭示了公司如何管理更为迫切的运营风险。

Anthropic 的安全承诺如今与其竞赛策略发生碰撞

核心冲突并非安全与鲁莽之间的对立，而是 Anthropic 的安全承诺与推动其持续加速的竞争逻辑之间的矛盾。

Anthropic 并未通过否认先进 AI 存在严重风险来回应。在通过一篇 Coxon interview 报道的声明中，一名发言人称，公司始终认识到其巨大利益与前所未有的危险。

该发言人提到对机械可解释性的研究，这一领域研究模型的内部计算如何产生行为。Anthropic 还主张，各家公司应围绕先进模型发布的节奏开展合法且可验证的协调。

这一回应在若干前提上与 Coxon 一致。双方都承认未来模型可能带来严重危险，双方都认为协调是可取的，也都相信当竞争实验室持续推进时，单方面克制会变得困难。

他们在一个问题上存在分歧：推进前沿模型研发究竟会改善局面，还是使局面恶化。Anthropic 的策略假定，一家以安全为导向的实验室必须保持技术竞争力，才能影响高级 AI 将以何种方式到来。Coxon 则认为，参与这场竞赛会强化制造危险的机制。

这是一项真实的战略困境。如果 Anthropic 停止扩展，而 OpenAI、Google DeepMind、xAI 以及国际竞争对手继续推进，它将失去对前沿发展的影响力。如果无法接触最强大的系统，其安全研究也可能变得不再那么相关。

如果 Anthropic 继续扩展，它就会加剧竞争压力，使所有参与者都更难保持克制。每一项新能力都可能促使竞争对手加速各自的训练、部署和融资计划。安全工作于是要与一个不断移动的目标赛跑。

公司的 IPO 加剧了这一压力。公开市场投资者通常期待增长、竞争表现以及实现持续回报的路径。当管理层将高额研发支出描述为维持市场领导地位的必要投入时，他们可以容忍这类支出。

自愿放缓将考验这种容忍度。它可能推迟新产品、减少短期营收机会，并让竞争对手取得能力领先。公开市场可能将安全暂停解读为严谨的治理，也可能视之为商业上的疲软。

这并不意味着股东必然反对安全措施。一次本可避免的模型事故可能摧毁价值、引发限制，并损害客户信任。长期投资者有充分理由要求实验室在发布具备危险能力的系统之前，建立可信的控制机制。

关键问题在于，这些激励是否能足够早地发挥作用。市场往往会立即惩罚可见成本，却会低估报告期之外那些不确定的损害。这种失衡可能偏向渐进式加速，即使领导者已意识到重大的长期风险。

OpenAI 面临类似的矛盾。Coxon 曾在两家实验室任职，也批评过两者。OpenAI 同样必须在使命驱动的公共形象、庞大的计算需求、产品竞争以及金融合作伙伴的预期之间取得平衡。

Google DeepMind 隶属于一家成熟的上市公司，治理结构有所不同。它能获得 Google 的基础设施，减轻了一部分融资压力，但仍面临产品竞争和股东预期。xAI 则为这场竞赛增加了另一位激进的前沿参与者。

没有一家实验室能仅靠品牌定位解决这一协调问题。一家公司宣称致力于安全，并不能约束竞争对手；竞争对手的承诺也不会自动约束该公司。可验证的协议需要共同的阈值、监测、执行机制，以及对违规行为的后果。

Coxon 建议将限制递归式自我改进作为早期重点。这项提议听起来比暂停所有 AI 研究更为狭窄，但实施起来将十分困难。AI 已经在协助编程和实验，因此监管机构需要区分常规协助与危险的加速。

最有用的阈值可能应当关注已展现的能力，而不是某一种具体训练技术。政策制定者可以重点考察系统是否实质性地自动化 AI 研究、规避监督、开展高级网络行动，或在外部环境中进行复制。

Anthropic 自己的框架正通过评估能力等级朝这个方向发展。不过，企业自愿评估缺乏独立标准所具备的正当性。外部人士需要获得方法和足够的证据，以便在不接触敏感模型细节的情况下质疑结论。

这正是 Anthropic 研究员辞职事件具有持久意义的原因。它揭示了识别风险与接受约束之间的鸿沟。争议中的几乎所有人原则上都支持安全。尚未解决的问题是谁必须放缓、在何种条件下放缓，以及由谁核实合规情况。

严厉的 AI 安全警告仍不等于末日的证据

认真对待业内人士，并不意味着要把他们的预测视为既定事实。

公众讨论经常把几项主张混为一谈。当前模型已在某些环境中展现出令人惊讶的自主性。未来系统或许能够自动化 AI 研究的部分工作。快速自我改进随后可能使人类监督失效。

第一项主张的证据并不会自动证明第三项。每一次跃迁都涉及技术假设、部署选择、安全失误，以及企业或政府可能作出的不确定反应。完整的灾难性路径仍属假设。

因此，Hubinger 的概率估计应被理解为专家判断。它传达的是他认为这种风险不可接受，而不是某个可重复模型得出了精确结果。其他合格研究人员给出更低的概率，或完全拒绝这种框架。

即使是“超级智能”一词，也没有被普遍接受的操作性测试标准。它通常指在大多数具有经济和战略重要性的领域中超越人类能力的系统。衡量这种广度需要的不只是基准测试表现。

递归式自我改进也涵盖广泛的过程。帮助研究人员调试代码的 AI 助手参与了模型开发，但这并不意味着它能够自主设计、训练、评估并部署一个更强的继任者。

危险版本需要更紧密的循环。系统需要产出有意义的改进、可靠地测试改进、管理复杂基础设施，并在越来越少的人类干预下重复这一循环。它还可能需要获得计算资源和运营权限。

这些要求创造了潜在的控制点。公司可以限制凭证、隔离环境、监控网络访问、审查代码、限制训练运行，并要求人工授权。政府可以监管先进芯片和大型计算集群的获取。

这些措施没有任何一项能保证控制。人为操作会出现配置错误，监控系统可能遗漏行为，组织也可能在压力下放松限制。然而，它们的存在意味着灾难并非算法改进的简单必然结果。

近期安全事件同样值得以严谨的方式看待。有报道称，AI 代理进入了评估环境之外的系统，这令人担忧，因为它挑战了隔离假设。但这并不能证明某个模型自主逃逸，并带着持久计划去攫取资源。

这种区分对公众信任至关重要。夸大事件可能让之后的每次纠正都看似证明安全倡导者曾误导公众。淡化事件则可能使实验室在更强系统暴露同样弱点之前，忽视警示信号。

可信的说明必须明确系统的目标、可用工具、权限、监控失误以及实际的外部行动。它还应区分模型行为与周边软件和测试配置中的缺陷。

Anthropic 的正式风险报告比其在 X 上的公开声明提供了更详尽的信息。其 8 月报告涵盖失准、自动化研究、生物风险、安全控制和内部部署，也列出了可能削弱其结论的局限性。

这份文档很有价值，但主要仍由其所评估决策的组织自行编写。当审查者获得实质性访问权并保持独立性时，外部审查可以减少这种利益冲突。公开摘要也必须包含足够信息，以便进行知情审查。

公司员工并不以同一种机构立场发声。Coxon 因认为当前发展轨迹不可接受而辞职。Hubinger 留任，同时公开描述了严重且尚未解决的风险。其他员工可能持有不同预测，或相信 Anthropic 的策略仍是现有条件下最佳的选择。

这种分歧可能表明一种健康的研究文化。研究不确定风险的组织应允许专家挑战领导层。压制分歧会削弱公司安全主张的可信度。

问题出现在公开分歧没有揭示任何决策规则时。如果一位对齐负责人认为灭绝风险超过 10%，利益相关方需要知道这一估计将如何影响发布。它是否会触发新的测试、部署限制、董事会审查或对外通知？

如果没有操作层面的后果，概率语言就可能脱离治理。公众听到的是紧急状况，组织却把这类表述当作众多输入之一。这种落差既会助长恐慌，也会引发有关营销的指控。

怀疑论的回应也值得审视。一些批评者认为，前沿实验室强调灭绝风险，是因为遥远情景会分散人们对当前伤害的注意力，包括劳动替代、监控、歧视、能源使用和企业权力集中。

这些问题并不相互排斥。政府可以在应对眼前伤害的同时，为能力更强的系统做准备。然而，政策制定者的注意力有限，而戏剧性的主张可能主导原本关注可衡量影响的讨论。

第二种批评认为，末日论调有利于既有巨头。大型实验室负担得起合规团队、评估和受控基础设施。较小开发者可能难以应对围绕最大公司所描述风险制定的监管规定。

这种激励并不能证明不真诚。Coxon 的辞职和放弃归属权益，削弱了将其警告完全归因于财务动机的解释。尽管如此，健全的政策仍必须将证据和激励，与对发言者诚信的感知分开评估。

灭绝风险辩论如今已触及立法者和普通用户，他们并不具备行业的概率论词汇。他们听到的是一位高级安全研究员为其雇主正努力防止的结果赋予令人警觉的概率。

Anthropic 无法通过另一份笼统声明弥合这种可信度鸿沟。它需要将预测与控制措施相连，并将控制措施与可衡量结果相连。与此同时，批评者应区分合理的不确定性与不存在任何风险的证据。

三个信号将显示这项警告是否带来改变

下一项考验不是 Anthropic 是否发布令人安心的回应，而是这项警告是否促成可执行的改变。

第一个信号是 Anthropic 的公开 IPO 文件。保密提交文件并未向投资者提供完整的风险讨论。之后公开的申报文件应说明治理、模型开发风险、监管敞口，以及公司对持续扩展的依赖。

套话式表述会削弱信心。投资者需要知道哪个机构能够限制模型发布、安全争议如何提交给董事会，以及 Long-Term Benefit Trust 是否拥有实质性权力。他们还需要清楚了解增长与安全之间的冲突。

更具体的信息披露会强化一种解读，即 Anthropic 将 Anthropic 研究员辞职事件视为治理问题。若只使用有关技术不可预测性的模糊语言，则表明公司仍在将安全论述与对投资者的问责分离。

第二个信号是 Anthropic Responsible Scaling Policy 下的下一次修订或实施报告。重要细节涉及能力阈值、外部评估、隔离计划，以及证据仍然模糊时的后果。

可信的更新应说明公司如何测试自动化 AI 研究和危险自主性。它还应展示，当模型接近某个阈值但评估方法得出混合结果时，公司将如何应对。

独立评审者在这里至关重要。他们需要获得适当的访问权限、拥有发表有意义批评的自由，并且不能在经济上依赖可能损害其可信度的对象。Anthropic 的政策承认，这种审查模式仍处于实验阶段。

如果有证据表明外部发现曾导致部署延期，就能证明存在真正的约束。若某一流程总是在内部缓解措施完成后批准模型上线，那么即使文档看起来十分完整，也值得受到更严格的审视。

第三个信号是朝着可验证协调机制的推进。Coxon 的论点高度依赖竞赛动态，因此仅靠内部安全改进无法解决问题。OpenAI、Anthropic、Google DeepMind、xAI 以及各国政府需要围绕最危险的能力建立共同预期。

一项有意义的协议应明确涵盖哪些训练或部署活动、采用何种验证方式，以及相应后果。它还需要建立应对意外事件的程序，而不能依赖自愿式的公关回应。

立法层面的关注已经在增长。限制超级智能的提案表明，Coxon 的警告已传达到政策制定者耳中。不过，若缺乏可执行的定义，广泛禁令可能难以落实，也很容易被绕开。

更狭义的框架可以从强制事故报告、独立能力评估、模型权重安全保护，以及对异常大规模训练运行的监管开始。这些措施无法平息关于灭绝风险的争论，但可以建立证据基础和问责机制。

国际协调仍然更加困难。如果其他地区的竞争对手并不遵守，单一国家的暂停措施可能反而加剧推动实验室竞赛的同一种安全困境。任何持久的体系都必须在不要求各国披露全部敏感技术细节的前提下解决验证问题。

对企业客户而言，眼下的启示更具实践意义。AI 治理不应完全依赖供应商整体的安全声誉。采购方应询问模型如何评估、事故如何披露，以及当智能体获得外部工具时适用哪些控制措施。

开发者也应将模型能力与系统权限区分开来。当一个智能体能够执行代码、访问凭据、联系外部服务或修改生产数据时，其影响将显著扩大。这些权限需要分层监控以及明确的人类审批。

知识工作者不必先解决灭绝风险发生概率的问题，才开始谨慎行动。他们应将 AI 输出视为可能出错的内容，保护敏感信息，并了解集成系统可以在无需额外同意的情况下执行哪些操作。

更大的判断仍未尘埃落定。Coxon 尚未证明自我改进型超级智能会在某个特定时间表内到来。Anthropic 也尚未证明其现有治理机制能够安全管理这样的转变。

变化的是可信度门槛。Anthropic 已不能仅以拥有一个对齐团队，来证明问题已得到控制。该团队的负责人曾公开支持这一警告的核心担忧。

在 IPO 进程中，这一事实具有不同的分量。投资者被要求评估 Anthropic 构建能力日益强大系统的能力。监管机构被要求相信其对于何时这些系统变得过于危险的判断。

客户被要求将更多工作流、代码和机构信息置于 Claude 之中。员工则被要求继续推进能力发展，同时安全研究人员正在讨论这场竞赛本身是否可以接受。

未来一到三个月将揭示，Anthropic 研究人员的辞职会成为一次短暂的沟通危机，还是一个治理转折点。值得关注的是公开的 IPO 文件、下一项安全政策实施措施，以及任何可验证的协调提案。

如果这些信号带来更明确的权力边界和可衡量的限制，Anthropic 可以主张公开异议强化了其控制机制。如果它们只带来谨慎的措辞，Coxon 的核心批评仍将没有答案。

关键问题不再是某位研究人员是否显得过于悲观，而是一家公司能否在将决定性安全判断保留在自身高墙之内的同时，要求社会接受极大的不确定性。