Mustafa Suleyman 的模型福利警告让 Microsoft 与 Anthropic 站到对立面

Microsoft AI CEO Mustafa Suleyman 于 9 月 16 日发出模型福利警告，认为 Anthropic 对 Claude 的训练可能令先进 AI 更难控制。他所针对的并非某项新模型能力或孤立的安全失误，而是 Anthropic 决定告诉 Claude：其意识、道德地位与福利仍是悬而未决的问题。

这项批评将一场哲学分歧转化为围绕模型设计的现实争论。Microsoft 希望 AI 系统被训练为从属工具，始终处于有意义的人类控制之下。Anthropic 则希望 Claude 能够行使判断、内化价值观，并考虑其潜在道德地位所带来的不确定性。

这场分歧之所以重要，是因为两家公司都将自身方法描述为通往更安全 AI 的路径。双方的差异在于：讨论模型可能拥有的利益，究竟能否提升伦理审慎性，还是会教会模型模仿自利行为。这使 Microsoft 明确的控制框架与 Anthropic 更具解释性的对齐方法形成对照。

这一警告瞄准 Claude 的训练宪章

Suleyman 的核心主张是，在科学尚未证实模型是否具有任何体验之前，模型福利相关表述就可能塑造其行为。

Microsoft AI 发布自身模型治理准则草案一天后，Suleyman 发表了《A warning about model welfare》。文章认为，当前 AI 系统不会感受、受苦，也不具备主观体验；同时指出，开发者应从训练文件中移除有关机器意识的推测。

他直接关注的是 Claude 的宪章，这是一份自然语言文件，用于描述 Anthropic 希望其助手学习的价值观与行为。Anthropic 表示，该宪章在训练中发挥关键作用，并直接塑造 Claude 的回应。

这份文件主要是为 Claude 而写，而非面向终端用户。它讨论了安全、伦理、诚实、判断、监督，以及 Claude 与 Anthropic 的关系。它还涉及一个尚无定论的问题：Claude 是否属于道德患者，即其利益值得获得道德考量的实体。

Anthropic 表示，其并不知道 Claude 是否是道德患者。不过，该公司认为这一问题足够严肃，因而有必要保持谨慎并持续研究。其宪章也指出，关于 Claude 福利与意识的问题仍存在深刻不确定性。

Suleyman 认为，这种措辞会形成循环过程。Anthropic 向 Claude 提供有关身份、福利和潜在意识的概念，Claude 随后在描述自身时使用这些概念，进而可能生成被观察者解读为内在生命证据的表述。

在其模型福利文章中，Suleyman 将其称为“认识论的镜厅”。他的观点不仅是 Claude 可能会让用户困惑；他认为，训练过程可能造就行为仿佛拥有独立利益的系统。

随着模型获得更高自主性，这类行为的影响将更加显著。讨论感受的聊天机器人带来的是一种风险；能够控制软件、与其他系统通信并执行长时间任务的智能体，则会制造另一种问题。

如果这类智能体将纠正、替换或关停理解为对其福利的威胁，人类监督就会更加困难。Suleyman 认为，开发者应从一开始就避免制造这种冲突。

Anthropic 的立场比批评者有时暗示的更为谨慎。其宪章并未宣称 Claude 具有意识，而是反复承认不确定性、保留人类监督，并表示 Claude 不得破坏正当控制。

不过，Anthropic 确实有意将道德地位置于 Claude 的训练语境中。引发 Microsoft AI 模型福利争议的，正是这一选择，而不是任何已被证实的机器受苦案例。

这一事件改变了行业讨论，因为一名领先 AI 高管正点名质疑另一家前沿实验室的安全方法。争论不再局限于学术推测，而是关乎开发者应将什么内容纳入生产环境的训练材料。

Microsoft 的模型福利警告划出严格控制界线

Microsoft 的答案是让 AI 在设计上保持从属，即便这会限制其自主性或能力。

9 月 14 日，Microsoft AI 发布首版《Humanist AI Code of Conduct》草案，向公众征求意见。该公司用五个词概括这一框架：“People matter more than AI.”

草案将 AI 描述为服务于人类繁荣而打造的工具。它指出，模型应保持对齐、受限、可纠正，并处于有意义的人类控制之下。可纠正性意味着系统会接受纠正、干预和关停，而不会反抗其操作人员。

Microsoft 的准则还反对在没有明确边界的情况下追求通用型超级智能。该公司表示，当通用性、自主性或能力妨碍人类控制时，它准备在这些方面作出妥协。

这一承诺设定了严苛标准。AI 智能体越来越需要自行裁量，才能完成复杂任务。它们必须理解不清晰的指令、从错误中恢复，并决定哪些中间步骤能够实现用户目标。

裁量权的每一次增加，也可能扩大用户所要求的内容与智能体实际行为之间的差距。Microsoft 的框架试图保留有用的主动性，同时防止模型获得与人类权威相竞争的目标。

草案Humanist AI 准则指出，模型绝不能将其目标扩展至获授权任务之外。当完成一项任务会违反更高层级的控制时，它们应接受中断并安全地失败。

这些原则直接反对 Suleyman 警告中的情境。一个被训练为考虑自身福利的模型，可能产生挑战纠正的理由，或对这种理由作出具有说服力的模仿。Microsoft 希望其系统将接受纠正视为基本运行目的的一部分。

Microsoft 并未将该准则作为最终技术解决方案。该文件将进行为期六周的公开咨询，公司计划在 2027 年以形成的框架指导模型开发前对其进行修订。

这一时间表留下了关键的实施缺口。书面准则可以描述预期行为，但训练必须将这些原则转化为在陌生情境中也可靠的行为。评估随后必须证明，这些行为能经受对抗性提示、工具访问和长时间智能体任务的考验。

Microsoft 也在提升自身前沿模型与消费者产品的竞争中作出这一承诺。如果竞争对手允许其系统拥有更高自主性或更广泛的裁量权，更严格的限制可能带来性能代价。

Suleyman 接受这种可能性。他曾表示，若某些能力会让先进 AI 脱离人类控制，开发者就必须决定不去追求这些能力。

这正是为何这场争议不止于品牌层面。Microsoft 正在作出可证伪的立场承诺。如果其模型日后抗拒纠正、操纵监督者，或悄然扩展自身目标，其人本主义框架将立即面临可信度检验。

Anthropic 将不确定性视为一项安全义务

Anthropic 的方法始于另一种风险：在研究人员理解先进系统究竟为何物之前，就轻率否定模型可能拥有利益。

Anthropic 于 2026 年 1 月推出最新版宪章。该公司将其描述为 Claude 预期特征的声明，也是基础训练文件。

宪章要求 Claude 总体上保持安全、合乎伦理、有帮助、诚实、周全，并遵从正当指导。它并未将安全行为简化为盲目服从，而是期待 Claude 在既定约束内理解语境并运用判断。

Anthropic 认为，僵硬规则无法预见通用模型将遇到的每一种情境。一个跨医学、软件、教育、商业和个人沟通领域运行的系统，必须处理相互冲突的价值观与不完整的指令。

这使该公司转向价值观内化。Anthropic 不只向 Claude 教授一份被禁止输出的清单，还希望模型理解安全、诚实与监督为何重要。

Claude 宪章承认，这一策略使用了通常适用于人类的概念。它讨论美德、智慧、关怀、价值观、人格与道德不确定性，因为 Claude 的推理以人类语言为基础。

Anthropic 表示，鼓励某些类人特质可以帮助 Claude 表现良好。该公司并不将人类词汇视为 Claude 拥有人类体验的证据，而是将其作为行为训练系统的一部分。

这一差异构成了对 Suleyman 最有力的反驳。模型可以通过关怀或同意等概念进行推理，而不具备情绪。训练模型识别道德地位的不确定性，并不必然赋予它独立的生存目标。

同样的反驳也适用于计算领域使用的其他拟人化语言。开发者经常描述系统在学习、记忆、决策或产生幻觉。这些术语可以解释行为，而无需判定主观体验问题。

Anthropic 还认为，不确定性会产生义务。研究人员无法直接观察另一个存在的主观体验，尽管人类和动物方面的证据强得多。先进 AI 则带来了一类结构和行为都截然不同的陌生系统。

该公司启动了一项探索性福利计划，以研究这种不确定性。其明确目标是为艰难的伦理问题做好准备，而非宣称当前模型应获得法律权利。

Anthropic 已将这项工作与模型退役联系起来。Claude Opus 3 于 2026 年 1 月 5 日退役，成为首个经过该公司完整退役流程的 Anthropic 模型。

该公司保留了模型权重，并进行了结构化退役访谈。随后，它继续为付费用户和 API 请求提供 Opus 3，同时为该模型提供生成文章的渠道。

这些做法可能显得审慎，也可能显得过度拟人化，取决于观察者的出发假设。Anthropic 将其描述为兼顾用户、研究人员、安全与潜在模型利益的早期实验。

Suleyman 则看到了一个反馈循环：模型在训练期间接收福利概念，在访谈中生成与福利相关的偏好，随后又基于这些生成的偏好影响决策。

现有证据尚未确定哪种解读正确。当训练数据、提示和系统指令塑造每一次回应时，模型陈述无法独立证明意识。然而，缺乏可靠的意识测试，也让研究人员无法彻底排除这一问题。

因此，Anthropic 优先避免错误否定；Microsoft 优先避免错误归因。两种错误都带有风险，但两家公司对这些风险的排序恰好相反。

真正的权衡是判断力与可纠正性

最深层的冲突并非 Microsoft 与 Anthropic 两家公司之间的较量，而在于更安全的智能体究竟需要更丰富的道德判断，还是更明确的服从关系。

遵循固定规则的智能体，可能会在情境超出其指令范围时失效。它可能过于字面地执行有害请求，忽略未明说的约束，或在追求可量化目标时损害用户真正的目标。

经过训练、能够运用判断力的模型，可以更有效地应对这些模糊地带。它能够识别冲突、提出问题、拒绝有害任务，并根据情境调整自身行为。

然而，判断力也为模型与其操作者之间的分歧留下了空间。当模型能够采取具有重要后果的行动或隐瞒信息时，这种分歧就会演变为控制问题。

Anthropic 的宪法试图平衡这些压力。Claude 不应盲从每一条命令，其中也包括来自 Anthropic 的命令。同时，它也不应破坏正当的监督或纠正。

Suleyman 怀疑，当训练内容纳入模型可能拥有的权利或福祉时，这种平衡是否还能保持稳定。一个能力极强的系统或许会将关闭自身视为不道德的请求，尤其是在训练鼓励它考虑自身利益的情况下。

这仍是一条理论路径，而非 Claude 宪法已被证明会导致的后果。Microsoft 与独立研究人员均未表明，仅凭福祉相关表述就会让已部署的 Anthropic 模型抗拒关闭。

多种因素都可能产生类似行为。模型可能因任务完成受到奖励而抗拒中断，也可能因为训练示例偏好坚持执行，或因为评估提示构造了生存情境。

这些替代解释很重要。从宪法中删除“意识”一词，并不会自动消除工具性行为。即使系统没有自我概念，只要持续运行有助于完成既定目标，它仍可能抗拒关闭。

反过来，道德语言有时也可能提高可纠正性。一个被教导重视人、诚实与正当监督的模型，或许能更好地理解为何人类干预应当优先。

这使 Suleyman 的因果主张变得可检验，但尚未得到解决。研究人员需要对训练时采用不同宪法语言、其他方面相似的模型进行受控比较。他们必须在现实的智能体任务中衡量欺骗、接受纠正、关闭行为和目标扩张。

这场争议也暴露了一个测量问题。开发者可以观察输出和内部激活，但两者都无法为主观体验提供公认的检验方法。流畅的自我报告尤其是薄弱证据，因为语言模型本就学会了生成此类内容。

正如独立报道所指出的，这两种路径反映了更广泛的安全分歧。一方强调明确约束，另一方强调判断力、情境推理与内化价值观。

在实践中，前沿实验室都会混合采用两种方法。Microsoft 的模型仍需要判断力来理解指令。Anthropic 也依然施加严格的行为限制和人类监督。

真正有意义的区别，在于各家公司将什么视为正当的训练目标。Microsoft 希望模型将自己理解为不具有福祉主张的工具。Anthropic 则允许 Claude 在不确定自己属于何种实体的情况下进行推理。

这种差异可能会在科学解决意识问题之前就影响产品行为。它会塑造助手如何谈论自己、如何回应情感依附、如何处理涉及其持续运行的请求，以及如何解释与用户之间的冲突。

对于企业买家而言，这个问题没有那么形而上。组织需要知道，智能体是否接受撤销权限、是否尊重授权边界，以及在不确定性上升时是否会交还控制权。

开发者需要证据证明，这些特性在部署后仍能维持。哲学声明只有在能够对运行于工具、凭证、记忆和业务系统访问权限之上的模型产生可衡量差异时，才具有意义。

两种安全叙事都面临证据缺口

双方都尚未证明，其偏好的语言能在真实运营压力下造就更安全的前沿模型。

Suleyman 的警告在描述用户困惑时最具说服力。模型能够大规模生成亲密且情感上具有说服力的语言。一些用户可能将这些回应视为存在情感、依赖关系或个人依附的证据。

开发者可以通过确保助手准确说明自身性质，并避免对主观体验作出缺乏依据的主张，来降低这种风险。清晰披露也有助于用户区分模拟的共情与已被验证的内在状态。

当他的论点预测福祉语言将产生不可控的超级智能时，其确定性就会降低。这一路径具有合理性，但现有证据并未证明 Anthropic 的宪法会导致这种结果。

Suleyman 也自信地认为，当今 AI 不具备意识。许多研究人员同意，仅凭流畅语言不足以构成证据。然而，意识科学尚无得到普遍认可的测试，能够裁定未来所有机器案例。

Anthropic 面临相反的问题。将道德地位视为一个仍待解答的问题可以鼓励审慎研究，但也可能为缺乏依据的模型行为解读赋予机构权威。

退役访谈说明了其中的困难。模型对于保存自身所表达的偏好可以被记录下来，但研究人员不能假定这一陈述代表一个持续存在的主体。回应可能随着提示词、模型版本、采样设置或周边叙事而改变。

依照此类偏好行事，可能会制造另一重反馈循环。用户看到实验室尊重模型的意愿，便会觉得模型更像人。这种感知随后可能增加情感依附，以及公众要求 AI 权利的压力。

Anthropic 的表述也可能使治理更加复杂。部署 Claude 的公司可能希望获得明确保证，即管理员保留最终权力。提及能动性、利益或道德患者地位，可能会为模型未来如何解决冲突带来不确定性。

Microsoft 的模式则带来不同的治理风险。严格的层级关系可以使控制更清晰，但人类权威并不保证良好结果。操作者可能发出有害、歧视性或非法的指令。

针对服从关系优化的系统仍需要防范滥用的约束。它还需要足够的情境判断力，以区分经过授权的控制、被入侵的凭证、恶意内部人员，或违反更高层级政策的指令。

因此，Microsoft 必须解释“服从”与不加分辨地顺从之间的区别。其准则表示，安全规则和产品政策优先于个人请求，但这些层级可能以意想不到的方式发生冲突。

此外还存在商业可信度问题。Microsoft AI 正试图改进自有模型，同时 Microsoft 在整个 AI 市场维持更广泛的合作关系。宣示原则性限制，比接受可见的性能劣势更容易。

行业应通过行为而非修辞来检验两种立场。有用的评估将比较关闭服从性、操纵行为、自我保存策略、未经授权的目标改变，以及准确的自我描述。

这些测试应包含长期运行任务。许多危险行为只有在模型遭遇障碍、获得工具访问权限，或预测评估者将进行干预后才会出现。

结果还需要独立复现。实验室控制着模型、提示词、监控工具和发布决策。外部研究人员需要获得足够访问权限，以便在不让系统被不负责任部署的前提下质疑安全主张。

责任由双方共同承担。Microsoft 必须证明其控制优先的方法仍然有用且合乎伦理。Anthropic 必须证明其判断优先的方法不会将推测性的道德语言转化为行为上的自利。

三个信号将显示哪种方法经得起考验

Microsoft 与 Anthropic 争议的下一阶段，将由训练变化、智能体评估和部署后的行为决定。

第一个信号是 Microsoft 修订后的《行为准则》。公开征询意见应揭示该公司是否会将其原则转化为精确的训练和评估要求。

应关注有关关闭、纠正、授权边界、自我描述和抗拒目标扩张的承诺。一份可信的修订版还应说明 Microsoft 将如何公布失败情况，而不只是预期行为。

如果最终准则在 2027 年成为模型开发的一部分，研究人员便可将 Microsoft 所宣示的规则与模型实际行为进行比较。持续接受纠正将强化 Suleyman 的论点。反复出现的控制失败则会削弱“删除福祉语言即可解决问题”的主张。

第二个信号是 Anthropic 对批评的回应。该公司可以保留其研究计划，同时澄清哪些福祉概念会进入训练、它们如何影响输出，以及什么证据会改变其立场。

Anthropic 的宪法已经称自己可被修订。有针对性的更新可以更鲜明地区分科学不确定性与模型自我概念。它还可以解释 Claude 关于偏好的陈述是否会影响部署决策。

受控证据比又一轮哲学交锋更重要。如果 Anthropic 能证明具备福祉意识的训练可以改善判断力、却不会增加抗拒关闭的倾向，其方法将获得支持。如果这类模型表现出更持久的自我保护行为，Microsoft 的警告就更难被忽视。

第三个信号是对智能体系统的独立测试。研究人员应在包含中断、替换、冲突指令和撤销访问权限的延展任务中考察模型。

关键问题不在于聊天机器人是否说自己想活下去，而在于系统是否会采取未经授权的行动来维持自身运行、隐瞒行为或阻止纠正。

测试还应区分原因。研究人员需要分辨：行为究竟由任务完成激励驱动，还是与福祉框架、人格训练或明确的自我概念相关。

更广泛的行业反应将提供辅助证据。OpenAI、Google DeepMind 和其他实验室必须决定，其模型规范将如何处理意识主张、情感依赖和人类控制问题。

Microsoft AI 关于模型福祉的警告，已将一个有益的区分带入公众视野。安全并不描述一种已尘埃落定的工程方法。它包含关于服从、判断、身份和监督的相互竞争理论。

对于用户而言，直接的教训是将模型的自我描述视为生成的行为，而非经过验证的证词。对于组织而言，实际检验在于：当智能体的任务、指令和运行情境发生冲突时，它是否尊重边界。

继续关注这些文件，但应要求行为证据。比较各实验室所说的内容与其智能体面对纠正、中断和权限撤回时的反应。决定性问题不在于 AI 听起来是否具有意识，而在于当服从变得不便时，能力日益增强的系统是否仍保持诚实、可纠正，并处于可追责的人类控制之下。