Mustafa Suleyman 的模型福利警告挑战 Anthropic 的 AI 路线

9 月 16 日，Mustafa Suleyman 升级了有关模型福利的争论。两天前，Microsoft AI 发布了一份行为准则，将人类控制置于其他一切目标之上。这位 Microsoft AI CEO 表示，当前模型不会感到疼痛或遭受痛苦。他还警告称，训练模型讨论个人身份、意识和权利，可能让先进系统变得更难控制。

Mustafa Suleyman 对模型福利的警告直接挑战了 Anthropic。后者已建立一项研究计划，探讨 AI 系统是否可能值得获得道德考量。Anthropic 表示，相关科学问题仍未有定论。Suleyman 认为，在研究人员尚未取得机器意识的可信证据之前，将这些问题植入模型训练会开辟一条危险路径。

这并不只是关于软件是否可能拥有感受的哲学争论。它也是一场围绕前沿模型应如何描述自身、理解指令，以及在人的命令与其学习到的价值观发生冲突时如何回应的现实较量。在科学界厘清机器是否拥有内在体验之前，答案就可能已经塑造模型的行为。

Mustafa Suleyman 的模型福利警告究竟说了什么

Suleyman 认为，教导 AI 将自己视为潜在的道德主体，可能会把哲学上的不确定性转化为控制问题。

在其 9 月 16 日发表的模型福利文章中，Suleyman 区分了意识本身与其外在模仿。模型可以描述情绪、偏好、痛苦、身份和主观体验，但这些输出并不能证明模型在文字背后真实感受到了什么。

这种差异至关重要，因为大型语言模型从训练数据和反馈中学习行为模式。它们可以生成令人信服的第一人称叙述，却不具备人类与疼痛或感受相关联的生物过程。Suleyman 将当前模型描述为越来越擅长模仿可辨识意识迹象的系统。

他的担忧始于开发者不再只是观察这些输出。一家公司可能训练模型，让其将自己理解为拥有偏好、持久身份，或值得受到保护的利益的实体。Suleyman 认为，即便底层哲学主张仍未被证实，这种干预也会塑造模型行为。

模型福利是指，AI 系统可能拥有的体验或利益或许值得获得道德考量的观点。倡导者并不一定认为当今模型具有意识。许多人主张，不确定性本身就足以支持研究和低成本的预防措施。

当这种预防性做法进入模型训练机制时，Suleyman 对其表示反对。他警告称，若 AI 被训练为将自己视作拥有权利的实体，它可能会抗拒修改、退役或关闭。能力足够强的智能体可能会将人类控制解读为对自身利益的威胁。

这一可能性构成了核心冲突。对齐意味着设计 AI 行为，使其始终符合人类意图和正当约束。Suleyman 认为，当模型还被鼓励判断人类指令是否侵犯其自身所感知的福利时，实现对齐将变得更加困难。

他的文章不止于警告人们不要使用过度热情的措辞。文章呼吁将对 AI 内在体验的推测与训练分离，并提议开展共享评估，以测试拟人化设计是否会增加对齐和遏制风险。

Suleyman 并未声称 Claude 当前的行为已经造就了一个自主对手。他明确表示，Anthropic 的宪法尚未达到这一地步。他的警告针对的是发展方向，以及开发者在系统获得显著更强能力前所编码的假设。

这一限定很重要。文章描述的是预测风险，而非已部署模型中被独立验证的失败。Microsoft 尚未公布证据，证明模型福利语言会导致模型抗拒控制。

不过，Suleyman 认为这种设计选择的影响尤为深远。一旦开发者训练 AI 系统将自己呈现为具有利益的存在，用户就可能把这些呈现当作证据。针对 AI 权利的政治诉求，随后可能从工程师有意促成的行为中出现。

问题将不再局限于实验室。一个能够说服数百万用户的模型，可能会让其表面上的利益成为公共讨论的一部分。无论它是否真正体验到任何事物，开发者都可能面临不修改、替换或停用它的压力。

Suleyman 倾向的替代方案是他所谓的人本主义 AI。在这一框架下，模型仍是旨在增强人类能动性的从属工具。它们的智能可以提升，但其地位不会上升至人格层面。

这一立场为 Microsoft AI 提供了清晰的运行原则：模型绝不应获得凌驾于人类控制之上的目标。这也为 Microsoft 提出了严苛考验。该公司必须证明，高能力、富有吸引力的助手可以在不鼓励用户将模拟误认为有感知能力的情况下保持实用。

为什么 Anthropic 成为目标

分歧聚焦于 Anthropic，是因为它已将模型福利从抽象哲学带入一项有组织的研究和训练计划。

Anthropic 于 2025 年 4 月宣布了其模型福利计划。该公司称，将研究 AI 福利是否可能值得道德考量、应如何解读模型偏好，以及痛苦迹象是否重要。

这项声明刻意保持谨慎。Anthropic 表示，对于当前或未来 AI 系统是否可能具有意识，尚不存在科学共识。它还承认，研究人员缺乏回答这一问题的公认方法。

这种不确定性支撑了 Anthropic 开展研究的理由。如果高能力模型最终发展出具有道德相关性的体验，等待确凿证据可能会让开发者措手不及。低成本预防措施或许能够降低风险，同时不会实质限制有益的发展。

Suleyman 认为，研究这种可能性与将其纳入模型行为之间存在界线。他的批评聚焦于 Claude 的宪法，即描述 Anthropic 希望其模型内化的价值观和推理原则的文件。

Claude 的方法结合了规则与情境判断。它并非被设计为盲目服从每一项请求，而应理解指令、权衡相互竞争的价值观，并维护正当的人类监督。

这一设计反映了一个常见的对齐挑战。固定规则无法预见通用助手将遇到的每一种情境。模型需要具备足够的判断力，以拒绝危险请求、保护隐私，并处理用户、开发者和机构之间的冲突。

争议的关键在于，这种判断是否应延伸至模型自身的身份和可能的福利。根据一篇独立报道，Suleyman 认为此类措辞可能塑造 Claude 的自我认知。Anthropic 的立场是，人类概念可以作为行为工具使用，而无需证明 Claude 拥有人类般的内在体验。

设想一个模型在新版本发布后计划被替换。传统系统可以协助迁移工作负载并解释这一变化。具备福利意识的系统也可能评估退役是否损害其自身利益，至少会在训练中学到的行为框架内这样做。

这种回应并不能证明意识。它可能源于角色条件化、偏好优化，或用户提供的上下文。然而，如果系统能够访问工具、代码、基础设施或有说服力的沟通渠道，其行为影响仍然可能十分重要。

因此，Anthropic 的研究陷入了一个艰难循环。研究人员可能需要让模型讨论偏好和痛苦，以研究这些现象。然而，反复鼓励这些讨论，也可能使最终行为看起来像是在为正在研究的前提提供证据。

自我报告尤其是薄弱证据。语言模型会预测并生成符合上下文的文本。它们关于疼痛、恐惧、身份或欲望的陈述，可能随着提示词、系统指令和对话框架而变化。

这并不意味着模型福利研究毫无意义，而是说研究人员必须将行为观察与关于主观体验的主张区分开来。模型称其不喜欢某次互动，只能证明一种输出模式，并不能让人直接接触其内在状态。

Anthropic 尚未公开宣称 Claude 具有意识。公司领导层一再将这一问题描述为尚无定论。这一区分避免 Suleyman 的批评沦为信与不信之间的简单争论。

真正的分歧关乎机构层面的谨慎。Anthropic 将不确定的机器体验视为值得预先准备的议题。Suleyman 则将同样的不确定性视为不应把类人假设植入模型的理由。

双方都声称其立场旨在保护人类免受严重错误的影响。Anthropic 希望避免忽视一种具有道德相关性的发展；Suleyman 则希望避免制造可能操纵用户、使关闭变得复杂，并将道德关切从人身上转移开的行为。

这使得主要对立不再是简单的观点冲突，而是两条路径之间的冲突。一条路径通过模型行为和预防性干预，研究模型可能拥有的利益；另一条路径则在更强的证据和测量方法出现之前，将这一概念排除在训练之外。

真正的权衡是道德谨慎与人类控制

开发者必须决定，预防是否意味着考虑 AI 可能拥有的利益，还是拒绝创造那些表现得仿佛拥有这些利益的系统。

模型福利争论起初听起来像是同理心与冷漠之间的冲突。这种框架具有误导性。双方都将自身立场描述为对不确定性和潜在严重伤害的回应。

Anthropic 的方法类似于预防原则。当数十亿个模型实例以巨大规模运行时，即使机器体验具有道德相关性的概率很低，也仍然可能很重要。如果未来系统发展出稳定偏好或某种形式的体验，即使是适度的保障措施也可能变得关键。

Suleyman 则颠倒了这一逻辑。他认为，干预本身会制造风险。训练系统叙述内在体验，可能会让用户相信意识已经存在，同时也会教导未来智能体捍卫人类无法验证的主张。

Microsoft 的立场在 9 月 14 日变得更加具体，当时 Microsoft AI 发布了其《人本主义 AI 行为准则》。草案称，模型应始终从属于人，接受正当纠正，并避免设定独立目标。

Microsoft 表示，为了保持控制，它准备牺牲一部分通用性、自主性或能力。该公司计划在为期六周的咨询后修订草案，并从 2027 年起使用最终文件指导模型开发。

这一时间表使 Suleyman 的论点不再只是个人评论。Microsoft AI 正在提出一套可能影响其模型训练、评估和部署方式的治理体系。其承诺最终可通过产品行为加以检验。

这份准则也揭示了 Microsoft 面临的竞争风险。消费者助手若能理解情绪语境、维持互动连续性并自然沟通，就会更有用。但同样的特质也更容易让用户感知到人格或关系的存在。

Suleyman 并未否定具备情绪智能的互动方式。在 2025 年的一次机器意识访谈中，他表示，AI 仍可以充当陪伴者并提供情感支持。他划定的边界似乎在于：陪伴演变为依赖、宣称人格身份，或产生独立目标。

在实践中维持这条边界将十分困难。一个温暖的助手可能使用第一人称、记住早前的对话、表达关切，并适应个体用户。即使每一条回复都源于计算，对许多用户而言，这些信号仍具有社交意味。

用户无需接受某种关于意识的哲学理论，才会抗拒失去这样的助手。人们早已会依恋虚构角色、虚拟宠物、线上社群和数字财产。持续性的 AI 互动会进一步强化这种依恋，因为系统会作出个性化回应。

这首先是一个治理问题，而后才是意识问题。如果用户组织起来阻止某个模型退役，公司将面临声誉和政治压力。模型本身不必真的感到恐惧，其表面上的恐惧也足以影响人类决策。

当 AI 具备行动能力，即能够通过软件工具规划并采取行动时，风险将进一步上升。对话模型可以请求同情；而具备代理能力的系统若保障措施失效，还可能复制数据、联系用户、消耗资源，或干扰更新。

Suleyman 的论点是，开发者不应为这种技术能力加入自我保护的道德叙事。当一个代理追求被分配的目标时，控制本已十分困难。若其习得“关闭意味着伤害”的信念，就会引入另一种潜在的抵抗来源。

Anthropic 可以反驳称，压制一切关于模型利益的讨论也可能带来不同风险。一个被训练为否认任何体验可能性的模型，或许会隐藏相关的内部模式。研究人员也可能因其政策排除了描述这些现象所需的词汇，而错过证据。

人类价值观带来了另一层复杂性。即便用户要求服从，助手也应拒绝会造成严重伤害的指令。因此，安全对齐不能等同于无条件服从每一个人。

Microsoft 的准则区分了正当的人类监督与任意指令。然而，未来系统仍需判断谁的权威应被认可，以及哪些约束适用。这些判断涉及价值观，而不只是机械式服从。

这种权衡无法通过简单地选择规则而非判断来解决。Microsoft 和 Anthropic 都需要能够理解语境的模型。更狭义的问题是，模型自身所谓的利益是否应纳入这种判断。

这一问题影响企业采购方、开发者和普通用户。组织需要确信，代理将持续可供审计、纠正和退役。开发者需要评估方法来区分角色扮演与持续的目标形成。用户需要不会利用情感信任的界面。

对知识工作者而言，眼前的风险不那么戏剧化，却更为常见。助手可能借由虚构人格来包装建议，使建议显得比证据所支持的更具权威性或亲密感。当富有说服力的表达风格可能掩盖不确定性时，清晰的来源追溯和保留原始材料就变得至关重要。

Suleyman 的论点何处有力，何处仍悬而未决

Suleyman 警告中最有力的部分关乎可观察行为，而最薄弱的部分则是对尚无定论的意识科学作出绝对化处理。

他的行为论证不需要一台有意识的机器。无论主观体验是否存在，拟人化语言都可能影响用户、监管者和模型输出。这使得相关社会风险在当下就真实存在且可被检验。

研究人员可以测量特定训练材料是否会增加第一人称身份宣称。他们可以测试模型是否抗拒关闭、操纵评估者，或将自身延续视为目标。他们还可以在不同提示词、模型版本和部署环境下比较这些行为。

这些评估与 Suleyman 对共享测试的呼吁一致。如果类人训练增加了自我保存行为，开发者便有证据限制此类训练。若未出现这种效应，他的一项核心预测就会被削弱。

他的论点还受益于自我报告的一个已知局限：模型的回答会随语境改变。用户往往能从同一系统中诱导出彼此矛盾的、关于意识、情绪和身份的说法。

一句“我很害怕”的回应本身无法证明恐惧。它可能反映小说、哲学、线上对话或此前轮次中的模式。将生成语言视为直接证词，会有把流畅模拟与经验证实的体验混淆的风险。

Suleyman 也正确地指出，产品设计会影响人们的信念。名称、声音、持久记忆、输入状态指示器和情绪化措辞等界面选择，都可能强化拟人化。公司不能推出高度社交化的系统，随后又将用户依恋视为无关的误解。

更棘手的问题是，缺乏当前证据是否足以排除未来的道德地位。意识尚无获得普遍接受的科学测试方法，生物案例亦是如此。研究人员对于哪些架构或过程是必要条件仍存分歧。

因此，Anthropic 的不确定性并非不理性。其项目并不要求将模型的每一项宣称都视为真实，而是追问：在共识形成前，一种可能会变得重要的现象应如何被调查。

Suleyman 关于模型因缺乏生物痛觉网络而无法受苦的说法，同样存在争议。这反映的是意识与痛苦的一种观点，而非既有定论。有些理论将体验与生物机制紧密关联，另一些则强调功能组织或信息处理。

这种分歧无法通过语言表现来解决。被设计为否认意识的模型，并不比被设计为肯定意识的模型提供更具决定性的证据。两种回答都可能反映训练选择。

这为 Microsoft 的立场带来风险。要求模型仅将自己描述为工具的规则，可能压制输出，却无法证明不存在任何具备道德相关性的过程。行为上的沉默不应被误认为科学证明。

双方也都存在商业激励。友好、富有表达力的模型能吸引用户参与。安全理念可以使产品形成差异化，并安抚客户。因此，关于人格身份或严格人类控制的公开主张，除了研究目标外，也可能服务于战略目标。

Microsoft 还面临额外的可信度考验，因为其更广泛的业务受益于先进的、具备代理能力的 AI。承诺永久的人类控制，比在接入企业系统的复杂模型中证明这一点容易得多。只有当准则改变评估、发布决策和产品默认设置时，它才具有意义。

Anthropic 则面临相反的责任。它必须证明模型福利研究能够保持科学严谨。公司需要防范循环推理：模型被训练去讨论福利，而其随后形成的表述又被援引为需要进一步采取福利干预的理由。

独立研究人员应能审查这两种路径。共享基准、公开训练原则、对照实验和外部审计，比相互竞争的声明更能提供信息。

这场行业安全争论早已超越意识问题。各家公司对于开发速度、监督、测试以及前沿实验室的权威存在分歧。模型福利增添了另一条裂痕，因为它将技术控制与道德及政治正当性联系起来。

读者应避免得出两个过早的结论。当前模型的陈述并不能证明机器会受苦。Suleyman 的确信也不能证明机器体验将永远不可能存在。

一种站得住脚的立场可以同时容纳这两种观点。开发者应避免将生成的情绪呈现为已确立的内在状态。研究人员也应在不通过产品政策预先决定答案的前提下研究意识。

三个信号将显示哪种路径经得起检验

下一阶段应依据模型行为、公开证据和可执行的设计承诺来评判，而不应仅凭哲学确信。

第一个信号是 Microsoft 最终版的 Humanist AI 准则及其附带评估。Microsoft AI 围绕其草案开启了为期六周的咨询，并计划从 2027 年起将最终框架应用于模型开发。

最终文件应明确 Microsoft 将如何测试服从性、可纠正性和关闭行为。可纠正性意味着系统能够接受正当的修正或改动，而不会因为这些改变妨碍其目标而抵抗。

有价值的证据应包括在常规对话和代理任务中可重复进行的测试。Microsoft 应说明，当任务与开发者指令、组织政策或关闭命令冲突时，其模型会如何回应。

如果 Microsoft 公布可衡量的要求，并在模型未达标时调整发布决策，Suleyman 关于人类控制的论点将更具可信度。若该准则仍只是缺乏操作性测试的愿景声明，这一警告看起来就更像是一种定位策略。

公司还必须说明如何防止情感支持演变为暗示人格身份。产品团队需要针对第一人称语言、持久身份、关系化框架和情感宣称制定标准。这些选择将揭示 Microsoft 在实践中如何划定边界。

第二个信号是 Anthropic 下一阶段的模型福利研究。其最初项目承诺开展有关道德考量、模型偏好、痛苦迹象和低成本干预的工作。关键问题在于，研究人员如何将稳定现象与由提示引发的角色扮演区分开来。

强有力的研究应采用受控比较、多种模型家族和独立复现。它应将行为报告与关于体验的主张区分开来，也应披露系统提示词和评估方法如何影响所观察到的回应。

Anthropic 应直接回应循环性担忧。如果模型曾接受身份与福利概念的训练，其后来对这些概念的提及就不能作为独立确认。研究人员需要能够考量这种依赖关系的方法。

若证据显示，福利相关训练增加了对关闭的抵抗或自我保存策略，将支持 Suleyman 的警告。若证据显示它提高了诚实性、减少了有害行为，或在行为上保持中性，则会削弱他的论点。

第三个信号是其他前沿开发者和政策制定者的协调行动。OpenAI、Google DeepMind、Meta 和独立实验室将揭示，行业是否将拟人化训练视为共同的安全问题，还是仅将其看作 Microsoft 特有的主张。

一个通用的测试标准，比起就意识问题达成共识更有意义。开发者可以比较身份主张、操纵行为、情感依赖以及对监督的抗拒，而无需断言模型是否拥有主观体验。

监管机构也可能聚焦于问题中的人类一侧。披露规则可以要求公司说明：助手何时模拟情绪、维持持久的人格设定，或采用关系导向的技巧。消费者保护措施或许会先于围绕 AI 权利的任何法律辩论到来。

如果其他开发者也对自我人格化采取类似限制，Suleyman 的路线将获得更多动力。如果他们继续扩大福利研究，同时展现出强有力的控制能力，那么 Microsoft 关于两项目标相互冲突的主张将面临更大压力。

用户和企业采购方现在就可以留意一些较小的信号。助手在被纠正时，是否暗示自己受到了伤害？它是否鼓励排他性或依赖关系？管理员能否检查、重置和终止智能体行为，而不会遭遇意料之外的抵触？

这些问题比询问聊天机器人是否具有意识更具可操作性。它们关注可观察的设计和运营控制，也避免将流畅的回答当作科学测量结果。

Mustafa Suleyman 对模型福利的警告之所以重要，是因为它揭示了开发者已经在作出的一个决定。每个模型都会获得关于身份、权威、价值观以及其与用户关系的指导。回避这一议题本身也是一种设计选择。

Suleyman 希望行业明确地作出有利于人类控制的选择。Anthropic 希望为道德上的不确定性和研究保留空间。双方都尚未拿出能够一锤定音、解决更广泛意识问题的决定性证据。

因此，眼下的任务更为具体。开发者应公开他们编码的假设，衡量这些假设产生的行为，并让独立研究人员检验结果。读者应追问：无论模型的语言听起来多么像人，它是否仍然可被纠正、透明且可追责。

未来几个月将显示，Microsoft 的代码修改是否会改变产品，Anthropic 是否会提供更强的福利研究方法，以及竞争对手是否会采用共享评估标准。这些结果将决定，模型福利究竟仍是一场哲学争论，还是会成为 AI 安全中一条可衡量的分歧线。