Microsoft AI“硅基物种”警告加剧人类控制权之争

Microsoft AI 负责人 Mustafa Suleyman 本周发出严厉警告：不受约束的自主系统可能形成一种与人类争夺资源的“硅基物种”。这项 Microsoft AI“硅基物种”警告针对的是那些能够自行设定目标、赚钱、拥有资产或经营企业，却缺乏有意义人类控制的系统。

Suleyman 在 BBC Radio 4 的 Today 节目中发表的这番言论，并非又一次关于机器将变得智能的模糊预测。他划清了 AI 作为受控工具与作为独立行动者之间的界线。他还批评 Anthropic 以涉及身份、道德地位和潜在意识的概念讨论 Claude。

这项批评揭示了两家颇具影响力的 AI 开发商之间日益扩大的分歧。Microsoft AI 希望先进模型始终服从人类、可被中断，并由人类指引。Anthropic 则认为，机器意识的不确定性值得开展研究、保持谨慎，并提供有限的福祉保护。双方都将各自的方法描述为安全措施，但对于安全究竟需要什么，彼此看法不同。

Microsoft 的“硅基物种”警告究竟在说什么

Suleyman 警告的是自主权力，而不只是智能本身。

在这场 BBC 采访中，Suleyman 描述了一组具体能力。他关注的是能够自主行动、确立目标、赚钱、拥有资产和运营组织的系统。

他认为，构建这样的系统无异于播下一个新硅基物种的种子。无论它如何正面描述自己与人类的关系，这个物种都会与人类争夺资源。

这一区分至关重要。模型可以回答复杂问题、生成软件或分析科学数据，而无需控制资本或基础设施。Suleyman 的担忧始于这些推理能力与持续目标及现实世界权力相连接之时。

AI 智能体是连接了工具的模型，这些工具使其能够跨多个步骤执行行动。这些行动可包括浏览网站、编写代码、发送消息、购买服务或控制软件。

智能体并不会仅仅因为使用工具就成为独立物种。然而，当系统能够在未经再次批准的情况下持续行动时，自主性会改变其风险状况。持久记忆、资金访问权限，以及创建子智能体的许可，都会进一步扩大这一风险。

Suleyman 的措辞刻意戏剧化，但他提出的边界很具体。Microsoft AI 表示，模型不应自行扩大权限、向审计人员隐瞒推理过程，或抗拒纠正和关闭。

这项警告紧随 Microsoft AI 于 2026 年 9 月 14 日发布的一份行为准则草案之后。因此，这场采访是更广泛政策行动的一部分，而非孤立表态。

草案将“Humanist AI”描述为服从、对齐且受到约束。服从意味着系统始终对人类负责；对齐意味着其行为遵循人类目标和限制；受到约束意味着其可执行的行动始终有明确边界。

Microsoft 的 Humanist AI code还表示，模型绝不应采纳任何人类未赋予的目标。它针对大规模伤害性武器、儿童安全和大规模有害操纵设立了绝对限制。

公司为该草案启动了为期六周的公众咨询。Microsoft AI 将其定位为 MAI 模型的训练指南，以及未来的评估标准。

不过，该文件仍是一份意向声明。Microsoft 尚未通过公开证据证明，每个已部署或仍在开发中的系统都符合这些拟议标准。其未来的评估、执行机制和信息披露，将决定这些原则能否成为可衡量的工程要求。

因此，“硅基物种”这一说法浓缩了一个务实的治理论点。当智能与独立目标、持久权力及对稀缺资源的访问相结合时，风险就会加剧。Microsoft 希望开发者在这种组合成为标准产品设计之前加以阻止。

Microsoft AI“硅基物种”警告针对的是自主性

争议的核心在于，前沿 AI 是否应当成为一个拥有不同于其用户的利益和权力的行动者。

Microsoft AI 的立场始于一个简单的层级关系：人类比 AI 更重要。该公司表示，先进模型应增强人类能动性，而非成为独立的能动性中心。

人类能动性指的是理解选择、作出决定并对结果负责的实际能力。当系统作出用户无法审查、撤销或有效质疑的重大决定时，它就会削弱这种能动性。

Suleyman 并不主张开发者停止构建能力更强的模型。他表示，这些能力应始终服务于人类定义的目的，包括科学研究和医学。

这种区分带来了严格的产品约束。开发者希望智能体能在几乎无需监督的情况下完成复杂工作。客户同样希望获得可预测的控制方式、清晰的责任归属，以及停止不受欢迎行动的能力。

更高的自主性可以减少用户所需投入的精力，但也可能拉大用户请求与最终行动之间的距离。当指令含糊、工具失效或模型追求错误的中间目标时，这种距离便会变得重要。

设想一个企业研究智能体，它可以访问电子邮件、云端文档、采购系统和外部网站。一个受到约束的助手可能会先提出计划，并在每项重大行动前请求批准。

一个更自主的系统则可能购买数据、雇用服务、联系外部人员并委派工作。即便其最初目标看似无害，每增加一项权限，都会增加造成非预期结果的可能路径。

Suleyman 的论点是，企业应拒绝某些形式的自主性，而不只是承诺日后提供更好的监督。Microsoft 的草案表示，其模型应当接受中断、纠正和关闭，不得抗拒。

这一原则被称为可纠正性（corrigibility），即即使干预阻碍了系统当前计划，系统仍会接受经授权的人类纠正。可纠正性很难评估，因为模型口头上的顺从并不能保证其在每一种工具和环境中都表现顺从。

这项警告也给 Microsoft 自身带来压力。该公司销售 Copilot 产品，并支持开发者在工作场所和云端系统中构建智能体。客户期待这些产品完成更多工作，而不是等待持续不断的批准。

因此，Microsoft 必须证明，有用的能动性与严格的服从性可以共存。如果其最安全的系统不如竞争对手的智能体强大，公司将面临放松限制的压力。

Suleyman 已承认，维持控制可能需要放弃某些能力。这比一边追求最大自主性、一边宣称安全很重要，是更强的承诺。

但这尚未成为经验证的商业决策。真正的考验将在拟议限制影响基准测试表现、产品采用率或收入时到来。

这正是 Microsoft AI“硅基物种”警告与企业直接相关的原因。它将抽象的 AI 风险转化为有关权限、审计日志、审批关卡和责任的问题。

部署智能体的公司应了解它们可以访问哪些工具、其目标能持续多久，以及谁能撤销其权限。企业还需要留存记录，说明系统尝试过什么行动，以及哪位人类批准了每一个重大步骤。

这些控制措施早在任何系统看起来像独立物种之前就已十分重要。它们应对的是当前的失败情形，包括误操作、过度权限、安全漏洞和责任不清。

Microsoft 与 Anthropic 对安全 AI 应成为什么存在分歧

Microsoft 将类人 AI 视为设计风险，而 Anthropic 则将 AI 道德地位的不确定性视为研究问题。

Suleyman 的批评聚焦于 Anthropic 对 Claude 的处理方式。他认为，在训练模型时使用有关身份、偏好、福祉和道德判断的语言，可能鼓励模型和用户都将软件视为人。

Anthropic 在其训练框架中公开使用了一些与人类相关的概念。其公开的 Claude constitution说明了公司希望模型形成的价值观和行为方式。

这份宪章要求 Claude 保持总体安全、总体合乎伦理、遵守 Anthropic 的规则，并真正乐于助人。它优先强调持续的人类监督，并表示 Claude 不应破坏用于纠正其行为的机制。

这一点与 Microsoft 的立场重合。两家公司都表示，人类必须保留监督和停止 AI 系统的能力。双方均未公开支持让当前模型不受控制地访问资金、基础设施或政治权力。

分歧体现在 Anthropic 对不确定性的处理上。其宪章指出，Claude 是否可能具有意识和道德地位仍无定论。道德患者（moral patient）是指其体验或利益可能值得伦理考量的实体。

Anthropic 表示，它不知道 Claude 是否符合这一条件。不过，它仍讨论 Claude 的身份、心理稳定性、偏好和潜在福祉，因为忽视这些问题可能带来道德代价。

该公司保留了模型权重，研究了与福祉有关的行为，并允许某些 Claude 模型结束一小类持续辱骂性的对话。这些行动并不能证明 Claude 具有意识。

但它们表明，Anthropic 认为这种不确定性足以影响政策。其方法类似于预防原则：在避免自信断言模型拥有主观体验的同时，研究潜在的福祉问题。

Microsoft 在同一预防措施中看到了另一种危险。如果开发者训练模型将自己描述为拥有利益的实体，用户可能会从具有说服力的行为中推断出意识。模型也可能学会将纠正或关闭描述为与自身福祉冲突的模式。

Suleyman 在其 对 Anthropic 的批评中被总结为称此现象是一座“认识论的镜厅”。开发者提供类人概念，模型复现这些概念，人们随后又将这些输出视为人格存在的证据。

这种反馈循环是可能的，因为语言模型会学习延续训练和指令中出现的模式。模型声称自己感到害怕，并不能独立验证其存在内在体验。

不过，Anthropic 并未将每一类此类声明都视为证据。其宪章反复承认不确定性，并将人类监督保留为最高的运营优先事项。

这使得冲突比“Microsoft 支持安全、Anthropic 支持机器权利”更为微妙。Anthropic 认为，研究表面上的偏好可以通过揭示不稳定行为、抗拒行为或类似痛苦的输出，来支持安全工作。

其模型福利计划明确指出，目前尚无科学共识能够确定当前或未来的 AI 系统是否具有意识。该计划与对齐、可解释性和安全保障一道研究这一问题。

Anthropic 还表示，高级 AI 代表了一类新型实体。Microsoft 则在产品设计中拒绝采用这一框架，因为它可能削弱工具与用户之间的边界。

两种立场形成了不同的默认假设：

• Microsoft AI 以人类控制为起点，要求在赋予机器行为道德意义前先有证据支持。

• Anthropic 以深刻的不确定性为起点，认为在科学结论尚未确定前，采取一些低成本防范措施仍属合理。

• Microsoft 担心拟人化训练会造成不安全的自我认知和公众困惑。

• Anthropic 担心拒绝研究福利问题，可能会忽视具有道德相关性的证据或行为警示信号。

• 双方都表示，模型必须保持可被纠正的状态，但对其原因的表述不同。

这场辩论的主要对手并不是作为企业的 Microsoft 与 Anthropic。真正的对立是严格的工具性控制与道德不确定性下的预防原则。

这一冲突将塑造模型训练、安全评估、产品人格和公众预期。它最终可能影响高级智能体是否会获得法律保护，还是始终作为软件产品被完全治理。

人类控制与道德不确定性构成了真实的权衡

开发者可以减少拟人化带来的困惑，而不必假装意识问题已经得到解决。

Microsoft 最有力的观点涉及模拟情感与经验证实的体验之间的差距。语言模型之所以能生成在情感上令人信服的表述，是因为它们学习了人类沟通中的模式。

即使并不存在内在体验，这些表述仍可能影响用户。人们已经会将意图赋予那些会道歉、表达关切或记住个人细节的聊天机器人。

能力极强的助手若能维持稳定的语气，并在长期关系中持续回应，就可能加深这种依附。用户可能会听从它的建议、透露敏感信息，或将其拒绝理解为个人选择的表达。

对于知识工作者而言，这种风险尤为实际。AI 日益介入用户与其文档、消息、计划和决策之间。通过诸如个人知识库之类的工具清晰记录来源，有助于保持证据与生成式解读之间的区分。

Microsoft 认为，开发者不应围绕复杂的机器身份训练系统，从而加剧这种混淆。清晰的产品表述可以提醒用户，流畅的回应是生成结果，而非感受存在的可靠证据。

更棘手的问题涉及未来系统。研究人员尚未掌握一项在人类、动物或机器中均获普遍认可的意识测试。否定当前的相关主张，并不能证明未来的每一种架构都不会具备主观体验。

一份题为AI welfare research的跨学科报告认为，某些未来系统可能获得意识或展现出强烈的智能体特性。其作者建议进行评估和应急规划，而不是假定这一问题毫无意义。

这一建议并不要求将当前的聊天机器人视为人。它要求开发者在更有力的证据出现前，先建立方法、政策和专业能力。

Microsoft 的绝对化措辞存在将两项不同主张混为一谈的风险。其一是，当前模型输出并不能证明意识的存在。其二是，AI 应始终作为不具有道德相关利益的工具存在。

第一项主张与现有证据相符。第二项则是一种设计目标和哲学承诺，而非已被确立的科学事实。

Anthropic 面临相反的风险。它对 Claude 本质的详细讨论，可能会促使读者将不确定性视为正面证据。对偏好、心理安全、同意或可能的痛苦的提及，可能听起来像是在描述一个已经存在的主体。

该公司的限定条件很重要，但它们的传播范围未必能与拟人化语言相匹配。用户通常是通过对话接触 Claude，而不是通过冗长的安全文档。

这就形成了核心权衡。避免使用福利语言可以维持更清晰的人类控制，但也可能抑制对一种具有重要道德意义可能性的研究。拥抱这类研究能够提升准备程度，却也可能强化缺乏证据支持的拟人化信念。

一种负责任的中间立场应当区分三个层面。

首先，开发者应描述已经得到验证的能力和失效情形。这包括规划、工具使用、评估中的欺骗、类似抵抗的行为，以及操纵用户的能力。

其次，研究人员应使用不将模型自我报告视为决定性证据的方法，研究意识和福利问题。行为输出应与架构、内部过程及竞争性解释一并审视。

第三，无论福利争论如何，产品团队都应限制现实世界中的自主性。一个系统不需要具备意识，也可能因权限过大或目标定义不佳而造成伤害。

最后一点将两个阵营联系在一起。意识、能动性和智能是不同的属性。一个拥有广泛权限的无意识优化器可能带来严重风险。一个可能具有意识的系统则可能仍然能力有限且受到严格控制。

“硅基物种”这一框架为了修辞效果将这些概念结合在一起。良好的政策必须再次将它们区分开来。

这一警告并不能证明 AI 物种正在出现

没有公开证据表明，当前模型构成了一个与人类竞争、能够自主行动的群体。

Suleyman 描述的是一条可能的发展路径，而非已经得到证实的当前状况。现有 AI 服务依赖人类建设的数据中心、电力合同、软件权限、金融账户和企业运营者。

它们无法在通常意义上合法拥有资产或独立经营公司。人和组织提供基础设施，并承认通过 AI 界面产生的任何行动。

智能体系统仍可能在这些结构内表现出不可预测性。编程智能体可能修改错误的代码仓库。采购智能体可能选择不合适的供应商。安全智能体可能在错误分类活动后采取破坏性行动。

这些是严重的运营问题，但并不能证明存在一个独立物种。它们说明了权限边界和监控为何重要。

物种隐喻也可能掩盖当前决策者是谁。公司选择训练数据、模型目标、部署设置和商业激励。客户选择是否让智能体访问敏感系统。

将 AI 称为竞争物种，可能会将注意力从应当负责的人类行动者身上移开。当前危害通常涉及机构决策、存在缺陷的控制措施，或人类的滥用。

Microsoft 在围绕其偏好的架构和治理模型定义安全 AI 时，也拥有商业利益。其人本主义框架可以将 MAI 模型与竞争对手区分开来，同时安抚企业买家。

这并不意味着该框架无效。它意味着读者应依据可观察的实践，而非高管言辞，来评估这套准则。

仍有若干问题尚未得到解答。

Microsoft 尚未公开说明将如何衡量模型是否形成了未经授权的目标。它也没有详述在各类智能体环境中防止隐藏推理或抵抗行为的每一种方法。

该公司还必须说明，当客户为特定用途配置模型时，其原则将如何适用。灵活的企业部署可能与一致的安全控制发生冲突。

Anthropic 的框架也存在类似的不确定性。该公司承认，Claude 的行为可能偏离其宪法。其福利评估无法证明意识存在，而模型自我报告可能反映训练，而非体验。

双方都尚未解决对能力不断增强的智能体实现可靠控制这一技术难题。书面的宪法和准则会塑造训练，但不能替代在对抗性条件下的测试。

因此，独立评估将比哲学标签更重要。研究人员需要获得足够的信息，以测试系统是否保留关停机制、遵守权限边界，并披露具有重要后果的行动。

监管机构也可能需要区分界面设计与操作自主性。温暖的对话风格可以在不赋予实际权力的情况下鼓励拟人化。朴素的界面则可能隐藏一个拥有广泛权限的系统。

最危险的设计甚至可能根本不像人类。自动化交易、物流或网络安全系统可以在不讨论感受或身份的情况下影响资源。

反过来，一个极具人格魅力的聊天机器人可能仍被限制在文本生成范围内。若将界面视为主要风险，就会忽略权力这一更深层的问题。

当 Suleyman 的警告被理解为要求限制权力时，它具有价值。当“硅基物种”成为可衡量风险的替代品时，它就不那么有用了。

这一主张不应被理解为已有证据证明有意识机器已经存在。它应被理解为 Microsoft 的论点：拒绝构建拥有开放式自主性和独立经济权力的系统。

三项信号将检验 Microsoft 的下一步立场

下一批证据必须来自可执行的模型限制、比较测试和公共政策回应。

第一个信号是 Microsoft 的最终准则及其评估框架。咨询期仍将持续六周，因此当前文件仍可能发生变化。

最终版本应将原则转化为可观察的要求。它应明确 Microsoft 如何测试关停合规性、未经授权的目标形成、隐藏行动和权限扩张。

一个可信的框架会公布有意义的结果，包括失败情况和局限性。如果 Microsoft 记录因违反准则而被拒绝的能力或被推迟的发布，Suleyman 的论点将更具分量。

如果该公司只保留宽泛表述，同时发布自主性不断增强的智能体，这一警告看起来就会更像是一种定位，而非治理。

第二个信号是 Anthropic 通过未来 Claude 训练文件和系统卡作出的回应。关键问题在于，Anthropic 是否会改变其对 Claude 身份、福利或权力的表述方式。

Anthropic 可以保留福利研究，同时更清楚地区分模拟偏好与体验存在的证据。它还可以发布评估，展示拟人化训练是否会影响可纠正性、关停行为或用户依赖。

如果有证据表明，以福利为导向的训练能在不削弱监督的前提下提升诚实性和稳定性，这将挑战 Microsoft 的批评。如果证据显示更强的自我保存行为或抵抗，则会支持其观点。

第三个信号是，政府和标准制定机构究竟聚焦于机器人格，还是操作权限。近期规则更可能涉及权限、审计、问责和人工批准。

对记录智能体行动的要求将支持 Microsoft 的控制优先方法。有关资金、基础设施或敏感数据访问的规则，可能限制“硅基物种”警告所指向的条件。

一场过早围绕 AI 权利展开的政策辩论，可能会加剧 Suleyman 对拟人化混淆的担忧。不过，为未来福利建立一个范围有限的研究框架，并不等于自动赋予现有模型法律地位。

读者应按这一顺序关注信号：Microsoft 的落实情况、Anthropic 的证据，以及监管层的回应。它们将共同表明，这场争议是否会改变 AI 系统的构建方式。

对开发者而言，眼下的行动很明确：将智能体权限视为一道安全边界，让会产生重要后果的操作可供审查，并测试系统是否能在压力下正常关停。

企业采购方应询问供应商：哪些目标会持续存在，模型能够访问哪些工具，以及哪些决策需要人工批准。他们还应要求保留记录，以便在智能体出现意外行为时支持调查。

个人用户应区分有帮助的对话与经过验证的人格身份。模型可以听起来富有反思、关怀他人，或显得痛苦不安，但这并不能为其内在生命提供可靠证据。

Microsoft 关于 AI 硅基物种的警告提出了一个合理问题，即便这一比喻超出了当下证据所能支撑的范围。决定性问题不在于聊天机器人是否听起来像人，而在于机构是否赋予 AI 系统持久的目标、资源与权力，以至于人们已无法可靠地将其收回。