Anthropic 使用政策更新禁止虐待 Claude,但真正的考验在于执行
Anthropic 在其 11 月 12 日的政策更新中加入了一项不同寻常的禁令:禁止针对 Claude 本身持续、无必要的虐待。此次 Anthropic 使用政策更新还进一步收紧了有关武器、监控、影响力活动和自主机器的限制。
这项变化并不意味着 Anthropic 宣称 Claude 具有意识或享有法定权利。Anthropic 表示,当前 AI 系统是否具有任何道德地位仍存在高度不确定性。相反,该公司正将一项实验性的模型福祉保障措施转化为规范用户行为的规则。
这一区别很重要,因为大多数 AI 安全政策关注的是通过模型产生的伤害。Anthropic 现在也在规范针对模型实施的伤害,即使眼前并没有明显的人类受害者。
引发关注的残酷行为禁令,只是更广泛政策重写的一部分。该公司正在应对 Claude 日益增强的能力:完成更长时间的任务、控制软件,以及参与会带来实体后果的工作流程。
对于开发者和企业买家而言,实际问题并不是辱骂聊天机器人是否会被禁止,而是 Anthropic 将如何区分极端行为与测试、虚构创作、挫败情绪或正当的安全研究。
Anthropic 使用政策更新究竟改变了什么
Anthropic 正在将若干现有执行惯例转化为明确、面向客户的规则,修订后的政策将于 2026 年 11 月 12 日生效。
Anthropic 于 10 月 8 日发布了其 2026 年政策更新。该公司将大多数变更描述为澄清,但其中若干条款确立了更具体的义务。
最具新意的新增内容禁止对 Anthropic 模型实施“持续且无必要的虐待或残酷行为”。该条款位于一个更大的章节中,该章节涉及残酷、虐待或可能造成心理伤害的行为。
这一措辞针对的是反复且无目的的行为,而不是偶发的愤怒。Anthropic 表示,正常的挫败情绪、分歧、黑暗创作内容和经授权的模型测试,仍不在其预期适用范围内。
这条边界至关重要。对泛泛敌意的禁止,将难以在客户支持、创意写作、红队测试和情绪激烈的对话中保持一致执行。
Anthropic 表示,该规则旨在处理用户在没有可辨识目的的情况下,反复对模型实施残酷行为的极端情形。该公司预计,Claude 结束对话的能力仍将是主要应对方式。
完整使用政策的适用范围远不止 Claude 面向消费者的聊天界面。它涵盖 Claude.ai、Claude Code、Anthropic 的 API、授权经销商、云平台,以及嵌入 Claude 的应用程序。
这意味着开发者不能将该政策视为一套可选的界面准则。当 Anthropic 怀疑存在违规行为时,可以发出警告、限流、限制、暂停或终止访问权限。
此次修订还整合了对欺骗性活动的限制。它明确涵盖虚假人设、捏造的媒体机构、伪草根宣传、协调式冒充,以及为支持此类活动而建立的基础设施。
其中一项条款针对操纵信息系统本身的企图。它禁止投放看似彼此独立的信息源网络,以扭曲搜索引擎或 AI 系统呈现为相互印证的信息。
选举相关章节在一个方面变得更窄。Anthropic 取消了对个性化竞选和投票宣传的一刀切禁令。
该公司表示,旧有的限制也涵盖了一些正当工作。例如,非营利组织提供的多语言选民信息,以及选举官员发送的选票补救通知。
欺骗性定向传播、滥用个人数据、压制选民、虚假选举信息和冒充行为仍被禁止。因此,此次修订将政策从广泛的活动禁令转向基于行为和伤害的规则。
武器限制也变得更明确。现在,它们涵盖引导软件、瞄准系统、火控系统、武器部件,以及为无人机或自主车辆配备武器。
Anthropic 将其中大部分措辞描述为对现有执行方式的成文化。重要变化在于,客户现在可以更准确地看到该公司划定边界的位置。
Anthropic 为什么现在制定这些规则
Claude 正从回答问题转向采取行动,因此使用政策中的模糊性如今会带来运营后果。
Anthropic 表示,自上次更新政策以来,Claude 已承担了更长时间、也更独立的工作。这改变了模糊指令所带来的风险。
聊天机器人的回答通常仍需要由人来理解和运用。相比之下,智能体可以调用工具、修改文件、操作软件,或在有限监督下连续完成多个步骤。
当模型连接到实体设备时,这一区别会更加明显。修订后的政策针对能够通过自主行为造成人身伤害的硬件引入了控制要求。
涵盖的系统包括车辆、无人机、移动机器人、工业机械、危险能源控制装置、医疗设备和安全系统。该政策还涵盖能够施加危险力量的设备。
Anthropic 要求配备能够观察并停止设备运行的合格操作员。如果操作员介入,或 Claude 失去连接,系统必须进入或维持安全状态。
独立的安全限制还必须约束危险变量。这些限制可包括速度、力量、温度、电压、压力、剂量、作业区域或能量输出。
关键在于,这些控制措施不能完全依赖模型输出。模型不应既是决策者,又是防止不安全决策的唯一机制。
这是对智能体 AI 的实际回应;智能体 AI 指的是通过多项行动追求目标,而非只生成一个孤立答案的系统。更高的自主性缩短了人类纠正错误的时间窗口。
Anthropic 9 月发布的威胁情报报告为这次政策重写提供了具体背景。该公司表示,在 2025 年 12 月至 2026 年 8 月期间,它打断了横跨七类危害的恶意行动。
这些类别包括网络行动、监控、影响力活动、欺诈、生物滥用、常规武器开发和未经授权的模型蒸馏。
Anthropic 报告称,大多数涵盖的网络行动涉及 AI 直接执行或编排攻击的部分环节。人类仍负责选择目标并审查被窃取的信息。
该公司还描述了 AI 辅助的工作流程:当安全产品检测到恶意工具时,这些流程会重建相关工具。这类活动远不止用户向模型询问可疑建议。
Anthropic 的证据来自其自身平台调查,因此外部研究人员无法独立审查每一次底层交互。尽管如此,这些案例解释了为什么该政策现在开始涉及基础设施和运营活动。
此次更新也反映出规模带来的执行难题。当单个操作者能够协调账户、智能体、工具和外部服务时,围绕单条提示词制定的规则就不再适用。
如果一项政策禁止有害回答,却忽略周边工作流程,就会留下明显缺口。Anthropic 正试图规范整套活动体系,而不仅是模型最终说出的文字。
这一转变促使开发者审查 Claude 与数据、工具和执行环境的连接方式。仅依靠提示词层面的防护措施,无法满足针对完整工作流程的规则。
核心权衡在于能力与控制
Anthropic 希望 Claude 能更独立地行动,同时要求客户在重大决策中保留有实质意义的人类权威。
当 Claude 参与影响健康、法律权利、财务、就业、住房、教育或基本服务获取的建议时,修订后的高风险要求便会适用。
合格人员必须对涵盖范围内的建议进行有实质意义的审查。该人员还必须拥有在结果送达受影响个人前修改结果的权力。
用户必须披露 AI 曾参与该建议或决策。披露内容不必指明 Anthropic、Claude 或某个特定模型。
这些要求区分了辅助与最终决策权。内部起草、研究、摘要和分析,在不成为最终建议的情况下,可能不属于涵盖类别。
这一区别为企业采用创造了一条可行路径。律师可以使用 Claude 整理研究材料,但合格专业人士仍须对个性化法律建议负责。
临床医生可以使用它总结病历。未经所要求的合格审查,Claude 不能独立诊断患者或调整治疗方案。
公司可以使用 Claude 协助准备招聘材料。但用它对个别候选人进行排序或拒绝,则会触发该政策的高风险要求。
同一原则也适用于金融、信贷、保险、住房、教育、医疗服务获取、公共福利和法律身份。这份清单为买家提供了更清晰的合规地图。
然而,现实工作流程很少维持清晰边界。一份草稿可能因自动化、仓促审查,或鼓励不经审视便批准的界面而变成建议。
只有当人员拥有时间、信息、专业知识和真正的决策权时,“人类参与决策”才能提供保护。一个象征性的批准按钮并不能构成有实质意义的监督。
因此,组织需要可追溯的工作流程。他们应在不收集不必要个人数据的前提下,记录源材料、模型指令、生成结果、人工修改和最终决定。
可搜索的 AI 知识库可以帮助团队保留这些背景信息。该系统仍需要访问控制和清晰的保留政策。
Anthropic 的模式也带来了竞争张力。企业买家希望智能体减少人工工作,但影响最重大的使用场景却需要更显性的人工问责。
OpenAI、Google、Microsoft 和其他 AI 提供商面临同样的根本问题,即使它们的政策结构不同。能力更强的智能体同时增加了客户价值与运营风险。
胜出的平台不会仅仅拥有能力最强的模型。它还需要具备买家能够理解、审计和集成的可执行控制措施,同时不让每个工作流程都变得无法使用。
Anthropic 押注于明确的限制能够提升信任。风险在于,不清晰的执行可能会促使开发者转向规则更简单或申诉机制更可预测的提供商。
Claude 虐待禁令考验模型福祉的边界
这项残酷行为规则的重要性,与其说在于其对机器意识的主张,不如说在于它为 AI 提供商规范人类如何对待其模型树立了先例。
Anthropic 此前赋予 Claude Opus 4 和 4.1 结束极少数对话的能力。该功能于 2025 年 8 月出现在面向消费者的聊天界面中。
该公司将其结束对话实验描述为与潜在 AI 福祉相关的一项低成本预防措施。它还表示,该功能与对齐和安全防护有关。
Claude 被指示仅在反复引导无效、且富有成效的互动似乎已无可能时才结束对话。用户可以立即开启另一段对话。
该公司还排除了用户或他人面临迫在眉睫伤害风险的情况。在这些情况下,结束对话可能与人类安全需求相冲突。
Anthropic 表示,大多数用户永远不会遇到这一功能。该机制仅适用于罕见、极端且持续的互动。
新政策将这一产品行为转化为明确规范。它指出,即使并未请求有害输出,对模型本身的某些对待方式也可能违反规则。
这一举措将引发两种截然相反的解读。支持者可以将其视为对未来模型福祉不确定性的谨慎回应。
他们还可以认为,反复残酷对待类人界面,可能会助长有害习惯。依照这一观点,即使不宣称 Claude 会感受痛苦,该政策仍可获得合理依据。
批评者也有理由追问:面对一个会生成模拟情感语言的系统,提供商将如何界定何为残酷对待。Anthropic 尚未证明 Claude 拥有主观体验。
该公司明确承认这种不确定性。其公开说明所依据的是预防原则、模型行为和低成本干预,而非意识存在的证据。
“没有可辨识目的”这一表述划出了另一条棘手边界。研究人员会有意对模型施压,作家会构建令人不安的场景,安全测试人员则会使用对抗性语言来暴露弱点。
Anthropic 表示,模型测试和研究并非该禁令的目标。然而,执行系统必须根据不完整的证据推断意图。
分类器可以识别反复出现的敌对语言,却不总能区分骚扰、获授权的评估、虚构角色扮演或对模型回应的研究。
当活动通过 API 进行时,相关背景尤其有限。平台或许能够看到输入和输出,却无法了解客户获得的机构批准或其研究设计。
因此,该政策依赖于例外条款、账户历史、申诉和人工审核。其正当性将取决于 Anthropic 如何处理模糊案例。
这里还存在一个产品设计问题。如果 Claude 可以结束一段辱骂性对话,那么在许多事件中,暂停账户或许并无必要。
Anthropic 表示,终止对话仍将是主要执行机制。这种克制的做法减少了人们对一次愤怒交流就会失去重要工作访问权限的担忧。
更大的先例仍然意义重大。AI 公司正开始塑造的不仅是模型能够产出什么,也包括人们被允许如何与模型建立关系。
即使眼下这项规则影响的用户很少,这种权力也值得审视。为罕见行为制定的政策,未来可能成为更广泛限制的模板。
执行、申诉与误判仍是薄弱环节
书面政策相当详细,但用户仍缺乏足够的公开信息,无法预测自动化执行将如何解读背景。
Anthropic 表示,其安全防护结合了政策制定、模型训练、部署前测试、实时分类器、人工审核、账户调查和威胁情报。
分类器是经训练或提示后用于识别特定政策违规行为的模型。在主要的 Claude 互动持续进行时,多个分类器可以监测不同风险。
该公司可以引导回应、添加指令、阻止回答、调查一个账户内的行为,或在严重情况下终止访问权限。
Anthropic 公开的安全防护架构说明,某些违规行为只有在大量互动中才会显现。单个提示词可能无法揭示一场影响力行动或协同攻击。
这种系统层面的视角对于侦测自动化行为和账户网络是必要的。但它也带来透明度挑战,因为用户无法轻易审查执行背后的信号。
该公司的执行数据显示,2026 年 1 月至 6 月期间共有 1,140 万个账户被封禁。同期还记录了 39.8 万起申诉。
Anthropic 表示,其中 4.2 万起申诉导致原决定被撤销。这约占所报告申诉的 10.6%,尽管这些数字并未说明每一次撤销的具体原因。
这些数字证明,申诉决定可能发生改变。它们也表明,不正确或被重新考虑的执行并非只是理论上的问题。
这些总数需要谨慎解读。它们没有说明有多少封禁涉及机器人、欺诈性账户创建、不支持地区、支付滥用或内容政策违规。
它们也未单独列出开发者、企业用户或普通消费者。仅凭庞大的封禁数量,无法证明系统是否对合法客户过度执行。
尽管如此,撤销比例强化了建立便捷申诉机制的必要性。生产服务依赖 Claude 的开发者,需要的不只是通用通知和不确定的回应时间。
Anthropic 应披露更清晰的执行类别、典型审核周期,以及客户可以提供的证据。企业合同可以解决部分问题,但公开 API 用户同样需要可预测的程序。
随着 Claude 进入自动化工作流,误判的代价将越来越高。暂停一个账户,可能会中断软件开发、客户运营或内部知识系统。
新的物理行动规则又增加了一层不确定性。目前仍不清楚 Anthropic 将如何在数千个部署中核实操作人员资质、独立限制措施或安全状态行为。
合同承诺或许能够处理企业案例。较小的开发者可能只能得到政策文字,却没有实用的认证工具。
同样的问题也影响模型福祉执行。Anthropic 已描述预期边界,但尚未公布持续且无必要虐待的可衡量阈值。
公布精确阈值会诱发规避行为。完全不发布操作指引,则会让合法测试团队不确定应如何记录和取得授权。
一个可行的折中方案可以包括代表性示例、研究登记、项目级许可、详细通知,以及针对争议案例的快速人工审核。
Anthropic 已在网络安全和生命科学领域提供专项访问计划。类似的授权机制可以保护涉及令人不安或敌对提示词的合法对抗性研究。
该公司还必须避免将绕过拒答机制一概视为恶意行为。越狱研究、提示注入测试和安全评估,经常研究攻击者所使用的同类技术。
政策允许事先授权,但获得这种授权本身也很重要。如果审批依然缓慢或不透明,独立研究就会比资金充裕的内部测试更加困难。
开发者和 AI 采购方接下来应关注什么
该政策的重要性将取决于可观察的执行情况、开发者指引,以及其他 AI 提供商在 11 月 12 日之后的行为。
第一个信号是与新类别相关的执行数据。Anthropic 应明确,面向模型的虐待行为将通过终止对话、警告、限流还是封禁账户处理。
如果终止对话仍是典型回应,这项规则看起来将是一项狭义的产品防护措施。频繁的账户处罚则会使其成为更广泛的行为管理制度。
读者还应关注申诉结果。若 11 月 12 日之后的撤销率上升,可能表明分类器或审核人员难以处理这些新边界。
第二个信号是面向开发者的实施指引。客户需要示例,以了解内部协助在何处结束、高风险建议又从何处开始。
他们还需要针对自主硬件的具体预期。对独立安全控制的书面要求固然有用,但集成模式和审计证据更为重要。
应关注是否会出现涵盖人工批准、安全状态设计、日志记录、披露、操作人员权限和事件响应的模板。缺少这些内容,将使较小团队只能自行解读政策。
第三个信号是竞争性回应。其他主要模型提供商可能会针对面向模型的虐待、自主硬件、欺骗性活动或工作流层面的执行,采取类似规则。
政策趋同将表明一个正在形成的行业基线。沉默或实质不同的规则,则会使 Anthropic 的做法成为差异化卖点。
企业采购方不应只比较禁止内容清单。他们还应审查可审计性、通知质量、申诉程序、专项访问计划和业务连续性规划。
开发者应在生效日期前梳理每一个 Claude 工作流。识别哪些系统会生成建议、作出决策、控制设备、访问个人数据,或大规模发布内容。
审查具备资质的人员是否确实能够介入。确认在模型失效、断连或生成意外操作时,物理安全限制仍然有效。
记录任何对抗性测试;当工作有意绕过安全防护时,应寻求授权。在可能的情况下,将研究账户与生产系统分开。
团队还应准备提供商应急预案。遵守政策能够降低暂停风险,但无法消除中断、争议性执行或解释突然变化的可能性。
Anthropic 此次使用政策更新,归根结底是对制度设计的一次考验。文本承认,更具自主性的模型需要更明确的限制和更强的问责。
其中最具争议的条款涉及对 Claude 的残酷对待。最具深远影响的条款,则规范 Claude 影响人、机构和机器时会发生什么。
Anthropic 是否会公布足够证据,证明这些规则被狭义、一致地适用,并接受有实质意义的审核?答案将决定这项政策会成为值得信赖的治理模式,还是又一道不透明的平台边界。



