Anthropic AI 安全法案为阻止危险模型设定高门槛

据报道，Anthropic 正在游说推动一项 AI 安全法案，该法案仅在风险可能造成超过 50 人伤亡或 10 亿美元以上损失时，才允许下达阻止模型的命令。

这一门槛构成了该提案的核心矛盾。Anthropic 希望对前沿 AI 实施具有约束力的联邦监管，但政府最强有力的补救措施将以灾难性伤害的定义作为启动条件。

该提案尚未作为法案正式提出，其机密文本也尚未接受公开的立法审查。相关细节来自 Politico 描述的一份机密草案及后续报道。

即使在灾难发生之前，草案仍会施加义务。大型开发者需制定安全框架、披露风险、报告严重事件，并接受外部评估。

然而，这些预防性要求通向的是一条狭窄的执法路径。合格评估机构需标记迫在眉睫的灾难性风险，商务部将证据提交法院，再由联邦法官决定是否有理由进行干预。

这种结构使争论不再局限于先进 AI 是否需要监管。更棘手的问题是，在一个模型尚未造成担忧中的损害之前，政府需要多少证据才能将其叫停。

加州现行的前沿 AI 规则提供了最接近的参考。据报道，这份联邦草案借用了其灾难性风险门槛，但会将阻止模型的权力纳入一套联邦程序。

由此形成的是一致性与灵活性之间的权衡。单一的全国标准既能防止任意干预，也可能使证据尚不完整时的早期行动变得困难。

Anthropic AI 安全法案实际将如何运作

该提案将持续监管与一条严格受限的模型叫停路径结合在一起。

根据报道中的草案，受规制的前沿模型开发者必须制定并遵循书面安全框架。这些文件将说明每家公司如何评估严重风险，以及如何判断防护措施是否充分。

开发者还需为新发布的前沿模型公布透明度报告。他们必须向商务部报告重大安全事件，并为提出安全担忧的员工提供保护。

独立评估机构将定期审查受规制公司及其模型。这些评估机构须向商务部登记，使该部门在确定哪些机构可以开展受监管评估方面拥有正式角色。

据报道，该提案允许开发者向其评估机构付费。只有在这种财务关系不损害评估机构独立性时，才可被允许。

这一安排类似于 Anthropic 已开始自愿测试的体系。在 10 月 15 日发布的评估机构更新中，该公司表示，来自非营利组织 METR 的六名员工已获得公司硬件和类似员工的访问权限。

Anthropic 表示，METR 可以在无需公司批准的情况下发布其分析结果。Anthropic 仍可要求对预先界定类别中的内容进行删改，包括客户信息、受特权保护的材料以及某些架构细节。

其他评估机构的访问权限更为有限。Anthropic 表示，第一层级审查者获得的是由公司选择的访问权限，且只有经其批准才能发布发现结果。

该联邦提案试图将评估从自愿安排转变为受监管的体系。然而，报道中的规则仍留下一个重要问题：当实验室同时提供访问权限和报酬时，应如何衡量独立性？

草案中最具影响力的条款涉及政府干预。当模型带来可预见且迫在眉睫的灾难性风险时，商务部可寻求阻止其发布或使用。

据报道，这一风险需涉及超过 10 亿美元的损失，或导致超过 50 人死亡或重伤。该风险还必须源于特定危险，包括生物武器、网络攻击，或模型脱离其开发者控制。

识别出此类威胁的评估机构必须在 72 小时内向该部门报告。随后，商务部将向哥伦比亚特区的联邦法官提交证据。

法官而非开发者或机构单方面决定是否已达到法律标准。这一步司法程序可保护公司免受任意限制，但也会增加时间和证据方面的要求。

据报道，草案禁止其他联邦部门、机构或官员独立命令受规制实验室停止发布模型。商务部将成为启动这一特定补救措施的唯一入口。

这种排他性至关重要。AI 风险可能跨越国家安全、卫生、执法、消费者保护和基础设施等管辖领域，但草案会将最终部署决定集中至一个部门。

该门槛是法律触发条件，而非可接受的损失

这些数字界定的是法院何时可以阻止模型，而不是 Anthropic 认为多少伤害可以容忍。

关于 50 人死亡或 10 亿美元的标题，听起来可能像是开发者获得了在低于这些水平时造成损害的许可。这并非对报道中提案最准确的理解。

该门槛适用于一项特定的预防性补救措施：因预测到灾难而阻止前沿模型发布或使用。它并不会消除一般刑法、产品责任、过失索赔、消费者保护或行业特定监管。

造成较小损失的网络攻击仍可能违法。与模型相关的伤害仍可能根据其他法律引发诉讼、调查或执法行动。

草案似乎还设立了在达到灾难性门槛前即适用的义务。安全计划、事件报告、评估和如实披露，无需等到出现数十人伤亡后才执行。

尽管如此，该门槛仍塑造了政府在最关键时刻能够采取的行动。当官员认为某个模型危险、但证据仍具概率性质时，他们需要同时证明风险的紧迫性和灾难性规模。

这种组合要求很高。前沿模型评估很少能给出明确预测，断言某一系统将在固定期限内造成特定数量的伤害。

评估机构通常衡量的是能力、防护措施、访问条件和可能的滥用路径。将这些发现转化为对财务损失或伤亡人数的预测，还需要对人类行为者和部署条件作出额外假设。

“可预见”要求该危险能够被合理预期。“迫在眉睫”则要求威胁更具即时性，不过草案对该术语的确切解释将在法庭上至关重要。

一个模型可能大幅降低生物滥用所需的专业知识门槛，却没有揭示正在进行的攻击。它也可能自动化网络利用，却未锁定特定目标。

这些发现可能足以证明需要收紧访问控制、增加测试或推迟发布。但它们未必能满足法院的要求，因为法院需要证明一场迫在眉睫、且超过法定门槛的灾难的证据。

Anthropic 6 月发布的Advanced AI Framework为该草案提供了政策基础。该框架聚焦于生物武器、进攻性网络行动、失控以及自动化 AI 研究与开发。

该框架称，受规制开发者应测试先进模型、公布安全信息、聘请独立评估机构，并接受政府机构监督。它还提出了多种执法模式，而非唯一的确定性设计。

其拟议适用范围将覆盖训练规模超过特定算力门槛，并满足显著 AI 收入或研发支出测试的开发者。这些限制旨在将合规重点集中在有能力构建最先进系统的公司。

该框架在定义灾难性风险时引用了加州法律。因此，它将伤亡和损失数字视为现有的政策参考，而不是对可接受伤害的新创衡量标准。

不过，将一项定义纳入联邦法律，不只是复用熟悉的措辞。它决定了谁承担举证责任，以及不确定性何时应有利于干预。

在较低门槛下，政府可能基于薄弱预测而叫停有益技术。在较高门槛下，公众则可能面临这样的风险：直到部署已难以逆转时，证据才在法律上变得充分。

单一联邦把关机构带来清晰度，也形成瓶颈

赋予商务部独家阻止模型的权力，将使干预标准化，同时把艰难判断集中在一个机构之内。

前沿 AI 并不完全契合某一个监管类别。单一模型可能影响医学研究、军事系统、金融服务、通信和关键基础设施。

多个机构已经拥有与这些用途相关的专业知识。卫生部门了解生物威胁，网络安全机构追踪基础设施攻击，国家安全组织评估敌对国家行为。

报道中的 Anthropic AI 安全法案并不会消除这些机构拥有的所有权力。其更狭窄的影响在于，将由商务部负责启动停止受规制模型发布或使用的命令。

支持者可以为这一设计提出务实理由。指定监管机构可以建立技术团队、制定一致程序，并避免不同机构依据不同标准发布相互冲突的命令。

司法审查也可以约束这一过程。商务部需要提供足以说服联邦法官的证据，而不能依赖不透明的内部判断。

对开发者而言，这一程序提供了可预测性。公司可以了解哪个机构接收报告、哪些评估机构具备资格，以及何种法律标准决定部署争议。

可预测性不仅是商业利益。稳定的规则可以帮助安全团队作出内部决策，而不必猜测多个机构会如何回应同一证据。

反对者担忧的是机构能力。指定机构若没有足够的技术专业知识、安全基础设施、资金和审查受保护信息的权限，就无法提供有意义的监督。

Anthropic 自身的框架也承认这一挑战。它指出，政府应培养自行开展能力评估和整体风险评估的能力。

在这种能力建立之前，政府将高度依赖外部评估机构和开发者提供的信息。因此，执法质量将取决于争议进入法院前建立的访问安排。

集中化的权力也可能在快速发展的事件中形成瓶颈。评估机构必须识别威胁、通知商务部、支持证据记录，并等待司法行动。

在合规文件中，72 小时的报告期限听起来很迅速。但当一个自主系统、泄露的模型权重或活跃的网络攻击活动正在跨网络扩散时，这段时间可能显得慢得多。

该提案聚焦于由法院监督的干预措施，体现了对监管越权的合理担忧。阻止模型部署是一项非常措施，会影响客户、研究人员、国家竞争力以及与言论相关的利益。

但非常救济往往在损害变得可见之前最具价值。这使得法律标准如何处理预测、不确定性和保密证据，比单纯的标题数字更为重要。

这还涉及联邦制问题。由于国会尚未建立全面的前沿 AI 监管制度，各州已先行采取行动。

Anthropic 发言人表示，该提案反映了公司自 6 月以来一直向联邦和州立法者倡导的政策。该公司称，这些是国会应当采纳的合理措施。

Anthropic 的框架指出，只有当国会建立起符合严格安全标准的强有力制度时，才应实行联邦优先权。该框架还表示，优先权应保持狭窄范围，并在特定前沿治理职能之外保留州政府的权力。

这类表述比全面禁止各州监管 AI 更为克制。尽管如此，任何最终法案都需要明确边界，因为即使不废除每一项州法律，联邦的专属管辖权也可能削弱各州的试验空间。

独立评估取决于资金、访问权限和发表权

评估机构的名称不如其能否审查关键证据并发表不受欢迎的发现重要。

独立评估是该提案连接私营开发与公共执法的主要桥梁。政府无法针对看不见的风险采取行动，而实验室掌握着外部人士无法复现的信息。

严肃的评估机构需要获得预发布模型、训练决策、内部防护措施、事件记录，以及测试实施条件的访问权限。仅有模型访问权限并不足够。

评估人员还需要具备识别误导性结果的专业能力。模型在测试时可能表现不同，而基准测试也可能遗漏那些通过工具、长期任务或多个智能体之间的交互才显现的风险。

Anthropic 认为，嵌入式评估人员可以弥合信息鸿沟。其目前与 METR 的安排，使一个小型外部团队获得了与内部风险工作人员大体相当的访问权限。

与偶尔开展的外部测试相比，这种做法具有重大优势。评估人员可以观察公司的运作方式，而不只是于发布前不久检查一款完成的模型。

这种近距离也会带来自身压力。评估人员在公司的安全环境中工作，依赖公司提供信息，并可能逐渐习惯其假设。

报酬问题使这一议题更加尖锐。被审查公司支付费用，并不必然意味着审查方失去独立性。财务审计机构、测试实验室和认证机构常常也在类似安排下工作。

独立性取决于保障措施。报酬不能随结论而变化，持续资助不能取决于有利的发现，评估机构还必须对其公开分析拥有实质性的控制权。

据报道，该提案允许开发者提供资金，前提是这不会影响独立性。这一原则合理，但执法需要可衡量的标准。

监管机构需要审查股权利益、咨询关系、收入集中度、合同限制、人员关联，以及评估机构在失去某一客户后能否继续维持运营。

发表权同样值得关注。即使评估机构能够私下提醒监管机构，若发现严重弱点却无法公开说明，其所提供的问责仍然有限。

某些删减不可避免。公开报告不应披露客户数据、可被利用的漏洞、模型权重，或会让生物滥用变得更容易的指令。

困难的问题在于，由谁对信息进行分类，以及如何解决争议。如果开发者对每一处删减都拥有最终控制权，公众就很难核实审查方的独立性。

Anthropic 当前的制度说明了这一差异范围。与在公司第一层访问级别中工作的评估人员相比，METR 拥有更强的发表权。

这种差异凸显了联邦标准的价值。注册制度可以为所有受监管开发者建立访问、披露、利益冲突和发表方面的基准规则。

然而，仅靠注册无法保证能力。政府需要拥有足够的专家，以审查评估方法，并区分严谨的风险分析与合规表演。

评估市场也可能规模有限。具备测试前沿系统能力的组织，往往从参与 AI 开发的同一批公司、投资者或慈善网络获得资金。

这并不能证明它们的发现已受到损害。但这意味着，财务和职业关系应当被披露，而非被视为无关紧要而忽略。

汇集资金的制度可以减少对单一开发者的依赖。受监管实验室可向独立管理的基金缴费，由基金指派评估机构，而不让公司直接就报酬进行谈判。

Anthropic 的框架提出了类似可能性。它建议建立资金和标准，以便评估机构获得足够访问权限，同时保障独立性。

在高风险审查中，随机指派也可能有所帮助。但专业能力和安全许可可能限制哪些评估机构可以审查某项特定风险。

最强有力的制度将结合多种机制：最低访问权、受保护的发表权、披露的利益冲突、政府审查，以及针对最具重大影响模型的多方评估。

真正的权衡是早期行动与监管越权

该提案要求社会接受较高的证据门槛，以换取防止政府过早干预的保障。

Anthropic 将自己定位为更严格前沿 AI 规则的倡导者。其框架呼吁实行强制测试、定期风险报告、独立评估、事件披露、举报人保护和真正的执法。

这些规定比自愿承诺更具实质性。当商业压力加大时，它们将建立领先开发者无法悄然放弃的法律义务。

有争议的门槛并未取消这些义务。它规范的是最严厉的救济措施，应在这一更广泛的结构内加以评估。

不过，安全制度可能在文书要求上很严格，却在决定性环节上很薄弱。如果监管机构无法在灾难变得可预见、迫在眉睫且可量化之前延迟部署，透明度或许只能记录风险，而无法控制风险。

这是 Anthropic 面临的核心批评。该公司警告，前沿系统可能带来非同寻常的危险，但据报道，其提案将干预限制在一小部分灾难性情境中。

受覆盖风险的范围与规模门槛同样重要。生物武器、重大网络攻击和失控问题值得重点关注，因为它们可能造成广泛且难以逆转的损害。

其他严重问题可能不在这一框架内。欺诈、操纵、歧视、不安全的医疗建议、劳动替代、隐私损失和有害的陪伴型行为，可能影响许多人，却并不像一场灾难性事件。

这些损害未必应触发全国范围的模型停用。但它们说明，Anthropic AI 安全法案不能替代更广泛的消费者权益、民权、就业、医疗和竞争政策。

前沿安全法应处理罕见的系统性危险。其他法律则应管理日常部署和特定行业的损害。

挑战在于边界地带。一场分布式网络攻击可能在数千名受害者之间累积损失，却没有一个明确的、迫在眉睫的灾难性损害时点。

一个 AI 智能体可能反复超出授权访问，而每起事件看似都可控。在官员识别出具体的武器化企图之前，某种生物能力可能已在用户之间扩散。

门槛能够带来一致性，但也会制造断崖。即使两种估计都包含很大的不确定性，略低于界线的预测事件与略高于界线的事件，所受到的待遇也根本不同。

因此，数值表述可能暗示出超过当前评估方法所能提供的精确性。专家可能会对模型能力、攻击者意图、可用防护措施和可能后果存在分歧。

法院在许多领域都会处理不确定证据。据报道，该提案仍需规定哪些概率、时间范围和因果贡献能够满足其标准。

“实质性促成”尤其重要。前沿模型或许不会单独制造威胁，但它可能缩短研究时间、自动化目标选择，或让专业知识变得容易获取。

立法者将需要决定，这类协助是否足够。若标准要求模型成为主要原因，可能会遗漏由多种技术和人为决策共同构成的风险。

若标准将任何贡献都视为充分条件，则可能过于宽泛。普通软件和公开信息同样会支持合法与恶意活动。

正确答案不太可能来自一个数字。可行的法律需要与不同证据水平相匹配的递进式救济措施。

监管机构可能要求开展更多测试、限制特定能力、缩小访问范围、强制加强监控，或在寻求全面禁止前推迟发布。

Anthropic 的框架讨论了多种执法选项，包括罚款、未来部署限制，以及对已部署模型的访问限制。这一阶梯机制与灾难性终点同样值得严格审视。

加州表明联邦细节为何重要

据报道，这些门槛有其历史背景，但当它们成为联邦专属执法体系的一部分时，其影响将发生变化。

加州的前沿 AI 法律对涉及巨额财务损失或超过 50 人死亡或重伤的灾难性风险采用了类似表述。其要求重点放在透明度和关键安全事件上。

一份针对 California SB 53 的州政策分析描述了主要开发者应承担的义务，同时保护较小公司免受不成比例的合规负担。

这一先例解释了为什么 Anthropic 可以称联邦提案是既有政策的延伸。这些数字已是经协商达成的州级框架的一部分。

然而，复制一个定义并不等于复制整个监管环境。州总检察长、联邦机构、法院和行业监管者拥有不同的权力与制度激励。

除非国会取代它们，否则加州的要求可以与联邦执法并存。若联邦法律限制谁可以阻止一款模型，将形成不同的平衡。

由于联邦 AI 立法进展缓慢，围绕州权力的争论愈发激烈。各州已就前沿安全、自动化决策、深度伪造、陪伴型聊天机器人和披露要求采取行动。

由此形成的拼凑式监管确实带来合规挑战。当同一模型服务全国用户时，前沿开发者很难在各州维持相互冲突的发布标准。

国家框架可以解决这一问题。但它也可能固化较弱的标准，并阻止各州对新证据作出回应。

Anthropic 的公开框架试图寻求折中。它支持联邦规则，但表示国会只应在强有力的联邦制度所涵盖的职能范围内取代州法律。

“强大”这个最棘手的词仍未被定义。开发者、监管机构、公共利益团体和州政府官员会以不同方式衡量其强度。

伤亡门槛因易于理解而将受到关注。更技术性的条款可能决定这项法律的实际效力。

这些条款包括哪些开发者符合资格、何种模型属于受监管模型、评估人员如何获得访问权限、事故必须在多快时间内报告，以及商务部可以提出哪些要求。

针对内部部署模型的规定同样重要。公司可能会在向外部客户提供之前，先在自身研究流程中使用能力更强的系统。

如果法律只关注公开发布，可能会遗漏那些从事研究、管理基础设施，或加速下一代模型开发的内部智能体。

模型权重带来了另一项复杂因素。一旦权重被窃取或广泛传播，针对原始开发者的法院命令可能无法遏制这种能力。

在这种情境下，预防性安全要求可能比后续的部署禁令更重要。因此，提案中关于模型安全和事故通报的规则值得仔细审视。

国会还需要协调商务部与掌握威胁情报的机构。专属权限不应演变为对信息的独占获取权。

指定办公室可以接收来自卫生、网络安全、国防、情报和执法机构的证据，同时继续负责向法院提出申请。

这种结构将在避免孤立的同时保留单一决策渠道。目前尚不清楚据报道的草案是否建立了此类协调机制。

在其成为法律之前值得关注的事项

以下三个信号将表明，该提案是会发展为可执行的监管机制，还是仍停留在由行业起草的政策纲要层面。

第一个信号是公开的立法文本。Politico 报道称，Anthropic 代表正私下向立法者展示一份机密草案，但在议员正式提出之前，提案并不等同于法案。

正式提出的文本将披露定义、适用门槛、优先适用条款、执法工具和程序期限。委员会分配情况和具名提案人将显示该提案是否具备在国会推进的可信路径。

公开文本还将让专家检验标题所传达的解读。它可以确认，据报道的灾难门槛究竟适用于所有阻断性行动，还是只适用于一项已定义的救济措施。

如果立法者保留较高门槛，同时在其下方增加分级干预措施，该框架将更能应对不确定风险。如果该门槛成为采取预防行动的唯一途径，对干预延迟的担忧就会更加强烈。

第二个信号是评估人员规则手册。Anthropic 现行安排证明嵌入式审查在操作层面是可行的，但并未确立普遍标准。

商务部需要为登记、专业能力、资金、访问权限、利益冲突、安全和发布制定标准。该流程还应说明，评估人员如何对被扣留的信息或存在争议的删节提出质疑。

嵌入式评估人员发布的首批公开报告将构成一项实际检验。读者应审视这些报告是否指出弱点、说明访问限制，并将证据与公司的主张区分开来。

一份仅确认合规的报告几乎无法揭示什么。一份记录分歧和未解决风险的报告，则能提供更有力的独立性证据。

第三个信号是对州级权限的处理。州立法者一再主张，地方规则填补了国会留下的空白。

关于州监管推动的近期报道表明，联邦优先适用权为何仍在政治上高度敏感。最终法案必须明确哪些州级职能得以保留。

与前沿模型测试相关的有限优先适用，可以在减少重复合规的同时保留州层面的消费者和公民权利保护。广泛的优先适用则可能将单一联邦标准变成上限。

开发者、企业采购方和普通用户都应关注这些细节，因为模型治理会影响产品可用性和信任。一项发布延迟可能改变供应商路线图，而薄弱的监管可能将未经衡量的风险转移给客户。

企业团队不应等到国会行动后才向供应商询问安全框架、事故报告、评估人员访问权限和模型变更通知。这些问题有助于采购方判断，供应商的保证有多少证据支撑。

知识工作者同样需要一种可靠方式，来保存不断变化的政策文件、评估结论和供应商承诺。可检索的AI 知识库可以让这些记录与采购和风险决策保持关联。

Anthropic AI 安全法案引发了一场有价值的讨论，但两个标题数字并不能解决问题。真正的考验在于，立法者是否能建立一套系统，在灾难性证据变成灾难性现实之前采取行动。

请关注正式提出的文本、可执行的评估人员标准，以及联邦与州级权限之间的清晰边界。这三项进展将表明，该提案提供的是可信的预防机制，还是主要为已近在眼前的紧急情况提供一条狭窄的法律路径。