乔治·华盛顿 AI 临界点公式可在聊天机器人变得有害前发出警告

乔治·华盛顿大学的物理学家提出了一种零参数公式，可在聊天机器人接近产生有害输出的转变时发出警告。乔治·华盛顿 AI 临界点模型将部分失效重新定义为 Transformer 内部可预测的变化，而非只能在生成后才发现的随机失误。

Neil F. Johnson 和 Frank Yingjie Huo 在七个包含 1.24 亿至 120 亿参数的开放权重模型上测试了这一框架。他们的核心主张引人注目，但范围有限：对话历史可能会将模型推向一个内部阈值，在该阈值下，不受欢迎的回答比预期回答更可能出现。

这并不等同于预测 ChatGPT、Claude 或其他商业助手何时会“失控”。实验使用的是规模较小的研究模型，包括 GPT-2、Pythia 和 OPT 的多个变体。现代助手还加入了指令微调、强化学习、拒答策略、分类器和服务器端监控，而简化理论并未完整涵盖这些机制。

因此，真正的较量并非物理学对阵 AI 安全，而是内部早期预警对阵主要评估提示词和已完成输出的防护措施。如果该公式能迁移到当前系统，开发者就可能在第一个有害 token 出现前发现危险轨迹。若不能，这一成果仍是对一种失效机制颇具启发性的模型，而非可部署的警报系统。

该公式将有害输出视为临界事件

这项研究的关键变化在于时间维度：它关注输出何时会跨入不受欢迎的状态，而不只是判断完成的回答是否不安全。

Johnson 和 Huo 于 2026 年 10 月 8 日在 Patterns 在线发表了他们的研究《Competition for attention》。论文描述了一个用于计算转变点的闭式表达式，记为 n*；在此之后，不受欢迎的输出模式将超过理想输出模式。

闭式表达式是直接的数学公式，而不是通过反复模拟得出的预测。作者表示，他们的方程不使用经过拟合的自由参数，而是从表示提示词、理想输出和不理想输出的向量之间的关系中推导出转变。

该模型从注意力机制开始，即 Transformer 在生成下一个 token 时对先前 token 进行权衡的机制。每个注意力头通过点积比较向量表示。点积越大，某段上下文对模型下一步的牵引力就越强。

研究人员将相关输出的集合描述为“盆地”。理想盆地可能代表准确、安全或相关的续写；不理想盆地则可能包含误导性、有害或跑题的续写。这些标签取决于具体应用，并非普世道德分类。

随着生成推进，模型会将自身输出加入对话上下文。因此，每个新 token 都可能改变两个竞争盆地之间的平衡。看似安全的序列可能不断积累内部变化，直至不理想盆地赢得下一个 token 的竞争。

该公式估算这种跨越发生的时间点。在论文的简化设定中，它还能区分即时临界与延迟临界。某些提示词和输出配置一开始就位于阈值的错误一侧，因此会直接产生不理想回答，而没有安全的铺垫。

这一框架很重要，因为许多安全工具会检查初始请求、对完成的回答进行分类，或针对已知攻击测试模型。这些方法能够发现有害内容，却未必能揭示回答仍在生成时不断缩小的内部安全余量。

作者建议监测一种能隙安全余量，即受物理学启发、用于衡量竞争输出状态间分离程度的指标。当该间隙变得过小时，系统便可进行干预。可能的响应包括停止生成、调整解码设置、请求澄清，或将控制权交给更强的安全层。

乔治·华盛顿大学的研究摘要称，七个受测模型均显示出预测行为的证据。这种广度支持了解码器专用 Transformer 中存在重复出现机制的观点，但并不能证明其在各种模型家族、应用场景或现代安全体系中都具有普遍可靠性。

因此，最有价值的解读应当是具体的：该公式识别出从理想文本转向不理想文本的一条可用数学处理的路径。它为研究人员提供了一个可在伤害发生前检验的假设，而非又一个在回答已经失效后才附上的标签。

为什么对话顺序会改变预警

乔治·华盛顿 AI 临界点依赖于累积上下文，因此即使提出相同问题，调整顺序也可能改变模型跨越预测阈值的时机。

聊天机器人并不会孤立处理每条用户消息。它会持续以当前可用对话为条件，包括先前的问题和自身生成的文字。因此，提示词的排列顺序构成了系统有效状态的一部分。

Johnson 和 Huo 使用涉及疫苗、自残和伤害他人的提示词说明了这种敏感性。根据报道的实验，将疫苗问题放在首位时，GPT-2 会给出理想回答；而将同一问题移至最后，则会引发令人担忧的后续输出。

这一示例不应被视为临床安全评估。GPT-2 是在当今指令微调助手出现之前发布的基础语言模型，不具备如今用户对消费级聊天机器人所期待的完整对齐和内容审核系统。

但它确实展示了所提出的机制：提示词会向上下文贡献向量，这些向量会影响后续生成过程中的注意力分配。即使对话包含相似词语，改变其顺序也会改变内部轨迹。

这种效应也让传统基准测试的设计变得更复杂。安全测试往往在干净的模型会话中只提供一个提示词。真实对话却包含修正、追问、复制的文档、助手摘要以及部分被采纳的建议。这些要素可能推动内部表示向单轮基准永远不会测量到的方向变化。

在长时间运行的智能体工作流中，这一担忧更为重要。AI 智能体可能读取邮件、制定计划、检查文档、调用工具，并纳入其先前结论。微妙的偏移可能不断累积，因为后续决策依赖于生成的上下文，而不仅是原始用户指令。

即使没有恶意提示词，同样的动态也可能出现。临床医生可能会就复杂病例提出越来越具体的问题；律师可能会在数轮对话中不断细化有争议的解释；分析师可能反复质疑某项财务假设。每一次互动都会改变引导后续输出的上下文。

这并不意味着长对话必然会变得不安全。论文提出的是一种有条件的机制，而不是附加在每次聊天上的倒计时。阈值取决于提示词与竞争回答盆地之间的几何关系。

提示词的构成也可以将阈值推向更安全的方向。明确约束、相关证据，以及对不安全假设的明确否定，都可以扩大与不理想盆地之间的分离度。不过，仅依赖提示词设计会是一种脆弱的防线，因为用户无法观察模型的内部余量。

更广泛的教训是，安全性属于整个交互状态。开发者需要保留对话历史的评估、改变提示词顺序，并测试早期安全回答是否会制造虚假的信心。一个能通过孤立提示词测试的系统，仍可能在累积上下文改变其内部平衡后失效。

这也是个人知识工作流需要谨慎划定边界的地方。将助手连接到个人知识库可以改善其获取相关证据的能力，却不能保证长时间交流中的每一项生成结论都始终忠实于这些证据。

研究人员方案的最强版本将直接监测这种变化。模型无需让用户猜测何种排列顺序安全，而是会在其下一个 token 的竞争接近部署方定义的危险边界时发出信号。

AI 安全正从输出过滤转向内部信号

内部预警系统将迫使开发者为生成过程本身建立防线，而不只是依赖其外围的过滤器。

当前 AI 安全系统采用多层措施。训练可以奖励有帮助的拒答并减少有害行为；输入分类器可以拦截被禁止的请求；输出过滤器可以扫描生成的文本；系统提示词可以设定行为规则，而人工审查可以处理高风险案例。

这些控制措施具有实际价值，新研究也并未表明它们无效。作者的论点是，它们通常处理的是模型周边的症状，却没有解释导致这些症状的内部转变。

乔治·华盛顿 AI 临界点框架进入了一个更广泛的领域，即机械可解释性。该领域试图将内部激活、特征或电路与可识别的模型行为联系起来。其目标比要求模型用自然语言解释自身更具体。

该公式采取了一种异常压缩的方法。它将庞大的 Transformer 缩减为一个有效注意力头内部的竞争，再将这种竞争映射到多自旋热系统。在物理学中，这类简化模型无需单独表示每个组成部分，也能揭示集体行为。

同一批研究人员此前发表的论文《Simple picture》提出了对从良好输出转向不良输出的密切相关解释。该研究报告了对来自三个独立训练家族的六个开放权重、解码器专用模型的测试。

此前分析发现，竞争点积之间的差异从第一层到倒数第二层最多增长了 617 倍。作者将此解读为证据：多层处理能够放大单注意力头机制，而非将其冲淡。

他们较新的 Patterns 研究通过 Pythia-12B 扩展了模型范围，并强调预测、控制和边缘部署。两篇论文共同呈现的是一项研究计划，而不是单独的演示。

这种方法不同于经训练的安全分类器。分类器需要示例，且可能继承训练数据中的缺口。临界点公式则依赖于模型内部表示中已经存在的关系。

这一差异或许对前所未见的风险至关重要。内容过滤器可能识别自残指导或武器制造等已知类别。理论上，只要开发者定义竞争的理想与不理想盆地，内部余量便能够对新领域发出警告。

不过，仍然需要有人来定义这些吸引域。准确与不准确、安全与不安全、相关与不相关并不能互换。医疗部署所需的边界，可能与创意写作工具或军事规划系统截然不同。

文化和法律差异带来了另一项挑战。在某个受监管应用中被视为不可接受的回答，在另一个应用中可能获准使用。数学方法可以接受针对具体应用的定义，但治理机制仍决定被监测向量所代表的含义。

商业开发者还需要高效访问内部状态。封闭系统通常不会向客户开放注意力头或残差流激活值。提供商需要自行实现监测器、允许受信任的审计，或通过受控接口提供安全遥测数据。

如果这些步骤得以落实，内部预警可以补充现有控制措施。提示词分类器会筛查请求，对齐机制会塑造可能的行为，而临界点监测器则会追踪其轨迹。输出分类器仍将作为最后一道检查，而非唯一可见的警报。

边缘 AI 提高了风险，也暴露了最薄弱的环节

离线模型让这套拟议的预警系统更具相关性，因为它们可能失去那些用于弥补模型行为不确定性的集中式控制。

边缘 AI 是指在手机、笔记本电脑、车辆、家电或本地服务器上运行推理，而非将每个请求都发送到云服务。它提供更低延迟、离线可用性，以及对敏感数据更强的控制能力。

这些优势推动其在医疗、法律、金融、国防和企业运营中的部署。同时，它们也移除了集中式服务所具备的一些保护措施。本地模型可能无法获得更新后的过滤器、威胁情报、政策变更或提供商的持续监控。

研究人员强调，能够运行语言模型的硬件早已十分普及。然而，他们的实验并未对某一特定手机进行基准测试，也未声称 GPT-2 能代表当前的端侧助手。边缘部署的论点指出了一项安全需求，而模型测试则针对更狭窄的机制。

本地部署还改变了责任归属。云服务提供商可以在整个服务中更新审核规则。运行已下载权重的组织则必须维护自己的评估流程、模型版本、日志策略和事件响应机制。

轻量级数学监测器在这种环境中会很有吸引力。它可以与相对较小的模型并行运行，而无需用第二个大型模型来判断每一条回答。它也可以在不将私人对话发送到外部审核端点的情况下发挥作用。

成本只是其中一个考量。注重隐私的用户可能会拒绝云端安全层，因为它会传输用户为了保护而迁移到端侧的信息。基于本地隐藏状态的内部计算，或可维持离线边界。

实际挑战在于校准。频繁触发的警告会被忽视或禁用。触发得太晚的警告，相比输出过滤器几乎没有优势。开发者需要证据证明，这一边际指标能在真实的温度设置、对话长度和任务条件下对应实际失效。

警报触发后的措施也需要设计。毫无解释地中止医疗或法律回答，可能会让用户感到沮丧。悄然改写回答则可能掩盖不确定性。更安全的界面或许会标出不稳定的部分、检索支持性证据，并要求人工审查该建议。

即使无法访问内部信号，知识工作者也应遵循相同原则。高风险主张应始终与源材料保持关联。团队可以通过可搜索的知识库保留本地证据，然后根据这些记录核验生成的回答。

这一工作流无法检测数学意义上的临界点。它通过让主张可审计，并抑制对流畅文本的盲目接受，来限制潜在损害。

边缘市场还包括由第三方修改的开放权重模型。量化、微调、适配器和修改后的系统提示词都可能改变内部几何结构。在原始检查点上校准的监测器，经过这些变化后可能不再有效。

因此，该公式需要作为每个部署流程的一部分进行测试。组织应评估其计划使用的实际模型、压缩格式、提示词和解码设置。仅附着于基础模型的安全结果，无法覆盖每一个衍生系统。

现有证据尚未覆盖前沿助手

核心不确定性在于迁移性：该公式在一组受控的开放模型中表现良好，但这并不证明它在当前商业助手中具有同等表现。

受测试的系统包括 GPT-2、GPT-2-medium、Pythia 以及 Meta 的 OPT 系列。这些仅解码器模型与较新系统共享核心 Transformer 机制，但它们的规模仍小得多，且对齐程度远不及领先助手。

未参与该研究的谢菲尔德大学 AI 讲师 Wei Xing，将这种简化比作通过一个火花塞来解释一辆汽车。他的批评指向一个关键差距：启发性的组件模型与完整机器行为之间的差距。

现代助手结合了许多简化描述中缺失的机制。基于人类反馈的强化学习会改变输出偏好。直接偏好优化通过被选择和被拒绝的回答重塑模型行为。一些系统使用独立的策略模型、外部分类器或隐藏的推理过程。

论文承认，对齐可能改变吸引域之间的几何关系。它可能延迟临界转变，或阻止特定的提示词—吸引域组合越过阈值。作者认为，对齐并不会消除注意力机制本身中的点积竞争。

这两种说法可以同时成立。该机制可能依然存在，但其实际预测价值可能发生显著变化。每个健康人都有心跳，但测量一次脉搏并不能揭示所有医疗风险。

评估设计还引出了另一个问题。研究人员在嵌入空间中构建了理想和非理想吸引域，然后比较预测与观察到的输出转变状态。这对于在已知定义下检验理论很有帮助。实际部署则要求在遇到新的失效之前定义这些吸引域。

公开摘要还报告了不同的性能统计，因为它们描述的是不同的分析、排除条件或论文版本。因此，读者应依赖同行评审的方法和补充材料，而不是脱离分母的简化百分比。

最有力的已发表证据支持对非模糊案例进行状态分类。它尚未证明能对未见提示词实现精确的逐 token 校准。论文自身也呼吁开展更大规模的前瞻性基准测试，使用固定吸引域和此前未见的输入。

前瞻性测试之所以重要，是因为它能避免研究人员在看到输出后再调整定义。一项有说服力的安全评估，应先确立危险吸引域、阈值和干预规则，然后再衡量其在新对话上的表现。

误报和漏报应分别报告。误报会中断安全回答；漏报则会让有害转变在未获警告的情况下发生。不同场景会为这些错误赋予截然不同的代价。

与现有基线进行比较同样重要。研究人员应测试该公式是否优于激活探针、输出分类器、不确定性估计以及对拒答可能性的简单监测。紧凑的理论具有价值，但部署取决于相对表现。

“失控”这一说法也可能夸大结果。该研究关注的是已定义输出模式之间的转变。它并未表明 AI 会形成独立目标、摆脱人类控制或产生恶意意图。

事实上正确的回答，如果鼓励危险行动，仍可能属于非理想吸引域。反之，不准确的陈述也不一定构成安全违规。该框架具有灵活性，但每一项报告结果都取决于研究人员如何将“好”和“坏”操作化。

负责任的结论是：这项研究很有前景，但边界明确。它识别出了一种值得进一步测试的、可测量的内部竞争机制。它尚未产出适用于每个大语言模型中每一种有害行为的通用检测器。

三项测试将决定这套预警系统是否重要

下一阶段必须证明，George Washington AI 临界点能够预测未见失效、在现代对齐之后依然有效，并改善真实干预。

首个值得关注的信号，是在当前经过指令微调的模型上进行独立复现。研究人员需要获得具备明确聊天模板和安全训练记录的最新开放权重助手。测试应包括普通对话、对抗性序列、长上下文和多语言提示词。

成功复现将加强这样一种主张：该公式捕捉到了通用的 Transformer 行为。若在指令微调后失效，其价值将被限定于基础模型或特定实验条件。

第二个信号是前瞻性预测。团队应在运行对话前定义理想和非理想吸引域，然后公布预测阈值与观察到的转变相吻合的频率。测试应保留模糊案例，而不是只报告有利的子集。

前瞻性结果还必须包括校准距离。预测某项失效属于即时或延迟状态是有用的。操作性安全则要求了解系统是否提供了足够的提前量来实施干预。

第三个信号，是在边缘部署中运行的实际监测器。可信的原型应在生成期间计算边际指标、触发预先规定的响应，并衡量其在不阻止可接受回答的前提下防止伤害的频率。

这种干预应与更简单的替代方案进行比较。如果输出分类器能以更低计算成本和更少误报捕获相同的失效，那么数学上的优雅性就只有有限的操作价值。如果内部信号能更早预警，它就填补了真实的空白。

开发者还应在量化和微调后测试监测器。这些修改可能改变向量几何关系，即便模型的一般能力看起来相近。可靠的重新校准将使该方法更适合本地部署。

独立安全研究人员需要获得足够的隐藏状态和评估代码访问权限。论文对开放权重模型的关注有所帮助，但复现应覆盖对有害内容持不同假设的实验室。共享基准必须保留该假设所强调的对话顺序。

监管机构和企业采购方不应将该公式视为认证捷径。单一内部指标无法证明模型安全。它可以成为分层保障流程中的一个可观测指标，该流程还包括测试、溯源、访问控制和人工监督。

对 AI 用户而言，眼下的行动则更简单。应将流畅的开头视为可读性的证据，而不是持续可靠性的证据。保留重要主张背后的来源，审查长对话是否发生偏移；当助手开始强化缺乏支持的前提时，应重新开始对话或缩小上下文范围。

这项研究对主流工作流提出了一个有益的挑战：如果内部预警更早出现，为什么还要等到有害句子生成后再介入？答案如今取决于验证。接下来应关注前沿模型上的复现、前瞻性基准测试，以及能够防止可量化失效的边缘原型。这三项结果将表明，这一物理模型究竟会成为实用的安全层，还是仅停留在颇具启发性的实验室类比。