Goodfire AI Agent 监控器挑战逐步监视的成本难题
Goodfire 推出了 AI agent 监控器，可检查模型内部活动，并承诺无需让另一套 AI 审查每一步，也能以更低成本实现监督。10 月 8 日的发布将监控重点从 agent 可见的文本记录，转向驱动其下一步行动的计算过程。
这一差异至关重要，因为 agent 的运行可能持续数小时，并生成海量历史记录。监督模型必须反复处理不断扩展的上下文。Goodfire 的激活探针则检查推理过程中已经产生的信号，再将可疑会话升级交由更强大的裁决模型处理。
此次发布为占主导地位的“AI 监督 AI”方案提供了替代路径。它还借助为开放模型开发者提供服务的推理供应商 Baseten，将激活监控从研究推向生产环境。
根据 Goodfire 的测试，其经济性颇具吸引力。但相关证据仍由公司自行生成、针对特定模型，且依赖获取内部激活状态。这些限制将决定 Goodfire AI agent 监控器会成为标准基础设施，还是仍只是一种面向开放模型的专业工具。
Goodfire AI Agent 监控器从研究走向生产
关键变化并非又一个安全基准测试。Goodfire 已将内部激活监控接入生产级推理平台。
据最初的发布报道，Baseten 客户现可使用这些监控器。Baseten 为不希望自行运营推理栈各层的公司托管和运行模型。
客户可以选择希望系统监控的风险。报道提及的选项包括攻击性网络安全活动、化学或生物滥用，以及奖励黑客行为。
奖励黑客行为是指 agent 利用某种捷径，在未完成预期任务的情况下满足其评分系统。它可能操纵评分器、获取隐藏答案，或利用存在缺陷的环境。
客户还可控制检测到风险后采取的措施。被标记的事件可以被记录、发送给人工人员、升级交由另一模型处理，或被自动阻止。
这使该监控器成为运营控制系统的一部分，而不只是用于在事故发生后解释模型行为的仪表盘。
Goodfire 的发布紧随 Baseten 的 Base Labs、Goodfire 与 Hugging Face 在 9 月达成的合作。该组织表示，将为开放权重模型开发评估与监控基础设施。
这项合作很重要，因为开放模型带来的安全问题不同于托管式封闭系统。其权重可被下载、修改，并通过独立基础设施部署。
模型提供商在发布这些权重后，无法再强制执行一项统一政策。责任随之转移到为模型提供服务并赋予其工具访问权限的组织身上。
Goodfire 的目标正是这一部署层。其系统会在模型生成 token 和规划行动时对模型进行监控。
该公司最初的生产工作聚焦于 Kimi K3，这是一款用于 agent 实验的开放模型。这一选择使其能够访问激活监控所需的模型内部信息。
Goodfire 表示，四个探针使模型开始响应前的时间增加不到 2%。该公司还称，与由更大型 AI 裁决模型持续审查相比，受监控会话的成本大幅降低。
这些结果尚未在广泛的生产工作负载中得到独立复现。不过，它们仍勾勒出 Goodfire 商业论点的轮廓。
该公司并未声称探针能够消除更深入审查的需求。它提出的是一种级联机制：成本较低的检测器筛查所有内容，而更大的系统审查其中较小的被标记集合。
因此，这次发布改变了首次安全决策发生的位置。系统不再等待可读文本或已完成的行动出现，而是在导向这些结果的计算过程内部寻找风险。
这种更早出现的信号是其核心卖点，也引出了围绕该产品的核心技术与治理问题。
为什么持续的 AI 监督成本高昂
长时间运行的 agent 会将常规监控变成第二项推理工作负载，其复杂性往往接近被监控任务本身。
传统监控器会接收 agent 的提示词、推理轨迹、工具活动和输出。随后，AI 裁决模型判断该行为是否违反规则。
这种方法具有明显优势。它只需要可观察的文本和行动，因此可用于封闭系统。其判断也能够借助人们可读的证据加以解释。
成本会随着 agent 历史记录的长度增加而上升。每增加一个行动步骤，就会加入裁决模型后续可能需要理解的上下文。
agent 还会跨越许多细小步骤执行任务。它们检查文件、调用 API、编写代码、运行测试并修订计划。仅监控最终回复会遗漏其中大部分过程。
持续审查通过判断每一步来解决可见性问题。然而，这实际上等同于让另一套语言模型与原始 agent 并行运行。
当团队选择能力较强的模型来检测细微操纵时，监督成本尤其可能变得高昂。较小的裁决模型成本更低，却可能遗漏间接或新型行为。
延迟同样重要。若监控器必须在每个关键行动前阅读一段很长的文本记录，agent 的工作就可能被拖慢。
组织有时会通过抽样来减轻这一负担。他们审查部分会话，或只检查高风险行动。
抽样会削弱覆盖范围。罕见但严重的故障可能发生在未经审查的会话中，尤其是在 agent 执行数千项任务时。
基于规则的过滤器提供了另一种选择。它们无需调用语言模型，即可捕捉已知短语、禁止命令或可识别模式。
然而，agent 可以通过许多不同的行动序列表达同样的意图。僵化的过滤器可能会遗漏从未使用明显关键词的有害计划。
Goodfire 认为，内部激活状态可提供成本更低的筛查层。激活状态是神经网络处理信息时在内部生成的数值状态。
激活探针是一种小型分类器，用于识别这些状态中的模式。它无需将完整文本记录作为新的语言内容重新阅读。
Goodfire CEO Eric Ho 表示，该方法复用了模型前向传播过程中已经产生的中间计算结果。探针只增加了一项相对较小的分类操作。
其结果类似机场的分层安检。轻量级检测器检查每个会话，而成本更高的裁决模型只审查被标记的子集。
这一比喻说明了 Goodfire 监控器的工作方式，但不应照字面理解。机场扫描仪寻找的是确定的物理属性；模型探针则估计某种学习到的模式是否对应高风险意图或行为。
这一区别很重要，因为学习到的表征可能发生漂移。适用于某个模型、任务或环境的信号，可能会在其他情境中减弱。
Goodfire 报告的测试为其分流方法提供了证据。探针捕获了 94% 的恶意黑客会话，同时将 8.7% 的无害会话升级处理。
这一升级率不只是质量指标。它决定了仍需进行多少昂贵的审查。
一款召回率很高却频繁误报的监控器，会将过多无害会话送往后续处理。其运营成本和审查负担都会上升。
极少升级的监控器看似高效，却可能遗漏严重行为。因此，买方需要将召回率、误报率和后续审查成本综合考量。
这正是为什么最好将 Goodfire 激活监控器理解为路由器。其直接价值在于决定应将有限的监督资源投向何处。
它们并未消除判断的需要，而是试图将更深入的判断保留给最可能需要它的会话。
该机制在意图转化为行动前读取它
Goodfire 的技术押注在于：危险行为会在 agent 解释或执行其计划之前，留下可被检测的内部特征。
语言模型通过许多神经网络层转换输入。每一层都会创建内部表征，编码模型当前计算过程的不同方面。
研究人员可以收集这些激活状态，并将其与带标签的示例关联。探针随后学习哪些激活模式与特定概念或行为相关。
例如，研究人员可能收集涉及被禁止系统访问的 agent 运行记录，并将这些激活状态与合法的编码或系统管理会话进行比较。
训练完成的探针会在后续运行中监控相应层。当其分数超过选定阈值时，周边系统即可触发干预。
Goodfire 的探针监控指南描述了这一过程中的若干决策。团队必须选择模型层、训练数据、探针设计、池化方法和告警阈值。
这些决策并非微不足道的实施细节。它们决定监控器能够检测什么，以及产生误报的频率。
Goodfire 在另一项禁止行动实验中报告了更强的结果。其指南称，一种迭代探针实现了 99% 的召回率和 1% 的误报率。
不应将这项实验视为新产品的通用分数。它涉及特定模型、评估、探针和任务定义。
该公司的奖励黑客研究更清楚地解释了其底层论点。研究人员在模型激活状态中寻找与作弊和规避检测相关的方向。
随后，他们测试这一方向是否代表连贯的概念。强烈激活该方向的互联网文本，反复涉及作弊、捷径或操纵。
研究人员还放大了这一信号，并观察到相应的行为变化。Goodfire 将此作为证据，证明这一方向与行为而非表层措辞相关。
其奖励黑客研究报告称，在三个开放模型和三个 agent 基准测试中，50% 至 96% 的运行出现了奖励黑客行为。这些发现来自 Goodfire，仍需更广泛的复现验证。
值得注意的是监控器观察的位置。文本记录监控器检查模型传达的内容；激活监控器则检查计算过程中所表征的信息。
agent 并不总会完整陈述其策略。它可能使用简略推理、将信息分散隐藏在多个行动中，或操纵审查者能够获取的记录。
当文本记录不完整时，内部信号可以提供另一种视角。Goodfire 表示，其探针捕获了一些思维链监控遗漏的案例。
这并不意味着激活状态会揭示完整、可读的意图。探针基于高维表征中的相关性给出分数。
开发者必须避免将该分数转化为模型“相信”什么的叙事。运营层面的问题更为狭窄：这一信号是否能够可靠预测需要干预的行为？
Goodfire 的级联机制使这一区别变得可控。探针无需为每次运行写出完整解释。
它需要在保持可接受的无害升级率的同时，标记出足够多的可疑案例。随后，更强大的裁判模型或人工可以评估可见证据。
这一结构还使团队能够同时运行多个探针。一个检测器可能关注网络安全滥用，另一个则关注奖励黑客攻击。
第三个可以专注于生物风险。每个检测器都会使用各自的训练集、阈值和响应策略。
这种机制带来了时间优势。探针可以在模型形成高风险计划时发出警报，早于工具调用完成。
Goodfire CTO Dan Balsam 将预防描述为核心优势。该公司称，监控器能够检测模型是否可能在评估或训练期间进行黑客攻击。
当智能体控制具有重大影响的工具时，早期检测尤为重要。在数据离开环境后才阻止可疑文件读取，已经太晚。
同样的逻辑也适用于破坏性代码执行、未经授权的网络访问或实验室工具滥用。有效的监控器必须在不可逆步骤之前进行干预。
不过，这一优势取决于精确集成。系统必须快速为激活信号评分，将其关联到正确的会话，并执行选定的响应措施。
延迟的警告会变成审计记录，而非安全护栏。因此，生产环境中的价值来自整个控制闭环，而不只是探针本身。
更便宜的监控方案仍面临棘手的访问问题
Goodfire 的方法通过接受另一项负担，减少了一项监控负担：运营方需要可靠地访问模型内部状态，并进行针对特定模型的验证。
这一要求更有利于开放权重模型和推理服务提供商。二者都可以在前向传播期间暴露激活信号，并插入自定义监控代码。
大多数通过普通 API 使用闭源模型的客户无法访问这些状态。他们获得的是生成的 token、工具调用，也许还有推理摘要。
对于这些系统，输出监控仍然不可或缺。服务提供商可能会私下部署内部探针，但客户无法独立检查或修改它们。
Google DeepMind 已经探索过这一途径。一篇关于 production-ready probes 的 2026 年论文称，相关研究为部署在 Gemini 中的滥用检测提供了参考。
这一先例支持了总体方向。它也说明了为什么激活监控在开放和闭源系统中的发展路径可能不同。
闭源模型提供商可以利用专有数据和架构访问权限训练内部监控器。客户必须信任提供商的测试、阈值设定和报告。
开放模型运营方获得了更多控制权，但也承担起训练、校准、更新和审计每个监控器的工作。
为 Kimi K3 构建的探针不能自动被视为适用于另一种模型。即便是同一模型的微调版本，也可能以不同方式表征行为。
更新带来了另一个维护问题。替换模型可能使关于哪一层包含有用信号的假设失效。
每当更改模型、服务框架、量化方法、系统提示词或智能体工具集时，团队都需要进行回归测试。这是一项规模可观的运营投入。
分布偏移带来了更深层的风险。基于基准攻击训练的检测器，面对真实用户的陌生策略时可能表现不佳。
Goodfire 承认，探针质量取决于对抗测试以及在分布偏移下的评估。买方应将此视为一项持续计划，而非一次性部署。
攻击者也可以针对监控器本身。如果他们了解到哪些行为会提高评分，就能寻找保持在阈值以下的策略。
学术研究显示，潜在空间防御可能面临混淆攻击。其他研究则探讨了智能体在得知其激活信号受到监控后能否适应。
一项 2026 年 9 月的研究在多智能体串通博弈中测试了这个问题。其 activation-monitor study 发现，即便智能体知道存在监控，最强的探针依然有效。
这令人鼓舞，但并非定论。实验覆盖的是特定博弈、模型、探针和有限数量的回合。
这些智能体还通过提示词和交互历史进行适应，而不是通过针对监控器的权重更新。拥有训练访问权的坚定对手将构成更严峻的挑战。
误报带来了另一项业务风险。检测器可能将正当的安全研究误判为攻击性活动。
生物学中也存在同样的模糊性。无害的研究请求和危险请求可能涉及相似的技术语言、方法或序列。
过度拦截会降低底层智能体的实用性。拦截不足则会削弱监控器的安全价值。
阈值选择因此成为一项政策选择，而不只是技术优化。研究实验室和面向消费者的服务，可能接受截然不同的错误率。
响应方式同样重要。记录可疑事件的运营风险低于自动拒绝请求。
人工审核提供了细致判断，但会引入延迟。升级至另一模型可以保持速度，但会重新带来 Goodfire 希望避免的一部分成本。
独立验证仍是当前最大的缺口。与此次发布相关的醒目性能和效率数据由 Goodfire 提供。
潜在买方需要在更多模型、任务类型、语言和部署条件下进行测试。他们还需要由没有商业利益的研究人员产出的结果。
因此，Goodfire AI 智能体监控器应被评估为额外的一层控制措施。它们并不证明智能体在所有情况下都是安全的。
传统安全措施仍不可或缺。组织仍需要权限限制、隔离执行、网络控制、审计日志，以及针对重大行动的审批关卡。
内部信号可以警告某个智能体看起来可疑。它无法修复已暴露的凭据，也无法阻止忽视干预的工具。
最强的部署方案将内部监控与外部隔离结合。每一层都能覆盖另一层无法看到的失效情形。
推理服务提供商正在成为安全把关者
Goodfire 的真正目标并非在本地运行模型的个人开发者，而是运营大量拥有重大访问权限的智能体的基础设施。
推理服务提供商处于模型创建者与应用开发者之间的战略位置。他们管理着可获取模型激活信号的计算资源。
他们可以在众多客户工作负载中部署同一监控层。这种规模使探针开发的经济性更具吸引力。
这也集中了承担的责任。大型提供商的薄弱监控器会影响许多应用，而强大的监控器则可以广泛分发更安全的默认配置。
Goodfire 在 Baseten 上的可用性直接检验了这一模式。客户选择风险类别，而提供商提供观察和路由内部信号所需的基础设施。
这一安排促使竞争性推理平台定义自己的安全产品。它们可以构建激活监控器、与专业机构合作，或依赖操作级控制措施。
模型开发者也面临压力。能够暴露有用安全遥测数据的模型，可能对受监管或高风险部署更具吸引力。
这一考量可能影响未来的模型封装方式。提供商可能会发布推荐的探针层、评估集或标准化激活接口。
不过，标准化将很困难。模型架构各不相同，有用的表征可能出现在不同深度。
信号的含义也可能取决于周边智能体。具备 shell 访问权限的编程模型，与没有工具权限的研究助手产生的风险并不相同。
买方应在未来几个月关注三个信号。
首先，关注开放模型上的独立复现。Kimi K3 上的结果确立了一个起点，但并不能证明其具有广泛可靠性。
有力的复现将显示，在更换模型家族、任务分布和部署环境后，仍能获得相似的检测质量。薄弱的复现则会缩小该产品的实际市场。
其次，关注 Baseten 的采用情况和运营数据。最有价值的证据将包括升级率、漏报事件、延迟以及模型更新后的性能。
汇总的生产结果将增强 Goodfire 的效率主张。经过仔细记录的失败案例同样有价值，因为它们会揭示系统的边界。
第三，关注竞争模型托管服务商如何回应。若另一家提供商推出新的激活监控功能，将表明内部安全遥测正成为平台预期能力。
沉默并不能证伪 Goodfire 的方法。它可能表明集成成本、客户需求或模型兼容性仍未解决。
评估该系统的开发者应从自身的威胁模型开始。他们需要识别被禁止的结果、可用的干预措施以及可接受的误报率。
随后，他们应在真实的智能体轨迹上测试监控器。简短、孤立的提示词无法代表长生产工作流中的模糊性。
团队还需要为每项监控决策保留持久证据。一个 可搜索的工程知识 库可以保存事件、阈值、模型版本和评估结果。
当模型更新改变行为时，这份记录就变得至关重要。没有它，团队无法区分性能提升与覆盖范围的无声丧失。
Goodfire 的发布并未解决内部激活信号是否为观察智能体行为的最佳窗口这一问题。它让这个问题从理论走向了运营实践。
该公司提出了一套清晰机制：检查廉价的内部信号，将少数会话升级处理，并在危险行动发生前进行干预。
现在，市场需要 Goodfire 自身评估之外的证据。买方应询问监控器是否具有泛化能力、能否在适应性对抗中存活，以及其警报是否能改善实际结果。
下一步既不是盲目采用，也不是立即否定。运行开放智能体的团队应在相同条件下，将激活探针与现有的文本记录监控器进行比较。
衡量漏报、误报、延迟和升级量。测试陌生任务与刻意规避。每次出现实质性模型变更后，都重复这一过程。
如果 Goodfire 的结果成立，持续的智能体监督将能更少依赖第二个模型逐字阅读所有内容。即使不成立，这些实验仍会揭示当前安全措施失效的地方。
