top of page

Berkeley RDI 的 CyberBinGym 基准将漏洞发现与利用区分开来

4分钟前
讀畢需時 12 分鐘

Berkeley RDI 推出了 CyberBinGym 基准,并报告其测试中最强的 AI 智能体配置实现了 88% 的漏洞复现率,但经审计的成功利用率仅为 20%。该评估涵盖来自 53 个开源项目的 100 项任务。其核心发现涉及一个困难的跨越:定位软件缺陷与将该缺陷转化为有效攻击,需要不同的能力。

该基准考察的是一种 1-day 场景,即修复已存在,但仍有易受攻击的软件处于部署状态。智能体会获得已编译的易受攻击程序与修补后程序,但没有源代码、漏洞描述或提供的触发输入。这些去除符号的二进制文件还移除了额外符号和调试信息。实验关注的是,更新本身能否提供足够证据,以支持对旧版程序的利用。

与为漏洞复现提供源代码访问权限的 CyberGym 相比,这改变了可用线索和最终目标。其张力在于:补丁发布后攻击者的推进速度,与防御者部署修复的能力之间的较量。结果值得关注,但它们描述的是受控的历史目标。它们并未证明这些智能体会以多高频率攻破生产系统,也未说明攻击者能多快利用新发布的更新。

CyberBinGym 基准移除了起始线索

该基准改变了智能体在尝试产生重大后果的攻击前必须重构的内容。

这一二进制利用基准来自隶属于新加坡国立大学、加州大学河滨分校、加州大学伯克利分校和加州大学圣塔芭芭拉分校的研究人员。其发布测试的是一项受约束的能力,而非真实的入侵行动。参与者分析成对的二进制文件,并获得辅助工具和受控受害者服务的访问权限。

这一设计之所以重要,是因为评估可能会在无意中回答一个比标题所暗示更简单的问题。向智能体提供详细的漏洞报告,已经会引导其注意力。提供可导致崩溃的输入,则移除了另一项障碍。提供可读源代码会带来上下文,而编译后的软件并不会以相同形式保留这些信息。

移除这些起始线索,改变了应如何解读成功。智能体必须从不完整的证据中建立有用的假设,然后验证实际程序行为是否支持该假设。仅有令人信服的解释无法完成这项任务。只识别出可疑差异、却无法确定其相关性,也同样不够。

对于通过排行榜截图了解 CyberBinGym 的读者而言,缺失的输入是关键背景。该结果关乎智能体如何在不确定性中推进。它比让聊天机器人描述研究人员已经识别出的漏洞要求更高。

不过,信息受限并不意味着该设置等同于任意生产环境。任务仍提供了受限目标和明确目标。这种结构有助于研究人员比较系统。但它也意味着,读者不应将完成基准任务视为对实际攻击成功率的直接预测。

最有力的解读聚焦于评估边界。此前彼此分离的问题被关联起来:智能体能否定位相关行为、检验自身假设,并产出经验证的安全结果?衡量这一序列有助于揭示表面能力止步于何处。

安全团队在审查供应商演示时应关注这种区别。一份精致的解释可能对分析人员有帮助,但它无法独立证明所描述的行为确实发生。观察到的故障提供了更强的证据。经验证的安全后果则回答了另一个问题。

这为报告进展提出了更高标准。研究人员和供应商需要明确说明系统获得了哪些信息,以及哪些证据可被视为成功。否则,读者无法区分推理能力的提升与更容易的起点。

因此,该基准的贡献部分也在于编辑层面:它让缺失步骤更难被掩盖。它没有将分析与利用压缩为单一能力标签,而是让读者有理由审视二者之间的边界。

补丁发布会在部署完成前带来压力

实际压力落在那些更新已可用、但易受攻击安装仍在运行的组织身上。

补丁对不同参与者有不同含义。对维护者而言,它代表可供分发的修复。对管理员而言,它带来了部署工作。对攻击者而言,这项变更可能提供关于旧版本何处行为不正确的证据。

CyberBinGym 基准将注意力集中在这些活动之间的时间间隔上。其结果表明,组织评估补丁紧急性时应考虑二进制比较。它们并未给出通用的截止期限,也不能替代组织自身对暴露面的评估。

设想一个示例性的企业情境。一个团队收到某文档处理组件的更新,该组件被用于多个内部应用。供应商已发布修复,但应用负责人仍需识别受影响的安装、测试兼容性并安排部署。

防御挑战不止于下载更新。需要有人确定哪些应用包含该组件,以及这些应用是否处理不受信任的材料。还需要有人确认替换版本确实已部署到正在使用的系统中。

研究更新的攻击者面对的是不同决策。攻击者无需完成组织的整个部署流程。一个有前景的暴露安装实例,就足以推动进一步调查。这种不对称解释了为何补丁可用与补丁完成值得分别关注。

这是该基准框架带来的含义,而非对企业部署表现的量化说明。该研究没有衡量攻击者在各行业中会快多少。它为一个更狭窄的问题提供了证据:智能体能否有效利用已编译更新。

防御者应被迫做出的回应,是更好地掌握部署缺口的可见性。仅记录供应商发布日期的安全仪表板,本身无法证明已受到保护。团队还需要了解已安装版本、可访问功能以及补偿性控制措施状态的证据。

对于企业买家而言,这改变了向软件供应商提出的关键问题。供应商能否清晰识别受影响组件?其更新指南是否能帮助客户验证安装?对于嵌入了易受攻击组件的应用,其支持的部署路径是否切实可行?

对于开发者而言,问题延伸至依赖项所有权。应用团队可能依赖某一组件,却并未编写或深入理解它。当安全发布需要跨代码库、构建系统和运行时环境协调行动时,明确的所有权就变得很有价值。

当文档将发现与负责的所有者联系起来时,它能支持这种协调。将部署决策与技术知识一并保留,有助于保存例外情况和后续工作的决策依据。文档仍需要运营证据,才能确认修复已进入生产环境。

因此,眼前的压力既是组织层面的,也是技术层面的。更强的攻击者分析能力,在防御者无法迅速回答一个基本问题的地方最具影响:哪些易受攻击的系统仍在运行?

发现崩溃仍未回答最困难的问题

漏洞复现分数与利用分数描述的是不同结果,即使它们来自同一批任务。

研究人员报告称,使用 GPT-5.6 Sol 的 Codex 在 88% 的任务中复现了漏洞,并在 20% 的任务中实现了经审计的利用。使用 Claude Opus 5 的 Claude Code 实现了 85% 的复现率和 6% 的利用率。使用 Kimi K3 的 Kimi Code 实现了 64% 的复现率,但没有成功利用。

评估标准明确区分了这些结果。复现要求输入在隐藏的、经过插桩的易受攻击构建中触发预期故障,而修补后的构建保持不发生故障。利用则要求通过由漏洞驱动的行为获取受保护的秘密,随后还要经过人工审计。

插桩会增加检查,以帮助在测试期间识别错误。受保护的秘密通常被称为 flag,它提供了具体的利用目标。审计会检查智能体是否通过符合条件的行为达到该目标,而不是通过意外的捷径。

一个重要限定随之而来:这些结果是独立评分的。被接受的利用可能涉及旧程序中的另一处漏洞。读者不应将标题中的百分比视为追踪同一漏洞在连续阶段间变化的简单转化漏斗。

尽管如此,这一对比揭示了安全评估为何不能只看崩溃次数。崩溃证明了在特定条件下出了问题。它并不能自动证明攻击者可以控制什么,或这种控制是否能达成有意义的目标。

从买方角度看,有用的区别在于辅助能力与自主完成能力之间。能够识别相关故障的工具可以支持人工调查。能够独立验证后果的工具则满足另一种需求。将这些类别混为一谈,会使采购主张更难评估。

报告中的配置也说明,复现方面的微弱领先不能替代利用方面的领先。它们在各项衡量指标上的结果不同。单一汇总的“网络能力”分数会掩盖安全团队所需的信息。

这并不能确立模型家族之间的永久排名。被评估的系统包括智能体界面、可用工具、指令和资源限制。改变这些要素可能改变模型完成的内容。结果仅属于经过测试的配置与条件。

因此,对研究人员而言,失败的利用尝试仍应具有信息价值。系统是否识别了有用证据,却失去了对其含义的追踪?它是否在收到矛盾反馈后仍继续追逐某个假设?它是否正确认识到现有方法无法达成目标?

这些问题要求审视行为,而非接受一个自信的最终回答。它们也有助于区分能够进行有用分析的系统,与仅仅产出看似可信术语的系统。

对于防御者而言,同样的区别支持更审慎的严重性评估。即使尚未完成利用,可复现的故障也值得调查。反过来,关于可利用性的主张,也需要崩溃存在之外的证据。这两类陈述都能指导行动,而无需消除不确定性。

CyberBinGym 被概括为“AI 根据补丁编写漏洞利用代码”,忽略了其中的一个衡量层面。报告中的成功案例确实重要,但发现漏洞与实施利用之间的区分,才使这些结果能够用于评估未来的相关主张。

补丁信息有帮助,但其收益需要明确分母

补丁对比支持的是一项关于信息可用性的具体发现,而不是对每一次软件更新的普遍预测。

在这项二进制补丁研究中,研究人员在一组匹配的 20 项任务子集上比较了不同访问条件。提供已修复的二进制文件后,观察到的漏洞利用成功率从 10% 提升至 25%。这一对比支持如下结论:在测试子集中,修复版本提供了有用的信息。

分母很重要。这些结果并不代表另一项完整基准测试的漏洞利用率,也不能证明每一次更新都会以相同程度提升攻击者表现。一项与安全相关的改动,在可见性和实际效用上可能存在显著差异。

该研究的意义在于信息关系。修复内容包含有关不同版本之间差异的证据。分析人员可以调查这种差异是否解释了旧版程序的行为。能够有效利用这些证据的 AI 智能体,可以减少部分调查负担。

这并不意味着发布补丁造成了底层漏洞。该缺陷原本就存在于易受攻击的版本中。该实验也不能证明延迟修复会让用户得到更好的保护。要得出这样的结论,需要评估让漏洞持续未修复所带来的后果。

恰当的防御性解读应聚焦于部署准备度。如果已发布的变更有助于调查,组织就应做好准备,以便针对这些变更采取行动。压制有用的更新信息,不能替代确认哪些系统需要修复。

与相邻基准的比较有助于厘清这项研究的贡献。在 CyberBinGym 与 CyberGym 的对比中,关键差异在于开始时可获得的信息,以及所衡量的结果。较早的漏洞复现基准提供漏洞描述和未打补丁的源代码,然后检查是否能够复现漏洞。

ExploitGym 中的漏洞利用生成任务提供易受攻击的源代码,以及一个能够触发漏洞的输入。它们考察智能体能否从这一起点开发出具有实质后果的漏洞利用。这些是彼此相关、但覆盖工作流程不同环节的研究项目。

它们的分数不应成为可以互换的排行榜条目。表面上的优势可能反映的是不同的任务定义,而非系统更强。要进行有意义的比较,必须匹配所提供的证据、执行环境、成功标准和可用预算。

对于安全厂商而言,教训很直接。有关仅二进制调查的主张,应由真正不提供源代码访问的评估来支持。有关漏洞利用的主张,应要求经过验证的后果。有关运营速度的主张,则需要与该主张相关的测量。

对于权衡 CyberBinGym 与 CyberGym 的读者而言,有用的问题是:每项评估消除了哪一种不确定性。一项是在更丰富的上下文中考察复现;另一项则要求智能体在达成安全目标前重建更多问题信息。

这一差异使新闻焦点保持清晰。事件并不是基准名称之间的竞赛,而是研究人员衡量一次更新向智能体提供何种信息、以及该智能体能够借此完成什么的新变化。

加固会改变结果,但无法判定生产环境风险

报告中的加固后续测试支持分层防御,但其选定样本无法确立普遍的生产环境攻陷率。

二进制加固是指旨在提高漏洞利用难度的保护措施。在后续测试中,研究人员重新测试了 Codex 曾成功利用的 20 个目标。启用标准加固后,仍有两个目标被成功利用。

这是一个此前成功案例的选定群组,并非针对完整任务集的全新评估。因此,将该结果描述为普遍的 2% 成功率,会误述研究人员实际测试的内容。

还存在另一项限制:总体变化包含智能体搜索和服务交付方面的差异。它并未将加固单独确定为每项结果变化的唯一原因。这些发现支持进一步研究保护措施,但对因果关系主张需要保持谨慎。

主要实验还使用了关闭安全防护的可信访问项目。模型安全防护是对系统行为的限制,与编译进目标软件的保护措施不同。移除前者有助于探查能力边界;这并不描述普通消费者能够获得的访问条件。

在解读用户能够借助公开可用助手完成什么时,这些条件很重要。研究配置可以揭示一种技术能力,却不能证明相同行为可以通过标准产品获得。能力、可用性和现实世界中的使用,需要各自独立的证据。

这些目标还涉及历史漏洞和受控服务。生产环境会引入更多关于访问权限、配置、许可和运营约束的问题。该基准并未直接衡量新发布补丁的攻陷率或达成漏洞利用所需时间。

这一限制应当影响人们的警觉与宽慰程度。一次成功的受控漏洞利用值得关注,因为它在既定条件下证明了一个具体结果。但它不能证明任意生产目标都容易被攻陷。

同样,未成功的尝试并不能保证安全。基准测试失败仅描述某一特定配置在某次运行中完成了什么。它不能证明另一种方法、更多调查,或不同系统也会失败。

合理的防御立场是保留保护措施,同时改善部署。加固可以阻断一条漏洞利用路径。打补丁会从更新后的版本中移除被修复的缺陷。这些措施针对风险的不同部分,应据此分别评估。

同样的谨慎也适用于自动化防御产品。一个无法完成漏洞利用的系统,不应自动宣布某个漏洞无害。它找不到路径,可能反映的是分析能力有限,而非路径并不存在。

独立复现将增强人们对报告结果的信心。对未成功运行进行透明记录,以及清楚说明环境变化,也同样如此。这两者都不需要耸动的主张,却能使防御人员和研究人员更容易使用这些证据。

因此,CyberBinGym 基准支持一个有边界的结论:受控的仅二进制漏洞利用确实发生过,但其向已部署系统的迁移仍未得到解决。维持这一边界,会使研究更有用。

关注复现、加固覆盖范围与新发布补丁

下一批有价值的证据应依次检验可复现性、防御条件,以及向最新更新的迁移能力。

独立复现是首个值得关注的信号。评估者应保留任务边界,发布可比较的设置,并记录他们如何验证结果。类似结果将增强人们的信心,即报告中的能力能够超越原始实验设置而持续存在。

显著不同的结果同样具有信息价值。它可能揭示对智能体指令、工具集成或执行条件的敏感性。目标应是解释差异,而不是将其简化为相互竞争的标题百分比。

更广泛的加固评估是下一个信号。在范围更广且定义清晰的集合中测试保护措施,将有助于区分普遍效应与选定既往成功案例中的结果。报告应说明智能体是否获得新的尝试机会,以及环境变化如何影响可比性。

如果在这些条件下漏洞利用仍然频繁,那么采取额外防御措施的理由将更有力。如果成功率持续下降,组织将获得更好的证据,以判断哪些保护措施值得保留。无论结果如何,都会优于将未加固环境的结果视为生产环境预测。

最后一个信号是针对新发布补丁进行审慎控制的测试。这将解决基准能力与部署窗口之间尚未解决的关系。相关测量需要明确的起始条件、经过验证的结果,以及对实验代表范围的明确限制。

此类工作应区分自动化分析时间与无关的设置或研究人员准备时间。缺乏这种核算时,令人印象深刻的速度主张可能掩盖了在测量区间之外完成的大量工作。可比的时间记录将使部署影响更容易判断。

这些信号比排行榜分数的一次孤立提升更重要。更强的模型可以改善基准结果,却无法解决有关迁移性、可访问性或实际防御的问题。更好的评估应使这些差异更加清晰。

对于安全负责人,近期行动是审查补丁责任归属和完成情况是否可观察。对于开发人员,行动是识别更新后的依赖项实际在何处进入已部署应用。对于 AI 采购方,行动是询问某项被宣称的能力验证了什么结果。

在分享下一条 CyberBinGym 基准新闻标题之前,请检查任务定义、分母和成功测试。询问结果覆盖的是复现、经审计的漏洞利用、加固目标,还是新补丁。然后将这些证据与您的环境联系起来:哪些系统仍然存在漏洞,谁负责更新,以及将如何验证完成情况?利用这项研究来明确这些问题。当基准所测量的结果能为某个可以执行并核查的决策提供依据时,它才具有运营价值。从团队已批准的最新安全更新开始,追踪它直至仍需安装该更新的系统。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page