top of page

Claude Opus 5.5 代码安全性以 73% 与 GPT-6-Sol 并列,验证仍不可或缺

2小时前
讀畢需時 12 分鐘

在 Veracode 的秋季评测中,Claude Opus 5.5 代码安全性以 73% 与 GPT-6-Sol 并列,在抬高基准上限的同时,也仍存在大量失败案例。这一结果使 Anthropic 和 OpenAI 在这一特定指标上不分伯仲。它也让采购方的问题更加明确:更强的编程模型究竟能实际减少多少验证工作?

Veracode 于 2026 年 10 月 29 日公布了这些发现,称平均安全通过率从 56% 提升至 62%。该公司评估了 18 个模型,涵盖 Python、C#、JavaScript 和 Java。其代码安全发现涵盖的是部分选定弱点,而非生产应用程序可能包含的所有失败情形。

核心矛盾在于:更好的初稿与可靠发布之间仍有距离。模型选择会影响起点,而审查、测试和修复决定最终交付给用户的内容。新分数为工程领导者提供了进步的证据,但更棘手的运营层面对比仍未完成。

Claude Opus 5.5 代码安全性抬高了基准上限

这项并列成绩确立了 Veracode 评测中的更高分数,但并不意味着真实应用程序具有同等安全性。

Veracode 的公告显示,Claude Sonnet 5.5 以 72% 紧随领先者之后,GPT-5.6-Sol 则以 70% 位列其后。这些结果让竞争格局比单纯宣布胜者更有参考价值。买方有多个表现接近的选择,而狭小的基准差距在影响部署决策前仍需要结合背景理解。

此前公布的最高分是 GPT-5.5 于 2026 年 7 月取得的 68%。将这一数字与当前领先者比较,可以看到该研究序列中的进展。然而,仅凭更高的上限,无法证明新模型能否稳定处理陌生代码库、特殊需求或安全敏感的变更。

基准测试是在特定条件下评分的一组明确任务。它的价值在于,比起零散的开发者印象,它能提供更受控的比较。它的局限也来自同样的边界:任务代表的是经过挑选的情境,评分捕捉的也是经过挑选的结果。

对于比较 Claude Opus 5.5 与 GPT-6-Sol 的读者而言,公布的并列成绩仅回答了有关已测任务的一个狭窄问题。它并未解决哪一个助手在某家公司中需要更少修正的问题。这取决于具体应用及其周边开发流程。

这一差异很重要,因为生产变更的责任不止是生成一个可接受的孤立答案。它还必须保留既有行为、遵守访问规则、符合本地惯例,并与其他组件安全交互。良好的生成分数并不会消除这些责任。

这一分数也需要谨慎表述。安全通过率描述的是评估者对测试输出的分类。它不应被理解为等比例的客户应用程序将是安全的,也不应意味着剩余失败都会导致事故。

同样,失败并不能说明每个受影响输出的严重程度。一个无法触及的示例中的弱点,与处理敏感客户数据的暴露缺陷并不相同。要判断这种差异,需要应用程序上下文,而标题中的百分比无法提供这些信息。

因此,真正有用的发展是一个经过更好衡量的起点。团队可以检验这一起点是否减少了审查工作、重复错误或修复时间。这些是值得验证的实际假设,而不是排名自动带来的结果。

这种解读既保留了新闻价值,也避免夸大。Anthropic 和 OpenAI 共同占据公布的领先位置,整个领域的可测表现也有所改善。下一个问题是:谁必须将这一进步转化为可靠的软件。

工程领导者仍需对发布决策负责

这一结果促使买方衡量完整开发流程,而不是通过模型名称购买安全性。

工程领导者面对的是一项包含多个变量的决策。他们选择助手、分配审查能力,并决定哪些变更需要额外审查。更高的基准分数有助于为这一决策提供信息,但无法替他们作出发布判断。

设想一个示例性的客户支持应用,为其账户查询功能接收了一项 AI 生成的变更。所提议的代码在常规测试中返回了预期记录。审查者仍需确认,用户是否能够检索属于他人的记录。

这个例子是一个假设,并非 Veracode 评测中记录的失败案例。它说明,成功的代码生成与可接受的应用程序行为需要不同的证据。模型的回答必须依据组织实际的权限和数据边界进行评估。

即使团队选择了领先模型,仍需要有人对未解决的发现负责。否则,额外检测可能只会形成不断增长的队列,却无法改善已发布软件。作出决定、实施修复和确认结果的责任,仍是运营成本的一部分。

采购层面的含义很直接。买方应询问,哪些证据支持安全工作将减少的承诺。单独一个基准分数并不能证明审查者工时更少、修复更快,或部署后的风险暴露更低。

对应用安全团队而言,压力在于将技术发现转化为发布标准。“仔细审查 AI 代码”给个别开发者留下了太多解释空间。明确的期望能让团队更容易判断哪些变更需要专家关注。

对开发者而言,关键在于这些期望是否适合日常工作。若要求只在变更完成后才出现,就会造成可避免的返工。当预期行为和验收条件随原始任务一并提供时,安全决策会更容易评估。

这正是文档发挥实际作用的地方。可搜索知识库可帮助工程师检索既有决策、已批准模式和相关技术背景。文档能够支持审查;它并不能认证生成的代码。

同样的区别也适用于接收代码库上下文的助手。更多信息为其提供了额外可用材料,但这些信息的存在并不能证明其应用是正确的。审查者仍需要证据,证明所提变更遵循了相关约束。

组织还应区分采购决策与发布决策。选择助手决定开发者获得何种工具;接受某一项具体变更则需要有关该变更的证据,即便该助手在公开评测中表现良好。

公布的改进使这场讨论更加具体。买方可以将初始质量信号与后续所需工作进行比较。这揭示了真正的权衡:更强的生成能力可能有所帮助,但可靠的发布行为仍需要一个有效运作的验证流程。

熟悉的安全模式只能解释部分提升

Veracode 将大部分改进归因于特定弱点类别,因此对广泛安全推理能力的主张仍须受到限制。

在其秋季基准分析中,Veracode 指出,基础跨站脚本攻击是此次提升的主要贡献因素。跨站脚本攻击,即 XSS,是指不安全内容在网页中变成可执行脚本。该公司认为,熟悉的安全模式有助于解释这一改善。

这一解释值得保留归属,因为它提出的是一种机制,而不只是报告分数。模型选择更安全的熟悉模式,可能改善可测结果。但这一观察并不能证明究竟是哪项训练变化导致模型作出这种选择。

Veracode 报告称,其他测试类别的变化较小,并强调日志处理方面持续存在的弱点。其解读将这一困难与跨函数追踪信息联系起来。这形成了一个比“编程模型整体更擅长安全”更具体的叙述。

潜在的 XSS 问题涉及应用程序使用输入数据时所处的上下文。MITRE 的脚本中和定义描述了未能中和字符的失败情况,而下游 Web 处理可能将这些字符解释为脚本元素。该定义有助于说明,看似普通的显示操作为何也可能需要安全敏感的处理。

举例来说,设想一个支持仪表板展示客户提交的消息。应用程序希望显示文本,而安全要求取决于防止这些文本成为活动页面内容。相关问题在于应用程序如何处理这个值。

模型在该情境中识别出预期的安全模式,是一项有用的改进。然而,同一个值之后可能出现在应用程序的其他部分。对原始操作的信心不能自动延伸至其后续的每一种使用方式。

日志处理说明了另一类上下文问题。服务可能在普通错误路径中记录由客户控制的文本。开发者需要考虑日志系统及后续读取者如何解释这些文本,而不能只判断赋值语句本身。

MITRE 的日志注入定义描述了对写入日志的外部输入处理不当的情况。其后果示例包括伪造条目和破坏解释。这些后果表明,看似常规的诊断代码同样值得审查。

这种比较很有用,同时不必将文章变成编程教程。两个例子都涉及信息进入具有自身解释规则的上下文。一个看起来令人信服的函数仍可能错误处理这条边界,而周边应用程序决定其实际后果。

对于 Claude Opus 5.5 代码安全性而言,这是排名背后最重要的限定条件。改进若集中于熟悉情境,所支持的结论就比在陌生应用程序行为中同样改善更为狭窄。买方在内部讨论结果时应保留这一区别。

这一机制也说明了更强证据应具备什么样子。涉及更多上下文和交互的测试,将揭示更安全的选择能否持续超出当前任务集。在此之前,更广泛的安全能力仍是一个需要进一步评估的问题。

共同分数仍使工作流比较悬而未决

当买方比较经过验证的变更,而不只是初始答案时,Claude Opus 5.5 与 GPT-6-Sol 的比较会更有参考价值。

在许多开发流程中,初始答案只是中间结果。开发者会修改代码、运行检查、审视失败并请求修正。评估初始输出能捕捉到一些有用信息,但它仍无法解决这一更长流程中的行为表现。

在这些步骤之后,竞争差异可能会发生变化。最初给出更好答案的助手,可能难以进行有针对性的修正。另一个助手则可能对明确的问题发现作出良好响应,同时保留预期行为。

这些是需要评估的可能性,而非由秋季排名确立的结论。并列并不能为将任一模式归因于 Anthropic 或 OpenAI 提供依据。将其视为行为完全相同的证据,与凭空认定胜者一样没有根据。

相关研究支持将这些问题区分开来。Mikhail Surikov 于 2026 年 8 月发布的修复流程研究使用早期 Claude 模型评估了生成、检测、修正及后续检查。研究报告称,其表现最佳的初始生成器并非整体流程中表现最佳的模型。

该论文是一篇预印本,介绍了一项硕士实践项目,其实验范围有限。它并未复现 Veracode 的新排名,也未确立当前商业产品中的胜者。其相关性在于区分初始输出质量与验证后的结果。

该研究还报告了一些修复操作引入额外漏洞的案例。这一发现表明,应当检查提出的修正,而不能将助手的解释视为充分证据。它并不意味着每一种自动化修复流程都会有类似表现。

对买家而言,其分析含义是应比较同类开发流程。向一个助手提供详细的问题发现,同时以未经修改的答案评估另一个助手,会改变比较结果。允许不同程度的修订而不说明这一差异,也同样如此。

值得比较的输出,是在相同验收条件下完成的变更。审查工作量、未解决的问题发现以及保留的功能性,随后便可与初始安全评分一并呈现。这些指标回答的问题不同于公开排行榜所回答的问题。

模型路由,即为不同任务分配不同模型,也带来另一项决策。组织可能会为敏感变更或复杂修正保留特定助手。支持这种政策的证据应来自相关任务,而非对某个产品家族的假设。

其他模型被报告为排名接近,这使得上述问题尤为相关。考虑将 Claude Sonnet 5.5 与并列领先者一起评估的买家,需要考察完整结果。单凭排名无法确定审查工作量、响应时间和修正质量之间的最佳平衡。

供应商的模型层级同样无法确立这种平衡。产品定位描述的是供应商提供的产品,而组织的评估描述的是其自身工作负载。要将二者结合,需要可比证据,尤其是在微小的安全差异会影响广泛采购决策时。

因此,秋季结果强化了在流程层面展开竞争的理由。更好的生成依然有价值,但其运营价值取决于一项变更达到可发布状态之前发生的过程。

已发布数据需要方法论审视

核心排名已有文档记录,但一些更广泛的解读需要标题数字无法提供的信息。

最初的 shattered.io 标题链接至一则可验证的 Veracode 公告。这支持将并列报道为具名归属的基准测试结果。但它并不会使围绕该结果的所有解释都成为独立确立的事实。

发布与复现服务于不同目的。发布使评估者的发现可供审查。复现则指另一位评估者在足够可比的条件下重复相关工作,使读者能够判断结果是否在原始运行之外依然成立。

此处审查的主要材料并未确立对这一确切并列结果的独立复现。这是对可信度的限制,而非证明报告分数为假的证据。恰当的做法是保留归属,并避免作出普遍性结论。

在解读接近的分数时,样本量和重复运行也很重要。四舍五入后的百分比可能掩盖底层计数的差异。缺乏不确定性估计时,读者不应假定一个很小的数值差距代表模型之间稳定的差异。

还有一个明显问题需要澄清。该公告报告的总体平均值高于随附分析中讨论的多个广泛子组平均值。如果这些组在相同权重下描述同一完整总体,这种关系就需要解释。

不同总体或加权规则或许可以解释这种呈现方式。已发布的摘要并未说明哪一种解释适用。买家在使用这些子组数据来证明采购规则合理之前,应要求提供相关分母。

这对于有关模型规模或专业化的主张尤为重要。关于哪个类别表现更好的宽泛表述,需要明确界定成员资格并采用可比评分。否则,读者无法判断表面上的区别反映的是模型、任务组合还是聚合方式。

评估者的商业立场也值得直接披露。Veracode 销售应用安全产品,其解读倾向于将生成与安全验证结合。这种利益关系并不会使基准测试失效,但确实使比较性产品主张值得单独审视。

例如,声称模型与扫描结合能够带来更好结果,需要有关该组合的证据。仅靠生成排行榜无法确立扫描器覆盖范围、修复质量或运营节省。这些主张需要专门设计的评估来衡量。

同样的标准也应适用于模型供应商。有利的分数并不能证明某个助手可以取代既有审查实践。令人信服的主张应明确任务、配套工具、验收标准和剩余失败情况。

因此,Claude Opus 5.5 的代码安全性最好被理解为一项具有明确范围的具名归属结果。这种表述既保留了有用的竞争信号,也保留了审慎买家仍需解答的问题。

当不确定性被明确说明时,剩余的不确定性是可控的。团队可以利用该排名确定优先评估对象,随后审查缺失的运营证据。将排行榜视为起点,能使决策与实际测量内容相称。

下一步证据应将更高分数与更好的发布结果联系起来

最有价值的下一项进展,应当证明基准测试的进步能够减少可比开发工作中未解决的安全问题。

未来数月首个值得关注的信号,是更清晰的基准报告。详细的任务数量、评分规则、重复运行结果和聚合说明,将使当前排名更易评估。独立复现的评估将提供超出原始发布者发现之外的证据。

如果领先结果在可比条件下持续存在,更高透明度将增强信心。重复测试后若出现显著变化,则会削弱当前排序稳定的主张。无论哪种结果,都能以可审查证据取代假设,从而提高采购决策质量。

第二个信号,是在更广泛的弱点类别和应用场景中取得改进。超越熟悉的安全模式之外的更强结果,将支持关于生成代码安全性的更广泛主张。若进展仅限于当前优势,则支持一种更有限的解读。

这一信号之所以重要,是因为生产应用会组合孤立示例能够分离的各种行为。涉及组件之间交互的评估,将检验更安全的选择是否能在这些组合中得以保持。买家应关注明确的范围说明,而不只是更高的标题分数。

第三个信号,是对完整开发流程进行已发布比较。该比较应在一致条件下评估初始生成、问题发现、修正以及最终验收的变更。它将模型能力与组织实际需要完成的工作联系起来。

如果更高的初始分数也能带来更好的经验证结果,这类证据将增强采用某一模型的理由。若表面优势在修正和审查期间消失,则会削弱基于简单排行榜的采购论点。

没有必要预先假定任何一种结果。更安全生成的商业价值取决于它减少了哪些工作,以及留下了哪些失败。对两者进行衡量,能为工程和安全负责人提供共同的决策基础。

对开发者而言,这也改变了成功演示应有的样貌。流畅的回答很容易展示,而保留需求的证据则需要更多谨慎。有效的评估应让这类证据清晰可见,而不依赖助手表现出的自信。

对企业买家而言,报告中的并列缩小了即时结论。Anthropic 和 OpenAI 在已发布指标上并列领先,但两者的结果都不能确立一种普适选择。采购问题仍取决于组织预期使用的任务和验证流程。

将 Claude Opus 5.5 的代码安全性作为审查下一次助手评估背后证据的理由。在相同要求下比较具有代表性的变更,并保留能够解释验收或拒绝的发现。应询问:哪个系统能产出你的团队可以自信地验证、修正和维护的工作成果。将基准测试结果与这些本地观察结果一并保留,避免一个有利的标题取代应用场景。当供应商声称可以减少审查工作量时,应要求提供直接衡量这一点的比较。当某个模型表现良好时,应在扩大其职责之前审查其剩余失败。在发布决策到来时,哪个助手会让你的工程师留下更少尚未解决的安全疑问?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page