top of page

Claude Opus 5.5 程式碼安全性以 73% 與 GPT-6-Sol 打成平手,驗證仍不可或缺

2 小時前
讀畢需時 12 分鐘

在 Veracode 的秋季評估中,Claude Opus 5.5 的程式碼安全性以 73% 與 GPT-6-Sol 並列,在提高基準上限的同時,仍存在不少失敗情況。這項結果顯示,Anthropic 與 OpenAI 在這項特定指標上不相伯仲。它亦令採購決策的問題更為尖銳:更出色的程式編寫模型實際上能減少多少驗證工作?

Veracode 於 2026 年 10 月 29 日公布結果,指出平均安全通過率由 56% 升至 62%。公司評估了 18 個模型,涵蓋 Python、C#、JavaScript 及 Java。其程式碼安全性研究結果涵蓋部分選定弱點,而非生產應用程式可能包含的每一種失敗情況。

核心張力在於更佳的初稿與可靠發布之間。模型選擇影響起點,而審查、測試及修復則決定最終交付予用戶的內容。新分數為工程主管提供進展的證據,但更棘手的營運比較仍未完成。

Claude Opus 5.5 程式碼安全性提高基準上限

報告中的平手結果確立了 Veracode 評估中的更高分數,但未能證明真實應用程式具備同等安全性。

Veracode 的公告顯示,Claude Sonnet 5.5 以 72% 緊隨領先者,其後為 70% 的 GPT-5.6-Sol。這些結果令競爭格局比單純宣布勝出者更具參考價值。買家有多個分數相近的選項,而狹窄的基準差距在驅動部署決定前,需要更多背景脈絡。

先前報告的最高分數是 GPT-5.5 在 2026 年 7 月取得的 68%。將該數字與現時領先者比較,可見這個研究系列有所進展。然而,單憑更高上限,不能證明較新的模型能多一致地處理陌生的儲存庫、特殊要求或安全敏感的改動。

基準測試是在指定條件下評分的一組既定任務。其價值在於令比較比零散的開發者印象更受控制。其限制亦源自相同邊界:任務僅代表選定情況,評分亦只捕捉選定結果。

對於比較 Claude Opus 5.5 與 GPT-6-Sol 的讀者而言,已公布的平手只回答了關於受測任務的一個狹窄問題。它未能解決哪個助手在特定公司中需要較少修正。這取決於周邊應用程式及開發流程。

這個分別很重要,因為生產環境改動除了產出可接受的獨立答案外,還有其他責任。它必須保留既有行為、遵守存取規則、符合本地慣例,並與其他元件安全互動。有利的生成分數不會免除這些責任。

分數亦需要審慎措辭。安全通過率描述的是評估者對受測輸出的分類。它不應被轉化為預測,即相同比例的客戶應用程式將會安全,或餘下失敗必然會引發事故。

同樣地,失敗並不能確定每個受影響輸出的嚴重程度。無法觸及的範例中的弱點,與處理敏感客戶資料的公開漏洞不同。要判斷這個差異,需要標題百分比無法提供的應用程式背景。

因此,有用的發展是有了更好的可量度起點。團隊可詢問該起點是否能減少審查工作、重複錯誤或修復時間。這些是值得測試的實際假設,而非排名帶來的必然結果。

這種詮釋保留了新聞價值,同時避免誇大。Anthropic 與 OpenAI 共同領先,而業界的量度表現已有改善。下一個問題是,誰需要把這項改善轉化為可靠軟件。

工程主管仍須為發布決定負責

結果促使買家量度完整開發流程,而非透過模型名稱購買安全性。

工程主管面對的是一個包含多項變數的決定。他們選擇助手、分配審查能力,並決定哪些改動需要額外檢視。較高的基準分數有助作出這個決定,但不能代替他們作出發布判斷。

試想一個示例性的客戶支援應用程式,收到 AI 生成、針對帳戶查詢功能的改動。建議的程式碼在一般測試中會傳回預期紀錄。審查者仍需要確定用戶能否擷取屬於其他人的紀錄。

這個例子屬假設,並非 Veracode 評估中有記錄的失敗。它說明成功生成程式碼與可接受的應用程式行為,需要不同證據。模型的答案必須根據組織實際的權限及資料邊界評估。

選用領先模型的團隊,仍需要有人負責尚未解決的發現。否則,額外偵測可能只會產生不斷增長的待處理清單,卻無助改善已發布的軟件。作出決定、修正及確認的責任,仍是營運成本的一部分。

採購層面的含意很直接。買家應詢問,哪些證據支持安全工作可減少的承諾。單一基準分數並不能證明審查者工時更少、修正更快,或部署後曝險更低。

對應用程式安全團隊而言,壓力來自把技術發現轉化為發布準則。「仔細審查 AI 程式碼」為個別開發者留下太多詮釋空間。清晰期望可讓團隊更容易決定哪些改動需要專家關注。

對開發者而言,問題在於這些期望是否符合日常工作。若要求只在改動完成後才提出,便會造成可避免的返工。當原始任務附帶預期行為及驗收條件時,安全決定會更容易評估。

這正是文件具實際作用之處。可搜尋知識庫可協助工程師找回過往決定、已批准模式及相關技術背景。文件可支援審查;但不能認證生成的程式碼。

同樣的分別亦適用於接收儲存庫背景的助手。更多資訊為它提供更多可用材料,但資訊存在本身並不能證明其應用正確。審查者仍需要證據,證明建議的改動遵循相關限制。

組織亦應區分採購決定與發布決定。選擇助手決定開發者獲得哪項工具。接受某個特定改動則需要針對該改動的證據,即使該助手在公開評估中表現優秀亦然。

報告中的改善令這場討論更具體。買家可比較初始品質訊號與後續所需工作。這揭示真正取捨:更強的生成能力可以帶來幫助,但可靠的發布行為仍需要一套有效的驗證流程。

熟悉的安全模式只能解釋部分增長

Veracode 將大部分改善歸因於特定弱點類別,因而限制了對廣泛安全推理能力的主張。

在其秋季基準分析中,Veracode 指出,基本跨網站指令碼攻擊是帶動增長的主要因素。跨網站指令碼攻擊(XSS)發生於不安全內容在網頁中變成可執行指令碼時。公司認為,熟悉的安全模式有助解釋這項改善。

這個解釋值得保留歸屬,因為它提出的是一種機制,而非僅僅報告分數。模型選擇較安全的熟悉模式,可以改善量度結果。這項觀察並不能確定究竟是哪一項訓練改動令模型作出該選擇。

Veracode 報告指其他受測類別的變動較少,並強調日誌處理方面持續存在的弱點。其詮釋將這項困難與跨函式追蹤資訊連繫起來。這比籠統聲稱程式編寫模型在安全方面已有改善,形成更具體的敘述。

潛在的 XSS 問題涉及應用程式使用輸入資料的背景。MITRE 的指令碼中和定義描述了未能中和字元的失敗情況,而下游網頁處理可將這些字元解讀為指令碼元素。這個定義有助解釋,為何看似平常的顯示操作可能需要安全敏感的處理。

作為說明,設想一個支援儀表板顯示客戶提交的訊息。應用程式本意是顯示文字,而安全要求取決於避免該文字變成活躍的頁面內容。關鍵問題在於應用程式如何處理該值。

在該情況下,能識別預期安全模式的模型是一項有用改善。然而,相同值可能稍後會出現在應用程式的另一部分。對原始操作的信心,不能自動延伸至其後的每一次使用。

日誌處理說明另一個背景問題。服務可能在一般錯誤路徑中記錄由客戶控制的文字。開發者需要考慮日誌系統及後續讀者如何解讀該文字,而非只判斷賦值陳述式本身。

MITRE 的日誌注入定義描述了不當處理寫入日誌的外部輸入。其後果示例包括偽造項目及干擾解讀。這些後果顯示,表面上例行的診斷程式碼值得檢視。

這項比較很有用,無須把文章變成程式編寫教學。兩個例子都涉及資訊進入具備自身解讀規則的背景。一個看似令人信服的函式仍可能錯誤處理這條邊界,而周邊應用程式決定實際後果。

就 Claude Opus 5.5 程式碼安全性而言,這是排名背後最重要的限定條件。改善若集中於熟悉情況,所支持的結論便比改善橫跨陌生應用程式行為更狹窄。買家在內部討論結果時,應保留這項分別。

這個機制亦暗示更有力的證據會是甚麼模樣。涉及更多背景及互動的測試,將揭示較安全的選擇是否能超越現時任務集而持續存在。在此之前,較廣泛的安全能力仍是一個需要額外評估的問題。

相同分數令工作流程比較仍未有定論

當買家比較已驗證的改動,而非只比較初始答案時,Claude Opus 5.5 與 GPT-6-Sol 的比較會更具資訊價值。

在許多開發流程中,初始答案只屬中間結果。開發者會修改程式碼、執行檢查、檢視失敗情況,並要求修正。評估初始輸出能捕捉一些有用資訊,但未能解決這個較長流程的行為問題。

這些步驟之後,競爭差異可能會改變。起初給出較佳答案的助手,未必容易作出針對性的修正。另一個助手則可能在保留原定行為的同時,能夠妥善回應精確的發現。

這些是有待評估的可能性,並非秋季排名已確立的結論。並列結果沒有任何依據可將任何一種模式歸因於 Anthropic 或 OpenAI。將其視為行為完全相同的證據,和杜撰一個贏家同樣缺乏理據。

相關研究支持將這些問題分開處理。Mikhail Surikov 在 2026 年 8 月發表的修復流程研究,以較早期的 Claude 模型評估生成、偵測、修正及後續檢查。研究指出,初始生成表現最佳的模型,未必是整體流程中表現最佳的模型。

該論文是一份描述碩士實習項目的預印本,實驗範圍有限。它並沒有重現 Veracode 的最新排名,亦未能確立目前商業市場上的贏家。其相關性在於區分初始輸出質素與驗證後結果的差異。

研究亦報告了一些修復過程引入額外漏洞的案例。這項發現支持應檢查建議的修正方案,而非將助手的解釋視為充分證據。它並不表示每個自動修復流程都會有相同行為。

對買家而言,分析上的啟示是應比較可相互對照的開發流程。向一個助手提供詳細發現,同時以未經修改的答案評估另一個助手,會改變比較結果。如容許不同程度的修訂而未披露差異,亦會如此。

值得比較的輸出,應是符合相同驗收條件的完整變更。審查工作量、未解決的發現,以及保留的功能,便可與初始安全分數一同呈現。這些指標回答的是與公開排行榜不同的問題。

模型路由,即為不同工作分配不同模型,亦帶來另一項決策。機構可能會為敏感變更或困難修正保留某個特定助手。支持這項政策的證據,應來自相關任務,而非對某個產品系列的假設。

其他模型所報告的接近排名,使這點尤其重要。考慮 Claude Sonnet 5.5 與共同領先者的買家,需要評估完整結果。單憑排名無法確立審查工作量、回應時間與修正質素之間的最佳平衡。

供應商的模型層級同樣無法確立這種平衡。產品定位描述的是供應商提供的服務,而機構的評估則描述其自身工作負載。要把兩者結合,需要可比較的證據,尤其在狹窄的安全差異影響廣泛採購選擇時。

因此,秋季結果加強了在流程層面競爭的理由。較佳的生成能力仍有價值,但其營運價值取決於變更可發佈前所發生的事情。

已公布數字需要方法論審視

核心排名已有記錄,但多項較廣泛的解讀需要標題數字未有提供的資訊。

原始 shattered.io 標題連結至一項可驗證的 Veracode 公告。這支持將並列結果報道為附帶來源的基準測試結果,但並不會令圍繞該結果的每一項解釋都成為獨立確立的事實。

發布與重現有不同用途。發布讓評估者的發現可供檢視。重現則是指另一名評估者在足夠可比的條件下重複進行工作,讓讀者判斷結果是否能超越原始執行而成立。

本文檢視的主要材料,並未確立這次確切並列結果已獲獨立重現。這是信心水平的限制,並非證明所報告的分數不實。合適的做法是保留來源歸屬,並避免作出普遍性結論。

在解讀接近的分數時,樣本量及重複執行亦很重要。四捨五入後的百分比可能掩蓋底層計數的差異。沒有不確定性估計時,讀者不應假設細小的數字差距代表模型之間存在穩定差異。

還有一個明顯問題需要澄清。公告所報告的整體平均值,高於隨附分析中討論的數個廣泛子群組平均值。若這些群組在相同權重下描述同一完整母體,這種關係需要解釋。

不同母體或加權規則可能解釋這種呈現方式。已發布的摘要未能確立適用哪一種解釋。買家在使用這些子群組數字支持採購規則前,應要求提供相關分母。

這對涉及模型規模或專門化的說法尤其重要。關於哪一類模型表現較佳的廣泛說法,需要明確定義成員資格及可比較的評分。否則,讀者無法判斷表面差異反映的是模型、任務組合,還是彙總方式。

評估者的商業定位亦值得直接披露。Veracode 銷售應用程式安全產品,其詮釋傾向於將生成與安全驗證結合。這項利益並不會使基準測試失效,但意味著比較性的產品主張值得分開檢視。

例如,聲稱模型結合掃描可帶來更佳結果,需要有關該組合的證據。單一生成排行榜無法確立掃描器覆蓋範圍、修復質素或營運節省。這些說法需要為量度它們而設計的評估。

相同標準亦應適用於模型供應商。有利的分數並不能確立某個助手可取代現有審查做法。一項具說服力的主張,應說明任務、周邊工具、驗收準則及剩餘失敗情況。

因此,Claude Opus 5.5 程式碼安全性最適宜理解為一項具有明確範圍、附帶來源的結果。這種表述保留了有用的競爭訊號,同時保留審慎買家仍需要答案的問題。

餘下的不確定性只要明確說明,便可處理。團隊可利用排名優先選出評估候選項目,然後檢視欠缺的營運證據。把排行榜視為起點,可令決策與實際量度的內容保持相稱。

下一步證據應把更佳分數與更佳發佈連結起來

最有用的下一步發展,將會顯示基準測試進步如何在可比較的開發工作中減少未解決的安全問題。

未來數月首個值得留意的訊號,是更清晰的基準測試報告。詳細任務數量、評分規則、重複執行結果及彙總說明,將使現時排名更容易評估。獨立重現的評估,將在原始發布者的發現以外提供額外證據。

若領先結果在可比較條件下持續存在,更高透明度將加強信心。若重複後出現有意義的變化,則會削弱現時排序穩定的說法。無論結果如何,透過以可檢視的證據取代假設,都能提升採購決策質素。

第二個訊號,是在更廣泛的弱點類別及應用程式情境中取得改善。超越熟悉安全模式的較強結果,將支持對生成程式碼安全性的更廣泛主張。若進展僅限於現有優勢,則支持較有限的解讀。

這個訊號很重要,因為生產環境應用程式會結合原本可在獨立例子中分隔的行為。涉及元件之間互動的評估,可測試較安全的選擇能否在這些組合中維持。買家應尋找明確的範圍說明,而非只看更大的標題分數。

第三個訊號,是公開比較完整開發流程。這項比較應在一致條件下評估初始生成、發現、修正及最終獲接納的變更。它可把模型能力與機構實際需要完成的工作連結起來。

若較佳的初始分數同時帶來更佳的已驗證結果,這類證據將加強採用模型的理由。若表面優勢在修正及審查期間消失,則會削弱單純依據排行榜的採購論點。

毋須預先假設任何一種結果。較安全生成的商業價值,取決於它減少了多少工作,以及留下多少失敗。量度兩者,可為工程及安全主管提供共同的決策基礎。

對開發人員而言,這亦改變成功示範應有的樣貌。流暢的答案很容易展示,而保留需求的證據則需要更仔細處理。有用的評估會讓這些證據可見,而不依賴助手的自信程度。

對企業買家而言,所報告的並列結果收窄了即時結論。Anthropic 與 OpenAI 在已發布指標上共同領先,但兩者的結果都不能確立一個普遍適用的選擇。採購問題仍取決於機構預期使用的任務及驗證流程。

把 Claude Opus 5.5 程式碼安全性視為檢視下一次助手評估背後證據的理由。在相同要求下比較具代表性的變更,並保留可解釋接納或拒絕的發現。詢問哪個系統能產出你的團隊可安心驗證、修正及維護的工作。把基準測試結果與這些本地觀察一同保存,避免有利的標題取代應用程式情境。當供應商聲稱可減少審查工作量時,要求提供直接量度該效果的比較。當模型表現良好時,在擴大其職責前先檢視餘下的失敗。當發佈決策來臨時,哪一個助手能讓你的工程師留下較少未解決的安全疑問?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page