Berkeley RDI 的 CyberBinGym 基準測試區分發現漏洞與利用漏洞
Berkeley RDI 推出了 CyberBinGym 基準測試,報告指出,其表現最強的受測 AI 代理配置可恢復 88% 的漏洞,惟經審核後成功利用的比例為 20%。評估涵蓋來自 53 個開源專案的 100 項任務。其核心發現聚焦於一個艱難的轉折:找出軟件漏洞與將該漏洞轉化為可運作的攻擊,需要不同能力。
該基準測試檢視的是 1-day 情境,即修正程式已存在,但含有漏洞的軟件仍在部署中。代理會取得已編譯的易受攻擊程式及已修補程式,但沒有原始碼、漏洞描述或提供的觸發輸入。這些經過精簡處理的二進位檔,亦移除了額外符號及偵錯資訊。實驗探討更新本身是否提供足夠證據,以支援對舊版程式的漏洞利用。
相較於 CyberGym 為漏洞重現提供原始碼存取,這改變了可用線索及最終目標。當中的張力在於:修補程式發布後,攻擊者的進展與防守方部署修正的能力之間如何拉鋸。結果值得關注,但所描述的是受控制的歷史目標。它們並不能確立這些代理能多常入侵生產系統,或攻擊者能多快利用新發布的更新。
CyberBinGym 基準測試移除了起始線索
此基準測試改變了代理在嘗試造成實質影響的攻擊前,必須重建的資訊。
這項二進位漏洞利用基準測試來自隸屬新加坡國立大學、UC Riverside、UC Berkeley 及 UC Santa Barbara 的研究人員。其發布內容測試的是受限能力,而非即時入侵活動。參與者會分析成對的二進位檔,配合輔助工具及受控制受害者服務的存取權。
這種設計很重要,因為評估可能在無意間回答了一個比標題所暗示更容易的問題。向代理提供詳細漏洞報告,已經為其指明注意方向。提供可導致當機的輸入,則移除了另一重障礙。提供可閱讀的原始碼,亦提供了已編譯軟件無法以相同形式保留的脈絡。
移除這些起始線索,會改變對成功的詮釋方式。代理必須從不完整證據建立有用假設,然後檢驗實際程式行為是否支持該假設。單憑具說服力的解釋無法完成這項任務。單純辨識出可疑差異,而未能確立其相關性,亦不足夠。
對於透過排行榜截圖了解 CyberBinGym 的讀者而言,缺失的輸入資料是不可或缺的脈絡。結果關乎代理如何在不確定性中推進。這比要求聊天機械人描述研究人員已識別的漏洞更具挑戰。
不過,資訊受限不代表此設定等同任意生產環境。任務仍提供界限明確的目標及明確目標。這種結構有助研究人員比較系統,亦意味讀者不應將完成基準測試直接視為對實際攻擊成功率的預測。
最有力的詮釋關乎評估邊界。原本分開的問題被連結起來:代理能否找到相關行為、測試其假設,並產出經驗證的安全結果?衡量這個序列有助揭示表面能力在哪裏停止。
安全團隊在檢視供應商示範時,應關注這項區別。精心呈現的解釋可為分析師帶來幫助,但本身不能獨立證明所描述的行為確實發生。觀察到的失效提供更有力的證據;經驗證的安全後果則再次回答另一個問題。
這為報告進展帶來更高要求。研究人員及供應商需要說明系統獲得了甚麼資訊,以及哪些證據可視為成功。否則,讀者無法分辨推理能力有所提升,還是起點變得更容易。
因此,該基準測試的貢獻部分在於編採層面:它令被遺漏的步驟更難被掩蓋。它沒有把分析與漏洞利用濃縮成單一能力標籤,而是讓讀者有理由檢視兩者之間的界線。
修補程式發布在部署完成前帶來壓力
實際壓力落在更新推出後,易受攻擊安裝實例仍在運作的機構身上。
修補程式對不同參與者有不同意義。對維護者而言,它代表可供發佈的修正;對管理員而言,它帶來部署工作;對攻擊者而言,這項改動可能提供舊版本在哪裏出現錯誤行為的證據。
CyberBinGym 基準測試聚焦於這些活動之間的時間差。其結果顯示,機構評估修補程式的緊急程度時,應考慮二進位檔比較。不過,它們沒有提供通用的期限,也不能取代機構本身對暴露風險的評估。
設想一個說明性的企業情境:某團隊收到一個更新的文件處理元件,該元件用於多個內部應用程式。供應商已推出修正,但應用程式負責人仍需識別受影響的安裝實例、測試相容性,以及安排部署。
防守挑戰不止於下載更新。必須有人確認哪些應用程式包含該元件,以及這些應用程式是否處理不受信任的材料。亦必須有人確認替換版本確實已部署到實際使用的系統。
研究更新的攻擊者面對不同決定。攻擊者毋須完成機構整個部署流程。一個看似有前景、可從外部接觸的安裝實例,已足以值得進一步調查。這種不對稱說明,修補程式可用與修補工作完成,值得分開關注。
這是基準測試框架所帶來的含意,並非對企業部署效能的量度結果。研究未有量化各行業的攻擊者會加快多少。它提供與一個較狹窄問題相關的證據:代理能否有效運用已編譯的更新。
防守方應作出的回應,是更清楚掌握部署缺口。僅記錄供應商發布日期的安全儀表板,無法單獨證明已受保護。團隊亦需要已安裝版本、可接觸功能及補償控制狀態的證據。
對企業採購方而言,這改變了值得向軟件供應商提出的問題。供應商能否清楚識別受影響元件?其更新指引能否幫助客戶驗證安裝?對於嵌入易受攻擊元件的應用程式,受支援的部署途徑是否實際可行?
對開發人員而言,問題延伸至依賴項目擁有權。應用程式團隊可以依賴某個元件,卻未必曾編寫或深入了解它。當安全更新需要跨越程式碼庫、建置系統及執行環境協同行動時,清晰的擁有權便顯得重要。
當文件把發現結果連結至可問責的負責人時,便能支援這種協調。將部署決定與技術知識一併保留,有助保存例外情況及後續工作的理據。不過,文件仍需要營運證據,才能證明修正已進入生產環境。
因此,眼前壓力既是組織層面,也是技術層面。當防守方無法迅速回答一個基本問題時,更好的攻擊者分析就最為重要:哪些易受攻擊的系統仍在運行?
找到當機情況仍未解答最困難的問題
即使來自相同任務,漏洞恢復分數與漏洞利用分數描述的仍是不同結果。
研究人員報告,搭配 GPT-5.6 Sol 的 Codex 在 88% 任務中恢復漏洞,並在 20% 任務中達成經審核的漏洞利用。搭配 Claude Opus 5 的 Claude Code 錄得 85% 恢復率及 6% 漏洞利用率。搭配 Kimi K3 的 Kimi Code 錄得 64% 恢復率,且沒有成功利用漏洞。
評估準則明確區分這些結果。恢復漏洞要求輸入在隱藏、經插樁處理的易受攻擊建置版本中觸發預期失效,而已修補建置版本則維持不失效。漏洞利用則要求透過由漏洞驅動的行為取得受保護的秘密資料,然後接受人工審核。
插樁加入有助於在測試期間識別錯誤的檢查。受保護的秘密資料通常稱為 flag,提供具體的漏洞利用目標。審核會檢查代理是否透過符合資格的行為達成目標,而不是透過非預期捷徑。
一項重要限制隨之而來:這些結果是獨立評分的。獲接受的漏洞利用,可能涉及舊版程式中的另一個漏洞。讀者不應把標題中的百分比視為簡單的轉換漏斗,追蹤相同漏洞如何逐步通過不同階段。
儘管如此,這項比較揭示了安全評估為何不能只看當機次數。當機證明特定條件下出現了問題,卻不會自動證明攻擊者可以控制甚麼,或這種控制是否可達成有意義的目標。
從採購方角度來看,有用的區別在於輔助與自主完成。一款能識別相關失效的工具,可支援人手調查;一款能獨立驗證後果的工具,則回應另一種需要。混合這些類別,會令採購主張更難評估。
報告中的配置亦說明,恢復率上的小幅領先不能代表漏洞利用能力領先。它們在不同衡量指標上的結果各異。單一綜合的「網絡能力」分數,會掩蓋安全團隊所需的資訊。
這並不能確立模型系列之間的永久排名。受評估系統包括代理介面、可用工具、指令及資源限制。改變這些元素,可能改變模型可完成的事情。結果只適用於經測試的配置及條件。
因此,對研究人員而言,漏洞利用失敗的嘗試仍應具有參考價值。系統是否識別到有用證據,卻失去其含意的脈絡?它是否在收到相互矛盾的回饋後,仍繼續追逐某個假設?它是否正確辨識出其可用方法無法達成目標?
這些問題要求檢視行為,而非接受一個自信的最終答案。它們亦有助區分能進行有用分析的系統,與僅能產生看似合理術語的系統。
對防守方而言,同一項區別有助作出更審慎的嚴重性評估。即使未有完成漏洞利用,可重現的失效仍值得調查。反過來,漏洞可利用性的主張亦應需要當機存在以外的證據。兩種陳述都能引導行動,而不會抹煞不確定性。
將 CyberBinGym 解讀為「AI 從修補程式編寫 exploit」會忽略這項量度上的教訓。所報告的成功案例固然重要,但發現漏洞與利用漏洞之間的區分,才令這些結果可用於評估未來的主張。
修補資訊有幫助,但其效益需要分母
這項修補比較支持的是關於資訊可得性的具體發現,而非對每次軟件更新的普遍預測。
在這項二進制修補研究中,研究人員在一組配對的 20 項任務子集上比較不同存取條件。提供已修補的二進制檔案,令觀察到的漏洞利用成功率由 10% 提升至 25%。這項比較支持一個結論:在測試子集中,修正後的版本提供了有用資訊。
分母很重要。這些結果並不描述另一個完整基準測試中的漏洞利用率,也不代表每次更新都會同樣提升攻擊者的表現。與安全相關的改動,在可見性及實際用途上可以有很大差異。
這項研究的相關性在於資訊之間的關係。一個修正包含版本之間差異的證據。分析人員可以研究該差異是否解釋舊版程式的行為。能有效運用這些證據的 AI agent,可以減輕部分調查負擔。
這不代表公開修補程式會製造原有的漏洞。缺陷本已存在於有漏洞的版本中。實驗亦沒有證明延遲修正能令使用者得到更佳保護。這種結論需要評估讓漏洞持續未解決所帶來的後果。
合適的防禦性解讀,應聚焦於部署準備度。如果已發布的改動有助調查,機構便應準備好根據這些改動採取行動。壓制有用的更新資訊,不能取代判斷哪些系統需要修正的工作。
與相鄰基準測試的比較,有助釐清研究貢獻。在 CyberBinGym 與 CyberGym 的比較中,關鍵差異在於起始時可得的資訊,以及量度的結果。較早的漏洞重現基準測試提供漏洞描述及未修補的原始碼,然後檢查能否重現漏洞。
ExploitGym 的exploit 生成任務提供有漏洞的原始碼及一個可觸發 bug 的輸入。它們要求評估 agent 能否從這個起點開發出具有實質後果的 exploit。這些是相關的研究計劃,但處理的是工作流程中不同部分。
它們的分數不應變成可互換的排行榜項目。表面上的優勢,可能反映不同的任務定義,而非系統更強。具意義的比較需要配對所提供的證據、執行環境、成功準則及可用資源預算。
對安全供應商而言,教訓很直接。關於僅二進制調查的主張,應由確實不提供原始碼存取的評估支持。關於漏洞利用的主張,應要求經驗證的後果。關於營運速度的主張,則需要與該主張相關的量度。
對於權衡 CyberBinGym 與 CyberGym 的讀者,有用的問題是每項評估消除了哪一種不確定性。一者在較豐富的脈絡下檢視重現漏洞;另一者則要求 agent 在達到安全目標前,重建更多問題內容。
這個區分令新聞焦點保持清晰。事件並非基準測試名稱之間的競賽,而是研究人員量度更新向 agent 提供甚麼資訊、以及 agent 能藉此完成甚麼的新方法。
強化措施會改變結果,但不能定論生產環境風險
所報告的強化後續測試支持分層防禦,但其經挑選的樣本無法確立普遍的生產環境入侵率。
二進制強化是指旨在令漏洞利用更困難的保護措施。在後續測試中,研究人員重新檢視 Codex 曾成功利用的 20 個目標。啟用標準強化後,仍有兩個目標被成功利用。
這是一組先前成功案例中經挑選的群組,並非對整個任務集進行新的評估。因此,將結果描述為普遍的 2% 成功率,會錯誤呈現研究人員實際測試的內容。
還有另一項限制:整體變化包含 agent 搜尋及服務交付方面的差異,並未將強化措施孤立為每個改變結果的唯一原因。研究結果支持進一步調查保護措施,但對因果主張仍須審慎。
主要實驗亦使用了停用防護機制的可信存取程式。模型防護機制是對系統行為的限制,與編譯至目標軟件內的保護措施不同。移除前者有助探測能力邊界;但這並不描述一般消費者可取得的存取方式。
在解讀使用者能透過公開助手做到甚麼時,這些條件十分重要。研究配置可以揭示技術能力,卻不能證明相同行為可透過標準產品取得。能力、可得性及現實世界使用情況,需要各自的證據。
目標亦涉及歷史漏洞及受控服務。生產環境帶來有關存取、設定、權限及營運限制的額外問題。該基準測試並未直接量度新發布修補程式的入侵率或漏洞利用所需時間。
這項限制應同時影響警惕與安心的程度。受控 exploit 成功值得關注,因為它在既定條件下確立了具體結果。但這不足以支持任意生產目標都容易被入侵的說法。
同樣地,未成功的嘗試也不能保證安全。基準測試失敗只描述某一特定配置在某次執行中做到甚麼,無法證明另一種方法、額外調查或另一個系統亦必然失敗。
合理的防禦立場,是保留保護措施,同時改善部署。強化可以阻礙一條漏洞利用路徑;修補則會從已更新版本中移除所處理的缺陷。這些措施處理風險的不同部分,應據此評估。
同樣的謹慎亦適用於自動化防禦產品。無法完成 exploit 的系統,不應自動宣告某個漏洞無害。它找不到路徑,可能反映分析能力有限,而非路徑不存在。
獨立重現將提升對所報告結果的信心。對未成功執行作出透明交代,以及清楚說明環境變更,也會有幫助。兩者都不需要煽情的主張,卻能令防禦者和研究人員更容易運用證據。
因此,CyberBinGym 基準測試支持一個有界限的結論:受控的僅二進制漏洞利用確實發生,但其能否轉移至已部署系統仍未解決。維持這個界限,會令研究更有用。
關注重現、強化覆蓋範圍及新發布的修補程式
下一批有用證據應按次序測試可重現性、防禦條件,以及向最新更新的轉移能力。
首個值得關注的訊號是獨立重現。評估者應保留任務邊界、發布可比較的設定,並記錄他們如何驗證結果。相近的結果將增加信心,證明所報告的能力能在原始實驗設定以外維持。
結果若有顯著差異,同樣具有資訊價值。它可能揭示對 agent 指令、工具整合或執行條件的敏感性。目標應是解釋差異,而非將其簡化為互相競爭的標題百分比。
下一個訊號是更廣泛的強化評估。在更廣、定義清晰的集合上測試保護措施,有助區分普遍效應與經挑選的既有成功案例中的結果。報告應說明 agent 是否獲得新的嘗試機會,以及環境變更如何影響可比性。
如果在這些條件下,漏洞利用仍然頻繁,採取額外防禦措施的理據便會加強。如果成功率持續下降,機構將得到更佳證據,了解哪些保護措施值得保留。無論哪種結果,都比將未強化結果視為生產環境預測更有價值。
最後一個訊號,是針對新發布修補程式進行審慎受控的測試。這將處理基準能力與部署窗口之間尚未解決的關係。相關量度需要清晰的起始條件、經驗證的結果,以及明確限制實驗所代表的範圍。
這類工作應區分自動化分析時間與不相關的設定或研究人員準備時間。若沒有這種交代,一項令人印象深刻的速度主張,可能掩蓋了在量度時段以外完成的大量工作。可比較的計時將令部署影響更容易判斷。
這些訊號比排行榜分數一次孤立的上升更重要。更強的模型可以改善基準測試結果,卻無法解決有關轉移能力、可得性或實際防禦的問題。更好的評估應令這些區分更清楚。
對安全領導者而言,短期行動是檢視修補責任歸屬及完成情況是否可被觀察。對開發人員而言,則是辨識已更新的依賴項實際在何處進入已部署的應用程式。對 AI 採購方而言,則是追問所聲稱的能力已驗證了甚麼結果。
在分享下一則 CyberBinGym 基準測試標題前,先檢視任務定義、分母及成功測試。問問結果涵蓋的是重建、經審核的漏洞利用、經強化的目標,還是最新修補程式。然後將證據連繫到你的環境:哪些系統仍然有漏洞、誰負責更新,以及如何驗證完成情況?利用研究來令這些問題更精準。當基準測試所量度的結果能為某人可採取並可核實的決策提供資訊時,它才具備營運價值。從團隊最近批准的安全更新開始,追蹤至仍然需要安裝更新的系統。



