top of page

DeepSeek SWE-sweep 結果令開放權重模型突破 1%

3 日前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Godfrey Atima / Pexels.

DeepSeek SWE-sweep 結果跨過一個不高但頗具啟示性的門檻:V4.1 Flash 在最高推理強度下,解決了 1.7% 的基準測試漏洞。基準測試維護者表示,這是其團隊評估過、首個得分超過 1% 的開放權重模型。這個限定十分重要:該結果在已評估的開放權重模型中領先,但仍有多個專有模型排名更高。

更艱難的比較在於工作本身。修復一個已報告的問題,會為編程模型提供起點。找出未被明確指出的缺陷,則要求模型先決定應把注意力放在哪裏,才嘗試修復。這一結果令「有能力的編程助手已能轉化為可靠的自主維護能力」這類說法面臨壓力。

這是一次基準測試更新,而非 DeepSeek 發布新模型。它一方面提供衡量進展的有用尺度,另一方面亦提醒人們詮釋編程分數時應保持審慎。核心問題在於:當代理在沒有預設問題陳述的情況下,獲交託一個程式碼庫時,還能保留多少工程判斷力。

DeepSeek SWE-sweep 結果實際證明了甚麼

這項里程碑適用於基準測試團隊評估過的開放權重模型,而非所有已測試模型。

開放權重模型讓其他人可取得其訓練參數並自行運行,但授權條款與部署要求仍須另行考慮。維護者的基準測試更新明確將 DeepSeek 的結果置於這個類別之內。移除這項限定,便會把一項範圍狹窄但站得住腳的發現,變成不準確的整體領先說法。

這項公告在時間上亦有有限含義。它報告的是額外評估,而非確立排行榜上每個既有項目產生的時間。網站顯示的更新標籤為 2026 年 11 月 2 日。這個標籤不應被假定為其後每項結果或討論的時間戳記。

對於透過社交媒體看到標題的讀者而言,這項區別會改變結論。DeepSeek 已跨過其他已評估開放權重模型尚未達到的門檻。它並未成為該基準測試的整體領先者。公告亦不能證明尚未測試的替代方案必然會得分更低。

實際價值在於,它為某一項具體能力補充了證據。一個編程模型在解釋可疑函數時,可能看起來很有說服力。更困難的問題是,沒有人工引導其注意力時,它能否找出正確的函數。這個差異有助解釋,為何一個看似很小的百分比值得仔細審視。

一項里程碑也需要分母。這個分數關乎已解決的基準測試漏洞,而不是已完成的儲存庫、生成程式碼的準確度,或避免的生產環境事故。若稱其為一般編程準確度分數,便會抹去這項任務的核心難度。若稱其為生產環境漏洞覆蓋率,則會把結果延伸至評估範圍以外。

對工程採購方而言,這代表該數字應先置於能力討論中,才納入採購決策。它指出一個值得測試的領域,但不會說明代理能在私有應用程式中發現多少缺陷;後者可能採用不同慣例、相依項目和文件。

這項限定亦能保護結果,避免遭到不必要的輕率否定。低百分比不會自動令評估失去意義。困難的測試可以區分較容易作業所掩蓋的能力。其價值取決於受測行為是否符合買方希望委派的責任。

因此,DeepSeek 漏洞發現值得作為嚴苛設定下的量化結果而受到關注。合適的反應既不是宣告勝利,也不是立即否定,而是檢視該基準測試排除了甚麼、衡量了甚麼,以及哪些工程決策仍未反映在分數中。

移除問題描述會改變工作性質

必須自行找出有價值工作的代理,面對的任務有別於收到已報告缺陷的代理。

SWE-sweep 論文描述了一項評估:它涵蓋 100 個儲存庫及 22 種程式語言中的歷史軟件缺陷。其資料集包含 4,068 個漏洞。代理會收到沒有針對漏洞提示的儲存庫快照,而修復方案須面對隱藏測試和回歸檢查,即原有行為被新改動破壞的情況。

這些條件把起跑線往後移。在編輯程式碼之前,代理必須先對錯誤行為形成可信假設。在形成假設之前,它又必須決定要檢查甚麼。若有詳細的問題報告,這些決策所耗用的注意力原本可由報告提供。

一個有用的比喻是:收到一件附有症狀描述的故障電器,與檢查一棟建築物是否存在未指明故障之間的分別。兩者都需要技術能力;第二項任務還需要搜尋策略、優先排序和克制。單有活動並不足以保證找到了正確問題。

設想一個處理日期的函式庫。開發者可能報告某個特定輸入會造成錯誤的時區轉換。這份報告縮小相關行為範圍,亦暗示可重現的案例。沒有這些資訊,代理必須在眾多合理路徑中,找出預期行為與實際行為之間的不一致。

挑戰不只是察覺不尋常的程式碼。成熟的儲存庫充滿例外情況、相容性權宜處理,以及若不了解周邊歷史便顯得不一致的決定。若代理把每個不規則之處都當成缺陷,便有可能改變原本預期的行為。因此,更佳的搜尋也必須包括不應改動可疑程式碼的理由。

這令儲存庫內的證據變得重要。文件可以描述預期合約;既有測試可揭示假設;呼叫者可顯示函數應如何運作。工程工作在於連結這些訊號,才決定是否有理由進行修改。

DeepSeek 編程基準測試結果涉及這項更廣泛的任務,但不能取代對個別失敗案例的深入理解。一次未成功的運行,可能完全錯過了一個缺陷;也可能找到了真實問題,卻建構出錯誤修復方案。這些結果代表需要不同的改進方向。

對開發者而言,這項區別改變了評估自主協助工具的方式。一個完善的修補程式回答的是代理能否實作一項建議變更。有說服力的維護結果還需要證據,證明這項建議變更本身值得進行。當示範以精心挑選的任務開始時,這個選擇步驟很容易被忽略。

更大的含義是,自主能力不只是減少使用者輸入指令的頻率。仍然需要有人找出工作、確立預期行為,以及判斷證據何時足以支持採取行動。當這些職責轉移到模型身上,它們便成為正受檢驗的能力之一。

開放權重模型雖有進展,仍存在明顯差距

DeepSeek 的排名改善了開放權重模型之間的比較,但尚未縮窄至排行榜上最強專有結果的距離。

目前排行榜顯示,DeepSeek V4.1 Flash 在最高推理強度下得分 1.7%,高強度下為 0.9%。GLM 5.3 Flash 和 MiniMax M3.1 Flash 在最高強度下各得 0.7%。OpenAI 的 Astra 6 以 9.5% 領先顯示出的維護者評估結果,而 Anthropic 的 Opus 5.5 得分為 3.6%。

這些比較讓這項里程碑回到適當比例。結果令 DeepSeek 在已評估的開放權重組別中脫穎而出,但也顯示跨過門檻不應被誤解為廣泛對等。同一排行榜中有明顯更強的結果,即使這些結果仍有很大改善空間。

推理強度是一項評估設定,用以控制模型被鼓勵或獲准使用多少推敲過程。單憑設定名稱,不能證明不同模型的資源消耗相同。因此,讀者比較結果時應保留所報告的設定,而非把每個產品名稱視為完整描述。

DeepSeek 各設定之間的對比值得注意,因為設定會改變觀察到的結果。然而,這並不證明更多推理總能改善每個儲存庫的表現,也沒有指出額外工作中的哪個部分造成差異。這需要檢視運行過程並測試各種解釋。

壓力主要落在承諾廣泛軟件維護能力的供應商身上。圍繞開發者指令設計的助手,即使不能獨立選擇有價值的工作,仍然可以很有用。自主維護產品作出的承諾更大,其評估應反映它要求客戶轉移的責任。

開放權重的可用性帶來其他買方考慮因素,包括對部署的控制,以及檢查或調整周邊軟件的能力。這些因素值得獨立評估。它們不會抹去能力差距,而能力差距也不會抹去它們的重要性。

對正在評估這些系統的公司而言,合理的比較應從預期任務開始。希望獲得已診斷缺陷協助的團隊,需要修復品質的證據;希望無人監督檢查儲存庫的團隊,則需要發現能力、誤報及安全完成工作的證據。相似的介面可以掩蓋截然不同的責任。

DeepSeek SWE-sweep 里程碑的價值,正正在於它令這項區別更難被忽略。買方可以承認進展,同時追問結果是否回應其實際工作流程。排名提供調查的起點,而非工程實用性的通用排序。

從模型排名推斷組織層面的結果也仍屬過早。較高的基準測試分數並不會說明團隊可節省多少審查工作。審查實務、儲存庫特性和部署限制,都會影響這種轉化。基準測試識別了效能差異;買方必須確定其營運意義。

更多代理機制需要更佳發現能力的證據

只有在明確說明條件下改善有用結果時,圍繞模型加入的軟件才值得肯定。

代理框架是管理模型互動、工具和執行的周邊軟件。SWE-sweep 維護者表示,排行榜上的比較使用 mini-SWE-agent,以保持環境一致。維護者亦表示,經測試的替代框架未能顯著改善結果,而增加更多代理雖有幫助,但效益會遞減。

這項發現應限於其背後的實驗範圍。它並未裁定所有可能的編排設計是否有效或無效,但確實挑戰了一項假設:以更複雜的設定取代簡單設定,便會自動解決自主發現問題。

這項區分相當重要,因為軟件可以改善工作流程,卻未必能改善判斷能力。一個框架或可令指令更容易執行,或在步驟之間保留資訊。尚未解答的問題是,這些便利措施是否有助代理程式找出真正的缺陷,並完成正確的修復。

多代理程式系統,即協調多個代理程式的設定,為同一問題帶來另一個版本。並行工作的代理程式可以檢查不同範圍;它們亦可能重複工作、追逐薄弱假設,或提出互不相容的改動。其價值取決於系統分配及整合其工作的效率。

試想一個假設的儲存庫檢視工作,按元件劃分。其中一個代理程式檢查輸入驗證,另一個則檢查序列化。若這種分工發現各自獨立且理據充分的修復,便有其價值;若兩個代理程式只是以不同名稱追查相同的底層行為,價值便會降低。

協調同時帶來審核負擔。一組看似合理的發現,仍需要判斷其有效性、重疊程度及相容性。能產生更多建議的產品,未必減少評估這些建議所需的工作。有用的自主性應提升最終貢獻的質素。

這令代理程式產品如何展示進展承受壓力。長時間使用工具的錄影可以顯得令人印象深刻;具說服力的評估則會把這些活動連繫至經獨立核實的結果。買家需要知道,系統增加的複雜性是否帶來更佳維護,而不只是留下更長的工作紀錄。

就 DeepSeek 尋找錯誤而言,尚待解答的問題是哪些改動能改善發現問題本身。更好的儲存庫導覽、更強的行為假設,以及更清晰的停止決策,都是值得研究的合理方向。在受控實驗顯示收益從何而來之前,它們仍應視為假設。

更廣泛的推論很直接:編排與模型能力需要各自獨立的證據。經過周密設計的系統可以令模型更有用,但設計必須以結果贏得這個結論。這項基準測試讓開發者可研究這些主張,而不假設更多活動部件就代表更佳工程。

分數無法回答所有部署問題

已發布的結果支持一項有界限的能力主張,而部署可靠性及效率則需要額外證據。

DeepSeek 模型結果揭示一項重要的報告限制。詳細頁面指出,磁碟已滿錯誤導致 Datafusion 軌跡及使用量資料遺失後,完整模型的資源平均值無法取得。這使人無法根據這些欄位作出完整的效率評估。缺失的量度應保持為缺失,而不應變成估算出的優勢。

這項披露相當重要,因為有用的修復與資源消耗回答的是不同問題。一個團隊可能願意為有價值的維護工作接受較慢的分析;另一個團隊則可能要求可預測的周轉時間。沒有完整量度,該基準測試無法為任何一方買家裁定這項取捨。

對正確性的主張同樣需要審慎。通過評估,僅在其測試及規則範圍內提供證據。生產環境軟件還包含未明言的期望、整合行為及營運限制。基準測試結果不能僅因其儲存庫是真實的,便認證所有這些條件。

歷史錯誤資料集亦形成另一條詮釋界線。它們提供已知缺陷,讓提交的改動可據此檢查;它們並非底層軟件所有可能缺陷的清單。因此,基準測試百分比不應變成關於代理程式能找到所有真實錯誤中多少比例的說法。

有用的發現與全面維護之間亦有差異。一個系統可能作出有價值的修復,同時遺漏其他重要問題;這仍可幫助開發者。風險在於,有用的貢獻被延伸成儲存庫已獲徹底檢查的主張。

對維護者而言,實際的接受標準應把發現質素與表述質素分開。一個條理清晰的解釋,可以令薄弱的假設聽來具說服力。審核需要檢視行為證據、建議的改動,以及該改動會否改變一項經刻意設計的契約。

私有的組織脈絡令比較進一步複雜化。一個儲存庫可能依賴記錄在原始碼檔案以外的決策。代理程式的誤解可能反映脈絡缺失、推理不足,或兩者兼有。評估這些可能性需要知道系統接收了甚麼資訊。

處理該問題的團隊可在技術知識庫中整理輔助材料。這有助取得相關證據,但不能證明代理程式會正確詮釋證據,亦不能證明加入文件會提升此基準測試分數。

因此,DeepSeek 編碼基準測試結果應影響買家提出的問題,而非消除這些問題。哪些發現能通過審核?哪些改動引入意料之外的行為?哪些執行會停滯?有用工作出現得有多一致?這些問題把研究結果連繫至實際工程團隊的責任。

恰當的懷疑態度是具體的。它並不要求否定這項里程碑,亦不假設自主維護不可能改善;它要求把經評估的主張,與現有證據未能確立的相鄰主張分開。

甚麼會令下一個結果更具說服力

下一項有意義的進展,應同時加強可重現性、發現質素及資源報告。

未來數月首個值得留意的訊號,是在清晰記錄的設定下獲得獨立重現。評估儲存庫令重現及進一步研究成為可能。一項具說服力的後續研究,應識別模型設定、保留執行紀錄,並解釋任何偏離原有條件之處。

重現很重要,因為排行榜條目是在一個評估流程中的觀察。重複實驗可測試當另一個團隊遵循該流程時,結果是否仍然可靠。只要研究人員調查差異,而非把差異簡化為互相競爭的標題百分比,分歧亦可以提供資訊。

重複得到的結果會加強人們對 DeepSeek 所報位置的信心;明顯不同的結果則需要檢視設定、環境及執行失敗。缺乏這些細節時,兩種結果都不應被詮釋。其價值在於釐清該能力在哪些條件下出現。

第二個訊號是受控比較,把模型改進與代理程式行為改動分開。未來評估應清楚說明,收益是否來自不同模型、更廣泛的搜尋、更佳協調,或其他改動。否則,進展將難以歸因,亦更難讓開發者重現。

一項特別有用的結果,會顯示代理程式在不增加薄弱建議或不令早期修復失穩的情況下,找出額外的有效缺陷。這將支持擴大委派範圍的理由。單是產生更多修補程式,證據會較弱,因為數量不能證明工程價值。

這個訊號亦關乎開放權重的差距。隨着比較組合擴大,額外評估可以揭示 DeepSeek 的位置是否持續。即使排名改變,更強的競爭陣容仍可改善買家可獲得的證據。現時「首個超過門檻」的主張,應繼續限於實際已評估的模型。

第三個訊號是完整報告資源使用及營運失敗。恢復量度將讓讀者評估,一項改進是否需要大幅增加工作量。清晰的失敗記錄亦能區分模型限制與中斷執行、遺失紀錄及環境問題。

更好的報告將加強關於實際有用性的主張。即使標題分數上升,持續存在的缺口仍會令這些主張未獲解答。買家既需要結果,也需要取得結果所需的條件;否則,表面上的改進可能掩蓋較難預測的營運流程。

對開發者而言,這些訊號比起競逐重複某個百分比,提供更有用的觀察清單。重要的發展是證據顯示,代理程式能更一致地選擇值得做的工作、安全地完成工作,並公開足夠細節讓他人評估結果。這將回應此里程碑背後的核心張力。

在擴大代理程式權限之前,請把其建議角色與此處量度的工作作比較。為每項聲稱的缺陷保留證據,在脈絡中檢視修復,並區分有幫助的協助與無人監督的責任。使用 DeepSeek SWE-sweep 結果來聚焦這項評估,而非以它取代評估。若你的團隊已信任助理修復已診斷的問題,請問自己還需要甚麼額外證據,才足以讓它選擇這些問題。最具資訊價值的下一項測試,是讓該責任變得可見的測試。檢視基準測試的設定,找出你的工作流程增加了哪些職責,並決定在這些職責由開發者移交給代理程式前,一個具說服力的結果需要展示甚麼。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page