Whatmodel AI 基準測試審計發現：實驗室聲稱與獨立測試之間相差 6.4%
whatmodel 的 AI 基準測試審計報告發現一項可量化的落差：AI 實驗室公布的分數，平均比獨立測試者的相符結果高出 6.4%。分析涵蓋 180 個模型及 103 項基準測試的 611 組比較。其核心發現相當引人注目，但並不能證明存在系統性的分數誇大。
該項目比較同一模型在同一測試中的表現，然後量度開發商結果與外部結果之間的相對差異。在 375 組比較中，實驗室公布的數字較高；獨立測試者在 216 組中領先，另有 20 組結果完全相同。
這項反差關乎基準測試數字究竟能否如實告訴買家、開發者及研究人員甚麼。模型分數往往看似客觀的產品規格，但結果可能高度取決於提示詞、軟件測試框架、推理預算、測試版本，以及開發商選擇公布哪些評估結果。
這使實驗室的發布資料站在一方，而可重現、獨立的評估則站在另一方。真正的爭議並非實驗室是否捏造結果，而是不同條件下得出的結果是否應被直接視為可比較。
Whatmodel AI 基準測試審計以同類作比較
審計最重要的貢獻，在於嘗試比較完全相同的模型與基準測試組合，而非混合無關的排行榜結果。
根據其創建者表示，項目首先收集了 1,629 項已公布的基準測試結果。它識別出 611 組配對結果，當中模型開發商與外部方均報告了同一項分數。這些配對涵蓋 103 項準確度基準測試中的 180 個模型。
每項比較代表一個模型於一項指定測試中的評估結果。開發商的結果會與排行榜、研究論文或另一間 AI 實驗室的結果並列。如任何一方提供多項合資格結果，whatmodel 會採用該方的中位數。
標題數字來自相對計算。審計從實驗室分數中減去獨立分數，再除以獨立分數，並將結果轉換為百分比。每組配對均獲同等權重。
因此，實驗室分數為 60、獨立分數為 50，即會得出 20% 的相對差異。計算包括負差異及平手結果。獨立分數為零的比較會被排除，因為無法以該基準計算相對百分比。
在合資格配對中，實驗室結果平均高出 6.4%。相對差異的中位數則小得多，為 1.2%。平均數與中位數之間的差距相當重要，因為少量巨大的落差可以把平均數拉高。
報告所述平均數的 95% 信賴區間為 3.8% 至 9.5%。項目透過重新抽樣整個模型而非把每項結果視為獨立，產生該區間。這項選擇承認同一模型的多項基準測試結果可能共享相同設計決定。
審計亦提供絕對比較。在全部 611 組配對中，實驗室優勢的中位數為每項基準測試原始量表上的 0.8 個百分點。實驗室在所有配對中有 61% 得分較高，分母包括平手結果。
移除平手結果後，實驗室結果在 63% 的分歧中較高。這個比例來自 375 項實驗室領先結果及 216 項獨立測試領先結果。項目報告該指標的 95% 區間為 59% 至 68%。
這些統計數字描述的是已收集樣本中的關聯，並不表示每個開發商都把表現高估了 6.4%，亦無法預測新模型、實驗室或基準測試之間的差距。
互動式比較令這項限制清晰可見。個別差異雙向分布，外部測試者有時會報告明顯更強的表現。讀者可檢視成對來源，而非只依賴平均數。
這種透明度使項目有別於挑選若干差異製成的截圖。比較頁面列出模型、製造商、基準測試、配對分數、差異及相關來源，亦按測試和模型製造商分列摘要。
更廣泛而言，whatmodel 項目是一個開源排行榜及評估資料庫。其資料儲存庫包括基準測試紀錄、來源中繼資料、評分程式碼、驗證報告及授權通知。其程式碼採用 MIT 授權，而整合資料則採用 CC BY-SA 4.0。
這種開放性令分析可供審核，但開源程式碼不會自動驗證每一項分類。貢獻者可檢查來源如何分配、模型如何配對，以及重複量度如何處理；他們亦可透過項目的貢獻流程質疑有問題的配對。
最適合把結果理解為一項有文件記錄的已公布聲稱審計。它把常見的懷疑轉化為可測試的估算，同時保留通往底層證據的連結。其張力始於標題數字結束之處：表面相同的基準測試標籤，可能隱藏截然不同的實驗。
AI 基準測試分數差距集中於彈性較高的測試
6.4% 的平均數掩蓋了一項更有用的發現：基準測試設計似乎與分歧幅度密切相關。
多項成熟測試在實驗室與外部結果之間的變動不大。MMLU 及 HumanEval 的中位數差距均為零。WinoGrande 錄得負 0.1 分的中位數差異，而 ARC Challenge 則為負 0.6 分。
這些基準測試並非不受實施差異影響。然而，其成熟格式及廣泛使用的評估工具，可減少每位評估者需要自行決定的事項。當模型版本及指標一致時，標準化程度較高的測試理應產生更可比較的結果。
在執行選擇本身構成結果一部分的評估中，模式則出現變化。SWE-bench Verified 在 13 組配對中錄得 9.0 分的實驗室優勢中位數，實驗室分數在其中 92% 的配對中較高。
SWE-bench Verified 評估 AI 系統能否解決真實軟件問題。在這種環境中，模型並非獨立運作。其工具、提示詞、重試政策、上下文選擇及代理框架，都可對分數造成重大影響。
測試框架是呈現任務、管理工具及記錄結果的軟件層。兩項評估可以使用相同模型和基準測試，卻採用不同框架。因此，最終百分比可能反映模型—系統組合，而不只是模型本身。
編程基準測試 MBPP 亦在 13 組配對中顯示 9.0 分的實驗室優勢中位數。GSM8K 在 19 組比較中顯示 3.3 分。AIME 2024 及 AIME 2025 則分別錄得 3.8 分及 2.6 分的中位數差距。
推理評估會帶來另一個變動來源。評估者可以改變抽樣回應數量、容許的 token 預算，或選擇最終答案的方法。即使底層模型不變，投入更多推理運算亦可提升報告結果。
少樣本提示詞帶來相關問題。評估者在要求模型解題前提供範例。即使每項結果均使用相同基準測試名稱，不同範例、格式選擇及答案擷取規則仍可改變表現。
這個機制有助解釋為何實驗室與獨立基準測試結果可出現分歧，而任何一方都未必有計算錯誤。開發商通常更深入了解其模型偏好的提示詞及服務配置；外部評估者則可能在競爭模型之間採用標準化設定。
開發商的結果可以回答：「此系統在經優化設定下可達到甚麼表現？」外部結果則可以回答：「此模型在常見評估協議下表現如何？」兩個問題都合理，但其答案不可互換。
選擇性報告再增加一層因素。實驗室可以進行多項評估，並公布最能展現新版本優勢的結果。這種做法無須改動任何分數，卻會改變公眾可見的樣本。
whatmodel 資料集包含已公布結果，而非每個開發商進行的所有測試之隨機樣本。因此，6.4% 這個數字量度的是可取得紀錄中的差距，無法估算實驗室決定不披露的結果。
基準測試版本亦可能出現漂移。測試可能加入已修正題目、擴展子集、污染控制措施，或採用不同評分程式。發布表格中看似相同的標籤，可能實際指向具重大差異的資料。
審計表示，差距按各項測試自身量表的百分點計算，並非 whatmodel 綜合排行榜分數的差異。這項區分可避免讀者把十點基準測試差距解讀為普遍的十點能力優勢。
分布亦警告讀者不要只聚焦極端例子。巨大不符之處適合製作具說服力的社交媒體帖文，但大多數配對結果彼此較接近。絕對差異的中位數模式比標題平均數所暗示的更為溫和。
不過，集中的分歧在商業上仍然重要。編程代理及推理系統正是買家最需要可靠比較的類別，同時亦是評估設定最可能發揮重大影響的類別。
因此，選擇編程模型的開發者應檢視整個評估系統。模型版本、測試框架、工具權限、重試上限及評分規則，都應納入比較之中。單一標題百分比留下了太多未交代的背景。
實驗室聲稱與獨立結果回答不同問題
主要衝突並非誠實測試者對上不誠實實驗室，而是經優化的示範對上可比較的量度。
模型開發商有充分理由為新版本尋找最佳可行配置。他們知道建議使用的系統提示詞、工具介面、推理控制及推論設定。他們的評估可揭示一般框架可能無法捕捉的表現。
獨立測試者追求不同目標。他們通常在多個供應商之間固定提示詞、預算及評分規則。這種一致性可能犧牲針對個別模型的優化，但可為買家提供更清晰的比較基準。
whatmodel AI 基準測試審計檢驗敵對競爭者的評估能否解釋整體模式。它把中立來源與競爭實驗室公布的結果分開。中立來源包括排行榜、Epoch AI，以及沒有發布被比較模型的論文。
在涉及中立測試者的 236 組配對中，製造商在 56% 的情況下報告較高結果。在取自競爭實驗室發布文件的 446 組配對中，製造商在 63% 的情況下領先。
這些類別存在重疊，因為同一模型及測試可以有多項外部量度。因此，項目檢視了 272 宗競爭者及中立方均評估同一模型與測試的個案。競爭者有 131 次評分低於中立測試者，另有 130 次較高。
競爭者與中立方之間的中位數差異為零。這個結果削弱了一種簡單說法，即競爭對手一貫把彼此評低。它並未排除所有競爭因素，但焦點再次指向評估設定及公布選擇。
壓力落在每一個把基準測試表當作直接產品比較的機構身上。OpenAI、Google、Meta、Anthropic、Alibaba Cloud、DeepSeek、Mistral AI，以及較小型開發商，都身處由排行榜主張塑造的市場。一項強勁的發布分數，可能在獨立測試跟上之前影響採用決定。
審計提供按開發商劃分的摘要，但這些數字需要審慎解讀。不同開發商的樣本數和基準測試組合各異。一家公司可能在穩定的學術測試中有大量比較，另一家則主要出現在變動較大的代理評估中。
該項目明確將按開發商劃分的群組描述為粗略概況。即使收集了大量資料，也無法完全控制模型年齡、基準測試類型、發布策略，或可重現權重的可用性。根據這些中位數建立公司排名，會誇大數據所能支持的結論。
正確的回應是改善溯源資訊，而不是另設一張所謂違規者的排行榜。溯源記錄結果來源、所運行的模型版本，以及產生分數的程序。沒有這些資訊，基準測試數字便會脫離其實驗。
原始的模型卡框架要求在報告模型表現和預定用途時，同時交代評估程序。隨着評估納入代理、工具、評判器和可調整的推理力度，這項原則變得更為重要。
一個現代評估結果需要的不只是模型名稱和測試標籤。它應列明模型快照、提示格式、測試版本、指標、推理預算、抽樣參數、測試框架版本及運行次數。任何排除項目或失敗嘗試也應披露。
近期有關評估卡的研究，將可比較性和溯源視為不同訊號。其作者檢視了數千個模型和基準測試的報告。他們認為，原始分數報告往往得以保留，但周邊設定仍然不完整。
這個缺口帶來一種常見用戶體驗。買家看到兩個模型相差幾分，之後才發現其中一個獲得更多推理 token，或使用了專門的代理。排名看似精確，但其背後的問題並不穩定。
採購團隊應將開發商分數視為在已記錄條件下可達表現的證據。獨立結果則提供另一名評估者條件下表現的證據。兩者都不會自動代表某間公司的實際生產環境行為。
有用的內部評估應由真實任務、具代表性的文件及明確的失敗成本開始。公開基準測試可縮窄候選名單，但無法衡量每個機構的所有工作流程。檢索質素、延遲、權限和人工審核，往往比細小的學術分數差距更重要。
對研究人員而言，這次審計強調需要發布足以供複製的資訊。對開發商而言，它鼓勵在多個獨立測試框架上進行實驗。對用戶而言，它把預設問題由「哪個分數正確？」改為「每個分數由哪種設定產生？」
這個轉變並不為含糊的報告開脫。若實驗室宣傳一個數字，卻不發布相關條件，讀者便無法判斷結果是否可重複。即使分數在技術上有效，關鍵背景仍被隱藏時，也可能造成誤導性的比較。
6.4% 發現無法確立甚麼
該審計識別出一種報告模式，但其設計無法判定意圖、普遍偏差或真實世界的產品質素。
第一項限制是選擇偏差。資料集包含已發布、被發現、獲授權和配對的結果。它不包括每一次內部評估運行、每個失敗實驗，或每項未被納入模型發布公告的測試。
發布選擇可能推高觀察到的實驗室平均值。開發商在發布材料中突出優勢，這是可以理解的。獨立研究人員亦可能選擇能揭示弱點、測試熱門主張，或適合其現有基礎設施的基準測試。
第二項限制是可比較性。相同的模型名稱和基準測試標籤，並不保證實驗完全相同。供應商端模型可能改變，開放權重可能套用不同範本，評估程式碼也可能以不同方式實作指標。
該項目嘗試保留基準測試版本和聚合細節等區別。其比較頁面亦承認部分情況下窗口或聚合方法未有說明。這些標籤揭示不確定性，但無法重建缺失的設定。
第三項限制涉及加權。每一個合資格配對對 6.4% 平均值的貢獻相同。因此，針對小型學術模型的比較，與涉及廣泛部署商業系統的比較，具有相同統計權重。
同樣地，擁有大量模型配對的基準測試會比配對較少的基準測試貢獻更多觀察值。這種方法描述收集到的比較集合，並不代表市場份額、用戶影響，或各項測試的相對重要性。
第四項限制是觀察值之間的相依性。同一模型的多個配對可能共享架構、訓練數據、提示和發布做法。該審計透過對整個模型進行重抽樣，處理其不確定性區間的這個問題。
這項統計選擇改善了分析，但無法移除所有相依關係。同一系列的模型可能共享設計和評估流程。跨論文轉載的結果，也可能在來源之間形成隱藏關係。
第五項限制是使用相對百分比差異。當獨立基準值較低時，相對計算可能變得很大。這有助解釋為何平均值可以高於中位數，即使許多絕對差距仍然不大。
讀者應一併考慮 6.4% 平均值、1.2% 中位相對差異和 0.8 分中位差距。沒有任何單一統計數字能完整描述分布。方向性計數提供另一個角度，顯示每一方領先的頻率。
第六項限制是，獨立測試所得的較高分數同樣存在。在非平手的配對中，外部測試者有 216 次領先。其中部分差異甚大，顯示實驗室報告並不會一貫界定表現的上限。
因此，最有力的結論比標題所說的更狹窄。在這個已發布並完成配對的資料集中，實驗室分數傾向較高。這種模式在具有可調整評估程序的測試中最為明顯。
這些發現並不能證實造假。它們無法判斷差異是源於最佳化、版本漂移、隨機抽樣、實作錯誤，還是選擇性披露。判定意圖需要該項目並不掌握的內部記錄。
whatmodel AI 基準測試審計亦無法判定哪個分數更能預測用戶的部署結果。經最佳化的實驗室設定可能接近產品建議的設定。標準化的外部測試框架則可能更能代表跨供應商採購情境。
獨立測試也有其風險。通用評估者可能使用不佳的提示、過時端點、不正確的聊天範本，或不足的推理預算。即使具可重現性，若協議測試了錯誤的運作條件，亦不代表結果具相關性。
基準測試質素又增添另一層不確定性。AI Index findings描述部分常用評估迅速飽和、存在被操弄的疑慮，以及大量無效問題的比率。即使分數被完美重現，仍可能是在衡量一項有缺陷的測試。
污染問題可進一步削弱解讀。若基準測試題目或近似變體已進入訓練數據，高表現可能反映熟悉度而非普遍能力。公開測試集在儲存庫和生成數據集之間流傳時，尤其容易受到影響。
部分較新的評估會將部分內容保持私密，或更新題目以限制曝光。然而，這些防禦措施令複製變得更困難。該領域面對透明檢視與維持未見測試集之間的取捨。
該審計的開放授權支援檢視其本身的選擇。研究人員可以重現計算、檢視來源、提出修正，並建立替代摘要。這個過程很重要，因為分析本身也應符合它要求實驗室達到的標準。
更強的後續研究會按基準測試類別、評估者類型、模型可存取性及已記錄的設定相似度，對比較進行分層。它亦可把固定權重模型與持續變動的 API 產品分開。這些劃分有助識別分歧源自何處。
另一項有用的延伸，是在相同公開測試框架下比較配對結果。這類實驗可把模型版本變更與評估者選擇分離。重複運行亦會顯示表面上的分歧有多少來自抽樣變異。
在更多證據出現前，讀者應避免兩種相反錯誤。他們不應把每一項開發商基準測試都視為營銷虛構內容；也不應把一張精美的基準測試表視為獨立於其設定的中性衡量。
三個訊號將顯示基準測試報告是否改善
下一階段不是再得出一個標題式平均值，而是實驗室和評估者是否披露足夠細節，令結果真正可比較。
第一個訊號，是模型卡和技術報告中的設定報告更為豐富。有用的披露應列明確切模型快照、測試版本、提示、測試框架、指標、推理預算、抽樣設定和運行次數。
若主要實驗室持續發布這些欄位，便會更容易測試該審計的解讀。外部評估者可在將最佳化設定與標準化設定比較前，重現前者。若在匹配條件下差距仍持續，便會加強對報告偏差的憂慮。
若披露仍然不完整，目前的發現便更具重要性。缺少設定資訊會繼續迫使買家比較實驗條件不確定的數字。基準測試表仍會更接近產品主張，而非可攜式衡量。
第二個訊號，是在中立評估系統之間進行複製。獨立團體應以通用協議和開發商建議設定，重新運行相同模型。發布兩組結果可把最佳化收益與更廣泛的能力區分開來。
這種設計比選擇任何一方，更能有效解決實驗室與獨立基準測試之爭。模型可能在其原生測試框架下表現最佳，但在標準化限制下仍較弱。用戶值得看到兩種結果。
重複評估亦應保留失敗、排除項目及不同運行之間的變異性。只報告成功的匯總結果可能掩蓋運作不穩定性。代理系統尤其需要這樣處理，因為工具調用和長軌跡會引入額外失敗點。
若中立複製縮小 AI 基準測試分數差距，設定差異便會成為首要解釋。若在設定匹配後差距仍持續，對選擇或報告做法的憂慮便會增加。無論哪種結果，都會改善證據基礎。
第三個訊號，是買家評估 AI 產品方式的改變。採購團隊可開始在接受基準測試主張前，要求提供結果溯源。他們亦可要求在具代表性的內部工作上進行評估，而非只依賴公開排行榜。
對於編程助理而言，這可能包括在受控權限下處理機構自有儲存庫中的任務。至於研究助理，則可能需要在可信文件中尋找證據，同時保留引文。客戶支援系統則需要具備領域準確性、升級處理機制，以及一致的政策執行。
這些評估應記錄提示詞、模型版本、檢索設定及人工判斷。團隊可在可搜尋的知識工作流程中保留這些背景資料，而非將分數與其背後的文件和決策分開。
實際採用數據將揭示些微的基準測試領先是否重要。一個在學術測試中勝出的模型，仍可能在可靠性、整合成本或任務完成度方面落敗。相反，一個強大的生產系統或會依賴模型單獨基準測試所排除的編排機制。
留意實驗室在外部評分與發布聲稱出現明顯差異時如何回應。公開重現方法、解釋設定差異，或更正表格，都有助加強信任。保持沉默或更改標籤，則會令相關比較持續懸而未決。
亦要留意排行榜營運者會否將評估元數據視為一級資料儲存。沒有程序說明的分數，應被清楚標示為不完整。篩選功能可區分經優化、標準化及獨立重現的結果。
whatmodel 專案可透過長期追蹤修訂及具爭議的配對結果作出貢獻。其開放資料模型讓貢獻者能檢視來源，而非將排行榜視為不可質疑的權威。這種設計鼓勵更正，而這正是可信量度的特質。
whatmodel 的 AI 基準測試審計並未裁定 AI 實驗室是否誇大模型表現。它顯示，在一個規模可觀的配對樣本中，它們所發布的數字系統性地較高；同時亦指出最大分歧通常出現在哪些地方。
實際的應對方法很直接：把基準測試分數視為有完整記錄的實驗結果，而非模型的固定屬性。應問清楚運行的是哪個版本、可使用哪些工具、獲分配多少推理資源，以及由誰選定測試。
開發者可透過開放儲存庫重現比較並提交更正。採購方可在承諾採用某個模型前要求進行配對評估。研究人員則可測試這個 6.4% 的模式在更嚴格控制下能否持續存在。
你下次看到基準測試聲稱時，應立即問一個問題：另一名評估者能否重建該數字背後的條件？在答案成為常規之前，實驗室聲稱與獨立測試之間的落差，仍將是每次模型比較的一部分。
