top of page

GDPx 基準測試瞄準高價值 AI 工作,最高得分為 12%

3 日前
讀畢需時 11 分鐘

SemiAnalysis 於 2026 年 11 月 2 日推出 GDPx 基準測試,其排名最高的模型在 11 個領域中取得 12% 的分數。這個結果為前沿 AI 開發商提供了一個要求嚴格的新參考點,同時亦引出一個有關評估本身的問題:測試應反映今日經濟,還是應反映預計會吸引前沿 AI 投資的專門工作?

根據 SemiAnalysis,GDPx 聚焦於先進 AI 可帶來特別可觀回報的領域。其範圍涵蓋晶片設計、科研、金融、法律工作及軟件工程等。這項選擇令該基準測試不僅衡量當前能力,也就未來需求提出一種主張。

這與 OpenAI 的 GDPval 形成的對比值得留意。GDPval 透過職業及具經濟重要性的產業抽樣專業工作;GDPx 則從另一種判斷出發,探討前沿智能應投放於哪些領域。對開發商及企業買家而言,這些方法回答的是不同問題。單靠任何一個標題分數,都不足以證明某個代理能可靠地處理公司實際的工作負載。

GDPx 基準測試將專門工作置於核心

SemiAnalysis 將其前沿能力基準測試描述為橫跨具經濟價值的技術及專業領域的測試。其公告明確偏向先進 AI 的預期機遇,而非當前經濟活動的代表性樣本。讀者在解讀任何排名前,應先理解這項決定。

GDPx 測試的是經篩選的高價值前沿工作觀點,而非衡量整個經濟體的自動化程度。

這項差異改變了成功的意義。優秀結果支持系統在該基準測試所選定環境中的表現主張,但並不代表它在每一種職業、業務流程或客戶互動中都具備廣泛能力。同樣地,較弱的結果亦不表示模型在較狹窄的輔助用途上沒有價值。

試想一下,協助工程師檢查設計,與獨立交付可接受的工程結果之間的差別。當專業人士提供缺失背景、找出錯誤,並決定哪些內容值得進一步調查時,協助功能仍可十分有用。自主執行則將更多責任放在系統自身的判斷上。

針對高要求代理工作而設的基準測試,應令這項差異清晰可見。代理即是為達成目標而採取行動的 AI 系統,不能只產生看似合理的解釋;它還需要選擇有用行動、解讀回饋,並在初步方法失敗時作出修正。

因此,完成標準尤其重要。一份修飾完善的答案,可能掩蓋尚未解決的依賴關係或缺乏支持的假設。反過來,展示方式不夠理想的結果,也可能包含技術上正確的工作。讀者在將分數視為專業實用性的證據前,需要知道評估獎勵的是哪些特性。

這次推出亦為 AI 開發商提供了一個共同研究失敗情況的平台。一項困難任務可揭示規劃、工具使用、驗證或專門推理方面的弱點,而這些弱點需要不同介入方法。改善指令未必能修補缺失的技術能力;更強的模型亦不會自動修復損壞的工具連接。

因此,對買家而言,眼前價值在於診斷。這個基準測試帶來一些值得針對擬議部署提出的問題:哪些任務與預期工作流程相似?哪些失敗可由審核者發現?哪些錯誤會在造成下游問題前一直隱而不見?

當這些問題伴隨排名一同考慮時,GDPx 基準測試便更具價值。若將其分數視為通用衡量標準,便會忽略那些賦予此評估本身特質的領域選擇。

12% 的領先成績改變買家應提出的問題

已發表的代理表現排行榜列出 Claude Opus 5.5 為 12.0%、Gemini 4 Carbon 為 10.9%,以及 GPT-6 Astra 為 9.6%。它對各領域採用相同權重,並在每個領域內對合作夥伴採用相同權重。任務使用二元或連續式評分,分數取三次嘗試的平均值。

標題百分比描述的是這項評估的評分系統,並非 AI 可自動化的辦公室工作比例。

連續式評分會按完成程度給予不同分數,而非只判定成功或失敗。當這種方法與二元評分並存時,讀者不應隨意將總分理解為簡單的完成率。該百分比代表甚麼,取決於評分規則。

各領域採用相同權重,亦設下另一重解讀界線。某領域對標題數字的貢獻,並不直接反映它對特定買家的重要性。半導體團隊及法律部門即使檢視同一份評估,也完全可以合理地偏好不同系統。

這並不削弱共同分數的價值。匯總結果令廣泛比較更易瀏覽;問題在於,當便利取代深入檢視時便會出錯。採購決策需要相關領域結果、任務條件及可接受的失敗模式。

想像一家公司正在評估用於技術文件審閱的代理。買家可能更重視識別缺失證據,而非快速產生完整答案。另一家公司或會優先考慮起草速度,因為每一項輸出本來都會經專家審閱。兩者偏好的系統未必相同。

較低的總分亦可能有多種解釋。任務可能要求系統不具備的知識、其工具無法執行的行動,或它無法持續維持的協調能力。評估可揭示表現落差,卻未必能立即指出成因。

因此,下一個有用問題是系統在哪個環節停止取得進展。它是否誤解目標?是否選錯工具?是否完成大部分步驟卻未能通過最後檢查?相對於單一排名位置,這些區別對實施更重要。

買家亦應將部分實用性與獨立可靠性分開考慮。無法完成困難任務的系統,仍可能產生有價值的中間成果。只要合資格人士能在毋須重做全部工作的情況下評估該成果,這便可能是一個具潛力的輔助用途。

相反的問題同樣值得注意。一份看來已完成的交付成果,或許需要大量核查才值得信賴。若驗證成為主要工作負荷,表面上的自動化可能只是轉移工作,而非消除工作。

因此,GDPx 結果應促使各方收緊驗收標準。部署提案需要界定何謂滿意的工作、審閱流程,以及識別缺乏支持輸出的方法。排行榜提供比較證據;至於哪些證據足夠,決定權仍在機構手中。

GDPx 與 GDPval 的比較,是關於應衡量甚麼的辯論

OpenAI 在 GDPval 中透過橫跨 44 種職業的工作,引入了具經濟價值的任務。其已發表的方法論將任務選擇與對美國經濟產出貢獻重大的產業連繫起來。SemiAnalysis 則採取不同起點:優先考慮預計前沿智能可帶來特別可觀回報的領域。

核心分歧在於工作樣本的選擇,而非先討論哪一個模型表現最佳。

以職業為本的評估,會問 AI 如何在既有經濟結構中處理可辨識的專業交付成果。以前沿為本的評估,則問系統在與先進能力及預期需求相關的指定領域中表現如何。兩者是相關問題,但答案不能互相替代。

對買家而言,經濟廣度提供一種相關性。它有助將評估連繫至現有職位、部門及熟悉的輸出成果。公司能辨認這些工作產物,並評估它們是否與現時分派的任務相似。

專門深度則提供另一種相關性。技術要求高的工作流程,可能揭示一般日常交付成果集合所遺漏的限制。對於將自主系統推進至專家環境的團隊,這些限制值得直接量度。

兩種方法都無法將判斷從基準測試設計中移除。總要有人選擇任務、決定提供哪些背景,以及界定何謂可接受的結果。經濟分類並不會令這些選擇變得中立;選擇與未來 AI 投資相關的產業亦然。

因此,GDPx 與 GDPval 應繼續被視為測量選擇之間的比較。它不應變成一場競賽,彷彿看來較困難的分數會自動令較易理解的任務集失去價值。難度只有在符合所問問題時才有意義。

一項評估或許太容易,無法區分先進系統,但仍有助了解常見應用。另一項評估則可區分前沿系統,卻只代表日常工作的一小部分。兩者都可以提供證據,而毋須互相取代。

METR 透過任務完成時間範圍提供另一個視角,將系統表現與人類專家完成可比任務所需時間連繫起來。METR 提醒,其測量取決於任務選擇,並不代表已證實可在各職業中實現通用自動化。

這個視角突顯任務難度與機器運行時間之間的重要差異。讓代理運行更長時間,並不代表它能處理要求更高的工作。重要的是,它在仍能產生可接受結果的情況下可管理的複雜程度。

因此,合理的評估組合可結合不同視角。廣泛的專業任務展示覆蓋範圍;專門環境測試深度;以時長為本的分析則檢視持續執行能力。所得出的圖像會包含分歧,因為各項測試檢視的是不同特性。

這些分歧很有用。它們讓買家有方法質疑把多樣證據壓縮成單一「通用能力」主張的銷售簡報。

領域選擇的重要性遠超標題所顯示

已發表的領域任務說明顯示,GDPx 的涵蓋範圍遠超對話式答案。金融部分包括一個包含 4,000 個檔案的交易環境。硬件工作涉及工程軟件,而材料科學則包括模擬實驗室設備。範圍亦包括對齊,即代理是否保持誠實並尊重其授權範圍。

逼真的任務環境十分重要,因為有用的執行取決於背景、約束及驗證能否共同運作。

金融例子說明,能存取資訊與正確使用資訊之間存在差異。大型文件集合可同時包含相關證據及干擾材料。代理必須識別何者重要、協調互相矛盾的細節,並維持證據與結論之間的聯繫。

在假設的交易審查中,找到一個數字只代表工作剛開始。審查人員仍須理解其定義、申報期間,以及它與其他文件的關係。省略這些限定條件的答案看似精確,卻可能支持錯誤的決定。

同樣的推理亦適用於工程工作。設計方案必須符合實際約束,而不只是看起來像一個可接受的設計。系統必須區分成功的中間操作,以及符合任務要求的最終完成結果。

科學工作流程亦帶來類似挑戰。完成分析並不代表其假設與實驗相符。代理需要在任務的科學背景下解讀輸出,而不是接受工具產生的任何結果。

這些例子說明,專門環境為何能揭示問答測試所隱藏的弱點。系統會面對一連串決定,而其後果會逐步累積。早期的誤解可能產生後續看似自洽、但仍然錯誤的輸出。

它們亦顯示環境設計值得仔細檢視。一項任務可能因其介面像專業軟件而顯得逼真。然而,逼真程度亦取決於所提供的資訊、容許採取的行動,以及用來評估結果的標準。

讀者應區分令人信服的場景,與該場景確實涵蓋實際工作中最艱難部分的證據。這項判斷需要檢視例子與失敗情況;單憑領域標籤無法證明這一點。

對知識工作者而言,實際含義是保留 AI 輔助決策的證據鏈。把來源文件、中間結論及審查備註串連起來,會令有爭議的輸出更容易調查。

正在建立可搜尋知識庫的團隊,在準備內部評估時亦可採用相同原則。他們需要可檢索的證據,說明系統看過甚麼,以及審查人員為何接受其結果。

這種組織紀律可補足外部基準測試。GDPx 提供嚴格的參考點,而企業自身的紀錄則可確認其表現是否能轉移至實際情境。

安全限制令能力的含義變得複雜

SemiAnalysis 表示,安全分類器會影響部分模型在網絡安全、生物學及對齊領域的結果,並討論了排除這些領域後的排名。安全分類器是識別受限制請求或行為的系統;它們的介入可影響代理嘗試和完成的工作。

被阻止的任務、不成功的嘗試,以及未獲授權的行動,代表不同結果,即使它們各自都會降低表面上的實用性。

發布方的解釋應獲歸因,而不應被自動接受。較低分數本身並不能證明不受限制的版本會成功。要證實這一點,需要有證據在其他條件可比的情況下,區分拒絕行為與技術失敗。

這項區分很重要,因為能力與可用性是不同特性。模型可能具備相關知識,卻拒絕將其應用於獲准的企業任務。對該買家而言,無論模型的底層能力如何,這項限制都會成為實際部署約束。

另一個系統可能嘗試處理更多工作,但需要更密切監督。它願意繼續處理可提高任務覆蓋率,卻會帶來不同的營運負擔。買家在把較高完成分數視為較佳商業結果前,需要了解這兩種特性的證據。

移除敏感領域,只回答了關於其他範疇表現的較狹窄問題。它無法解決限制是否恰當、任務指示是否建立足夠授權,或嘗試採取的行動是否仍在範圍之內。

這令對齊對結果解讀尤其重要。成功的代理應在其權限範圍內追求目標。透過被禁止的行動達成結果,不應成為部署已準備就緒的證據。

以假設的安全評估為例,獲准檢查指定應用程式,並不自動授權探測相鄰的基礎設施。即使未授權行動有助找到漏洞,這項區分仍然重要。組織可接受的結果包括尊重評估邊界。

這帶來真正的評估取捨。當工作合法且獲准時,測試不應獎勵空泛的拒絕;同樣也不應獎勵無視明確限制的激進執行。有用的評估需要區分這些行為,而非把它們隱藏在總分之中。

同樣原則亦適用於安全以外的領域。代理可能虛構缺失資訊、悄悄更改假設,或在證據不足時宣稱已完成。這些行為可以令結果看似有效率,卻削弱其可靠性。

對企業買家而言,相關問題是當進展變得困難時,系統會如何行事。它會索取必要資訊、報告不確定性,並在適當邊界停下來嗎?還是會捏造一條通往表面成功的路徑?

GDPx 基準測試把這些問題與技術表現放在同一討論中。讀者應把它們保持足夠分開以便檢視,同時認識到已部署的系統必須同時滿足兩者。

GDPx 推出後值得關注的事項

下一項有用證據將說明,較高分數是否反映更廣泛的可靠性、更清晰的失敗分析,還是只限於熟悉任務的改進。

首個值得關注的訊號,是對具代表性任務與結果進行獨立檢視。若外部評估能在有記錄的條件下重現整體發現,將可加強信心。若出現重大分歧,便值得調查環境差異、評分規則及存取條件。

獨立審視毋須公開每一個答案。基準測試設計者亦要防止任務成為訓練材料。有用的平衡是披露足夠資訊以檢視方法並重現有意義的比較,同時不令未來結果輕易被操弄。

第二個訊號,是更清楚區分安全介入與技術失敗。更清晰的報告會加強有關限制如何影響排名的說法。若表面上的拒絕懲罰其實揭示無關的執行問題,則安全系統造成差距的解釋便會被削弱。

買家應留意實際嘗試層面的證據。關於安全限制的籠統說法,仍留下重要問題未獲解答。當審查人員能看到所要求的目標、獲准範圍,以及行為改變的時點,解讀便會更完善。

第三個訊號,是轉移到不熟悉的工作。若模型改進能在全新任務中維持,將加強其具備更廣泛能力提升的論點。若改進只限於熟悉的評估,則只支持關於該項測試表現的較狹窄結論。

SemiAnalysis 表示計劃每三至六個月更新 GDPx。未來數月,有用的準備工作包括更清楚的版本追蹤,以及說明未來任務變動如何影響比較。若底層測試改變卻沒有可解讀的銜接,分數上升便意義不大。

對 AI 開發者而言,這些訊號更有利於調查,而非慶祝排行榜。一項有用的發布應說明哪些失敗變得較少出現,以及在甚麼條件下如此。當團隊能把更好的整體表現連結到更可靠的執行時,這類改進才最重要。

對企業買家而言,實際的下一步是進行有明確範圍的內部試點。選擇結果可觀察、且有合資格審查人員的工作。將代理輸出與現有做法比較,同時記錄修正及未解決問題。這個過程是測試相關性,而非從外部排名中假定相關性。

內部試點亦應保留困難案例,而不是把它們平均化。罕見但後果重大的錯誤,可能比在例行材料上頻繁成功更重要。組織需要決定哪些錯誤需要審查、升級處理,或收窄部署範圍。

把 GDPx 基準測試視為下一次 AI 評估的一組可驗證問題。找出最接近你工作領域的範疇,然後檢視任務要求甚麼,以及結果如何獲得評分。要求供應商連同成功案例一併解釋失敗情況。保留審查其答案所需的證據,包括限制與人工修正。在擴大存取範圍前,先把這些發現與少量自身任務作比較。有用的成果,是為可靠表現劃出更清晰的邊界。你的工作流程中,哪些部分可由代理以可接受的方式完成,而哪些仍需要專家作出判斷?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page