METR 更新揭示 AI 編程與判斷力之間的落差
METR 於 2026 年 11 月 20 日擴展其 AI 能力評估,發現 AI 持續呈現指數式進步,但在需要判斷力的任務上表現較弱。METR 時間跨度更新顯示,已量度任務跨度的倍增時間約為 3.6 個月。但這項趨勢並不能證明 AI 可以在無監督下安全工作的時長,亦不能證明它能獨立主導有用的研究。
這項區分相當重要,因為完成一項定義明確的編程作業,與挑選一個值得進行的實驗,需要不同的成功證據。程式可以通過測試,但其更廣泛的目的仍可能選得不理想。METR 擴展後的評估套件檢視了這道分界的兩端,而在 agents 獲得清晰回饋的情況下,結果較為強勁。
這些發現對「編程進步會直接轉化為自主 AI 研究」的說法構成壓力。它們亦挑戰另一種相反假設:判斷力上的弱點必然意味研究自動化將長時間停滯。METR 觀察到實質能力、有意義的限制,以及量度兩者關係時日益增加的難度。
METR 時間跨度更新實際量度甚麼
圖表透過人類完成時間追蹤任務難度,而不是量度 agent 可可靠工作的時數。
時間跨度,是指在一套評估中,與特定模型成功率相對應的人類任務時長。在經常被討論的 50% 閾值下,模型預計約有一半機會完成該難度的任務。這些時數描述的是人類參考工作量,而非模型實際運行所花的時間。
因此,METR 的任務完成時間跨度需要比「agents 可完成整個工作班次」之類的標題更審慎地解讀。較長的時間跨度表示模型在所量度的任務分佈上表現更佳,但並不認證它能可靠完成所有需要人類花同樣長時間的作業。
這份 11 月報告在該機構早期以軟件為主的評估基礎上,加入針對 AI 研究與開發相關能力的任務。其結果涵蓋公開模型,直至 Anthropic 的 Opus 5.5 與 OpenAI 的 GPT-6 Astra。這些模型以 agents 方式運作,即使用工具並為達成指定目標連續採取行動。
報告涵蓋三套不同的測試。Time Horizon 1.1 包含 222 項任務,MirrorCode 包含 75 項軟件複製任務,而 TH2 則涵蓋 12 個任務家族中的 36 項任務。這些數目很重要,因為它們描述的是不同的集合,而不是同一基準測試可互換的版本。
TH2 包括八個結果可驗證的任務家族,以及四個較難驗證、涉及研究或判斷的家族。可驗證任務的結果可由評估者按照既定目標核對。判斷任務則要求在缺乏清晰、快速回饋時作出有用選擇。
綜合 Time Horizon 1.1 與 TH2 測試套件,METR 估計 50% 成功率的時間跨度約每 3.6 個月倍增一次。這是這項特定量度的指數趨勢,並不表示每一項 AI 能力都以相同速度進步。
加入較艱深的任務亦改變了圖表的解讀。METR 表示,對某一特定模型而言,綜合套件的時間跨度低於單獨使用 Time Horizon 1.1 的結果。擴展測試後出現較低量度,並不代表模型失去了能力。
這次擴展回應了一個實際問題:隨着模型進步,早期任務的資訊價值已下降。METR 表示,舊有套件已趨飽和,限制了它區分較強系統的能力。更新後的測試尋求更困難的工作,以及更廣闊的能力輪廓。
這使這次更新不只是熟悉上升曲線上的另一個數據點。它改變了評估者可以就該曲線提出的問題。核心問題變成:在定義明確的作業上取得的進步,能否延伸至辨識成功本身亦屬作業一部分的工作。
自主研究的說法面對不同測試
最直接的壓力落在研究自主性的說法上;在這類工作中,產出成果只是交付有用工作的一部分。
AI 研究包括實作、實驗、詮釋,以及決定甚麼值得投入更多工夫。一項活動的進步可以加快團隊工作,卻未必取代其他部分。11 月的發現令這項區別更難忽視。
METR 報告指出,現時的前沿模型在編程和最佳化任務上,往往與其招募的熟練人類參與者表現相若或更佳。最佳化是指在既定限制下,改善指定分數或目標。這些環境通常讓 agents 能直接比較不同嘗試,並持續改善。
即使 agent 不會選擇更廣泛的研究議程,這種優勢仍具實際意義。研究人員可委派實作工作,同時保留對實驗優先次序的責任。更強的實作能力可以增加團隊完成的工作量。
與人類專家的比較,仍比「普遍優越」的說法狹窄。METR 承認,尚不確定其招募的參與者在各自專業範疇內,是否可與前沿實驗室的員工相提並論。隨着作業時間變長,招募具備必要專業知識和可參與時間的人會愈來愈困難。
在存在較大歷史比較組別的情況下,結果亦為傑出人類表現保留了一席之地。METR 發現模型在編程最佳化比賽中排名強勁,但最佳人類參與者整體仍然領先。在訓練腳本最佳化方面,頂尖貢獻者同樣取得了超越最強 agent 運行結果的改善。
OpenAI 於 11 月 18 日發表的研究加速文章,則從實驗室內部提供了相關、由公司自行報告的觀點。文章指出,在獲委派的研究任務上成功率上升,但不同活動之間存在顯著差異。在其對開發流程的描述中,人類仍然居於核心位置。
這些證據支持研究工作流程呈現不均衡自動化的圖景,但不能作為可互換的證據來驗證 METR 的結果。內部工作場所任務、基準作業與回顧性的成功評估,使用不同方法並捕捉不同條件。
對 Anthropic、OpenAI 及其他開發商而言,較難的問題關乎實作變得更容易之後會發生甚麼。agents 能否識別哪一個實驗可有意義地降低不確定性?它們能否察覺正面結果其實反映測試薄弱?
企業買家在評估 agents 處理技術工作時,亦面對相關區分。具備清晰驗收測試的成功示範,支持的是該特定使用案例。對涉及目標含糊、需求不斷改變或後果延遲的作業,它提供的證據較少。
METR 時間跨度更新提高了這些說法所需的證據標準,卻沒有否定相關的根本進步。令人信服的自主研究論述,需要同時具備方向與評估方面的證據,以及執行能力。編程表現是這套論述的有意義組成部分,但報告未有證明它已完整交代全貌。
強大的編程能力未能解決判斷問題
METR 最具啟示性的失敗,出現在模型必須判斷甚麼才能使評估有用的時候。
一項 TH2 任務要求 agents 建立一項評估,以協助 METR 評估模型能力。這不只是要寫出能運作的軟件。所提出的測試還須回答一個 METR 認為有價值的問題。
根據能力評估結果,由 agents 建立的任務沒有任何一項值得納入報告,作為有用的新評估。有些輸出接近有用,顯示相對較弱模型有所進步。但在評分系統中的改善,並未轉化為 METR 選擇採用的工作。
agents 通常偏好可自動評分的最佳化任務。在明確要求涉及短期回饋不足的決策任務後,它們仍在後續實驗中如此選擇。這種行為揭示出一種不匹配:產出可量度的挑戰,與辨識有資訊價值的研究問題,並非同一回事。
METR 亦表示,即使可存取互聯網,agents 仍未有獨立研究該機構會認為最有價值的任務類型。研究人員沒有在所提出的評估背後觀察到新穎的威脅建模或特別具洞見的假設。這些是對受測設定的觀察,而不是永久無法做到的證據。
這項區分十分具體。一項評估可以正確運行,卻仍然沒有告訴研究人員多少他們需要知道的資訊。其實作品質與研究價值是不同的特性,即使兩者都會影響最終結果。
第二項實驗檢視模型能否判斷其他模型產生的評估。較強的評判模型在評估較弱的建立者時,與人類評分的一致性較高。當建立者的能力相若或更強時,評判模型則傾向給出過於寬鬆的分數。
這項發現令一種常見、旨在彌補監督薄弱的建議變得更複雜:要求另一個 AI 審核工作。審核者可以識別明顯缺陷,同時錯過更具說服力的錯誤。因此,作者與審核者之間的一致,並不能獨立證明品質。
METR 為這種模式提出不止一種解釋。模型可能缺乏評估這些任務所需的判斷力,或者較強的建立者可能產生會誤導較弱評判者的輸出。這些實驗未能確定地區分兩種可能性。
更廣泛的機制關乎回饋。強化學習,即在評分系統下獎勵結果的訓練方式,會受益於哪些嘗試奏效的有用訊號。編程與最佳化通常可透過測試或量度表現提供這些訊號。
開放式研究可能延遲這類回饋,或令取得回饋的成本變得高昂。一項看似有前景的建議,可能要經過大量實驗才會失敗。一個表面上沒有成效的方向,亦可能在研究人員識別出被忽略的假設後證明有用。
報告未有證明判斷與編程是根本上分離的能力。METR 在某些機器學習最佳化任務中觀察到模型具備有用判斷力的證據。這些成功案例保留了能力轉移範圍可能比較弱判斷結果所暗示更廣的可能性。
因此,這個反轉具有特定含義:出色的執行能力並不會自動驗證系統對自身工作的評估。模型可以持續進步,而這種評估仍然不可靠。對自主研究而言,這些能力之間的關係與任何一項分數本身同樣重要。
建立更佳測試正變得更困難
擴展後的評估揭示了一個量度問題:貼近現實的回饋往往成本高昂、速度緩慢,或依賴專家。
METR 引入「生命週期成本」,作為估算反覆建立、運行及評分一項評估所需工作量的粗略指標。這項量度包括開發和品質保證,以及執行和評估。它旨在捕捉單靠人類任務時長無法反映的限制。
兩項任務所需的人力可能相若,但所帶來的評估負擔卻截然不同。其中一項或許能以自動檢查答案完成,另一項則可能需要專家審視推理、評估遺漏的背景,或判斷某項研究貢獻是否重要。
其他負擔包括複雜環境、運算需求、監察,以及漫長的回饋週期。測試亦必須防範獎勵駭客行為,即利用評分規則的漏洞,卻未達成其原定目的的做法。更強大的模型可能揭示早期評估未曾預料的捷徑。
在 METR 的數據集中,扣除人類完成任務所需時間後,估計生命週期成本較高的任務,模型通常較難完成。這種關聯意味著低成本評估可能遺漏與難度相關的重要面向,但並不能證明成本本身會導致表現較差。
METR 使用根據研究人員評估校準的模型評審來估算生命週期成本。這些估計反映該機構的經驗與限制。前沿實驗室可能面對不同成本,而模型能力的變化亦可改變評估的經濟效益。
報告亦發現,其任務中的高成本及低成本子集有相近的進步速度。這個限制條件相當重要。目前在昂貴評估上的較差表現,並不表示這些評估的進展已經停滯。
人類參照測量亦帶來另一項限制。直接的人類基準只支撐報告中 9% 的人類時間估計;其餘估計則來自專家評估、公開證據及推算。
這會影響讀者應以多大信心解讀困難任務所附的時數。估計時長仍可提供有用資訊,但其證據基礎並不等同於已觀察到的完成情況。系統性的估計誤差可能影響不同任務組別之間的比較。
人類比較亦包括 AI 協助。METR 容許參與者使用 Sonnet 5 進行實作,部分是為了支援招募並配合既有工作習慣。因此,所得基準不應被描述為未受輔助的人類表現。
難以驗證的任務會引入額外主觀性。某項擬議評估是否有價值,部分取決於 METR 的研究優先次序,以及其對相關風險的看法。該機構承認,這些判斷可能出錯。
哲學批判任務提出了一個相關問題:誰的判斷會成為參照標準。模型依照專家評分接受評估,而一致程度可能取決於專家本身及其可用時間。這令結果具參考價值,卻不會使其成為衡量人類判斷的全面指標。
這些保留進一步印證 METR 早前提出的時間跨度限制:基準分數在被用作職場或安全主張前,需要具備背景脈絡。更新後的測試套件擴闊了證據,同時亦增加不確定性。更廣泛的涵蓋範圍與更乾淨的測量,未必總會同步出現。
圖表無法為研究突破定下日期
持續的指數式進步,並不能確立 AI 系統何時能獨立加速自身發展。
誘人的推算方式,是從量度到的倍增時間開始,將曲線延伸至愈來愈長的任務。這類預測可說明趨勢維持不變時的含義,但無法確立相同任務、方法及關係會否繼續具有代表性。
任務選擇已影響 11 月報告中的擬合趨勢。METR 發現,分析擴大後測試套件的不同子集時會得出不同結果。研究人員討論了幾種可能解釋,包括隨着模型開始通過較新的任務而出現的難度分布變化。
METR 亦引入 METR Capability Index,這是一項以試題反應理論建立的綜合指標;該統計方法將模型能力與任務難度聯繫起來。這提供另一種追蹤受測系統表現的方式,但並未消除對建模選擇的依賴。
在該指標上,METR 未有發現其測試的公開前沿模型存在強烈加速或減速。它在某些條件下觀察到不確定的開發商特定變化。這些發現對方法學決定相當敏感,因此限制了對增長速度變化作出強烈主張的空間。
指數式進步與加速式進步之間的分別在此很重要。某項指標可按固定間隔倍增,而其倍增間隔毋須變短。單憑一條上升曲線,無法證明出現了正在加劇的新回饋迴路。
研究自動化帶來因果問題。當實驗室使用 AI 時觀察到模型變得更好,並不能揭示若沒有這些協助,進步本會如何發展。METR 明確指出,缺少這個比較,因此無法乾淨地歸因於該趨勢。
公開發布所揭示的內容亦有局限。公開模型未必代表實驗室內可用的最強系統。發布時機的差異,可能令偵測底層開發步伐變化的嘗試更複雜。
判斷能力的研究結果同樣支持多種相互競爭的解讀。研究品味,即選擇有前景問題與實驗的能力,可能限制自主研究。另一種可能是,模型在較易驗證的工作上達到足夠強的表現,便可能加速開發,而人類仍繼續選擇方向。
MIT Technology Review 的判斷力差距分析描述了研究人員之間的這種分歧。Sayash Kapoor 認為研究品味可能是重要瓶頸;Najoung Kim 則強調,將觀察到的改善作出外推仍存在不確定性。
這些觀點未能解決問題,卻指出現有證據仍未釐清的部分。目前的判斷弱點是相關觀察結果;若要將其視為永久障礙,則需要報告未有提出的額外論證。
METR 自己的立場,對安撫與警惕同樣保持審慎。它表示,公開證據無法排除未來數年內 AI 研究出現大幅加速的可能性。這是關於未解決可能性的陳述,而非賦予日期或機率的預測。
因此,METR 的時間跨度更新既不支持通往完全自主研究的倒數,也不保證人類控制將長期持續。它記錄了不斷變化的評估框架中的重大進展。下一步推論需要關於研究過程本身的證據。
三個訊號比下一條爆紅曲線更重要
下一項有用的證據,應檢驗更強的執行能力是否帶來更佳研究選擇、可信賴的審查及持續成果。
第一個訊號,是由代理設計的評估或研究提案,是否在獨立專家審查後獲採用。METR 的評估建立任務提供了一個具體參照點。若專家採用這些產出,因為它們回答了有價值的問題,未來結果便會更具說服力。
評估應區分技術上正確的產物,與能改變研究決策的貢獻。加入更多審查者及擴闊任務涵蓋範圍,有助檢驗其實用性是否超越單一機構的偏好。重複成功將削弱「研究品味仍是主要限制」的論點。
若持續改善卻未獲採用,則支持較有限的解讀。代理可能更擅長產生看似合理的評估,卻仍不擅長辨識具資訊價值的評估。這會保留精緻執行與有用方向之間的落差。
第二個訊號,是 AI 審查者在評估同等強大或更強模型的作品時,能否具備更佳校準。校準意指審查者的評估能可靠地對應實際品質。11 月的研究結果為此議題提供了具體的實驗基礎。
一項有用的後續研究,會在更廣泛的產物類型中比較模型評分與獨立專家評估。若模型對困難產出的判斷更一致,將加強把更多審查工作交由模型的理據。若持續過度評分,則會削弱這種說法:只要加入 AI 評審,便能監督更強的 AI 作者。
即使代理永遠不會獨立完成整個研究項目,這個問題仍然重要。團隊已經需要決定哪些產出值得關注,哪些需要修訂。聽起來很有信心、卻錯過缺陷的審查,可能只是轉移而非移除人類工作量。
第三個訊號,是以更強的人類參照和延後成果檢查進行更廣泛評估。更多直接基準可提高人們對估計任務時長的信心。評估產出獲使用後的結果,可檢驗短期分數是否捕捉到持久價值。
對實驗室報告而言,關鍵分別在於做了更多活動,還是產生了更佳研究。額外程式碼或實驗可以推動進展,但其價值取決於所處理的問題。將代理貢獻與經驗證結果聯繫起來的證據,將加強自主研究的論據。
這些是未來數月的觀察優先事項,而非已宣布的出版承諾。單靠新模型發布不足以解決這些問題。真正重要的改變,會是有更強證據將能力測量與其所代表的決策及結果聯繫起來。
對於在技術工作中使用 AI 的團隊,實際回應是保留這種聯繫。將原始任務、驗收準則、產出和專家評估一併保存。一個可搜尋知識庫可支援日後比較,尤其當看似成功的結果遇上新要求時。
閱讀 METR 的時間跨度更新時,應連同其曲線背後的任務與限制一併理解。在將其軌跡套用於你的工作之前,先確定何謂成功,以及由誰驗證。區分可即時測試的任務,與後果較後才會出現的決策。然後問問你的證據衡量的是已完成的工作、有用的工作,還是僅僅一份令人信服的產出。即使模型持續進步,這些區分仍然有價值。下一個值得登上頭條的分數值得留意,但還有一項較低調的結果同樣重要:代理選擇了一個值得研究的問題、提出可靠答案,並通過獨立審查。你目前的評估實際測試了這條鏈中的哪一部分?



