Anthropic AI 研究加速引發對速度與監督的憂慮

Anthropic 正運用 AI 加快 AI 開發；一項外部評估估計，在定義明確的任務上，進展速度約為原來的兩倍。Anthropic AI 研究加速的發現提出了一個棘手問題：外部審查能否跟上它所衡量的開發流程？

非牟利機構 METR（Model Evaluation & Threat Research）於 11 月 5 日發布評估，調查期由 8 月 12 日至 10 月 29 日。其結論存在相當大的不確定性。研究人員認為，加速幅度介乎歷史速度的 1.3 至 3 倍屬合理範圍，且尚未證實 AI 能完全自主地開發 AI。

核心張力在於：能力開發加快，與進行有意義監督所需的時間和證據之間的矛盾。對 Anthropic、外部評估人員，以及採用日益強大系統的機構而言，這種張力令衡量工作格外重要。錯誤的估算可能扭曲安全決策，也可能影響外界對 AI 下一步能力的預期。

Anthropic AI 研究加速報告發現了甚麼

METR 的 AI research acceleration 評估估計，基準測試進展加快了 1.9 倍，95% 置信區間為 1.5 至 2.8 倍。其較廣泛的判斷認為，現時大部分加速源自 AI 協助，同時承認因果關係仍有不確定性。

報告稱，Anthropic 刪節了 METR 認為最具參考價值的大部分證據。Anthropic 表示，刪節是為保護可能令競爭對手加速的機密資料。METR 亦指出，AI 尚未在最重要的訓練活動中作出高度重大的、完全自主的貢獻。

這項發現關乎改進步伐，而非已證實 AI 能在沒有人類參與下開發下一代系統。

這項區別會改變讀者解讀標題的方式。模型對研究人員變得更有用，並不自動代表它能取代他們的判斷。同樣地，保留人類參與也不保證周邊研究流程仍然容易監督。

不妨比較產生一項實驗結果，與決定該結果代表甚麼之間的差異。軟件可以協助生成候選實作方案、整理比較結果或概述輸出內容；但仍需要有人確認實驗是否回應原定問題，以及表面的改善能否經得起進一步測試。

這是一個說明性的研究流程，而非對某項具體 Anthropic 實驗的披露。它說明了為何「協助」和「自主性」應分開衡量。協助可以改變人們完成工作的數量，同時仍由人類承擔重大決策的責任。

因此，相關結果不僅在於模型生成多少程式碼。額外程式碼只有在支援有用實驗、可靠基礎設施或更佳決策時才會創造價值。單純計算輸出，會忽略研究人員是否反而花更多時間修正錯誤或解讀含糊結果。

加速亦需要清晰的參照點。把現時進展與較早期相比，所回答的問題不同於把現時工作與完全不用 AI 的假設流程比較。兩種比較都重要，但不能互相替代。

對讀者而言，實際解讀應謹慎但不可忽視。一項外部評估加強了這種判斷：AI 協助正在影響 AI 本身的開發。但它尚未公開證明存在一個自主研究機構。

這帶來一項重要的報道挑戰。「AI 建造 AI」這個說法把多項不同活動壓縮成單一印象。要理解其中利害，必須區分工作加快、結果改善、因果歸屬，以及決策權的轉移。

更快的研究令安全決策承受壓力

眼前的治理問題，是當開發加速時，評估和決策流程能否維持足夠的資訊價值。

安全審查需要有一個足夠穩定的對象可供檢視。評估人員會界定任務、調查失敗情況、比較結果，並評估防護措施是否應對相關風險。如果系統或其運作環境在此期間改變，先前發現的意義便需要重新考量。

這並不代表評估徒勞無功，而是令評估與部署決策之間的連結更重要。讀者需要知道被檢視的是哪個系統、它獲得甚麼存取權限，以及最終部署是否符合這些條件。

Anthropic AI 研究加速之所以重要，是因為開發速度可以影響這種連結。更快的改進會帶來更頻密更新評估的壓力，也增加了說明哪些發現仍適用於不同改變、哪些需要重新調查的必要性。

Anthropic 面對的壓力，是要足夠精確地說明其安全判斷，讓外界能分辨不確定性與安撫性說法。評估人員則要在不暗示不完整存取權等於全面保證的前提下，發布有用發現。企業買家亦要審慎解讀這兩類陳述。

METR 另一份 automated research review 說明了為何這些區別重要。該審查同意，截至 7 月 15 日所評估的模型，因研究加速帶來的急性災難性風險偏低。然而，它認為 Anthropic 對仍低於早期預警門檻的信心被表述得過高。

根據審查，大部分相關研究人員傾向認為該門檻尚未被跨越；不過，METR 仍認為跨越門檻屬合理可能，並指公開報告低估了不確定性。早期預警門檻是一種旨在危險成形前促使關注的條件，與災難即將發生的證據不同。

分析上的含意很直接：對預警訊號的分歧，不代表必然對眼前危險存在分歧。在最嚴重結果變得可能之前，監察系統已值得關注。把這些判斷視為可互換，會削弱早期預警的目的。

對使用 AI 助手的公司而言，這項區別有一個熟悉的營運對照：工具可在已批准的工作流程中表現合格，同時在其他場景顯示出需要更嚴格存取控制的能力。批准該流程，並未解決關於底層系統的所有問題。

模型發布亦不能決定機構應授予它多少權限。起草研究摘要、修改實驗程式碼，以及批准共享基礎設施的變更，涉及不同後果。能力改進應為這些權限決策提供參考，而非繞過它們。

因此，壓力既屬組織層面，也屬技術層面。必須有人決定哪些改變需要重新審查，以及在證據仍未明朗時誰有權停止部署。開發加快，令這些責任更難繼續隱而不宣。

最有用的回應，是更清晰的決策問責。讀者應留意有否解釋觀察到的能力、承認的不確定性、防護措施與最終行動如何相連。當這條鏈條仍被隱藏時，安撫性的標籤所提供的資訊就較少。

為何在自主研究出現前，協助已可能帶來影響

遞迴自我改進描述一種反饋過程：更好的 AI 協助帶來 AI 的進一步改進。令人關注的是，每次改進都會強化下一個開發周期可用的工具。這個過程會否變得爆炸式發展，仍取決於尚未解決的技術和組織條件。

Alan Chan 與合著者發表的 research automation paper，探討了這種可能性及其政策含意。作者包括持不同機構觀點的研究人員，當中有 Jack Clark、Jakub Pachocki、Geoffrey Hinton 和 Yoshua Bengio。

該論文認為，隨着研究自動化程度提高，應加強監察和準備，同時承認不確定性。它描述了潛在益處，以及能力進展快過機構適應速度的風險。其分析關乎可能的發展軌跡，而非證明某條特定軌跡已經出現。

即使人類仍監督反饋循環中的每一個步驟，該循環亦可能變得重要。

設想一個研究團隊在實作實驗時獲得更佳協助。若這種協助有助找出有用改進，得出的模型可能成為更好的助手。下一個周期便會以能力更強的工具開始，即使人類全程保有控制權。

這種假設機制說明，等待研究人員被完全取代才開始監察，會是不完整的策略。人們完成工作的數量、嘗試實驗的範圍，以及解讀結果的速度，都可能出現重大改變。

這亦說明為何單靠編碼表現無法解決問題。有用的研究需要選擇問題，以及辨識具誤導性的結果。能快速寫出實作方案的系統，仍可能難以判斷哪個實驗值得投入資源，或表面收益能否普遍適用。

反過來亦值得注意。某個工作流程中尤其受限制環節的輕微改善，可能比其他地方的大量自動化更重要。效果取決於活動之間如何連結，而非軟件可執行的個別任務比例。

這正是 Anthropic AI 研究加速成為產業問題之處，但並不支持簡單的公司排名。要對 OpenAI 或 Google DeepMind 作出可比較評估，就需要一致界定進展、協助、自主性和歷史比較期。

在沒有可比較證據下，單一實驗室的估算不能確立另一家實驗室的位置。公開模型表現亦無法揭示內部研究流程的每一個細節。因此，競爭層面的解讀應比「誰已取得決定性開發優勢」的主張更為審慎。

另一項 researcher interview study 提供了有用背景。Severin Field、Raymond Douglas 和 David Krueger 訪問了 25 名研究人員，參與者包括來自 Anthropic、OpenAI、Google DeepMind、Meta 和學術機構的人士。

受訪者普遍預期自動化會持續增加，但對時間表和治理存在分歧。學術界參與者較前沿實驗室參與者更懷疑爆炸式增長情景。該研究記錄的是知情者之間的分歧，而非對任何特定結果作出的具代表性概率估計。

這種分歧加強了檢視機制的必要性。讀者需要了解哪些活動有所改善、人類判斷在哪些地方仍不可或缺，以及改進能否跨越多個開發周期持續。「自我改進 AI」這類標籤仍留下太多未完成的分析工作。

因此，有用的競爭問題其實很具體：哪些機構能證明，更佳的協助可帶來可靠的研究成果？隨之而來的安全問題同樣直接：當這些成果更快出現時，監督會發生甚麼變化？

基準測試增益無法證實甚麼

基準測試是用於比較系統表現的標準化測驗。結合多項基準測試可令趨勢更易分析，尤其當個別測試愈來愈難以區分能力持續提升的模型時。然而，綜合指標仍需要審慎解讀。

Epoch AI 的能力指數把多項基準測試的表現整合為通用能力量表。Epoch 解釋，指數數值屬抽象概念，並不會線性對應至每一種現實世界結果。其文件亦說明，接近已被完全攻克的測試會變得較缺乏資訊價值。

能力趨勢愈趨陡峭，並不會自動證明雜亂的組織工作也以同樣速度加快進展。

相較於真實工作指派，測試可以更清楚地界定目標、可用資源及評分條件。職場任務往往始於不完整的要求，也可能涉及互相衝突的偏好、不斷改變的限制，或只有在交付後才顯現的後果。

讀者解讀 Anthropic AI 開發風險時，這個落差相當重要。在界定清楚的任務上表現優異，可以成為進一步調查的理由，卻不足以證明其能在整個職位範圍內可靠地執行工作。當責任延伸至產出答案以外，分析單位也會隨之改變。

例如，解決一條程式設計問題，與決定某項建議中的軟件變更是否應該推出，是兩回事。後者可能需要理解相依關係、傳達取捨，並承擔對下游影響的責任。一項評估應說明，其證據實際涵蓋了哪些活動。

因果關係帶來另一項挑戰。機構在改善的同時，亦可能同步改變工具、人員、流程及研究優先次序。觀察到進展與 AI 使用增加並行，並不能揭示若沒有該使用，究竟會有多少進展仍會發生。

相關比較屬於反事實比較，即關乎未有發生的替代情境。研究人員可透過實驗、比較及明確假設來探究該替代情境，但仍應區分已量度的結果與對「原本會如何發生」的判斷。

這並不表示不完美的因果證據沒有價值。營運決策經常需要整合不完整的資訊。標準應是論證是否清楚呈現其假設，以及是否認真考慮可信的替代解釋。

自我申報的生產力亦需要審慎處理。一個人對節省時間的估算，可以反映協助在哪些方面顯得有用，卻未必量度到整個項目的完成時間、質素、協調成本，或轉移給審閱者的負擔。

因此，可信的評估應受惠於可經獨立查核的結果，例如獲接納的工作、可重現的研究發現，以及在不同評估條件下仍可持續的改善。這些是建議的證據類別，而非 Anthropic 調查得出的額外發現。

懷疑立場應保持對稱。讀者不應把每一項基準測試增益都視為廣泛轉型，也不應因為存在限制便認定趨勢毫無意義。受限制的量度，仍可在其聲明的範圍內揭示具重要影響的資訊。

對開發者及企業買家而言，含意是應測試他們實際打算委派的任務。一般能力主張可提供背景，卻不能取代有關故障復原、監督要求，以及在機構自身營運條件下表現的證據。

這正是為何加速與自主之間的區分應貫穿整個討論。已量度能力上的更快進展，可以成為憂慮及投資的理由；至於取代研究機構的主張，則需要另一套截然不同且範圍大得多的證據。

經刪節的證據限制外界查閱的價值

外界查閱與公共問責處理的是相關問題，但單靠查閱並不會令結論可重現。

評估者可以得知比公眾可檢視更多的資訊。這種安排可產生有用警示，特別是在不受限制的披露會暴露敏感資訊時。但它亦造成一種依賴：讀者必須決定應對評估者的詮釋抱有多少信心。

METR 發表的評估透明度政策直接處理這種張力。該機構表示，會致力披露影響結論的存取限制、刪節及約束條件，亦承認其依賴公司自願提供資訊及允許發表。

該政策區分解釋評估程序，以及披露足夠的底層證據，讓其他人能自行評估研究發現。政策亦說明了財務獨立措施，包括減少接受前沿 AI 公司的資助。這些措施處理的是誘因問題，而存取及發表條款仍是另一回事。

對評估 Anthropic AI 開發風險的讀者而言，這些區分可避免對「獨立」作出過於簡化的理解。獨立可以描述誰聘用研究人員，或誰資助其工作；卻不會自動反映他們可取得資訊的廣度，或發表支持細節的自由度。

保密可以有正當目的。公開詳細技術發現可能暴露安全弱點，或披露具商業敏感性的研究。然而，主張保密時仍應說明，為何所選限制與涉及的資訊相稱。

公共利益未必需要透過公開每一項底層材料來服務。較有用的替代方案可能包括匯總量度、經淨化的例子，或讓額外合資格審閱者取得查閱權。這些替代方案是否足夠，取決於它們讓其他人能核實甚麼。

這是一項分析建議，而非聲稱任何特定披露安排已獲同意。目標是在限制不必要暴露的同時，保留有意義的審查。可行的程序需要說明，在作出這些折衷後，哪些事項仍然無法驗證。

刪節亦不應成為極端隱藏結論的證據。缺失資訊可以支持多種詮釋，包括一般商業敏感性。把資訊缺失視為安全或危險的證明，會以猜測取代調查。

更好的問題是，缺失材料令讀者無法評估甚麼。它是否掩蓋了影響的規模、成因、相關性，還是競爭解釋的力度？這些限制帶來不同含意，值得分開處理。

對企業客戶而言，同樣的紀律亦適用於供應商評估。公開保證聲明應列明已完成的工作及其範圍界限。買家不應把狹窄審查擴大解讀為每一項部署的全面保證。

機構記憶在此同樣重要。把來源文件、評估假設及部署決定保存在可搜尋的知識庫中，有助團隊重新檢視早前的判斷。當涉及的人員或系統改變時，這亦可支援延續性。

這類文件記錄無法消除科學不確定性，卻令不確定性更容易追蹤，亦令決定更容易審計。隨着開發速度增加，保留批准背後的理據，比只保留批准本身更有用。

下一個報告週期值得留意的三個訊號

最有力的後續證據，會把能力趨勢、研究成果與可觀察的監督決定連結起來。

第一個訊號，是以足夠一致的方法評估更新模型。讀者應留意，更快進展是否在可比較的測試及替代分析選擇下持續存在。若測試組合有所改變，便應附上說明，交代比較如何仍具意義。

若在這些條件下持續加速，將加強趨勢超出短暫變動的論點。若趨勢轉趨平緩，則會削弱這種解讀，尤其是在量度方法維持穩定的情況下。然而，兩種結果本身都不能判定 AI 協助在多大程度上造成該變化。

發表時間同樣重要。即使讀者較後才接觸到評估，評估所描述的系統及活動仍屬於某個特定時期。後續報道應讓觀察與發表之間的距離易於理解，而不應暗示每項發現都會立即過期。

第二個訊號，是經獨立評估的實質自主研究貢獻證據。有用的證據應識別任務、人類提供的協助、驗證程序，以及該貢獻的實際價值。示範應區分產生建議與產出獲接納結果之間的差別。

這類證據將加強人們對開發正由協助走向更廣泛委派的憂慮。若持續依賴人類指導，則會削弱即將取代研究工作的主張，但仍不排除受監督工作可帶來重要增益的可能性。

對希望以實際角度理解 Anthropic AI 研究的讀者而言，這種區分比單憑戲劇性的示範更具資訊價值。關鍵問題是系統可靠地完成了甚麼，以及人們提供了甚麼。可重複性比獨立的表象更重要。

第三個訊號，是披露或評估查閱權出現具體改善。例如可由外界獨立查核的支持材料、更清楚的排除項目說明，或解釋不確定性如何影響部署決定的審查。這些是值得留意的訊號，而非已公布的承諾。

更佳披露將加強人們對外部審查隨能力發展而變得更具資訊價值的信心。若廣泛結論持續只得到有限可檢視支持，問責缺口仍未解決。若額外報告能回答前一份報告無法回答的問題，便會最具幫助。

讀者亦應區分一致意見與驗證。多個機構重複某項發現，可以提高其可見度，卻未必提供獨立證據。當後續工作測試不同解釋，或檢視原始量度以外的結果時，其價值會更高。

對採用 AI 的團隊而言，眼前行動是在自身決策中保留這種區分。詢問改變了甚麼、證據涵蓋哪些工作，以及建議用途需要甚麼監督。讓能力主張持續連繫至具體權限及審查責任。

在分享下一則關於 Anthropic AI 加速研究的頭條前，先閱讀該評估的結論及其局限。留意是否有清晰的比較期間、明確界定的結果，以及對仍存不確定性的說明。然後問一問，證據支持的是更快的協助、更高的自主性，還是兩者兼有。這些判斷會對研究監督及職場採用帶來不同影響。若你的機構正考慮擴大 AI 權限，請記錄哪些條件足以支持這項改變，以及哪些證據會令你撤回決定。開發速度愈快，嚴謹解讀的價值便愈高。先從基礎發現入手，保留不確定性，並按你實際需要它完成的工作來評估下一次發布。