OpenAI 嵌入式評估讓四個團隊深入內部
OpenAI 於 2026 年 11 月 16 日宣布,已與四個外部評估機構達成協議,讓外部審視可延伸至傳統模型測試以外的指定內部系統。OpenAI 的嵌入式評估將涉及 Apollo Research、METR、Transluce 及 Goodfire。它們的工作將聚焦模型在訓練及內部使用期間的行為與保障措施。核心問題在於,這種存取權可支援多大程度的獨立判斷。
這些協議讓評估人員可接觸公開聊天機械人測試無法提供的證據。視乎任務而定,團隊可檢視訓練紀錄、內部監察資料、技術文件及指定模型。然而,存取權仍須經協商,而 OpenAI 仍保留保密保障。因此,能否作出更深入調查及實現公眾問責,將取決於安排中的不同部分。
Anthropic 提供了一個有用的比較,因為它同樣已讓評估人員深入其營運之中。兩家公司的公告均不應被視為已完成的安全評估。對開發者及企業買家而言,關鍵分別在於容許調查,與發布足以改變決策的證據之間的差異。
OpenAI 嵌入式評估延伸至公開模型以外
具體改變是可接觸內部證據,而每個評估團隊均有不同任務。
根據已發布的嵌入式評估協議,外部研究人員會獲得切合其已協定調查所需的資源。其中可包括模型檢查點,即模型在特定訓練階段儲存的版本。其他資源包括原始碼、訓練資料、評估結果、監察紀錄,以及與相關員工的討論。
這種安排有別於透過正常介面測試已發布的聊天機械人。公開測試可揭示有問題的回應,但甚少能說明訓練如何塑造這些回應。內部紀錄可協助評估人員調查,某個表面上的失效情況究竟反映一次孤立互動,還是更廣泛的模式。
Apollo Research 將研究隱蔽破壞,即模型暗中違背開發者意圖的行為。其任務把訓練誘因、對抗性測試、觀察到的內部行為,以及偵測可疑推理的能力連結起來。這些都是有待調查的主張,而非簽署協議即可確立的結論。
Goodfire 將把可解釋性研究人員帶入此計劃。可解釋性研究模型內部機制,以探究模型如何產生行為。其任務強調訓練監察、除錯及對齊,即與預期目標一致的行為。OpenAI 表示內部研究人員是主要受眾,不過 Goodfire 亦計劃發布發現及經驗。
METR 的初步對齊評估,聚焦於 OpenAI 至今規模最大的強化學習運行。強化學習利用回饋或獎勵來調整模型行為。在該指定運行中,METR 將調查現有測試或監察工具未能發現的失效情況。在已協商的存取權、資源及安全安排之內,其優先事項仍保持獨立。
Transluce 將研究訓練後對齊評估的質素與覆蓋範圍。訓練後是指模型初始訓練完成後,為調整模型而進行的工作。此任務要探討,這些測試本身是否充分檢驗其原定評估的行為。
因此,四項任務涵蓋不同證據及不同問題。它們不應被描述為可互換、涵蓋 OpenAI 一切工作的審計。關於評估覆蓋範圍的發現,回答的是與監察失效發現不同的問題。
OpenAI 亦提到,可能於 2027 年初與 Transluce 開展後續評估。擬議的合作將持續約八星期,並包括更廣泛的存取權。這仍屬已表明的意向,而非擴大調查已經發生的證據。
對讀者而言,這項公告確立了一個計劃及其初步界線。它並未確立任何調查的結果。清楚維持這項區分,可避免知名評估機構的參與成為其最終結論的替代品。
內部 AI 使用提高安全主張的利害關係
壓力落在 OpenAI 的安全主張上,因為評估人員將檢視這些主張背後的證據,而不只是其公開表述。
當軟件能夠採取行動時,模型的回答只是風險圖景的一部分。AI 代理,即使用工具完成任務的軟件,亦取決於權限及周邊基礎設施。監察必須捕捉相關活動、辨識令人關注的行為,並支援有效回應。
設想一個在研究環境內工作的編程助手作為例子。若它會修改檔案、啟動程序或與其他服務互動,其周邊控制措施便至關重要。助手給出一套令人信服的解釋,不能證明每項行動均獲授權或被觀察到。
此例並非新評估計劃中已報告的事件。它說明了為何檢視內部系統可回答一般聊天機械人測試未能解答的問題。評估必須區分模型嘗試做了甚麼,以及其環境容許了甚麼。
METR 較早前的代理監察評估提供了一個具體先例。METR 與 Redwood Research 的研究人員在為期三星期的演練中,檢視了 OpenAI 的歷史監察基礎設施。他們報告了所評估系統中的漏洞及缺口。
時間點很重要。該次演練涉及歷史系統,並非確立 OpenAI 其後擴展的監察措施之覆蓋範圍。METR 亦區分了 OpenAI 關於補救措施的說法,以及 METR 曾獨立評估的修正措施。
這項區分亦應納入對新協議的報道。發現弱點、報告修正措施,以及獨立核查該修正措施,是三項不同事件。若把它們合併為一項安全性改善的主張,便會掩蓋證據實際確立了甚麼。
OpenAI 的內部團隊面對一項實際要求:必須提出可供外部專家檢視的解釋。若評估人員找出缺口,回應不能只倚賴對既有程序的信心。相關紀錄、技術理據及後續證據,都會成為討論的一部分。
評估人員同樣面對壓力。存取權創造了產出有用發現的機會,但其報告必須說明能夠檢視甚麼。讀者需要了解,一項結論是基於直接測試、選定紀錄、訪談,還是已確認的資訊缺口。
企業買家亦有相關利益,雖然這些合作並不能取代其自身評估。供應商的內部評估可為採購決策提供參考,卻未必涵蓋客戶的特定工作流程。受評估系統與所採購產品之間的關係,仍然至關重要。
對知識工作者而言,其意義不及功能推出般直接。這些協議本身不會改變文件摘要或會議記錄。它們關乎可用來評斷那些愈來愈受託處理敏感工作的系統之證據。
更深入的存取權不等於更廣泛的獨立性
核心取捨在於取得敏感證據,以及保留足夠自由以質疑提供該證據的機構。
OpenAI 表示,處理敏感機密資訊的評估人員將在其辦公室內使用公司提供的裝置工作。這種環境可讓原本無法接觸的材料可供調查。它同時亦把工作置於受被評估公司控制的安全程序之內。
保護敏感材料有合理理由。不受限制地發布技術細節,可能洩露機密資訊或造成額外安全風險。一個評估計劃無需毫無限制地公開披露,亦可產生有用的審視。
然而,調查自由不僅取決於能否進入辦公室或獲發裝置。評估人員需要切實可行地存取其問題所需的證據。若技術障礙阻止相關分析,名義上的許可價值有限。
OpenAI 承認,直接存取特別敏感的資訊可能需要採用替代方法,包括由評估人員與 OpenAI 研究人員合作進行分析。這類安排可支援調查,但如限制會影響結論,報告應說明其限制。
抽樣使用模型與持有其底層權重之間的分別亦很重要。模型權重是決定行為的已學習數值參數。已公布的安排並不等於可不受限制地存取每個模型的所有權重或架構。
對任務範圍亦應採取同樣審慎態度。METR 的初步調查涉及一項指定訓練運行。即使對該運行執行良好的評估可提供寶貴證據,也不能確立所有其他模型或內部部署的狀況。
METR 的對齊評估提案描述了更廣泛的調查方法。當中包括調查已觀察到的事件,並檢視這些觀察是否低估其他情況下的風險。OpenAI 明確承認,初步合作的範圍比 METR 的提案更窄。
這個落差並不代表初步工作沒有價值。它意味著讀者在解讀令人安心的結論前,需要知道實際範圍。一項評估可在其界線內嚴謹,同時把具後果性的問題留在界線之外。
Anthropic 的獨立評估人員存取權提供了比較。在其 10 月 15 日的披露中,Anthropic 描述了向嵌入式 METR 團隊提供類似員工的存取權。它亦說明了例外情況及發布規則,包括就已界定的機密類別作出刪節。
兩家公司均嘗試縮小內部研究人員與外部評估人員之間的資訊落差。儘管如此,它們的安排仍需審視存取權、排除範圍及報告權利。相同標籤並不能證明底層合作提供相同程度的獨立性。
因此,競爭比較應聚焦於條款及證據層面。計算評估夥伴數量是薄弱的替代指標。真正重要的是,每個團隊能否沿著一項具後果性的發現深入追查,直至可作出清晰判斷。
發布規則將塑造外界可作出的判斷
評估人員私下調查的能力,與公眾評估其結論的能力息息相關,卻是兩個不同問題。
OpenAI 表示,評估人員在發布其評估時保有獨立性。公司亦保留刪節機密資訊及要求延後負責任披露的權利。這些條款令最終報告及其列明的限制,成為評斷該計劃的核心。
刪節並不必然代表干預。移除可被利用的細節,可以保護系統,同時保留實質結論。更棘手的問題是,讀者是否仍保有足夠資訊,理解該發現的重要性。
報告可以說明一項保障措施失效,而不公開重現失效的方法。它亦可說明評估者是否檢查過修復措施。即使部分技術證據仍屬機密,這些區分本身仍具公共價值。
延遲同樣需要審慎處理。讓公司有時間處理漏洞,有助於負責任披露。不過,讀者需要分辨仍未完成的調查,與已完成但尚待發表的工作。
這項公告並未確立未來每宗披露爭議將如何發展。這些個案將提供證據,說明這項安排的實際效力。合約條文訂下期望;其實際應用則揭示這些期望能否在壓力下成立。
與員工的交流構成另一道界線。OpenAI 表示,這些討論可為評估提供參考,但不得公開發表,亦不得歸因於個別員工。評估者可要求公司出具核實聲明,即由 OpenAI 正式核實、更正或澄清的陳述。
這個程序可保障員工私隱,同時容許部分資訊納入公開報告。它亦改變讀者能直接查閱的內容。公司核實聲明與可獨立歸因的訪談,屬於不同形式的證據。
OpenAI 表示,若公司拒絕核實某項陳述,評估者可作出披露。這項安排讓讀者能略為了解尚未解決的事實問題。它不會公開原本的對話,也不會裁定哪種詮釋正確。
根據 OpenAI 的說法,安全與保安委員會將收到未經刪節的報告。評估者可私下與委員會溝通,未解決的爭議亦可提交至該委員會。這提供了一條超越即時研究團隊的內部監督途徑。
不應把這條途徑與公眾查閱權或監管機構的調查混為一談。該委員會屬於 OpenAI Foundation 的管治架構。其查閱權可支援監督,但外部讀者仍須依賴最終公開的內容。
財務披露同樣值得精確處理。Apollo Research 和 Goodfire 獲得的報酬不取決於評估結果。METR 和 Transluce 不收取評估費用,但可接受運算資源或 API 點數。
這些安排令它們與受評估公司的關係有所不同。單憑付款與否,無法自行判定獨立性。更有力的證據將來自評估者是否公布不利發現、說明限制,以及保留提出不同意見的空間。
安全評估並非產品保證
該計劃可改善特定風險的可用證據,但並不認證每項 OpenAI 產品均屬安全。
這項區分十分重要,因為評估措辭往往比其基礎發現傳播得更遠。狹窄的結論在產品討論中反覆被引用後,可能演變為廣泛的安心保證。讀者應保留主張、受測系統與證據之間的連結。
例如,檢視訓練誘因所處理的問題,與檢查已部署應用程式的權限並不相同。審閱評估覆蓋範圍,並不能證明客戶的資料控制措施如預期運作。這些問題可以重疊,卻不能互相替代。
Goodfire 的內部分析亦然。了解模型行為可支援除錯與調查,但不會自動證明周邊應用程式能多可靠地防止未經授權的操作。
一項有用的評估會說明其方法可偵測甚麼,以及哪些事情仍存在不確定性。當研究對象包括可能避開一般測試的行為時,這點尤其重要。模型通過熟悉的評估,只能證明它在那些評估中的表現,並非證明不存在任何相關失效。
有關 前沿 AI 審計 的研究,將第三方評估界定為需要深度存取權及驗證開發者主張的工作。這個框架有助理解這些協議的重要性。目標是取得關於系統和實務的更有力證據,而非貼上一個脫離明確問題的安心標籤。
對企業買家而言,這改變了公告應如何納入審查。設有駐場團隊是相關背景資料;具備清晰範圍及發現的完成報告,才是更有力的決策依據。
另一項區分涉及受評估模型與可用產品之間的關係。內部訓練檢查點未必等同客戶實際使用的系統。報告需要提供足夠背景,以說明這種關係,同時不披露受保護的技術資訊。
不利結果同樣需要背景。一項在刻意具挑戰性的調查中發現的失效,本身並不能證明該失效在客戶使用情境中的出現頻率。反過來說,一項範圍狹窄而未發現問題的測試,也不能證明相關風險在其他地方不存在。
這種平衡對決定應授予軟件多少自主權的開發者尤其重要。評估結果可為這些決定提供參考,但相關應用程式仍需要合適的權限與監察。外部評估不會為每項下游配置承擔責任。
維護 AI 知識庫 的團隊,有實際理由保留這些區分。原始協議、評估報告及補救更新代表不同證據。把它們視為可互換,可能令一項附帶條件的發現變成過時的機構信念。
因此,OpenAI 駐場評估的即時好處,是提供作出更有根據判斷的機會。這個機會能否帶來更強的保證,取決於後續調查的結果。公告開啟了程序;它並未結束討論。
三個訊號將顯示計劃是否建立分量
下一批值得留意的證據,是報告質素、範圍擴展,以及在評估發現後經獨立核查的改變。
第一個訊號是首批公開報告的內容。讀者應尋找對受評估系統、方法、存取限制及未解決問題的清晰交代。能指出這些界線的報告,能賦予其結論公告本身無法提供的意義。
重要分別在於描述性更新與可評估發現之間。聲稱團隊緊密合作,對調查結果的說明有限。解釋測試了甚麼、甚麼失效,以及甚麼仍未確定,才能讓外界有具體內容可供判斷。
發表亦可揭示保密條款在實務上如何運作。即使敏感細節無法分享,報告仍應保持實用。若核心結論變得無法理解,即使有廣泛的私人存取權,公共問責的理據亦會削弱。
第二個訊號是預期的後續工作會否成為已界定的委託項目。OpenAI 與 METR 已初步同意進行另一項監察評估,但其更廣泛範圍仍須雙方同意。這在已公布的意向與已同意的工作之間,留下明確界線。
擬議的 Transluce 後續工作,提供另一個短期檢查點。OpenAI 形容在 2027 年初會提供更廣泛的存取權,包括有關評估結果如何影響發布決策的資訊。若能確認這個範圍,將加強首輪計劃正變得更具實質內容的論據。
這兩項發展都不應簡化為是否再出現另一份合作公告。相關問題是評估者可檢視哪些額外證據。更多時間或更多參與者或有幫助,但兩者均不會自動解除重要的存取限制。
第三個訊號是評估發現會否帶來其後有人核查的改變。公司可以承認弱點並描述修復措施,卻不能因此證明修復有效。後續測試將為信心提供更有力的基礎。
較早前的監察工作令這項區分尤其相關。歷史發現、公司報告的補救措施,以及經獨立驗證的現況,需要分開處理。未來報告應保留這些類別,而不應讓修復公告以暗示方式結束問題。
啟動公告並無根據可承諾三個訊號均會按固定時間表出現。有些調查需要更多時間,部分披露亦須審慎處理。有用的檢驗標準是,每次更新是否減少了一項已識別的不確定性。
對 OpenAI 而言,關鍵不只是展現對外部研究人員開放的態度。該計劃需要產生可挑戰內部假設並支援決策的證據。對評估者而言,可信度亦部分取決於能否說明這些證據止於何處。
閱讀首批 OpenAI 駐場評估時,應把它們視為有界線的調查,而不是附加在品牌上的判決。當基礎報告出現時,請跟進閱讀,並將其主張與每個團隊獲得的存取權比較。尤其要留意一項發現涉及的是歷史系統、現行模型,還是擬議的後續工作。把公司報告的修復措施與經獨立核查的修復分開處理。若你的機構在採購或部署審查中使用這些報告,請在共享紀錄中保留這些區分。實際問題很直接:下一次披露是否提供會改變你判斷的證據,還是讓同樣的不確定性繼續存在?



