CAISSI 向白宮匯報引發對 AI 測試獨立性的疑問

據報官員接獲要求，非正式向總統辦公室匯報後，CAISSI 向白宮匯報一事已引起對其獨立性的憂慮。美聯社記者 Garance Burke 指，兩名前政府官員匿名描述了這項安排。問題在於，更緊密的政治協調是否仍能保障研究人員自由得出並傳達不合當局心意的結論。

11 月 8 日的 AI 測試獨立性報道提及領導層不穩定，以及對研究透明度的憂慮。報道並未證實政治官員曾改動科學研究結果。這一區分至關重要：匯報關係會引發權限問題，而干預則需要實際決策的證據。

核心張力在於行政協調與科學獨立性之間。政府評估人員需要接觸決策者，但即使研究結果挑戰政府施政優先事項，其價值仍必須得以保留。英國的 AI Security Institute 可作為評估機構產出的比較對象。對開發商及企業採購方而言，實際問題是聯邦測試能否產生可供審視和使用的證據。

關於 CAISSI 向白宮匯報的說法可確立甚麼

據報變動涉及非正式匯報安排，而非已證實的法定權限轉移。

「非正式」一詞值得注意。正式的組織變動通常會留下外界可查閱的資料，例如公告、指令或更新後的組織架構圖。非正式協調則可在沒有相應公開文件的情況下運作。

這並不會自動令該安排變得不恰當。官員經常跨部門交流資訊，而科學建議亦需要渠道進入政策討論。未知之處在於，所要求的匯報涵蓋甚麼內容，以及附帶甚麼權限。

要求簡報，與有權批准研究不同。訂定國家優先事項，與改寫結論不同。及早獲悉一項安全憂慮，與決定政府以外任何人能否知悉有關問題不同。

這些區分界定了匯報上的缺口。在沒有職責說明的情況下，外界無法可靠地判定適用的是哪一種關係。非正式渠道可支援一般協調，同時令該渠道的界限不甚清楚。

該機構的身分可獨立核實。CAISSI 是 Center for Advancing Innovation and Standards for Super Intelligence 的縮寫。它隸屬於 National Institute of Standards and Technology，即商務部旗下負責量度和標準的機構 NIST。

其官方的評估使命包括自願性開發商協議、安全評估，以及與聯邦機構合作。已公布的職權範圍明確包括與 Office of Science and Technology Policy 協調。因此，與白宮接觸符合該中心所述的跨機構工作範圍。

單憑協調不足以證實存在獨立性問題。若政治偏好決定研究方法、限制取得相關證據，或阻止研究人員準確傳達結果，憂慮才會變得具體。

合理的澄清應說明，新渠道是否改變上述任何一項決策，並指出科學人員與政策官員出現分歧時由誰作出裁決。這些答案可讓外界更容易評估安排，同時不會披露機密模型資訊。

就發布方面的說法，公開紀錄亦要求審慎看待。NIST 的中心頁面列出一項 9 月的模型評估，以及 10 月的事故準備指引。這些條目令「所有公開產出均已停止」的籠統說法變得複雜。

它們並不能確立完整的發布時間表，亦無法解決特定評估缺失的憂慮。指引文件與模型評估有不同用途。相關問題是，哪些研究仍未發布、為何仍未發布，以及正常的發布做法是否已有改變。

目前，CAISSI 向白宮匯報應被描述為一項據報的管治發展。稱之為已證實的審查會超出現有證據；將其視為無關緊要，同樣會略過誰控制中心工作的未解問題。

為何獨立 AI 測試會為買家和開發商帶來壓力

眼前的利害關係在於，供決定是否部署 AI 系統的人士使用的證據質素。

評估是在指定條件下，對系統行為進行的結構化測試。其效用取決於這些條件、研究人員獲得的存取權，以及結果附帶披露的限制。

設想一家企業正在評估一個 AI agent，即可利用已連接工具執行工作的軟件。該 agent 可讀取內部文件並執行指令。具說服力的展示能證明它可完成經挑選的工作。

買家仍需了解，當指令相互衝突或工作出錯時，它會如何表現。它是否遵守存取限制？需要批准時會否停止？審核人員能否重建它為何採取某項行動？

這些是說明性的部署問題，而非關於特定產品的已報道發現。它們顯示，機構的獨立性為何會影響實際採購決策。買家需要的證據，應如實描述失效情況，與成功表現同樣清晰。

開發商亦面對相關壓力。外部測試可找出內部團隊遺漏或有不同解讀的問題。當外界無法判斷研究人員是否獲得足夠存取權，或能否報告不利結果時，其價值便會下降。

政府評估不應成為產品安全的一般保證。測試網絡安全能力，並不能解決私隱、可靠性或工作場所適用性的問題。每項發現都只適用於界定明確的問題。

NIST 的可信賴性框架將可靠性、安全性、問責性、私隱及其他特徵視為相連的關切事項。它亦強調系統運作的情境。這有助修正將機構背書視為普遍批准的看法。

對買家的啟示很直接：機構信譽有助建立對評估的信心，但不能取代閱讀其範圍。一間可信的機構仍可能只進行狹窄的測試。

獨立研究人員亦需要足夠資訊，才能質疑評估。若只發布結論而不解釋相關條件，外界便無法區分強而有力的結果與局限性結果。

這為政府和業界雙方帶來壓力。開發商必須支持有意義的審查，政府評估人員則必須說明其存取權容許他們檢視甚麼。任何一方都不會從一項表面權威超過其證據的評估中受益。

對知識工作者而言，影響較不明顯，卻仍然實際。將助理連接至敏感資訊的決策，往往依賴其他地方提出的聲稱。薄弱證據可透過採購文件傳播，直至最終建議中的不確定性消失。

團隊可藉著在內部決策旁保留原始評估，減少這個問題。可搜尋的工程知識庫有助保存這些紀錄。文件紀錄有助問責，但無法彌補從未披露限制的評估。

因此，這場管治爭議超越華盛頓的組織邊界。它關乎使用者是否獲得足夠詳細的證據以支持決策，包括延遲部署的決策。

更緊密協調可以有幫助，但研究結果需要保障

當職責清晰、分歧仍可追溯時，政治接觸與科學獨立性可以並存。

支持與白宮更緊密協調的最有力論點，是其實際需要。若官員無法將重要發現轉化為決策，研究的公共價值便有限。直接的溝通渠道可協助緊急問題傳達至有權回應的人士。

它亦可揭示機構之間的缺口。研究人員可能發現超出其機構運作職能的問題。協調提供途徑，讓這項發現與負責處理問題的官員連結。

這些是據報安排在制度設計上的潛在好處，而非已確立的結果。其合理性意味著，與政治領導層的接近程度不應成為衡量獨立性的唯一標準。

更有用的衡量標準，是對科學工作的控制權。誰選擇問題？誰批准方法？誰可檢視證據？誰決定如何描述由此得出的結論？

民選領導人有正當權力訂定政策優先事項。科學人員需要空間，在這些優先事項之內說明證據支持甚麼。當偏好的政策結果成為必須得出的科學結論時，問題便會出現。

政府可傾向加快採用 AI，同時收到指出尚未解決風險的評估。它可以決定如何回應，但該評估應與這項政策選擇保持可區分性。

發布規則有助維持這一區分。審查程序可保護機密資訊，或防止披露危險的技術細節。當延遲沒有說明理由或明確終點時，便更難作出評估。

相關保障措施，是一套處理分歧的文件化程序。研究人員應知道如何記錄有爭議的詮釋。上司應解釋實質改動。政策官員則應就接獲科學建議後作出的選擇維持問責。

這些是建議的保障措施，而非對 CAISSI 現行內部程序的描述。現有報道並未確立哪些保護措施存在，或它們的運作是否一致。

該中心的國家安全角色令制度設計要求更高。一些發現需要受限處理，尤其當發布會揭示可被利用的弱點時。科學獨立性並不要求公開每項技術細節。

但它確實要求能合理辯護地區分保護敏感資訊與避免尷尬。公開摘要、記錄在案的審查標準及適當監督，可在不暴露底層漏洞的情況下，有助建立這一區分。

用語亦帶來另一項複雜因素。NIST 表示，其super intelligence 術語沿用 9 月 29 日的行政命令。讀者應將這種措辭理解為該機構所述的命名做法。

標籤本身並不能證實技術能力或測試結果。一間機構可以更改術語，而不改變評估質素。反過來說，熟悉的術語亦不能保證科學獨立性。

CAISSI 向白宮匯報的取捨因而相當具體。更緊密的協調可提供一條由研究走向行動的途徑，但權限界定不清亦會留下施壓空間。清晰的界線決定這些好處能否在充分保障證據的情況下實現。

英國提供比較，而非現成定論

有用的國際比較在於可見的評估工作及後續行動，而非機構品牌。

英國的 AI Security Institute 是相關的對照對象，因為它同樣評估先進 AI 系統。比較這些機構可說明面向公眾的工作是甚麼模樣，但單憑這一點，無法判定哪個政府擁有較佳的內部保障措施。

10 月 12 日，英國政府宣布推行 AI 事故準備措施，同時繼續進行先進模型評估。公告說明了針對自主代理事故的工作，以及識別「幾乎出事」情況的可能方法。

這是政府活動的官方說法。它確立當局公布了甚麼，同時讓這些措施是否有效仍有待檢驗。宣布已作好準備，與實際證明已作好準備，仍是兩種不同標準。

這項比較為美國帶來一個有用問題：觀察者能否將研究、發現及機構回應串連起來？若後續工作說明某項評估帶來了甚麼改變，公開公告便會更具資訊價值。

模型評估是這個序列的一部分，事故指引則是另一部分。兩者結合，可顯示一個機構是否正在發展方法、識別問題，並協助其他組織作出回應。

這個美國中心的公開頁面列出一項英美聯合評估，檢視 Kimi K3 的網絡安全能力。該項目展示評估人員之間的合作，而非國家之間的簡單競賽。

共同評估有助揭示方法及詮釋上的差異。其可信度仍取決於公開了多少有關範圍及限制的資訊。國際參與並不會自動解決存取權或發布控制的問題。

這項比較亦有助區分評估與推廣。一個國家機構可以支持本土創新，同時記錄本土產品的弱點。其公共價值部分取決於能否維持兼顧兩者的能力。

對商業開發商而言，一致的審視可建立更清晰的比較基礎。買家可檢視不同供應商的證據，而非完全依賴各供應商自行挑選的說法。

然而，統一的報告方式本身不會產生可比較的結果。不同工具、權限或測試條件可帶來不同結果。共用的呈現格式必須保留這些差異，而非將之掩蓋。

政府、開發商及外部評估可提供互補證據。開發商測試可為產品改動提供參考；外部工作可挑戰既有假設；政府評估則可處理與公共責任相關的問題。

沒有任何單一類別值得自動信任。重要問題在於能力、存取權、誘因，以及傳達不利發現的能力。資金安排之所以重要，是因為它可影響這些條件。

因此，英國為評估產出及回應提供了一個比較點，卻不是判斷 CAISSI 的捷徑。更有力的國際基準，是機構能否將其主張說得足夠具體，讓他人可加以檢視。

現有證據無法定論的部分

現有紀錄支持檢視管治，但不足以證明政治官員操控了一項評估。

這項限制應引導分析方向。匿名說法可指出一項重要發展，但讀者仍需要佐證文件或解釋，才能理解其完整含義。

核心未知之處，是非正式匯報要求究竟涵蓋甚麼。它可能關乎例行簡報、研究優先事項、發布決定，或上述事項的某種組合。這些可能性帶來不同含義，不應視為可互換。

接收匯報辦公室的身分及權限同樣重要。除非讀者明白參與者可作出甚麼決定，否則一條溝通渠道本身並不能提供多少資訊。取得資訊與監督控制，是不同權力。

另一項不確定因素關乎發布。近期公開材料的存在，令我們不能簡單推斷該機構已停止所有溝通。但這也不能顯示原定評估是否遭延遲或扣起。

要解決這個問題，需要更清晰交代發布程序。哪些工作已完成？哪些發現需要覆核？甚麼理由主導發布決定？缺乏這些細節時，一段沉默期仍可有多種相互競爭的解釋。

某些解釋可與負責任的科學實踐相容。研究人員或許需要更多證據才能得出結論；安全審查或許需要刪除危險細節。兩種情況均不能證明存在政治干預。

其他解釋則會引起更尖銳的疑慮。若要求發現須配合某項政策偏好，便會影響科學誠信。若因某項重大限制削弱了偏好的公開訊息而將其刪除，亦然。

這些是有待調查的情況，而非本處檢視的來源已證實的指控。將兩者區分，可在不把假設性失誤說成已報道事實的前提下進行審視。

同樣的克制亦適用於獨立性主張。把機構描述為獨立，並不能證明它在行政權力之外運作。實際獨立性關乎方法、判斷及溝通所受的保障。

讀者亦不應將分歧等同失當行為。科學團隊可以合理地對不確定證據作出不同詮釋。可信的程序會記錄這些差異，並說明最終評估如何處理它們。

因此，更有力的公開說明不應只確認對安全或創新的承諾，也應描述決策權、覆核程序，以及上報科學分歧的途徑。

這樣的說明既有利官員，亦有利批評者。清晰程序有助區分正當協調與缺乏依據的指控，也讓研究人員對自身責任有共同理解。

CAISSI 向白宮匯報值得持續關注，因為這些界線仍不清晰。下一項判斷應建基於有關安排的額外證據，而非由支持者或批評者任何一方所提供的確信。

三個訊號將令這項安排更易判斷

未來三個月，匯報規則、評估發布及領導層決定，將提供具體方法評估該中心的方向。

第一個訊號是書面權限說明。留意是否有組織聲明、指令或其他公開交代，說明與白宮辦公室的關係。

最有用的文件會說明誰設定研究優先事項、誰控制發布，並解釋該安排是否改變既有責任，同時區分科學覆核與政策批准。

若清晰說明保留研究人員對技術判斷的控制權，將削弱對非正式政治影響的憂慮。若擴大批准角色而未列明保障措施，則會加強這些憂慮。

沉默會令問題未能解決。它不會證明失當行為，卻會妨礙外界評估制度設計。泛泛而談協調，會比描述實際決策權帶來更少清晰度。

第二個訊號是下一份具實質內容的評估發布。留意評估是否說明研究人員測試了甚麼、獲得了甚麼存取權，以及結果不能證實甚麼。

其重要性取決於內容，而非語氣。有利的發現可在證據支持時具可信度；不利的發現若測試不足以支持其結論，亦可能薄弱。

尤其要留意影響詮釋的限制。評估是否識別相關系統版本？是否解釋測試環境？是否區分觀察到的行為與更廣泛的預測？

若發布坦率發現並清晰界定範圍，將加強對科學獨立性的信心。若發布作出廣泛保證卻沒有支持細節，核心疑慮便會依然存在。

第三個訊號是具明確科學責任的穩定領導安排。任命公告只會回答部分問題；附隨該角色的權限，與姓名同樣重要。

留意其對方法、人手安排及處理具爭議發現所負的責任。領導人需要一套可行程序，將證據向上呈報，同時避免把每一項技術分歧都變成政治談判。

具備文件化責任的穩定安排，將支持更緊密協調能強化該中心的論點。持續含糊不清，則會令評估誰能保障其工作誠信更為困難。

應將這些訊號一併考慮。沒有實質研究的匯報章程，只能提供有限保證；沒有清晰權限的已發布評估，仍可令研究人員處於風險之中；沒有界定責任的領導安排，亦不能解決任何一項問題。

對開發商及買家而言，合適回應是要求與決策相稱的證據。應把聯邦評估視為具有明確範圍的輸入，而非可普遍部署的許可。保留原始發現、其限制，以及支撐自身結論的推理。

隨着 CAISSI 向白宮匯報的情況持續發展，應回到那些確立誰作決定、測試了甚麼，以及甚麼內容被公開的文件。閱讀下一項評估時，應連同其方法及所述不確定性一併檢視。比較後續機構行動與官員曾作出的承諾。當一項評估為採購或部署決定提供依據時，應準確記錄你所依賴的是哪項結論。若系統有所改變或出現新證據，這種做法便令日後覆核成為可能。值得帶到下一次發布的問題很具體：外部讀者能否追溯由科學觀察到公開結論的路徑，包括官員可能傾向消除的不確定性？