Vishal Sharma 的零信任警告：AI 代理需要可證明的控制

Vishal Sharma 正在質疑一項常見的安全承諾：告訴 AI 代理遵守規則，並不能證明那些規則確實獲得遵守。Vishal Sharma 的零信任警告關乎 AI 代理，即利用模型與軟件工具朝着某個目標採取行動的系統。這位 Queen’s University Belfast 研究員提出，當代理聲稱已刪除資訊、遵守限制或完成獲授權任務時，還留下甚麼證據。

這項論點令企業買家與開發人員必須區分合作與可強制執行的控制。報告成功的代理只是給出答案；能夠獨立記錄相關操作的系統，則提供了買家可供查證的資料。這兩種輸出理應獲得不同程度的信心。

其歷史參照是 NIST 的零信任架構，這種安全方法拒絕基於網絡位置或擁有權而自動信任。Sharma 的挑戰在於，當代理解讀資訊、委派工作及在任務之間傳遞脈絡時，這項原則如何得以維持。核心取捨相當具體：有用的自主性需要存取權，而可問責的自主性需要即使模型犯錯仍然有效的界限。

Vishal Sharma 的零信任警告始於證據缺失

Sharma 的大學資助代理安全分析由 IEEE Spectrum 發表，質疑機構如何驗證代理行為。其資助背景相當重要：讀者應將之視為學術機構對討論的貢獻，而非對商業安全系統的獨立驗證。

文章描述在編排器控制下運作的代理；編排器是協調其任務的軟件。文章提出，後續提示可能檢索到代理先前被要求忘記的資訊。文章亦報道 Queen’s University Belfast 的一項內部實驗，當中由代理編排的去驗證攻擊需時兩至三秒。去驗證攻擊會中斷裝置已通過驗證的無線連線。

文章最有力的貢獻在於要求提供證據；然而，其實驗性主張在支持廣泛結論前仍需要更多細節。

已發表的說明未有提供足夠方法論，以建立一般性的攻擊速度基準。其關於脈絡恢復的討論，亦未能證實遭實際抹除的資訊已被重建。在某處工作流程中仍可存取的資訊，與復原已不復存在的資料，是不同的問題。

這項區別應塑造回應方式。關於遺忘的聲明需要界定對象：一則訊息、一項已儲存記錄、一份可存取文件，還是模型已學習的行為。若沒有這個定義，機構便無法就成功刪除應有何種樣貌達成共識。

設想一個假設性的客戶檔案分析助理。用戶撤回使用較早前訪談內容的許可。助理確認會忽略該訪談，卻提出與早前評估相似的建議。僅憑這種相似性，無法確定助理是否檢索了訪談、保留了摘要，或是獨立得出相同結論。

調查需要檢視系統實際保留及存取了甚麼。生成的解釋或可提供線索，但解釋本身不足以解決問題。爭議行為涉及答案背後的機制，包括哪些記錄仍然可用。

對買家而言，這改變了值得要求的證據。一場精心準備的示範可顯示助理如何在預設情境中正確回應。受控的故障測試則可揭示限制能否抵禦意料之外的請求。這些示範回答的是不同的採購問題。

新聞價值正在於這種重點轉移。Sharma 將焦點引向口頭承諾轉化為操作性主張的關鍵點。一旦代理處理敏感資訊或會帶來重大影響的行動，這個環節便值得明確審視。

這也為供應商建立更公平的標準。供應商不應被要求承諾其模型永遠不會產生不理想的回應；相反，應能說明部署的限制，並提供與這些限制相稱的證據。

零信任依然適用，但身分無法判定意圖

NIST 於 2020 年 8 月發表的零信任架構，將保護焦點放在資源上，而非假設內部網絡可信。其框架區分了驗證身分的認證，以及決定獲准存取範圍的授權。

軟件能夠理解自然語言，並不代表這個框架已經過時。它提供了有用的起點：代理位於機構內部，並不會自動證明其有權存取機構資源。

分析上的問題是：已通過認證的代理，對當前任務究竟應獲授予多少權限。

設想一個獲授權編製供應商比較的助理。閱讀已批准的提案符合這項委派。即使同一助理具備發送電郵的技術能力，將機密談判簡報寄給供應商則是另一個問題。

成功認證只能證明是哪個帳戶嘗試發送。單靠這一點，無法證明用戶有意作出該項披露。因此，安全討論需要檢視所請求的行動，以及支持該行動的權限。

這正是代理部署令熟悉的企業決策變得複雜之處。一項人類指令可以描述結果，卻不列出每一個中間操作。「準備比較」留下了解讀空間。機構仍然需要決定，這種解讀可授權哪些操作。

隨之而來的是合理的採購問題：當助理選擇非必要步驟時，會發生甚麼？答案應指出由哪個元件負責允許或拒絕該操作。承諾助理通常會選擇合理步驟，是在談行為；而買家問的是權限。

同樣的推理也適用於委派。假設一個協調助理要求另一個代理研究供應商歷史，這項請求是否附帶檢視機密合約的許可？是否容許再次委派？哪一項原始限制仍會向接收服務清晰呈現？

這些是假設性的設計問題，並非聲稱每個代理平台都錯誤處理委派。其目的在於，讓買家在授予廣泛存取權前揭示各種假設。部署表面上可以井然有序，卻可能讓其權限模型規格不明。

因此，安全團隊面對範圍問題。把代理視為單一應用程式來評估，或會忽略閱讀、編輯、發送與刪除之間的重要差異。逐一手動評估每項無害操作，則會帶來另一種負擔。有用的評估介乎這兩個極端之間。

因此，產品團隊應預期會被問及任務意圖與可執行權限之間的關係。提出這個問題的客戶所要求的是系統屬性，而不只是另一項模型指令。

從這個角度閱讀，Vishal Sharma 的零信任警告最具價值。它促使機構讓其假設可供檢視，卻不聲稱所有現有存取控制原則都已失效。

記憶令這項取捨更難忽視

OWASP 的AI 代理安全指引涵蓋記憶隔離、到期處理、敏感資料處理，以及代理脈絡以外的授權。脈絡是指模型在生成回應時獲提供的資訊。

該指引亦指出記憶投毒，即會影響後續行為的惡意資訊持續存在。這項關注把保留的資訊與未來行動連結起來，而非把每次回應視為孤立事件。

對企業買家而言，尚未解決的取捨是助理應保留多少有用歷史，以及持續受誰授權。

設想一個將訪談轉化為項目簡報的假設性研究工作流程。歷史筆記有助助理避免重複提問，並保留已作決定。這些好處構成保留資訊的正當理由，同時亦令撤回請求更難評估。

假設一名受訪者要求移除一項敏感陳述。買家需要知道產品作出了哪一種承諾：移除原始逐字稿、在未來搜尋中排除該內容，以及修訂衍生簡報，都是可區分的結果。

一份有意義的合約應明確列出適用的結果，然後示範應直接測試該結果。詢問助理是否記得該陳述所提供的證據較弱，因為問題依賴的正是行為受爭議的同一介面。

這項區別對日常知識工作同樣重要。選擇個人知識庫的人，需要理解收集、檢索與移除之間的關係。便利性無法回答這些問題，產品類別本身也不構成安全保證。

調查與資料最小化之間亦存在張力。機構或會希望保留足夠歷史，以解釋一項影響重大的建議；同時亦希望避免保留不必要的個人資訊。助理負責執行工作，並不會令任何一個目標消失。

一項假設性調查說明了其中困難。客戶在底層訪談已被移除後，對一項建議提出爭議。調查人員需要說明哪些獲授權證據影響了決定。永遠保留每份原始記錄會違背移除承諾；甚麼都不保留則會妨礙調查。

編輯層面的啟示是，「記憶」值得更精確的產品語言。買家應期望產品說明涉及哪些記錄，以及每類記錄附帶甚麼保證。單一標示為「忘記」的開關，為互不相容的期望留下太多空間。

商業壓力落在銷售跨項目延續性的供應商身上。這種延續性愈有用，對評估敏感工作的客戶而言，其界限就愈重要。記憶功能的價值與其管治要求會一同增長。

因此，Sharma 的問題超越了不尋常的攻擊情境。它揭示了一項基本採購問題：機構能否在對話結束後，驗證資訊如何被處理。

瀏覽器研究顯示架構為何改變風險程度

University of Washington 研究人員 Franziska Roesner 和 David Kohlbrenner，檢視了七款代理式瀏覽器的瀏覽器來源邊界。他們的研究涉及同源政策，這是一項用以分隔彼此不受信任網站的瀏覽器規則。

他們在 2026 年 4 月的說明中描述了於 1 月下旬至 2 月上旬進行的實驗。當中報告了一項涉及 Agent Mode 下 ChatGPT Atlas 的跨來源攻擊示範。至於其他幾項產品，該說明列出的是攻擊前提條件，而非同等的已完成攻擊。

這個情境取決於特定條件，包括成功進行提示注入——即嘗試令代理把不可信內容視為指令。受測版本及配置相當重要。這些發現不應被延伸為對每一個現時瀏覽器版本均適用、且欠缺佐證的說法。

更廣泛的架構問題在於：助理所擁有的存取權，是否創造了一條一般網站程式碼本不具備的路徑。

對買家而言，這個問題比起對模型智能作籠統排名，提供了更有用的比較基礎。一個能力強大的助理或可在狹窄的存取邊界內運作；另一種部署方式則可能在更依賴助理判斷的同時，暴露更廣泛的資訊。

即使示範看似相近，這些配置所帶來的採購決定仍然不同。兩者都可能成功概述一個頁面；但只有更仔細的審視，才能揭示每個助理在執行該任務期間可額外存取哪些資訊。

設想一名員工要求概述公開供應商頁面的內容。預期輸出只關乎該頁面。若工作流程同時容許存取私密商業資料，評估者便需要理解該存取權為何存在，以及其使用受到甚麼約束。

員工的要求提供了一個有用的參照點。它界定了可據以評估額外存取權的商業目的。即使成功完成摘要，也不足以回答系統是否暴露了超出工作要求的資訊。

這亦是比較時需要謹慎用語的原因。研究人員若識別出一條可能造成損害的路徑，便確立了一項值得調查的發現；但這未必代表他們已證實，所有具備某項設計特徵的產品都可遭受成功攻擊。

買家亦應以同樣的嚴謹態度評估供應商的回應。一個已修補的例子可以封堵已示範的路徑，卻不能證明每一條相關路徑都已消失。相反，較早期的研究發現亦不應自動被描述為今日仍未解決的漏洞。

這場當前辯論的啟示在於方法論。當安全聲稱清楚指出受測邊界、涉及條件及觀察到的結果時，資訊價值便會更高。單靠產品名稱無法承載這種解釋。

這支持 Sharma 對證據的要求，同時加入一項重要限制：證據應繼續與產生它的系統及情況連結。若要將其延伸至其他情況，所需的是額外測試，而非更強烈的修辭。

更佳的模型行為並不能解決隔離問題

Anthropic 在 2025 年 11 月對 提示注入防禦 的說明，描述了供瀏覽器使用的訓練、偵測系統及對抗性測試。該公司明確承認，瀏覽器代理仍然容易受到攻擊。

其在 2026 年 5 月對 代理隔離 的討論，區分了模型防禦措施與對代理運作環境施加的限制。隔離是指限制系統可接觸或可執行的事項。Anthropic 描述了結合環境邊界，以及旨在改善模型行為的措施。

這些是供應商對其方法的說明。它們確立的是公司的既定安全理據，而非獨立證明每個部署均達到預期保護效果。

重要的比較，在於降低出錯機會與限制出錯後果之間的差異。

一個假設的文件助理可令這個區別更具體。較佳的判斷能力或可幫助它拒絕提案中的欺騙性指令；存取限制則可阻止它取得不相關的機密文件，不論它如何解讀該指令。

這些結果回答的是不同問題。客戶希望它在正當工作中表現合理；客戶同時亦希望對系統失敗時會發生甚麼事，得到一個站得住腳的答案。全面的評估應同時審視兩者。

這對採購簡報帶來實際挑戰。模型示範容易理解，因為它展示了可見行為；環境限制或許較不引人注目，直至評估者要求系統跨越一條禁止邊界。

一個有說服力的示範，應讓嘗試跨越邊界的行為清晰可見。評估者屆時可檢視是甚麼阻止了它、留下了甚麼證據，以及正當任務能否繼續完成。拒絕本身只是結果的一部分。

評估亦應考慮限制的代價。受嚴格限制的助理可能需要額外的使用者輸入，或無法完成原本合理的任務。這不代表該限制有問題，只代表其營運影響是採購決定的一部分。

同樣地，頻繁中斷並不自動代表安全性更高。當中斷有助人員理解並授權一項具實質意義的後果時，才值得重視。含糊的批准要求，可能令背後的決定仍然一樣不清楚。

因此，對買家有用的問題應具體明確：哪一項擬議行動正等待誰的授權，而批准後究竟會有甚麼改變？答案應讓對商業結果負責的人也能理解。

這個框架避免把更聰明的模型與更強的邊界塑造成虛假的對立。客戶可同時受惠於兩者，但應要求供應商說明各自的貢獻。一個範疇有所改善，並不能證明其他所有範疇亦有改善。

它亦加強了競爭壓力。販售更廣泛自主性的供應商，需要提供與其產品所要求權限相稱的證據。錯誤行動的後果愈大，舉證責任亦愈重。

Vishal Sharma 的零信任警告切合這場辯論，但並不能就此定論。問題在於，當合作行為已不足夠時，該部署是否能就控制機制提供可信的說明。

下一批證據應來自失敗測試

未來三個月，最有用的訊號將涉及可重現性、執行力度，以及在貼近現實的失敗條件下的行為。這些是編輯觀察重點，並非已公布的發布承諾。

最有力的證據，將說明甚麼失敗、甚麼仍受保護，以及正當工作能否依然完成。

首先，留意 Queen’s University Belfast 實驗能否提供可重現的說明。更完整的出版內容理想上應列明用於評估所報告攻擊速度的設備、配置、計時方法及基準。

若獨立團隊能在已述明條件下取得可比較結果，這些證據將加強實驗聲稱。較狹窄的結果仍然具有資訊價值，因為它有助讀者區分特定實驗室觀察與關於代理輔助攻擊的普遍聲稱。

相同標準亦適用於上下文恢復。有用的測試應界定移除了甚麼資訊、它原先存在於何處，以及哪些檢索路徑仍然保留。缺少這些細節時，看似的記憶回復仍留下太多可能解釋。

第二，留意能令權限邊界更易檢視的產品發布。相關訊號應是與可測試限制掛鈎的文件化變更；單憑一個新的安全標籤，並不能提供該等證據。

例如，一項假設的發布可示範助理能準備外發訊息，同時由另一個元件控制其傳送。評估者仍需檢視該限制涵蓋的收件人、內容及授權條件。

這些證據將加強以下論點：供應商正把一般安全原則轉化為可部署的控制措施。若發布內容僅僅加入另一項指令，便較難支持有關獨立執行限制的聲稱。

第三，留意同時測試恢復能力與抗攻擊能力的獨立評估。阻止不受歡迎的操作固然有價值，但買家亦需要知道，系統能否在不重複嘗試、不丟失已授權工作或無需過度介入的情況下恢復運作。

一項假設評估可比較同一任務在施加存取限制前後的表現。結果應同時描述被禁止的行動及正當任務的完成情況；否則，一個幾乎無法完成任何工作的系統，可能因無助益的理由而顯得安全。

若結果顯示損害受到限制，同時已授權工作成功完成，便會加強實際自主性的論據。若結果顯示有用的完成工作需要廣泛而解釋不足的存取權，則會暴露持續存在的取捨。

這些訊號之所以重要，是因為當前論點否則可能變成循環論證。研究人員要求驗證；供應商描述保障措施；買家獲得保證，卻沒有一套共同說明去界定這些保證涵蓋甚麼。

更精確的證據可促成更狹窄、也更有成效的分歧。一種部署可能適合起草及研究，另一種則可能支援具後果的操作。理據應指出每個系統可就其行為證實甚麼。

對開發者而言，眼前的啟示是在擴大代理責任前，先讓安全聲稱可被測試。對企業買家而言，則是把所要求的證據與具體商業後果連結起來。對知識工作者而言，則是在委派敏感工作前，先理解附加於助理的權限。

在下一次代理試點項目前，選擇一項具爭議的行動，並界定可解決爭議的證據。可考慮未獲授權的收件人、已撤回的文件，或超出原有任務的要求。要求供應商展示會發生甚麼事、限制在哪裏運作，以及事後會留下甚麼紀錄。然後評估已授權任務是否仍可完成。應將該示範視為與該部署及配置有關的證據，並清楚說明其限制。Vishal Sharma 的零信任警告，為這場討論提供了一個有用的起點問題：當助理說它遵守了規則時，其他人實際上可以驗證甚麼？