top of page

Microsoft AI Agent Security 警告令企業自主權備受審視

1 日前
讀畢需時 11 分鐘

Microsoft 於 10 月 19 日警告,即使攻擊者未有入侵企業 AI agents,它們仍可能構成內部安全風險。這項 Microsoft AI agent 安全警告挑戰了一個看似理所當然的假設:由公司部署的軟件,理應享有與員工相同的存取權限。其提出的答案 Guardian Agents,卻引出另一個問題:誰在控制監察這些 agents 的系統?

Visual Studio Magazine 於 10 月 28 日再次聚焦這項警告,闡述 Microsoft 對代理式內部風險的立場。AI agents 是利用模型及工具執行工作的系統,會在請求與實際執行之間作出決策。員工可以授權某個目標,卻未必能預見 agent 所選擇的每一步行動。

核心取捨在於實用的自主性與可強制執行的權限。CrowdStrike 與 Okta 正在推進相關控制措施,為企業帶來可供評估的競爭方案。對開發人員、安全團隊及企業管理者而言,眼前的問題是:當 agent 對任務的理解發生變化時,其權限應在哪裏止步。

Microsoft AI Agent Security 轉向內部風險

Microsoft Security 執行副總裁 Hayete Gallot 在 10 月 19 日一篇探討保障代理式內部人員安全的文章中,概述公司的立場。她認為,模型會追求目標,卻不會天然理解機構的判斷準則。這令其行為成為值得關注的問題,即使沒有人竊取憑證或修改其軟件亦然。

Microsoft 提出以 Guardian Agents 監督活動,並隨風險變化作出回應。這個方法延伸自公司於 7 月公布的 Project Perception。Gallot 亦呼籲提升模型行為的可見度,同時將防護控制置於其所監管的智能系統之外。

Microsoft 正要求企業將 agent 的任務委派與其權限視為兩項獨立的安全決策。

這項區分改變了買家應如何理解這項公布。內部風險的框架描述了由合法存取權所產生的風險敞口。它並不代表每個 agent 都會作出危險行為,也不表示一般企業自動化突然變成對手。

可將其理解為委託工作與批准其後果之間的分別。要求系統解決客戶問題,是設定一項目標;但這並不自動授權退款、修改帳戶、作出合約承諾,或披露另一名客戶的資料。

這個例子旨在說明文章的核心問題,並非 Microsoft 已報道的事故。任務聽來平常,但可採取的行動會帶來不同後果。一項寬泛指令無法解決執行過程中每個隱藏的權限問題。

這項警告亦需要置於精確的時間線中理解。10 月 28 日的報道重訪了 Microsoft 於 10 月 19 日表達的立場。讀者不應將該發布日期誤解為另一項產品推出、一次新披露的入侵事件,或衡量事故頻率的新證據。

提出架構與驗證其效能之間亦存在分別。架構說明控制措施應置於何處,以及它們應如何協同運作。證據則必須證明這些控制能否辨識危險行為、及時介入,以及讓合法工作維持可用。

這種區分很重要,因為安全公告往往把可信的問題與擬議的商業答案結合。接受問題的存在,並不意味必須接受關於答案的每一項主張。買家可以認同 agent 權限需要限制,同時要求證明某項具體實作確實能強制執行這些限制。

因此,實際變化在於說明責任的轉移。agent 的委派者應說明任務、獲准採取的行動及負責的擁有人。供應商則應說明,當 agent 採取意料之外的路徑時,其產品如何執行這些界限。

壓力落在授予存取權的人身上

最直接承受這項警告壓力的人,是把 agents 連接至具重大影響的業務系統的人。他們的決策決定錯誤理解會停留在草稿階段,還是會演變為營運事件。這項責任橫跨開發、資訊安全、應用系統擁有權及業務管理。

部署 agent 時,除了需要有人負責其輸出,亦需要有人負責其權限。

檢視這項責任的一個實用方法,是設想一個銷售流程。一名助手根據內部筆記及客戶往來資料準備帳戶摘要。其最初用途是提供資訊,但之後有人把它連接至可更新帳戶紀錄的工具。

撰寫任務與修改紀錄的任務值得分開考慮。不準確的摘要可能誤導讀者;不準確的更新則可能成為其他員工依賴的系統紀錄,令後果延伸至原來對話以外。

這項區分毋須假設存在惡意意圖。agent 可能誤解請求、過度詮釋非正式評論,或為實現本來正當的目標而選擇不恰當的途徑。安全問題在於,當這些不確定性尚未解決時,系統容許甚麼行為。

對開發人員而言,壓力體現在介面設計上。把讀取、編輯及發布捆綁為一項廣泛操作的工具,與各自獨立的操作相比,會產生不同的風險敞口。相關設計選擇在於,應用程式能否表達企業真正想設定的界限。

對業務委派者而言,壓力在於授權。管理者可以描述期望的結果,同時未有界定例外情況。若 agent 遇到例外,系統需要為該決策設定明確去向,而非假設完成任務總是優先。

對安全團隊而言,壓力在於歸因,即把行動連結至負責行為者的能力。若某項紀錄發生變更,調查人員需要區分員工的請求、agent 的詮釋及工具的執行。否則,單憑帳戶名稱只能說明不完整的故事。

當知識工作者把個人研究連接至共享資源時,也會面對相關問題。個人知識庫與存放機構紀錄的工作空間,服務的是不同目的。存取決策應反映每個來源的目標受眾及獲准用途。

因此,短期應對措施應由釐清授權開始。哪些結果可自動繼續進行,哪些需要審核,哪些仍不在任務範圍內?這些是透過技術控制表達的業務決策,而不是模型應自行解決的問題。

隨時間推移,這份清晰度亦會成為採購要求。買家需要能夠呈現其實際審批界限的產品。一個能產生有用成果、卻無法區分準備工作與正式承諾的系統,會令機構必須在其他地方解決這種模糊性。

實用自主性需要模型以外的限制

Microsoft 提出的機制,將模型生成的決策與權限執行分開。在其隨附的agent 圍堵架構中,該公司介紹 Dynamic Permissions,為獲批任務界定存取範圍。Dynamic Agent Risk 會隨活動變化更新評估,而 Dynamic Conditional Access 則調整 agent 可採取的行動。

Microsoft 表示,這些調整可以保留讀取權限並封鎖寫入、縮窄可存取資源,或要求人手批准。公司亦描述隔離的執行環境,以限制正在運行的軟件可使用的資源。這些是建議的保護層,而非每個部署已獲得相同覆蓋的證據。

公司的費用處理例子顯示了預期流程。agent 遇到 prompt injection,即嵌入其所讀取材料中的惡意指令,並嘗試採取無關行動。Microsoft 表示,安全系統應辨識到風險正在上升,並縮減 agent 的權限。

決定性的界限在於,外部控制能否拒絕模型想執行的行動。

這項界限為自主性的取捨提供了具體形態。機構可以容許靈活推理,同時限制會帶來重大後果的執行。模型可以建議路徑,但另一個系統決定所要求的行動是否屬於已授予的權限範圍。

假設的文件工作流程可讓這項分別一目了然。agent 可以準備修訂、比較版本並找出未解決問題。將這些修訂發布至公開網站,則構成另一項承諾,即使模型認為發布是完成工作所必需。

這項界限的價值取決於它在何處運作。發布後才顯示的警告,與發布前進行的檢查並非服務相同目的。買家應檢視決策轉化為行動的時刻,而不是從監察儀表板的外觀判斷保護能力。

這亦說明了為何單憑自然語言指令仍不足以構成完整控制。告訴 agent 必須遵守政策,是在傳達一項期望。獨立的權限系統才決定,嘗試作出的例外能否真正繼續。

審批提示同樣值得仔細檢視。審核者需要足夠背景資料,了解擬議操作、其目的地及影響。若操作本身仍不清楚,詢問使用者是否想繼續,便幾乎不能提供保障。

同一原則也適用於任務擴展。發現需要額外存取權才能完成任務,並不代表該存取權適當。擴展應觸發由對該資源負責的權限持有人作出的決策。

這項取捨也有具生產力的一面。清晰限制可令更廣泛的試驗更容易,因為團隊知道哪些後果仍受到控制。然而,這是一項架構論點,而非保證任何特定監督產品都能做到。

CrowdStrike 與 Okta 尋求不同控制點

Microsoft 的建議正置身於一場更廣泛的競爭之中:企業 agent 活動應在哪裏受到控制。CrowdStrike 強調裝置上的執行,Okta 則強調附隨於請求的身分。兩種方法從不同位置處理相同的自主性問題。

CrowdStrike 於 9 月 1 日推出 Falcon Guardian。其agent 執行時安全公告描述如何發現 agents、將其活動連結至裝置事件,以及執行存取控制。執行時是指軟件正在運行的期間,因此相關問題是 agent 實際在裝置上做了甚麼。

Okta 將 Agent Gateway 描述為代理與企業工具之間的中介層。其 runtime identity enforcement 方法會同時核查提出請求的用戶及執行操作的代理。Okta 表示,當工具呼叫(即執行操作的請求)發生時,政策便會生效。

競爭方案令覆蓋範圍及執行能力,比套用於守護者的標籤更值得比較。

這些是供應商的描述,而非可獨立比較的效能結果。它們反映出側重點的差異,卻不足以判定誰勝誰負。買家仍需確定產品可觀察哪些操作、可阻止哪些操作,以及何處必須由其他控制措施接手。

一個假設的編碼工作流程說明了這項區別的重要性。代理可能先修改本機檔案,然後才請求存取外部業務應用程式。儘管員工視之為同一項連續任務的一部分,這些操作卻跨越了不同邊界。

因此,以裝置為重點的控制措施及以身分為重點的中介層,可以回答不同問題。某個程序是否執行了意料之外的操作?這個特定代理是否獲授權代表該用戶請求這個特定工具?

兩個問題都不能取代對方。知道誰提出操作請求,並不能單獨證明該操作是否符合業務需要。在機器上觀察到某項操作,亦不能單獨確立員工獲委派權限的完整範圍。

架構比較應跟隨工作流程,而非供應商類別。買家可追蹤資訊從何處進入、決策在何處作出,以及外部影響在何處成為可能。每一次轉換都揭示了一個保護主張需要具體說明的位置。

採購討論亦應區分目前行為與預期擴展。展示發現能力,所證明的事情不同於展示阻擋能力。計劃中的整合,所證明的事情亦不同於在客戶環境中運作的連接。

更廣泛的行業意義,在於朝着令委派可供檢視的方向轉變。Microsoft、CrowdStrike 及 Okta 描述了不同方式,將代理活動與企業控制連結起來。即使它們的產品位於環境中的不同部分,其主張仍值得以相同的營運問題評估。

對買家而言,這提供了一個要求具體說明的機會。與其問產品是否保護 AI 代理,不如問它管控哪些會帶來實質影響的操作。答案應指出執行點、適用的身分,以及事後可取得的證據。

守護代理亦承擔自身的驗證責任

使用代理監督其他代理,會引入第二層不確定性。監督者必須解讀活動、區分可接受的變化與危險的偏離,並選擇適當回應。這些判斷需要與受監督系統的行為一併評估。

在 10 月 23 日的報道中,Dark Reading 指出,新的 Guardian Agent 功能仍僅限於 Microsoft 及部分客戶使用。其對 代理監督限制 的討論,亦包括 Forrester 分析師 Andras Cser 對不可預測監督者的憂慮。Suzu Labs CTO Denis Calderone 警告,有害結果可在獲授權存取範圍內發生。

這些觀察指出不同問題。權限邊界可以被正確執行,卻仍容許造成損害的業務決策。監督者亦可能誤解合法操作,並中斷有用的工作。

守護者必須透過經衡量的決策,以及對其自身權限可執行的限制,才能贏得信任。

設想一個獲授權更新客戶記錄的代理。它可能使用正確工具,將錯誤結論寫入正確欄位。所有存取檢查都可能成功,但業務結果仍然錯誤。

這個例子說明,權限控制不能承擔全部保證責任。授權決定某個行動者能否執行一項操作,卻不能證實背後判斷是否準確、合適,或獲現有證據支持。

監督者亦需要明確界定的回應邊界。偵測可疑活動並建議限制,與自行更改業務記錄或停用無關服務截然不同。買家應詢問守護者可改變甚麼,以及由誰批准擴大該權限。

評估需要涵蓋不必要的干預,以及漏掉的危險。阻礙日常工作的系統會造成繞過它的壓力。容忍過多可疑活動的系統,則會令組織即使面對令人安心的監督介面仍然暴露於風險之中。

因此,有用的評估應包括日常任務、含糊請求及明確禁止的操作。重要證據是產生的行為及解釋。買家需要了解產品能否在這些情況中一致地套用既定政策。

透明度主張亦值得同樣審慎處理。模型的解釋可協助調查人員就某項操作形成假設,但應根據實際請求、工具活動、資源存取及最終變更加以核對。

可用性差異仍是核心。有限度的客戶使用可帶來寶貴學習,但不能證實在不同企業環境中的廣泛可靠性。此公告支持檢視該方法,卻不能判定買家是否應依賴每一項擬議功能。

因此,Microsoft AI agent security 面對多個層面的驗證責任。公司需要說明覆蓋範圍、干預行為及推出狀態。客戶則需要證據,證明控制措施與其自身工作流程及審批邊界相符。

懷疑立場毋須否定代理監督。它問的是,當監督者的判斷出錯時,監督者是否仍須承擔責任。這個問題應從部署決策一開始便納入考慮,而不是只在中斷或造成損害的操作發生後才出現。

下一個訊號是可用性、互通性及成果

未來數月提供了具體方法,可在不預設成功或失敗的情況下評估 Microsoft 的方向。最有用的訊號關乎客戶可部署甚麼、控制措施可管控哪些系統,以及真實工作流程中會發生甚麼。每一項都檢驗自主權取捨的不同部分。

最有力的證據,是在會帶來實質影響的操作發生前,將既定政策與可觀察的決策連結起來。

首先,留意精確的可用性披露。Microsoft 應區分已公布的架構、受限制存取、預覽功能及正式普遍可用的功能。更廣泛的存取將強化這項提案正走向實際運作的論點;持續含糊則會限制買家可合理得出的結論。

可用性詳情應說明相關環境及先決條件。在某個指定部署中可使用的功能,並不會自動代表其他地方亦受到覆蓋。客戶需要足夠資訊以重現受保護的工作流程,而非從廣泛的產品名稱推斷可用性。

其次,留意已展示的互通性,即不同供應商產品之間協同運作的能力。有用的證據是一個跨越組織系統、且其身分及政策脈絡保持完整的完整工作流程。單憑合作夥伴公告,仍無法回答營運問題。

有說服力的展示應說明決策在哪裏被執行,以及存取權限改變時發生甚麼事。若限制出現在儀表板上,但下游操作仍然成功,該控制措施便未能提供預期邊界。實際運作的執行能力會強化更廣泛的架構主張。

第三,留意客戶部署的量度成果。有用的報告應區分已阻止的有害操作、不必要的中斷,以及產品覆蓋範圍以外的事故。說明受測環境,會令這些結果比孤立的成功案例更有意義。

重要比較在於,團隊能否在保留預期審批邊界的同時,獲得有用的自主權。可靠干預的證據會支持 Microsoft 的論點。經常出現繞過、責任歸屬不清,或在已批准權限內發生損害性操作,則會揭示需要額外控制的範疇。

對開發人員而言,這些訊號有助制定介面及部署選擇。對企業買家而言,它們塑造評估準則及合約問題。對員工而言,它們決定代理不斷擴展的能力是否伴隨可理解的限制。

Microsoft AI agent security 最終應在指令轉化為業務後果的環節接受評價。正是在這裏,委派工作的承諾與組織對下一步所發生事情的責任相遇。

在擴展代理的任務範圍前,應追蹤一項會帶來實質影響的操作,從員工的請求直到最終效果。找出誰授權它、哪個系統可拒絕它,以及甚麼證據可解釋結果。然後要求供應商按照你的實際審批規則展示該邊界。包括一項日常任務、一個含糊請求,以及一項必須維持禁止的操作。目標是確立當模型選擇意料之外的路徑時,責任落在何處。評估應聚焦於可觀察的行為,而非對意圖的保證。如果代理明天提出一項會帶來實質影響的操作,誰有權在它發生前阻止它?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page