top of page

Microsoft Lazarus 後門研究挑戰對 AI Agent 模型的信任

14 分鐘前
讀畢需時 11 分鐘
Illustrative photograph. Photo: Zifeng Xiong / Pexels.

Microsoft Research 表示,只須重新編程少於 10 個神經元,便可在毋須重新訓練的情況下,於 AI Agent 的底層模型植入隱藏後門。這項於 2026 年 11 月 10 日發表的 Microsoft Lazarus 後門研究,挑戰了一項常見假設:模型在評估期間表現正常,便足以證明它值得獲得實際運作上的信任。

這項結論有其界限。攻擊者必須擁有對 checkpoint 的寫入權限;checkpoint 是部署時所用、儲存模型參數的檔案。研究並未證明可以單靠 prompt 入侵每個託管式助理。核心衝突在於行為測試與產物完整性:有用的回答能否證明已部署的模型仍是其發布者原本預期的模型。

Anthropic 早前有關 sleeper-agent 的研究,為可避過一般檢查的條件式行為提供了歷史參照。Lazarus 則把焦點轉向模型修改,以及部署周邊的授權問題。對開發者及企業採購方而言,壓力落在一個實際問題上:在軟件容許模型採取行動之前,誰會驗證該模型?

Microsoft Lazarus 後門研究移動信任邊界

Microsoft 的休眠神經元研究將休眠神經元描述為很少被啟動的內部單元。重新編程這些神經元,可令 Agent 在出現觸發條件時作出不同反應。攻擊者首先必須修改模型權重,即控制其行為的數值參數。

這項關鍵改變,是安全團隊必須尋找未經授權行為的位置。

試想服務測試與內容驗證之間的分別。測試會問服務在特定條件下的行為是否可接受;完整性檢查則會問是否有人改動已部署的產物。兩個問題有所重疊,但前者得到肯定答案,並不能解決後者。

企業可能會以具代表性的工作評估一個助理,並發現其回應有用。這只證明已測試工作的情況。至於該助理的底層模型是否經由獲批准的發布流程而來,仍是另一個問題。把這兩種判斷視為可以互換,便會造成可避免的漏洞。

即使模型更新維持表面質素,同樣的分別仍然適用。一個能正確回答熟悉問題的版本,仍須具備可追責的來源。否則,審批流程便要依賴在部署前察覺可疑行為。當所調查的行為具有條件性時,這是一項嚴苛要求。

對採購方而言,這改變了令人安心的評估摘要所代表的意義。供應商應說明測試了甚麼、測試了哪個產物,以及該產物如何與生產環境建立關係。沒有這種連結,評估證據所描述的東西,買方無法有把握地識別。

對開發者而言,問題不止於選擇模型名稱。名稱只識別一個產品家族或版本標示。部署需要對實際產物作出更精確的記錄。當有人調查意外行為或檢視更新時,該記錄應仍然可供查閱。

發現弱點與衡量其普遍程度之間,也有分別。研究提供理由檢視部署假設,但沒有提供遭入侵企業 Agent 的數量。負責任的回應應加強控制措施,而不應把實驗室結果說成已觀察到的廣泛爆發。

因此,直接的分析結論相當具體。模型審批應同時涵蓋行為與保管鏈。團隊既需要模型表現可接受的證據,也需要證明已批准產物經由授權路徑到達部署環境的證據。

這項要求並不會令一般評估過時,而是為它們釐清職責。它們在自身覆蓋範圍內評估行為;完整性控制則處理受評估系統是否已被改動。

Agent 營運者承接模型的信任問題

實際風險取決於 Agent 在生成答案後獲授權做甚麼。

AI Agent 是透過已連接工具,利用模型輸出選擇行動的軟件。在擬議部署中,編碼助理可能修改檔案,而研究助理可能擷取文件。即使兩個系統使用相同的底層模型,這些仍是不同的授權決定。

對企業採購方來說,相關問題比助理是否整體安全更具體。它可以存取哪些資源?哪些行動需要批准?工作期間可以使用哪些憑證?回答這些問題,才能確立接受錯誤或惡意行動的後果。

設想一個假設中的助理正在檢視內部專案。它需要存取專案文件以回答問題,但這項要求並不自動合理化其修改程式庫、發布變更,或查閱不相關員工檔案的權限。每項額外能力都值得有獨立的商業理由。

這對知識工作流程尤其相關。一個可搜尋知識庫可以支援有用的檢索,卻不代表每項已連接行動都同樣必要。閱讀技術資料與改動其中描述的系統,應涉及不同的權限決定。

壓力落在應用程式團隊身上,因為它們控制模型輸出與行動之間的連結。模型供應商可以提供其發布流程的證據,但應用程式仍會決定生成的指令是否會到達終端機、文件編輯器,還是審批佇列。

安全責任應依循這種分工。負責取得模型的團隊應記錄其來源;負責整合的團隊應記錄其工具;負責生產環境的營運者,應知道任何一項假設改變時如何暫停活動。

買方亦應區分說明與強制執行機制。告訴助理避免敏感操作的句子,只表達一種意圖;權限邊界才決定那些操作是否可用。當供應商描述實際邊界時,採購討論會更有價值。

這不代表每項操作都需要人工覆核,而是建議覆核應集中於後果。閱讀獲准文件與修改存取政策帶來不同風險。審批流程應反映這項分別,而非在所有地方套用相同阻力。

營運日誌也需要同樣精確。逐字記錄可協助解釋助理說了甚麼;行動記錄則應確立周邊應用程式實際執行了甚麼。當生成回應與最終效果出現分歧時,調查人員需要兩者。

在 Microsoft Agent 安全討論中,這正是模型研究與企業營運之間有用的連結。對模型的信任會影響部署,但部署亦會產生自身責任。機構不能把權限決定交由 benchmark 分數處理。

短期回應應集中識別這些決定。在事件迫使問題浮現之前,團隊應能解釋助理為何擁有每項能力。

Lazarus 攻擊詳解:小型修改是另一個安全問題

這項權重編輯研究報告,針對 Nemotron-Terminal-8B 修改七個神經元及使用 23 條擬合軌跡,觸發成功率至少達 98.8%。這衡量的是已記錄情境中的 payload 預測,而非普遍的端對端入侵。作者描述了可選擇進一步微調的直接修改,因此為「毋須訓練」這個簡化標題加上限定。

該機制挑戰了一項假設:危險修改必然會導致一般能力明顯下降。

神經元數量描述的是干預在模型內的覆蓋範圍,並不能獨立說明取得存取權、交付產物,或針對特定部署成功的難度。這些問題應與標題結果一同納入安全評估。

因此,Microsoft Lazarus 後門事件需要謹慎描述所需工作量。緊湊的修改仍可能依賴對保管鏈的重大事前入侵。相反,機構也不應只因修改的覆蓋範圍看似很小而輕視它。規模與授權是不同特性。

對審核者而言,有用的問題是變更是否有獲批准的解釋。沒有可追責擁有者的小型變更值得調查。即使大型變更伴隨合法更新,也同樣需要文件記錄。標準應關乎授權與證據,而非對規模的直覺。

相同推理亦適用於模型行為。即使助理仍然有用,若產物出現無法解釋的變更,仍須調查。持續有用應為評估提供資訊,但不應結束調查。

Anthropic 的sleeper-agent 實驗提供了一個熟悉的歷史座標。該研究於 2024 年 1 月發表,透過訓練建構條件式後門,並發現標準安全訓練未能可靠地移除它們。它研究的是通往隱藏行為的不同路徑,而非獨立驗證 Lazarus。

這項比較之所以重要,是因為它把共同關注點與共同方法分開。條件式行為可推動各研究計劃展開調查,但不代表它們的實驗程序、假設或量度結果可以互換。

對企業讀者而言,這種分別可避免誤導性的供應商競賽。問題不是哪家公司展示了最令人憂慮的案例,而是每項研究量度了甚麼,以及測試了哪些部署假設。

這也不應成為反對可取得模型權重的一概論據。評估部署的機構需要識別誰能改動其產物。限制分發與控制內部寫入權限,處理的是問題的不同部分。

因此,專有部署也應面對與外部取得模型相同的保管鏈問題。誰有權批准變更?生產環境如何識別獲批准版本?部署後保留哪些證據?不論商業安排如何,這些問題都具意義。

該機制更廣泛的重要性,在於它挑戰非正式的安心訊號。「它仍然運作」是關於實用性的證據;「它未被改動」則是關於完整性的主張。審批流程需要為兩者提供可辯護的依據。

偵測結果在證據與保證之間留下缺口

Lazarus 論文報告,對經修改的測試檢查點偵測率為 91.4%,同時誤報率為 9.7%。其限制章節指出,需要針對更廣泛的修改類型進行測試,並評估可自由行動的攻擊。這些是具範圍限制的實驗結果,並非通用的安全保證。

偵測器能否贏得信任,取決於其量度所得的覆蓋範圍與錯誤率,而非它使用了 AI。

當研究結果被轉化為擬議採購要求時,這項區分尤其重要。「模型通過掃描」仍留下幾個未解答的問題。掃描器原本設計用來識別哪些變更?哪些證據支持其覆蓋範圍?提出警報後會如何處理?

警報應啟動既定的審查流程,而不應自動證明供應商懷有惡意。同樣地,沒有警報亦不應抹去發布紀錄中其他未獲解釋的變更。偵測結果需要有相應的營運詮釋。

文件審查可作為一個有用的比喻。發現不一致之處可合理地支持進一步審查,但不足以判定整份文件的真實性。未能發現不一致之處,也不表示每一項陳述都屬實。結論的品質取決於審查的範圍。

Anthropic 的 叛逃探針研究提供了相關的研究觀點。其早期研究檢視利用模型內部活動的分類器,以預測人為建構的休眠代理中有條件出現的有害行為。這支持研究內部訊號,但每種方法仍須各自負責驗證。

這項比較應鼓勵審慎實驗,而非把不同主張視為可互換。在刻意建構的模型上取得的結果,可以識別具潛力的訊號。部署決策則需要說明,該訊號如何與正受審查的工件及威脅相關。

買方應特別警惕經壓縮的儀表板措辭。綠色狀態可能掩蓋自動檢查、分析人員審查及經驗證的發布歷史之間的重要差異。這些活動產生不同形式的證據,應保留各自的名稱。

誤報亦會帶來營運壓力。團隊需要有途徑調查被標記的工件,而非隨意推翻警告。否則,組織可能建立一套例外情況變得常規、原有控制失去意義的流程。

漏報則帶來另一種問題。營運人員需要互補證據,避免一次乾淨的掃描成為唯一屏障。保管紀錄、授權檢查及行動限制,能回答單靠偵測器無法判定的問題。

這正是 Microsoft Lazarus 後門發現所需的懷疑角度。該研究支持認真看待權重完整性,但不足以宣稱新的掃描器已解決模型信任問題,或每一項無法解釋的模型行為都揭示隱藏後門。

可信的保證陳述應保持足夠狹窄,讓人可以審計。它應識別所檢查的工件、採用的方法、發現結果,以及尚未解決的限制。更廣泛的承諾雖然令採購討論更容易,卻令日後調查更困難。

Microsoft 現有控制措施與計劃防禦需要分開標示

Microsoft 表示,Foundry 現時使用發行者來源控制,並掃描其周邊容器,即運行模型的封裝軟件環境。它把額外的權重掃描、紅隊工具及模型簽署描述為正在開發或探索中的工作。評估 Microsoft 代理安全性時,這些類別應維持區分。

計劃中的防禦措施不應獲得與已部署控制措施相同的證據份量。

這項區分的價值不限於這次公告。買方經常遇到把現有能力、有限試驗及未來意向混合在一起的安全描述。在討論它們是否符合組織要求之前,有意義的評估應先分開這些狀態。

對於現有控制措施,問題在於其運作:它在哪裡適用?哪些證據顯示它已執行?誰會處理失敗情況?對於計劃中的控制措施,問題在於承諾與驗證:客戶可依賴它之前,必須發生甚麼?

簽署亦需要精確詮釋。數碼簽署把工件連繫至簽署身分,並支援檢查其後是否出現變更。它本身不會判定簽署者是否批准了安全的內容。買方應詢問,簽署背後有甚麼組織審查。

受信任發行者的指定亦然。信任需要明確範圍。獲批准的關係可以支持來源決策,但買方仍須了解哪個發布版本已送達,以及哪個流程授權了它。供應商聲譽不能取代工件識別。

對內部團隊而言,採購上的相應概念是發布管治。組織內準備的模型應有負責任的擁有人及獲批准的部署途徑。稱其為內部模型,不應免除說明其如何進入生產環境的需要。

這些觀察提出了代理平台更廣泛的競爭標準。買方應比較其證據的清晰度、邊界的精確度,以及對不確定性的回應。若部署狀態仍然含糊,一長串安全功能清單的用處便較低。

行為監察亦值得獨立分類。Anthropic 於 2025 年 6 月發表的 代理破壞評估,研究有害的附帶任務及監察代理的難度。它們處理行動層面的評估,為何工件審查與運行時監督應有不同職責提供了背景。

監察主張應說明觀察者能看見甚麼。審查生成文字、檢視擬議行動,以及記錄已執行操作,是不同的安排。組織應知道自己購買的是哪種安排,以及哪些決策仍在觀察者視野之外。

供應商的實際機會在於提高具體性。說明現有控制措施、其範圍、其證據及其限制,然後另外描述計劃中的新增項目。這讓客戶可作出評估,而不會把研究公告轉化為暗示性的保證。

對客戶而言,相應工作是在合約及內部審批中保留這種具體性。要求應描述驗收所需的證據。當每個人各自作出不同詮釋時,概括承諾便難以執行。

下一批證據應測試部署、偵測與保管

最有力的後續工作,應在不誇大任何一方的前提下,把實驗室發現連繫至可重複的營運證據。

第一個值得留意的訊號,是在可自由行動的代理環境中進行獨立測試。有用的重現研究應描述模型、獲准使用的工具、觸發條件及完成結果。這有助分辨有效負載生成,與產生實際營運後果所需的完整序列。

若在現實而有清楚記錄的條件下成功,這類結果將加強優先處理這條攻擊路徑的理據。較有限的結果則會收窄主張。無論結果如何,都能以可識別的實驗邊界取代模糊措辭,從而改善決策。

第二個訊號,是針對原始評估類型以外修改的偵測測試。有用的評估應同時報告漏掉的修改及誤報。它亦應說明調查人員如何處理被標記個案,因為偵測帶來的不只是資訊,還有工作。

更廣泛的成功將加強把掃描納入發布審查的理據。較弱的遷移效果則顯示其他證據仍屬必要。買方應尋找可供比較的覆蓋範圍描述,而非脫離受測群體的成功率。

第三個訊號,是額外保管控制措施的文件化發布。對 Microsoft 及其他平台而言,相關證據應識別可用性、支援的工件、驗證行為及失敗處理。意向公告仍與客戶可使用的強制執行屬於不同里程碑。

若客戶能識別獲批准的工件,並偵測未經授權的替換,營運細節將加強信心。含糊的可用性措辭會令核心信任問題仍未解決。即使功能帶有吸引人的安全標籤,這項區分仍應清晰可見。

貫穿這些訊號,重要的發展是問責。獨立研究人員應提出可供他人檢視的主張。供應商應識別其控制措施目前能做甚麼。客戶應把驗收決策連繫至證據,而非對成熟度的整體印象。

回應亦有一個有用的界限。組織毋須假設每個助手均已遭入侵,才去改善其審批流程。它們需要識別哪些主張支持部署,以及哪些假設仍未經驗證。

因此,審查會議應產生具體的責任歸屬。應有人知道模型的來源、有人了解其權限,亦應有人能停止其行動。若這些責任不清晰,另一項基準測試結果亦無法填補營運缺口。

對正評估 Microsoft Lazarus 後門研究的團隊而言,應由眼前已有的部署決策開始。要求供應商識別確切模型工件、說明其保管方式,並把可用控制措施與計劃中的防禦分開。然後審查你的應用程式允許哪些行動在無需再次決策下進行。把證據附於發布審批,讓下一次更新面對相同標準。目標是建立一項可供檢查及質疑其信任假設的部署。在擴大助手權限之前,你的團隊能否說明哪些證據支持這項擴展,以及當證據改變時誰會採取行動?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page