OWASP GenAI 紅隊測試手冊將測試範圍擴展至模型以外
OWASP 於 10 月 20 日發布其 GenAI 紅隊測試手冊，提出八個測試階段，範圍由模型回應延伸至相連的應用程式及代理。這份 1.0 版發布內容針對結合生成內容、資料存取及行動執行的系統，處理安全、防護及抵禦失效的能力。其核心啟示相當直接：只評估模型，仍無法解答其周邊產品所涉及的問題。
OWASP GenAI 紅隊測試手冊挑戰了一項常見的保證捷徑：把模型的安全測試結果當作整個部署的證據。紅隊測試是獲授權、以對手視角進行的測試，旨在找出失效情況。對於相連的 AI 產品而言，具實際後果的失效未必是令人反感的回答，而可能是未經授權的行動。
OWASP 已於 2025 年 1 月發布相關指南，因此這次發布並非從零開始引入 AI 紅隊測試。10 月的手冊提供了更詳細的操作參考。對開發者及企業採購方而言，其價值在於把發現到的弱點，連結至可重複驗證的證據、業務後果及已核實的修復措施。這亦帶來一項要求嚴苛的取捨：較廣泛的測試可帶來更有用的保證，卻需要存取權限、協調及工程時間，並非聊天機械人示範所能提供。
OWASP GenAI 紅隊測試手冊新增了甚麼
這次發布為團隊提供共通的測試委聘架構，而非另一組各自獨立的對抗提示。
OWASP 描述了一套涵蓋規劃、偵察、攻擊面繪製、利用、持續控制、影響評估、報告及修復的流程。其列明範圍包括模型、應用程式、代理及多模態介面，後者可接收或產生文字、圖片及音訊等格式。資源頁面亦強調合乎道德的測試、可量度的成果，以及與防禦營運的整合。
這種廣度十分重要，因為 AI 失效甚少會附帶清晰便利的組織標籤。有害回應可能源自模型行為、應用程式指令、檢索內容，或相連服務。不同團隊控制這些組件。共通流程讓他們可調查同一事件，而不會假設責任止於自身組件的邊界。
歷史上的區別同樣重要。OWASP 較早發布的 紅隊測試指南已倡議同時評估模型漏洞、整合弱點及持續監察。因此，10 月的出版物代表這種方法的持續發展。若稱其為 OWASP 首次承認應用程式風險，便會有失準確。
新版本亦改變了讀者對「已測試」一詞的理解。一個機構可以如實表示已測試模型，卻未有觸及其文件連接器。另一個機構可以測試應用程式介面，同時排除會執行行動的服務。即使兩者同列於安全範疇，所描述的覆蓋範圍亦不相同。
共通的測試委聘架構有助令這些差異變得可見。它鼓勵採購方檢視測試涵蓋甚麼、測試人員獲得甚麼存取權限，以及哪些項目仍在範圍以外。其分析價值來自更高的具體程度。熟悉的框架名稱不能取代這些答案。
以一個假設性的企業助理為例，它可讀取專案檔案並草擬客戶通訊內容。評估其寫作質素，幾乎無法說明它是否遵守檔案權限。評估檔案存取，亦幾乎無法說明後續通訊會否向未獲授權的收件人披露資料。產品結合了這些行為，因此評估需要說明它們之間的關係。
手冊的發布並不表示機構已經採用這種方法。它提供了一個可用來檢視其聲稱的參考基準。採用情況、實施質素及安全成果，仍然是不同問題。
這個區分有助正確看待這次發布。OWASP 已發布支持更嚴謹測試的指引。這些指引會否改善已部署產品，取決於團隊如何把指引轉化為關於存取權限、發布準備程度及修復工作的決定。
企業採購方須承擔整合風險
把 AI 模型連接至業務系統的機構，仍須為該連接的權限及後果負責。
模型供應商與應用程式開發者需要回答不同的安全問題。供應商會在其可用的測試環境中評估行為。開發者則決定模型周邊會接入哪些文件、身分、服務及行動。企業部署再透過設定、帳戶權限及機構專屬資料增加另一層因素。
這帶來實際的採購問題。採購方可能收到詳盡的模型文件，卻對員工將使用的確切工作流程所知甚少。對生成回應的正面評估，不能證明助理是否分隔客戶帳戶，或限制連接器的權限。這些特性取決於已部署的應用程式。
OWASP 另一份有關 應用程式安全測試的指引，進一步印證這個區分。它把模型、檢索、工具及權限視為一個整合的測試面。指引亦指出，當代理可使用相連工具時，提示注入——嵌入於輸入內容中的惡意指令——可能構成授權問題。
壓力因此落在多個群體身上。產品團隊需要足夠精確地描述獲准許的行為，才能進行測試。安全團隊需要存取已部署的設定。採購團隊需要解釋排除範圍的報告。業務負責人則需要決定哪些餘下風險足以令某項能力暫不推出或受到限制。
以一個假設性的客戶支援助理為例，可清楚說明其中分工。其模型或許能在直接對話中正確拒絕索取私人資料的要求，但周邊應用程式仍可能擷取錯誤客戶的紀錄。模型的拒絕行為與應用程式的帳戶分隔，需要不同證據支持。
同樣問題亦會出現在內部知識系統。助理或可準確總結文件，卻把摘要提供予無權存取原始文件的人。準確性可提升實用性，卻不能解決授權問題。一段流暢的回應可以掩蓋底層的存取錯誤。
對於建立可搜尋知識庫的團隊而言，相關問題不僅是能否找到正確資訊，亦包括保留人在何種條件下可以檢索及再使用這些資訊。加入 AI 改變了這些邊界運作的介面。
這項分析並不表示每個部署都需要同樣深度的測試。僅限公開資訊的工具，與獲授權修改業務紀錄的代理相比，所涉及的後果不同。決定應按應用程式實際擁有的權限及暴露程度而定。
商業層面的含義比泛泛呼籲加強安全更具體。供應商面對記錄整合邊界的壓力。採購方面對在授予更廣泛存取權限前索取該等文件的壓力。任何一方都不能單憑模型基準測試解決這個問題。
相連代理令回應轉化為後果
代理的安全性取決於其周邊軟件容許由生成決定執行甚麼行動。
AI 代理是使用模型輸出，透過相連工具選擇及執行行動的軟件。這帶來一項具實際後果的轉變。原本只會停留在建議層面的文字，可以變成傳送資訊、修改紀錄或呼叫另一項服務的請求。
這份 144 頁手冊把模型探測與檢索、身分、授權及工具連結起來。其內容亦涵蓋持續控制，即攻擊者的影響力在即時互動後仍然存在。這些主題把評估由個別輸出，延伸至相連系統隨時間展現的行為。
以下例子僅作說明，並非已報道事件。設想一個研究助理正在審閱外部提供的文件。文件包含指令，要求助理披露無關的內部資料。閱讀文件屬合法行為，但把其中指令視為有權存取及傳送其他資料的授權，便跨越了另一條界線。
這個差異說明，單靠回應篩查只能提供不完整圖像。即使助理早前曾嘗試未經授權的行動，最終答案看來仍可能無害。相反，生成的請求可能看似危險，但相連服務或已正確阻止它。觀察行動及其結果，會改變評估結果。
這帶來嘗試行為與已完成損害之間的重要區分。評估者不應把每句可疑措辭都視為成功入侵。同樣，一段看似正常的最終回應，也不應抹去相連服務曾執行不當請求的證據。產品的實際行為決定後果。
持續控制增加了另一項複雜性。假設這個助理儲存了受攻擊者影響的偏好設定，並在後續工作中使用。看似已解決的對話，可能留下改變未來行為的狀態。只評估最初交流，便會忽略這種持續影響。
更廣泛的系統亦會改變成功防禦的含義。若模型遵從惡意指令，但權限檢查阻止存取，應用程式便已遏止該次嘗試行動。結果仍值得調查，但與實際資料披露不同。報告應保留這個區分。
隨著產品獲得更有用的能力，取捨會變得更尖銳。唯讀存取支援較狹窄的工作。修改紀錄的權限可實現更廣泛自動化，亦會增加錯誤指令的後果。測試需要反映令產品具價值的能力。
這並不表示代理天生不適合商業用途。它說明了為何權限需要自身的證據。相關比較在於代理可以嘗試甚麼、周邊服務容許甚麼，以及用戶原本意圖是甚麼。
OWASP GenAI 紅隊測試手冊明確提出這種整合視角。其實際意義在於，讓應用程式行為獲得與模型回應同等的審視。
共通方法面對證據問題
結構化評估可提升問題的質素，但其結論仍受測試、環境及背後證據所限。
支持者的意見有助解釋為何這套常見方法會受到從業者青睞。NeuralTrust 在 2026 年 7 月 1 日發表的投稿文章提到，公司曾參與公開徵詢意見版本的制定。該公司認為，可重複進行的評估工作較零散的攻擊技巧更完善。不過，這只是參與者的觀點，並非事故減少的獨立證據。
時間脈絡同樣值得審慎看待。NeuralTrust 在 OWASP 於 10 月發布資源頁面前，已討論公開徵詢意見版本的手冊。讀者應區分早期草案活動，與現行官方版本所附的日期。兩者均不能證明某個特定機構何時採用了這套方法。
值得質疑的是實際執行。一份報告可以採用一致的標題結構，卻記錄了薄弱的實驗。一項冗長的評估可以遺漏最關鍵的工具。測試環境在視覺上可以近似正式環境，卻使用不同權限。正式結構令這些限制較易說明，卻不會自動消除它們。
衡量方面亦存在挑戰。測試結果取決於何謂成功或失敗。助理提及機密資訊，與檢索、顯示或向外部傳送該資訊並不相同。若將這些事件統稱為含糊的「洩漏」，結果便難以解讀。
產品之間的比較面對同樣問題。具備廣泛權限的系統，可能比受嚴格限制的助理暴露出後果更嚴重的失敗路徑。成功攻擊的原始數量，無法說明產品是否面對可比較的任務、存取權限或條件。範圍應與結果一併列出。
自動化測試引入另一項不確定來源。用於判斷另一個模型行為的模型，可能誤解任務或錯誤分類結果。這不代表自動化評估毫無用處，而是表示判斷過程需要接受檢視，特別是在結果會影響發布決策時。
安全性與實用性的區別在此同樣重要。拒絕每項請求的助理，看似能抵抗濫用，卻可能無法完成其預定工作。有意義的評估，須在保留合法任務表現的同時，維持其應執行的界限。否則，表面上的改善可能掩蓋功能流失。
這些是分析上的限制，而非手冊失敗的證據。沒有任何方法可以將一項有範圍限制的測試，轉化為對所有未來互動的證明。可辯護的結論應列明已測試的條件、觀察到的結果，以及仍然存在的不確定性。
因此，該出版物應提高對證據的期望，而非鼓勵一概而論的保證。「按照 OWASP 指引完成評估」描述的是一種方法。買方仍須了解評估期間實際發生了甚麼，以及哪些發現已獲驗證修正。
測試預算必須涵蓋整個工作流程
更廣泛 AI 測試中要求最高的部分，是協調掌控工作流程的人員與系統。
以提示為重點的測試，通常只需取得對話介面的存取權便可開始。工作流程評估則需要更多背景資料。測試人員須了解應用程式的預定任務、可存取的資訊，以及其工具可能產生的影響。在攻擊開始前，取得這些理解已耗用組織資源。
這項成本是安全取捨的一部分。較廣的範圍有助得出更貼近已部署產品的結論。較窄的範圍可減少所需工作，卻限制最終報告所能證實的內容。兩種選擇均不應隱沒於「測試已完成」這類籠統說法之後。
這項差異亦會影響修正工作。若弱點源於權限過廣的服務帳戶，修改模型指示可能令根本權限維持不變。若問題涉及為非預期用途而使用的合法存取權，移除所有存取權可能令產品無法履行工作。工程團隊需要足夠具體的診斷，才能支援有效修正。
責任歸屬可能成為核心障礙。模型團隊控制設定，應用程式團隊控制編排，而身分管理團隊控制權限。業務單位則擁有受影響的工作流程。跨越這些界限的發現，需要決定由誰改動甚麼。
以文件助理為例，可見實際情況如何發展。產品會檢索內部檔案，並準備對外摘要。測試發現受限制內容進入草稿。修正行動可能涉及檢索權限、收件人檢查、文件分類，或工作流程的審批步驟。這些補救措施針對不同成因。
有用的結果應說明哪一道界限失效，以及所選補救措施是否阻止已觀察到的路徑。除非根本失敗涉及指示處理，否則只是在助理指示中加入更強硬措辭，只能提供較弱證據。修復措施應依據已證明的機制而定。
可用工具支援這項工作的不同部分。OWASP 的應用程式測試指引列出 NVIDIA 的 garak 用於模型漏洞掃描，以及 Microsoft 的 PyRIT 用於編排對抗性互動。這些工具支援測試活動，而評估方法則組織範圍、解讀與後續跟進。它們的角色有所重疊，卻不能互相替代。
因此，工具比較應聚焦覆蓋範圍，而非品牌偏好。能產生多樣化輸入的掃描器，不能自動判定業務紀錄是否已獲適當修改。沒有明確任務及政策，編排框架亦無法替機構決定可接受的權限界限。
手冊強調可重現性及防禦性整合，指向一項營運成果：工程與安全團隊可實際採用的發現。業務價值取決於這次交接。若沒有人能重現其後果或驗證修復，發現異常回應的價值便較低。
留意至一月期間的採用證據
最有力的訊號，將是機構在使用手冊後改變評估範圍並驗證修正的公開證據。
首個值得留意的訊號，是已發布個案研究的質素。直至 2027 年 1 月，有價值的報告應描述所測試的應用程式、其連接能力，以及被排除於評估之外的界限。背書或下載公告只能證明市場興趣；具記錄的評估才會揭示方法在實際限制下如何運作。
若這類報告將已發現的弱點與具體修正改動連結，便會加強手冊的論據。若只報告不尋常的模型回應，卻未探究應用程式層面的後果，則會削弱更廣泛的主張。這項區別符合發布內容所述的範圍。
下一個訊號是供應商如何在其評估服務中描述覆蓋範圍。OWASP 的紅隊計劃已將手冊與評估及供應商選擇資源一併列出。這為檢視服務包含甚麼提供參考點。買方應留意有否更清楚說明涵蓋的工具、資料存取權及代理行為。
更具體的報告可支持以下觀點：共享指引能提升可比較性。若只有廣泛宣稱符合 OWASP，卻沒有記錄範圍，證據便較弱。有意義的轉變應反映於交付成果及合約期望，而非供應商頁面上的新徽章。
最後一個訊號，是修正後發生甚麼。已發布的後續結果可顯示機構是否重新測試原有失敗情況，並檢查相關路徑。只停留於發現問題的報告，仍未回答核心營運問題：產品在保留其預定功能的同時，是否變得更安全？
這些是觀察標準，而非 OWASP 或參與供應商公布的承諾。目前尚無經驗證的採用數字或事故減少量度，可證明手冊的影響。此次發布提供調查該影響的框架，但實施證據仍有待出現。
對開發人員而言，直接含意是將測試結果與客戶實際使用的設定連結。對企業買方而言，則是區分模型保證與部署證據。對使用者而言，實際關注點仍是助理會否尊重其資訊及行動周圍的界限。
請將 OWASP GenAI 紅隊測試手冊，與機構實際部署的 AI 系統評估證據一併閱讀。要求產品負責人說明測試了哪些工作流程，以及哪些權限仍在範圍以外。檢視報告是否區分嘗試執行的行動與已完成的效果。確認工程團隊是否已針對原有失敗情況驗證修正。這些問題可讓討論聚焦於可觀察行為，而非框架標籤；亦可揭示一份看似肯定的摘要，在哪些地方其實建基於狹窄實驗。在授予助理更廣泛存取權前，要求取得涵蓋新增權限的證據。最新評估描述的是員工實際使用的產品，還是僅僅描述其底層模型？
