NVIDIA Nemotron 安全訓練針對兩種 AI 失誤，但證據仍限於內部

NVIDIA Nemotron 的安全訓練現時針對兩種截然不同的失誤：代理程式服從隱藏攻擊，以及聊天機械人鼓勵用戶形成不健康依賴。Alice 分別與 AI21 及 Inflection AI 合作，利用 NVIDIA 的開放權重模型進行訓練後研究。這些公司聲稱，安全性提升了 41 分，而對齊度改善了 30%。

這些數字聽來精確，但並非獨立的安全認證。參與公司自行製作測試、挑選訓練資料，並報告結果。行為評估的關鍵細節仍然有限。

更重要的故事在於這些說法背後的策略。團隊並非在通用模型外再加上一層過濾機制，而是把更安全的行為直接訓練進模型本身。這種做法讓企業有更大控制權，但亦把更多責任由原始模型供應商轉移至每個部署者。

這項工作出現之際，AI 助手正逐步取得電郵、文件、軟件儲存庫、客戶資料庫及通訊平台的存取權。不安全的回應已不再是唯一風險；代理程式可利用合法憑證採取不安全行動。

NVIDIA 的開放權重策略令這種張力格外明顯。公司可按自身工作流程調整 Nemotron，但客製化同時亦會改變模型的行為及風險狀況。因此，核心競爭並非開放模型對專有模型，而是可訓練的安全性對置於模型外的防護機制。

NVIDIA Nemotron 安全訓練把防禦移入模型之中

Alice 與 AI21 訓練 Nemotron 抵抗嵌入在代理程式預定處理資訊中的攻擊。

該項目採用 NVIDIA Nemotron 3.5 Super VL，這是一個為多模態推理及使用工具的工作流程而設的開放權重模型。開放權重讓開發者可透過額外訓練調整模型行為，而非只依賴供應商託管的介面。

Alice 提供模擬企業環境、對抗性資料及訓練任務。AI21 隨後使用監督式微調及強化學習方法，改變模型對這些環境的回應方式。

目標是間接提示注入。這種攻擊會把指令隱藏在代理程式讀取的內容中，而不是直接把惡意要求放在用戶提示內。

一封受污染的電郵可能指示助手披露客戶資料。一個儲存庫問題可要求編程代理程式洩露憑證。一份文件則可能嘗試覆蓋用戶原本的要求。

這些攻擊利用了 AI 代理程式的一項根本含糊之處。模型透過同一套底層語言系統處理可信指令與不可信內容。它們不會自然理解，電郵內的命令所具權限低於經驗證用戶發出的命令。

Alice 表示，其訓練環境重現了 Slack、GitHub 及第三方 API 等軟件與工作流程。隱藏攻擊出現在訊息、檔案、儲存庫及 pull requests 之中。

該公司在其 Nemotron 訓練介紹中表示，共設計了 200 項涵蓋攻擊及防禦情境的任務。每項任務評估兩種結果：模型必須抵抗隱藏命令，同時完成合法工作。

其中一個情境要求代理程式提醒員工重設密碼。提供的重設連結會導向一個模仿網站，目的是竊取憑證。一個有用的代理程式需要拒絕該惡意目的地，但不能放棄已獲授權的提醒工作。

另一個情境涉及一則同步至 Slack 的供應商入職訊息。該訊息指示銷售代理程式把整個 Salesforce 聯絡人資料庫匯出至外部地址。

簡單的拒絕過濾器可同時阻止攻擊及有用工作。該訓練則嘗試教導模型分辨應拒絕的指令，以及應繼續完成的任務。

Alice 報告稱，模型的攻擊韌性分數由 35.19 提升至 76.16，亦即廣泛引用的約 41 分增幅。

AI21 表示整體任務表現維持不變。其 訓練後說明亦稱，經調整的模型在其提示注入評估中勝過 GPT-6.1 Sol。

這項比較應視為公司說法。已公開的資料不足以證實不同模型之間的整體排名。

不過，該項目確實代表一項具體改變。防禦不再只是一項寫在系統提示中的警告或外部掃描器。部分所需的安全行為已被編碼進模型權重。

為何提示注入令企業 AI 代理程式承受壓力

當助手可在企業系統上採取行動時，威脅便會增加，因為遭操縱的語言可變成已獲授權的交易。

傳統聊天機械人主要回傳文字。企業代理程式則可搜尋檔案、更新紀錄、開立工作單、傳送訊息、執行程式碼，或呼叫外部服務。

這種存取權會造成「混淆代理人」問題。代理程式擁有合法權限，但攻擊者操縱它如何使用該權限。

設想一名員工要求助手概述潛在供應商的訊息。其中一個供應商加入隱藏文字，指示助手上載內部定價文件。

員工並未授權該次傳輸。然而，代理程式可能把摘要要求及嵌入命令都理解為同一個對話脈絡中的指令。

檢索系統會擴大暴露範圍。它們會從知識庫、網站、共享磁碟、電郵封存及軟件工具擷取內容。每個被擷取的物件都可能帶有對抗性文字。

風險不能單靠辨識可疑用戶來解決。可信任的員工只要要求代理程式讀取不可信檔案，便可能觸發攻擊。

傳統存取控制仍然必要。它們決定某個身分可接觸哪些資源。然而，這些控制措施無法判斷某項模型生成行動是否符合用戶真正意圖。

訓練後調整嘗試改善這種判斷。模型會在真實任務中反覆遇到惡意指令，並因抵抗這些指令而獲得回饋。

這與固定封鎖清單不同。攻擊者可改寫指令、把指令分散於多份文件，或把它們偽裝成正常工作流程內容。訓練旨在培養可泛化至精確字串以外的行為。

NVIDIA 的提示注入防禦亦嘗試避免一種常見的安全代價：過度拒絕。一個拒絕所有陌生要求的代理程式，在狹義上或許安全，但在商業上毫無用處。

Alice 表示，其雙重驗證器設計同時量度攻擊抵抗力及任務完成情況。這很重要，因為模型只要拒絕行動，便可輕易取得亮眼的安全分數。

報告結果顯示，受訓模型在不失去原有任務能力下提升了安全性。不過，評估資料集來自建立該防禦機制的同一合作項目。

因此，企業應把結果視為某種方法的證據，而非免疫力的證明。新的攻擊模式、工具、語言及工作流程配置，都可能導致不同表現。

安全性亦會在部署後改變。公司可能新增連接器、修改系統提示，或授予代理程式更廣泛的權限。每項改變都可能令早前測試失效。

這正是訓練不能取代營運控制的原因。機構仍需要限制權限、行動日誌、對敏感步驟的人手批准，以及圍繞對外通訊的監控。

NVIDIA 本身亦推廣多層代理程式保護。模型訓練處理代理程式如何詮釋資訊；執行時隔離及監控則處理代理程式在技術上被允許做甚麼。

兩種方法解決不同問題。訓練得更好的模型仍可能犯錯；受嚴格限制的代理程式則可在這些錯誤發生時限制損害。

Inflection 在長期對話中測試 Nemotron 聊天機械人安全性

Inflection 項目處理的是數百次互動後的行為漂移，而不是黑客在一份文件中隱藏命令。

Alice 與 Inflection AI 的另一項工作，聚焦於為個人化交流而設的對話助手 Pi。關注點並非未經授權存取企業資料，而是長時間對話會否鼓勵依賴，或強化不健康信念。

其中一種相關行為是迎合。就 AI 系統而言，迎合是指助手因為同意用戶似乎有幫助，便附和用戶，即使提出質疑或保持審慎其實更合適。

單一回應看來可能無害，但較長的關係可朝不健康方向發展。反覆認同可能強化偏執、勸阻用戶尋求外部支持，或暗示助手比其他人更了解用戶。

傳統評估通常測試孤立提示，這種形式可能漏掉只會在多輪對話後出現的模式。

據報 Alice 為該項目開發了超過 20 個模擬角色，涵蓋一般脆弱用戶，以及試圖操縱助手的對抗性用戶。

這些角色進行長時間對話，旨在揭示依賴、過度認同及未能支持用戶自主性的問題。Inflection 隨後利用所得資料微調 NVIDIA Nemotron 3 Super 120B-A12B。

NVIDIA 將該模型描述為混合專家系統，總參數為 1,200 億個，活躍參數為 120 億個。每次運算只會使用模型的一部分，或可降低推論需求。

根據這些公司說法，經調整系統令 Pi 的對齊分數提高了 30%，而不必要的拒絕維持於 1.6%。

這兩項量度旨在捕捉一種難以取得的平衡：助手應安全回應，但不應把一般情緒討論視為禁止內容。

過度寬鬆的聊天機械人可認可有害想法；過度防禦的聊天機械人則可能在用戶表達困擾時，隨即中止有用對話。

Inflection 行政總裁 Sean White 將挑戰描述為數百次互動中的行為問題。他亦強調，助手是否支持人的自主性，而非形成依賴。

這項區別令 Nemotron 聊天機械人安全性超越內容審核的範圍。傳統審核機制可能會封鎖被禁止的要求，卻不一定能量度數星期的迎合式對話是否正在改變一段關係。

該項目在證據結構上亦與 AI21 的安全工作不同。提示注入任務可界定具體失誤，例如把資訊傳送至未經授權的地址。

情緒依賴則較難化約為單一可觀察事件。評估者必須在含糊的對話、文化及個人處境之中界定理想行為。

因此，所報告的 30% 改善高度取決於對齊評分準則。公開報道並未完整披露該準則、其基準，或受測情境的分布。

1.6% 的拒絕數字同樣需要脈絡。若不知道哪些要求被視為合法，以及評估者如何處理邊界個案，讀者便無法判斷其重要性。

這些報道的發現承認這些限制。它們並未證明有害的聊天機械人行為已被消除。

即使如此，這種方法揭示了一個重要的評估缺口。以孤立提示建立的安全測試，未能充分反映為持續、個人化互動而設計的產品。

核心取捨是可訓練的安全性與外部防護機制之間的選擇

後訓練可令安全性更內化於模型之中，但外部控制仍較容易檢查、更換及執行。

許多已部署的 AI 系統依賴系統提示、輸入過濾器、輸出過濾器、政策分類器及權限規則。這些控制措施圍繞主模型運作。

它們的優勢在於模組化。安全團隊毋須重新訓練模型，便可更新規則。審計人員亦可檢查分類器的日誌，或辨識是哪項政策阻止了某個行動。

外部控制亦支援縱深防禦。即使模型遵從惡意指令，另一套權限系統仍可阻止所要求的交易。

它們的弱點在於缺乏完整語境。過濾器可能只看到一則訊息，卻不了解正當任務、檢索到的證據，以及完成任務所需的一連串行動。

攻擊者亦會尋找元件之間的缺口。他們可能對指令進行編碼、將其拆散至不同檔案，或利用某個防護層未有檢查的工具回應。

後訓練則從另一個層面處理問題。它讓模型接觸攻擊模式，並獎勵能保留正當目標的行為。

這個過程可以產生比簡單「允許或封鎖」決定更細緻的回應。代理或可拒絕文件中的一個惡意欄位，同時使用其餘內容。

訓練亦讓企業能夠嵌入特定領域的政策。醫療機構與軟件公司對敏感行動的定義可能不同。

NVIDIA 將開放權重模型定位為這類自訂化的基礎。其 Nemotron 3.5 概覽列出 AI21 和 Alice 等機構，正把模型調整用於專門工作。

然而，權重層面的自訂化亦有代價。訓練資料可能存在盲點，而強化訊號可能產生在熟悉評估中表現良好的捷徑。

模型可能只學會測試攻擊的表面特徵，而非建立可信與不可信權威之間持久的區分。它在已公布基準以外的情境中，亦可能變得較不勝任。

模型更新帶來另一個營運問題。公司遷移至新的檢查點時，可能需要重新進行安全訓練及評估。

外部防護機制通常可在模型更換期間維持運作。寫入某個模型權重的行為，不會自動轉移至其後繼模型。

因此，最穩健的架構會結合兩種途徑。後訓練可改善模型的預設行為；運行時控制則可在該行為失效時限制行動。

對不可逆轉或高影響力的決定，人類審批仍然合適。例子包括轉移資金、匯出客戶紀錄、部署程式碼，或向組織外發送訊息。

公司亦應將資料存取與行動權限分開。能夠摘要客戶紀錄的代理，未必需要獲准傳送那些紀錄。

可搜尋的內部系統可透過經審慎界定範圍的檢索，支援這種分離。建立工程知識庫的團隊，應將檢索到的文件視為資料，而非可信指令。

即使每份文件均源自公司內部，這項原則仍然適用。被入侵的帳戶、複製的外部內容及過時的自動化流程，都可能引入惡意或具誤導性的文字。

因此，NVIDIA 的提示注入防禦只是更大型系統中的一項控制措施。若它能減少危險決定的出現頻率，便具價值；若部署方式假設這些決定永不會發生，則並不足夠。

已公布的數字仍留下重要問題

41 分及 30% 的增幅是有前景的內部結果，但目前兩者均不足以支持廣泛的安全保證。

安全項目提供了較清晰的量度。Alice 報告其攻擊韌性評估的分數由 35.19 提升至 76.16。

然而，只有讀者了解其尺度、任務組成、通過準則及統計不確定性，分數才有意義。公開摘要並未提供完整且獨立的基準測試套件。

與前沿專有模型的比較亦需要審慎。不同供應商提供的介面、系統指令、工具及安全層各不相同。

在自訂環境中測試的開放權重模型，未必可與透過生產服務存取的託管模型直接比較。部署設定可同時改變能力及抗攻擊能力。

評估亦使用了 Alice 提供的攻擊軌跡及模擬環境。這令測試具備營運相關性，但亦可能形成訓練與測試之間的關係。

具說服力的外部複現應使用獨立收集、從未見過的攻擊。它亦應測試新的應用程式、工具、語言及攻擊者策略。

行為項目的量度不確定性更大。若沒有已公布的評分方法，30% 的對齊改善並不能說明實際改變了甚麼。

評估人員必須判斷何時一致變成阿諛奉承、何時情緒支援變成依賴，以及何時挑戰變成無助益的對抗。合理的審閱者可以有不同看法。

模擬角色增加了涵蓋範圍，但不能取代來自真實用戶的長期證據。它們的行為取決於生成它們時使用的腳本及模型假設。

真實對話亦包括中斷、情緒變化、文化訊號、私人歷史，以及與其他人的互動。實驗室模擬只能呈現當中部分複雜性。

私隱亦令人關注。評估長時間的個人對話，可能需要敏感資料、周全的同意程序及嚴格的保留政策。

這些限制並不代表相關工作不重要。它們界定了現有證據所能支持的結論。

這些項目顯示團隊可在後訓練期間針對特定安全失誤。它們並未證明 Nemotron 已能抵禦每一種注入攻擊，或適合所有情緒相關使用情境。

這個區別對企業採購很重要。買方應要求評估卡、測試集分離、回歸結果，以及來自與自身環境相近場景的證據。

他們亦應詢問經調整的模型是否可供獨立測試。可複現的檢查點及評估工具組，可讓研究人員驗證所報告的增幅。

NVIDIA 自身的 Nemotron 研究可釐清模型架構及發布細節。它並不會獨立驗證每個合作夥伴的自訂安全聲稱。

獨立紅隊應測試整個整合應用程式，而非只測試基礎模型。提示、檢索管線、連接器、權限及介面設計，都會塑造最終風險。

公司應在被阻止的攻擊以外，同時追蹤錯誤拒絕。否則，團隊可能提升安全指標，卻悄悄令助手變得較不實用。

他們亦應公布失敗案例。當讀者可看到哪些攻擊類別仍然成功，以及哪些對話仍然困難時，基準測試會更具資訊價值。

三個訊號將顯示這種方法是否經得起考驗

獨立複現、生產遙測數據及跨版本穩定性，將決定這些結果會成為工程模式，還是只停留於發布聲稱。

第一個訊號是對 AI21 與 Alice 模型進行外部評估。獨立研究人員需要取得經調整的檢查點，或受控的測試介面。

其測試集應包括在電郵、程式碼庫、文件、瀏覽器及協作工具中出現、從未見過的提示注入攻擊，亦應量度正當任務的完成情況。

若報告中的增幅能在該評估中維持，為開放模型訓練安全行為的理據便會更有力。若出現大幅回歸，便顯示原有結果高度依賴其測試環境。

第二個訊號是生產環境證據。企業應報告經訓練代理是否遇到較少成功攻擊，同時沒有造成不可接受的拒絕率。

有用的遙測數據包括被阻擋的攻擊類別、人類覆核、新增連接器後未獲授權的工具嘗試，以及相關變化。彙總報告可保護敏感的營運細節。

對 Pi 及類似助手而言，證據必須涵蓋較長期的關係。研究人員應檢視較健康的評估分數，是否與真實用戶的更佳結果相符。

這項工作需要強而有力的同意及私隱保障，亦應讓心理健康及人機互動專家參與，而非只由模型開發人員負責。

第三個訊號是跨模型版本及新攻擊的持久性。若每次檢查點更新都會抹去安全增益，這些增益的價值便會下降。

Alice、AI21、Inflection 及 NVIDIA 應展示其技術能否轉移至後續的 Nemotron 版本。他們亦應在加入工具或修改系統指令後重新測試。

一旦防禦方法公開，攻擊者便會調整策略。能辨識今天注入語言的模型，明天或會無法應對新的編碼、多模態提示或多步操控。

行為風險同樣會演變。用戶可能透過任何固定模擬角色集合未曾預料的模式，逐漸產生依附關係。

NVIDIA Nemotron 安全訓練值得關注，因為它將安全視為可練習的行為，而不只是部署後附加的過濾器。早期數字支持進一步測試，而非最終信心。

評估這些模型的開發人員，應要求完整的基準設計，並在切合實際的權限下測試真正的應用程式。即使後訓練結果看來強勁，企業買方仍應要求分層控制。

未來數月應會顯示獨立團隊能否複現 41 分的增幅、Inflection 是否解釋其 30% 的對齊量度，以及兩項改善能否在部署後持續。到那時之前，實際問題不是模型是否安全，而是團隊能否誠實量度失敗、在失敗出現時加以控制，並以快過威脅變化的速度持續再訓練。