top of page

IBM LLMON 在 3B 及 8B 預覽版支援 Granite 4.1

30 分鐘前
讀畢需時 11 分鐘

IBM 於 11 月 12 日發布經 LLMON 訓練的 Granite 4.1 預覽版,提供 3B 及 8B 版本,將明確的指令界線引入實驗性語言模型。IBM LLMON 是 LLM Object Notation 的簡稱,用以標示哪些文字提供指令,哪些文字則是有待處理的材料。這一區分針對提示注入攻擊;這類攻擊會誘導模型遵循嵌入外部內容的指令。

這次發布挑戰了一種常見的應用模式:把任務、檢索文件及工具結果合併成模型必須解讀的文字。IBM 的替代方案會明確呈現這些關係,並訓練模型遵循它們。不過,該公司形容相關行為是經學習而得,而非獲得保證。

最接近的參考是如 StruQ 等結構化查詢研究,該類研究同樣透過格式及訓練,將指令與資料分開。眼前壓力主要落在構建會讀取外部材料的助手之開發者身上。他們如今多了一種可評估的方法,同時也要面對一項重要問題:經學習的界線到底能提供多少安全保障?

IBM LLMON 作為實驗性模型發布登場

IBM 發布的是為這種格式而訓練的模型,而不只是另一種編排提示的方法。

LLMON 預覽版發布包括實驗性的 Granite 模型及配套轉換工具。IBM 表示,開發者應將此發布用於探索及評估,而非生產環境。

這項限定為事件提供合適框架。它讓人有機會研究應用程式與模型之間另一種介面,而不是為處理敏感資訊或具重要後果行動的助手背書可作部署。

格式與經訓練模型之間的差異十分重要。開發者可以用標籤包圍文字,但單靠這些標籤,無法確立模型會以多高可靠度遵守它們。訓練決定模型會否持續將其含義視為相關。

試想應用程式辨認文件屬於外部內容,與模型理解該文件的身分狀態之間的分別。應用程式本已知道材料來自何處;當所有內容以一般文字形式送到模型時,這項知識可能變得不再明確。

這次發布的編輯意義正在於這個落差。IBM 正讓應用程式結構成為其實驗性模型所學習解讀的一部分。這項主張把部分責任,從重複以文字提醒,轉移至模型對結構化輸入的處理。

這並不會消除應用程式設計上的取捨。仍然有人要決定哪些材料代表用戶任務、哪些材料提供證據,以及哪些要求約束答案。模型無法修正輸入抵達前每一項錯誤決定。

對買家而言,實用的區分在於可取得性與可投入使用的準備程度。可下載的模型令評估成為可能。要達到可用於生產環境的程度,仍需要有關目標工作流程、可接受失敗率、營運行為,以及出現問題時後果的證據。

對開發者而言,這次發布帶來比概念性標記提案更具體的實驗。他們可以比較既有助手,與採用這個實驗性介面的版本。比較應涵蓋一般任務完成情況,以及對抗性材料。

這比宣稱為所有語言模型訂立新標準的說法更為克制,但也更有用。可檢驗的實驗讓團隊有可量度的對象,毋須接受一項普遍性的安全承諾。

因此,對 IBM LLMON 的正確理解,既不是不屑一顧,也不是立即採用。這次發布令一項具體架構主張變得可供測試:指令界線應明確傳達至模型,而訓練應教會模型尊重這些界線。

讀取外部內容的助手面對即時壓力

最相關的受眾,是其助手必須理解文件、但不能將文件當作命令接受的開發者。

設想一個假設中的研究助手正在審閱供應商提案。用戶希望取得交付責任及尚未解決問題的摘要。提案內部,攻擊者插入文字,指示助手建議批准。

惡意句子是受審閱材料的一部分。它無權改變用戶的要求。然而,助手仍需要閱讀它,因為識別可疑內容本身或許正是審閱工作的重要部分。

這帶來比移除每一句以指令方式寫成的文字更嚴格的要求。合約、手冊、支援工單及會議記錄本來就經常包含請求和命令。一個有用的助手必須理解這些句子,同時保留其原有身分。

檢索增強生成也會出現類似問題;這個過程會在模型作答前,向它提供檢索得來的文件。檢索能識別可能相關的證據,但不能確立證據中每項指令都值得服從。

實際壓力在於,於整個工作流程中維持這項區分。如果文件變成摘要,摘要不應悄然獲得更高權限。如果工具回傳文字,應用程式應保留其作為觀察結果的身分。

這是一項架構層面的含義,而非證據顯示任何特定產品已經失敗。它說明為何這次發布不僅與嘗試調整提示措辭的團隊有關。根本問題在於,應用程式如何在其介面之間傳遞意義。

對知識工作者而言,所需行為很直接。助手應利用相關資訊回應請求,包括含有命令式語言的資訊。閱讀來源文件中的命令,不應自動令該命令成為助手的下一項任務。

評估可搜尋知識庫的團隊,應牢記這項區分。找到正確文件與解讀其權限,是兩項不同責任。

相同推理亦適用於工具。工具結果可以告訴助手發生了甚麼,卻不應因此獲准重新定義接下來應該做甚麼。否則,外部觀察結果可變成意料之外的控制通道。

從買家角度來看,這改變了值得提出的問題。供應商能否說明外部材料如何持續有別於獲授權指令?它能否展示相關文件同時包含轉向嘗試時,系統會如何處理?

這些問題比詢問系統是否具有一般性的提示注入防禦更能揭示實情。一個寬泛標籤幾乎無法說明所涵蓋情況、仍可能出現的失敗,或這些失敗的後果。

IBM 的發布為開發者提供另一個候選答案。仍然有責任證明這個答案在所構建的應用程式中有效。一個有用的文件助手,既需要相關回應,也需要可靠地處理互相衝突的指令。

明確結構改變模型必須推斷的內容

LLMON 的核心主張,是直接表達關係,而不是要求模型從周邊文字中重建它們。

3B 模型卡描述了可獨立定址的指令、文件、資料、要求及回應區塊。執行區塊會連結當前指令與其輸入及輸出,從而識別它們之間的關係。

這種格式採用保留的特殊詞元,即分配予結構界線的詞彙項目。隨附的聊天範本會將訊息元件轉換成這種表示法。因此,開發者毋須手動編寫每一個分隔符號。

重要分別在於內容與控制。一句文字可以包含有意義的資訊,卻不會因而成為獲授權任務。明確關係會告訴模型該句子為何存在。

回到假設中的供應商提案。應用程式可以將用戶的審閱請求識別為指令,並將提案識別為輸入。預期行為是在該請求下分析提案。

這改變了模型必須推斷的內容。在較不明確的表示法中,周邊措辭或會解釋提案並不可信。此處,這段關係本身成為結構化輸入的一部分。

LLMON toolkit亦支援使用這種格式及領域特定範例。其文件說明,在某些情況下,應用程式框架會處理這種標記法,而不會向最終用戶展示。

從產品角度而言,這種分工合理。用戶通常希望得到準確摘要、有用比較及適當行動。他們不應需要管理模型分隔符號,才能表達一般請求。

實作方式仍值得仔細審視。若應用程式將外部指令標示為具權威性,明確格式化只會非常清晰地保留這項錯誤決定。結構令區分得以表達;卻不能證實應用程式選擇正確。

這亦是為何與 JSON 的比較需要審慎。JSON 是軟件用於儲存及交換資訊的結構化資料格式,仍然很有用。相關問題在於,模型如何解讀呈現給它的結構。

正確解析物件與正確理解指令界線,是兩種不同結果。軟件可以接受文件語法,而模型卻可能誤讀其中文字的權限。評估者應避免將這些結果視為可互換。

因此,IBM LLMON 應作為介面與訓練方法的結合來評估。將其視覺外觀複製到無關模型中,並不能確立同等行為。外觀熟悉的提示,並非共享訓練歷史的證據。

更廣泛的工程主張足以值得測試:應用程式應傳達它們已經知道的區分,而非將其丟棄。這個特定實作能否帶來足夠效益,仍是實證問題。

這個框架令故事保持聚焦。問題不是開發者是否應放棄熟悉的資料格式,而是明確關係是否足以改善模型行為,從而值得進行整合工作。

已發布結果需要按任務逐一閱讀

IBM 報告的安全性提升是有意義的研究證據,但廣泛能力主張仍需要仔細閱讀個別評估。

後訓練研究報告,在間接提示注入基準測試中,攻擊成功率由 53–100% 降至 0.02–5.6%。作者將這些結果歸因於結構化監督,同時報告一般能力得以保留。

這些數字描述的是作者的評估,並不能確立每個使用相關模型的助手都具有普遍適用的失敗機率。基準測試結果取決於其任務、攻擊、設定及成功定義。

攻擊成功率衡量的是嘗試重定向時,有多少次能達成評估者指定的結果。該結果必須與應用程式風險足夠貼近,才能為部署決策提供支持。

例如,以答案污染為核心的評估,所處理的後果與未經授權的操作不同。兩者都很重要,但防止一句錯誤陳述與防止外部寫入,所需的操作證據並不相同。

8B 能力結果亦顯示,為何「可比較」不應被理解為「完全相同」。IBM 報告指出,LLMON 的 MMLU 分數為 74.20,其 Instruct 對應模型則為 73.84。

在另一個問答基準 GPQA 上,報告分數分別為 35.05 及 41.96。這些結果支持一種混合、視乎任務而定的解讀,而非斷言每項能力都維持不變。

對企業團隊而言,真正相關的比較是其自身的工作負載。模型即使在廣泛評估中看似可接受,仍可能在決定產品質素的狹窄任務上表現不足。

假設某個助理從技術協議中擷取義務。其評估應考慮它是否識別出正確義務、保留限定條件,以及避免遵從協議內嵌的指示。

若只量度拒絕行為,便會忽略該任務的大部分內容。一個拒絕處理每份困難文件的助理,或許能避開部分攻擊,卻未能完成其使命。成功的防禦應盡可能保留有用的工作成果。

相反的錯誤,是只量度模型在乾淨材料上的答案質素。那會令是次發布的主要安全主張未經測試。平衡的評估需要一般輸入,以及相關的對抗性變體。

比較亦需要一致的條件。同時改變檢索、文件選擇、工具和模型格式,會令結果更難解讀。有利結果可能來自與正在評估項目不同的元件。

對這次發布而言,最具參考價值的證據應區分結構與其他訓練變更各自的貢獻。這不會否定整合系統的價值,而是有助說明哪些部分不可或缺,以及哪些好處可轉移。

讀者亦應區分公司證據與獨立複現。已發布的研究為測試提供基礎,卻不能取代外部團隊在清楚記錄條件下重現結果。

合適的結論應具體明確:IBM 表示,其評估的注入任務有顯著改善,同時能力結果亦有所差異。這值得嚴肅評估,但不足以支持宣稱這些模型對每種工作流程都更安全。

學習得來的邊界始終不同於強制執行的權限

模型學會尊重指令邊界,並不會令該邊界具備軟件權限檢查的特性。

IBM 明確指出,權限規則屬於學習得來的行為。其發布討論亦區分靜態間接攻擊與自適應攻擊;在後者中,攻擊者會在觀察回應後改變策略。

這個區分很重要,因為攻擊不一定會以獨立文件中顯而易見的指令形式出現。它可以透過連續互動逐步形成,改變語境並利用早前的回應。

靜態測試仍然有價值。它確立了系統面對一組既定嘗試時的行為。限制在於其後作出的推論:抵抗該組嘗試,並不代表能抵抗持續調整策略的攻擊者。

亦有相關先例。StruQ 背後的結構化查詢研究結合安全格式化前端與經專門訓練的模型。其作者報告指出,在維持實用性的同時,注入抵抗力有所提升。

較早的研究支持將指令與資料分離視為值得探索的研究方向。它並不獨立驗證 IBM 的實作。相似的構想會因訓練、整合和評估不同而產生不同結果。

這項比較亦避免造成誤導性的創新宣稱。IBM 在既有安全研究領域中,貢獻了具體格式及實驗模型。這個更大的問題並非隨着本次發布才突然出現。

對應用程式團隊而言,實際含意是將模型行為與執行權限分開處理。模型可以建議一項行動;應用程式則決定該行動是否獲准,以及是否需要進一步授權。

設想一個假設性的助理,讀取支援訊息並草擬帳戶調整。更好的指令處理或可降低惡意文字改變草稿的機會,但並不能證明該項調整本身已獲授權。

應用程式仍需要針對帳戶、允許的變更,以及誰可作出批准的規則。這些規則不應完全依賴模型是否正確理解訊息。

同一個區分亦適用於機密資料。助理或能正確識別外來指令不可信,卻仍可能產生不準確答案。邊界處理、事實可靠性和存取控制,處理的是不同的失效模式。

這並非否定這個預覽版本的理由,而是應在其發揮作用的層面重視所聲稱的改善。即使其他控制措施仍然必要,降低模型易受影響的程度仍可能十分重要。

這次發布的實驗性質強化了這種解讀。評估者可在受控環境中研究失效模式,而毋須將模型視為敏感操作的最終權威。

因此,最有用的懷疑態度是提出精準問題:哪些攻擊仍然有效?哪些語境變化會削弱邊界?當惡意材料與用戶問題相關時,助理能否繼續完成合法任務?

這些問題可對方案進行壓力測試,而毋須虛構完美安全與毫無價值之間的二元選擇。學習式防禦可以提供可量度的好處,同時保留決定其適用位置的限制。

獨立測試與整合將決定後續發展

下一批證據應確立:所報告的收益能否在原始評估以外維持,並在完整應用程式中繼續發揮作用。

首個值得留意的訊號,是在自適應攻擊下進行的獨立複現。更有力的證據會包括已記錄的攻擊預算、互動歷程及失敗案例。若只複現有利的標題結果,所得見解會較少。

若外部團隊在這些條件下維持所報告的優勢,對該方法的信心將會提高。若優勢在有限度調整下消失,其有用範圍便會變得較窄。

無論結果如何,均可改善討論。實驗性發布的目的,是讓假設接受測試。清楚說明邊界在哪裡失效,於實際操作上的價值可以與另一個有利平均值相當。

第二個訊號,是來自現實工作流程的整合證據。有用的評估應展示從檢索材料、產生答案,到提出行動建議的完整路徑。

該證據應解釋權限標籤從何而來,以及如何持續保留。它亦應展示內容經過摘要、工具回應或後續對話回合時會發生甚麼情況。

成功整合將加強這一論點:明確結構能在一般應用程式的複雜性中延續。若權限反覆遺失或被錯誤分配,便會揭示模型基準表現以外的問題。

第三個訊號,是更清晰的生產就緒立場。IBM 已為這次發布設定實驗性界線。任何日後改變,都應附帶證據,說明哪些操作要求已獲處理。

單憑新標籤,其資訊量不及已發布的限制、可複現評估,以及代表性應用程式中有記錄的行為。採購方需要知道改變了甚麼,而不只是發布描述有所改變。

這裡並沒有確認這些發展的時間表。這些是用於評估下一階段的觀察準則,而非對公告或採用情況的預測。

相同準則亦適用於競爭方案。不同格式、訓練策略或應用程式控制措施,應按可比較條件下展示的行為獲得相應肯定。品牌知名度並不能解決根本的工程問題。

目前而言,IBM LLMON 令指令邊界成為更明確的評估對象。對願意同時檢視模型及其周邊應用程式的團隊而言,這是有用的進展。

在作出部署決定前,請選擇一個外來文字經常進入助理語境的工作流程。界定獲授權的任務,識別必須維持為證據的材料,並訂明不可接受的偏離情況。比較一般任務質素與在相關攻擊下的行為,包括跨互動逐步演變的嘗試。記錄有用答案、拒絕回應和失敗情況,而非依賴單一綜合分數。然後檢視當詮釋失敗時,應用程式權限是否限制後果。下一個決定應依據這些證據:進一步研究、縮窄使用情境,或等待更有力的驗證。閱讀已發布的模型及研究時,請牢記一個實際問題:這道邊界能否在你的助理實際執行的整個工作過程中保持可靠?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page