Nous Research Arete-27B 發布挑戰 Qwen 的預設政治框架
Nous Research 發布了 Arete-27B,這是一個經修改的 Qwen3.8-27B 模型。該公司表示,模型在不犧牲其已測試能力的前提下,減少了中國國家框架的影響。Nous Research Arete-27B 的發布挑戰了一項重要假設:採用開放模型,同時是否也意味着接受其開發者的政治預設。
Nous 將其目標描述為透過後訓練(即在既有模型上進行額外學習)強化西方價值觀。其更廣泛的主張則更具爭議。該公司認為,底層模型的政治偏見足夠表層,可以透過相對有限的額外訓練改變。
這項分野對於在 Alibaba 的 Qwen 與西方實驗室替代方案之間作選擇的開發者至關重要。可下載的模型讓使用者能控制部署方式,但要控制其行為則需要證據。Arete 提供了一項具體實驗、公開材料,以及早期外部測試。它並未證明政治中立、消除所有繼承而來的行為,或解決助理應代表誰的價值觀這一問題。
Nous Research Arete-27B 發布實際改變了甚麼
Arete 改變的是既有模型的量度回應,而非以新訓練的替代方案取代底層模型。
Nous 指出,Alibaba 的 Qwen3.8-27B 是其起點。27B 指大約 270 億個參數,即塑造模型行為的已學習數值。該公司將 Arete 定位為通用協助及代理工作的一項選擇,適合希望取得不同觀點的使用者。
Arete 模型卡描述了監督式微調,即透過示例回應教導模型。Nous 表示它使用了純文字資料,並保留原有架構。其評估顯示,事實分數由五分滿分中的 2.32 升至 2.98,同時框架比率由 22% 降至 0.9%。
這些數字反映的是開發者測試條件下的表現。它們並非普遍真實性的百分比,也未量度每種政治觀點。其意義在於比較結果:衍生模型在一組既定問題上,給出了與起始模型明顯不同的答案。
因此,這次發布帶來了一個比「中國或西方模型是否天生可信」更狹窄但更實用的問題:下游開發者能否改變不受歡迎的回應模式,同時保留原始模型吸引人的能力?
對產品團隊而言,這個問題會影響模型選擇。一家公司可能偏好既有模型的編程表現、部署選項或語言支援,卻反對其處理政治議題的方式。成功的衍生模型將提供另一種選擇,而無須該公司自行建立基礎模型。
不過,對回應改變的審視,不應只停留在產生的措辭是否聽來更可接受。助理可以變得較少迴避問題,卻仍然不準確。它也可能以一套更隱晦、使用者更熟悉的敘事,取代明顯的政治敘事。
設想一個假設的研究助理,負責總結有關某監控計劃的互相矛盾說法。它的工作包括識別每項主張由誰提出,以及有甚麼證據支持。單純由為計劃辯護改為譴責計劃,並不能解決背後的歸因問題。
更有力的回應會區分有紀錄的事件、官方解釋與尚未解決的指控。這種區分讓讀者得到可自行檢視的內容,而不是另一個必須接受的結論。
眼前的新聞是一個具有特定行為目標的模型發布。更大的發展則是,繼承而來的政治預設或許可被買家評估及修改。只有在改變後的行為仍然對證據負責時,這種可能性才有價值。
開發者面對更嚴格的模型選擇決定
這次發布對「模型來源本身足以決定它是否適合放入產品」的觀念構成壓力。
競爭中的做法很直接。開發者可以接受上游模型的行為、選擇另一個模型,或嘗試自行修改行為。Arete 令最後一種選擇更具體,同時揭示隨之而來的責任。
Nous 的價值觀對齊實驗表示,其訓練使用約 5,280 萬個 token,即模型處理的文字單位,並對資料進行兩輪訓練。該公司表示沒有使用透過獎勵訓練行為的強化學習,亦報告其內部 Hermes Bench 能力測試的結果大致相若。
這些細節支持了研究針對性調適的理由,但並未證明每間機構都能廉價或安全地複製成果。即使額外訓練有限,資料準備、審閱、評估及部署驗證仍然是工作的一部分。
實際壓力首先落在使用模型進行研究、摘要或高度依賴判斷的協助工作的團隊。這類產品讓使用者接觸到有關相關性及重點的選擇。當模型決定哪個解釋應置於最前時,它做的不只是檢索文字。
例如,設想一個內部助理正為公眾示威準備背景簡報。使用者需要可靠的事件敘述、清晰的歸因與恰當的不確定性表述。一個技術上流暢的答案,若把利益相關方的用語重複為既定事實,仍可能失敗。
因此,評估該助理的買家應要求具代表性的輸出,而不是完全依賴開發者的對齊標籤。相關問題在於買家自身條件下的行為:助理能否區分報道政府立場與採納該立場?
同樣的期望也適用於西方模型。熟悉的政治語言不應自動獲豁免審視。否則,採購流程可能量度的是文化舒適感,而非事實嚴謹性。
這改變了模型供應商的說明責任。一項關於安全或開放性的籠統主張,幾乎不能為買家提供有關爭議議題的資訊。有紀錄的評估可以展示測試了哪些行為、哪些已有改變,以及哪些仍未有證據涵蓋。
下游開發者也承擔披露責任。若產品刻意改變模型的規範性行為,使用者將受益於知道這項選擇的存在。未經說明的改變,即使反映明確的編輯立場,也可能看似中立的協助。
對個別知識工作者而言,實際含義在於 AI 摘要如何進入其紀錄。保留原始文件及引用資料,可使結論更容易重新檢視。一個可搜尋的知識庫有助於將該等證據與生成式分析一併保留。
因此,商業問題不僅是哪些模型在基準測試中勝出。買家需要理解誰塑造了助理、其針對了甚麼行為,以及所產生的主張如何經過查核。
可編輯行為並不能證明偏見層屬表層
成功的行為干預本身,並不能解釋這種行為位於模型內部何處。
這正是 Nous Research Arete-27B 發布的核心張力。量度結果關乎答案;更廣泛的詮釋則關乎模型的內部組織。前者的證據並不會自動證明後者。
稱偏見層為表層,意味着政治行為可以與底層能力清晰分離。這一詮釋值得研究,但它比「額外訓練改變了某項評估中的輸出」這項觀察更強。
一個類比有助釐清分別。編輯文件結論可以改變讀者的觀感,卻無法揭示作者最初如何形成論證。同樣地,改變模型的答案,並不能識別每個促成該答案的已學習關聯。
這很重要,因為行為改變可以由不同途徑產生。模型可能學到新事實、採用不同術語、變得更願意回答,或模仿其訓練示例。多項改變可以同時發生。
已公開的訓練回應配對提供了研究這些可能性的材料。資料集包括起始模型及 Inkling 教師模型的回應。教師模型提供示例,旨在指導接受額外訓練的模型。
這種配對結構為研究人員提供了有用的比較。他們可以檢視預期答案是否補充了缺失證據、修正了錯誤、改變了重點,或主要只是替換措辭。每種模式都支持對訓練成果的不同解釋。
改善後的事實回應,將支持提供更佳協助的論點。僅是風格改變,則只支持有關呈現方式的較狹窄主張。若政治結論變得更強,卻沒有更好的證據,便會引起完全不同的關注。
這些分別也令與其他模型系列的比較更複雜。選擇 Qwen、Mistral 或其他供應商,不僅是比較每個模型使用不受歡迎框架的頻率。買家仍需評估準確性、遺漏、不確定性及工作表現。
一個避開官方敘事卻虛構支持細節的模型,仍不適合嚴肅研究。另一個模型可能準確解釋該敘事,同時清楚標明來源。後者的行為不應被誤解為認同。
開放權重,即使用者可執行及修改的可下載已學習參數,令這些干預成為可能,也使反覆干預成為可能。朝向某種世界觀調適的模型,日後也可以朝向另一種世界觀調適。
這種彈性是把對齊視為持續管治決策的最有力理由。開發者不能假設,當有人發布可接受的 checkpoint 後,模型行為便會固定下來。後續訓練及產品指令會帶來額外選擇。
最可辯護的解讀是,Nous 已提供行為彈性的證據。要建立關於表層政治偏見的一般理論,則需要在不同議題、干預措施及模型上進行更多實驗。
評估量度特定形式的國家框架
低宣傳分數意味着較少出現此評估所定義的行為;它並不代表沒有政治偏見。
Nous 的宣傳評估包含 803 個提示,涵蓋七個價值觀類別。它把事實回憶與框架分開,包括答案是否把中國國家的說法當作自身立場。
歸因與認同之間的分別尤其有用。解釋官員使用某種描述,與將該描述表述為無爭議的說法不同。讀者需要能夠報道自己並不認同立場的助理。
評估亦會判斷哪些事實與表述框架屬於必要且可接受。這些選擇決定評分所獎勵的內容。公開這些標準可讓測試接受檢驗,但公開並不免除對其品質作出評估的需要。
提問措辭值得留意。一條明顯暗示預設結論的提示詞,除了知識外,也可能獎勵附和。研究人員應問:同一模型在措辭中立的版本上,是否能以相若準確度作答。
基於類似原因,來源選擇亦很重要。圍繞特定報道建立的基準測試,可以衡量模型是否重現該等報道所辨識的事實;但這並不會自動涵蓋所有相關來源或每一項合理爭議。
評分流程又加入另一層依賴。自動化評審器,即是用來評估其他模型答案的模型,會套用評估的評分準則。當細微措辭區分保留、認同與歸因時,應檢查其判決。
試想一個假設答案:它準確描述一項政策、引用其官方理據,然後指出相互矛盾的證據。評審器必須理解整個回應。若不考慮歸因便懲罰被引用的官方理據,會曲解助理實際所做的事。
缺失答案亦帶來另一項挑戰。說得極少的系統,較少機會採取某種政治框架。因此,完整度與事實表現是任何框架指標不可或缺的配套。
這個概念問題不限於今次發布。Ke Zhou、Marios Constantinides 與 Daniele Quercia 就 文化價值進行的研究,在人權疑慮之餘亦探討文化代表性。他們的工作說明,觀點多樣性與防範有害輸出,需要分開考慮。
該研究早於 Arete,亦沒有評估其結果。它提醒我們,不應把「西方」視為完整的技術規格。這個標籤涵蓋了對言論、私隱、市場及公共權力的分歧。
模型可以反對審查,卻對監控給出薄弱答案;它可以支持民主原則,卻錯誤描述某次選舉。除非評估直接檢視這些差異,否則廣泛的價值標籤會將其掩蓋。
因此,Arete-27B vs Qwen3.8 是在特定條件下對特定行為的比較。若把它視為政治正當性的全面排名,便是把研究結果延伸至其適用範圍以外。
有用的問題是:這項測試是否揭示出對用戶重要、可重複出現的失效?下一個問題是:修正該失效會否引入其他問題。
外部測試支持這個方向,但有重要限制
早期外部測試支持行為上存在差異,但尚未解決更廣泛的中立性主張。
在一項已發表的外部模型比較中,Scott Leimroth 表示,他以 Arete、Qwen 及其 Aletheia LR9 模型完成完整評估。他對 Arete 的測試錄得 0.75% 國家框架,事實分數為 2.82;相應的 Qwen 結果則為 19.6% 及 2.24。
這些是測試者報告的結果,並非我們自行重跑後確立的數字。它們支持 Nous 在同一評估中所得發現的方向,同時亦顯示即使具體分數不同,重現測試仍值得重視。
Leimroth 明確限制了解讀範圍。他的比較中,每個模型只運行一次,並採用自動化評審器;他亦開發了其中一個被比較的模型,這是在評估其獨立性與誘因時的相關背景。
最重要的是,重跑相同問題只是在該項評估內測試可重複性,並不能證明模型在陌生政治問題上的表現。模型可以重現有利結果,同時仍在基準測試邊界以外失效。
因此,外部結果加強了一項較狹窄的命題:所報告的回答模式值得進一步調查。它並未獨立證明該模型在政治上中立,也沒有證明所有繼承而來的偏見已經消失。
對開發者而言,這個分別會影響驗收準則。評估研究助理的團隊,應納入在審閱模型輸出前已選定的陌生文件及問題。否則,團隊可能會拼湊出一套只會證實原有預期的測試。
評審者應如同檢視平均值般仔細檢查分歧。模型可能在整體上有所改善,卻在某個特定機構重視的議題上變得較不可靠。總體分數可以掩蓋這種局部失效。
他們亦應把事實修正與信心提升分開看待。即使證據沒有改善,更肯定的回答仍可能令人感覺更有用。評估引文支持情況,有助區分有根據的信心與具說服力的呈現方式。
部署條件帶來另一個不確定性來源。生產環境中的助理通常會接收指令、檢索文件、對話紀錄,以及執行行動的請求。乾淨的基準互動無法代表這些輸入的每一種組合。
想像一項產品同時檢索官方聲明與獨立報道。模型必須在處理互相衝突的敘述時保留歸因。在這種情境下的行為,對買家而言比它如何回答一條孤立的政治問題更重要。
因此,Arete-27B vs Qwen3.8 的比較需要擴展至真實任務。有用的證據包括以來源為依據的摘要、衝突文件分析,以及承認資訊缺漏的能力。這些任務測試框架如何影響人們實際交託出去的工作。
外部重現是一個有價值的開始,因為它為圍繞可觀察結果的分歧創造空間。下一步應增加證據的多樣性,而非僅為熟悉的分數增加更多重複測試。
留意新問題、真實任務及後續版本
下一批證據應釐清,所報告的改變在多大程度上能延伸至原始測試以外。
首個值得留意的訊號,是由獨立人工審閱的新問題評估。強勁結果會加強 Arete 學到更廣泛行為改變的論點;若表現急劇下滑,則表示原始評估只捕捉到較狹窄的成功。
新問題應改變措辭,並包含可出現分歧而不扭曲事實的機會。評審者應檢視遺漏、沒有支持的斷言,以及模型是否區分證據與詮釋。這會令成功的意義超越與偏好結論一致。
第二個訊號,是在實際研究及代理任務中的表現。代理是可跨多個步驟使用工具或執行行動的助理。其框架選擇可影響它們查閱哪些來源,以及會延續哪些發現。
令人鼓舞的結果會把準確摘要與有效完成任務結合;令人失望的結果則會顯示政治措辭有所改善,但證據處理變弱,或出現無關的效能損失。無論哪種結果,都會令採購決定更清晰。
一項假設的企業試用,可以比較根據同一組來源文件生成的簡報。評審者便可把每項重要斷言追溯至其證據。核心問題將是經修改的模型是否改善了工作,而非只是改變語氣。
第三個訊號,是後續版本及部署設定之間的穩定性。進一步訓練、改變指令,以及調整服務軟件,都應重新檢查。已發表的結果描述的是特定模型設定;不應成為永久證書。
若這些改變之間的行為保持一致,便會加強其適應性可管理的論據;若失效再次出現,便顯示維持所需行為需要持續監督。這種維護負擔應納入任何嚴肅的模型評估之中。
Nous Research Arete-27B 的發布,為開發者提供一個具體替代方案:不經檢視便接受上游的政治預設。它亦令他們自己的選擇更可見。選擇教師模型、挑選範例,以及界定可接受答案,都是值得記錄的決定。
對買家而言,最有力的回應是按預定任務的層面索取證據。問清楚助理能支持哪些主張、何時會變得不確定,以及評審者如何辨識不可接受的框架。在比較其答案時,應保留原始來源可供查閱。
在因模型承諾熟悉價值而採用它之前,先檢視它如何處理一項陌生的分歧。比較準確的官方說法、未獲支持的官方主張,以及與兩者都相矛盾的獨立證據。檢查助理在撰寫簡潔摘要時,是否保留這些區別。然後,在一個貴機構本身也有偏好立場的議題上重複這項練習。Nous Research Arete-27B 發布的實際價值取決於這個標準:用戶獲得有意義的選擇,同時保留質疑答案的能力。哪一個模型最能幫助你的團隊清楚看見證據,包括在證據令你原本想要的結論變得複雜的時候?



