top of page

Qwen3 LLVQ 量化以速度換取品質

43 分鐘前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Godfrey Atima / Pexels.

Qwen3 LLVQ 量化現已提供可下載的 4B、8B 及 14B 檔案,每個參數接近 2.7 位元,但有一項重要限制。其開發者表示,這些檔案的基準測試品質優於大小相近的 IQ2_S 檔案,但透過項目本身的執行環境生成速度較慢。量化會壓縮模型的數值權重,雖然可節省儲存空間,卻未能解答實際效能這個更廣泛的問題。

這個項目來自獨立開發者 Pier-Jean Malandrino,並非 Qwen 官方模型發佈或 Qualcomm 產品公告。他的實作採用 Leech 格向量量化(LLVQ),以結構化的數學排列來編碼一組組權重。關鍵比較對象是 IQ2_S,這是一種由成熟的 llama.cpp 推理軟件支援的低位元壓縮格式。

這為在本機運行模型的開發者帶來具體取捨。在有限權重預算內取得較佳答案值得關注,尤其當記憶體限制決定哪個模型能夠運行時。然而,啟動延遲、提示詞處理、硬件支援及軟件整合,可能比學術測試的優勢更重要。

Qwen3 LLVQ 量化不只是一項壓縮宣稱

這項變化是一個可下載的實作,將一種不尋常的壓縮方法與可運作的推理引擎連結起來。

相關研究早於這次社群公告。這篇 Leech lattice paper 於 2026 年 3 月 11 日提交,並於 7 月 7 日修訂。論文描述如何透過結構化格點聯合編碼模型參數,免卻儲存龐大明確的可能向量目錄。

該研究確立了技術脈絡,但並未獨立驗證 Malandrino 的軟件、檔案或基準比較。這些屬於另一個實作,當中有其自身的工程決策。

Malandrino 的 Tetra serving paper 於 9 月 28 日提交,報告整個模型的儲存密度為每個參數 2.73、2.70 及 2.73 位元。其對應的 MMLU 分數,Qwen3-4B、8B 及 14B 分別為 63.37、69.58 及 75.66。MMLU 是涵蓋學術及專業範疇的多項選擇知識基準測試。

這些數字令故事比「模型被壓縮至兩位元」的說法更具體。完整模型仍高於這個標題式比率,而品質宣稱亦可對應至明確的檔案。

這個分別十分重要,因為壓縮模型不只包含主要權重碼。支援資訊、壓縮幅度較低的組件及其他儲存內容,都會影響最終大小。讀者應比較完整成品,才可從名義壓縮標籤得出結論。

項目亦提供了由儲存碼到生成文字的途徑。這是數學編碼結果與開發者可在應用程式內評估的工具之間的必要分別。

即使檔案在磁碟上看似吸引,仍需要軟件能有效處理。否則,載入期間可能抵銷儲存節省,或解碼工作可能耗盡效能優勢。

在此,解碼是指重建計算所需的數值資訊。它與 token 生成不同,即使兩項活動均在推理期間進行。

因此,項目的意義介乎研究與部署之間。它讓有興趣的開發者有具體內容可檢視,同時仍留下實際比較的空間。

這亦應讓公告保持恰當比例。Qwen 並沒有透過此項目推出新的模型系列。Qualcomm 亦沒有透過這篇社群帖文宣佈受支援的執行環境。

一項獨立實作正在測試既有模型能否在激進壓縮下保留實用品質。這是較狹窄的宣稱,但亦更值得評估。

對關注本機 AI 的讀者而言,關鍵變化是出現了可測試的替代方案。問題現時由編碼方式是否看似合理,轉向其優勢能否在實際工作負載中保留。

較佳分數令最小模型預算面臨壓力

最強的已報告結果,是在受限儲存預算下的答案品質,而非相對其他 Qwen3 版本的全面改進。

在開發者的 Qwen3 benchmark comparison 中,LLVQ 在 MMLU 上較 IQ2_S 高出 9.1、4.1 及 2.9 個百分點。這些增幅分別對應 4B、8B 及 14B 模型。作者表示,兩種方法採用相同的校準資料集,並在同一張 NVIDIA L40S 上量度。

校準是指使用具代表性的文字引導壓縮選擇。共用這項輸入令比較更具參考價值,但並不能消除所有變數來源。

檔案大小亦只是大致可比,並非完全相同。作者指出,14B IQ2_S 成品略小。

這項限制收窄了標題所述的結論。已報告結果支持在相近儲存預算下具備優勢,而非一場精確到每個位元組均相同的比較。

直接受眾是已因硬件空間有限而接受激進壓縮的開發者。對他們而言,選擇往往由硬性的容量限制開始。

如較高品質格式能在該限制內運行,較慢輸出便可能成為可接受的取捨。這取決於應用程式及其對等待時間的容忍度。

試想開發者正在評估一個用於簡短技術問題的本機助理。若模型能更穩定地識別正確概念,稍長的等待時間可能合理。

需要頻繁交流的對話介面則有不同要求。延遲會在多輪對話間累積,因此品質優勢必須足以證明反覆中斷是合理的。

這些是部署層面的影響,而非項目量度得出的結果。已發佈的基準測試並未確立哪類應用程式最能受惠。

與模型大小相關的模式亦十分重要。已報告的 MMLU 相對 IQ2_S 優勢,隨底層模型增大而縮小。

這削弱了任何將此方法描述為到處均帶來固定改進的嘗試。開發者應評估其打算使用的特定模型大小。

MMLU 本身亦不能回答所有產品問題。多項選擇知識分數並不能直接證明可靠的程式碼編輯、準確文件擷取或成功工具使用。

模型可在基準測試上進步,但仍不適合某個特定工作流程。反之,若可減少經常重複工作中的錯誤,即使整體改進不大亦可能重要。

壓力不只落在競爭格式上,也落在評估習慣上。當另一種方法聲稱可在相近預算內提供更佳品質,熟悉的壓縮選項便值得比較。

然而,轉換需要符合使用者目標的證據。下載大小及基準分數只是作出該決定的起點。

這正是 Qwen3 LLVQ 量化宣稱可在不變成定論下發揮作用之處。它提供測試替代方案的理由,而非自動取代既有設定的理由。

格點節省空間,執行環境決定節奏

壓縮品質與服務效率仍是不同的工程問題,即使兩者依賴相同格式。

項目採用系統程式語言 Rust,配合在 NVIDIA GPU 上執行的 CUDA kernels。其 LLVQ implementation 說明,系統會在計算期間讀取壓縮碼,而非建立完整的稠密權重矩陣。

儲存庫亦識別了其專屬模型容器及執行環境。既有的 llama.cpp 安裝不能把這些檔案直接作為另一種受支援的壓縮選項開啟。

這令 Qwen3 LLVQ 量化與 IQ2_S 下載檔有實際分別。採用前者需要評估一個不同的執行堆疊。

較小的表示形式可減少計算時需要存取的權重資料量。然而,解讀這種表示形式亦需要工作。

實際效果取決於節省的資料搬移量,是否超過解碼開銷。單靠一個精簡檔案無法確立這個平衡。

這正是 Rust 與 CUDA 細節的重要性所在。它們解釋方法如何成為可執行的系統,卻不能證明其具備速度優勢。

開發者明確承認,llama.cpp 在比較中運行得更快。這項承認應與品質結果並列,因為兩者均影響同一個採購或部署決定。

對比較效能數據的讀者而言,亦存在版本問題。9 月的論文報告較早期的執行路徑,而目前儲存庫描述的是較新的服務優化。

論文列出的生成速度為每秒 113.8、95.0 及 57.2 個 token。這些量度結果應維持與論文的設定連結。

較新的吞吐量宣稱,應根據其自身的執行環境版本及量度條件評估。把舊有品質結果與較新速度結果結合,需要明確說明哪些條件維持等同。

這是一般的基準測試紀律,但在快速變動的獨立項目中尤其重要。一個標題可比產生它的軟件設定存在得更久。

比較亦不限於壓縮方法本身。不同執行環境會帶來不同的 attention 實作、排程選擇及記憶體行為。

較快結果可能反映多項改進共同運作。較慢結果亦未必代表數學編碼是唯一原因。

對開發者而言,正確問題是整套可用系統能否滿足其需要。就研究而言,分離編碼方式仍有價值,但應用程式會經歷整條執行路徑。

客戶端相容性不能消除這個分別。執行環境可接受熟悉的請求格式,同時仍具有不同的運作特性。

因此,整合不只是在成功發送請求。開發者需要對載入行為、錯誤處理、持續運作及可重現設定有信心。

LLVQ 面對的壓力很具體:在保留已報告品質優勢的同時,讓其執行環境具備足以日常使用的競爭力。IQ2_S 面對的壓力同樣具體:透過速度、相容性或其他實際好處,證明任何品質損失合理。

任何一方都不能憑單一指標勝出。有意義的比較會跟隨整個過程,從下載檔案到實用答案。

長提示詞改變記憶體計算方式

壓縮後的權重預算並不能描述回答長請求所需的最高記憶體。

開發者報告 Qwen3-4B 有一項尤其重要的限制。在 8,000-token 提示詞下,峰值記憶體達到 5.95 GB,而 IQ2_S 為 3.52 GB。

Token 是模型處理的文字單位。因此,即使儲存的模型保持相同,提示詞長度亦會改變工作負載。

同一篇帖文報告該 LLVQ 設定在首個生成 token 前約需 35 秒。它將問題歸因於 prefill attention 處理。

預填處理是指在生成開始前處理傳入提示詞的階段。它的表現與後續 token 輸出的速度是兩回事。

這個區別改變了應如何解讀壓縮結果。模型可能在載入後輕鬆容納,卻仍會在真實請求中超出可用記憶體。

同樣地,生成開始後快速輸出,也可以與漫長的初始等待並存。即使基準測試只突顯其中一項,使用者仍會感受到兩個階段。

文件密集型應用程式令這個區別尤其重要。傳送簡短問題與傳送長篇技術文件,是對同一模型的不同測試。

例如,助理可能可以令人滿意地回答簡短的術語問題,卻難以開始回應關於長篇文件的提問。單靠壓縮格式並不能預測這種差異。

這是一個適合評估的情境,而非已報告的客戶部署案例。這裡尚未獨立驗證任何生產環境的文件工作流程。

更廣泛的含義很直接:容量規劃需要考慮工作負載的峰值。權重儲存只代表總量的一部分。

應用程式亦需要記憶體來進行中間運算,以及保留對話資訊。所需容量取決於實作方式和請求內容。

KV 快取會儲存先前已處理 token 的注意力資訊,因而增添另一個可變因素。壓縮權重並不會自動壓縮該快取。

因此,開發者不應將「小型模型檔案」直接等同於承諾的內容容量。後者需要在明確界定的執行環境下另行量度。

該專案承認這項限制,而非將目前行為說成已經解決。這使披露更有用,但不會降低實際成本。

在 LLVQ 與 IQ2_S 之間作選擇的開發者,必須判斷哪個階段主導其工作負載。短請求、長篇文件及持續對話都可能得出不同答案。

對處理技術材料的團隊而言,可搜尋知識庫可為這項決定提供相關背景。傳送至模型的材料決定其執行環境必須處理甚麼。

這並不證明某種特定部署架構較優。它說明模型選擇應跟隨應用程式實際的資訊流。

長提示詞結果亦防止出現過度寬泛的記憶體聲稱。LLVQ 的精簡權重確實存在,但報告的峰值顯示,這些節省不足以預測總用量。

在已部署的預填處理路徑改善前,長內容使用者有具體理由偏好另一種配置。這項限制應獲得與基準優勢同等的可見度。

基準測試控制仍存在驗證缺口

現有證據支持一項具前景、由開發者報告的比較,但獨立重現及工作負載可靠性仍未解決。

作者的測試選擇包含有用的控制措施,但工作仍屬自行報告。本文尚未獨立執行相關檔案或重現基準結果。

Qwen3-8B 模型卡補充了評估路徑的細節。它表示,MMLU 和困惑度使用重建為 FP16 的權重,即 16 位元浮點表示法。GSM8K 是一項小學數學基準,則透過融合核心執行。

困惑度衡量模型預測文字的能力;數值較低通常表示模型在指定資料集上的預測較佳。它並不直接量度生成答案的實用性。

重建權重評估與直接提供服務的評估之間的差異很重要。測試重建權重可協助評估壓縮造成的損失,而測試部署核心亦會檢驗執行環境行為。

兩條路徑結果一致會令證據更有力。不過,仍應在用以支持產品決策的工作負載下加以證明。

模型卡亦披露只使用單一次校準抽樣,且沒有進行消費級 GPU 測試。這使重要的不確定因素仍處於報告設定之外。

單一校準樣本的有利結果,並不能證明另一樣本會多可靠地產生相近品質。重複校準有助描述這種敏感度。

同樣地,資料中心 GPU 的結果並不能說明讀者桌面電腦所安裝顯示卡的表現。不同硬件會改變運算與記憶體存取之間的平衡。

這些都是應收窄結論的理由,並不證明所報告的結果有誤。

基線亦會改變表面上的結果。該專案報告相對 IQ2_S 有較佳結果,但其論文把相關檔案在 MMLU 上置於更高精度 AWQ 替代方案之下。

AWQ 是一種感知啟動值的權重量化方法。它在此的作用,是顯示額外儲存空間可帶來甚麼,而不是取代 IQ2_S 作為主要比較對象。

這有助避免常見誤解。勝過另一個低位元檔案,並不代表壓縮完整保留了原始模型的品質。

開發者需要兩種比較。其一問某格式是否善用受限預算;其二問壓縮造成多少品質損失。

生成設定帶來另一個複雜因素。貪婪解碼總會選取得分最高的下一個 token,而非在可能的延續內容中抽樣。

官方的 Qwen3 抽樣指引警告,貪婪解碼可能導致效能下降及無盡重複。這項警告限制了對在貪婪測試中循環的比較對象所作的解讀。

重複輸出失敗仍是對已測配置的有效觀察。它並不能證明該檔案在建議設定下同樣表現不佳。

當戲劇性的失敗令某個競爭格式看來無法使用時,這點尤其重要。評估應將壓縮選擇與不合適的生成協定分開。

獨立重現亦應保留產物身分。確切模型檔案、執行環境修訂版本和配置,都需要隨結果一併提供。

否則,看似的分歧可能源於在同一專案名稱下測試不同系統。可重現性取決於明確列出實際量度的內容。

適當結論仍然有條件性:所報告的品質優勢值得研究,而現有證據不足以支持普遍優越性的主張。

三項結果可令取捨更容易判斷

下一批有用證據應將可重現品質、已部署的提示詞處理,以及特定硬件效能連結起來。

第一個訊號,是使用可識別檔案及相配評估設定,獨立重現 LLVQ 與 IQ2_S 的比較。這會直接測試本文的核心主張。

重現應保留比較的儲存預算,並報告任何剩餘的大小差異。它亦應區分重建權重與已部署推理路徑的結果。

若品質優勢得以保留,對壓縮結果的信心便會提升。若優勢明顯縮小,部署案例便會更依賴特定模型或校準選擇。

即使獨立結果不同,仍然有價值。理解分歧的來源,可揭示哪些條件實際決定結果。

第二個訊號,是發布長提示詞處理的改進,然後透過正常執行環境進行量度。獨立的實驗性路徑無法證明使用者實際獲得甚麼。

重要輸出包括峰值記憶體、首個 token 時間,以及在相同請求條件下的答案品質。將它們一併報告,可顯示實際瓶頸是否已轉移。

若提示詞處理改善而品質保持穩定,LLVQ 便會與更廣泛的應用程式相關。若記憶體峰值仍然偏高,其最強使用案例便會維持在較受限範圍。

這也是未來快取壓縮需要獨立審視的地方。減少儲存的注意力資訊會引入另一項變化,應接受自身的品質評估。

第三個訊號,是在消費級硬件上進行可重現的比較。桌面使用者需要來自他們實際運行軟件環境的證據。

有用的報告應列明顯示卡、執行環境修訂版本、提示詞長度及生成設定,並在等效工作負載下比較完整系統。

若品質優勢在可接受延遲下得以保留,實際案例便會更有說服力。若執行仍然明顯較慢,該方法仍可服務更重視容量或品質的使用者。

未來更大型模型的計劃,在檔案及量度結果存在之前,應維持在已達成結果欄目以外。儲存空間估算無法證明推理期間是否容納得下,或保留的答案品質如何。

目前而言,Qwen3 LLVQ 量化提供了一個可檢視的替代方案,並有明確取捨。其報告中相對 IQ2_S 的品質領先,值得與執行環境成本一併關注。

請將現有檔案視為針對特定工作負載評估的候選項目。先從能代表應用程式實際處理內容的請求開始,包括較長提示詞和困難個案。在相同條件下比較答案品質、初始等待時間、生成速度及峰值記憶體。將確切檔案及執行環境修訂版本與結果一併保存,讓其他開發者可以重複測試。對 Qwen3 LLVQ 量化而言,決定性問題是其所報告的品質優勢,是否能在該完整比較中得以保留。若可以,便判斷該改善是否足以值得整合工作與延遲成本;若不可以,則保留量度結果並找出改變結果的條件。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page