top of page

Qwen3 LLVQ 量化以速度换取质量

43分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Godfrey Atima / Pexels.

Qwen3 LLVQ 量化现已提供可下载的 4B、8B 和 14B 文件,每个参数接近 2.7 比特,但同时附带一项重要限定。其开发者称,与大小相近的 IQ2_S 文件相比,这些文件在基准测试中质量更高,但通过项目自有运行时生成速度更慢。量化通过压缩模型的数值权重来节省存储空间,但这并未解决更广泛的实际性能问题。

该项目来自独立开发者 Pier-Jean Malandrino,并非 Qwen 官方模型发布或 Qualcomm 产品公告。他的实现采用 Leech lattice vector quantization,即 LLVQ,利用一种结构化数学排列对成组权重进行编码。关键比较对象是 IQ2_S,这是一种由成熟推理软件 llama.cpp 支持的低比特压缩格式。

这为在本地运行模型的开发者带来了明确的取舍。在有限的权重存储预算内获得更好的答案值得关注,尤其是在内存限制决定可运行模型规模时。不过,启动延迟、提示词处理、硬件支持和软件集成,都可能超过学术测试中的优势。

Qwen3 LLVQ 量化不止是一项压缩主张

这一变化是一项可下载实现,将一种不寻常的压缩方法与可用的推理引擎连接起来。

相关底层研究早于此次社区公告。Leech lattice 论文于 2026 年 3 月 11 日提交,并于 7 月 7 日修订。论文描述了如何通过结构化格点联合编码模型参数,从而无需存储海量的显式候选向量目录。

这项研究确立了技术谱系,但并未独立验证 Malandrino 的软件、文件或基准比较。这些内容属于另一项实现,其中包含自身的工程决策。

Malandrino 的 Tetra serving 论文于 9 月 28 日提交,报告称整模型存储分别为每参数 2.73、2.70 和 2.73 比特。对应的 Qwen3-4B、8B 和 14B 的 MMLU 分数分别为 63.37、69.58 和 75.66。MMLU 是一项覆盖学术及专业主题的多项选择知识基准。

这些数字使报道比“模型被压缩到两比特”的说法更具体。完整模型仍高于这一标题级速率,而且质量主张对应的是可识别的具体文件。

这一区别很重要,因为压缩模型不只包含主要权重编码。辅助信息、压缩程度较低的组件和其他存储内容,都会影响最终大小。读者应比较完整产物,而非仅根据名义压缩标签得出结论。

该项目还提供了从存储编码到生成文本的路径。这是数学编码结果与开发者可在应用中评估的内容之间的关键区别。

磁盘上看起来很有吸引力的文件,仍需要能高效处理它的软件。否则,存储节省可能会在加载过程中消失,或解码工作会吞噬性能优势。

这里的解码是指重建计算所需的数值信息。尽管两者都发生在推理过程中,但它与 token 生成是不同的活动。

因此,该项目的重要性介于研究与部署之间。它为感兴趣的开发者提供了可具体检查的对象,同时保留了实际比较的开放性。

这也应让公告保持恰当分寸。Qwen 并未通过该项目推出新的模型系列。Qualcomm 也未通过这篇社区帖子宣布受支持的运行时。

独立实现正在测试:成熟模型是否能在激进压缩下保持实用质量。这一主张范围更窄,但也更有助于评估。

对于关注本地 AI 的读者,关键变化是出现了可测试的替代方案。问题如今从这种编码是否听起来合理,转向其优势能否在实际工作负载中成立。

更高分数对最小模型预算施加压力

最强的已报告结果涉及受限存储预算下的回答质量,而非相对于其他 Qwen3 版本的普遍提升。

在开发者的 Qwen3 基准比较中,LLVQ 在 MMLU 上分别领先 IQ2_S 9.1、4.1 和 2.9 个百分点。这些增益对应 4B、8B 和 14B 模型。作者称,两种方法使用相同的校准数据集,测量在一张 NVIDIA L40S 上完成。

校准是指使用有代表性的文本来指导压缩选择。共享这一输入使比较更具参考价值,尽管它不能消除所有变动来源。

这些文件在大小上也只是大致可比,并非完全相同。作者指出,14B 的 IQ2_S 产物略小一些。

这一限定限制了标题结论。已报告结果支持在相近存储预算下存在优势,而不是一场严格按字节相等的竞赛。

直接受众是那些因硬件空间有限而已接受激进压缩的开发者。对他们而言,选择通常始于一个硬性的容量上限。

如果质量更高的格式能落在这一上限内,较慢的输出可能成为可接受的折衷。这取决于应用及其对等待时间的容忍度。

设想一位开发者正在评估一个用于回答简短技术问题的本地助手。如果模型能更稳定地识别正确概念,稍长的等待或许是合理的。

频繁交互的对话界面则有不同要求。延迟会跨轮次累积,因此质量优势需要足以证明反复中断是值得的。

这些是部署层面的影响,而不是该项目测得的结果。已发布的基准并不能确定哪类应用获益最大。

与模型大小相关的模式也很重要。相对于 IQ2_S,报告中的 MMLU 优势会随着底层模型增大而缩小。

这削弱了任何将该方法描述为在所有场景中都能带来固定提升的尝试。开发者应评估自己打算使用的具体模型规模。

MMLU 本身无法回答所有产品问题。多项选择知识分数并不能直接证明代码编辑可靠、文档提取准确或工具调用成功。

模型可以在基准上进步,却仍不适合特定工作流。反过来,即使整体提升有限,只要能减少高频重复任务中的错误,也可能很重要。

压力不仅落在竞争格式上,也落在评估习惯上。当另一种方法报告在类似预算下质量更高时,熟悉的压缩选项就值得比较。

不过,切换需要与用户目标相符的证据。下载大小和基准分数只是做出这一决定的起点。

正是在这里,Qwen3 LLVQ 量化的主张可以变得有用,但仍非定论。它提供了测试替代方案的理由,而非自动替换现有设置的理由。

格点节省空间,而运行时决定节奏

压缩质量与服务效率仍是两个独立的工程问题,即使它们依赖同一种格式。

该项目使用 Rust(一种系统编程语言)和 CUDA kernels,即在 NVIDIA GPU 上执行的程序。其 LLVQ 实现描述了在计算过程中读取压缩编码,而不是构建完整的稠密权重矩阵。

该仓库还明确了其自有模型容器和运行时。现有 llama.cpp 安装无法只是将这些文件作为另一种受支持的压缩选项直接打开。

这使 Qwen3 LLVQ 量化与 IQ2_S 下载之间存在实际差异。采用前者意味着需要评估一套不同的执行栈。

更小的表示可减少计算需要访问的权重数据量。然而,解释这种表示本身也需要工作。

实际结果取决于节省的数据搬运量能否抵消解码开销。仅凭紧凑文件无法证明这种平衡。

这正是 Rust 和 CUDA 细节重要的原因。它们解释了该方法如何变得可执行,但并不能证明其具备速度优势。

开发者明确承认,在比较中 llama.cpp 运行得更快。这一承认应与质量结果一并考量,因为两者都会影响同一项采购或部署决策。

对于比较性能数据的读者,还存在版本问题。9 月论文报告的是较早的执行路径,而当前仓库描述了较新的服务优化。

论文列出的生成速率为每秒 113.8、95.0 和 57.2 个 token。这些测量结果应始终与论文的配置对应。

较新的吞吐量主张应根据其自身的运行时版本与测量条件进行评估。将旧的质量结果与新的速度结果结合,需要明确说明哪些条件保持等效。

这是普通的基准测试纪律,但在快速变化的独立项目中尤为重要。一条标题可能比产生它的软件配置存活得更久。

比较也不止涉及压缩方法本身。不同运行时会带来不同的注意力实现、调度选择和内存行为。

更快的结果可能反映多项改进共同作用。更慢的结果也不一定说明数学编码是唯一原因。

对开发者而言,正确的问题是完整可用系统是否满足其需求。隔离编码本身对研究仍有价值,但应用实际体验的是整个执行路径。

客户端兼容性并不能消除这一区别。运行时可以接受熟悉的请求格式,同时仍具有不同的运行特性。

因此,集成不仅是成功发送请求。开发者还需要对加载行为、错误处理、持续运行和可复现配置抱有信心。

LLVQ 面临的压力很具体:在保留已报告质量优势的同时,让其运行时具备足以用于日常场景的竞争力。IQ2_S 面临的压力同样具体:通过速度、兼容性或其他实际收益来证明任何质量损失是合理的。

双方都不会凭单一指标获胜。有意义的比较会沿着从下载文件到实用答案的全过程展开。

长提示词改变内存计算方式

压缩后的权重预算并不能描述回答长请求所需的最大内存。

开发者报告了 Qwen3-4B 的一项特别重要限制。使用 8,000 token 提示词时,峰值内存达到 5.95 GB,而 IQ2_S 为 3.52 GB。

Token 是模型处理的文本单元。因此,即使存储的模型保持不变,提示词长度也会改变工作负载。

同一篇帖子还报告,该 LLVQ 配置在生成第一个 token 前大约需要 35 秒。帖子将问题归因于预填充注意力处理。

预填充是指在生成开始前处理传入提示的阶段。它的表现与后续 token 的输出速度需要分别看待。

这一差异改变了对压缩结果的解读方式。模型在加载后可能轻松适配,但在真实请求中仍可能超过可用内存。

同样,生成开始后的快速输出可以与较长的初始等待并存。即使基准测试只突出其中一项,用户仍会体验到这两个阶段。

文档密集型应用尤其需要关注这种差异。发送一个简短问题与发送一份很长的技术文档,是对同一模型的不同测试。

例如,助手或许能令人满意地回答简短的术语问题,却难以开始回应一份篇幅很长的文档。单凭压缩格式无法预测这种差异。

这是一种用于评估的情境,而非已报告的客户部署案例。这里尚未对任何生产文档工作流进行独立验证。

更广泛的含义很直接:容量规划需要考虑工作负载的峰值。权重存储只代表总量的一部分。

应用程序还需要为中间计算和保留的对话信息提供内存。所需容量取决于实现方式和请求内容。

用于存储先前已处理 token 注意力信息的 KV 缓存,又增加了一个动态因素。压缩权重并不会自动压缩该缓存。

因此,开发者不应将“小型模型文件”等同于承诺的上下文容量。后者需要在确定的运行时环境中单独测量。

该项目承认了这一限制,而没有将当前行为描述为已解决的问题。这使披露具有参考价值,但并不会降低实际成本。

在 LLVQ 与 IQ2_S 之间做选择的开发者,必须判断哪个阶段主导其工作负载。短请求、长文档和持续对话可能得出不同答案。

对于处理技术资料的团队而言,一个可搜索的知识库可为这一决策提供相关背景。发送给模型的材料决定了其运行时必须处理的内容。

这并不能证明某一种部署架构更优。它说明,模型选择应遵循应用程序实际的信息流。

长提示结果也避免了过于宽泛的内存主张。LLVQ 的紧凑权重确实存在,但报告的峰值表明,单凭这些节省不足以预测总使用量。

在已部署的预填充路径得到改进前,长上下文用户有明确理由选择其他配置。这一限制应获得与基准优势同等的关注。

基准测试控制仍存在验证缺口

现有证据支持一项颇具前景的开发者自述比较,但独立复现和工作负载可靠性仍未得到解决。

作者的测试选择包含有用的控制条件,但这项工作仍属自述。本文未独立运行这些文件,也未复现基准测试结果。

Qwen3-8B 模型卡补充了评估路径的细节。其中称,MMLU 和困惑度测试使用重建为 FP16 的权重,FP16 是一种 16 位浮点表示。GSM8K 是一项小学数学基准测试,通过融合内核运行。

困惑度衡量模型预测文本的能力,数值越低通常意味着在指定数据集上的预测越好。它并不直接衡量生成答案的实用性。

在重建权重与直接服务之间进行评估的区别很重要。测试重建权重有助于评估压缩损失,而测试已部署内核也会检验运行时行为。

这两条路径的一致性将增强证据力度。但仍应在用于支持产品决策的工作负载下加以证明。

模型卡还披露仅进行一次校准抽样,且未在消费级 GPU 上测试。这让报告设置之外的重要不确定性仍然存在。

单个校准样本的有利结果,无法证明其他样本也会稳定地产生相似质量。重复校准将有助于描述这种敏感性。

同样,数据中心 GPU 的结果并不能说明读者桌面中安装的显卡上的性能。不同硬件可能改变计算与内存访问之间的平衡。

这些都是应当收窄结论的理由。它们并不能证明报告的结果有误。

基线也会改变表面上的结果。该项目报告其相对 IQ2_S 的结果更强,而其论文则显示,这些文件在 MMLU 上低于精度更高的 AWQ 替代方案。

AWQ 是一种激活感知的权重量化方法。其在此处的作用是展示额外存储空间能够换取什么,而不是取代 IQ2_S 作为主要比较对象。

这有助于避免一种常见误解。胜过另一个低比特文件,并不意味着压缩保留了原始模型的全部质量。

开发者需要两种比较。其中一种考察某种格式是否有效利用受限预算;另一种考察压缩损失了多少质量。

生成设置带来了另一项复杂因素。贪婪解码总是选择得分最高的下一个 token,而不是在可能的续写之间进行采样。

官方 Qwen3 采样指南警告,贪婪解码可能导致性能下降和无休止的重复。该警告限制了对贪婪测试中发生循环的比较对象的解读。

重复输出故障仍是针对所测配置的有效观察结果。它并不能证明该文件在推荐设置下也表现得同样糟糕。

当某种显著故障让一个竞争格式看似无法使用时,这一点尤其重要。评估应将压缩选择与不合适的生成协议区分开来。

独立复现还应保留制品身份。确切的模型文件、运行时修订版本和配置应随结果一同提供。

否则,表面上的分歧可能来自在同一项目名称下测试不同系统。可复现性取决于明确实际测量了什么。

恰当的结论仍应是有条件的:报告的质量优势值得进一步研究,而现有证据不足以支持普遍优越性的主张。

三项结果将使这一取舍更容易判断

下一步有价值的证据,应将可复现的质量、已部署的提示处理能力和特定硬件性能联系起来。

第一项信号是,使用可识别文件和匹配的评估设置,对 LLVQ 与 IQ2_S 进行独立复现。这将直接检验本文的核心主张。

复现应保留比较中的存储预算,并报告任何剩余的尺寸差异。它还应区分重建权重结果与已部署推理路径结果。

如果质量优势得以保持,对压缩结果的信心就会增加。如果这一优势明显收窄,部署案例就会更依赖特定模型或校准选择。

即使独立结果不一致,仍然具有价值。理解分歧来源可以揭示真正决定结果的条件。

第二项信号是,发布对长提示处理的改进,随后通过正常运行时进行测量。孤立的实验路径无法证明用户实际获得的体验。

重要输出包括:在相同请求条件下的峰值内存、首 token 时间和答案质量。将它们一同报告,能够显示实际瓶颈是否已经转移。

如果提示处理得到改善且质量保持稳定,LLVQ 将与更广泛的应用相关。如果内存峰值仍然很高,其最强的适用场景仍会较为受限。

未来的缓存压缩也需要在此处接受单独审视。减少已存储的注意力信息会带来另一项变化,应当接受独立的质量评估。

第三项信号是在消费级硬件上进行可复现的比较。桌面用户需要来自其实际运行软件环境的证据。

一份有用的报告应标明显卡、运行时修订版本、提示长度和生成设置。它应在等效工作负载下比较完整系统。

如果质量优势能够在可接受延迟下保持,实际应用理由就会增强。如果执行速度仍显著更慢,该方法仍可服务于更重视容量或质量的用户。

在文件和测量结果出现之前,未来的大模型计划应留在已实现结果之外。存储估算无法证明推理期间的适配情况或保留的答案质量。

目前,Qwen3 LLVQ quantization 提供了一种可审查的替代方案,且取舍明确。其报告的 IQ2_S 质量领先值得关注,也应与运行时成本一并考量。

应将现有文件视为工作负载特定评估的候选对象。先从代表应用程序实际处理内容的请求开始,包括较长提示和困难案例。在匹配条件下比较答案质量、初始等待时间、生成速度和峰值内存。请将确切文件和运行时修订版本与结果一同保留,以便其他开发者复现。对于 Qwen3 LLVQ quantization,决定性问题是其报告的质量优势能否经受完整比较。如果可以,再判断这种改进是否值得集成工作量和延迟;如果不能,则保留测量结果,并识别改变结论的条件。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page