腾讯混元 Hy3 量化发布：1bit 单卡部署，4bit 接近满血性能

腾讯发布了其 295B 参数 Hy3 模型的量化版本。1bit 版本将模型大小从 598 GB 缩减至 85.5 GiB。一张 96 GB 推理卡即可满足本地部署需求。

4bit 版本占用 169.9 GiB，可在两张卡上运行。两个版本在智能体任务、代码、工具使用和长上下文工作上均保持强劲表现，性能接近未量化基线。

这些版本面向希望降低硬件成本且能力损失不大的开发者。公司还新增了与 vLLM 兼容的 GPTQ Int4 构建。

量化将内存需求降低六倍以上

1bit 模型采用 IQ1_M 方法，将原始权重压缩至 85.5 GiB，缩减倍数达 6.7。一张 96 GB GPU 即可加载模型，并为上下文和 KV cache 留出空间。

4bit 模型采用 Q4_K_M，占用 169.9 GiB。两张标准卡即可承载负载。两种格式均以 GGUF 文件形式发布，可与 llama.cpp 配合使用。

单独提供的 GPTQ Int4 构建支持 vLLM 服务器，适合偏好该技术栈的用户。所有文件均已公开。

速度提升来自 MTP 推测式解码

团队将量化权重与 MTP 推测式解码结合使用。1bit 版本解码速度提升约 50%。4bit 版本提升接近 60%。

这些提升在标准消费级和数据中心卡上均可体现，无需除现有 llama.cpp 支持之外的自定义内核。

开发者下载 GGUF 文件后即可立即测试速度提升。

基准结果接近完整模型

内部测试涵盖智能体工作流、多语言代码生成、工具调用和长文档。量化模型在狭窄区间内跟踪原始分数。

4bit 版本差距最小。1bit 版本以精度的小幅下降换取内存的大幅减少。

目前尚未出现外部第三方基准报告。鼓励用户自行进行评估。

为什么硬件访问比原始规模更重要

大模型增长速度快于可负担的 GPU 内存。大多数团队无法购买 H100 卡集群。量化版本为较小的实验室和个人提供了运行同一模型家族的途径。

腾讯将新文件定位为实用的中间方案。这些模型保留了足够的生产级智能体工作精度，同时将卡数量从多张减至一或两张。

某些任务仍存在限制

部分推理链在 1bit 下仍会损失精度。公司指出，长上下文、多步骤智能体会话显示出最大方差。4bit 版本进一步降低了该方差。

需要在复杂规划上实现最高可靠性的用户可能仍倾向于完整模型或 4bit 版本。1bit 构建适合较轻的推理或原型设计。

目前没有公开声明涉及量化权重的安全或对齐测试。

开发者和观察者的下一步

接下来值得关注的信号是标准套件上的独立基准发布。GGUF 社区的早期采用数据将显示真实世界使用情况。

vLLM 集成反馈将揭示部署摩擦。任何添加 2bit 或混合精度选项的后续发布，都将检验腾讯是否继续沿同一路径推进。

已运行本地智能体的开发者可从 4bit 文件入手，以平衡速度与质量。