Bonsai 27B 首个可在手机上运行的 27B 规模多模态模型

Bonsai 27B 发布了一个可在 iPhone 17 Pro 上完整运行的 270 亿参数多模态模型。

其 1 位变体占用 3.9 GB 内存。三元变体占用 5.9 GB。两者均源自 Qwen3.6 27B 基础模型。

Apple 硅芯片的统一内存有限。全精度 27B 模型已超出当前手机的内存预算。

Bonsai 通过极端量化解决了这一限制，同时未造成大幅精度损失。

模型尺寸与内存占用

1 位模型每个权重存储 1.125 个有效位。三元模型每个权重存储 1.71 个有效位。

这些数据来自随开源权重一同发布的官方说明。

3.9 GB 的 1 位检查点可直接在 iPhone 17 Pro 上加载，无需外部卸载。

以往的 27B 级别模型在 4 位或更高精度下至少需要 14 GB。

保留的基准性能

在十五个标准基准测试中，三元变体保留了稠密基线分数的 95%。1 位版本保留了 90%。

数学和编码任务几乎没有下降。视觉和代理循环任务略有失分。

团队将这一保留归因于在最后 10% token 上应用量化感知微调的训练阶段。

开发者因此可以在本地运行结构化工具调用和多步推理。

上下文窗口与推理技巧

两个变体均支持 262 K token 的上下文窗口。推测解码在手机 NPU 上将生成速度提升 1.8 倍。

当用户需要更高吞吐量时，相同权重可在笔记本电脑和服务器上运行。Apache 2.0 许可允许商业微调。

此次发布包含设备端计算机使用代理循环的参考代码。

移动端实际用例

知识工作者可以附加截图并获得结构化答案，无需调用云端。

工程师可以在本地代码库上运行模型，在旅行时获得内联建议。262 K 上下文允许模型一次性读取整本技术手册。

注重隐私的用户获得了一种无需将文档发送到远程服务器的本地替代方案。

限制与剩余差距

1 位模型在超过十轮的长代理循环中偶尔会丢 token。手机 NPU 上的 1 位变体平均延迟为每秒 28 个 token。

两个检查点均无法达到针对移动端优化的小型蒸馏模型的速度。连续推理二十分钟后，电池影响依然明显。

团队已发布权重，但尚未发布完整训练数据集或确切的量化计划。

值得关注的后续信号

关注 Apple 是否会在下一代硅芯片中增加对低于 2 位操作的硬件支持。通过 GitHub 星标和独立实验室报告的设备端基准跟踪采用情况。

观察竞争实验室是否会在下一季度发布类似的 1 位 30B 规模检查点。

结果将表明极端量化是否会成为设备端前沿模型的默认路径。