llama.cpp 于 11 月 7 日合并了拉取请求 #30966，使特定的专家缓存未命中可在 CPU 上执行，而不再始终传输这些专家。由 am17an 提交的 llama.cpp MoE CPU 卸载更新还引入了一套脚本，可针对单台机器调校这种平衡。其重要性在于提供了这一选择，而非保证速度一定提升。 MoE，即混合专家模型，指的是针对每个 token（生成文本的一个单位）激活选定神经网络组件的模型。这些组件被称为专家。将高频使用的专家保留在 GPU 内存中会有帮助，但缺失的专家仍需要在某处完成处理。新选项改变了这项工作发生的位置。 核心较量在于 CPU 计算与传输专家权重之间的取舍。专家权重是模型用于执行 GPU 计算的已存储数值。Strata 提供了一个有用的参照，因为其文档已说明如何调校这种平衡。对于运行规模超出显存容量模型的用户而言，实际问题是：在自己的配置上，哪条路径能更快完成任务。 llama.cpp MoE CPU 卸载带来了哪些变化 此次更新让一次缓存未命中成为计算与数据移动之间的调度选择。 缓存会将可复用数据保留在需要它的处理