llama.cpp 於 11 月 7 日合併了 pull request #30966，加入針對指定專家快取未命中的 CPU 執行機制，而非一律傳輸相關專家。由 am17an 貢獻的 llama.cpp MoE CPU 卸載更新，亦引入了一個可在個別機器上調校平衡的腳本。其重要性在於提供了這項選擇，而非保證提升速度。 MoE 是 mixture of experts（專家混合）的縮寫，指模型為每個 token（即生成文字的單位）啟用指定神經網絡元件的架構。這些元件稱為專家。將常用專家保留在 GPU 記憶體中有幫助，但缺少專家仍會在某處產生額外工作。新選項改變的是完成該工作的地點。 核心競爭在於 CPU 運算與傳輸專家權重之間的取捨；權重是模型用作運算的已儲存數值。Strata 提供了一個有用的比較，因為其文件已描述如何調校這種平衡。對於運行超出顯示記憶體容量模型的人而言，實際問題是：哪一條路徑能在其實際配置上更快完成。 llama.cpp MoE CPU 卸載帶來甚麼改變 這項更新讓快取未命中成為運算與資料移動之間的排程選擇。...