llama.cpp ha integrato la pull request #30966 il 7 novembre, aggiungendo l'esecuzione su CPU per cache miss selezionati degli esperti invece di trasferire sempre tali esperti. L'aggiornamento dell'offloading MoE su CPU di llama.cpp, realizzato da am17an, introduce anche uno script per calibrare l'equilibrio sulle singole macchine. La sua importanza risiede in questa scelta, non nella garanzia di un aumento della velocità. MoE, abbreviazione di mixture of experts, descrive mod