O llama.cpp incorporou o pull request #30966 em 7 de novembro, adicionando execução na CPU para falhas selecionadas no cache de especialistas, em vez de sempre transferir esses especialistas. A atualização de offloading de MoE para CPU do llama.cpp, contribuída por am17an, também introduz um script para ajustar o equilíbrio em máquinas individuais. Sua importância está nessa escolha, e não em um aumento garantido de velocidade. MoE, abreviação de mixture of experts, descreve