llama.cpp는 11월 7일 풀 리퀘스트 #30966을 병합해, 선택된 전문가 캐시 미스를 항상 해당 전문가를 전송하는 방식 대신 CPU에서 실행할 수 있도록 했다. am17an이 기여한 llama.cpp MoE CPU 오프로딩 업데이트에는 개별 머신에서 균형을 조정하는 스크립트도 포함된다. 이 변경의 중요성은 속도 향상이 보장된다는 데 있지 않고, 선택지를 제공한다는 데 있다. MoE는 mixture of experts의 약자로, 생성된 텍스트의 단위인 각 토큰마다 선택된 신경망 구성 요소를 활성화하는 모델을 뜻한다. 이러한 구성 요소를 전문가라고 부른다. 자주 사용되는 전문가를 GPU 메모리에 유지하면 도움이 되지만, 누락된 전문가는 여전히 어딘가에서 처리해야 한다. 새 옵션은 그 작업이 수행되는 위치를 바꾼다. 핵심 경쟁 구도는 CPU 연산과 GPU 실행을 위한 전문가 가중치, 즉 모델이 사용하는 저장된 수치값의 전송 사이에 있다. Str