MiniCPM LES Leva MoE de 35B a Celulares Sem Restringir Especialistas

A MiniCPM afirma que sua tecnologia de agendamento LES ajuda um modelo de 35 bilhões de parâmetros a gerar 20,51 tokens por segundo em um iPhone 18 Pro Max. O MiniCPM LES enfrenta um obstáculo específico: mover os pesos do modelo para a memória com rapidez suficiente sem restringir quais partes do modelo podem participar.

Essa distinção é importante para MoE, ou mistura de especialistas, uma arquitetura que ativa grupos selecionados de parâmetros em vez de usar o modelo inteiro para cada token. A designação 35B-A3B do MiniCPM-V 4.7 descreve aproximadamente 35 bilhões de parâmetros totais e 3 bilhões de parâmetros ativos. Uma computação ativa menor não elimina a necessidade de armazenar e acessar os pesos restantes.

A disputa subjacente está entre preservar a seleção dinâmica de especialistas e reduzir atrasos de carregamento. A pesquisa anterior da Apple sobre inferência baseada em flash estabeleceu um ponto de referência útil: o armazenamento pode ampliar uma memória limitada, mas o movimento de dados exige gerenciamento cuidadoso. A contribuição da MiniCPM visa o agendamento de especialistas dentro desse problema mais amplo. Seus resultados publicados também exigem atribuição cuidadosa: a maior velocidade em celular combina várias otimizações, e “sem perdas” exige uma interpretação mais restrita do que o título sugere.

MiniCPM LES Transforma o Carregamento de Especialistas em um Problema de Agendamento

A mudança relevante é uma tentativa de preservar as escolhas originais de especialistas do modelo enquanto reduz o tempo gasto aguardando seus pesos.

O cartão do modelo 35B da equipe descreve uma abordagem de implantação que mantém o roteamento no nível do token, o processo que seleciona especialistas para cada token gerado. Também relata um resultado separado de mais de 13 tokens por segundo em um iPhone 17 Pro Max, usando aproximadamente 3 GB de memória.

Esse resultado anterior em celular deve permanecer separado do benchmark mais recente do iPhone 18 Pro Max. Eles dizem respeito a dispositivos e configurações documentadas diferentes. Tratá-los como intercambiáveis obscureceria o que as evidências públicas realmente estabelecem.

LES significa Lookahead Expert Scheduling, um sistema que antecipa quais especialistas a próxima camada do modelo precisará. Seu objetivo é antecipar o trabalho de carregamento. A previsão ajuda a organizar a computação; ela não substitui a seleção final de especialistas do modelo.

Considere o problema de implantação pela perspectiva de um desenvolvedor de aplicações. Um assistente pode ter capacidade computacional suficiente para gerar uma resposta e ainda assim permanecer lento porque sua próxima operação não dispõe dos pesos necessários. Tornar a aritmética mais rápida pouco ajuda quando a aritmética aguarda dados.

Manter todos os especialistas na memória de trabalho evita esse atraso específico, mas exige mais memória. Manter os pesos no armazenamento reduz a ocupação residente, mas introduz trabalho de carregamento. Restringir os especialistas disponíveis simplifica o acesso, ao mesmo tempo que pode alterar a computação que produz a resposta.

A abordagem proposta pela MiniCPM preserva o acesso ao conjunto completo de especialistas e gerencia quando os pesos chegam. Isso cria um alvo de engenharia diferente. A questão passa a ser se dados necessários em quantidade suficiente podem chegar durante a computação já em andamento.

É por isso que o anúncio de agendamento merece atenção além de uma manchete sobre tamanho do modelo. Uma grande contagem de parâmetros em um celular, por si só, diz pouco sobre a capacidade de resposta. A organização do carregamento e da execução determina se essa capacidade sustenta uma aplicação interativa.

Para os usuários, a distinção aparece como continuidade. Uma resposta que começa a produzir texto e depois pausa repetidamente transmite uma sensação diferente de uma resposta com saída mais estável. A velocidade média de geração captura parte dessa experiência, mas a sequência de atrasos também importa.

A relevância prática, portanto, repousa sobre o runtime, o software responsável por executar o modelo. Somente os pesos do modelo não podem estabelecer que toda aplicação compatível reproduzirá o mesmo comportamento. A implantação relevante combina o modelo, a organização do armazenamento, a implementação do agendamento e a configuração numérica.

Esse sistema combinado é o verdadeiro objeto da alegação. Ele fornece uma base concreta para investigação sem exigir a aceitação de todos os superlativos associados ao lançamento.

Preservar a Escolha de Especialistas Pressiona Atalhos de Implantação Móvel

A pressão imediata recai sobre estratégias de implantação que ganham velocidade ao restringir o conjunto de especialistas disponível ao modelo.

Uma restrição de especialistas pode parecer atraente quando memória e tempo de carregamento dominam o orçamento de uma aplicação. Menos pesos disponíveis significam menos requisitos possíveis de carregamento. A dificuldade é que uma otimização que afeta a disponibilidade de especialistas também pode afetar o comportamento do modelo.

Isso cria uma decisão que os desenvolvedores precisam tomar explicitamente. Eles estão otimizando a execução do modelo original ou implantando um caminho computacional modificado? Ambas as abordagens merecem avaliação, mas suas alegações de qualidade exigem evidências diferentes.

Um sistema de agendamento promete uma separação útil. Os desenvolvedores podem investigar a eficiência de execução enquanto mantêm intacto o mecanismo de seleção do modelo. Isso facilita identificar se uma mudança afeta a velocidade, a qualidade das respostas ou ambas.

Isso também altera a comparação com modelos menores. Um modelo compacto que permanece na memória pode oferecer um caminho de implantação mais simples. Um modelo maior transmitido por streaming precisa justificar sua complexidade adicional de armazenamento e runtime com melhores resultados em tarefas relevantes.

Nenhum dos dois caminhos vence apenas pela contagem de parâmetros. Uma aplicação que extrai um campo curto de um documento conhecido pode se beneficiar mais de uma latência previsível do que de uma capacidade de raciocínio mais ampla. Um sistema que interpreta diagramas desconhecidos pode atribuir maior peso à qualidade das respostas.

Esses são cenários de implantação, não resultados verificados de clientes da MiniCPM. Eles ilustram por que o mesmo benchmark pode sustentar decisões de produto diferentes. O valor depende do que os usuários perguntam e das falhas que a aplicação pode tolerar.

A comparação histórica também é instrutiva. A pesquisa de inferência baseada em flash da Apple investigou a execução de modelos além da memória de trabalho disponível por meio de carregamento seletivo e acesso mais eficiente ao armazenamento. Seus métodos diferem do LES, mas a restrição compartilhada é o movimento de dados.

Esse precedente limita adequadamente a alegação de novidade. Usar armazenamento flash para oferecer suporte a modelos maiores tem uma história estabelecida de pesquisa. A contribuição específica sob exame diz respeito a antecipar os requisitos dos especialistas e coordenar sua execução.

Para equipes de hardware móvel, esse enquadramento redireciona a atenção para todo o caminho de memória e armazenamento. A capacidade computacional continua relevante, mas uma implantação pode parar antes de atingir seus limites aritméticos. Avaliar o processador isoladamente deixa essa possibilidade de fora.

Para equipes de aplicações, isso levanta uma questão de aquisição. Um dispositivo com especificações computacionais atraentes ainda precisa ser testado em relação ao runtime e à carga de trabalho pretendidos. O comportamento do armazenamento, a memória disponível e as condições operacionais passam a fazer parte do perfil de desempenho da aplicação.

A implicação competitiva é, portanto, uma exigência de engenharia, e não uma vitória de mercado declarada. As alternativas precisam mostrar como equilibram qualidade, capacidade de resposta e uso de recursos em condições comparáveis. A MiniCPM precisa atender ao mesmo padrão.

Se a abordagem de agendamento se reproduzir de forma confiável, restringir especialistas se torna mais difícil de justificar como uma necessidade automática. Continua sendo uma escolha de design cujo custo de qualidade e benefício de desempenho devem ser visíveis.

Como o MiniCPM LES Preserva o Roteamento Enquanto Oculta Atrasos de Carregamento

O LES usa previsão para preparar a computação, enquanto o roteador real continua responsável por selecionar os especialistas que serão executados.

A documentação oficial de agendamento de especialistas descreve previsão entre camadas seguida de pré-carregamento, que carrega pesos provavelmente necessários antes que a execução os alcance. Os especialistas antecipados corretamente são executados primeiro. Outros especialistas necessários são carregados em paralelo com essa computação.

Uma previsão errada, portanto, cria espera adicional em vez de permissão para ignorar um especialista necessário. Essa distinção explica a alegação da equipe de agendamento sem perdas. Ela se refere à preservação da participação dos especialistas, em vez de supor que as previsões sempre correspondam à seleção final.

A documentação também descreve a organização contígua dos pesos, a redução de leituras dispersas e a aplicação de precisão mista específica por camada. A quantização, a representação dos pesos com precisão numérica reduzida, diminui as demandas de armazenamento e transferência. Essas mudanças enfrentam partes diferentes do problema de carregamento.

O mecanismo sugere várias implicações úteis, embora exijam medição em implantações reais. A precisão da previsão, por si só, não pode determinar o benefício total. Uma previsão correta que chega tarde demais pode economizar pouco tempo de espera.

Da mesma forma, carregar os pesos certos antecipadamente só ajuda se o dispositivo puder sobrepor trabalho útil. Se outro recurso se tornar o fator limitante, o mesmo agendador poderá produzir um ganho diferente. O desempenho pertence ao ambiente completo de execução.

Previsões incorretas também merecem atenção. O pré-carregamento de algo desnecessário consome recursos, mesmo quando deixa a seleção de especialistas inalterada. A questão útil é se os atrasos evitados superam esse trabalho adicional em solicitações representativas.

Isso torna a seleção da carga de trabalho central para a avaliação. Um benchmark deve expor situações em que o agendamento funciona bem e situações em que enfrenta dificuldades. Uma média sem essa distribuição pode ocultar padrões que importam para a confiabilidade da aplicação.

Por exemplo, um assistente de documentos pode encontrar layouts conhecidos em uma sessão e estruturas visuais incomuns em outra. Os avaliadores devem investigar se essas mudanças alteram a capacidade de resposta. O mecanismo lhes dá um motivo para perguntar; não estabelece a resposta.

A abordagem também separa duas previsões que os leitores podem facilmente confundir. O pré-carregamento de especialistas antecipa quais pesos uma computação futura exigirá. A decodificação especulativa, que redige tokens candidatos de saída para verificação posterior, diz respeito ao próprio processo de geração.

A MiniCPM integra o DSpark como seu componente especulativo. Isso cria outra oportunidade para melhorar o throughput, mas também torna a atribuição mais importante. Uma aceleração atribuída amplamente ao LES pode conter contribuições de agendamento, acesso ao armazenamento, representação numérica e redação de tokens.

Para desenvolvedores, a vantagem conceitual é suficientemente clara para ser testada. Preserve o trabalho necessário e reorganize a preparação e a execução para reduzir o tempo ocioso. O desafio prático é tornar essa reorganização benéfica sob as restrições reais do dispositivo.

Essa é uma proposição mais forte e específica do que alegar que um modelo grande simplesmente cabe em uma pequena alocação de memória. Ela identifica o tempo de espera que a implementação visa reduzir e o comportamento do modelo que afirma preservar.

O Resultado de 20,51 Tokens Combina Várias Otimizações

O resultado publicado para celular pertence à pilha completa de otimizações, e não apenas ao agendamento antecipado.

Os benchmarks no dispositivo da OpenBMB listam o iPhone 18 Pro Max com 12 GB de memória do dispositivo. Os resultados detalhados começam em 3,38 tokens por segundo para a linha de base. O agendamento lookahead chega a 6,57; alterações adicionais de agendamento e carregamento alcançam 11,34.

A quantização de precisão mista eleva o resultado reportado para 17,16 tokens por segundo. A adição do DSpark leva o valor a 20,51, ou 6,07 vezes a linha de base. O resultado correspondente do iPad Pro M4 totalmente otimizado é de 17,39 tokens por segundo.

Esses números sustentam uma interpretação concreta: várias etapas contribuem para o resultado. Eles não sustentam descrever toda a aceleração como efeito isolado da previsão de especialistas. Desenvolvedores que tentarem reproduzir o resultado de destaque precisam da configuração relevante para cada etapa.

A linha de base merece o mesmo escrutínio. Uma comparação com uma implementação sem essas otimizações demonstra uma melhoria em relação àquela implementação. Ela não estabelece automaticamente superioridade sobre todos os runtimes ou métodos de implantação alternativos.

Esse é um problema interpretativo comum em benchmarks de sistemas. Um grande ganho relativo pode coexistir com um ponto de partida modesto. Os leitores precisam tanto do resultado absoluto quanto de uma descrição clara do que mudou.

A memória total do telefone também responde a uma questão diferente da pegada de memória de trabalho reportada pelo modelo. A capacidade do dispositivo descreve o ambiente de hardware. A memória da aplicação descreve os recursos consumidos nesse ambiente, sujeita ao método de medição.

O armazenamento persistente acrescenta outra dimensão. Os arquivos oficiais do modelo quantizado listam a variante Q4_K_M com 21,2 GB. Essa listagem ilustra por que uma alegação de baixa memória residente nunca deve ser interpretada como um download igualmente pequeno.

A listagem de arquivos não estabelece que esse artefato exato produziu todos os benchmarks publicados. Ainda é necessário corresponder o benchmark aos seus arquivos de pesos precisos. Caso contrário, os desenvolvedores correm o risco de comparar representações numéricas diferentes sob o mesmo nome de modelo.

A distinção tem consequências diretas para o produto. Um aplicativo móvel deve acomodar instalação, atualizações do modelo, armazenamento disponível e comportamento de inicialização. Uma configuração que gera com eficiência após a preparação ainda precisa proporcionar uma experiência aceitável antes de a geração começar.

A velocidade de decodificação mede a geração de saída quando a decodificação já está em andamento. Ela não deve ser tratada como o intervalo completo entre enviar uma imagem e receber uma resposta útil. O processamento e a preparação da entrada exigem suas próprias medições.

Da mesma forma, tokens são unidades usadas pelo modelo, e não um número fixo de palavras em inglês. Um número de throughput oferece uma comparação técnica sob condições declaradas. Ele não se traduz diretamente em uma experiência universal de leitura ou fala.

O resultado reportado é, portanto, significativo, mas limitado. Ele mostra o que a equipe afirma que sua implementação combinada alcança em hardware identificado. Testes independentes devem determinar como esse resultado se transfere para sessões realistas de aplicações.

“Sem perdas” precisa de um ponto de referência definido

Preservar o roteamento de especialistas sustenta uma alegação técnica restrita; não estabelece comportamento idêntico em todas as configurações de precisão, tarefas e dispositivos.

A interpretação mais forte da descrição de agendamento diz respeito à seleção. Os especialistas necessários continuam elegíveis, e um erro de previsão não os remove do cálculo. Essa propriedade aborda um risco de qualidade específico introduzido pela restrição do conjunto disponível de especialistas.

A implantação móvel completa levanta questões adicionais. A quantização altera a representação dos pesos. Portanto, a comparação de qualidade apropriada precisa identificar qual modelo de referência e qual configuração numérica definem a linha de base.

Uma alegação sobre preservar o roteamento não deve se transformar silenciosamente em uma alegação de correspondência com todas as saídas de um modelo de maior precisão. Essas afirmações dizem respeito a propriedades diferentes. Os avaliadores precisam de evidências adequadas para cada uma delas.

Da mesma forma, preservar um procedimento de geração não estabelece que suas respostas estão corretas. Um modelo pode ser executado conforme o planejado e ainda assim interpretar mal um gráfico, entender incorretamente uma solicitação ou inventar um detalhe. A fidelidade do runtime e a precisão da tarefa exigem avaliações separadas.

Nenhuma reprodução independente do benchmark de destaque no telefone foi estabelecida pelas fontes revisadas para esta análise. Essa limitação não invalida o resultado reportado. Ela determina o grau de confiança com que os leitores devem generalizar a partir dele.

A mesma cautela se aplica ao enquadramento de “primeiro” da empresa. Estabelecer prioridade exige um conjunto de comparação definido e definições consistentes. Termos como fluido, em tempo real e sem perdas precisam de limites mensuráveis antes de sustentarem uma classificação universal.

Em tempo real depende especialmente da aplicação. Uma resposta escrita transmitida em streaming pode tolerar atrasos que interromperiam uma interação ao vivo. Um limiar técnico de throughput não pode estabelecer adequação para todas as interfaces.

Sessões mais longas introduzem outro teste importante. Os avaliadores devem medir solicitações repetidas, mudanças nas condições do dispositivo e atividade concorrente de aplicações. Essas são questões de durabilidade operacional, e não evidências de que a implementação reportada necessariamente se deteriora.

Os testes de qualidade das respostas devem incluir falhas que os usuários possam reconhecer. Em um fluxo de trabalho hipotético de despesas, isso significa verificar se as entradas extraídas correspondem ao recibo. Na análise de documentos, significa verificar se as explicações permanecem fundamentadas na página fornecida.

Um fluxo de trabalho de conhecimento mais amplo acrescenta a recuperação, o processo de selecionar material armazenado relevante para uma resposta. Leitores que comparam bases de conhecimento pessoais devem avaliar essa camada separadamente da velocidade de geração do modelo. Uma saída mais rápida não pode compensar a seleção do documento-fonte errado.

A execução local também exige interpretação cuidadosa. Ela oferece uma opção de implantação para processar entradas no dispositivo, mas não descreve cada fluxo de dados em uma aplicação finalizada. A arquitetura da aplicação determina o que permanece local.

Essas distinções fortalecem a análise ao tornar as alegações testáveis. A questão deixa de ser se a “IA móvel sem perdas” parece plausível. Passa a ser qual comportamento permanece inalterado, quais recursos o sistema consome e quais medições demonstram o resultado.

MiniCPM LES oferece aos desenvolvedores uma proposta específica de agendamento para investigar. A aceitação deve seguir resultados reproduzíveis e verificações de qualidade no nível da aplicação, com cada conclusão vinculada à propriedade efetivamente medida.

Três sinais mostrarão se a abordagem se transfere para produtos

As próximas evidências devem conectar reprodutibilidade, uso sustentado e disponibilidade da implementação, nessa ordem.

O primeiro sinal é uma reprodução independente com artefatos e configurações identificáveis. Nos próximos meses, o resultado útil incluiria arquivos exatos do modelo, revisão do runtime, prompts e limites de medição. Esses detalhes permitiriam que outros desenvolvedores examinassem a mesma alegação.

Uma reprodução deve reportar mais do que sua melhor execução. A variação entre solicitações importa quando as equipes planejam um serviço interativo. Resultados consistentes reforçariam a confiança de que a velocidade publicada representa uma configuração utilizável.

Um resultado inferior exigiria interpretação, e não descarte imediato. Arquivos de pesos ou configurações diferentes podem explicar uma diferença. Uma divergência reproduzível sob condições correspondentes enfraqueceria mais diretamente a alegação original de desempenho.

O segundo sinal é o teste sustentado em cargas de trabalho representativas. Os avaliadores devem acompanhar solicitações completas desde o envio da entrada até a conclusão da resposta. Também devem verificar a qualidade juntamente com a capacidade de resposta, pois uma saída incorreta mais rápida cria pouco valor para o produto.

É aqui que a inferência MoE móvel passa de uma demonstração técnica para uma decisão de aplicação. Uma avaliação útil mostraria se os benefícios persistem durante solicitações repetidas de documentos ou imagens. Ela também identificaria condições nas quais um modelo residente menor continua sendo preferível.

Resultados entre dispositivos esclareceriam o escopo. Comportamento semelhante em hardware adicional sustentaria uma aplicabilidade mais ampla. Resultados concentrados em uma configuração restrita indicariam uma oportunidade de implantação mais especializada.

O terceiro sinal é a integração acessível da pilha de otimização necessária. Os desenvolvedores precisam de um caminho claro dos pesos publicados até a implementação por trás do benchmark. A documentação deve tornar inequívocas as escolhas necessárias de runtime e artefatos.

Essa disponibilidade importa porque compatibilidade e desempenho equivalente são conquistas separadas. Carregar um modelo compatível não garante que uma aplicação habilite todas as otimizações de agendamento e armazenamento. Reproduzir a configuração completa é o marco relevante.

Uma integração clara reforçaria o argumento de que se trata de infraestrutura reutilizável para aplicações móveis. Instruções fragmentadas ou resultados dependentes de configuração tornariam a adoção mais difícil, mesmo que a técnica subjacente permaneça sólida.

Para equipes que consideram um piloto, o próximo passo apropriado é uma avaliação delimitada usando material semelhante a solicitações reais de usuários. Inclua os documentos difíceis e as imagens problemáticas que revelam se a capacidade adicional do modelo melhora a resposta. Meça o tempo de espera percebido pelos usuários, juntamente com o uso de recursos e a correção. Mantenha a configuração de referência fixa ao avaliar cada otimização, para que as melhorias permaneçam atribuíveis. MiniCPM LES merece atenção porque oferece uma forma concreta de preservar a escolha de especialistas enquanto reduz atrasos de carregamento. Antes de desenvolver em torno da velocidade de destaque, pergunte se essa mesma configuração entrega respostas confiáveis em todo o fluxo de trabalho móvel pretendido.