Kimi Linear Acabou de Superar a Atenção Completa em Seus Próprios Termos

Kimi Linear deu à Moonshot AI um resultado que pesquisadores de atenção linear perseguiam há anos: qualidade reportada superior à da atenção completa em três cenários exigentes. A empresa afirma que sua arquitetura liderou testes de contexto curto, avaliações de contexto longo e aprendizado por reforço sob condições de treinamento equivalentes.

Os números de eficiência reforçam esse desafio. A Moonshot reporta até 75% menos uso de cache de chave-valor e decodificação 6,3 vezes mais rápida em um contexto de um milhão de tokens. Esses ganhos vêm da substituição da maior parte das camadas de atenção global por Kimi Delta Attention, mantendo camadas globais ocasionais.

Esse design híbrido coloca a atenção completa, especificamente Multi-Head Latent Attention, sob pressão. A atenção completa permaneceu a escolha mais segura em termos de qualidade, apesar de seus crescentes custos de memória e computação. A Moonshot argumenta que os desenvolvedores de modelos não precisam mais aceitar essa troca.

As evidências são substanciais, mas não definitivas. As comparações vêm dos próprios experimentos da Moonshot, usando uma família de modelos e seu sistema interno de treinamento. Pesos abertos, kernels e código de serving tornam as alegações incomumente testáveis, mas o comportamento em produção ainda depende da correção do software e das condições de hardware.

Kimi Linear Muda a Relação de Compromisso da Atenção

A Moonshot não apresenta Kimi Linear como um compromisso menor. Ela apresenta a arquitetura como uma substituição mais forte para a atenção completa.

O relatório técnico descreve um modelo mixture-of-experts com 48 bilhões de parâmetros totais e 3 bilhões de parâmetros ativos. Parâmetros ativos são o subconjunto usado para cada token, que em grande medida determina a computação necessária durante a inferência.

O modelo combina Kimi Delta Attention, ou KDA, com Multi-Head Latent Attention, ou MLA. KDA é um mecanismo recorrente de atenção linear que mantém um estado de tamanho fixo em vez de armazenar cada chave e valor anteriores.

MLA é uma forma comprimida de atenção global associada aos designs de modelo da DeepSeek. Ela reduz os requisitos de cache em comparação com a atenção multi-head convencional, mas seu cache ainda cresce com a sequência.

A Moonshot usa três camadas KDA para cada camada MLA. As camadas globais preservam o acesso direto ao longo do contexto, enquanto as camadas lineares processam a maior parte dos tokens por meio de atualizações de estado recorrente.

Essa proporção importa porque a atenção linear pura ainda enfrenta um problema de capacidade de memória. Um estado fixo precisa comprimir uma sequência inteira em uma representação limitada. Detalhes podem colidir, desaparecer ou se tornar difíceis de recuperar à medida que as entradas crescem.

A atenção completa evita esse gargalo específico ao preservar representações dos tokens anteriores. Cada novo token pode se comparar diretamente ao histórico armazenado, embora o cache resultante cresça com o comprimento do contexto.

Kimi Linear não finge que essa restrição de estado finito desapareceu. Em vez disso, a arquitetura atribui trabalhos diferentes a dois mecanismos. KDA oferece processamento local e recorrente eficiente, enquanto camadas MLA periódicas restauram o acesso global.

A Moonshot treinou seus principais modelos de comparação em 1,4 trilhão de tokens com a mesma receita. Segundo o relatório, Kimi Linear superou a linha de base full-MLA em todas as avaliações de pré-treinamento de contexto curto listadas.

Sua pontuação no MMLU-Pro chegou a 51,0, em comparação com 47,2 para MLA completo. Kimi Linear também obteve 73,8 no MMLU, enquanto MLA atingiu 71,6.

O padrão se estendeu por HellaSwag, ARC-Challenge, Winogrande e Big-Bench Hard. As margens individuais variaram, mas a Moonshot não reportou nenhuma perda em contexto curto na comparação listada.

Esse resultado inverte o argumento usual contra a atenção linear. Historicamente, as equipes aceitavam métodos lineares porque eles reduziam os custos de inferência, não porque melhoravam de forma consistente a qualidade em benchmarks convencionais.

Pesquisas como linear transformers estabeleceram o argumento computacional anos atrás. Reordenar os cálculos de atenção poderia tornar o processamento autorregressivo linear no comprimento da sequência e manter um estado recorrente de tamanho constante.

A qualidade continuava sendo o problema mais difícil. A atenção Softmax conseguia formar conexões precisas e dependentes de conteúdo ao longo de uma sequência. Alternativas lineares iniciais frequentemente perdiam precisão, especialmente quando as tarefas exigiam recuperação exata ou associações complexas.

Kimi Linear, portanto, muda mais do que uma classificação em benchmark. Ele fornece evidências de que um híbrido cuidadosamente projetado pode mover eficiência e qualidade na mesma direção.

Essas evidências criam a tensão central do artigo. Se testes independentes apoiarem os resultados da Moonshot, a atenção completa deixará de ser o padrão automático para modelos de contexto longo sensíveis à qualidade.

Por Que a Decodificação de Contexto Longo Coloca a Atenção Completa sob Pressão

A vantagem decisiva aparece durante a geração, quando cada token adicional obriga um modelo de atenção completa a revisitar um cache em expansão.

Um cache de chave-valor armazena as representações de atenção dos tokens anteriores. Ele evita que um modelo recalcule todo o seu histórico a cada etapa de decodificação.

O cache ainda cresce à medida que a conversa, o documento ou a trajetória do agente se alonga. Esse crescimento consome memória do acelerador e reduz o número de solicitações que um servidor consegue processar em conjunto.

MLA já comprime esse cache substancialmente. Ainda assim, a Moonshot reporta que Kimi Linear reduz o uso de cache em até mais 75% em comparação com sua linha de base full-MLA.

O motivo vem da combinação de camadas. Apenas um quarto das camadas de atenção usa MLA e exige um cache dependente do comprimento da sequência. As três camadas KDA mantêm estados recorrentes cujo tamanho não aumenta a cada token.

Essa distinção se torna importante para cargas de trabalho intensivas em decodificação. Agentes de programação de longa duração, sistemas de pesquisa e assistentes que usam ferramentas podem gerar trajetórias extensas depois de receber entradas grandes.

Um benchmark de contexto convencional costuma enfatizar o prefill, o processamento inicial de uma entrada. As cargas de trabalho de agentes acrescentam outro fardo, porque a geração pode continuar por muitas etapas de raciocínio e respostas de ferramentas.

A Moonshot mediu o tempo por token de saída em comprimentos de decodificação crescentes. Em um milhão de tokens, o relatório lista 1,84 milissegundo para Kimi Linear e 11,48 milissegundos para MLA.

Essa é a base para a vantagem reportada de 6,3 vezes. A diferença era menor em comprimentos mais curtos e aumentava à medida que o cache MLA exercia maior pressão sobre a memória e o batching.

A comparação não significa que toda implantação produzirá seis vezes mais tokens por segundo. O resultado da Moonshot reflete uma configuração específica de hardware, configuração de modelo, regime de batching e implementação.

O throughput também difere da latência de uma única solicitação. Um cache menor permite que um servidor acomode batches maiores, o que pode elevar o throughput total mesmo quando a computação individual muda menos drasticamente.

O relatório mostra uma vantagem mais modesta no prefill. Em um comprimento de entrada de um milhão de tokens, Kimi Linear teria processado o prompt 2,9 vezes mais rápido que MLA.

Essas medições explicam por que a arquitetura mira agentes, e não apenas sumarização de documentos. Um sistema que lê uma vez e responde brevemente obtém menos valor da decodificação com estado constante.

Um sistema que raciocina repetidamente, chama ferramentas, recebe observações e continua gerando enfrenta uma curva de custo diferente. Seu histórico cresce durante a tarefa, precisamente quando a pressão sobre o cache se torna mais difícil de administrar.

Essa pressão alcança desenvolvedores de modelos, plataformas de inferência e compradores corporativos. Desenvolvedores precisam decidir se a atenção global em toda parte ainda justifica seu custo de serving.

Plataformas de inferência precisam de kernels e escalonadores que compreendam o estado de atenção recorrente. Compradores corporativos precisam de evidências de que o menor uso de memória se sustenta sob requisitos realistas de concorrência, recuperação e confiabilidade.

Para trabalho intensivo em conhecimento, o contexto longo também precisa de organização, e não apenas de capacidade bruta. Uma base de conhecimento pesquisável pode selecionar evidências relevantes antes que um modelo processe o conteúdo.

Kimi Linear não elimina essa necessidade arquitetural. Ele muda o custo de processar e estender qualquer contexto que a aplicação forneça.

A pressão de curto prazo, portanto, recai mais fortemente sobre os desenvolvedores de agentes de IA de longa duração. Eles agora têm uma implementação aberta que afirma oferecer melhor qualidade junto a uma curva de custo de decodificação mais plana.

Como Kimi Linear Usa uma Memória Recorrente Mais Inteligente

KDA melhora a atenção linear ao controlar, em um nível mais refinado, o que sua memória recorrente apaga e preserva.

Kimi Delta Attention estende Gated DeltaNet, uma arquitetura anterior que combina portas de decaimento com uma atualização de memória baseada em regra delta. O artigo sobre Gated DeltaNet reportou ganhos sobre Mamba2 e DeltaNet em tarefas de recuperação e linguagem.

Uma regra delta atualiza a memória de acordo com o erro de previsão. Em termos simplificados, o modelo tenta substituir uma associação chave-valor desatualizada em vez de adicionar continuamente novas informações.

Esse comportamento de atualização ajuda a evitar que a memória se torne uma soma descontrolada de tudo o que foi visto anteriormente. Ele também oferece ao estado recorrente uma forma de revisar associações anteriores.

Gated DeltaNet acrescenta um mecanismo de decaimento que determina a rapidez com que a memória desaparece. No entanto, uma única porta ainda pode se aplicar de modo amplo demais a um estado com muitos canais distintos.

KDA torna esse controle mais granular. Suas portas mais refinadas podem permitir que diferentes partes do estado esqueçam em ritmos diferentes, dependendo do token atual e das projeções aprendidas.

Isso importa porque o contexto útil não expira de maneira uniforme. Uma pista temporária de formatação pode se tornar irrelevante rapidamente, enquanto uma restrição do usuário ou uma definição de função deve permanecer disponível.

A arquitetura dá ao modelo mais controle sobre essa alocação. Ele ainda tem memória recorrente finita, mas pode usar essa capacidade de forma mais seletiva.

A Moonshot também projetou um algoritmo de treinamento em blocos para KDA. O processamento em blocos permite que o modelo processe grupos de tokens em paralelo durante o treinamento, em vez de aplicar cada atualização recorrente sequencialmente.

O relatório usa uma estrutura de transição especializada diagonal-mais-baixa-rank. Essa forma matemática torna o cálculo em blocos mais eficiente, preservando o comportamento pretendido da regra delta.

Esse trabalho de implementação é essencial. Uma arquitetura com complexidade atraente ainda pode falhar se seus kernels introduzirem overhead suficiente para eliminar o benefício teórico.

As medições de prefill da Moonshot indicam que KDA adiciona latência insignificante em comparação com o híbrido Gated DeltaNet testado no relatório. Ainda assim, ele apresentou resultados de benchmark melhores que essa linha de base.

A comparação com Gated DeltaNet também revela por que a atenção global permanece no design. Kimi Linear e o híbrido Gated DeltaNet ficaram próximos nas avaliações de contexto curto, com Kimi geralmente à frente.

Em um contexto de 128.000 tokens, o híbrido Gated DeltaNet obteve média de 51,2 no conjunto de contexto longo da Moonshot. MLA completo teve média de 52,2, enquanto Kimi Linear alcançou 54,5.

Portanto, a rota de eficiência pura não dominou a qualidade de contexto longo. O resultado mais forte veio da combinação de KDA com MLA periódico e do tratamento posicional escolhido pela Moonshot.

No RULER, um conjunto sintético que testa recuperação e manipulação em contextos longos, Kimi Linear obteve 84,3. MLA completo obteve 81,3, enquanto o híbrido Gated DeltaNet marcou 80,5.

Kimi Linear também liderou o RepoQA com 68,5, em comparação com 63,0 para ambas as linhas de base. O RepoQA testa a resposta a perguntas em repositórios de software, o que o torna relevante para sistemas de programação e busca de código.

Ele não liderou todas as tarefas de contexto longo. MLA obteve 36,1 no LongBench v2, em comparação com 35,0 do Kimi Linear. MLA também liderou a avaliação Frames por 60,5 a 58,8.

Essas exceções importam. Elas mostram que o KDA não eliminou todas as vantagens da atenção completa, mesmo dentro da própria avaliação da Moonshot.

O resultado agregado ainda favoreceu o híbrido. Mais importante, seus maiores ganhos de eficiência aparecem justamente onde a linha de base de atenção completa se torna mais cara.

É assim que o Kimi Linear funciona, sem transformar isso em um tutorial de produto. Ele trata a memória recorrente e o acesso global a tokens como recursos complementares e os distribui camada por camada.

Essa alocação é o mecanismo por trás da inversão. A Moonshot não fez a atenção linear imitar a atenção completa em todos os lugares. Ela manteve atenção global suficiente para cobrir o ponto mais fraco da memória recorrente.

O Aprendizado por Reforço Testa um Tipo Diferente de Memória

Os resultados de aprendizado por reforço da Moonshot sugerem que a arquitetura pode sustentar trajetórias geradas longas, e não apenas recuperar fatos de prompts extensos.

O aprendizado por reforço introduz um teste diferente do pré-treinamento. O modelo gera respostas, recebe recompensas e é atualizado em direção a comportamentos que obtêm melhores pontuações segundo o objetivo de treinamento.

Para modelos de raciocínio, essas saídas podem se tornar longas. Um modelo pode explorar cálculos, revisar etapas intermediárias ou produzir sequências extensas de uso de ferramentas antes de chegar a uma resposta.

A Moonshot comparou o Kimi Linear com o MLA completo usando aprendizado por reforço com recompensas verificáveis. RLVR usa resultados que podem ser verificados automaticamente, como a correção de uma resposta matemática.

A empresa afirma que ambos os modelos usaram o mesmo algoritmo e os mesmos hiperparâmetros. A Moonshot avaliou seu progresso em testes matemáticos, incluindo AIME 2025 e MATH 500.

Segundo o artigo, o Kimi Linear manteve melhor desempenho durante o processo de treinamento. Sua vantagem apareceu tanto nas curvas de precisão de treinamento quanto nas de avaliação em dados retidos.

Esse resultado importa porque o estado fixo da atenção linear poderia ter dificuldades com raciocínios extensos. Etapas anteriores importantes poderiam desaparecer à medida que a sequência gerada se expandisse.

As curvas da Moonshot sugerem que os controles de memória do KDA, combinados com camadas globais periódicas, preservaram estado útil suficiente para as cargas de trabalho de raciocínio testadas.

O relatório não fornece uma replicação independente dessa conclusão. Ele também usa o conjunto interno de treinamento matemático da Moonshot, que pesquisadores externos não podem inspecionar integralmente.

Hiperparâmetros equivalentes melhoram a justiça da comparação, mas não resolvem todas as questões. Um esforço de ajuste específico para a arquitetura poderia mudar os resultados absolutos ou reduzir a diferença.

Há outra interpretação a considerar. A arquitetura Kimi Linear pode oferecer uma vantagem de otimização para o sistema de treinamento da Moonshot, em vez de uma vantagem universal de qualidade.

Isso ainda seria útil, mas tornaria a alegação mais restrita. Outros tamanhos de modelo, misturas de dados, desenhos de recompensa e estruturas de treinamento podem produzir classificações diferentes.

A configuração mixture-of-experts de 48 bilhões de parâmetros também complica a generalização. Um modelo com 3 bilhões de parâmetros ativos não se comporta exatamente como um modelo denso do mesmo tamanho ativo.

Suas camadas de especialistas mantêm muito mais capacidade total do que a contagem de parâmetros ativos sugere. Os resultados podem depender da interação entre especialistas esparsos e a pilha de atenção híbrida.

Portanto, desenvolvedores devem separar três perguntas. O KDA melhora o modelo da Moonshot, a atenção linear híbrida melhora arquiteturas comparáveis e ela melhora uma carga de trabalho específica de produção?

O artigo fornece evidências encorajadoras para a primeira pergunta e uma pista de pesquisa crível para a segunda. Apenas uma avaliação no nível da carga de trabalho pode responder à terceira.

Para um agente empresarial, a precisão em benchmarks não é suficiente. O sistema precisa preservar instruções, citar as evidências corretas, lidar com falhas de ferramentas e permanecer estável em interações repetidas.

Uma arquitetura de estado recorrente também pode ser mais difícil de inspecionar. A atenção completa expõe um cache diretamente vinculado aos tokens anteriores, enquanto o KDA comprime o histórico em matrizes de estado aprendidas.

Essa compressão é sua fonte de eficiência. Ela também torna as falhas menos intuitivas quando o modelo esquece ou sobrescreve algo importante.

Assim, o aprendizado por reforço fortalece o argumento da Moonshot sem encerrar a questão. Ele mostra que a arquitetura permaneceu competitiva sob um regime de treinamento com saídas longas que pressiona diretamente a memória.

Código Aberto Torna as Alegações Testáveis, e a Pilha de Software Acrescenta Risco

O lançamento aberto do Kimi Linear reduz a barreira de verificação, mas a correção da implementação agora se torna parte da correção do modelo.

A Moonshot lançou checkpoints pré-treinados e ajustados por instruções junto com o artigo. Ela também publicou o kernel KDA e uma implementação para o mecanismo de inferência vLLM.

O repositório oficial descreve uma implantação vLLM compatível com OpenAI, com comprimento máximo de modelo de 1.048.576 tokens. Ele documenta a mesma proporção de três para um entre camadas KDA e MLA.

Pesquisadores podem inspecionar a arquitetura, executar avaliações controladas e comparar o consumo de memória. Equipes de infraestrutura podem analisar o desempenho dos kernels em vez de depender apenas de gráficos em um relatório.

Os pesos do modelo também permitem testes direcionados de falhas. Avaliadores podem variar a posição da evidência, introduzir fatos concorrentes ou estender a geração após um longo prefill.

Essa abertura é particularmente importante para um novo mecanismo de atenção. Pequenos erros no layout de estado, nos limites de blocos, no cache ou no processamento em lotes podem corromper silenciosamente o comportamento em contexto longo.

Um posterior relatório de bug do vLLM ilustra esse risco. O relatório identificou um aparente erro de layout de estado recorrente que afetava o prefill em blocos do KDA em várias versões do vLLM.

O relator constatou que prompts curtos permaneciam coerentes, enquanto a recuperação em contexto longo falhava. Um teste de agulha retornou texto de preenchimento próximo em vez da frase solicitada.

O problema foi marcado como concluído, mas sua existência traz uma lição mais ampla. Uma arquitetura de modelo avaliada em benchmarks e um caminho de serviço em produção não são o mesmo artefato.

O serviço de atenção completa tem anos de otimização, testes e experiência operacional por trás dele. O KDA exige kernels mais recentes e lógica de gerenciamento de estado em múltiplos backends de hardware.

O vLLM agora expõe um módulo Kimi Linear, o que melhora a acessibilidade. A compatibilidade não garante desempenho ou confiabilidade idênticos entre versões.

Equipes que avaliam o modelo devem fixar versões exatas do software. Elas devem testar recuperação após prefill longo, decodificação em lote, cache de prefixo e comportamento de estado nos limites dos blocos.

Elas também devem medir a concorrência real. O maior benefício de throughput apresentado no artigo depende em parte de usar a memória economizada para lotes maiores.

Se uma aplicação atende apenas a uma solicitação de baixo volume, o ganho operacional pode ser diferente. Uma plataforma de agentes com alta concorrência poderia se beneficiar muito mais do cache menor.

O hardware também importa. Kernels especializados podem se comportar de maneira diferente entre arquiteturas NVIDIA ou aceleradores alternativos. A disponibilidade de kernels pode determinar se a eficiência teórica chega à produção.

A validação mais forte combinaria testes independentes de qualidade com medições de serviço de ponta a ponta. Avaliadores devem informar hardware, precisão, tamanho de lote, comprimento de entrada, comprimento de saída e commit de software.

Eles também devem comparar com MLA otimizado, e não apenas com a atenção convencional de múltiplas cabeças. A Moonshot escolheu MLA como linha de base, tornando mais exigente a redução de cache alegada.

O lançamento merece crédito por possibilitar esse trabalho. Muitas alegações sobre arquitetura chegam sem pesos ou código eficiente, deixando terceiros incapazes de reproduzir o resultado central.

Ainda assim, artefatos abertos não tornam automáticas as conclusões do artigo. Eles transformam uma alegação de empresa em uma proposição de engenharia falsificável.

O Que Observar Após o Lançamento do Kimi Linear

O próximo veredito depende de replicação independente, suporte de serviço estável e adoção em modelos de produção maiores.

O primeiro sinal é a replicação de benchmarks sob condições de treinamento equivalentes. Equipes independentes precisam comparar o KDA híbrido com atenção completa usando contagens de parâmetros, dados e orçamentos de treinamento equivalentes.

Comparações apenas de inferência não conseguem isolar a contribuição da arquitetura. Um modelo pode diferir em qualidade dos dados, roteamento de especialistas, otimização ou pós-treinamento.

Os estudos mais valiosos treinarão múltiplas arquiteturas do zero. Eles devem abranger modelagem de linguagem de contexto curto, recuperação em contexto longo, tarefas de código e aprendizado por reforço.

Ganhos consistentes fortaleceriam a alegação central da Moonshot. Resultados mistos sugeririam que o Kimi Linear funciona melhor sob escalas ou receitas de treinamento específicas.

O segundo sinal é a confiabilidade de serviço entre versões do vLLM e plataformas de hardware. Testes de contexto longo devem se tornar verificações rotineiras de regressão para o gerenciamento de estado do KDA.

Um suporte estável tornaria a arquitetura crível para agentes de produção. Falhas recorrentes de estado ou kernel enfraqueceriam o argumento, independentemente dos resultados do modelo no artigo.

As equipes devem observar se as ferramentas de implantação suportam reutilização de prefixos, quantização, decodificação especulativa e processamento contínuo em lotes sem sacrificar a correção do KDA. Esses recursos moldam a economia real de serviço.

O terceiro sinal é a adoção arquitetural. O endosso mais forte seria o KDA aparecer em sistemas maiores da Moonshot ou em famílias de modelos não relacionadas.

A adoção mostraria que a Moonshot considera o design escalável além de um checkpoint de pesquisa. O uso externo indicaria que outras equipes conseguem reproduzir suas vantagens de treinamento e inferência.

Implantações maiores também exporão o design a cargas de trabalho mais difíceis. Tarefas multiagente, programação em escala de repositório, síntese de pesquisa e uso prolongado de ferramentas podem pressionar a memória de forma diferente das suítes acadêmicas.

Os leitores não devem reduzir a história a uma alegação de velocidade seis vezes maior. Esse número representa o ponto mais favorável de decodificação em contexto longo na configuração reportada pela Moonshot.

O desenvolvimento mais amplo é um desafio crível ao status da atenção completa como padrão orientado à qualidade. O Kimi Linear combina eficiência recorrente com acesso global suficiente para evitar o compromisso habitual.

Para desenvolvedores, a pergunta prática é específica: a arquitetura preserva as evidências e instruções de que sua aplicação precisa durante uma geração longa?

Para equipes de infraestrutura, a pergunta diz respeito à capacidade utilizável. O cache reduzido se traduz em lotes seguros maiores, menor latência ou menos aceleradores sob tráfego representativo?

Para compradores empresariais, a confiabilidade deve vir antes dos rótulos de arquitetura. Peça aos fornecedores testes de recuperação em contexto longo, versões de software, premissas de concorrência e análise de falhas.

O Kimi Linear agora dá ao setor algo concreto para testar. Execute-o com seus prompts reais mais longos, estenda a saída e verifique o que permanece. Se resultados independentes corresponderem ao relatório da Moonshot, a atenção completa precisará de uma defesa mais forte do que a familiaridade.