Modelo Kyutai REKI adiciona memória a robôs sem o custo computacional habitual
A Kyutai lançou um modelo robótico de 2,4 bilhões de parâmetros que se lembra de observações recentes, acrescentando apenas 0,1 milissegundo a cada previsão de ação medida. O modelo Kyutai REKI incorpora essa memória em seu especialista em ações, evitando o processamento repetido de quadros anteriores da câmera. O design mira uma tensão persistente no aprendizado robótico: a memória ajuda na manipulação, mas o contexto histórico frequentemente eleva os custos de treinamento e inferência.
REKI, sigla para Registering Knowledge in Vision-Language-Action Models, combina uma base de visão e linguagem com um módulo menor que prevê ações robóticas. A Kyutai afirma que 32 tokens de registro persistentes permitem ao modelo reter informações de quadros recentes. Os registros permanecem disponíveis enquanto o robô prevê seu próximo bloco de ações.
Essa abordagem pressiona sistemas que obtêm contexto temporal ao inserir várias imagens em um modelo maior de visão e linguagem. Também desafia a premissa de que políticas de manipulação mais fortes precisam depender de modelos maiores ou coleções privadas de treinamento. O REKI usa dados públicos, publica seu pipeline de treinamento e relata resultados competitivos frente a modelos com substancialmente mais parâmetros.
O resultado não prova que um modelo robótico compacto e aberto possa substituir todas as alternativas maiores. Suas evidências mais fortes vêm de benchmarks de simulação e demonstrações controladas com robôs reais. Ainda assim, sua arquitetura apresenta um argumento específico e testável: a memória de curto prazo pertence à geração de ações, onde pode permanecer barata e diretamente útil.
O modelo Kyutai REKI torna a memória parte da geração de ações
A principal mudança do REKI é arquitetural: o contexto visual recente se torna uma parte armazenada em cache do especialista em ações, em vez de outra entrada visual cara.
Um modelo de visão-linguagem-ação, ou VLA, converte imagens e instruções em linguagem em ações físicas. No REKI, um modelo de visão e linguagem Qwen3.5-2B primeiro codifica as visualizações da câmera e a instrução. Em seguida, um especialista em ações de 200 milhões de parâmetros lê essa representação e gera uma sequência de ações por meio de flow matching.
Flow matching é um método generativo que transforma uma sequência inicial de ações ruidosa em uma trajetória utilizável ao longo de várias etapas de refinamento. O REKI usa dez etapas de Euler durante os testes de latência relatados pela Kyutai. O estado do robô e o tempo de fluxo atual entram no especialista em ações por meio de normalização adaptativa.
O modelo completo contém 2,4 bilhões de parâmetros. Segundo a arquitetura oficial do REKI, cerca de 2,2 bilhões pertencem à base de visão e linguagem. Os 200 milhões restantes formam o especialista em ações.
A adição importante é um conjunto de 32 tokens de registro aprendidos para cada quadro observado. Esses tokens resumem a instrução codificada e as visualizações da câmera. Em seguida, permanecem em um cache de chave-valor, que armazena informações de atenção reutilizáveis para previsões posteriores de ações.
O REKI treina em janelas contendo três quadros de um episódio. Esses quadros são amostrados com um segundo de intervalo. Durante a inferência, o modelo retém registros dos dois quadros anteriores e descarta o conjunto mais antigo quando chega um novo quadro.
Essa janela fornece à política um breve registro do que ela viu recentemente. Assim, um robô pode distinguir uma ação em andamento de um estado recém-encontrado. Ele não precisa inferir tudo apenas a partir da imagem mais recente.
Os tokens de registro nunca prestam atenção aos tokens de ação gerados. Eles dependem das observações, e não de um estado específico do robô, tempo de fluxo ou etapa de remoção de ruído. Consequentemente, a Kyutai pode calculá-los uma vez por quadro e reutilizá-los durante toda a geração de ações.
Essa separação importa porque a geração de ações baseada em fluxo repete vários cálculos. Recalcular o contexto visual histórico em cada etapa de refinamento multiplicaria o custo. O REKI mantém estável o resumo das observações enquanto seus tokens de ação continuam mudando.
A Kyutai relata que prever um bloco a partir de duas imagens de câmera de 256 por 256 leva 21,8 milissegundos em uma Nvidia H100. Ler os registros armazenados em cache adiciona 0,1 milissegundo. Cada quadro retido acrescenta aproximadamente 2 MiB de memória GPU.
Essas medições se aplicam à implementação compilada da Kyutai e ao hardware especificado. Elas não estabelecem a latência em aceleradores menores ou em sistemas robóticos completos. Captura de câmera, rede, lógica de segurança e controle de atuadores podem aumentar o tempo de resposta de ponta a ponta.
Ainda assim, o resultado arquitetural é concreto. O REKI adiciona uma janela temporal limitada sem reexecutar um modelo maior sobre todos os quadros passados. Também evita uma rede de memória separada que exigiria outro caminho de treinamento e inferência.
A Kyutai lançou o modelo pré-treinado e vários checkpoints específicos para benchmarks por meio do cartão do modelo REKI. Os pesos usam uma licença não comercial com compartilhamento pela mesma licença, enquanto o código que os acompanha usa a Licença MIT. Essa distinção importa para organizações que avaliam implantação comercial.
Memória robótica eficiente muda a equação de custos
O modelo Kyutai REKI argumenta que uma memória robótica útil não exige um contexto de vídeo em crescimento contínuo nem um segundo sistema de raciocínio.
Muitas políticas de manipulação agem principalmente a partir da observação atual. Esse design mantém a inferência administrável, mas elimina evidências sobre como a cena chegou ao estado atual. Uma única imagem pode não revelar se uma preensão acabou de falhar, se um objeto se moveu ou se o robô começou a recuar.
Uma resposta é enviar vários quadros históricos pela base de visão e linguagem. Isso fornece evidência temporal direta, mas cada imagem adicional contribui com tokens visuais. As demandas de computação e memória então crescem com a janela de contexto.
Outra abordagem usa recorrência. Uma política recorrente transmite um estado oculto de uma etapa à seguinte. Esse estado pode resumir observações anteriores, embora o treinamento frequentemente se torne sequencial e mais difícil de paralelizar.
Uma terceira via adiciona um módulo de memória dedicado. Isso pode oferecer suporte a históricos mais ricos, recuperação de informações ou múltiplas escalas temporais. Também introduz outro componente cujos fluxo de dados, otimização e comportamento de falha exigem validação.
O REKI escolhe um objetivo mais restrito. Seus registros preservam contexto recente suficiente para melhorar a consistência das ações locais. O mecanismo não tenta fornecer um histórico semântico de uma tarefa inteira ou de um ambiente de trabalho.
O treinamento também evita um rollout sequencial pela janela de memória. A Kyutai agrupa os três quadros em um lote e os processa juntos. O especialista em ações usa atenção de comprimento variável, enquanto cada quadro contribui com uma perda de treinamento.
Esse arranjo preserva o treinamento paralelo. O modelo de visão e linguagem não realiza mais trabalho do que realizaria para o mesmo número de quadros independentes e sem memória. O especialista em ações paga pelos tokens de registro extras, mas esse componente é muito menor.
Durante a inferência, chaves e valores de registros anteriores permanecem no cache. Os tokens de ação atuais prestam atenção a esses registros juntamente com a observação atual. Portanto, o modelo recebe informações temporais por meio de operações de atenção que já realiza.
Esse é o mecanismo por trás da descrição de “custo negligenciável” da Kyutai. A afirmação não é que a memória literalmente não tenha custo. Os registros consomem memória GPU, capacidade de atenção e 0,1 milissegundo na configuração relatada.
O ponto mais forte é proporcional. Esse incremento medido é inferior a um por cento da latência de 21,8 milissegundos do bloco de ações. Também é muito menor do que o custo de codificar repetidamente várias imagens de câmera por meio de uma base de 2,2 bilhões de parâmetros.
A janela de memória permanece intencionalmente curta. Três quadros amostrados com um segundo de intervalo não capturam uma longa tarefa doméstica ou uma sequência extensa de recuperação. O design se lembra do estado visual recente, não de todos os eventos relevantes.
Esse limite distingue o REKI de sistemas voltados a minutos de contexto episódico. Também limita os riscos associados a informações desatualizadas. Um cache deslizante descarta registros antigos, em vez de permitir que um histórico ilimitado se acumule.
Para a manipulação prática, uma memória curta ainda pode resolver uma falha comum. Uma política sem memória pode alternar entre duas poses plausíveis porque cada imagem atual desencadeia uma decisão local diferente. Observações recentes fornecem ao especialista em ações evidências sobre sua direção anterior.
A Kyutai relata que essas oscilações de pose se tornaram cerca de quatro vezes mais raras com memória. Esse resultado conecta a arquitetura a um comportamento observável do robô. Ele é mais informativo do que uma média de benchmark isolada porque identifica um modo de falha que os registros abordam.
O design também cria uma questão útil de engenharia. As equipes não precisam mais decidir apenas entre controle sem estado e um grande sistema de memória. Elas podem testar se resumos compactos e armazenados em cache das observações resolvem as falhas temporais que importam para seus robôs.
Dados públicos pressionam modelos VLA maiores
O argumento competitivo mais forte do REKI combina eficiência e reprodutibilidade, em vez de reivindicar liderança absoluta sobre todos os modelos robóticos.
A Kyutai afirma que pré-treinou o REKI inteiramente com fontes públicas. A mistura contém um bilhão de quadros abrangendo teleoperação robótica, simulação e vídeo humano egocêntrico. Ela também contém 12,2 milhões de amostras de visão e linguagem.
Os dados robóticos incluem subconjuntos de Open X-Embodiment, BridgeData V2, DROID, AgiBot World, RoboMIND, RoboCOIN e outras coleções lançadas. As fontes de simulação incluem InternData-A1 e GR00T X-Embodiment Sim.
Dados centrados em humanos acrescentam outra perspectiva sobre manipulação. A Kyutai usou material de EgoDex, EgoVerse e Xperience que mostra interações com as mãos a partir de uma perspectiva egocêntrica. Conjuntos de dados de visão e linguagem acrescentam exemplos de grounding espacial e apontamento.
O artigo do REKI afirma que o pré-treinamento foi executado por 200.000 etapas em 32 GPUs H100. A Kyutai preservou a convenção de controle nativa de cada conjunto de dados, em vez de converter todos os robôs para uma representação universal de ações.
Dados públicos não significam reprodução sem esforço. A execução de treinamento relatada ainda exige hardware considerável, processamento de dados e tempo de engenharia. Licenças dos conjuntos de dados e requisitos de armazenamento também continuam relevantes.
No entanto, o lançamento muda o que pesquisadores externos podem inspecionar. A Kyutai publicou código de curadoria de dados, lógica de treinamento, código de inferência, ferramentas de avaliação, componentes de implantação e pesos do modelo. A base de código pública do REKI fornece um ponto de partida para replicação e modificação.
Essa abertura importa porque muitos sistemas VLA fortes publicam checkpoints sem divulgar suas misturas completas de pré-treinamento. Outros dependem de trajetórias robóticas privadas ou pipelines de dados sintéticos que pessoas de fora não conseguem recriar exatamente.
Portanto, o principal adversário do REKI não é uma única empresa. É a rota VLA maior e intensiva em dados que combina mais parâmetros com entradas de treinamento menos reproduzíveis. A Kyutai argumenta que arquitetura e curadoria de dados podem recuperar grande parte do desempenho dessa rota.
Os resultados de benchmark relatados sustentam parte desse argumento. O REKI alcança 90,4 por cento de sucesso no LIBERO-Plus e 65,8 por cento no RoboTwin Clean2Rand. A Kyutai relata que essas são as pontuações mais altas entre os modelos comparados pré-treinados com dados públicos.
A comparação se torna mais complexa quando os sistemas usam dados proprietários ou sintéticos. Qwen-RobotManip alcança 68,5 por cento no Clean2Rand, à frente dos 65,8 por cento do REKI. Seu relatório técnico descreve um modelo maior, com 4,7 bilhões de parâmetros, e um pipeline de síntese de humano para robô.
No RoboCasa365, o REKI relata uma taxa média de sucesso de 38,4 por cento. Xiaomi-Robotics-1 alcança 57,4 por cento, enquanto ABot-M0.5 chega a 40,4 por cento. Ambos têm cerca de duas vezes mais parâmetros do que o REKI.
Esses números sustentam mais claramente uma alegação de desempenho por tamanho do que uma coroa de desempenho geral. O REKI lidera algumas comparações e fica atrás de sistemas maiores em outras. Sua vantagem depende de qual benchmark, categoria de dados e restrição de implantação importa.
O benchmark RoboCasa365 também ilustra por que uma média exige cautela. Suas tarefas incluem comportamentos atômicos e tarefas compostas, com condições separadas de exemplos já vistos e não vistos. Um modelo pode apresentar desempenho desigual entre esses grupos.
O artigo da Kyutai relata que o REKI obtém 80,2 por cento em tarefas atômicas do RoboCasa365 e 57,1 por cento em tarefas compostas já vistas. Sua taxa de sucesso cai para 32,1 por cento em tarefas compostas não vistas.
Esse último número expõe o limite central das avaliações VLA atuais. Reconhecer instruções e produzir ações locais competentes não garante composição confiável em situações desconhecidas. A memória compacta, por si só, não elimina essa lacuna.
Ainda assim, o REKI eleva o padrão para bases de referência reproduzíveis. Pesquisadores podem alterar seus registradores, a mistura de dados ou o especialista em ações sem reconstruir um sistema não documentado. Isso pode tornar experimentos subsequentes mais fáceis de interpretar.
Para equipes que conduzem esses experimentos, manter uma base de conhecimento de engenharia pesquisável pode ajudar a conectar mudanças de configuração a falhas observadas. A reprodutibilidade depende tanto de decisões registradas quanto de código-fonte publicado.
Os Ganhos nos Benchmarks Exigem uma Leitura Cuidadosa
Os resultados do REKI são promissores, mas continuam sendo medições relatadas pelos autores, moldadas por protocolos de benchmark, escolhas de compilação e testes limitados no mundo real.
A memória melhora a taxa de sucesso relatada do REKI em 1,5 ponto percentual no LIBERO-Plus. O ganho chega a 5,5 pontos em cenas limpas do RoboTwin e 5,4 pontos no RoboCasa365.
Essas melhorias aparecem em três benchmarks distintos, o que reforça a tese de que a memória contribui com mais do que um truque específico de conjunto de dados. Uma ablação de avaliação também remove quadros históricos, mantendo o modelo treinado inalterado.
Quando esses quadros passados desaparecem, o desempenho retorna em direção à linha de base sem memória. Esse resultado sugere que o modelo usa histórico em cache durante a inferência, em vez de receber apenas um benefício de regularização durante o treinamento.
A análise de oscilação oferece outra verificação útil. A Kyutai define oscilação como o movimento entre duas poses ao longo de blocos de ações. Segundo o relato, a memória reduz os episódios afetados de uma taxa sem memória substancialmente maior para aproximadamente um quarto desse total.
No entanto, as medições ainda vêm dos autores do REKI. Laboratórios independentes precisam reproduzir as ablações com diferentes seeds, hardware, câmeras e frequências de controle. Pequenas diferenças de implementação podem afetar benchmarks de robótica.
A comparação de latência também precisa de contexto. A Kyutai mediu modelos publicados com entradas do LIBERO em uma H100. A equipe compilou vários sistemas por conta própria porque suas implementações públicas não tinham caminhos de execução otimizados equivalentes.
Esse esforço torna a comparação mais prática, mas não cria igualdade perfeita. Os modelos têm arquiteturas, requisitos de processamento de imagem, horizontes de ação e compatibilidade com compiladores diferentes. Um ranking de latência pode mudar em outro acelerador ou stack de serving.
O REKI alcança 21,8 milissegundos em sua configuração compilada. A Kyutai relata 25,5 milissegundos para X-VLA, 33,8 milissegundos para π0.5, 46,1 milissegundos para ABot-M0 e 51,3 milissegundos para InternVLA-A1.5.
Esses números medem a previsão de blocos de ações, não o tempo completo de reação do robô. Um sistema de produção também lida com sensores, comunicação, verificações de colisão, planejamento de movimento e comandos aos atuadores. O elemento mais lento pode estar fora do modelo neural.
As evidências em robôs reais são mais restritas do que a avaliação em simulação. A Kyutai mostra rollouts autônomos usando um braço UR5 e relata fine-tuning com 50 demonstrações por tarefa. Isso indica possibilidade de implantação, mas não estabelece ampla confiabilidade entre casas ou fábricas.
A curta janela de memória cria questões operacionais adicionais. Um controlador precisa redefinir os registradores em cache quando um episódio termina, uma câmera muda ou uma pessoa interrompe a tarefa. Caso contrário, observações antigas podem influenciar uma nova situação.
O estado do robô não entra nos próprios registradores. Isso os torna reutilizáveis entre etapas de denoising, o que melhora a eficiência. Também pode limitar o que eles conseguem representar sobre contatos, forças ou transições internas de controle.
O histórico visual pode mostrar que um objeto se moveu, mas talvez não revele por que uma preensão falhou. Um sensor tátil ou sinal de torque nas articulações poderia revelar informações ausentes da câmera. Variantes futuras precisarão testar entradas mais ricas sem perder a vantagem de eficiência.
O licenciamento é outra restrição. O código do REKI usa a licença MIT, mas seus pesos usam CC BY-NC-SA 4.0. Empresas não podem presumir que a disponibilidade pública permite integração comercial irrestrita.
A procedência dos conjuntos de dados também merece análise. Uma mistura pode ser pública ao combinar fontes com licenças, procedimentos de coleta, configurações de câmera e semânticas de ação diferentes. A Kyutai afirma ter selecionado cada fonte, mas as equipes downstream continuam responsáveis pela conformidade.
Por fim, a liderança em benchmarks envelhece rapidamente. Concorrentes podem adicionar registradores em cache semelhantes, destilar modelos maiores ou melhorar compiladores. A contribuição duradoura do REKI dependerá menos de uma posição em um leaderboard do que da adoção independente de seu design de memória.
O Que Vem a Seguir para o Kyutai REKI
Três sinais determinarão se o REKI se tornará uma base VLA duradoura ou permanecerá um resultado de pesquisa eficiente.
O primeiro sinal é a reprodução independente. Grupos externos precisam repetir as ablações de memória e as avaliações de benchmark usando os checkpoints publicados. Reproduzir os ganhos relatados reforçaria a alegação de que a memória de registradores se transfere entre implementações.
A reprodução deve incluir tanto taxas de sucesso quanto categorias de falha. Pesquisadores devem contar oscilações, preensões repetidas, transições interrompidas e movimentos inseguros. Uma pontuação média pode ocultar se a memória corrige uma falha enquanto piora outra.
As equipes também devem testar vários comprimentos de janela. O REKI usa três quadros amostrados com um segundo de intervalo, mantendo dois quadros históricos. Janelas mais longas mostrariam como a memória de registradores escala antes que a latência ou a precisão comece a se deteriorar.
Se testes independentes preservarem os ganhos relatados e a baixa sobrecarga, o argumento arquitetural do REKI se fortalecerá. Grandes discrepâncias enfraqueceriam as conclusões extraídas dos benchmarks atuais.
O segundo sinal é a implantação além da infraestrutura da classe H100. A medição publicada de 21,8 milissegundos usa um acelerador de data center de ponta e um caminho de execução compilado. Muitos robôs práticos operam com dispositivos de borda menores ou computação compartilhada.
Checkpoints quantizados, resoluções de imagem reduzidas e aceleradores alternativos revelarão se a eficiência do modelo sobrevive a restrições realistas. Testes de ponta a ponta devem incluir aquisição de câmera, pré-processamento, verificações de segurança e comunicação de controle.
Uma implantação bem-sucedida na borda transformaria o tamanho compacto do REKI em uma vantagem operacional. Se a memória continuar barata, mas o backbone dominar a latência, a atenção se voltará para destilação e otimização do codificador visual.
O terceiro sinal é o desempenho em tarefas mais longas e desconhecidas. Os resultados do RoboCasa365 em tarefas compostas não vistas mostram que a composição temporal difícil continua sem solução. O modelo precisa reter o estado relevante por mais de alguns segundos sem acumular contexto desatualizado.
Pesquisadores podem testar sistemas híbridos que combinam os registradores locais do REKI com uma memória episódica mais lenta. O cache rápido poderia estabilizar movimentos imediatos, enquanto um planejador separado acompanha subtarefas concluídas e objetivos de longo prazo.
Essa combinação preservaria a distinção entre dois problemas de memória. Um robô precisa de continuidade local para evitar oscilações e de histórico de tarefas para concluir procedimentos extensos. Um único mecanismo não resolve necessariamente ambos.
Os concorrentes fornecerão outro teste. Qwen-RobotManip enfatiza escala, alinhamento e trajetórias sintéticas. O π0.5 da Physical Intelligence enfatiza ampla generalização em ambientes do mundo real e sinais de treinamento heterogêneos.
O REKI adota uma posição mais restrita. Ele propõe que uma memória eficiente no lado das ações e pré-treinamento com dados públicos podem produzir uma política pequena, inspecionável e com resultados competitivos. Essa posição é valiosa mesmo quando modelos maiores vencem benchmarks individuais.
Desenvolvedores devem observar se outros projetos VLA adotam memória baseada em registradores ou publicam ablações comparáveis. A reutilização arquitetural ampla indicaria que a técnica resolve um problema comum, em vez de se ajustar a um único modelo.
Compradores corporativos devem fazer um conjunto diferente de perguntas. O sistema consegue limpar a memória com segurança, cumprir prazos completos do loop de controle e se recuperar de interrupções? Seus pesos podem ser usados sob os termos comerciais pretendidos?
Pesquisadores devem examinar se o pipeline de dados publicado reproduz os checkpoints relatados. Também devem documentar decisões de pré-processamento, seeds de avaliação e configurações do compilador. Esses detalhes frequentemente determinam se uma publicação aberta se torna uma base utilizável.
O modelo Kyutai REKI não encerra a corrida pela inteligência robótica de propósito geral. Ele restringe uma importante discussão de engenharia. O contexto recente pode melhorar a manipulação sem forçar cada quadro histórico pela parte mais cara do modelo.
O próximo passo é a verificação fora do ambiente da Kyutai. Se os ganhos de memória do REKI resistirem em robôs independentes, hardware menor e tarefas mais longas, o cache no lado das ações se tornará difícil de ignorar para desenvolvedores de VLA maiores.
