El modelo Kyutai REKI añade memoria robótica sin el coste computacional habitual

Kyutai lanzó un modelo robótico de 2.400 millones de parámetros que recuerda observaciones recientes y añade solo 0,1 milisegundos a cada predicción de acción medida. El modelo Kyutai REKI incorpora esa memoria en su experto de acciones, evitando procesar repetidamente fotogramas anteriores de la cámara. El diseño aborda una tensión persistente en el aprendizaje robótico: la memoria ayuda a la manipulación, pero el contexto histórico suele aumentar los costes de entrenamiento e inferencia.

REKI, siglas de Registering Knowledge in Vision-Language-Action Models, combina una base visión-lenguaje con un módulo más pequeño que predice acciones robóticas. Kyutai afirma que 32 tokens de registro persistentes permiten al modelo conservar información de fotogramas recientes. Los registros permanecen disponibles mientras el robot predice su siguiente bloque de acciones.

Este enfoque cuestiona los sistemas que obtienen contexto temporal introduciendo varias imágenes en un modelo visión-lenguaje más grande. También desafía la idea de que las políticas de manipulación más sólidas deban depender de modelos mayores o colecciones privadas de entrenamiento. REKI utiliza datos públicos, publica su canal de entrenamiento y comunica resultados competitivos frente a modelos con muchos más parámetros.

El resultado no demuestra que un modelo robótico compacto y abierto pueda sustituir todas las alternativas más grandes. Sus evidencias más sólidas proceden de benchmarks de simulación y demostraciones controladas con robots reales. Sin embargo, su arquitectura plantea un argumento específico y comprobable: la memoria a corto plazo debe situarse cerca de la generación de acciones, donde puede mantenerse económica y ser directamente útil.

El modelo Kyutai REKI convierte la memoria en parte de la generación de acciones

El cambio central de REKI es arquitectónico: el contexto visual reciente pasa a ser una parte almacenada en caché del experto de acciones, en lugar de otra entrada visual costosa.

Un modelo visión-lenguaje-acción, o VLA, convierte imágenes e instrucciones lingüísticas en acciones físicas. En REKI, un modelo visión-lenguaje Qwen3.5-2B codifica primero las vistas de cámara y la instrucción. Después, un experto de acciones de 200 millones de parámetros interpreta esa representación y genera una secuencia de acciones mediante flow matching.

El flow matching es un método generativo que transforma una secuencia inicial de acciones con ruido en una trayectoria utilizable a lo largo de varios pasos de refinamiento. REKI utiliza diez pasos de Euler durante las pruebas de latencia comunicadas por Kyutai. El estado del robot y el tiempo de flujo actual entran en el experto de acciones mediante normalización adaptativa.

El modelo completo contiene 2.400 millones de parámetros. Según la arquitectura oficial de REKI, unos 2.200 millones pertenecen a la base visión-lenguaje. Los 200 millones restantes forman el experto de acciones.

La incorporación importante es un conjunto de 32 tokens de registro aprendidos para cada fotograma observado. Estos tokens resumen la instrucción codificada y las vistas de cámara. Después permanecen en una caché clave-valor, que almacena información de atención reutilizable para predicciones de acciones posteriores.

REKI se entrena con ventanas que contienen tres fotogramas de un mismo episodio. Estos fotogramas se muestrean con un segundo de separación. Durante la inferencia, el modelo conserva los registros de los dos fotogramas anteriores y descarta el conjunto más antiguo cuando llega un nuevo fotograma.

Esta ventana proporciona a la política un breve registro de lo que acaba de ver. Así, un robot puede distinguir una acción en curso de un estado recién encontrado. No necesita inferirlo todo únicamente a partir de la imagen más reciente.

Los tokens de registro nunca atienden a tokens de acciones generadas. Dependen de las observaciones, en lugar de un estado específico del robot, un tiempo de flujo o un paso de eliminación de ruido. Por tanto, Kyutai puede calcularlos una vez por fotograma y reutilizarlos durante toda la generación de acciones.

Esta separación importa porque la generación de acciones basada en flujo repite varios cálculos. Recomponer el contexto visual histórico en cada paso de refinamiento multiplicaría el coste. REKI mantiene estable el resumen de observaciones mientras sus tokens de acción siguen cambiando.

Kyutai informa de que predecir un bloque a partir de dos imágenes de cámara de 256 por 256 tarda 21,8 milisegundos en una Nvidia H100. Leer los registros almacenados en caché añade 0,1 milisegundos. Cada fotograma conservado añade aproximadamente 2 MiB de memoria GPU.

Estas mediciones se aplican a la implementación compilada de Kyutai y al hardware especificado. No establecen la latencia en aceleradores más pequeños ni en sistemas robóticos completos. La captura de cámara, las redes, la lógica de seguridad y el control de actuadores pueden aumentar el tiempo de respuesta de extremo a extremo.

Aun así, el resultado arquitectónico es concreto. REKI añade una ventana temporal limitada sin volver a ejecutar un modelo más grande sobre todos los fotogramas pasados. También evita una red de memoria independiente que requeriría otra ruta de entrenamiento e inferencia.

Kyutai publicó el modelo preentrenado y varios checkpoints específicos para benchmarks a través de la tarjeta de modelo de REKI. Los pesos utilizan una licencia no comercial de compartir igual, mientras que el código adjunto usa la licencia MIT. Esta distinción importa para las organizaciones que evalúan un despliegue comercial.

La memoria robótica eficiente cambia la ecuación de costes

El modelo Kyutai REKI sostiene que una memoria robótica útil no requiere un contexto de vídeo cada vez mayor ni un segundo sistema de razonamiento.

Muchas políticas de manipulación actúan principalmente a partir de la observación actual. Este diseño mantiene la inferencia controlable, pero elimina las pruebas de cómo la escena llegó a su estado actual. Una sola imagen puede no revelar si un agarre acaba de fallar, si un objeto se movió o si el robot empezó a retraerse.

Una respuesta consiste en enviar varios fotogramas históricos a través de la base visión-lenguaje. Esto aporta pruebas temporales directas, pero cada imagen adicional añade tokens visuales. Las demandas de computación y memoria aumentan entonces con la ventana de contexto.

Otro enfoque utiliza recurrencia. Una política recurrente transmite un estado oculto de un paso al siguiente. Ese estado puede resumir observaciones anteriores, aunque el entrenamiento suele volverse secuencial y más difícil de paralelizar.

Una tercera vía añade un módulo de memoria dedicado. Puede admitir historiales más ricos, recuperación de información o múltiples escalas temporales. También introduce otro componente cuyo flujo de datos, optimización y comportamiento ante fallos requieren validación.

REKI elige un objetivo más acotado. Sus registros conservan suficiente contexto reciente para mejorar la coherencia de las acciones locales. El mecanismo no pretende proporcionar un historial semántico de una tarea o lugar de trabajo completo.

El entrenamiento también evita un despliegue secuencial a través de la ventana de memoria. Kyutai agrupa los tres fotogramas en un único lote y los procesa juntos. El experto de acciones utiliza atención de longitud variable, mientras que cada fotograma aporta una pérdida de entrenamiento.

Esta disposición preserva el entrenamiento paralelo. El modelo visión-lenguaje no realiza más trabajo del que haría con el mismo número de fotogramas independientes y sin memoria. El experto de acciones asume el coste de los tokens de registro adicionales, pero ese componente es mucho menor.

Durante la inferencia, las claves y valores de los registros pasados permanecen en la caché. Los tokens de acción actuales atienden a esos registros junto con la observación actual. Por tanto, el modelo recibe información temporal mediante operaciones de atención que ya realiza.

Este es el mecanismo detrás de la descripción de Kyutai de «coste insignificante». La afirmación no es que la memoria no tenga literalmente ningún coste. Los registros consumen memoria GPU, capacidad de atención y 0,1 milisegundos en la configuración comunicada.

El punto más sólido es proporcional. Ese incremento medido representa menos del uno por ciento de la latencia de 21,8 milisegundos por bloque de acciones. También es mucho menor que el coste de codificar repetidamente varias imágenes de cámara mediante una base de 2.200 millones de parámetros.

La ventana de memoria sigue siendo deliberadamente corta. Tres fotogramas muestreados con un segundo de separación no capturan una larga tarea doméstica ni una secuencia de recuperación extensa. El diseño recuerda el estado visual reciente, no todos los eventos relevantes.

Este límite distingue a REKI de los sistemas orientados a minutos de contexto episódico. También reduce los riesgos asociados a información desactualizada. Una caché móvil descarta registros antiguos en lugar de permitir que se acumule un historial ilimitado.

Para la manipulación práctica, una memoria corta puede seguir resolviendo un fallo habitual. Una política sin memoria puede alternar entre dos posturas plausibles porque cada imagen actual desencadena una decisión local distinta. Las observaciones recientes aportan al experto de acciones pruebas de su dirección previa.

Kyutai informa de que esas oscilaciones de postura se volvieron aproximadamente cuatro veces menos frecuentes con memoria. Este resultado conecta la arquitectura con un comportamiento robótico observable. Es más informativo que una media de benchmark por sí sola, porque identifica un modo de fallo al que responden los registros.

El diseño también plantea una cuestión de ingeniería útil. Los equipos ya no necesitan decidir únicamente entre un control sin estado y un gran sistema de memoria. Pueden probar si los resúmenes de observaciones compactos y almacenados en caché resuelven los fallos temporales importantes para sus robots.

Los datos públicos presionan a los modelos VLA más grandes

El argumento competitivo más sólido de REKI combina eficiencia con reproducibilidad, en lugar de afirmar un liderazgo absoluto sobre todos los modelos robóticos.

Kyutai afirma que preentrenó REKI íntegramente con fuentes públicas. La mezcla contiene mil millones de fotogramas de teleoperación robótica, simulación y vídeo humano egocéntrico. También contiene 12,2 millones de muestras visión-lenguaje.

Los datos robóticos incluyen subconjuntos de Open X-Embodiment, BridgeData V2, DROID, AgiBot World, RoboMIND, RoboCOIN y otras colecciones publicadas. Las fuentes de simulación incluyen InternData-A1 y GR00T X-Embodiment Sim.

Los datos centrados en humanos aportan otra perspectiva sobre la manipulación. Kyutai utilizó material de EgoDex, EgoVerse y Xperience que muestra interacciones de manos desde un punto de vista egocéntrico. Los conjuntos de datos visión-lenguaje añaden ejemplos de anclaje espacial y señalamiento.

El artículo de REKI indica que el preentrenamiento se ejecutó durante 200.000 pasos en 32 GPU H100. Kyutai conservó la convención de control nativa de cada conjunto de datos, en lugar de convertir todos los robots a una representación universal de acciones.

Los datos públicos no implican una reproducción sin esfuerzo. La ejecución de entrenamiento comunicada sigue requiriendo hardware considerable, procesamiento de datos y tiempo de ingeniería. Las licencias de los conjuntos de datos y los requisitos de almacenamiento también siguen siendo relevantes.

Sin embargo, la publicación cambia lo que los investigadores externos pueden inspeccionar. Kyutai publicó código de curación de datos, lógica de entrenamiento, código de inferencia, herramientas de evaluación, componentes de despliegue y pesos del modelo. El repositorio público de REKI ofrece un punto de partida para la replicación y la modificación.

Esta apertura importa porque muchos sistemas VLA potentes publican checkpoints sin revelar sus mezclas completas de preentrenamiento. Otros dependen de trayectorias robóticas privadas o canales de datos sintéticos que los externos no pueden recrear con exactitud.

Por tanto, el principal rival de REKI no es una sola empresa. Es la vía VLA más grande e intensiva en datos que combina más parámetros con insumos de entrenamiento menos reproducibles. Kyutai sostiene que la arquitectura y la curación de datos pueden recuperar gran parte del rendimiento de esa vía.

Los resultados de benchmark comunicados respaldan parte de ese argumento. REKI alcanza un 90,4 por ciento de éxito en LIBERO-Plus y un 65,8 por ciento en RoboTwin Clean2Rand. Kyutai informa de que son las puntuaciones más altas entre los modelos comparados preentrenados con datos públicos.

La comparación se vuelve más complicada cuando los sistemas usan datos propietarios o sintéticos. Qwen-RobotManip alcanza el 68,5 % en Clean2Rand, por delante del 65,8 % de REKI. Su informe técnico describe un modelo más grande, de 4.700 millones de parámetros, y una canalización de síntesis de humano a robot.

En RoboCasa365, REKI informa una tasa media de éxito del 38,4 %. Xiaomi-Robotics-1 alcanza el 57,4 %, mientras que ABot-M0.5 llega al 40,4 %. Ambos contienen aproximadamente el doble de parámetros que REKI.

Estas cifras respaldan con mayor claridad una afirmación de rendimiento por tamaño que una corona de rendimiento general. REKI lidera algunas comparaciones y queda por detrás de sistemas más grandes en otras. Su ventaja depende de qué benchmark, categoría de datos y restricción de despliegue sea relevante.

El benchmark RoboCasa365 también ilustra por qué un único promedio exige cautela. Sus tareas incluyen comportamientos atómicos y tareas compuestas, con condiciones separadas de vistas y no vistas. Un modelo puede rendir de forma desigual entre esos grupos.

El artículo de Kyutai informa que REKI obtiene un 80,2 % en tareas atómicas de RoboCasa365 y un 57,1 % en tareas compuestas vistas. Su tasa de éxito cae al 32,1 % en tareas compuestas no vistas.

Esa última cifra expone el límite central de las evaluaciones VLA actuales. Reconocer instrucciones y producir acciones locales competentes no garantiza una composición fiable en situaciones desconocidas. La memoria compacta por sí sola no cierra esa brecha.

Aun así, REKI eleva el estándar de las líneas base reproducibles. Los investigadores pueden modificar sus registros, la mezcla de datos o el experto de acciones sin tener que reconstruir un sistema no documentado. Eso puede facilitar la interpretación de los experimentos posteriores.

Para los equipos que realizan esos experimentos, mantener una base de conocimiento de ingeniería con capacidad de búsqueda puede ayudar a conectar cambios de configuración con fallos observados. La reproducibilidad depende tanto de las decisiones registradas como del código fuente publicado.

Los avances en los benchmarks requieren una lectura cuidadosa

Los resultados de REKI son prometedores, pero siguen siendo mediciones informadas por los autores, condicionadas por protocolos de benchmark, decisiones de compilación y pruebas limitadas en el mundo real.

La memoria mejora la tasa de éxito informada por REKI en 1,5 puntos porcentuales en LIBERO-Plus. La mejora alcanza 5,5 puntos en escenas limpias de RoboTwin y 5,4 puntos en RoboCasa365.

Estas mejoras aparecen en tres benchmarks distintos, lo que refuerza la idea de que la memoria aporta más que un truco específico de un conjunto de datos. Una ablación de evaluación también elimina los fotogramas históricos sin modificar el modelo entrenado.

Cuando esos fotogramas pasados desaparecen, el rendimiento vuelve hacia la línea base sin memoria. Ese resultado sugiere que el modelo utiliza el historial almacenado en caché durante la inferencia, en lugar de recibir únicamente un beneficio de regularización durante el entrenamiento.

El análisis de oscilación aporta otra comprobación útil. Kyutai define la oscilación como el movimiento entre dos poses a través de fragmentos de acción. Según se informa, la memoria reduce los episodios afectados desde una tasa sin memoria sustancialmente mayor hasta aproximadamente una cuarta parte.

Sin embargo, las mediciones siguen procediendo de los autores de REKI. Laboratorios independientes deben reproducir las ablaciones con distintas semillas, hardware, cámaras y frecuencias de control. Pequeñas diferencias de implementación pueden afectar los benchmarks robóticos.

La comparación de latencia también necesita contexto. Kyutai midió modelos publicados con entradas de LIBERO en una H100. El equipo compiló varios sistemas por su cuenta porque sus implementaciones públicas carecían de rutas de ejecución optimizadas equivalentes.

Ese esfuerzo hace que la comparación sea más práctica, pero no crea una igualdad perfecta. Los modelos tienen arquitecturas, requisitos de procesamiento de imágenes, horizontes de acción y compatibilidad con compiladores diferentes. Una clasificación de latencia puede cambiar con otro acelerador o pila de serving.

REKI alcanza 21,8 milisegundos en su configuración compilada. Kyutai informa 25,5 milisegundos para X-VLA, 33,8 milisegundos para π0.5, 46,1 milisegundos para ABot-M0 y 51,3 milisegundos para InternVLA-A1.5.

Estas cifras miden la predicción de fragmentos de acción, no el tiempo completo de reacción del robot. Un sistema de producción también gestiona sensores, comunicación, comprobaciones de colisión, planificación de movimiento y comandos de actuadores. El elemento más lento puede estar fuera del modelo neuronal.

La evidencia en robots reales es más limitada que la evaluación en simulación. Kyutai muestra ejecuciones autónomas con un brazo UR5 e informa ajuste fino con 50 demostraciones por tarea. Eso indica capacidad de despliegue, pero no establece una fiabilidad amplia en hogares o fábricas.

La breve ventana de memoria plantea preguntas operativas adicionales. Un controlador debe restablecer los registros almacenados en caché cuando termina un episodio, cambia una cámara o una persona interrumpe la tarea. De lo contrario, observaciones antiguas podrían influir en una situación nueva.

El estado del robot no entra en los propios registros. Eso permite reutilizarlos entre pasos de eliminación de ruido, lo que mejora la eficiencia. También puede limitar lo que pueden representar sobre contactos, fuerzas o transiciones internas de control.

El historial visual puede mostrar que un objeto se movió, pero quizá no capture por qué falló un agarre. Un sensor táctil o una señal de par articular podrían revelar información ausente en la cámara. Las variantes futuras deberán probar entradas más ricas sin perder la ventaja de eficiencia.

Las licencias son otra restricción. El código de REKI usa la licencia MIT, pero sus pesos usan CC BY-NC-SA 4.0. Las empresas no pueden asumir que la disponibilidad pública permita una integración comercial sin restricciones.

La procedencia de los conjuntos de datos también merece revisión. Una mezcla puede ser pública y, aun así, combinar fuentes con licencias, procedimientos de recopilación, configuraciones de cámara y semánticas de acción diferentes. Kyutai afirma haber seleccionado cada fuente, pero los equipos posteriores siguen siendo responsables del cumplimiento.

Por último, el liderazgo en benchmarks envejece rápidamente. Los competidores pueden añadir registros en caché similares, destilar modelos más grandes o mejorar los compiladores. La contribución duradera de REKI dependerá menos de una posición en una clasificación que de la adopción independiente de su diseño de memoria.

Qué viene después para Kyutai REKI

Tres señales determinarán si REKI se convierte en una línea base VLA duradera o sigue siendo un resultado de investigación eficiente.

La primera señal es la reproducción independiente. Grupos externos deben volver a ejecutar las ablaciones de memoria y las evaluaciones de benchmark utilizando los checkpoints publicados. Igualar las mejoras informadas reforzaría la afirmación de que la memoria de registros se transfiere entre implementaciones.

La reproducción debe incluir tanto tasas de éxito como categorías de fallos. Los investigadores deberían contar oscilaciones, agarres repetidos, transiciones bloqueadas y movimientos inseguros. Una puntuación media puede ocultar si la memoria corrige un fallo mientras empeora otro.

Los equipos también deberían probar varias longitudes de ventana. REKI utiliza tres fotogramas muestreados con un segundo de separación, con dos fotogramas históricos retenidos. Ventanas más largas mostrarían cómo escala la memoria de registros antes de que la latencia o la precisión comiencen a deteriorarse.

Si las pruebas independientes preservan las mejoras informadas y la baja sobrecarga, el argumento arquitectónico de REKI se fortalecerá. Grandes discrepancias debilitarían las conclusiones extraídas de los benchmarks actuales.

La segunda señal es el despliegue más allá de infraestructura de clase H100. La medición publicada de 21,8 milisegundos utiliza un acelerador de centro de datos de alta gama y una ruta de ejecución compilada. Muchos robots prácticos operan con dispositivos edge más pequeños o capacidad de cómputo compartida.

Los checkpoints cuantizados, las resoluciones de imagen reducidas y los aceleradores alternativos revelarán si la eficiencia del modelo resiste restricciones realistas. Las pruebas de extremo a extremo deberían incluir adquisición de cámara, preprocesamiento, comprobaciones de seguridad y comunicación de control.

Un despliegue exitoso en edge convertiría el tamaño compacto de REKI en una ventaja operativa. Si la memoria sigue siendo barata, pero la columna vertebral domina la latencia, la atención se desplazará hacia la destilación y la optimización del codificador visual.

La tercera señal es el rendimiento en tareas más largas y desconocidas. Los resultados de compuestos no vistos de RoboCasa365 muestran que la composición temporal difícil sigue sin resolverse. El modelo debe retener el estado relevante durante más de unos segundos sin acumular contexto obsoleto.

Los investigadores pueden probar sistemas híbridos que combinen los registros locales de REKI con una memoria episódica más lenta. La caché rápida podría estabilizar los movimientos inmediatos, mientras que un planificador separado sigue las subtareas completadas y los objetivos a largo plazo.

Esa combinación preservaría la distinción entre dos problemas de memoria. Un robot necesita continuidad local para evitar la oscilación y necesita historial de tareas para completar procedimientos prolongados. Un mecanismo no resuelve necesariamente ambos.

Los competidores aportarán otra prueba. Qwen-RobotManip hace hincapié en el escalado, la alineación y las trayectorias sintéticas. π0.5 de Physical Intelligence hace hincapié en una generalización amplia en entornos del mundo real y señales de entrenamiento heterogéneas.

REKI adopta una posición más acotada. Propone que una memoria eficiente en el lado de las acciones y el preentrenamiento con datos públicos pueden producir una política pequeña e inspeccionable con resultados competitivos. Esa posición es valiosa incluso cuando modelos más grandes ganan benchmarks individuales.

Los desarrolladores deberían observar si otros proyectos VLA adoptan memoria basada en registros o publican ablaciones comparables. Una reutilización arquitectónica amplia indicaría que la técnica resuelve un problema común, en lugar de ajustarse a un único modelo.

Los compradores empresariales deberían plantear un conjunto diferente de preguntas. ¿Puede el sistema borrar la memoria de forma segura, cumplir los plazos completos del bucle de control y recuperarse de interrupciones? ¿Pueden utilizarse sus pesos bajo las condiciones comerciales previstas?

Los investigadores deberían examinar si la canalización de datos publicada reproduce los checkpoints informados. También deberían documentar decisiones de preprocesamiento, semillas de evaluación y ajustes del compilador. Esos detalles a menudo determinan si una publicación abierta se convierte en una línea base utilizable.

El modelo Kyutai REKI no resuelve la carrera por la inteligencia robótica de propósito general. Acota una disputa de ingeniería importante. El contexto reciente puede mejorar la manipulación sin obligar a que cada fotograma histórico atraviese la parte más costosa del modelo.

El siguiente paso es la verificación fuera del entorno de Kyutai. Si las mejoras de memoria de REKI se mantienen en robots independientes, hardware más pequeño y tareas más largas, el almacenamiento en caché en el lado de las acciones será difícil de ignorar para los desarrolladores de VLA más grandes.