Le modèle Kyutai REKI dote les robots de mémoire sans le coût de calcul habituel

Kyutai a publié un modèle robotique de 2,4 milliards de paramètres qui mémorise les observations récentes tout en n’ajoutant que 0,1 milliseconde à chaque prédiction d’action mesurée. Le modèle Kyutai REKI place cette mémoire dans son expert en actions, évitant le traitement répété des images antérieures captées par les caméras. Cette conception cible une tension persistante dans l’apprentissage robotique : la mémoire facilite la manipulation, mais le contexte historique accroît souvent les coûts d’entraînement et d’inférence.

REKI, acronyme de Registering Knowledge in Vision-Language-Action Models, associe une colonne vertébrale vision-langage à un module plus petit qui prédit les actions du robot. Kyutai indique que 32 jetons de registre persistants permettent au modèle de conserver des informations issues des images récentes. Les registres restent disponibles lorsque le robot prédit son prochain bloc d’actions.

Cette approche met sous pression les systèmes qui obtiennent un contexte temporel en faisant passer plusieurs images dans un modèle vision-langage plus volumineux. Elle remet également en cause l’idée selon laquelle des politiques de manipulation plus performantes doivent reposer sur des modèles plus grands ou des collections d’entraînement privées. REKI utilise des données publiques, publie son pipeline d’entraînement et affiche des résultats compétitifs face à des modèles comptant nettement plus de paramètres.

Ce résultat ne prouve pas qu’un modèle robotique compact et ouvert peut remplacer toutes les alternatives plus grandes. Ses éléments les plus probants proviennent de benchmarks en simulation et de démonstrations contrôlées sur robots réels. Toutefois, son architecture avance un argument précis et vérifiable : la mémoire à court terme doit se situer près de la génération d’actions, où elle peut rester peu coûteuse et directement utile.

Le modèle Kyutai REKI fait de la mémoire une partie de la génération d’actions

Le changement central de REKI est architectural : le contexte visuel récent devient une partie mise en cache de l’expert en actions plutôt qu’une autre entrée visuelle coûteuse.

Un modèle vision-langage-action, ou VLA, convertit des images et des instructions en langage en actions physiques. Dans REKI, un modèle vision-langage Qwen3.5-2B encode d’abord les vues des caméras et l’instruction. Un expert en actions de 200 millions de paramètres lit ensuite cette représentation et génère une séquence d’actions par flow matching.

Le flow matching est une méthode générative qui transforme une séquence d’actions bruitée initiale en trajectoire exploitable à travers plusieurs étapes de raffinement. REKI utilise dix étapes d’Euler lors des tests de latence rapportés par Kyutai. L’état du robot et le temps de flux actuel entrent dans l’expert en actions via une normalisation adaptative.

Le modèle complet contient 2,4 milliards de paramètres. Selon l’architecture REKI officielle, environ 2,2 milliards appartiennent à la colonne vertébrale vision-langage. Les 200 millions restants constituent l’expert en actions.

L’ajout important est un ensemble de 32 jetons de registre appris pour chaque image observée. Ces jetons résument l’instruction encodée et les vues des caméras. Ils restent ensuite dans un cache clé-valeur, qui stocke des informations d’attention réutilisables pour les prédictions d’actions ultérieures.

REKI s’entraîne sur des fenêtres contenant trois images issues d’un même épisode. Ces images sont échantillonnées à une seconde d’intervalle. Lors de l’inférence, le modèle conserve les registres des deux images précédentes et supprime l’ensemble le plus ancien lorsqu’une nouvelle image arrive.

Cette fenêtre donne à la politique un bref historique de ce qu’elle vient de voir. Un robot peut donc distinguer une action en cours d’un état nouvellement rencontré. Il n’a pas besoin de tout déduire de la seule image la plus récente.

Les jetons de registre ne portent jamais attention aux jetons d’actions générés. Ils dépendent des observations plutôt que d’un état précis du robot, d’un temps de flux ou d’une étape de débruitage. Kyutai peut donc les calculer une seule fois par image et les réutiliser durant toute la génération d’actions.

Cette séparation compte, car la génération d’actions fondée sur le flux répète plusieurs calculs. Recalculer le contexte visuel historique à chaque étape de raffinement multiplierait la dépense. REKI maintient le résumé d’observation stable pendant que ses jetons d’action continuent d’évoluer.

Kyutai rapporte que la prédiction d’un bloc à partir de deux images de caméra de 256 par 256 prend 21,8 millisecondes sur un Nvidia H100. La lecture des registres mis en cache ajoute 0,1 milliseconde. Chaque image conservée ajoute environ 2 MiB de mémoire GPU.

Ces mesures s’appliquent à l’implémentation compilée de Kyutai et au matériel spécifié. Elles n’établissent pas la latence sur des accélérateurs plus petits ni dans des systèmes robotiques complets. La capture vidéo, la mise en réseau, la logique de sécurité et le contrôle des actionneurs peuvent tous augmenter le temps de réponse de bout en bout.

Le résultat architectural reste néanmoins concret. REKI ajoute une fenêtre temporelle limitée sans réexécuter un modèle plus grand sur toutes les images passées. Il évite aussi un réseau de mémoire distinct qui exigerait une autre voie d’entraînement et d’inférence.

Kyutai a publié le modèle préentraîné et plusieurs points de contrôle spécifiques à des benchmarks via la fiche du modèle REKI. Les poids utilisent une licence non commerciale à partage dans les mêmes conditions, tandis que le code associé utilise la licence MIT. Cette distinction compte pour les organisations qui évaluent un déploiement commercial.

Une mémoire robotique efficace modifie l’équation des coûts

Le modèle Kyutai REKI avance qu’une mémoire robotique utile n’exige ni un contexte vidéo toujours plus vaste ni un second système de raisonnement.

De nombreuses politiques de manipulation agissent principalement à partir de l’observation actuelle. Cette conception maintient l’inférence à un niveau gérable, mais elle élimine les indices sur la manière dont la scène est arrivée à son état présent. Une seule image peut ne pas révéler si une prise vient d’échouer, si un objet a bougé ou si le robot a commencé à se rétracter.

Une réponse consiste à envoyer plusieurs images historiques dans la colonne vertébrale vision-langage. Cela fournit des indices temporels directs, mais chaque image supplémentaire apporte des jetons visuels. Les besoins en calcul et en mémoire augmentent alors avec la fenêtre de contexte.

Une autre approche utilise la récurrence. Une politique récurrente transmet un état caché d’une étape à l’autre. Cet état peut résumer des observations antérieures, bien que l’entraînement devienne souvent séquentiel et plus difficile à paralléliser.

Une troisième voie ajoute un module de mémoire dédié. Celui-ci peut prendre en charge des historiques plus riches, la récupération d’informations ou plusieurs échelles temporelles. Il introduit aussi un autre composant dont les flux de données, l’optimisation et le comportement en cas d’échec doivent être validés.

REKI choisit une cible plus restreinte. Ses registres préservent suffisamment de contexte récent pour améliorer la cohérence locale des actions. Le mécanisme ne cherche pas à fournir un historique sémantique d’une tâche ou d’un lieu de travail entier.

L’entraînement évite également un déroulement séquentiel à travers la fenêtre mémoire. Kyutai regroupe les trois images dans un lot unique et les traite ensemble. L’expert en actions utilise une attention à longueur variable, tandis que chaque image contribue à une perte d’entraînement.

Cette organisation préserve l’entraînement parallèle. Le modèle vision-langage n’effectue pas plus de travail qu’il n’en ferait pour le même nombre d’images indépendantes sans mémoire. L’expert en actions prend en charge les jetons de registre supplémentaires, mais ce composant est bien plus petit.

Lors de l’inférence, les clés et valeurs des registres passés restent dans le cache. Les jetons d’action actuels portent attention à ces registres en même temps qu’à l’observation actuelle. Le modèle reçoit donc des informations temporelles par les opérations d’attention qu’il effectue déjà.

C’est le mécanisme derrière la description de « coût négligeable » de Kyutai. L’affirmation n’est pas que la mémoire n’a littéralement aucun coût. Les registres consomment de la mémoire GPU, de la capacité d’attention et 0,1 milliseconde dans la configuration rapportée.

Le point le plus solide est proportionnel. Cet incrément mesuré représente moins de un pour cent de la latence de 21,8 millisecondes pour un bloc d’actions. Il est également bien inférieur au coût de l’encodage répété de plusieurs images de caméra par une colonne vertébrale de 2,2 milliards de paramètres.

La fenêtre mémoire reste volontairement courte. Trois images échantillonnées à une seconde d’intervalle ne capturent pas une longue tâche domestique ni une séquence de récupération prolongée. La conception mémorise l’état visuel récent, et non chaque événement pertinent.

Cette limite distingue REKI des systèmes ciblant plusieurs minutes de contexte épisodique. Elle limite aussi les risques liés aux informations périmées. Un cache glissant écarte les anciens registres plutôt que de laisser s’accumuler un historique sans limite.

Pour la manipulation pratique, une mémoire courte peut tout de même répondre à un échec fréquent. Une politique sans mémoire peut alterner entre deux poses plausibles, car chaque image actuelle déclenche une décision locale différente. Les observations récentes fournissent à l’expert en actions des indices sur sa direction antérieure.

Kyutai indique que de telles oscillations de pose sont devenues environ quatre fois moins fréquentes avec la mémoire. Ce résultat relie l’architecture à un comportement robotique observable. Il est plus instructif qu’une simple moyenne de benchmark, car il identifie un mode d’échec auquel les registres répondent.

La conception soulève également une question d’ingénierie utile. Les équipes n’ont plus à choisir uniquement entre un contrôle sans état et un vaste système de mémoire. Elles peuvent tester si des résumés d’observations compacts et mis en cache résolvent les défaillances temporelles importantes pour leurs robots.

Les données publiques mettent la pression sur les grands modèles VLA

L’argument concurrentiel le plus solide de REKI combine efficacité et reproductibilité, plutôt que de revendiquer une avance absolue sur tous les modèles robotiques.

Kyutai indique avoir préentraîné REKI entièrement à partir de sources publiques. Le mélange contient un milliard d’images couvrant la téléopération robotique, la simulation et des vidéos humaines égocentriques. Il contient également 12,2 millions d’échantillons vision-langage.

Les données robotiques comprennent des sous-ensembles d’Open X-Embodiment, BridgeData V2, DROID, AgiBot World, RoboMIND, RoboCOIN et d’autres collections publiées. Les sources de simulation comprennent InternData-A1 et GR00T X-Embodiment Sim.

Les données centrées sur l’humain apportent une autre perspective sur la manipulation. Kyutai a utilisé des contenus EgoDex, EgoVerse et Xperience montrant des interactions manuelles depuis un point de vue égocentrique. Les jeux de données vision-langage ajoutent des exemples d’ancrage spatial et de pointage.

L’article REKI indique que le préentraînement a duré 200 000 étapes sur 32 GPU H100. Kyutai a conservé la convention de contrôle native de chaque jeu de données au lieu de convertir chaque robot vers une représentation universelle des actions.

Des données publiques ne signifient pas une reproduction sans effort. L’exécution d’entraînement rapportée exige toujours un matériel considérable, du traitement de données et du temps d’ingénierie. Les licences des jeux de données et les besoins de stockage restent également pertinents.

Toutefois, cette publication modifie ce que les chercheurs externes peuvent examiner. Kyutai a publié le code de curation des données, la logique d’entraînement, le code d’inférence, les outils d’évaluation, les composants de déploiement et les poids du modèle. Le code source public de REKI fournit un point de départ pour la réplication et la modification.

Cette ouverture compte, car de nombreux systèmes VLA performants publient des points de contrôle sans divulguer l’intégralité de leurs mélanges de préentraînement. D’autres reposent sur des trajectoires robotiques privées ou des pipelines de données synthétiques que des tiers ne peuvent pas recréer exactement.

Le principal adversaire de REKI n’est donc pas une seule entreprise. Il s’agit de la voie VLA plus grande et plus gourmande en données, qui combine davantage de paramètres avec des données d’entraînement moins reproductibles. Kyutai affirme que l’architecture et la curation des données peuvent retrouver une grande part des performances de cette voie.

Ses résultats de benchmark rapportés étayent une partie de cet argument. REKI atteint 90,4 % de réussite sur LIBERO-Plus et 65,8 % sur RoboTwin Clean2Rand. Kyutai indique qu’il s’agit des meilleurs scores parmi les modèles comparés préentraînés sur des données publiques.

La comparaison se complique lorsque les systèmes utilisent des données propriétaires ou synthétiques. Qwen-RobotManip atteint 68,5 % sur Clean2Rand, devant les 65,8 % de REKI. Son rapport technique décrit un modèle plus vaste de 4,7 milliards de paramètres et une chaîne de synthèse humain-vers-robot.

Sur RoboCasa365, REKI affiche un taux de réussite moyen de 38,4 %. Xiaomi-Robotics-1 atteint 57,4 %, tandis qu’ABot-M0.5 atteint 40,4 %. Tous deux comptent environ deux fois plus de paramètres que REKI.

Ces chiffres étayent plus clairement une affirmation de performance par rapport à la taille qu’un titre de meilleure performance globale. REKI mène dans certaines comparaisons et reste derrière des systèmes plus grands dans d’autres. Son avantage dépend du benchmark, de la catégorie de données et de la contrainte de déploiement qui comptent.

Le benchmark RoboCasa365 illustre également pourquoi une moyenne doit être interprétée avec prudence. Ses tâches comprennent des comportements atomiques et des tâches composites, avec des conditions distinctes pour les cas vus et inédits. Un modèle peut afficher des performances inégales selon ces groupes.

L’article de Kyutai indique que REKI obtient 80,2 % sur les tâches atomiques de RoboCasa365 et 57,1 % sur les tâches composites déjà vues. Son taux de réussite tombe à 32,1 % sur les tâches composites inédites.

Ce dernier chiffre met en lumière la limite centrale des évaluations VLA actuelles. Comprendre des instructions et produire des actions locales pertinentes ne garantit pas une composition fiable dans des situations inconnues. Une mémoire compacte ne suffit pas, à elle seule, à combler cet écart.

REKI relève néanmoins la barre des références reproductibles. Les chercheurs peuvent modifier ses registres, son mélange de données ou son expert d’action sans avoir à reconstruire un système non documenté. Les expériences de suivi peuvent ainsi être plus faciles à interpréter.

Pour les équipes qui mènent ces expériences, maintenir une base de connaissances d’ingénierie interrogeable peut aider à relier les changements de configuration aux défaillances observées. La reproductibilité dépend autant des décisions consignées que du code source publié.

Les gains sur les benchmarks exigent une lecture attentive

Les résultats de REKI sont prometteurs, mais ils restent des mesures rapportées par les auteurs, façonnées par les protocoles de benchmark, les choix de compilation et des essais limités dans le monde réel.

La mémoire améliore de 1,5 point de pourcentage le taux de réussite rapporté par REKI sur LIBERO-Plus. Le gain atteint 5,5 points dans les scènes propres de RoboTwin et 5,4 points sur RoboCasa365.

Ces améliorations apparaissent sur trois benchmarks distincts, ce qui renforce l’idée que la mémoire apporte plus qu’une astuce propre à un jeu de données. Une ablation d’évaluation supprime également les images historiques tout en conservant le modèle entraîné inchangé.

Lorsque ces images passées disparaissent, les performances reviennent vers la référence sans mémoire. Ce résultat suggère que le modèle exploite l’historique mis en cache pendant l’inférence, plutôt que de ne bénéficier que d’un effet de régularisation à l’entraînement.

L’analyse des oscillations apporte une autre vérification utile. Kyutai définit l’oscillation comme un mouvement entre deux poses au fil des segments d’action. La mémoire réduirait les épisodes concernés, passant d’un taux sans mémoire nettement plus élevé à environ un quart de ce nombre.

Cependant, les mesures proviennent toujours des auteurs de REKI. Des laboratoires indépendants doivent reproduire les ablations avec d’autres graines aléatoires, matériels, caméras et fréquences de contrôle. De petites différences d’implémentation peuvent affecter les benchmarks robotiques.

La comparaison de latence nécessite aussi du contexte. Kyutai a mesuré les modèles publiés avec des entrées LIBERO sur un seul H100. L’équipe a compilé elle-même plusieurs systèmes, car leurs implémentations publiques ne disposaient pas de chemins d’exécution optimisés équivalents.

Cet effort rend la comparaison plus pratique, mais ne crée pas une égalité parfaite. Les modèles ont des architectures, des besoins de traitement d’image, des horizons d’action et une compatibilité avec les compilateurs différents. Un classement de latence peut changer avec un autre accélérateur ou une autre pile de service.

REKI atteint 21,8 millisecondes dans sa configuration compilée. Kyutai rapporte 25,5 millisecondes pour X-VLA, 33,8 millisecondes pour π0.5, 46,1 millisecondes pour ABot-M0 et 51,3 millisecondes pour InternVLA-A1.5.

Ces chiffres mesurent la prédiction de segments d’action, et non le temps de réaction complet du robot. Un système de production gère aussi les capteurs, les communications, les vérifications de collision, la planification de mouvement et les commandes d’actionneurs. L’élément le plus lent peut se situer hors du modèle neuronal.

Les preuves sur robot réel sont plus limitées que l’évaluation en simulation. Kyutai présente des exécutions autonomes avec un bras UR5 et indique un ajustement fin sur 50 démonstrations par tâche. Cela montre une capacité de déploiement, mais n’établit pas une fiabilité étendue dans les foyers ou les usines.

La courte fenêtre mémoire soulève d’autres questions opérationnelles. Un contrôleur doit réinitialiser les registres mis en cache lorsqu’un épisode se termine, qu’une caméra change ou qu’un humain interrompt la tâche. Sinon, d’anciennes observations pourraient influencer une nouvelle situation.

L’état du robot n’entre pas dans les registres eux-mêmes. Cela les rend réutilisables d’une étape de débruitage à l’autre, ce qui améliore l’efficacité. Cela peut aussi limiter ce qu’ils peuvent représenter concernant les contacts, les forces ou les transitions internes de contrôle.

L’historique visuel peut montrer qu’un objet s’est déplacé, mais il peut ne pas expliquer pourquoi une prise a échoué. Un capteur tactile ou un signal de couple articulaire pourrait révéler des informations absentes de la caméra. Les variantes futures devront tester des entrées plus riches sans perdre l’avantage d’efficacité.

Les licences constituent une autre contrainte. Le code de REKI utilise la licence MIT, mais ses poids utilisent CC BY-NC-SA 4.0. Les entreprises ne peuvent pas supposer que la disponibilité publique autorise une intégration commerciale sans restriction.

La provenance des jeux de données mérite également examen. Un mélange peut être public tout en combinant des sources aux licences, procédures de collecte, configurations de caméra et sémantiques d’action différentes. Kyutai indique avoir sélectionné chaque source, mais les équipes en aval restent responsables de la conformité.

Enfin, la domination d’un benchmark vieillit vite. Des concurrents peuvent ajouter des registres mis en cache similaires, distiller des modèles plus grands ou améliorer les compilateurs. La contribution durable de REKI dépendra moins d’une position sur un classement que de l’adoption indépendante de sa conception mémoire.

Quelle est la suite pour Kyutai REKI ?

Trois signaux détermineront si REKI devient une référence VLA durable ou reste un résultat de recherche efficace.

Le premier signal est la reproduction indépendante. Des groupes externes doivent relancer les ablations de mémoire et les évaluations de benchmark à l’aide des points de contrôle publiés. Retrouver les gains rapportés renforcerait l’affirmation selon laquelle la mémoire par registres se transfère entre les implémentations.

La reproduction devrait couvrir à la fois les taux de réussite et les catégories d’échec. Les chercheurs devraient compter les oscillations, les prises répétées, les transitions bloquées et les mouvements dangereux. Un score moyen peut masquer le fait que la mémoire corrige un échec tout en en aggravant un autre.

Les équipes devraient aussi tester plusieurs longueurs de fenêtre. REKI utilise trois images échantillonnées à une seconde d’intervalle, dont deux images historiques conservées. Des fenêtres plus longues montreraient comment la mémoire par registres évolue avant que la latence ou la précision ne commence à se dégrader.

Si des tests indépendants confirment les gains rapportés et la faible surcharge, l’argument architectural de REKI se renforcera. De fortes divergences affaibliraient les conclusions tirées des benchmarks actuels.

Le deuxième signal est le déploiement au-delà d’une infrastructure de classe H100. La mesure publiée de 21,8 millisecondes utilise un accélérateur haut de gamme de centre de données et un chemin d’exécution compilé. De nombreux robots pratiques fonctionnent avec des appareils périphériques plus modestes ou des ressources de calcul partagées.

Des points de contrôle quantifiés, des résolutions d’image réduites et des accélérateurs alternatifs révéleront si l’efficacité du modèle résiste à des contraintes réalistes. Les tests de bout en bout devraient inclure l’acquisition des images, le prétraitement, les vérifications de sécurité et la communication de contrôle.

Un déploiement réussi en périphérie transformerait la taille compacte de REKI en avantage opérationnel. Si la mémoire reste peu coûteuse mais que le backbone domine la latence, l’attention se déplacera vers la distillation et l’optimisation de l’encodeur visuel.

Le troisième signal est la performance sur des tâches plus longues et inconnues. Les résultats de RoboCasa365 sur les tâches composites inédites montrent que la composition temporelle difficile reste non résolue. Le modèle doit conserver un état pertinent pendant plus de quelques secondes sans accumuler de contexte obsolète.

Les chercheurs peuvent tester des systèmes hybrides qui combinent les registres locaux de REKI avec une mémoire épisodique plus lente. Le cache rapide pourrait stabiliser les mouvements immédiats, tandis qu’un planificateur distinct suivrait les sous-tâches terminées et les objectifs à long terme.

Cette combinaison préserverait la distinction entre deux problèmes de mémoire. Un robot a besoin de continuité locale pour éviter les oscillations, et il a besoin de l’historique de la tâche pour achever des procédures étendues. Un seul mécanisme ne résout pas nécessairement les deux.

Les concurrents fourniront un autre test. Qwen-RobotManip met l’accent sur la mise à l’échelle, l’alignement et les trajectoires synthétiques. Le π0.5 de Physical Intelligence met l’accent sur une large généralisation dans des environnements réels et sur des signaux d’entraînement hétérogènes.

REKI adopte une position plus contrainte. Il propose qu’une mémoire efficace côté action et un préentraînement sur des données publiques puissent produire une politique petite, inspectable et aux résultats compétitifs. Cette position reste précieuse même lorsque des modèles plus grands remportent certains benchmarks.

Les développeurs devraient surveiller si d’autres projets VLA adoptent une mémoire fondée sur les registres ou publient des ablations comparables. Une large réutilisation architecturale indiquerait que la technique résout un problème commun plutôt qu’elle ne s’adapte à un seul modèle.

Les acheteurs d’entreprise devraient poser une série de questions différente. Le système peut-il effacer sa mémoire en toute sécurité, respecter les délais de la boucle de contrôle complète et se remettre des interruptions ? Ses poids peuvent-ils être utilisés selon les conditions commerciales prévues ?

Les chercheurs devraient examiner si la chaîne de données publiée reproduit les points de contrôle rapportés. Ils devraient également documenter les décisions de prétraitement, les graines d’évaluation et les paramètres du compilateur. Ces détails déterminent souvent si une publication ouverte devient une référence utilisable.

Le modèle Kyutai REKI ne tranche pas la course à l’intelligence robotique généraliste. Il réduit un important désaccord d’ingénierie. Un contexte récent peut améliorer la manipulation sans imposer le passage de chaque image historique dans la partie la plus coûteuse du modèle.

La prochaine étape est la vérification hors de l’environnement de Kyutai. Si les gains de mémoire de REKI se maintiennent sur des robots indépendants, du matériel plus modeste et des tâches plus longues, la mise en cache côté action deviendra difficile à ignorer pour les développeurs de VLA plus grands.