Il modello Kyutai REKI aggiunge memoria ai robot senza il consueto costo computazionale

Kyutai ha rilasciato un modello robotico da 2,4 miliardi di parametri che ricorda osservazioni recenti aggiungendo soltanto 0,1 millisecondi a ciascuna previsione dell'azione misurata. Il modello Kyutai REKI colloca questa memoria nel suo esperto delle azioni, evitando l'elaborazione ripetuta dei fotogrammi precedenti della telecamera. Il design affronta una tensione persistente nell'apprendimento robotico: la memoria aiuta la manipolazione, ma il contesto storico spesso aumenta i costi di addestramento e inferenza.

REKI, abbreviazione di Registering Knowledge in Vision-Language-Action Models, combina una base vision-language con un modulo più piccolo che predice le azioni del robot. Kyutai afferma che 32 token registro persistenti consentono al modello di conservare informazioni dai fotogrammi recenti. I registri restano disponibili mentre il robot predice il successivo blocco di azioni.

Questo approccio mette sotto pressione i sistemi che ottengono il contesto temporale inviando diverse immagini attraverso un modello vision-language più grande. Sfida inoltre l'ipotesi che policy di manipolazione più efficaci debbano basarsi su modelli più grandi o su raccolte di addestramento private. REKI usa dati pubblici, pubblica la propria pipeline di addestramento e riporta risultati competitivi rispetto a modelli con molti più parametri.

Il risultato non dimostra che un modello robotico compatto e aperto possa sostituire ogni alternativa più grande. Le sue prove più solide provengono da benchmark in simulazione e dimostrazioni controllate su robot reali. Tuttavia, la sua architettura propone un'argomentazione specifica e verificabile: la memoria a breve termine appartiene vicino alla generazione delle azioni, dove può restare economica e direttamente utile.

Il modello Kyutai REKI rende la memoria parte della generazione delle azioni

Il cambiamento centrale di REKI è architetturale: il contesto visivo recente diventa una parte memorizzata nella cache dell'esperto delle azioni, anziché un altro costoso input visivo.

Un modello vision-language-action, o VLA, converte immagini e istruzioni linguistiche in azioni fisiche. In REKI, un modello vision-language Qwen3.5-2B codifica innanzitutto le viste delle telecamere e l'istruzione. Un esperto delle azioni da 200 milioni di parametri legge quindi tale rappresentazione e genera una sequenza di azioni tramite flow matching.

Il flow matching è un metodo generativo che trasforma una sequenza iniziale di azioni rumorose in una traiettoria utilizzabile attraverso diversi passaggi di raffinamento. REKI usa dieci passaggi di Eulero durante i test di latenza riportati da Kyutai. Lo stato del robot e il tempo di flusso corrente entrano nell'esperto delle azioni tramite normalizzazione adattiva.

Il modello completo contiene 2,4 miliardi di parametri. Secondo l'architettura di REKI ufficiale, circa 2,2 miliardi appartengono alla base vision-language. I restanti 200 milioni costituiscono l'esperto delle azioni.

L'aggiunta importante è un insieme di 32 token registro appresi per ciascun fotogramma osservato. Questi token riassumono l'istruzione codificata e le viste delle telecamere. Restano poi in una cache chiave-valore, che memorizza informazioni di attenzione riutilizzabili per successive previsioni delle azioni.

REKI si addestra su finestre contenenti tre fotogrammi di un singolo episodio. Questi fotogrammi vengono campionati a un secondo di distanza. Durante l'inferenza, il modello conserva i registri dei due fotogrammi precedenti ed elimina l'insieme più vecchio quando ne arriva uno nuovo.

Questa finestra offre alla policy una breve cronologia di ciò che ha appena visto. Un robot può quindi distinguere un'azione in corso da uno stato incontrato di recente. Non deve dedurre tutto soltanto dall'immagine più recente.

I token registro non prestano mai attenzione ai token delle azioni generate. Dipendono dalle osservazioni anziché da un particolare stato del robot, tempo di flusso o passaggio di denoising. Kyutai può quindi calcolarli una sola volta per fotogramma e riutilizzarli durante l'intera generazione delle azioni.

Questa separazione è importante perché la generazione di azioni basata sul flusso ripete diversi calcoli. Ricalcolare il contesto visivo storico a ogni passaggio di raffinamento moltiplicherebbe il costo. REKI mantiene stabile il riepilogo delle osservazioni mentre i suoi token di azione continuano a cambiare.

Kyutai riporta che predire un blocco da due immagini di telecamere da 256 per 256 richiede 21,8 millisecondi su una Nvidia H100. La lettura dei registri memorizzati nella cache aggiunge 0,1 millisecondi. Ogni fotogramma conservato aggiunge circa 2 MiB di memoria GPU.

Queste misurazioni si applicano all'implementazione compilata di Kyutai e all'hardware specificato. Non stabiliscono la latenza su acceleratori più piccoli o su sistemi robotici completi. L'acquisizione della telecamera, il networking, la logica di sicurezza e il controllo degli attuatori possono tutti aumentare il tempo di risposta end-to-end.

Tuttavia, il risultato architetturale è concreto. REKI aggiunge una finestra temporale limitata senza rieseguire un modello più grande su tutti i fotogrammi passati. Evita inoltre una rete di memoria separata che richiederebbe un ulteriore percorso di addestramento e inferenza.

Kyutai ha rilasciato il modello preaddestrato e diversi checkpoint specifici per benchmark tramite la scheda del modello REKI. I pesi usano una licenza non commerciale share-alike, mentre il codice associato usa la Licenza MIT. Questa distinzione è rilevante per le organizzazioni che valutano un'implementazione commerciale.

Una memoria robotica efficiente cambia l'equazione dei costi

Il modello Kyutai REKI sostiene che una memoria robotica utile non richieda un contesto video in continua espansione né un secondo sistema di ragionamento.

Molte policy di manipolazione agiscono soprattutto in base all'osservazione corrente. Questo design mantiene gestibile l'inferenza, ma elimina le evidenze su come la scena abbia raggiunto il proprio stato attuale. Una singola immagine potrebbe non rivelare se una presa è appena fallita, se un oggetto si è mosso o se il robot ha iniziato a ritrarsi.

Una risposta consiste nell'inviare diversi fotogrammi storici attraverso la base vision-language. Ciò fornisce evidenze temporali dirette, ma ogni immagine aggiuntiva contribuisce con token visivi. Le richieste di calcolo e memoria crescono quindi con la finestra di contesto.

Un altro approccio usa la ricorrenza. Una policy ricorrente trasmette uno stato nascosto da un passaggio al successivo. Tale stato può riassumere osservazioni precedenti, sebbene l'addestramento diventi spesso sequenziale e più difficile da parallelizzare.

Una terza via aggiunge un modulo di memoria dedicato. Questo può supportare cronologie più ricche, recupero di informazioni o molteplici scale temporali. Introduce però anche un altro componente il cui flusso dei dati, ottimizzazione e comportamento in caso di errore richiedono validazione.

REKI sceglie un obiettivo più ristretto. I suoi registri conservano contesto recente sufficiente a migliorare la coerenza delle azioni locali. Il meccanismo non tenta di fornire una cronologia semantica di un intero compito o ambiente di lavoro.

Anche l'addestramento evita un rollout sequenziale attraverso la finestra di memoria. Kyutai raggruppa i tre fotogrammi in un solo batch e li elabora insieme. L'esperto delle azioni usa attenzione a lunghezza variabile, mentre ogni fotogramma contribuisce a una perdita di addestramento.

Questa disposizione preserva l'addestramento parallelo. Il modello vision-language non svolge più lavoro di quanto farebbe per lo stesso numero di fotogrammi indipendenti e privi di memoria. L'esperto delle azioni sostiene il costo dei token registro aggiuntivi, ma questo componente è molto più piccolo.

Durante l'inferenza, chiavi e valori dei registri passati restano nella cache. I token delle azioni correnti prestano attenzione a tali registri insieme all'osservazione corrente. Il modello riceve quindi informazioni temporali tramite operazioni di attenzione che già esegue.

Questo è il meccanismo alla base della descrizione di Kyutai del costo “trascurabile”. L'affermazione non è che la memoria non abbia letteralmente alcun costo. I registri consumano memoria GPU, capacità di attenzione e 0,1 millisecondi nella configurazione riportata.

Il punto più forte è proporzionale. Tale incremento misurato è inferiore all'uno per cento della latenza di 21,8 millisecondi del blocco di azioni. È inoltre molto minore del costo di codificare ripetutamente diverse immagini delle telecamere attraverso una base da 2,2 miliardi di parametri.

La finestra di memoria rimane volutamente breve. Tre fotogrammi campionati a un secondo di distanza non catturano un lungo compito domestico o una sequenza di recupero estesa. Il design ricorda lo stato visivo recente, non ogni evento rilevante.

Questo limite distingue REKI dai sistemi che puntano a minuti di contesto episodico. Limita inoltre i rischi associati a informazioni obsolete. Una cache scorrevole elimina i registri vecchi anziché consentire l'accumulo di una cronologia illimitata.

Per la manipolazione pratica, una memoria breve può comunque affrontare un guasto comune. Una policy senza memoria può alternare due pose plausibili poiché ogni immagine corrente attiva una diversa decisione locale. Le osservazioni recenti offrono all'esperto delle azioni evidenze sulla sua direzione precedente.

Kyutai riporta che tali oscillazioni della posa sono diventate circa quattro volte più rare con la memoria. Questo risultato collega l'architettura a un comportamento osservabile del robot. È più informativo di una sola media dei benchmark perché identifica una modalità di errore affrontata dai registri.

Il design crea inoltre un'utile domanda ingegneristica. I team non devono più scegliere soltanto tra controllo senza stato e un grande sistema di memoria. Possono verificare se riepiloghi compatti e memorizzati nella cache delle osservazioni risolvano i fallimenti temporali rilevanti per i loro robot.

I dati pubblici mettono sotto pressione i modelli VLA più grandi

L'argomentazione competitiva più solida di REKI combina efficienza e riproducibilità, anziché rivendicare una leadership assoluta su ogni modello robotico.

Kyutai afferma di aver preaddestrato REKI interamente su fonti pubbliche. Il mix contiene un miliardo di fotogrammi che comprendono teleoperazione robotica, simulazione e video egocentrici di persone. Include inoltre 12,2 milioni di campioni vision-language.

I dati robotici includono sottoinsiemi di Open X-Embodiment, BridgeData V2, DROID, AgiBot World, RoboMIND, RoboCOIN e altre raccolte rilasciate. Le fonti di simulazione includono InternData-A1 e GR00T X-Embodiment Sim.

I dati incentrati sugli esseri umani apportano un'altra prospettiva sulla manipolazione. Kyutai ha usato materiale EgoDex, EgoVerse e Xperience che mostra interazioni delle mani da un punto di vista egocentrico. I dataset vision-language aggiungono esempi di ancoraggio spaziale e indicazione.

Il paper su REKI afferma che il preaddestramento è durato 200.000 passaggi su 32 GPU H100. Kyutai ha mantenuto la convenzione di controllo nativa di ciascun dataset invece di convertire ogni robot in una rappresentazione universale delle azioni.

Dati pubblici non significano riproduzione senza sforzo. L'esecuzione di addestramento riportata richiede ancora hardware considerevole, elaborazione dei dati e tempo ingegneristico. Restano inoltre rilevanti le licenze dei dataset e i requisiti di archiviazione.

Tuttavia, il rilascio modifica ciò che i ricercatori esterni possono esaminare. Kyutai ha pubblicato codice per la selezione dei dati, logica di addestramento, codice di inferenza, strumenti di valutazione, componenti di implementazione e pesi del modello. Il codebase pubblico di REKI fornisce un punto di partenza per replica e modifiche.

Questa apertura è importante perché molti solidi sistemi VLA pubblicano checkpoint senza divulgare le loro miscele complete di preaddestramento. Altri si basano su traiettorie robotiche private o pipeline di dati sintetici che gli esterni non possono ricreare esattamente.

Il principale avversario di REKI non è quindi una singola azienda. È il percorso VLA più grande e ad alta intensità di dati che combina più parametri con input di addestramento meno riproducibili. Kyutai sostiene che architettura e selezione dei dati possano recuperare gran parte delle prestazioni di quel percorso.

I risultati di benchmark riportati supportano una parte di tale argomentazione. REKI raggiunge il 90,4 per cento di successo su LIBERO-Plus e il 65,8 per cento su RoboTwin Clean2Rand. Kyutai riporta che si tratta dei punteggi più alti tra i modelli confrontati preaddestrati su dati pubblici.

Il confronto diventa più complesso quando i sistemi utilizzano dati proprietari o sintetici. Qwen-RobotManip raggiunge il 68,5 percento su Clean2Rand, superando il 65,8 percento di REKI. Il suo rapporto tecnico descrive un modello più grande, con 4,7 miliardi di parametri, e una pipeline di sintesi da umano a robot.

Su RoboCasa365, REKI riporta un tasso medio di successo del 38,4 percento. Xiaomi-Robotics-1 raggiunge il 57,4 percento, mentre ABot-M0.5 arriva al 40,4 percento. Entrambi hanno circa il doppio dei parametri di REKI.

Questi numeri sostengono più chiaramente una tesi di prestazioni per dimensione che un primato assoluto nelle prestazioni. REKI guida alcuni confronti e resta indietro rispetto a sistemi più grandi in altri. Il suo vantaggio dipende dal benchmark, dalla categoria di dati e dal vincolo di implementazione che conta.

Il benchmark RoboCasa365 illustra anche perché una singola media richieda cautela. I suoi compiti includono comportamenti atomici e compiti compositi, con condizioni distinte viste e non viste. Un modello può avere prestazioni disomogenee tra questi gruppi.

L'articolo di Kyutai riporta che REKI ottiene l'80,2 percento nei compiti atomici di RoboCasa365 e il 57,1 percento nei compiti compositi visti. Il suo tasso di successo scende al 32,1 percento nei compiti compositi non visti.

Quest'ultima cifra mette in luce il limite centrale delle attuali valutazioni VLA. Riconoscere le istruzioni e produrre azioni locali competenti non garantisce una composizione affidabile in situazioni non familiari. La sola memoria compatta non colma questa lacuna.

Ciononostante, REKI alza l'asticella per le baseline riproducibili. I ricercatori possono modificare i suoi registri, la miscela di dati o l'esperto delle azioni senza dover ricostruire un sistema non documentato. Questo può rendere più facili da interpretare gli esperimenti successivi.

Per i team che conducono tali esperimenti, mantenere una base di conoscenza ingegneristica ricercabile può aiutare a collegare le modifiche di configurazione ai guasti osservati. La riproducibilità dipende sia dalle decisioni registrate sia dal codice sorgente rilasciato.

I guadagni nei benchmark richiedono una lettura attenta

I risultati di REKI sono promettenti, ma restano misurazioni riportate dagli autori e influenzate dai protocolli dei benchmark, dalle scelte di compilazione e da test nel mondo reale limitati.

La memoria migliora di 1,5 punti percentuali il tasso di successo riportato da REKI su LIBERO-Plus. Il guadagno raggiunge 5,5 punti nelle scene pulite di RoboTwin e 5,4 punti su RoboCasa365.

Questi miglioramenti compaiono in tre benchmark distinti, rafforzando l'ipotesi che la memoria contribuisca più di un artificio specifico di un dataset. Un'ablazione di valutazione rimuove inoltre i fotogrammi storici mantenendo invariato il modello addestrato.

Quando questi fotogrammi passati vengono eliminati, le prestazioni tornano verso la baseline senza memoria. Il risultato suggerisce che il modello utilizzi la cronologia memorizzata nella cache durante l'inferenza, anziché ricevere soltanto un beneficio di regolarizzazione durante l'addestramento.

L'analisi delle oscillazioni fornisce un'altra verifica utile. Kyutai definisce l'oscillazione come il movimento tra due pose attraverso segmenti di azione. Secondo quanto riportato, la memoria riduce gli episodi interessati da un tasso sensibilmente più alto senza memoria a circa un quarto.

Tuttavia, le misurazioni provengono ancora dagli autori di REKI. Laboratori indipendenti devono riprodurre le ablazioni con seed, hardware, fotocamere e frequenze di controllo differenti. Piccole differenze di implementazione possono influenzare i benchmark robotici.

Anche il confronto sulla latenza richiede contesto. Kyutai ha misurato i modelli rilasciati con input LIBERO su un singolo H100. Il team ha compilato autonomamente diversi sistemi perché le loro implementazioni pubbliche non disponevano di percorsi di esecuzione ottimizzati equivalenti.

Questo sforzo rende il confronto più pratico, ma non crea una perfetta equivalenza. I modelli hanno architetture, requisiti di elaborazione delle immagini, orizzonti d'azione e compatibilità con i compilatori diversi. Una classifica della latenza può cambiare con un altro acceleratore o stack di serving.

REKI raggiunge 21,8 millisecondi nella sua configurazione compilata. Kyutai riporta 25,5 millisecondi per X-VLA, 33,8 millisecondi per π0.5, 46,1 millisecondi per ABot-M0 e 51,3 millisecondi per InternVLA-A1.5.

Queste cifre misurano la previsione dei segmenti di azione, non il tempo di reazione completo del robot. Un sistema di produzione gestisce anche sensori, comunicazione, controlli delle collisioni, pianificazione del movimento e comandi agli attuatori. L'elemento più lento può trovarsi al di fuori del modello neurale.

Le prove su robot reali sono più ristrette della valutazione in simulazione. Kyutai mostra rollout autonomi con un braccio UR5 e riporta il fine-tuning su 50 dimostrazioni per compito. Ciò indica implementabilità, ma non dimostra un'affidabilità ampia in abitazioni o fabbriche.

La breve finestra di memoria solleva ulteriori questioni operative. Un controllore deve reimpostare i registri in cache quando termina un episodio, cambia una telecamera o una persona interrompe il compito. In caso contrario, vecchie osservazioni potrebbero influenzare una nuova situazione.

Lo stato del robot non entra nei registri stessi. Questo li rende riutilizzabili attraverso i passaggi di denoising, migliorando l'efficienza. Può però anche limitare ciò che riescono a rappresentare riguardo a contatti, forze o transizioni interne di controllo.

La cronologia visiva può mostrare che un oggetto si è mosso, ma potrebbe non catturare il motivo per cui una presa è fallita. Un sensore tattile o un segnale di coppia articolare potrebbe rivelare informazioni assenti dalla telecamera. Le varianti future dovranno testare input più ricchi senza perdere il vantaggio di efficienza.

Anche le licenze costituiscono un vincolo. Il codice di REKI utilizza la licenza MIT, ma i suoi pesi usano CC BY-NC-SA 4.0. Le aziende non possono presumere che la disponibilità pubblica consenta un'integrazione commerciale senza restrizioni.

Anche la provenienza dei dataset merita attenzione. Una miscela può essere pubblica pur combinando fonti con licenze, procedure di raccolta, configurazioni delle telecamere e semantiche delle azioni diverse. Kyutai afferma di aver curato ogni fonte, ma i team a valle restano responsabili della conformità.

Infine, la leadership nei benchmark invecchia rapidamente. I concorrenti possono aggiungere registri in cache simili, distillare modelli più grandi o migliorare i compilatori. Il contributo duraturo di REKI dipenderà meno da una posizione in classifica che dall'adozione indipendente del suo design della memoria.

Cosa verrà dopo per Kyutai REKI

Tre segnali determineranno se REKI diventerà una baseline VLA durevole o resterà un efficiente risultato di ricerca.

Il primo segnale è la riproduzione indipendente. Gruppi esterni devono rieseguire le ablazioni della memoria e le valutazioni dei benchmark usando i checkpoint rilasciati. Replicare i guadagni riportati rafforzerebbe l'affermazione che la memoria dei registri si trasferisce tra implementazioni.

La riproduzione dovrebbe includere sia i tassi di successo sia le categorie di guasto. I ricercatori dovrebbero contare oscillazioni, prese ripetute, transizioni bloccate e movimenti non sicuri. Un punteggio medio può nascondere il fatto che la memoria risolva un guasto peggiorandone un altro.

I team dovrebbero inoltre testare diverse lunghezze della finestra. REKI utilizza tre fotogrammi campionati a un secondo di distanza, con due fotogrammi storici mantenuti. Finestre più lunghe mostrerebbero come la memoria dei registri scala prima che latenza o accuratezza inizino a peggiorare.

Se test indipendenti confermeranno i guadagni riportati e il basso overhead, la tesi architetturale di REKI diventerà più solida. Grandi discrepanze indebolirebbero le conclusioni tratte dai benchmark attuali.

Il secondo segnale è l'implementazione oltre l'infrastruttura di classe H100. La misurazione pubblicata di 21,8 millisecondi utilizza un acceleratore di fascia alta per data center e un percorso di esecuzione compilato. Molti robot pratici operano con dispositivi edge più piccoli o capacità di calcolo condivisa.

Checkpoint quantizzati, risoluzioni delle immagini ridotte e acceleratori alternativi riveleranno se l'efficienza del modello sopravvive a vincoli realistici. I test end-to-end dovrebbero includere acquisizione dalla telecamera, pre-elaborazione, controlli di sicurezza e comunicazione di controllo.

Un'implementazione edge riuscita trasformerebbe le dimensioni compatte di REKI in un vantaggio operativo. Se la memoria restasse economica ma il backbone dominasse la latenza, l'attenzione si sposterebbe verso la distillazione e l'ottimizzazione dell'encoder visivo.

Il terzo segnale è la prestazione su compiti più lunghi e non familiari. I risultati di RoboCasa365 sui compiti compositi non visti mostrano che la difficile composizione temporale resta irrisolta. Il modello deve mantenere lo stato rilevante per più di pochi secondi senza accumulare contesto obsoleto.

I ricercatori possono testare sistemi ibridi che combinano i registri locali di REKI con una memoria episodica più lenta. La cache rapida potrebbe stabilizzare i movimenti immediati, mentre un pianificatore separato tiene traccia dei sottocompiti completati e degli obiettivi a lungo termine.

Questa combinazione preserverebbe la distinzione tra due problemi di memoria. Un robot necessita di continuità locale per evitare oscillazioni e di cronologia del compito per completare procedure estese. Un solo meccanismo non risolve necessariamente entrambi.

I concorrenti forniranno un'altra prova. Qwen-RobotManip enfatizza scalabilità, allineamento e traiettorie sintetiche. π0.5 di Physical Intelligence enfatizza un'ampia generalizzazione attraverso ambienti del mondo reale e segnali di addestramento eterogenei.

REKI adotta una posizione più circoscritta. Propone che una memoria efficiente sul lato delle azioni e il preaddestramento su dati pubblici possano produrre una policy piccola, ispezionabile e con risultati competitivi. Questa posizione è preziosa anche quando modelli più grandi vincono singoli benchmark.

Gli sviluppatori dovrebbero osservare se altri progetti VLA adottano memoria basata su registri o pubblicano ablazioni comparabili. Un ampio riuso architetturale indicherebbe che la tecnica risolve un problema comune anziché adattarsi a un solo modello.

Gli acquirenti aziendali dovrebbero porre una serie diversa di domande. Il sistema può cancellare la memoria in sicurezza, rispettare le scadenze dell'intero ciclo di controllo e recuperare dalle interruzioni? I suoi pesi possono essere utilizzati secondo le condizioni commerciali previste?

I ricercatori dovrebbero esaminare se la pipeline di dati pubblicata riproduca i checkpoint riportati. Dovrebbero inoltre documentare le decisioni di pre-elaborazione, i seed di valutazione e le impostazioni del compilatore. Questi dettagli spesso determinano se un rilascio aperto diventi una baseline utilizzabile.

Il modello Kyutai REKI non risolve la corsa verso un'intelligenza robotica generalista. Restringe una importante disputa ingegneristica. Il contesto recente può migliorare la manipolazione senza costringere ogni fotogramma storico a passare attraverso la parte più costosa del modello.

Il passo successivo è la verifica al di fuori dell'ambiente di Kyutai. Se i guadagni di memoria di REKI resisteranno su robot indipendenti, hardware più piccolo e compiti più lunghi, la cache sul lato delle azioni diventerà difficile da ignorare per gli sviluppatori di VLA più grandi.