WorldWeaver dote les modèles vidéo multi-agents d’une mémoire partagée, mais Minecraft n’est que le premier test

WorldWeaver a introduit une mémoire partagée explicite dans un modèle vidéo à deux agents, remettant en question les pipelines qui reconstruisent le monde uniquement à partir des images récentes. Le modèle, également appelé W², stocke des informations évolutives dans des registres d’état du monde tout en générant des vues Minecraft synchronisées. Ses résultats suggèrent qu’une vidéo crédible ne suffit pas à créer un monde interactif persistant.

Ces travaux proviennent de chercheurs de l’UCLA et d’Adobe Research. Ils ont soumis l’article WorldWeaver le 23 juillet 2026. Son enjeu central est architectural : un état partagé persistant contre un historique d’observations compressé dans une fenêtre de contexte glissante.

Cette distinction importe, car plusieurs agents ne voient jamais exactement la même scène. Un joueur peut passer derrière un mur pendant qu’un autre continue à construire à l’extérieur. Un modèle qui ne mémorise que les pixels visibles doit reconstruire les changements cachés lorsque ces vues se rejoignent à nouveau.

WorldWeaver maintient plutôt des jetons apprenables qui résument l’environnement partagé et le statut de chaque agent. Il met à jour ces jetons après chaque segment généré. Le segment suivant dépend alors à la fois des images récentes et du dernier état validé.

Les gains rapportés sont substantiels dans l’évaluation Minecraft à deux joueurs menée par les chercheurs. WorldWeaver a atteint un score mondial agrégé de 105,1, contre 81,0 pour une référence Solaris réentraînée. Toutefois, l’expérience reste restreinte, fondée sur un simulateur et dépendante d’une supervision que les environnements réels fournissent rarement.

WorldWeaver intègre l’état partagé au sein du générateur

Le changement déterminant n’est pas une nouvelle amélioration de la mémoire vidéo, mais une voie d’état distincte qui persiste entre les agents et les étapes de déroulement.

Les modèles de diffusion autorégressifs en continu génèrent une vidéo par segments successifs. Chaque segment conditionne le suivant au moyen d’images récentes et d’un cache clé-valeur, qui stocke des informations intermédiaires d’attention. Cette conception maintient une génération gérable sans rouvrir l’intégralité de l’historique.

La limite apparaît lorsqu’une observation sort de cette fenêtre récente. Le générateur doit alors déduire à nouveau l’information manquante à partir des pixels qui restent. Cette reconstruction peut introduire des incohérences dans les emplacements, les états d’objets, les identités ou les relations.

Le problème s’amplifie dans un cadre multi-agents. Chaque caméra offre une projection partielle d’un même environnement sous-jacent. Un modèle valide doit réconcilier ces projections tout en suivant les changements qui surviennent hors du champ d’une caméra donnée.

WorldWeaver ajoute des registres d’état du monde, des jetons apprenables réservés à l’état évolutif de l’environnement. Ils se trouvent à côté des jetons visuels, mais remplissent une fonction différente. Le registre résume les informations qui doivent subsister lorsque des images individuelles quittent le contexte actif.

À chaque étape de déroulement, le générateur lit son registre précédent, les images récentes et l’action en cours. Il valide ensuite un registre mis à jour après avoir produit le nouveau segment visuel. Ce registre conditionne le segment suivant.

Le processus crée une séquence alternée d’observations et de mises à jour d’état. Les images récentes apportent des preuves locales détaillées. Le registre fournit un mécanisme compact de continuité à travers le temps et les points de vue.

Cette structure diffère d’un simple allongement du cache d’images. Un cache plus grand conserve davantage d’observations, mais celles-ci restent dépendantes de la caméra et encodées visuellement. Le modèle doit toujours extraire l’état pertinent lorsqu’il a besoin de cette information.

WorldWeaver demande au modèle de maintenir continuellement cette abstraction. Les chercheurs décrivent le registre comme à la fois persistant et dynamiquement actualisable. Chaque agent apporte des éléments de preuve à la représentation partagée à mesure que le déroulement progresse.

L’approche limite également l’historique obsolète des registres. Lors de l’inférence, le système conserve le registre initial et le plus récent registre validé, plutôt que d’accumuler tous les états intermédiaires. Ce choix rapproche le mécanisme d’un état récurrent plutôt que d’une archive mémoire en expansion.

La vue d’ensemble de la méthode du projet montre des déroulements Minecraft synchronisés à deux joueurs. Les deux joueurs agissent dans un environnement généré unique, tandis qu’une représentation cachée suit leurs positions et la scène environnante.

Minecraft est utile, car l’environnement expose un état de simulateur précis. Les chercheurs peuvent mesurer les positions, la vitesse, l’orientation et les entrées de contrôle des agents. Ils peuvent aussi capturer une vue aérienne inaccessible à l’un ou l’autre joueur.

Ces signaux rendent l’état caché observable. Ils permettent à l’équipe de se demander si une vidéo générée correspond au même monde sous-jacent à travers les deux caméras. La qualité des pixels ne peut à elle seule répondre à cette question.

L’actualité concerne donc moins des images Minecraft plus belles. Il s’agit de faire passer la cohérence d’un effet secondaire attendu à une composante supervisée de la génération.

Pourquoi l’historique des images devient un handicap pour plusieurs agents

L’historique des observations consigne ce que les caméras ont vu, tandis qu’un modèle de monde interactif doit préserver ce qui reste vrai après la disparition de ces observations.

Un modèle vidéo à caméra unique peut souvent masquer de petites erreurs logiques. Un objet peut légèrement se déplacer entre des images éloignées, tout en laissant la séquence paraître plausible. La génération multi-agents rend ces erreurs plus faciles à révéler.

Supposons qu’Alpha place un bloc tandis que Bravo regarde dans une autre direction. La vue ultérieure de Bravo devrait contenir ce bloc lorsque la caméra se tourne à nouveau. L’action d’Alpha doit modifier un environnement partagé, et non seulement le flux vidéo d’Alpha.

Supposons maintenant que les joueurs se séparent. Leurs historiques d’images récents contiennent des terrains, des objets et des mouvements de caméra différents. Lorsqu’ils se retrouvent, le modèle doit réconcilier les deux historiques sans inventer de géométrie contradictoire.

Un cache visuel glissant fournit un soutien limité à cette tâche. Il privilégie les observations récentes et entremêle l’état avec l’apparence. Les informations concernant un joueur invisible ou une structure cachée peuvent s’estomper à mesure que de nouvelles images remplacent les anciennes.

Un état explicite peut préserver des faits indépendamment de la caméra actuelle. La position, l’orientation, l’agencement proche et les actions terminées peuvent rester disponibles même lorsque leurs pixels sources quittent la fenêtre.

WorldWeaver supervise ses registres à l’aide de trois types de cibles. Les statistiques des agents capturent la position, la vitesse et l’orientation. Les vues à vol d’oiseau contraignent la disposition globale, tandis que le texte de scène fournit une description sémantique du comportement actuel.

Chaque cible répond à un mode de défaillance différent. Les statistiques des agents aident à préserver le mouvement local et l’identité. Les représentations aériennes donnent aux deux agents un repère géométrique commun.

Le texte de scène encourage le registre à conserver des relations significatives plutôt que de simples caractéristiques visuelles de bas niveau. Le processus de légendage décrit dans l’article détaille le comportement de chaque joueur, sa position relative, sa distance et sa direction de regard.

Ces annotations utilisent des vues synchronisées des agents, des images aériennes et des entrées de contrôle. Elles fournissent une connaissance inhabituellement directe de ce qui s’est produit à l’intérieur de chaque segment généré.

Cette supervision est importante, car l’objectif de génération vidéo ne précise pas ce que le registre doit mémoriser. Un jeton non supervisé peut absorber des informations utiles, des textures non pertinentes ou un mélange qui devient instable durant le déroulement.

Les chercheurs ont constaté que les cibles d’état modifiaient à la fois la génération et l’interprétabilité. Des têtes de décodage utilisées uniquement à l’entraînement peuvent récupérer les coordonnées des agents, les caractéristiques aériennes et les descriptions de scène depuis le registre. Ces têtes sont retirées lors de l’inférence, elles n’ajoutent donc aucun travail de décodage au déploiement.

C’est aussi là que l’approche met sous pression les pipelines en continu existants. L’extension des fenêtres de contexte améliore l’accès aux observations antérieures, mais ne crée pas un état partagé canonique.

La comparaison est particulièrement pertinente avec Solaris, un modèle de monde multijoueur de février 2026. Solaris a introduit une collecte de données multijoueurs synchronisée et une génération coordonnée entre les vues des joueurs.

Solaris a rapporté un jeu de données contenant 12,64 millions d’images multijoueurs. Il a également établi des catégories d’évaluation couvrant le mouvement, la mémoire, l’ancrage, la construction et la cohérence des vues.

WorldWeaver adopte ce cadre et réentraîne Solaris sur les mêmes données d’entraînement à des fins de comparaison. Il modifie ensuite la manière dont l’information persiste pendant la génération.

Solaris synchronise les observations grâce à une attention inter-joueurs sur des jetons visuels. WorldWeaver préserve cette interaction tout en introduisant un canal d’état partagé distinct. La question est de savoir si un état explicite survit plus fiablement au contexte visuel.

Les résultats de l’article favorisent l’approche avec état dans cette expérience. Toutefois, ils n’établissent pas qu’un registre de jetons surpasse toujours un contexte plus long, une mémoire externe ou une carte structurée.

Ils montrent quelque chose de plus restreint, mais néanmoins précieux. Lorsque deux flux vidéo doivent décrire un environnement unique en évolution, une supervision explicite de l’état peut améliorer une cohérence logique mesurable.

Les registres d’état du monde modifient le mécanisme de génération

WorldWeaver sépare la synthèse visuelle du maintien de l’état, puis entraîne les deux voies à résister à leurs propres erreurs accumulées.

Le modèle suit un processus d’entraînement en trois étapes. La première adapte un modèle vidéo préentraîné pour un seul joueur en un enseignant multijoueur synchronisé. Une attention bidirectionnelle permet à cet enseignant d’observer l’intégralité du clip tout en apprenant la structure de scène entre agents.

La deuxième étape transforme l’enseignant en générateur causal. La génération causale signifie que chaque sortie dépend uniquement des informations disponibles à ce point de la séquence. Cela est nécessaire pour un flux interactif qui ne peut pas examiner les images futures.

Durant cette étape, les jetons d’images utilisent le contexte visuel récent et le dernier registre. Les jetons de registre lisent la fenêtre d’images locale et le registre précédent. Le modèle alterne entre la prédiction d’observations et la mise à jour de l’état.

Le registre reçoit une supervision auxiliaire à chaque étape validée. Une tête de régression prédit les statistiques des agents. Un autre décodeur prédit des caractéristiques correspondant à une vue à vol d’oiseau alignée.

Une tête de texte prédit la description de scène. L’objectif global d’entraînement combine ces pertes d’état avec la perte de génération d’images du modèle de diffusion.

Cet objectif combiné crée un conflit potentiel. La génération de pixels récompense une reconstruction visuelle détaillée, tandis que la modélisation de l’état récompense des informations compactes et stables. Un seul ensemble de poids de transformeur devrait autrement satisfaire les deux rôles.

WorldWeaver traite ce conflit avec une conception Mixture-of-Transformers. Cette architecture attribue aux jetons de registre et aux jetons d’images des branches de paramètres distinctes tout en préservant une attention conjointe entre eux.

Cette séparation ne revient pas à utiliser des modèles indépendants. Les jetons visuels et d’état échangent toujours des informations au sein de la même séquence entrelacée. Toutefois, chaque type de jeton reçoit des poids adaptés à son rôle.

Cette conception devient plus utile à mesure que la supervision du registre s’enrichit. L’article indique que des poids partagés denses peuvent peiner lorsque la même voie doit produire des pixels et encoder une sémantique du monde vérifiable.

La troisième étape traite une autre source de défaillance. Les modèles s’entraînent couramment sur des images historiques correctes, mais sont déployés sur leurs propres sorties imparfaites. De petites erreurs s’accumulent alors, car chaque image générée devient le contexte de la suivante.

WorldWeaver adapte Self Forcing, une méthode d’entraînement qui fait progresser un modèle à partir de ses propres générations. Cette technique expose le système à ses conditions de déploiement avant l’inférence.

Ici, le problème inclut à la fois la dérive des images et la dérive des registres. Une vue générée incorrecte peut corrompre la mise à jour de l’état suivant. Un état corrompu peut ensuite déformer les vues ultérieures pour chaque agent.

Le modèle déroule donc à la fois les images et les registres validés durant l’entraînement. Il apprend à poursuivre à partir de l’historique qu’il a réellement produit, et pas seulement à partir de données de référence propres.

Le calendrier d’inférence utilise quatre étapes de débruitage. Après le débruitage de chaque image, le modèle l’ajoute au cache visuel glissant. Il met ensuite à jour le registre avant de commencer l’étape de génération suivante.

Ce cycle constitue le mécanisme principal de l’article. WorldWeaver ne se contente pas de récupérer d’anciennes observations ou d’ajouter des métadonnées après la génération. La mise à jour de l’état participe directement à la boucle autorégressive.

D’autres travaux ont abordé le même problème avec une mémoire externe plus explicite. MultiGen, par exemple, sépare la mémoire, l’observation et la dynamique pour des mondes de diffusion multijoueurs modifiables.

La représentation externe de MultiGen permet aux utilisateurs de modifier la structure de l’environnement. WorldWeaver conserve son état à l’intérieur du générateur sous forme de tokens appris. Sa mémoire est ainsi compacte, mais moins directement modifiable.

Ce contraste révèle un choix de conception important. Une carte externe structurée offre un contrôle inspectable, mais exige du système qu’il maintienne cette représentation. Un registre interne offre de la flexibilité, mais peut masquer des états ambigus ou incorrects.

WorldWeaver tente d’occuper une position intermédiaire. Ses registres restent latents durant l’inférence, mais des cibles d’entraînement explicites rendent leur contenu partiellement récupérable. Le système apprend un état interne sans renoncer entièrement à la vérification.

Ce mécanisme suggère également des usages au-delà des jeux synthétiques. Un simulateur de flotte robotique pourrait générer des observations distinctes tout en préservant des positions d’objets partagées. Des environnements d’entraînement pourraient modéliser la façon dont l’action d’un agent modifie ce que les autres rencontrent plus tard.

Les systèmes de jumeaux numériques font face à un problème apparenté lorsque différents capteurs fournissent des vues incomplètes. Un état persistant peut intégrer les éléments de preuve issus de ces vues tandis que l’environnement simulé continue d’évoluer.

Cependant, WorldWeaver ne teste pas ces applications. Ses éléments de preuve proviennent de sessions Minecraft contrôlées avec deux agents, des actions synchronisées et une vérité terrain inhabituellement accessible.

L’architecture formule une affirmation technique claire. L’affirmation concernant des applications plus larges reste ouverte.

Les scores progressent, mais l’écart avec les données du monde réel demeure

Les gains rapportés soutiennent la modélisation explicite de l’état, mais ne démontrent pas que WorldWeaver peut retrouver un état complexe sans supervision issue d’un simulateur.

Les chercheurs évaluent le mouvement, l’ancrage spatial, la mémoire, la construction et la cohérence. Ils utilisent la précision d’un modèle vision-langage et la Fréchet Inception Distance, ou FID, qui compare les distributions visuelles générées et de référence.

Ils combinent également ces mesures dans un score mondial agrégé. WorldWeaver atteint 105,1 sur cette mesure. Le modèle Solaris réentraîné atteint 81,0, tandis qu’une base de référence par concaténation d’images atteint 49,1.

Les plus fortes améliorations de précision apparaissent dans les catégories sensibles à l’état. L’ancrage spatial passe de 81,3 avec Solaris à 93,8 avec WorldWeaver. La construction progresse de 9,4 à 28,1.

La cohérence passe de 57,8 à 76,6. Le mouvement s’améliore également, atteignant 82,8 contre 79,7 pour Solaris.

La mémoire affiche un avantage plus modeste. WorldWeaver obtient 46,9, tandis que Solaris atteint 43,8. La base de référence par concaténation d’images obtient 37,5.

Les résultats FID sont plus contrastés. WorldWeaver améliore plusieurs catégories, dont le mouvement et la cohérence, mais ne domine pas toutes les comparaisons visuelles. Son FID mémoire est de 64,8, contre 61,2 pour Solaris.

Cette divergence importe, car l’état logique et la qualité visuelle sont liés sans être identiques. Un modèle peut préserver le bon événement tout en le rendant médiocrement. Il peut aussi créer des images attrayantes qui contredisent des actions antérieures.

Le meilleur résultat agrégé de WorldWeaver suggère que le registre aide à atteindre l’objectif combiné. Il n’élimine pas tous les compromis de qualité.

Les expériences d’ablation apportent un soutien supplémentaire au mécanisme d’état. Les chercheurs font varier les types de supervision et comparent des poids denses partagés avec l’architecture Transformer séparée.

Les résultats indiquent que différentes cibles d’état aident différents comportements. Aucun signal unique ne domine toutes les catégories. La supervision combinée produit la configuration globale rapportée la plus performante.

L’expérience semi-supervisée répond à la préoccupation la plus évidente en matière de passage à l’échelle. L’équipe fixe l’ensemble étiqueté à 1 000 clips, puis ajoute des quantités croissantes de vidéos non étiquetées.

Sans clips non étiquetés, le score mondial agrégé est de 63,2. L’ajout de 5 000 clips non étiquetés le porte à 82,3. Avec 10 000 clips non étiquetés, le score atteint 90,3.

Ce résultat suggère qu’une collection étiquetée plus petite peut ancrer la sémantique des registres tandis que des vidéos ordinaires améliorent la génération. Il ne supprime pas le besoin d’état étiqueté, mais réduit la proportion nécessaire dans ce cadre contrôlé.

Plusieurs réserves subsistent.

Premièrement, l’article est une prépublication arXiv et n’a pas encore passé l’évaluation par les pairs. Son cadre d’évaluation, son score agrégé et ses conclusions architecturales nécessitent une reproduction indépendante.

Deuxièmement, le modèle opère dans Minecraft. L’environnement comporte des blocs discrets, des entrées de contrôleur accessibles, une synchronisation propre et un état exact du simulateur. Les scènes réelles offrent rarement des annotations équivalentes.

Un robot d’entrepôt pourrait observer des surfaces réfléchissantes, des objets déformables, des personnes et des équipements en mouvement. Il pourrait ne disposer d’aucune vue aérienne fiable ni d’aucun enregistrement complet des interactions cachées.

Troisièmement, les expériences couvrent deux agents. L’ajout de points de vue augmente à la fois l’information et les conflits. Les registres doivent préserver des identités, des observations et des interactions supplémentaires sans les réduire à un résumé ambigu.

Quatrièmement, le registre lui-même peut dériver. Self Forcing expose le modèle à ses erreurs, mais ne peut garantir une récupération après une fausse mise à jour. Un seul état erroné peut influencer tous les agents suivants.

Cinquièmement, l’état rapporté n’est que partiellement interprétable. Les têtes d’entraînement décodent des cibles sélectionnées, mais ces sondes ne révèlent pas tout ce qui est stocké dans le registre. Une grande précision des sondes ne garantit pas une représentation complète ou causalement correcte.

Le modèle dépend également de descriptions automatisées des scènes. Ces légendes utilisent des entrées de contrôleur de vérité terrain en plus des observations visuelles. Les données du monde réel exigeraient des étiquettes d’action plus faibles, plus bruitées ou estimées.

Les auteurs reconnaissent la limitation centrale dans leur article. Leur principale amélioration dépend d’une supervision d’état supplémentaire, alors que l’état du monde réel est plus complexe et souvent indisponible.

Cet aveu définit la véritable frontière du travail. WorldWeaver présente une architecture d’état crédible sous de fortes conditions d’observabilité. Il n’a pas résolu la découverte de l’état dans des environnements où la vérité est cachée.

Ce qui montrera si l’état partagé peut passer à l’échelle

Les prochaines preuves devront tester les registres d’état au-delà de Minecraft à deux joueurs, isoler leurs compromis computationnels et mesurer la récupération après des mises à jour incorrectes.

Le premier signal sera une reproduction indépendante sur le code publié et la configuration d’évaluation. Les chercheurs devraient vérifier le score mondial de 105,1 rapporté et examiner si les gains par catégorie résistent à différentes graines aléatoires.

La reproduction devrait également examiner la métrique agrégée. Un score combiné peut clarifier les performances globales, mais il peut masquer les compromis entre précision logique et fidélité visuelle.

Le deuxième signal sera un environnement plus large avec une supervision incomplète. Un suivi utile conserverait des agents synchronisés tout en supprimant les cartes aériennes exactes ou les coordonnées du simulateur.

Ce test révélerait si les registres peuvent apprendre un état stable à partir d’une géométrie estimée, d’un langage bruité et d’enregistrements d’actions partiels. Son succès renforcerait l’argument en faveur de la robotique et de la simulation incarnée.

Un échec suggérerait que les gains de WorldWeaver dépendent davantage d’annotations privilégiées que de la conception du registre elle-même. Ce résultat resterait instructif pour les futurs systèmes, mais réduirait la portée pratique de l’architecture.

Le troisième signal sera le passage à l’échelle entre agents et horizons temporels. Deux vues offrent un point de départ important, mais l’état partagé devient plus difficile à mesure que des acteurs supplémentaires modifient le même environnement.

Les futures évaluations devraient suivre l’évolution de la cohérence avec quatre agents ou plus. Elles devraient également indiquer le point auquel la capacité du registre, la taille du cache ou l’erreur accumulée deviennent limitantes.

Les déroulements plus longs nécessitent des tests de résistance ciblés. Un agent pourrait cacher un objet, quitter la zone et revenir après que ses images d’origine ont quitté le cache. Un autre agent pourrait modifier cet objet pendant que le premier reste absent.

Ces tests distingueraient l’état persistant du rappel visuel à court terme. Ils révéleraient également si le registre met à jour des relations non observées ou s’il se contente de stocker un historique récent compressé.

Les chercheurs devraient aussi mesurer le comportement de correction. Si une vue produit un faux objet ou un faux emplacement, des éléments de preuve ultérieurs devraient réparer l’état partagé. Dans le cas contraire, une mémoire explicite peut transformer une hallucination locale en engagement à l’échelle du système.

Les systèmes à mémoire externe offrent une comparaison utile. Les cartes structurées peuvent imposer une géométrie et permettre des modifications directes, mais elles impliquent leur propre charge de reconstruction. Les registres appris restent flexibles, mais sont plus difficiles à auditer.

Un benchmark convaincant devrait comparer les deux approches avec des données et une puissance de calcul identiques. Il devrait inclure un contexte long, des registres latents et un état externe explicite au lieu de traiter une seule base de référence comme définitive.

Les rapports computationnels compteront également. Selon l’article, les têtes de supervision utilisées uniquement durant l’entraînement n’ajoutent aucun travail lors de l’inférence. Toutefois, les tokens de registre et les poids Transformer séparés affectent toujours la mémoire, le coût d’entraînement et le débit de génération.

Les systèmes interactifs en temps réel doivent équilibrer ces coûts avec les gains de cohérence. Un état partagé qui fonctionne trop lentement ne peut pas prendre en charge des agents réactifs, des jeux ou des simulations robotiques.

WorldWeaver apporte une réponse utile à une question restreinte : les images vidéo récentes ne constituent pas une définition adéquate d’un monde partagé. Ses registres offrent au générateur un endroit explicite où maintenir des faits entre les différents points de vue.

La question plus difficile est de savoir si ces faits peuvent être appris lorsqu’aucun simulateur ne révèle la réponse. Les développeurs qui évaluent des modèles de monde multi-agents devraient suivre attentivement cette limite.

Les futurs systèmes conservent-ils leur état après la disparition des étiquettes privilégiées ? Peuvent-ils corriger une mémoire partagée après qu’un agent a introduit une erreur ? Restent-ils cohérents à mesure que le nombre d’agents augmente ?

Ces tests détermineront si WorldWeaver marque une architecture réutilisable ou un solide résultat dans Minecraft. Pour l’instant, il rend le débat plus précis : un modèle du monde doit se souvenir du monde, pas seulement de ses dernières images.