WorldWeaver Dá aos Modelos de Vídeo Multiagente uma Memória Compartilhada, mas Minecraft É Apenas o Primeiro Teste

WorldWeaver introduziu uma memória compartilhada explícita em um modelo de vídeo com dois agentes, desafiando pipelines que reconstroem o mundo apenas a partir de frames recentes. O modelo, também chamado W², armazena informações em evolução em registros de estado do mundo enquanto gera visualizações sincronizadas de Minecraft. Seus resultados sugerem que vídeo convincente não basta para um mundo interativo persistente.

O trabalho vem de pesquisadores da UCLA e da Adobe Research. Eles submeteram o artigo do WorldWeaver em 23 de julho de 2026. Seu embate central é arquitetural: estado compartilhado persistente versus histórico de observações comprimido em uma janela de contexto deslizante.

Essa distinção importa porque múltiplos agentes nunca veem exatamente a mesma cena. Um jogador pode caminhar atrás de uma parede enquanto outro continua construindo do lado de fora. Um modelo que se lembra apenas de pixels visíveis precisa reconstituir mudanças ocultas quando essas visualizações voltam a se conectar.

Em vez disso, WorldWeaver mantém tokens aprendíveis que resumem o ambiente compartilhado e o status de cada agente. Ele atualiza esses tokens após cada trecho gerado. O trecho seguinte então depende tanto dos frames recentes quanto do estado confirmado mais recente.

Os ganhos relatados são substanciais na avaliação de Minecraft para dois jogadores realizada pelos pesquisadores. WorldWeaver alcançou uma pontuação agregada de mundo de 105,1, em comparação com 81,0 para uma linha de base Solaris retreinada. No entanto, o experimento continua restrito, baseado em simulador e dependente de supervisão que ambientes reais raramente oferecem.

WorldWeaver Leva o Estado Compartilhado para Dentro do Gerador

A mudança consequente não é mais uma melhoria na memória de vídeo, mas um caminho de estado separado que persiste entre agentes e etapas de rollout.

Modelos de difusão autorregressiva em streaming geram um vídeo em trechos consecutivos. Cada trecho condiciona o próximo por meio de frames recentes e de um cache de chave-valor, que armazena informações intermediárias de atenção. Esse desenho mantém a geração administrável sem reabrir todo o histórico.

A limitação aparece quando uma observação sai dessa janela recente. O gerador precisa inferir novamente as informações ausentes a partir dos pixels que restam. Essa reconstrução pode introduzir locais, estados de objetos, identidades ou relações inconsistentes.

O problema cresce em um cenário multiagente. Cada câmera fornece uma projeção parcial de um único ambiente subjacente. Um modelo válido precisa reconciliar essas projeções enquanto acompanha mudanças que ocorrem além do campo de visão de uma câmera específica.

WorldWeaver adiciona registros de estado do mundo, que são tokens aprendíveis reservados para o estado em evolução do ambiente. Eles ficam ao lado dos tokens visuais, mas cumprem uma finalidade diferente. O registro resume informações que devem sobreviver quando frames individuais deixam o contexto ativo.

Em cada etapa de rollout, o gerador lê seu registro anterior, os frames recentes e a ação atual. Em seguida, confirma um registro atualizado depois de produzir o novo trecho visual. Esse registro condiciona o trecho seguinte.

O processo cria uma sequência alternada de observações e atualizações de estado. Frames recentes fornecem evidências locais detalhadas. O registro fornece um mecanismo compacto de continuidade entre momentos e pontos de vista.

Essa estrutura difere de simplesmente ampliar o cache de frames. Um cache maior preserva mais observações, mas essas observações continuam dependentes da câmera e codificadas visualmente. O modelo ainda precisa extrair o estado relevante sempre que necessita dessas informações.

WorldWeaver pede ao modelo que mantenha essa abstração continuamente. Os pesquisadores descrevem o registro como persistente e atualizável dinamicamente. Cada agente contribui com evidências para a representação compartilhada à medida que o rollout avança.

A abordagem também limita o histórico obsoleto do registro. Durante a inferência, o sistema retém o registro inicial e o registro confirmado mais recente, em vez de acumular todos os estados intermediários. Essa escolha torna o mecanismo mais próximo de um estado recorrente do que de um arquivo de memória em expansão.

A visão geral do método do projeto mostra rollouts sincronizados de Minecraft para dois jogadores. Ambos agem dentro de um ambiente gerado, enquanto uma representação oculta acompanha suas posições e a cena ao redor.

Minecraft é útil porque o ambiente expõe estados precisos do simulador. Pesquisadores podem medir posições, velocidade, orientação e entradas do controlador dos agentes. Eles também podem capturar uma visão superior indisponível para qualquer um dos jogadores.

Esses sinais tornam o estado oculto inspecionável. Eles permitem que a equipe pergunte se um vídeo gerado corresponde ao mesmo mundo subjacente nas duas câmeras. A qualidade dos pixels, por si só, não pode responder a essa pergunta.

Portanto, a notícia é menos sobre imagens mais bonitas de Minecraft. Trata-se de transformar a consistência de um efeito colateral esperado em um componente supervisionado da geração.

Por que o Histórico de Frames se Torna um Passivo para Múltiplos Agentes

O histórico de observações registra o que as câmeras viram, enquanto um modelo de mundo interativo precisa preservar o que continua verdadeiro depois que essas observações desaparecem.

Um modelo de vídeo com uma única câmera muitas vezes consegue ocultar pequenos erros lógicos. Um objeto pode se deslocar ligeiramente entre frames distantes, mas a sequência ainda pode parecer plausível. A geração multiagente torna esses erros mais fáceis de expor.

Suponha que Alpha coloque um bloco enquanto Bravo olha em outra direção. A visão posterior de Bravo deve conter esse bloco quando a câmera se voltar novamente. A ação de Alpha precisa alterar um ambiente compartilhado, e não apenas o fluxo de vídeo de Alpha.

Agora suponha que os jogadores se separem. Seus históricos recentes de frames contêm terrenos, objetos e movimentos de câmera diferentes. Quando se encontrarem novamente, o modelo deverá reconciliar ambos os históricos sem inventar geometria contraditória.

Um cache visual deslizante oferece suporte fraco para essa tarefa. Ele favorece observações recentes e entrelaça estado com aparência. Informações sobre um jogador fora de vista ou uma estrutura oculta podem se dissipar à medida que novos frames substituem os antigos.

Um estado explícito pode preservar fatos independentemente da câmera atual. Posição, orientação, layout próximo e ações concluídas podem continuar disponíveis mesmo quando os pixels que os originaram saem da janela.

WorldWeaver supervisiona seus registros com três tipos de alvos. Estatísticas dos agentes capturam posição, velocidade e orientação. Vistas em perspectiva aérea restringem o layout global, enquanto texto de cena fornece uma descrição semântica do comportamento atual.

Cada alvo aborda um modo de falha diferente. As estatísticas dos agentes ajudam a preservar movimento local e identidade. Representações aéreas dão aos dois agentes uma referência geométrica comum.

O texto de cena incentiva o registro a reter relações significativas, em vez de apenas recursos visuais de baixo nível. O processo de legendagem do artigo descreve o comportamento de cada jogador, posição relativa, distância e direção de visão.

Essas anotações usam visualizações sincronizadas dos agentes, frames aéreos e entradas do controlador. Elas fornecem conhecimento excepcionalmente direto sobre o que aconteceu dentro de cada trecho gerado.

Essa supervisão é importante porque o objetivo de geração de vídeo não especifica o que o registro deve lembrar. Um token não supervisionado pode absorver informações úteis, texturas irrelevantes ou uma mistura que se torna instável durante o rollout.

Os pesquisadores descobriram que os alvos de estado mudaram tanto a geração quanto a interpretabilidade. Cabeças de decodificação usadas apenas no treinamento podem recuperar coordenadas dos agentes, recursos aéreos e descrições de cena a partir do registro. Essas cabeças são removidas durante a inferência, portanto não acrescentam trabalho de decodificação à implantação.

É também aqui que a abordagem pressiona os pipelines de streaming existentes. Estender janelas de contexto melhora o acesso a observações anteriores, mas não cria um estado compartilhado canônico.

A comparação é especialmente relevante para Solaris, um modelo de mundo multijogador de fevereiro de 2026. Solaris introduziu coleta sincronizada de dados multijogador e geração coordenada entre as visualizações dos jogadores.

Solaris relatou um conjunto de dados contendo 12,64 milhões de frames multijogador. Também estabeleceu categorias de avaliação que abrangem movimento, memória, ancoragem, construção e consistência de visualização.

WorldWeaver adota esse cenário e retreina Solaris nos mesmos dados de treinamento para comparação. Em seguida, altera a forma como as informações persistem durante a geração.

Solaris sincroniza observações por meio de atenção entre jogadores sobre tokens visuais. WorldWeaver preserva essa interação enquanto introduz um canal distinto de estado compartilhado. A questão é se o estado explícito sobrevive ao contexto visual de forma mais confiável.

Os resultados do artigo favorecem a rota com estado nesse experimento. No entanto, eles não estabelecem que um registro de tokens sempre supera contexto mais longo, memória externa ou um mapa estruturado.

Eles mostram algo mais restrito e ainda valioso. Quando dois fluxos de vídeo precisam descrever um ambiente em transformação, a supervisão explícita de estado pode melhorar a consistência lógica mensurável.

Os Registros de Estado do Mundo Mudam o Mecanismo de Geração

WorldWeaver separa a síntese visual da manutenção de estado e, em seguida, treina ambos os caminhos para sobreviver aos próprios erros acumulados.

O modelo segue um processo de treinamento em três etapas. A primeira etapa adapta um modelo de vídeo pré-treinado para um único jogador em um professor multijogador sincronizado. A atenção bidirecional permite que esse professor observe o clipe completo enquanto aprende a estrutura de cena entre agentes.

A segunda etapa converte o professor em um gerador causal. Geração causal significa que cada saída depende apenas das informações disponíveis naquele ponto da sequência. Isso é necessário para um fluxo interativo que não pode inspecionar frames futuros.

Durante essa etapa, os tokens de frame usam o contexto visual recente e o registro mais recente. Os tokens de registro leem a janela local de frames e o registro anterior. O modelo alterna entre prever observações e atualizar o estado.

O registro recebe supervisão auxiliar em cada etapa confirmada. Uma cabeça de regressão prevê estatísticas dos agentes. Outro decodificador prevê recursos correspondentes a uma visão aérea alinhada.

Uma cabeça de texto prevê a descrição da cena. O objetivo geral de treinamento combina essas perdas de estado com a perda de geração de frames do modelo de difusão.

Esse objetivo combinado cria um conflito potencial. A geração de pixels recompensa reconstrução visual detalhada, enquanto a modelagem de estado recompensa informação compacta e estável. Caso contrário, um único conjunto de pesos do transformer precisaria satisfazer ambos os papéis.

WorldWeaver aborda esse conflito com um design de Mixture-of-Transformers. Essa arquitetura fornece ramos de parâmetros separados para tokens de registro e tokens de frame, preservando a atenção conjunta entre eles.

A separação não é o mesmo que usar modelos independentes. Os tokens visuais e de estado ainda trocam informações dentro da mesma sequência intercalada. No entanto, cada tipo de token recebe pesos adaptados ao seu papel.

Esse design se torna mais útil à medida que a supervisão do registro fica mais rica. O artigo relata que pesos compartilhados densos podem ter dificuldades quando o mesmo caminho precisa produzir pixels e codificar semântica de mundo verificável.

A terceira etapa aborda outra fonte de falha. Os modelos normalmente treinam com frames históricos corretos, mas são implantados com suas próprias saídas imperfeitas. Pequenos erros então se acumulam porque cada frame gerado se torna contexto para o próximo.

WorldWeaver adapta o Self Forcing, um método de treinamento que faz um modelo avançar com base em suas próprias gerações. A técnica expõe o sistema às suas condições de implantação antes da inferência.

Aqui, o problema inclui tanto a deriva de quadros quanto a deriva de registros. Uma visualização gerada incorretamente pode corromper a próxima atualização de estado. Um estado corrompido pode então distorcer visualizações posteriores para todos os agentes.

Portanto, o modelo gera sequências tanto de quadros quanto de registros confirmados durante o treinamento. Ele aprende a continuar a partir do histórico que realmente produziu, e não apenas de dados de referência limpos.

O cronograma de inferência usa quatro etapas de remoção de ruído. Depois que cada quadro passa pela remoção de ruído, o modelo o adiciona ao cache visual contínuo. Em seguida, atualiza o registro antes de iniciar a próxima etapa de geração.

Esse ciclo é o principal mecanismo do artigo. WorldWeaver não está apenas recuperando observações antigas nem anexando metadados após a geração. A atualização de estado participa diretamente do loop autorregressivo.

Outras pesquisas abordaram o mesmo problema com uma memória externa mais explícita. O MultiGen, por exemplo, separa memória, observação e dinâmica para mundos de difusão multiplayer editáveis.

A representação externa do MultiGen permite que usuários alterem a estrutura do ambiente. WorldWeaver mantém seu estado dentro do gerador como tokens aprendidos. Isso torna sua memória compacta, mas menos diretamente editável.

O contraste revela uma escolha importante de design. Um mapa externo estruturado oferece controle inspecionável, mas exige que o sistema mantenha essa representação. Um registro interno oferece flexibilidade, mas pode ocultar estados ambíguos ou incorretos.

WorldWeaver tenta ocupar um meio-termo. Seus registros permanecem latentes durante a inferência, mas alvos explícitos de treinamento tornam seu conteúdo parcialmente recuperável. O sistema aprende um estado interno sem abandonar totalmente a verificação.

Esse mecanismo também sugere usos além de jogos sintéticos. Um simulador de frota de robôs poderia gerar observações separadas enquanto preserva locais compartilhados de objetos. Ambientes de treinamento poderiam modelar como a ação de um agente altera o que outros encontram mais tarde.

Sistemas de gêmeos digitais enfrentam um problema relacionado quando sensores diferentes fornecem visualizações incompletas. O estado persistente pode integrar evidências entre essas visualizações enquanto o ambiente simulado continua evoluindo.

No entanto, WorldWeaver não testa essas aplicações. Suas evidências vêm de sessões controladas de Minecraft com dois agentes, ações sincronizadas e uma verdade de referência excepcionalmente acessível.

A arquitetura apresenta uma afirmação técnica clara. A afirmação sobre aplicações mais amplas permanece em aberto.

As Pontuações Melhoram, mas a Lacuna de Dados do Mundo Real Permanece

Os ganhos relatados sustentam a modelagem explícita de estado, mas não mostram que WorldWeaver consegue recuperar estados complexos sem supervisão de simulador.

Os pesquisadores avaliam movimento, grounding, memória, construção e consistência. Eles usam a precisão de modelos de visão e linguagem e a Fréchet Inception Distance, ou FID, que compara distribuições visuais geradas e de referência.

Eles também combinam essas medições em uma pontuação agregada de mundo. WorldWeaver alcança 105,1 nessa medida. O modelo Solaris retreinado chega a 81,0, enquanto uma linha de base de concatenação de quadros atinge 49,1.

As maiores melhorias de precisão aparecem em categorias sensíveis ao estado. O grounding sobe de 81,3 com Solaris para 93,8 com WorldWeaver. A construção aumenta de 9,4 para 28,1.

A consistência passa de 57,8 para 76,6. O movimento também melhora, alcançando 82,8, em comparação com 79,7 para Solaris.

A memória mostra uma vantagem menor. WorldWeaver registra 46,9, enquanto Solaris alcança 43,8. A linha de base de concatenação de quadros obtém 37,5.

Os resultados de FID são mais mistos. WorldWeaver melhora várias categorias, incluindo movimento e consistência, mas não lidera todas as comparações visuais. Seu FID de memória é 64,8, em comparação com 61,2 para Solaris.

Essa divisão importa porque estado lógico e qualidade visual estão relacionados, mas não são idênticos. Um modelo pode preservar o evento correto enquanto o renderiza mal. Ele também pode criar quadros atraentes que contradizem ações anteriores.

O resultado agregado mais forte de WorldWeaver sugere que o registro ajuda com o objetivo combinado. Ele não elimina todas as compensações de qualidade.

Experimentos de ablação oferecem suporte adicional ao mecanismo de estado. Os pesquisadores variam os tipos de supervisão e comparam pesos densos compartilhados com a arquitetura de transformer separada.

Os resultados indicam que diferentes alvos de estado ajudam comportamentos distintos. Nenhum sinal único domina todas as categorias. A supervisão combinada produz a configuração geral mais forte relatada.

O experimento semissupervisionado aborda a preocupação mais evidente de escalabilidade. A equipe fixa o conjunto rotulado em 1.000 clipes e adiciona quantidades crescentes de vídeo não rotulado.

Sem clipes não rotulados, a pontuação agregada de mundo é 63,2. A adição de 5.000 clipes não rotulados a eleva para 82,3. Com 10.000 clipes não rotulados, a pontuação chega a 90,3.

Esse resultado sugere que uma coleção rotulada menor pode ancorar a semântica dos registros enquanto vídeos comuns melhoram a geração. Ele não elimina a necessidade de estado rotulado, mas reduz a proporção necessária nesse cenário controlado.

Várias ressalvas permanecem.

Primeiro, o artigo é um preprint do arXiv e ainda não passou por revisão por pares. Sua estrutura de avaliação, pontuação agregada e conclusões arquiteturais precisam de reprodução independente.

Segundo, o modelo opera em Minecraft. O ambiente tem blocos discretos, entradas de controle acessíveis, sincronização limpa e estado exato do simulador. Cenas reais raramente oferecem anotações equivalentes.

Um robô de armazém pode observar superfícies reflexivas, objetos deformáveis, pessoas e equipamentos em movimento. Pode não haver uma visão aérea confiável nem um registro completo de interações ocultas.

Terceiro, os experimentos cobrem dois agentes. Adicionar mais pontos de vista aumenta tanto a informação quanto o conflito. Os registros devem preservar identidades, observações e interações adicionais sem colapsá-las em um resumo ambíguo.

Quarto, o próprio registro pode derivar. Self-forcing expõe o modelo a seus erros, mas não pode garantir recuperação após uma atualização falsa. Um estado equivocado pode influenciar todos os agentes subsequentes.

Quinto, o estado relatado é apenas parcialmente interpretável. Cabeças de treinamento decodificam alvos selecionados, mas essas sondas não revelam tudo o que está armazenado no registro. Alta precisão nas sondas não garante uma representação completa ou causalmente correta.

O modelo também depende de descrições automatizadas de cenas. Essas legendas usam entradas de controle da verdade de referência juntamente com observações visuais. Dados do mundo real exigiriam rótulos de ação mais fracos, mais ruidosos ou estimados.

Os autores reconhecem a limitação central em seu artigo. Sua principal melhoria depende de supervisão adicional de estado, enquanto o estado do mundo real é mais complexo e muitas vezes indisponível.

Essa admissão define a fronteira real do trabalho. WorldWeaver apresenta uma arquitetura de estado crível sob forte observabilidade. Ele não resolveu a descoberta de estado em ambientes onde a verdade está oculta.

O Que Mostrará se o Estado Compartilhado Escala

As próximas evidências precisam testar registros de estado além de Minecraft para dois jogadores, isolar suas compensações computacionais e medir a recuperação após atualizações incorretas.

O primeiro sinal é a reprodução independente no código e na configuração de avaliação divulgados. Pesquisadores devem verificar a pontuação de mundo relatada de 105,1 e examinar se os ganhos por categoria persistem com diferentes sementes aleatórias.

A reprodução também deve inspecionar a métrica agregada. Uma pontuação combinada pode esclarecer o desempenho amplo, mas pode ocultar compensações entre precisão lógica e fidelidade visual.

O segundo sinal é um ambiente mais amplo com supervisão incompleta. Um acompanhamento útil manteria agentes sincronizados, mas removeria mapas aéreos exatos ou coordenadas do simulador.

Esse teste revelaria se os registros conseguem aprender um estado estável a partir de geometria estimada, linguagem ruidosa e registros parciais de ações. O sucesso reforçaria o argumento para robótica e simulação incorporada.

O fracasso sugeriria que os ganhos de WorldWeaver dependem mais de anotações privilegiadas do que do próprio design do registro. Esse resultado ainda informaria sistemas futuros, mas reduziria o alcance prático da arquitetura.

O terceiro sinal é a escalabilidade entre agentes e horizontes temporais. Duas visualizações fornecem um ponto de partida importante, mas o estado compartilhado se torna mais difícil à medida que atores adicionais modificam o mesmo ambiente.

Avaliações futuras devem acompanhar como a consistência muda com quatro ou mais agentes. Elas também devem informar o ponto em que a capacidade do registro, o tamanho do cache ou o erro acumulado se tornam limitantes.

Gerações mais longas precisam de testes de estresse direcionados. Um agente poderia esconder um objeto, deixar a área e retornar depois que seus quadros originais saíram do cache. Outro agente poderia modificar esse objeto enquanto o primeiro permanece ausente.

Esses testes separariam o estado persistente da lembrança visual de curto prazo. Eles também revelariam se o registro atualiza relações não observadas ou apenas armazena um histórico recente comprimido.

Pesquisadores também devem medir o comportamento de correção. Se uma visualização produz um objeto ou localização falsos, evidências posteriores devem reparar o estado compartilhado. Caso contrário, a memória explícita pode transformar uma alucinação local em um compromisso para todo o sistema.

Sistemas de memória externa oferecem uma comparação útil. Mapas estruturados podem impor geometria e apoiar edição direta, mas carregam seu próprio ônus de reconstrução. Registros aprendidos permanecem flexíveis, mas são mais difíceis de auditar.

Um benchmark convincente deve comparar ambas as abordagens sob dados e computação idênticos. Ele deve incluir contexto longo, registros latentes e estado externo explícito, em vez de tratar uma única linha de base como definitiva.

O relato computacional também será importante. As cabeças de supervisão usadas apenas no treinamento não adicionam trabalho de inferência, segundo o artigo. No entanto, tokens de registro e pesos de transformer separados ainda afetam memória, custo de treinamento e taxa de geração.

Sistemas interativos em tempo real devem equilibrar esses custos com os ganhos de consistência. Um estado compartilhado que funciona lentamente demais não pode sustentar agentes responsivos, jogos ou simulações de robótica.

WorldWeaver oferece uma resposta útil para uma questão restrita: quadros de vídeo recentes não são uma definição adequada de um mundo compartilhado. Seus registros dão ao gerador um lugar explícito para manter fatos entre visualizações.

A questão mais difícil é se esses fatos podem ser aprendidos quando nenhum simulador revela a resposta. Desenvolvedores que avaliam modelos de mundo multiagente devem observar atentamente essa fronteira.

Sistemas futuros mantêm o estado depois que rótulos privilegiados desaparecem? Eles conseguem corrigir uma memória compartilhada depois que um agente introduz um erro? Permanecem coerentes à medida que o número de agentes cresce?

Esses testes determinarão se WorldWeaver representa uma arquitetura reutilizável ou um resultado forte em Minecraft. Por enquanto, ele torna o debate mais preciso: um modelo de mundo precisa lembrar o mundo, não apenas suas imagens mais recentes.