SALT Recupera Mais Memória, mas Modelos Menores Perdem Precisão

Uma publicação no horizon machinelearning expôs um conflito claro de recuperação: o SALT pesquisa com eficiência uma trie de memória completa, mas modelos menores alucinam quando ele retorna informação demais.

Segundo o desenvolvedor, o SALT armazena cada entrada em uma trie, uma estrutura em árvore que compartilha prefixos comuns para reduzir o armazenamento repetido. Em seguida, usa dominância temática e seleção CELF dentro de um orçamento de recuperação de 20%. Essas alegações de implementação vêm da discussão sobre recuperação do desenvolvedor, e não de uma avaliação revisada de forma independente.

O sistema supostamente funciona com um chatbot, mas agora agentes estão sendo incorporados à arquitetura. Essa mudança eleva a importância do problema. Vários módulos podem recuperar memórias sobrepostas, repetir fatos apenas marginalmente relevantes e consumir a atenção limitada do gerador antes que ele execute qualquer ação.

O problema central não é se o SALT consegue encontrar sentenças relacionadas. Aparentemente, ele encontra demais. A questão mais difícil é se uma política de recuperação consegue preservar todas as dependências necessárias enquanto exclui material plausível, porém dispersivo.

Isso coloca dois objetivos em conflito direto. A cobertura temática recompensa um conjunto por representar uma parcela maior do tópico ativo. A precisão da evidência recompensa apenas o material que altera a resposta ou ação correta. Para modelos menores, o segundo objetivo pode importar mais que o primeiro.

A Proposta do SALT Transforma a Recuperação de Memória em um Problema de Seleção

O gargalo relatado do SALT começa depois que o armazenamento é bem-sucedido, pois acesso eficiente não garante contexto útil.

De acordo com a publicação, todas as entradas vão para uma trie na DRAM. A DRAM é a memória de trabalho rápida do sistema, enquanto uma trie organiza sequências por meio de prefixos compartilhados. Esse desenho pode tornar padrões de texto repetidos compactos e rapidamente endereçáveis.

O desenvolvedor então recupera sentenças por meio de um sistema de palavras-chave e dominância temática. Um procedimento CELF seleciona material dentro de um orçamento fixado em 20%. CELF, ou seleção lazy forward com custo eficiente, acelera a otimização gulosa ao evitar o recálculo desnecessário do valor marginal de cada candidato.

A propriedade atraente é a dos retornos decrescentes. Uma sentença que cobre um novo tema pode inicialmente oferecer valor substancial. Outra sentença que cobre o mesmo tema deveria contribuir menos depois que a primeira entra no conjunto selecionado.

Essa lógica se encaixa na recuperação quando diversidade e cobertura importam. Ela desestimula um conjunto de resultados repleto de quase duplicatas, ao mesmo tempo que permite que várias partes de um tópico apareçam. Também torna uma grande coleção de memória administrável sem pontuar todos os subconjuntos possíveis.

No entanto, uma porcentagem fixa não representa uma necessidade fixa de informação. Vinte por cento de uma conversa curta podem gerar um prompt compacto. Vinte por cento de uma grande memória persistente de agente podem produzir muito mais material do que um modelo pequeno consegue usar de forma confiável.

O orçamento também cresce com o conjunto de candidatos, a menos que outro limite intervenha. À medida que mais módulos gravam memórias, candidatos consistentes com o tema podem se multiplicar. O seletor pode continuar computacionalmente eficiente enquanto sua saída se torna cognitivamente dispendiosa para o modelo de linguagem.

Essa distinção importa porque a recuperação tem ao menos três estágios separados. O sistema precisa gerar candidatos, classificá-los ou selecioná-los e, então, empacotá-los para um modelo. Velocidade nos dois primeiros estágios não comprova precisão no terceiro.

O material público ainda não documenta a representação temática do SALT, os limites de sentença, as regras de desduplicação ou o conjunto de avaliação. Tampouco estabelece se o orçamento de 20% mede sentenças, tokens, nós armazenados ou outra unidade.

Esses detalhes mudam o diagnóstico. Um orçamento por sentenças pode ocultar grandes diferenças no comprimento em tokens. Um orçamento por tokens ainda pode admitir proposições repetidas. Um orçamento por nós em uma trie pode não corresponder de forma clara a evidência legível.

A localização relatada do repositório, código-fonte do SALT, não estava acessível de maneira consistente durante a pesquisa. Portanto, detalhes arquiteturais além da publicação devem ser tratados como provisórios até que o código e testes reproduzíveis estejam disponíveis.

Ainda assim, o que mudou é claro. O SALT está saindo de um contexto de chatbot em direção a um contexto de agentes, no qual a recuperação de memória influencia ações em vários módulos. Essa transição transforma a recuperação excessiva de um incômodo conversacional em um problema de confiabilidade de todo o sistema.

Por Que a Atenção no Horizon MachineLearning se Voltou ao Excesso de Contexto

A discussão no horizon machinelearning importa porque acrescentar contexto que parece relevante pode reduzir a precisão, mesmo quando cada sentença recuperada compartilha o tema da consulta.

Modelos de linguagem não tratam todas as informações fornecidas como igualmente úteis. Uma janela de contexto define o tamanho máximo de entrada, mas capacidade não garante uso confiável. Posição, repetição, ambiguidade e complexidade da tarefa afetam o que o modelo realmente segue.

O clássico estudo sobre contexto longo testou respostas a perguntas com múltiplos documentos e recuperação de pares chave-valor. Os pesquisadores mudaram a posição da evidência relevante mantendo inalterada a resposta desejada. O desempenho frequentemente seguiu uma curva em U, favorecendo informações próximas ao início ou ao fim.

Em uma configuração relatada, o GPT-3.5-Turbo teve desempenho pior que sua linha de base closed-book de 56,1% quando o documento relevante ficava mal posicionado em contextos mais longos. Os pesquisadores também encontraram retornos decrescentes ao recuperar documentos adicionais.

Passar de 20 para 50 documentos melhorou os resultados apenas marginalmente em seu estudo de caso de perguntas e respostas em domínio aberto. A recuperação adicional não se traduziu em ganhos comparáveis nas respostas. O gerador não conseguia explorar todo o material extra com eficácia.

Evidências mais recentes reforçam esse alerta. Um estudo de 2025 sobre comprimento de contexto constatou que entradas mais longas podem prejudicar o desempenho mesmo quando a recuperação em si é perfeita. Esse resultado separa duas fontes de falha que as equipes frequentemente combinam.

A primeira é o erro de recuperação, em que o sistema escolhe evidência ausente, enganosa ou incompleta. A segunda é o erro de utilização, em que o modelo recebe evidência adequada, mas não consegue raciocinar sobre ela de forma confiável. Reduzir a primeira não resolve automaticamente a segunda.

Essa distinção explica por que a cobertura temática pode parecer boa em um painel de recuperação enquanto as respostas pioram. Uma sentença pode pertencer ao tema correto sem ajudar a resolver a solicitação atual. Ela também pode introduzir um valor desatualizado, uma exceção ou um conceito próximo.

Considere um agente preparando uma implantação de software. Memórias sobre política de implantação, incidentes anteriores, testes, permissões e impacto para o cliente correspondem todas ao tema amplo. No entanto, apenas o ambiente atual, a versão aprovada, o estado do incidente ativo e as verificações exigidas podem determinar a ação de hoje.

Um objetivo de cobertura pode recompensar o incidente histórico porque ele acrescenta amplitude temática. O gerador pode então misturar restrições antigas às atuais. Um modelo menor tem menos capacidade disponível para distinguir cronologia, autoridade e aplicabilidade condicional.

A filiação temática é, portanto, um indicador fraco de utilidade causal. A melhor evidência recuperada não está apenas relacionada à pergunta. Ela precisa apoiar, restringir, contradizer ou desambiguar materialmente a resposta.

Essa pressão cresce em sistemas com múltiplos turnos. Pesquisadores da Microsoft relataram uma queda média de desempenho de 39% em seis tarefas de geração quando os modelos testados lidavam com conversas ao longo de vários turnos. Seu benchmark de conversação constatou que importantes modelos abertos e fechados tiveram desempenho pior do que em configurações equivalentes de turno único.

Os agentes acrescentam outra camada. Cada módulo pode criar resumos, planos, resultados de ferramentas, observações e mensagens de status. Um sistema de memória compartilhada passa então a lidar com várias versões do mesmo fato, cada uma escrita para uma finalidade local diferente.

A compressão ajuda no armazenamento, mas não garante relevância para a decisão. Um elemento de distração comprimido continua sendo um elemento de distração. Vários resumos comprimidos também podem obscurecer qual fonte original era autoritativa.

Para quem desenvolve uma base de conhecimento pesquisável, esta é a lição prática. A qualidade da recuperação deve ser avaliada na resposta ou ação final, não apenas na camada de índice ou classificação.

Cobertura e Precisão Puxam a Recuperação de Sentenças em Direções Opostas

O principal conflito de design do SALT é cobertura versus precisão, e não tries versus bancos de dados vetoriais ou CELF versus outro otimizador.

A cobertura pergunta se o conjunto selecionado representa aspectos distintos suficientes de um tópico. A precisão pergunta se cada item selecionado merece espaço escasso no prompt para esta decisão específica. Ambas são úteis, mas recompensam comportamentos diferentes.

Um classificador puro por relevância frequentemente retorna sentenças redundantes. Os itens com maior pontuação podem reformular o mesmo conceito proeminente com pequenas mudanças de redação. A seleção submodular pode melhorar a diversidade ao descontar candidatos que acrescentam pouco além dos itens já selecionados.

O uso relatado de CELF pelo SALT parece direcionado a esse problema. Se o objetivo subjacente for submodular, a seleção gulosa lazy pode aproximar com eficiência um conjunto de alto valor. Ainda assim, um otimizador só consegue perseguir os valores codificados em seu objetivo.

Se a cobertura temática atribui valor a cada novo subtema, o sistema buscará amplitude. Ele não sabe que um subtema é apenas contexto, enquanto outro contém a restrição decisiva. Também não consegue inferir isso apenas a partir de eficiência computacional.

A unidade de recuperação agrava a questão. Sentenças são fáceis de pontuar e reorganizar, mas os fatos nem sempre respeitam limites de sentenças. Uma sentença qualificadora pode depender de uma definição, marca temporal, interlocutor ou exceção localizada nas proximidades.

Recuperar apenas a sentença que aparentemente contém a resposta pode eliminar a proveniência necessária. Recuperar toda a sua vizinhança temática pode restaurar a proveniência, mas acrescentar ruído. O sistema precisa de uma unidade de evidência que preserve dependências sem importar um grupo temático inteiro.

Uma opção é a recuperação centrada em alegações. O sistema representaria cada memória como uma alegação acompanhada de metadados, incluindo fonte, tempo, escopo, confiança e vínculos com qualificadores necessários. A seleção operaria sobre esses pacotes de evidência, em vez de sentenças isoladas.

Outra opção é o ganho marginal condicionado à pergunta. O valor de um candidato dependeria de ele melhorar uma resposta, resolver uma ambiguidade, fornecer uma etapa ausente ou contradizer o rascunho atual. A novidade temática geral se tornaria um sinal de apoio, em vez do objetivo principal.

Nenhuma das abordagens elimina os trade-offs. A extração de alegações pode introduzir erros durante a ingestão. A pontuação condicionada à pergunta pode acrescentar latência e depender de outro modelo, que carrega seus próprios vieses.

Ainda assim, ambas as abordagens expõem o verdadeiro objetivo de otimização. A camada de recuperação deve maximizar a utilidade esperada da tarefa dentro de um orçamento de tokens e latência. Ela não deve maximizar a cobertura de memória e presumir que o gerador descartará o excesso.

A política fixa de 20% merece atenção especial. Porcentagens são convenientes para amostragem de armazenamento, mas a capacidade do prompt depende de tokens absolutos. A confiabilidade do modelo também muda conforme a complexidade da consulta, a estrutura da evidência e o gerador utilizado.

Um orçamento melhor se adaptaria à necessidade de evidências. Uma consulta direta pode exigir uma alegação respaldada. Uma comparação pode exigir várias alternativas. Um plano de agente com várias etapas pode exigir uma cadeia de dependências mais contradições explícitas.

Isso sugere um processo de recuperação em estágios. A primeira passagem deve recuperar um núcleo pequeno e de alta precisão. Uma segunda passagem deve expandir apenas quando a resposta não tiver suporte, contiver incerteza ou exigir mais uma etapa de raciocínio.

A decisão de expansão precisa de critérios mensuráveis. Um modelo pode identificar alegações sem suporte, mas a confiança autorrelatada por si só não é confiável. Sinais mais seguros incluem citações ausentes, entidades não resolvidas, datas contraditórias e falhas nas verificações de respondibilidade.

O sistema também deve separar memória estável de memória episódica. A memória estável contém preferências, políticas e fatos verificados duradouros. A memória episódica registra eventos, observações transitórias e etapas anteriores cuja relevância diminui com o tempo.

Sem essa separação, um seletor de temas pode misturar regras permanentes com estado temporário. Um agente pode seguir uma solução alternativa antiga depois que o incidente subjacente termina. Portanto, metadados temporais devem influenciar a seleção antes que o texto chegue ao modelo.

A autoridade importa tanto quanto a recência. Uma instrução do usuário deve ter prioridade sobre um resumo dessa instrução gerado por um agente. Um resultado de ferramenta verificado deve ter prioridade sobre um plano especulativo. A semelhança temática por si só não consegue expressar essas prioridades.

O melhor método de recuperação de sentenças provavelmente combinará vários sinais. Eles incluem correspondência lexical, similaridade semântica, cobertura de dependências, tempo, autoridade, contradição e utilidade estimada para a tarefa. O CELF ainda pode realizar a seleção final do conjunto se o objetivo incorporar essas distinções.

Isso não torna a trie irrelevante. A estrutura de armazenamento determina a velocidade de consulta, a sobrecarga de memória, o comportamento de atualização e os relacionamentos disponíveis. Significa apenas que eficiência de armazenamento e confiabilidade da resposta pertencem a camadas de avaliação diferentes.

Modelos Menores Expõem Primeiro a Falha de Recuperação

Modelos menores não são apenas geradores mais fracos nesse caso; eles atuam como testes de estresse para verificar se a camada de recuperação separou evidências de ruído temático.

Um modelo grande às vezes consegue se recuperar de um prompt desorganizado graças a um seguimento de instruções mais forte e a uma melhor discriminação contextual. Essa tolerância pode ocultar fraquezas no recuperador. O mesmo contexto pode sobrecarregar imediatamente um modelo menor.

A observação do desenvolvedor sobre alucinação, portanto, merece interpretação cuidadosa. Recuperação excessiva pode se correlacionar com respostas sem suporte, mas a publicação não estabelece causalidade. Outras fontes incluem prompts fracos, evidências ausentes, memórias contraditórias, configurações de decodificação ou limitações específicas do modelo.

O termo alucinação também pode agrupar várias falhas. Um modelo pode inventar um fato, mesclar duas memórias, seguir instruções desatualizadas ou escolher a alternativa recuperada errada. Cada falha exige uma medição diferente e, potencialmente, uma correção diferente.

O SALT precisa de uma taxonomia de erros antes de alterar seu seletor. Toda resposta que falhar deve identificar se a evidência necessária estava ausente, presente mas ignorada, contradita, incompleta ou sobrepujada por distrações.

A avaliação deve comparar pelo menos quatro condições de recuperação. Uma não deve fornecer memória externa. Outra deve fornecer apenas um conjunto de evidências de referência selecionado por um humano. Uma terceira deve usar a saída atual do SALT, e uma quarta deve usar uma saída agressivamente podada.

Essa comparação separa recuperação de geração. Se o modelo menor falhar com o conjunto de referência, alterar os pesos do CELF não resolverá o problema central. Se ele tiver sucesso com evidências de referência, mas falhar com a saída do SALT, a precisão se torna o principal objetivo.

O benchmark deve preservar categorias realistas de tarefas. Perguntas factuais diretas testam a lembrança exata. Perguntas de múltiplas etapas testam a completude das dependências. Tarefas de agente testam se a memória recuperada leva à escolha correta de ferramenta, parâmetros e condição de parada.

Cada categoria precisa de casos negativos. O corpus deve conter sentenças plausíveis, mas irrelevantes, do mesmo tema, versões desatualizadas de fatos verdadeiros, contradições explícitas e paráfrases duplicadas. Distratores aleatórios simples superestimarão a qualidade do sistema.

A avaliação também deve variar a posição das evidências. Os resultados de limite de contexto do Gemini 2.5 Flash mostram que modelos mais novos podem lidar com a recuperação simples de agulhas em contextos longos muito melhor do que sistemas anteriores. Essa descoberta é um importante contraponto a alegações amplas sobre falhas universais de contexto.

No entanto, a recuperação simples de fatos não é o mesmo que raciocinar entre memórias concorrentes. Um modelo pode localizar um fato inserido enquanto ainda tem dificuldades com várias alegações relacionadas, exceções e mudanças temporais. O caso de uso de agentes do SALT está mais próximo da segunda categoria.

Portanto, os testes devem cruzar o tamanho do modelo com a composição do contexto. O mesmo conjunto recuperado deve ser enviado a um modelo local menor, a um modelo mais forte e a um avaliador no estilo de referência. As diferenças mostrarão se as melhorias vêm de uma memória mais limpa ou de maior capacidade do gerador.

A precisão deve ser relatada em vários níveis. A precisão de sentenças contabiliza quantas sentenças recuperadas se mostram úteis. A precisão de alegações contabiliza proposições sustentadas. A precisão de ação mede se um agente escolhe a operação e os parâmetros corretos.

A revocação deve permanecer visível. Podar tudo, exceto uma sentença óbvia, pode elevar a precisão enquanto destrói a completude de múltiplas etapas. Um seletor seguro deve identificar o menor conjunto suficiente de evidências, e não simplesmente o menor conjunto.

“​​Suficiente” significa que o conjunto sustenta o resultado correto e mantém as ressalvas necessárias. Ele também deve incluir contradições decisivas quando a memória contiver alegações conflitantes. Caso contrário, um prompt compacto pode se tornar confiantemente incorreto.

Testes de ablação podem revelar quais componentes do SALT ajudam. Pesquisadores devem desativar a cobertura temática, alterar o orçamento percentual, limitar tokens absolutos, remover duplicatas, adicionar recência e adicionar ponderação de autoridade separadamente.

Esses experimentos devem usar memórias armazenadas e consultas idênticas. Alterar o corpus entre execuções dificultaria as comparações. Repetir os testes também importa quando a geração usa amostragem.

Latência e uso de memória devem continuar como métricas secundárias, não desaparecer. Um reranqueador que melhora a precisão, mas adiciona atraso inaceitável, pode prejudicar um agente interativo. O objetivo é uma fronteira operacional mensurada entre precisão, tokens, latência e DRAM.

O desenvolvedor também deve registrar o que cada sentença recuperada contribuiu. Um código de motivo conciso pode identificar correspondência lexical, nova alegação, contradição, dependência temporal ou autoridade da fonte. Esses registros tornam a recuperação excessiva diagnosticável sem pedir ao gerador que explique a si próprio.

Um risco importante permanece sem verificação. Não há benchmark público que estabeleça a precisão atual do chatbot do SALT, a compressão de memória ou o desempenho de agentes. A arquitetura deve ser discutida como um relatório de projeto inicial, não como um avanço validado.

Três Sinais Mostrarão se o SALT Pode Escalar para Agentes

O próximo marco do SALT deve ser um resultado de precisão reproduzível, não um armazenamento de memória maior ou um orçamento de contexto mais generoso.

O primeiro sinal é um benchmark de diferença em relação à referência. O desenvolvedor deve comparar a recuperação atual com um conjunto mínimo de evidências selecionado por humanos em tarefas diretas, de múltiplas etapas e de ação por agentes. Os resultados devem ser detalhados por tamanho de modelo.

Se o SALT se aproximar do desempenho de referência usando menos tokens, as evidências apoiarão sua estratégia de seleção temática. Se a diferença aumentar para modelos menores, o objetivo atual está selecionando uma amplitude que o gerador não consegue utilizar.

O segundo sinal é o orçamento adaptativo. Uma política fixa de 20 por cento deve competir contra limites absolutos de tokens e recuperação em estágios. A comparação deve medir precisão das respostas, sucesso de ações, alegações recuperadas, latência e afirmações sem suporte.

Uma política adaptativa só vence se preservar cadeias completas de evidências. Contagens menores de tokens, por si só, enfraqueceriam o sistema se removessem exceções ou dependências. O resultado mais forte melhoraria a precisão sem reduzir a revocação no nível da tarefa.

O terceiro sinal é a proveniência consciente de módulos durante testes de agentes. Cada memória deve identificar seu módulo de origem, timestamp, autoridade e material-fonte. Os testes devem incluir memórias conflitantes e desatualizadas de agentes diferentes.

Se a seleção consciente de proveniência reduzir ações erradas, a memória multiagente precisa de mais do que dominância temática. Ela precisa de regras explícitas para autoridade, atualidade e contradição. Se a proveniência tiver pouco efeito, o principal problema provavelmente estará em outra parte do ranqueamento ou da geração.

Esses sinais devem aparecer em um pacote aberto de avaliação. O pacote precisa de consultas fixas, evidências rotuladas, registros de recuperação, saídas geradas, configurações de modelo e regras de pontuação. Sem esses artefatos, colaboradores externos não conseguem isolar por que uma mudança proposta funciona.

Sugestões da comunidade ainda podem ser úteis antes que exista um benchmark completo. O projeto poderia testar relevância marginal máxima, reranqueamento por cross-encoder, agrupamento de alegações e compressão focada na consulta. No entanto, nenhum método deve substituir o seletor atual com base apenas em relatos anedóticos.

O design mais forte no curto prazo provavelmente será conservador. Recupere um núcleo compacto de evidências, preserve ressalvas associadas e expanda somente após detectar uma lacuna específica de informação. Encaminhe as evidências selecionadas de acordo com a tarefa de cada módulo, em vez de transmitir um contexto amplo único.

Sistemas de agentes também precisam de higiene de memória. Eles devem mesclar duplicatas, expirar estado temporário, preservar fontes originais e distinguir observações de conclusões. Caso contrário, a qualidade da recuperação se degradará à medida que os agentes armazenarem repetidamente derivados de saídas anteriores.

Esse padrão se assemelha à cópia com perdas. Uma ferramenta produz um fato, um agente o resume, outro agente resume esse resumo, e o sistema de memória armazena cada versão. A cobertura temática pode recompensar esses itens como evidências consistentes, apesar de sua origem comum.

A desduplicação consciente de proveniência pode impedir consenso aparente gerado por cópias repetidas. O seletor deve agrupar memórias derivadas sob suas evidências originais. Assim, pode evitar gastar tokens do prompt em várias paráfrases de um mesmo fato.

Equipes que desenvolvem um sistema pessoal de conhecimento enfrentam um desafio relacionado. Capturar tudo só é útil quando a recuperação preserva relevância, limites entre fontes e tempo. A memória de agentes amplia o custo de errar nessas distinções.

Para o debate da horizon machinelearning, esse é o ponto decisivo. O SALT não precisa provar que uma trie pode armazenar uma memória conversacional extensa. Ele precisa mostrar que seu seletor consegue recuperar o menor conjunto suficiente de evidências à medida que as contagens de memória e módulos crescem.

Portanto, a próxima contribuição útil é mensurável: publique um conjunto de falhas, rotule as evidências necessárias e compare políticas de recuperação sob condições idênticas de modelo. Qual política mantém modelos menores precisos sem ocultar fatos necessários?