SALT ruft mehr Speicher ab, doch kleinere Modelle verlieren an Genauigkeit

Ein Beitrag bei horizon machinelearning hat einen deutlichen Konflikt beim Retrieval offengelegt: SALT durchsucht zwar effizient einen vollständigen Speicher-Trie, doch kleinere Modelle halluzinieren, wenn dabei zu viel zurückgegeben wird.

Laut Entwickler speichert SALT jede Eingabe in einem Trie, einer baumförmigen Struktur, die gemeinsame Präfixe nutzt, um redundante Speicherung zu verringern. Anschließend setzt es Themengewichtung und CELF-Auswahl innerhalb eines Retrieval-Budgets von 20 Prozent ein. Diese Implementierungsangaben stammen aus der Retrieval-Diskussion des Entwicklers, nicht aus einer unabhängig begutachteten Evaluation.

Das System funktioniert Berichten zufolge mit einem Chatbot, doch nun werden auch Agenten in die Architektur eingebunden. Das erhöht den Einsatz. Mehrere Module können überlappende Erinnerungen abrufen, nur am Rand relevante Fakten wiederholen und die begrenzte Aufmerksamkeit des Generators aufbrauchen, bevor dieser überhaupt eine Aktion ausführt.

Das zentrale Problem ist nicht, ob SALT verwandte Sätze finden kann. Offenbar findet es zu viele. Die schwierigere Frage lautet, ob eine Retrieval-Strategie alle notwendigen Abhängigkeiten bewahren und zugleich plausibles, aber ablenkendes Material ausschließen kann.

Damit geraten zwei Ziele in direkten Konflikt. Themenabdeckung belohnt eine Auswahl dafür, mehr vom aktiven Thema abzubilden. Evidenzpräzision belohnt nur Material, das die korrekte Antwort oder Handlung verändert. Bei kleineren Modellen kann das zweite Ziel wichtiger sein als das erste.

Der SALT-Vorschlag macht Speicherabruf zu einem Auswahlproblem

Der berichtete Engpass von SALT beginnt nach erfolgreicher Speicherung, denn effizienter Zugriff garantiert noch keinen nützlichen Kontext.

Dem Beitrag zufolge gelangen alle Eingaben in einen Trie im DRAM. DRAM ist der schnelle Arbeitsspeicher des Systems, während ein Trie Sequenzen über gemeinsame Präfixe organisiert. Dieses Design kann wiederkehrende Textmuster kompakt und schnell adressierbar machen.

Der Entwickler ruft Sätze anschließend über ein Schlüsselwort- und Themengewichtungssystem ab. Ein CELF-Verfahren wählt Material innerhalb eines auf 20 Prozent festgelegten Budgets aus. CELF, kurz für Cost-Effective Lazy Forward selection, beschleunigt die gierige Optimierung, indem unnötige Neuberechnungen des marginalen Werts jedes Kandidaten vermieden werden.

Die attraktive Eigenschaft sind abnehmende Erträge. Ein Satz, der ein neues Thema abdeckt, kann zunächst erheblichen Wert bieten. Ein weiterer Satz zum selben Thema sollte weniger beitragen, sobald der erste Satz in die ausgewählte Menge aufgenommen wurde.

Diese Logik passt zum Retrieval, wenn Vielfalt und Abdeckung wichtig sind. Sie verhindert, dass eine Ergebnismenge mit Beinahe-Duplikaten gefüllt wird, und lässt dennoch mehrere Aspekte eines Themas erscheinen. Außerdem bleibt eine große Speichersammlung handhabbar, ohne jede mögliche Teilmenge bewerten zu müssen.

Ein fester Prozentsatz steht jedoch nicht für einen festen Informationsbedarf. Zwanzig Prozent einer kurzen Unterhaltung können einen kompakten Prompt ergeben. Zwanzig Prozent eines großen, persistenten Agentenspeichers können weit mehr Material liefern, als ein kleines Modell zuverlässig nutzen kann.

Das Budget wächst außerdem mit dem Kandidatenpool, sofern keine weitere Obergrenze greift. Je mehr Module Erinnerungen schreiben, desto stärker können sich thematisch passende Kandidaten vermehren. Der Selektor kann rechnerisch effizient bleiben, während seine Ausgabe für das Sprachmodell kognitiv teuer wird.

Diese Unterscheidung ist wichtig, weil Retrieval mindestens drei getrennte Phasen umfasst. Das System muss Kandidaten erzeugen, sie bewerten oder auswählen und sie anschließend für ein Modell aufbereiten. Geschwindigkeit in den ersten beiden Phasen kann keine Genauigkeit in der dritten belegen.

Das öffentliche Material dokumentiert SALTs Themenrepräsentation, Satzgrenzen, Deduplizierungsregeln oder Evaluationsdatensatz bislang nicht. Es klärt auch nicht, ob das 20-Prozent-Budget Sätze, Tokens, gespeicherte Knoten oder eine andere Einheit misst.

Diese Details verändern die Diagnose. Ein Satzbudget kann große Unterschiede bei der Tokenlänge verbergen. Ein Tokenbudget kann weiterhin wiederholte Aussagen zulassen. Ein Knotenbudget in einem Trie entspricht möglicherweise nicht eindeutig lesbarer Evidenz.

Der angegebene Repository-Standort, SALT source code, war während der Recherche nicht durchgehend zugänglich. Architekturdetaills, die über den Beitrag hinausgehen, sollten daher als vorläufig gelten, bis Code und reproduzierbare Tests verfügbar sind.

Was sich verändert hat, ist dennoch klar. SALT entwickelt sich von einer Chatbot-Umgebung hin zu einer Agentenumgebung, in der Speicherabruf Aktionen über mehrere Module hinweg beeinflusst. Dieser Übergang macht übermäßigen Abruf von einer konversationellen Unannehmlichkeit zu einem Zuverlässigkeitsproblem auf Systemebene.

Warum die Aufmerksamkeit von Horizon MachineLearning auf zu viel Kontext fiel

Die horizon-machinelearning-Diskussion ist wichtig, weil zusätzlich eingefügter, relevant wirkender Kontext die Genauigkeit verringern kann, selbst wenn jeder abgerufene Satz das Thema der Anfrage teilt.

Sprachmodelle behandeln nicht alle bereitgestellten Informationen als gleichermaßen nützlich. Ein Kontextfenster legt die maximale Eingabegröße fest, doch Kapazität garantiert keine verlässliche Nutzung. Position, Wiederholung, Mehrdeutigkeit und Aufgabenkomplexität beeinflussen allesamt, woran sich das Modell tatsächlich orientiert.

Die klassische Long-Context-Studie untersuchte Multi-Dokument-Fragebeantwortung und Schlüssel-Wert-Retrieval. Die Forschenden veränderten die Position relevanter Evidenz, während die gewünschte Antwort unverändert blieb. Die Leistung folgte häufig einer U-förmigen Kurve und bevorzugte Informationen nahe dem Anfang oder Ende.

In einem berichteten Aufbau schnitt GPT-3.5-Turbo schlechter ab als seine Closed-Book-Basislinie von 56,1 Prozent, wenn das relevante Dokument in längeren Kontexten ungünstig platziert war. Die Forschenden stellten zudem abnehmende Erträge beim Abruf zusätzlicher Dokumente fest.

Der Wechsel von 20 auf 50 Dokumente verbesserte die Ergebnisse in ihrer Fallstudie zur Open-Domain-Fragebeantwortung nur geringfügig. Der zusätzliche Retrieval-Recall führte nicht zu vergleichbaren Verbesserungen bei den Antworten. Der Generator konnte das gesamte Zusatzmaterial nicht effektiv nutzen.

Neuere Erkenntnisse verschärfen diese Warnung. Eine Studie zur Kontextlänge aus dem Jahr 2025 stellte fest, dass längere Eingaben die Leistung beeinträchtigen können, selbst wenn das Retrieval selbst perfekt ist. Dieses Ergebnis trennt zwei Fehlerquellen, die Teams häufig zusammenfassen.

Die erste ist ein Retrieval-Fehler, bei dem das System fehlende, irreführende oder unvollständige Evidenz auswählt. Die zweite ist ein Nutzungsfehler, bei dem das Modell ausreichende Evidenz erhält, aber nicht zuverlässig darüber schlussfolgern kann. Die Verringerung des ersten Problems löst das zweite nicht automatisch.

Diese Unterscheidung erklärt, warum Themenabdeckung in einem Retrieval-Dashboard gut aussehen kann, während Antworten schlechter werden. Ein Satz kann zum richtigen Thema gehören, ohne bei der Lösung der aktuellen Anfrage zu helfen. Er kann außerdem einen veralteten Wert, eine Ausnahme oder ein verwandtes Konzept einbringen.

Stellen wir uns einen Agenten vor, der eine Softwarebereitstellung vorbereitet. Erinnerungen an Bereitstellungsrichtlinien, frühere Vorfälle, Tests, Berechtigungen und Kundenauswirkungen passen alle zum übergeordneten Thema. Doch nur die aktuelle Umgebung, die freigegebene Version, der aktive Vorfallsstatus und die erforderlichen Prüfungen könnten die heutige Aktion bestimmen.

Ein Abdeckungsziel kann den historischen Vorfall belohnen, weil er die thematische Breite erhöht. Der Generator könnte dann alte Vorgaben mit aktuellen vermischen. Ein kleineres Modell verfügt über weniger freie Kapazität, um Chronologie, Autorität und bedingte Anwendbarkeit zu unterscheiden.

Die Zugehörigkeit zu einem Thema ist daher ein schwacher Proxy für kausalen Nutzen. Die beste abgerufene Evidenz ist nicht bloß mit der Frage verwandt. Sie muss die Antwort materiell stützen, einschränken, ihr widersprechen oder sie eindeutig machen.

Dieser Druck wächst in Multi-Turn-Systemen. Microsoft-Forschende berichteten über einen durchschnittlichen Leistungsrückgang von 39 Prozent bei sechs Generierungsaufgaben, wenn getestete Modelle Unterhaltungen über mehrere Runden verarbeiteten. Ihr Konversationsbenchmark ergab, dass führende offene und geschlossene Modelle schlechter abschnitten als in gleichwertigen Single-Turn-Szenarien.

Agenten fügen eine weitere Ebene hinzu. Jedes Modul kann Zusammenfassungen, Pläne, Tool-Ergebnisse, Beobachtungen und Statusmeldungen erzeugen. Ein gemeinsames Speichersystem steht dann mehreren Versionen desselben Fakts gegenüber, die jeweils für einen anderen lokalen Zweck geschrieben wurden.

Komprimierung hilft bei der Speicherung, garantiert jedoch keine Entscheidungsrelevanz. Ein komprimierter Ablenker bleibt ein Ablenker. Mehrere komprimierte Zusammenfassungen können zudem verschleiern, welche ursprüngliche Quelle maßgeblich war.

Für Ersteller einer durchsuchbaren Wissensdatenbank ist dies die praktische Lehre. Die Retrieval-Qualität muss anhand der endgültigen Antwort oder Handlung bewertet werden, nicht nur auf der Index- oder Ranking-Ebene.

Abdeckung und Präzision ziehen Satz-Retrieval in entgegengesetzte Richtungen

SALTs zentraler Designkonflikt besteht zwischen Abdeckung und Präzision, nicht zwischen Tries und Vektordatenbanken oder zwischen CELF und einem anderen Optimierer.

Abdeckung fragt, ob die ausgewählte Menge ausreichend unterschiedliche Aspekte eines Themas repräsentiert. Präzision fragt, ob jedes ausgewählte Element für diese konkrete Entscheidung knappen Prompt-Speicher verdient. Beides ist nützlich, belohnt jedoch unterschiedliches Verhalten.

Ein reiner Relevanz-Ranker liefert oft redundante Sätze zurück. Die am höchsten bewerteten Elemente können dasselbe prominente Konzept mit geringfügig anderer Formulierung wiederholen. Submodulare Auswahl kann die Vielfalt verbessern, indem Kandidaten abgewertet werden, die über bereits ausgewählte Elemente hinaus wenig hinzufügen.

SALTs berichteter Einsatz von CELF scheint auf dieses Problem zu zielen. Ist das zugrunde liegende Ziel submodular, kann lazy-greedy-Auswahl effizient eine hochwertige Menge approximieren. Ein Optimierer kann jedoch nur die Werte verfolgen, die in seinem Ziel kodiert sind.

Wenn Themenabdeckung jedem neuen Unterthema Wert zuweist, wird das System Breite anstreben. Es weiß nicht, dass ein Unterthema lediglich Hintergrund ist, während ein anderes die entscheidende Einschränkung enthält. Das lässt sich auch nicht allein aus Recheneffizienz ableiten.

Die Retrieval-Einheit verschärft das Problem. Sätze lassen sich leicht bewerten und neu anordnen, doch Fakten halten sich nicht immer an Satzgrenzen. Ein einschränkender Satz kann von einer Definition, einem Zeitstempel, einem Sprecher oder einer Ausnahme in der Nähe abhängen.

Nur den scheinbar antwortgebenden Satz abzurufen, kann notwendige Herkunftsinformationen entfernen. Seine gesamte thematische Nachbarschaft abzurufen, kann diese Herkunftsinformationen wiederherstellen, aber Rauschen hinzufügen. Das System benötigt eine Evidenzeinheit, die Abhängigkeiten bewahrt, ohne einen ganzen Themencluster zu importieren.

Eine Möglichkeit ist claim-zentriertes Retrieval. Das System würde jede Erinnerung als Behauptung plus Metadaten darstellen, einschließlich Quelle, Zeit, Geltungsbereich, Konfidenz und Verweisen auf erforderliche Einschränkungen. Die Auswahl würde über diese Evidenzbündel statt über isolierte Sätze erfolgen.

Eine weitere Möglichkeit ist fragekonditionierter marginaler Gewinn. Der Wert eines Kandidaten würde davon abhängen, ob er eine Antwort verbessert, Mehrdeutigkeit auflöst, einen fehlenden Schritt liefert oder dem aktuellen Entwurf widerspricht. Allgemeine Themenneuheit würde zu einem unterstützenden Signal statt zum primären Ziel.

Keiner der beiden Ansätze beseitigt die Zielkonflikte. Die Extraktion von Behauptungen kann bei der Aufnahme Fehler einführen. Fragekonditionierte Bewertung kann Latenz erhöhen und von einem weiteren Modell abhängen, das eigene Verzerrungen mitbringt.

Dennoch legen beide Ansätze das tatsächliche Optimierungsziel offen. Die Retrieval-Schicht sollte den erwarteten Aufgabennutzen innerhalb eines Token- und Latenzbudgets maximieren. Sie sollte nicht die Speicherabdeckung maximieren und annehmen, dass der Generator den Überschuss aussortiert.

Die feste 20-Prozent-Regel verdient besondere Prüfung. Prozentsätze sind für die Stichprobenziehung aus Speicher bequem, doch die Prompt-Kapazität hängt von absoluten Tokens ab. Die Modellzuverlässigkeit verändert sich zudem mit der Komplexität der Anfrage, der Evidenzstruktur und dem verwendeten Generator.

Ein besseres Budget würde sich an den Evidenzbedarf anpassen. Eine direkte Abfrage könnte eine belegte Behauptung erfordern. Ein Vergleich könnte mehrere Alternativen benötigen. Ein mehrstufiger Agentenplan könnte eine Abhängigkeitskette plus explizite Widersprüche erfordern.

Das spricht für einen gestuften Retrieval-Prozess. Der erste Durchlauf sollte einen kleinen, hochpräzisen Kern abrufen. Ein zweiter Durchlauf sollte nur dann erweitern, wenn die Antwort nicht ausreichend gestützt ist, Unsicherheit enthält oder einen weiteren Schlussfolgerungsschritt erfordert.

Die Entscheidung zur Erweiterung benötigt messbare Kriterien. Ein Modell kann unbelegte Behauptungen erkennen, doch allein die selbstberichtete Zuversicht ist unzuverlässig. Belastbarere Signale sind fehlende Zitate, ungeklärte Entitäten, widersprüchliche Zeitstempel und fehlgeschlagene Prüfungen der Beantwortbarkeit.

Das System sollte außerdem stabiles Gedächtnis von episodischem Gedächtnis trennen. Stabiles Gedächtnis enthält dauerhafte Präferenzen, Richtlinien und verifizierte Fakten. Episodisches Gedächtnis protokolliert Ereignisse, flüchtige Beobachtungen und frühere Schritte, deren Relevanz abnimmt.

Ohne diese Trennung kann ein Themenauswähler permanente Regeln mit temporärem Zustand vermischen. Ein Agent könnte einem alten Workaround folgen, nachdem der zugrunde liegende Vorfall beendet ist. Zeitliche Metadaten sollten die Auswahl daher beeinflussen, bevor Text das Modell erreicht.

Autorität ist ebenso wichtig wie Aktualität. Eine Nutzeranweisung sollte höher gewichtet werden als eine von einem Agenten erzeugte Zusammenfassung dieser Anweisung. Ein verifiziertes Tool-Ergebnis sollte höher gewichtet werden als ein spekulativer Plan. Thematische Ähnlichkeit allein kann diese Prioritäten nicht ausdrücken.

Die beste Methode zum Abrufen von Sätzen wird wahrscheinlich mehrere Signale kombinieren. Dazu gehören lexikalische Übereinstimmung, semantische Ähnlichkeit, Abdeckungsgrad von Abhängigkeiten, Zeit, Autorität, Widersprüche und geschätzter Aufgabenwert. CELF kann weiterhin die finale Mengenauswahl übernehmen, wenn die Zielfunktion diese Unterschiede berücksichtigt.

Das macht den Trie nicht irrelevant. Die Speicherstruktur bestimmt Abrufgeschwindigkeit, Speicher-Overhead, Update-Verhalten und verfügbare Beziehungen. Es bedeutet lediglich, dass Speichereffizienz und Antwortzuverlässigkeit unterschiedlichen Bewertungsebenen angehören.

Kleinere Modelle legen das Retrieval-Problem zuerst offen

Kleinere Modelle sind hier nicht bloß schwächere Generatoren; sie dienen als Stresstests dafür, ob die Retrieval-Schicht Evidenz von thematischem Rauschen getrennt hat.

Ein großes Modell kann sich manchmal durch bessere Befolgung von Anweisungen und stärkere kontextuelle Unterscheidung von einem überladenen Prompt erholen. Diese Toleranz kann Schwächen des Retrievers verdecken. Derselbe Kontext kann ein kleineres Modell sofort überfordern.

Die Beobachtung des Entwicklers zu Halluzinationen verdient daher eine sorgfältige Einordnung. Übermäßiges Retrieval kann mit unbelegten Antworten korrelieren, doch der Beitrag belegt keine Kausalität. Weitere Ursachen sind schwache Prompts, fehlende Evidenz, widersprüchliche Erinnerungen, Decoding-Einstellungen oder modellspezifische Einschränkungen.

Der Begriff Halluzination kann zudem mehrere Fehlerarten zusammenfassen. Ein Modell könnte einen Fakt erfinden, zwei Erinnerungen verschmelzen, veralteten Anweisungen folgen oder die falsche abgerufene Alternative wählen. Jeder Fehler erfordert eine andere Messung und möglicherweise eine andere Korrektur.

SALT benötigt eine Fehlertaxonomie, bevor sein Selektor geändert wird. Jede fehlgeschlagene Antwort sollte ausweisen, ob die erforderliche Evidenz fehlte, vorhanden, aber ignoriert war, ihr widersprochen wurde, sie unvollständig war oder von Ablenkungen überlagert wurde.

Die Bewertung sollte mindestens vier Retrieval-Bedingungen vergleichen. Eine sollte kein externes Gedächtnis bereitstellen. Eine weitere sollte nur einen von Menschen ausgewählten Oracle-Evidenzsatz bereitstellen. Eine dritte sollte SALTs aktuelle Ausgabe verwenden, und eine vierte sollte eine aggressiv beschnittene Ausgabe nutzen.

Dieser Vergleich trennt Retrieval von Generierung. Wenn das kleine Modell mit dem Oracle-Satz scheitert, wird eine Änderung der CELF-Gewichte das Kernproblem nicht lösen. Wenn es mit Oracle-Evidenz erfolgreich ist, aber mit der SALT-Ausgabe scheitert, wird Präzision zum vorrangigen Ziel.

Der Benchmark sollte realistische Aufgabenkategorien bewahren. Direkte Faktenfragen testen den exakten Abruf. Multi-Hop-Fragen testen die Vollständigkeit von Abhängigkeiten. Agentenaufgaben testen, ob abgerufenes Gedächtnis zur richtigen Tool-Auswahl, zu den richtigen Parametern und zur richtigen Abbruchbedingung führt.

Jede Kategorie benötigt Negativfälle. Der Korpus sollte plausible, aber irrelevante Sätze aus demselben Thema, veraltete Versionen wahrer Fakten, explizite Widersprüche und doppelte Paraphrasen enthalten. Einfache zufällige Ablenkungen würden die Systemqualität überschätzen.

Die Bewertung muss auch die Evidenzposition variieren. Die Ergebnisse zu Kontextgrenzen für Gemini 2.5 Flash zeigen, dass neuere Modelle einfache Needle-Retrieval-Aufgaben über lange Kontexte hinweg deutlich besser bewältigen können als frühere Systeme. Dieses Ergebnis ist ein wichtiges Gegengewicht zu weitreichenden Behauptungen über ein universelles Kontextversagen.

Einfacher Faktenabruf ist jedoch nicht dasselbe wie Schlussfolgern über konkurrierende Erinnerungen hinweg. Ein Modell kann einen einzelnen platzierten Fakt finden und dennoch mit mehreren zusammenhängenden Behauptungen, Ausnahmen und zeitlichen Änderungen Schwierigkeiten haben. SALTs Agenten-Anwendungsfall liegt näher an der zweiten Kategorie.

Tests sollten daher Modellgröße mit Kontextzusammensetzung kreuzen. Derselbe abgerufene Satz sollte einem kleineren lokalen Modell, einem stärkeren Modell und einem Oracle-ähnlichen Evaluator bereitgestellt werden. Die Unterschiede zeigen, ob Verbesserungen aus saubererem Gedächtnis oder höherer Generatorkapazität entstehen.

Präzision sollte auf mehreren Ebenen berichtet werden. Satzpräzision zählt, wie viele abgerufene Sätze tatsächlich nützlich sind. Behauptungspräzision zählt gestützte Propositionen. Aktionspräzision misst, ob ein Agent die richtige Operation und die richtigen Parameter auswählt.

Recall muss sichtbar bleiben. Alles außer einem offensichtlichen Satz zu entfernen, kann die Präzision steigern und zugleich die Multi-Hop-Vollständigkeit zerstören. Ein sicherer Selektor sollte den kleinsten ausreichenden Evidenzsatz bestimmen, nicht einfach den kleinsten Satz.

„Ausreichend“ bedeutet, dass der Satz das korrekte Ergebnis stützt und notwendige Einschränkungen bewahrt. Er sollte auch entscheidende Widersprüche enthalten, wenn das Gedächtnis widersprüchliche Behauptungen umfasst. Andernfalls kann ein kompakter Prompt selbstsicher falsch sein.

Ablationstests können aufdecken, welche SALT-Komponenten helfen. Forschende sollten Themenabdeckung deaktivieren, das prozentuale Budget ändern, absolute Token begrenzen, Duplikate entfernen sowie Aktualität und Autoritätsgewichtung jeweils separat hinzufügen.

Diese Experimente sollten identische gespeicherte Erinnerungen und Anfragen verwenden. Den Korpus zwischen Durchläufen zu ändern, würde Vergleiche erschweren. Wiederholte Versuche sind ebenfalls wichtig, wenn die Generierung Sampling verwendet.

Latenz und Speichernutzung sollten sekundäre Metriken bleiben, aber nicht verschwinden. Ein Reranker, der die Genauigkeit verbessert, aber inakzeptable Verzögerungen hinzufügt, kann einen interaktiven Agenten beeinträchtigen. Das Ziel ist eine gemessene Betriebsgrenze über Genauigkeit, Tokens, Latenz und DRAM hinweg.

Der Entwickler sollte außerdem protokollieren, was jeder abgerufene Satz beigetragen hat. Ein knapper Begründungscode kann lexikalische Übereinstimmung, neue Behauptung, Widerspruch, zeitliche Abhängigkeit oder Quellautorität kennzeichnen. Diese Protokolle machen übermäßiges Retrieval diagnostizierbar, ohne den Generator um eine Selbstbegründung zu bitten.

Ein wichtiges Risiko bleibt unbestätigt. Es gibt keinen öffentlichen Benchmark, der SALTs aktuelle Chatbot-Genauigkeit, Gedächtniskompression oder Agentenleistung belegt. Die Architektur sollte als früher Projektbericht diskutiert werden, nicht als validierter Fortschritt.

Drei Signale werden zeigen, ob SALT zu Agenten skalieren kann

SALTs nächster Meilenstein sollte ein reproduzierbares Präzisionsergebnis sein, nicht ein größerer Gedächtnisspeicher oder ein großzügigeres Kontextbudget.

Das erste Signal ist ein Oracle-Gap-Benchmark. Der Entwickler sollte das aktuelle Retrieval anhand eines minimalen, von Menschen ausgewählten Evidenzsatzes für direkte, Multi-Hop- und Agentenaktionsaufgaben vergleichen. Die Ergebnisse sollten nach Modellgröße aufgeschlüsselt werden.

Wenn SALT bei weniger Tokens eine Leistung nahe am Oracle erreicht, würden die Evidenzen seine Strategie der Themenauswahl stützen. Wenn die Lücke bei kleineren Modellen größer wird, wählt die aktuelle Zielfunktion eine Breite aus, die der Generator nicht nutzen kann.

Das zweite Signal ist adaptive Budgetierung. Eine feste 20-Prozent-Regel sollte gegen absolute Token-Obergrenzen und gestuftes Retrieval antreten. Der Vergleich sollte Antwortgenauigkeit, Aktionserfolg, abgerufene Behauptungen, Latenz und unbelegte Aussagen messen.

Eine adaptive Richtlinie gewinnt nur, wenn sie vollständige Evidenzketten bewahrt. Niedrigere Token-Zahlen allein würden das System schwächen, wenn sie Ausnahmen oder Abhängigkeiten entfernen. Das stärkste Ergebnis würde die Präzision verbessern, ohne den auf Aufgabenebene gemessenen Recall zu verringern.

Das dritte Signal ist modulbewusste Provenienz während Agententests. Jede Erinnerung sollte ihr Ursprungsmodul, ihren Zeitstempel, ihre Autorität und ihr Quellenmaterial ausweisen. Tests sollten widersprüchliche und veraltete Erinnerungen von verschiedenen Agenten einschließen.

Wenn provenienzbewusste Auswahl falsche Aktionen reduziert, benötigt Multi-Agenten-Gedächtnis mehr als thematische Dominanz. Es benötigt explizite Regeln für Autorität, Aktualität und Widerspruch. Wenn Provenienz wenig Wirkung zeigt, liegt das Hauptproblem wahrscheinlich an anderer Stelle im Ranking oder in der Generierung.

Diese Signale sollten in einem offenen Evaluierungspaket erscheinen. Das Paket benötigt feste Anfragen, markierte Evidenz, Retrieval-Protokolle, generierte Ausgaben, Modelleinstellungen und Bewertungsregeln. Ohne diese Artefakte können externe Mitwirkende nicht isolieren, warum eine vorgeschlagene Änderung funktioniert.

Vorschläge aus der Community können auch vor dem Vorliegen eines vollständigen Benchmarks nützlich sein. Das Projekt könnte maximale marginale Relevanz, Cross-Encoder-Reranking, Behauptungs-Clustering und anfragefokussierte Kompression testen. Dennoch sollte keine Methode den aktuellen Selektor allein auf Basis von Anekdoten ersetzen.

Das stärkste kurzfristige Design ist wahrscheinlich konservativ. Rufe einen kompakten Evidenzkern ab, bewahre angehängte Einschränkungen und erweitere nur nach Erkennung einer spezifischen Informationslücke. Leite ausgewählte Evidenz entsprechend der Aufgabe jedes Moduls weiter, anstatt einen breiten Kontext an alle zu senden.

Agentensysteme benötigen auch Gedächtnishygiene. Sie sollten Duplikate zusammenführen, temporären Zustand auslaufen lassen, Originalquellen bewahren und Beobachtungen von Schlussfolgerungen unterscheiden. Andernfalls wird die Retrieval-Qualität nachlassen, wenn Agenten wiederholt Ableitungen früherer Ausgaben speichern.

Dieses Muster ähnelt verlustbehaftetem Kopieren. Ein Tool erzeugt einen Fakt, ein Agent fasst ihn zusammen, ein anderer Agent fasst diese Zusammenfassung zusammen, und das Gedächtnissystem speichert jede Version. Themenabdeckung kann diese Einträge als konsistente Evidenz belohnen, obwohl sie einen gemeinsamen Ursprung haben.

Provenienzbewusste Deduplizierung kann verhindern, dass wiederholte Kopien als scheinbarer Konsens erscheinen. Der Selektor sollte abgeleitete Erinnerungen unter ihrer ursprünglichen Evidenz gruppieren. Dann kann er vermeiden, Prompt-Tokens für mehrere Paraphrasen desselben Fakts auszugeben.

Teams, die ein persönliches Wissenssystem aufbauen, stehen vor einer ähnlichen Herausforderung. Alles zu erfassen ist nur dann nützlich, wenn der Abruf Relevanz, Quellgrenzen und Zeit bewahrt. Agentengedächtnis vergrößert die Kosten, diese Unterscheidungen falsch zu treffen.

Für die Horizon-Machine-Learning-Debatte ist das der entscheidende Punkt. SALT muss nicht beweisen, dass ein Trie umfangreiches Gesprächsgedächtnis speichern kann. Es muss zeigen, dass sein Selektor den kleinsten ausreichenden Evidenzsatz wiederherstellen kann, wenn die Anzahl der Erinnerungen und Module wächst.

Der nächste nützliche Beitrag ist daher messbar: Veröffentliche einen Fehlersatz, kennzeichne die erforderliche Evidenz und vergleiche Retrieval-Richtlinien unter identischen Modellbedingungen. Welche Richtlinie hält kleine Modelle präzise, ohne notwendige Fakten zu verbergen?