SALT odzyskuje więcej pamięci, ale mniejsze modele tracą dokładność

Wpis horizon machinelearning ujawnił wyraźny konflikt związany z wyszukiwaniem: SALT sprawnie przeszukuje pełne drzewo pamięci typu trie, lecz mniejsze modele halucynują, gdy zwraca zbyt dużo informacji.

Twórca podaje, że SALT przechowuje każde wejście w strukturze trie, czyli drzewiastej strukturze współdzielącej wspólne prefiksy, aby ograniczać powtarzane przechowywanie danych. Następnie wykorzystuje dominację tematów i selekcję CELF przy budżecie wyszukiwania wynoszącym 20 procent. Te twierdzenia implementacyjne pochodzą z dyskusji twórcy o wyszukiwaniu, a nie z niezależnie zrecenzowanej oceny.

System podobno działa z chatbotem, ale do architektury dołączają obecnie agenci. Ta zmiana podnosi stawkę. Wiele modułów może wyszukiwać nakładające się wspomnienia, powtarzać fakty o marginalnym znaczeniu i zużywać ograniczoną uwagę generatora, zanim podejmie on jakiekolwiek działanie.

Główny problem nie polega na tym, czy SALT potrafi znaleźć powiązane zdania. Najwyraźniej znajduje ich zbyt wiele. Trudniejsze pytanie brzmi, czy polityka wyszukiwania może zachować każdą niezbędną zależność, jednocześnie wykluczając materiał wiarygodny, lecz rozpraszający.

Stawia to dwa cele w bezpośrednim konflikcie. Pokrycie tematyczne nagradza zbiór za reprezentowanie większej części aktywnego tematu. Precyzja dowodów nagradza wyłącznie materiał, który zmienia poprawną odpowiedź lub działanie. W przypadku mniejszych modeli drugi cel może być ważniejszy od pierwszego.

Propozycja SALT przekształca przywoływanie pamięci w problem selekcji

Zgłaszane wąskie gardło SALT pojawia się po udanym zapisie, ponieważ wydajny dostęp nie gwarantuje użytecznego kontekstu.

Według wpisu wszystkie dane wejściowe trafiają do struktury trie w DRAM. DRAM to szybka pamięć robocza systemu, a trie organizuje sekwencje za pomocą współdzielonych prefiksów. Taki projekt może sprawić, że powtarzające się wzorce tekstowe będą kompaktowe i szybko adresowalne.

Twórca następnie wyszukuje zdania za pomocą systemu słów kluczowych i dominacji tematów. Procedura CELF wybiera materiał w ramach budżetu ustalonego na 20 procent. CELF, czyli Cost-Effective Lazy Forward selection, przyspiesza zachłanną optymalizację, unikając niepotrzebnego ponownego obliczania marginalnej wartości każdego kandydata.

Atrakcyjną właściwością są malejące korzyści. Zdanie obejmujące nowy temat może początkowo oferować znaczną wartość. Kolejne zdanie obejmujące ten sam temat powinno wnosić mniej, gdy pierwsze znalazło się już w wybranym zbiorze.

Ta logika pasuje do wyszukiwania, gdy liczą się różnorodność i pokrycie. Zniechęca do tworzenia zbioru wyników wypełnionego niemal identycznymi treściami, jednocześnie pozwalając na pojawienie się kilku części danego tematu. Ułatwia także zarządzanie dużą kolekcją pamięci bez oceniania każdego możliwego podzbioru.

Stały procent nie oznacza jednak stałej potrzeby informacyjnej. Dwadzieścia procent krótkiej rozmowy może dać zwięzły prompt. Dwadzieścia procent dużej, trwałej pamięci agenta może dostarczyć znacznie więcej materiału, niż mały model potrafi niezawodnie wykorzystać.

Budżet rośnie także wraz z pulą kandydatów, o ile nie zadziała inny limit. W miarę jak kolejne moduły zapisują wspomnienia, kandydaci zgodni tematycznie mogą się mnożyć. Selektor może pozostać wydajny obliczeniowo, podczas gdy jego wynik staje się poznawczo kosztowny dla modelu językowego.

To rozróżnienie ma znaczenie, ponieważ wyszukiwanie obejmuje co najmniej trzy odrębne etapy. System musi wygenerować kandydatów, uszeregować lub wybrać ich, a następnie przygotować ich dla modelu. Szybkość dwóch pierwszych etapów nie może potwierdzać dokładności trzeciego.

Publicznie dostępne materiały nie dokumentują jeszcze reprezentacji tematów w SALT, granic zdań, zasad usuwania duplikatów ani zestawu ewaluacyjnego. Nie ustalają też, czy budżet 20 procent mierzy zdania, tokeny, zapisane węzły czy inną jednostkę.

Te szczegóły zmieniają diagnozę. Budżet liczony w zdaniach może ukrywać znaczne różnice w długości tokenów. Budżet tokenowy nadal może dopuszczać powtarzające się twierdzenia. Budżet węzłów w strukturze trie może nie odpowiadać wprost czytelnym dowodom.

Zgłaszana lokalizacja repozytorium, kod źródłowy SALT, nie była konsekwentnie dostępna podczas badań. Dlatego szczegóły architektoniczne wykraczające poza wpis należy traktować jako wstępne, dopóki nie będą dostępne kod i odtwarzalne testy.

To, co się zmieniło, jest jednak nadal jasne. SALT przechodzi ze środowiska chatbota w kierunku środowiska agentowego, w którym wyszukiwanie pamięci wpływa na działania wielu modułów. To przejście przekształca nadmierne przywoływanie danych z niedogodności konwersacyjnej w problem niezawodności na poziomie całego systemu.

Dlaczego uwagę horizon machinelearning przyciągnął nadmiar kontekstu

Dyskusja horizon machinelearning ma znaczenie, ponieważ dodanie kontekstu wyglądającego na istotny może obniżyć dokładność, nawet jeśli każde wyszukane zdanie dzieli temat zapytania.

Modele językowe nie traktują wszystkich dostarczonych informacji jako jednakowo użytecznych. Okno kontekstowe określa maksymalny rozmiar wejścia, ale pojemność nie gwarantuje niezawodnego wykorzystania. Pozycja, powtórzenia, niejednoznaczność i złożoność zadania wpływają na to, czego model faktycznie się trzyma.

Klasyczne badanie długiego kontekstu testowało odpowiadanie na pytania wielodokumentowe oraz wyszukiwanie klucz-wartość. Badacze zmieniali miejsce występowania istotnych dowodów, pozostawiając pożądaną odpowiedź bez zmian. Wyniki często układały się w krzywą U, faworyzując informacje znajdujące się blisko początku lub końca.

W jednej z opisanych konfiguracji GPT-3.5-Turbo osiągał wyniki gorsze niż jego 56,1-procentowy poziom bazowy bez dostępu do dokumentów, gdy istotny dokument był niekorzystnie umieszczony w dłuższych kontekstach. Badacze stwierdzili również malejące korzyści z wyszukiwania dodatkowych dokumentów.

Przejście z 20 do 50 dokumentów poprawiło wyniki jedynie marginalnie w ich studium przypadku dotyczącym odpowiadania na pytania w otwartej domenie. Dodatkowa kompletność wyszukiwania nie przełożyła się na porównywalny wzrost jakości odpowiedzi. Generator nie potrafił skutecznie wykorzystać całego dodatkowego materiału.

Nowsze dowody wzmacniają to ostrzeżenie. Badanie długości kontekstu z 2025 roku wykazało, że dłuższe wejścia mogą obniżać wyniki, nawet gdy samo wyszukiwanie jest idealne. Wynik ten rozdziela dwa źródła błędów, które zespoły często łączą.

Pierwszym jest błąd wyszukiwania, gdy system wybiera brakujące, mylące lub niepełne dowody. Drugim jest błąd wykorzystania, gdy model otrzymuje wystarczające dowody, lecz nie potrafi niezawodnie ich przeanalizować. Ograniczenie pierwszego nie rozwiązuje automatycznie drugiego.

To rozróżnienie wyjaśnia, dlaczego pokrycie tematyczne może wyglądać dobrze na pulpicie wyszukiwania, podczas gdy odpowiedzi się pogarszają. Zdanie może należeć do właściwego tematu, nie pomagając jednak rozstrzygnąć bieżącego żądania. Może też wprowadzać nieaktualną wartość, wyjątek lub bliskie pojęcie.

Rozważmy agenta przygotowującego wdrożenie oprogramowania. Wspomnienia dotyczące polityki wdrożeń, wcześniejszych incydentów, testów, uprawnień i wpływu na klientów pasują do szerokiego tematu. Jednak tylko bieżące środowisko, zatwierdzona wersja, stan aktywnego incydentu i wymagane kontrole mogą decydować o dzisiejszym działaniu.

Cel pokrycia może nagrodzić historyczny incydent, ponieważ dodaje on szerokości tematycznej. Generator może następnie połączyć stare ograniczenia z aktualnymi. Mniejszy model ma mniej wolnej pojemności, by rozróżniać chronologię, autorytet i warunkową stosowalność.

Przynależność tematyczna jest więc słabym wskaźnikiem użyteczności przyczynowej. Najlepsze wyszukane dowody nie są jedynie powiązane z pytaniem. Muszą istotnie wspierać, ograniczać, podważać lub ujednoznaczniać odpowiedź.

Presja ta rośnie w systemach wieloturowych. Badacze Microsoftu odnotowali średni spadek wyników o 39 procent w sześciu zadaniach generacyjnych, gdy testowane modele obsługiwały rozmowy w wielu turach. Ich benchmark rozmów wykazał, że czołowe modele otwarte i zamknięte działały gorzej niż w równoważnych ustawieniach jednoturowych.

Agenci dodają kolejną warstwę. Każdy moduł może tworzyć podsumowania, plany, wyniki narzędzi, obserwacje i komunikaty statusu. Wspólny system pamięci staje wtedy wobec kilku wersji tego samego faktu, z których każda została napisana dla innego lokalnego celu.

Kompresja pomaga w przechowywaniu, ale nie gwarantuje znaczenia dla decyzji. Skompresowany materiał rozpraszający nadal nim pozostaje. Kilka skompresowanych podsumowań może też zaciemnić, które oryginalne źródło było autorytatywne.

Dla twórców przeszukiwalnej bazy wiedzy jest to praktyczna lekcja. Jakość wyszukiwania należy oceniać na poziomie końcowej odpowiedzi lub działania, a nie wyłącznie na poziomie indeksu czy rankingu.

Pokrycie i precyzja prowadzą wyszukiwanie zdań w przeciwnych kierunkach

Główny konflikt projektowy SALT dotyczy pokrycia i precyzji, a nie struktur trie kontra baz wektorowych czy CELF kontra innego optymalizatora.

Pokrycie pyta, czy wybrany zbiór reprezentuje wystarczająco wiele odrębnych aspektów tematu. Precyzja pyta, czy każdy wybrany element zasługuje na cenną przestrzeń promptu w tej konkretnej decyzji. Oba są użyteczne, ale nagradzają inne zachowania.

Czysty ranking trafności często zwraca redundantne zdania. Elementy o najwyższej punktacji mogą powtarzać tę samą istotną koncepcję z niewielkimi różnicami w sformułowaniu. Selekcja submodularna może poprawić różnorodność, obniżając wartość kandydatów, którzy niewiele wnoszą ponad elementy już wybrane.

Zgłaszane wykorzystanie CELF przez SALT wydaje się nakierowane na ten problem. Jeśli podstawowy cel jest submodularny, leniwa selekcja zachłanna może wydajnie przybliżyć zbiór o wysokiej wartości. Optymalizator może jednak realizować wyłącznie wartości zakodowane w jego celu.

Jeśli pokrycie tematów przypisuje wartość każdemu nowemu podtematowi, system będzie dążył do szerokości. Nie wie, że jeden podtemat stanowi jedynie tło, podczas gdy inny zawiera rozstrzygające ograniczenie. Nie może też wywnioskować tego wyłącznie z wydajności obliczeniowej.

Jednostka wyszukiwania dodatkowo komplikuje sprawę. Zdania łatwo punktować i przestawiać, ale fakty nie zawsze respektują granice zdań. Zdanie zawierające zastrzeżenie może zależeć od definicji, znacznika czasu, mówcy lub wyjątku znajdującego się w pobliżu.

Wyszukanie wyłącznie pozornie odpowiadającego zdania może pozbawić je niezbędnego pochodzenia dowodowego. Wyszukanie całego jego sąsiedztwa tematycznego może przywrócić pochodzenie, ale dodać szum. System potrzebuje jednostki dowodowej, która zachowuje zależności bez importowania całego klastra tematów.

Jedną z możliwości jest wyszukiwanie skoncentrowane na twierdzeniach. System reprezentowałby każde wspomnienie jako twierdzenie wraz z metadanymi, w tym źródłem, czasem, zakresem, poziomem pewności i odnośnikami do wymaganych zastrzeżeń. Selekcja działałaby na tych pakietach dowodowych, a nie na izolowanych zdaniach.

Inną możliwością jest marginalny zysk warunkowany pytaniem. Wartość kandydata zależałaby od tego, czy poprawia odpowiedź, rozstrzyga niejednoznaczność, dostarcza brakujący krok albo podważa bieżący szkic. Ogólna nowość tematyczna stałaby się sygnałem wspierającym, a nie głównym celem.

Żadne z tych podejść nie eliminuje kompromisów. Ekstrakcja twierdzeń może wprowadzać błędy podczas przetwarzania danych wejściowych. Punktowanie warunkowane pytaniem może zwiększać opóźnienie i zależeć od innego modelu, który niesie własne uprzedzenia.

Mimo to oba podejścia ujawniają rzeczywisty cel optymalizacji. Warstwa wyszukiwania powinna maksymalizować oczekiwaną użyteczność zadania w ramach budżetu tokenów i opóźnienia. Nie powinna maksymalizować pokrycia pamięci, zakładając, że generator odrzuci nadmiar.

Polityka stałych 20 procent zasługuje na szczególną analizę. Procenty są wygodne przy próbkowaniu danych do przechowywania, ale pojemność promptu zależy od bezwzględnej liczby tokenów. Niezawodność modelu zmienia się także wraz ze złożonością zapytania, strukturą dowodów i używanym generatorem.

Lepszy budżet powinien dostosowywać się do potrzeb dowodowych. Proste wyszukanie może wymagać jednego potwierdzonego twierdzenia. Porównanie może wymagać kilku alternatyw. Wieloetapowy plan agenta może wymagać łańcucha zależności oraz wyraźnie wskazanych sprzeczności.

Sugeruje to etapowy proces wyszukiwania. Pierwszy przebieg powinien pobierać niewielki, bardzo precyzyjny rdzeń. Drugi powinien rozszerzać wyniki tylko wtedy, gdy odpowiedź nie ma wystarczającego oparcia, zawiera niepewność lub wymaga kolejnego kroku rozumowania.

Decyzja o rozszerzeniu wymaga mierzalnych kryteriów. Model może identyfikować niepoparte twierdzenia, lecz sama deklarowana pewność jest niewiarygodna. Bardziej wiarygodne sygnały obejmują brakujące cytowania, nierozstrzygnięte byty, sprzeczne znaczniki czasu i nieudane kontrole możliwości udzielenia odpowiedzi.

System powinien również oddzielać pamięć trwałą od epizodycznej. Pamięć trwała zawiera długotrwałe preferencje, zasady i zweryfikowane fakty. Pamięć epizodyczna rejestruje zdarzenia, przejściowe obserwacje i wcześniejsze kroki, których znaczenie z czasem maleje.

Bez tego rozdzielenia selektor tematów może mieszać stałe reguły z tymczasowym stanem. Agent może stosować stare obejście po zakończeniu incydentu, który je uzasadniał. Metadane czasowe powinny więc wpływać na wybór, zanim tekst trafi do modelu.

Autorytet ma równie duże znaczenie jak aktualność. Instrukcja użytkownika powinna mieć pierwszeństwo przed wygenerowanym przez agenta podsumowaniem tej instrukcji. Zweryfikowany wynik narzędzia powinien mieć pierwszeństwo przed spekulacyjnym planem. Samo podobieństwo tematyczne nie jest w stanie wyrazić tych priorytetów.

Najlepsza metoda wyszukiwania zdań prawdopodobnie połączy kilka sygnałów. Obejmują one dopasowanie leksykalne, podobieństwo semantyczne, pokrycie zależności, czas, autorytet, sprzeczność i szacowaną użyteczność dla zadania. CELF nadal może realizować końcowy wybór zbioru, jeśli funkcja celu uwzględni te rozróżnienia.

Nie oznacza to, że trie staje się nieistotne. Struktura przechowywania determinuje szybkość wyszukiwania, narzut pamięci, zachowanie podczas aktualizacji i dostępne relacje. Oznacza jedynie, że wydajność przechowywania i wiarygodność odpowiedzi należą do różnych warstw oceny.

Mniejsze modele jako pierwsze ujawniają błąd wyszukiwania

Mniejsze modele nie są tu jedynie słabszymi generatorami; działają jako testy obciążeniowe sprawdzające, czy warstwa wyszukiwania oddzieliła dowody od tematycznego szumu.

Duży model może czasem poradzić sobie z przeładowanym promptem dzięki lepszemu przestrzeganiu instrukcji i trafniejszemu rozróżnianiu kontekstu. Ta tolerancja może ukrywać słabości mechanizmu wyszukiwania. Ten sam kontekst może natychmiast przytłoczyć mniejszy model.

Obserwacja dewelopera dotycząca halucynacji zasługuje więc na ostrożną interpretację. Nadmierne wyszukiwanie może korelować z odpowiedziami bez oparcia w źródłach, lecz post nie wykazuje związku przyczynowego. Innymi źródłami mogą być słabe prompty, brakujące dowody, sprzeczne wspomnienia, ustawienia dekodowania lub ograniczenia specyficzne dla modelu.

Termin halucynacja może również łączyć kilka różnych błędów. Model może wymyślić fakt, połączyć dwa wspomnienia, zastosować nieaktualne instrukcje lub wybrać niewłaściwą spośród pobranych alternatyw. Każdy z tych błędów wymaga innego pomiaru i potencjalnie innej poprawki.

SALT potrzebuje klasyfikacji błędów, zanim zmieni swój selektor. Każda nieudana odpowiedź powinna wskazywać, czy wymagane dowody były nieobecne, obecne, ale zignorowane, sprzeczne, niepełne czy przytłoczone przez elementy rozpraszające.

Ocena powinna porównywać co najmniej cztery warunki wyszukiwania. Jeden nie powinien dostarczać pamięci zewnętrznej. Drugi powinien dostarczać wyłącznie referencyjny zbiór dowodów wybrany przez człowieka. Trzeci powinien wykorzystywać bieżący wynik SALT, a czwarty — agresywnie przycięty wynik.

To porównanie oddziela wyszukiwanie od generowania. Jeśli mały model zawodzi przy zbiorze referencyjnym, zmiana wag CELF nie rozwiąże głównego problemu. Jeśli radzi sobie z referencyjnymi dowodami, lecz zawodzi przy wyniku SALT, precyzja staje się najważniejszym celem.

Benchmark powinien zachować realistyczne kategorie zadań. Bezpośrednie pytania faktograficzne testują dokładne przypominanie. Pytania wieloetapowe testują kompletność zależności. Zadania agentowe sprawdzają, czy pobrana pamięć prowadzi do właściwego wyboru narzędzia, parametrów i warunku zakończenia.

Każda kategoria potrzebuje przypadków negatywnych. Korpus powinien zawierać wiarygodne, lecz nieistotne zdania z tego samego tematu, nieaktualne wersje prawdziwych faktów, jawne sprzeczności i zduplikowane parafrazy. Łatwe losowe elementy rozpraszające zawyżą ocenę jakości systemu.

Ocena musi również zmieniać pozycję dowodów. Wyniki context-limit dla Gemini 2.5 Flash pokazują, że nowsze modele radzą sobie z prostym wyszukiwaniem „igły” w długich kontekstach znacznie lepiej niż wcześniejsze systemy. To ustalenie stanowi istotną przeciwwagę dla szerokich twierdzeń o powszechnej zawodności kontekstu.

Jednak proste wyszukiwanie faktów nie jest tym samym co rozumowanie na podstawie konkurujących wspomnień. Model może odnaleźć jeden umieszczony fakt, a mimo to mieć trudności z kilkoma powiązanymi twierdzeniami, wyjątkami i zmianami w czasie. Przypadek użycia agentów przez SALT jest bliższy drugiej kategorii.

Testowanie powinno więc łączyć wielkość modelu ze składem kontekstu. Ten sam pobrany zbiór powinien trafiać do mniejszego modelu lokalnego, silniejszego modelu oraz ewaluatora w stylu referencyjnym. Różnice pokażą, czy poprawa wynika z czystszej pamięci, czy z większej zdolności generatora.

Precyzję należy raportować na kilku poziomach. Precyzja zdań wskazuje, ile pobranych zdań okazuje się użytecznych. Precyzja twierdzeń liczy poparte propozycje. Precyzja działań mierzy, czy agent wybiera właściwą operację i parametry.

Widoczna musi pozostać także pełność. Przycięcie wszystkiego poza jednym oczywistym zdaniem może podnieść precyzję, jednocześnie niszcząc kompletność wieloetapowego rozumowania. Bezpieczny selektor powinien identyfikować najmniejszy wystarczający zbiór dowodów, a nie po prostu najmniejszy zbiór.

„Wystarczający” oznacza, że zbiór wspiera poprawny wynik i zachowuje niezbędne zastrzeżenia. Powinien też zawierać rozstrzygające sprzeczności, gdy pamięć zawiera sprzeczne twierdzenia. W przeciwnym razie zwięzły prompt może prowadzić do pewnej siebie, ale błędnej odpowiedzi.

Testy ablacjne mogą ujawnić, które komponenty SALT pomagają. Badacze powinni osobno wyłączać pokrycie tematów, zmieniać procentowy budżet, ograniczać bezwzględną liczbę tokenów, usuwać duplikaty, dodawać aktualność i dodawać ważenie autorytetu.

Eksperymenty te powinny wykorzystywać identyczne zapisane wspomnienia i zapytania. Zmiana korpusu między uruchomieniami utrudniłaby porównania. Powtarzanie prób ma również znaczenie, gdy generowanie korzysta z próbkowania.

Opóźnienia i zużycie pamięci powinny pozostać metrykami drugorzędnymi, lecz nie powinny znikać. Reranker, który poprawia dokładność, lecz powoduje niedopuszczalne opóźnienie, może osłabić interaktywnego agenta. Celem jest zmierzona granica kompromisu między dokładnością, tokenami, opóźnieniem i DRAM.

Deweloper powinien również rejestrować, co wnosi każde pobrane zdanie. Zwięzły kod uzasadnienia może wskazywać dopasowanie leksykalne, nowe twierdzenie, sprzeczność, zależność czasową lub autorytet źródła. Takie logi sprawiają, że nadmierne wyszukiwanie staje się możliwe do zdiagnozowania bez proszenia generatora o wyjaśnianie samego siebie.

Jedno istotne ryzyko pozostaje niezweryfikowane. Nie istnieje publiczny benchmark określający obecną dokładność chatbota SALT, kompresję pamięci ani wydajność agentów. Architekturę należy omawiać jako raport z wczesnego etapu projektu, a nie jako potwierdzony postęp.

Trzy sygnały pokażą, czy SALT może skalować się do agentów

Kolejnym kamieniem milowym SALT powinien być odtwarzalny wynik precyzji, a nie większy magazyn pamięci ani hojniejszy budżet kontekstu.

Pierwszym sygnałem jest benchmark luki względem zbioru referencyjnego. Deweloper powinien porównać bieżące wyszukiwanie z minimalnym zbiorem dowodów wybranym przez człowieka w zadaniach bezpośrednich, wieloetapowych i dotyczących działań agentów. Wyniki powinny być rozbite według wielkości modelu.

Jeśli SALT zbliży się do wyników referencyjnych przy użyciu mniejszej liczby tokenów, dowody poprą jego strategię selekcji tematów. Jeśli luka rośnie w przypadku mniejszych modeli, obecna funkcja celu wybiera zakres, którego generator nie potrafi wykorzystać.

Drugim sygnałem jest adaptacyjne budżetowanie. Stała polityka 20 procent powinna konkurować z bezwzględnymi limitami tokenów i etapowym wyszukiwaniem. Porównanie powinno mierzyć dokładność odpowiedzi, skuteczność działań, pobrane twierdzenia, opóźnienie i niepoparte stwierdzenia.

Adaptacyjna polityka wygrywa tylko wtedy, gdy zachowuje kompletne łańcuchy dowodowe. Niższa liczba tokenów sama w sobie osłabiłaby system, gdyby usuwała wyjątki lub zależności. Najmocniejszy wynik poprawiłby precyzję bez zmniejszania pełności na poziomie zadania.

Trzecim sygnałem jest uwzględniające moduły pochodzenie danych podczas prób z agentami. Każde wspomnienie powinno określać moduł pochodzenia, znacznik czasu, autorytet i materiał źródłowy. Testy powinny obejmować sprzeczne i nieaktualne wspomnienia od różnych agentów.

Jeśli wybór uwzględniający pochodzenie zmniejsza liczbę błędnych działań, pamięć wieloagentowa potrzebuje czegoś więcej niż dominacji tematów. Potrzebuje wyraźnych reguł dotyczących autorytetu, świeżości i sprzeczności. Jeśli pochodzenie ma niewielki wpływ, główny problem prawdopodobnie leży gdzie indziej — w rankingu lub generowaniu.

Te sygnały powinny pojawić się w otwartym pakiecie ewaluacyjnym. Pakiet potrzebuje stałych zapytań, oznaczonych dowodów, logów wyszukiwania, wygenerowanych wyników, ustawień modeli i zasad punktacji. Bez tych artefaktów zewnętrzni współtwórcy nie będą mogli ustalić, dlaczego proponowana zmiana działa.

Sugestie społeczności mogą być nadal użyteczne przed powstaniem pełnego benchmarku. Projekt mógłby testować maksymalną marginalną relewancję, reranking cross-encoder, grupowanie twierdzeń i kompresję skoncentrowaną na zapytaniu. Żadna metoda nie powinna jednak zastępować obecnego selektora wyłącznie na podstawie anegdot.

Najsilniejszy projekt krótkoterminowy prawdopodobnie będzie konserwatywny. Pobieraj zwięzły rdzeń dowodowy, zachowuj dołączone zastrzeżenia i rozszerzaj wyniki dopiero po wykryciu konkretnej luki informacyjnej. Kieruj wybrane dowody zgodnie z zadaniem każdego modułu, zamiast rozsyłać jeden szeroki kontekst.

Systemy agentowe potrzebują również higieny pamięci. Powinny scalać duplikaty, wygaszać tymczasowy stan, zachowywać oryginalne źródła i odróżniać obserwacje od wniosków. W przeciwnym razie jakość wyszukiwania będzie spadać, gdy agenci wielokrotnie zapisują pochodne wcześniejszych wyników.

Ten wzorzec przypomina kopiowanie stratne. Narzędzie dostarcza fakt, jeden agent go streszcza, inny agent streszcza to podsumowanie, a system pamięci zapisuje każdą wersję. Pokrycie tematów może nagradzać te elementy jako spójne dowody mimo ich wspólnego pochodzenia.

Deduplikacja uwzględniająca pochodzenie może zapobiec pozornemu konsensusowi wynikającemu z powtarzanych kopii. Selektor powinien grupować pochodne wspomnienia pod ich pierwotnym dowodem. Następnie może unikać wydawania tokenów promptu na kilka parafraz jednego faktu.

Zespoły budujące personal knowledge system stają przed podobnym wyzwaniem. Przechwytywanie wszystkiego jest użyteczne tylko wtedy, gdy przypominanie zachowuje trafność, granice źródeł i czas. Pamięć agentowa zwielokrotnia koszt błędnego rozróżnienia tych elementów.

Dla dyskusji machinelearning na horizon to kwestia rozstrzygająca. SALT nie musi udowadniać, że trie potrafi przechowywać rozległą pamięć konwersacyjną. Musi pokazać, że jego selektor może odzyskać najmniejszy wystarczający zbiór dowodów, gdy rośnie pamięć i liczba modułów.

Kolejny użyteczny wkład jest więc mierzalny: opublikuj zbiór błędów, oznacz wymagane dowody i porównaj polityki wyszukiwania w identycznych warunkach modelowych. Która polityka utrzymuje dokładność małych modeli, nie ukrywając niezbędnych faktów?