Systemy neuronowe mogą wstrzymywać się od odpowiedzi lub zmieniać zdanie. Nadal mają trudności z robieniem obu tych rzeczy

Dyskusja Horizon MachineLearning opublikowana 6 sierpnia stawia pytanie o jeden system, który przejdzie cztery testy, mimo że każdy z nich osobno jest badany od dekad. Musi on zachować nierozstrzygnięte twierdzenie, przechować jego źródło i powód wstrzymania osądu, ponownie je rozpatrzyć po pojawieniu się istotnych dowodów oraz uniknąć niepowiązanych zmian.

To połączenie stwarza większe wyzwanie niż zwykłe szacowanie niepewności. Model nie może po prostu powiedzieć: „Nie wiem”. Musi dokładnie pamiętać, co pozostaje nieznane, wyjaśniać, dlaczego osąd został wstrzymany, oraz rozpoznawać dowody mogące zmienić ten status.

Oryginalna dyskusja nie przedstawia nowego modelu ani wyniku eksperymentalnego. Formułuje problem badawczy złożony z kilku dojrzałych dziedzin. Istotnym wnioskiem jest pozorny brak powszechnie uznanej, kompleksowej oceny łączącej je wszystkie.

Predykcja selektywna obsługuje odmowę odpowiedzi. Atrybucja łączy wyniki z dowodami. Uczenie ciągłe przetwarza późniejsze informacje. Edycja modelu zmienia wybrane zachowania. Systemy utrzymywania prawdy śledzą uzasadnienia i wycofują zależne przekonania.

Każda dziedzina dostarcza część potrzebnego mechanizmu. Żadna nie obejmuje wyraźnie pełnego cyklu życia opisanego we wpisie.

Ta luka ma znaczenie, ponieważ wdrożone systemy neuronowe coraz częściej działają w oparciu o zmieniające się dowody. Dokumentacja medyczna otrzymuje nowe wyniki badań. Zespoły ds. zgodności zastępują nieaktualne polityki. Śledczy ponownie oceniają twierdzenia po pojawieniu się nowych dokumentów. Osobiste systemy wiedzy łączą notatki, których wiarygodność zmienia się w czasie.

Centralnym przedmiotem sporu nie jest więc jedna architektura przeciwko drugiej. Chodzi o modułowy sukces kontra integralność cyklu życia. Poszczególne komponenty wydają się wystarczające, dopóki to samo twierdzenie nie musi przetrwać w czasie, między źródłami, poprawkami i sąsiednią wiedzą.

O co naprawdę pyta Horizon MachineLearning

Proponowany test dotyczy cyklu życia nierozstrzygniętego twierdzenia, a nie tylko tego, czy model potrafi odmówić jednej odpowiedzi.

Załóżmy, że system otrzymuje twierdzenie P ze źródła S. System nie ma wystarczających dowodów, aby uznać P za prawdziwe lub fałszywe, z określonego powodu R.

Konwencjonalny klasyfikator może zwrócić niski wynik pewności. Predyktor selektywny może wstrzymać się od odpowiedzi. Model językowy może odpowiedzieć, że dostępne dowody są niewystarczające.

Takie odpowiedzi dotyczą bezpośredniego wyniku. Nie gwarantują, że po zakończeniu interakcji system zachowa P jako odrębny nierozstrzygnięty obiekt.

Wymagane zachowanie dodaje trwałość. System powinien osobno zachować P, S i R, bez przekształcania niepewności w słabo utrzymywane skojarzenie faktograficzne.

Dodaje także warunkową rewizję. Nowe dowody E powinny ponownie otworzyć kwestię P tylko wtedy, gdy odnoszą się do zapisanego powodu wstrzymania osądu lub w inny sposób zmieniają istotny stan dowodowy.

Źródło powtarzające to samo niepoparte twierdzenie nie powinno się kwalifikować. Niepowiązana informacja o sąsiednim temacie nie powinna uruchamiać rewizji. Późniejsza sprzeczność nie powinna po cichu nadpisywać pierwotnego pochodzenia informacji.

Ostatecznie system powinien ograniczać skutki uboczne zmian. Rewizja P powinna aktualizować uzasadnione konsekwencje, jednocześnie zachowując twierdzenia, które nie zależą od P.

Wymagania te można rozdzielić na cztery obserwowalne właściwości.

Po pierwsze, trwałe zawieszenie epistemiczne oznacza, że system zachowuje niezaangażowany status w czasie i podczas późniejszych zapytań. Natychmiastowa odmowa nie wystarcza, jeśli model później przedstawia P jako rozstrzygnięte.

Po drugie, zachowanie pochodzenia informacji oznacza, że system pamięta, skąd pochodzi P i dlaczego nie zostało zaakceptowane. Cytowanie dołączone do wygenerowanego tekstu obejmuje tylko część tego wymagania.

Po trzecie, rewizja wywołana dowodami oznacza, że istotna zmiana w materiale dowodowym powoduje kontrolowaną zmianę statusu. Sam kontakt z większą ilością tekstu nie powinien się liczyć.

Po czwarte, ograniczone skutki uboczne oznaczają, że aktualizacja modyfikuje właściwe zachowania pochodne bez pogarszania niepowiązanych zdolności. Przypomina to lokalność edycji modelu, ale obejmuje także warunki czasowe i dowodowe.

Ocena musiałaby testować wszystkie cztery właściwości łącznie. Zaliczanie czterech odrębnych benchmarków nie dowodziłoby, że jeden system zachowuje relacje między nimi.

To rozróżnienie jest ważne. Potok może przechowywać cytaty w bazie danych, a jednocześnie tracić je podczas generowania. Może dokładnie szacować niepewność podczas wprowadzania danych, lecz później odrzucać stan zawieszenia osądu.

Może także skutecznie przeprowadzić edycję, nie wykazując, że nastąpiła ona po pojawieniu się nowych dowodów. Ten sam mechanizm mógłby zaakceptować niepopartą instrukcję równie łatwo jak zweryfikowaną korektę.

Pytanie dotyczy więc czegoś więcej niż agregacji funkcji. Chodzi o to, czy system utrzymuje spójny zapis epistemiczny od pierwszego kontaktu z informacją aż po późniejszą rewizję.

Predykcja selektywna rozwiązuje pierwszą decyzję, a nie okres oczekiwania

Predykcja selektywna daje systemom neuronowym uzasadnioną opcję odrzucenia odpowiedzi, lecz jej standardowa ocena kończy się zbyt wcześnie, by uwzględnić trwałe zawieszenie osądu.

Klasyfikacja selektywna łączy predyktor z funkcją selekcji. Model odpowiada w przypadkach objętych zakresem i wstrzymuje się od odpowiedzi w przypadkach uznanych za zbyt ryzykowne.

Badacze zwykle oceniają to zachowanie za pomocą relacji ryzyko-zasięg. Zasięg mierzy udział przykładów, dla których wydano predykcje. Ryzyko selektywne mierzy błędy wśród zaakceptowanych przykładów.

Ramy te bezpośrednio rozwiązują kosztowną słabość zwykłej klasyfikacji. Model zmuszony do odpowiedzi na każde wejście nie potrafi odróżnić trudnych przypadków od tych, które może obsłużyć niezawodnie.

SelectiveNet uczynił opcję odrzucenia częścią uczenia end-to-end. Jego autorzy optymalizowali predykcję i odrzucanie wspólnie, zamiast umieszczać jedynie próg pewności na wcześniej wytrenowanej sieci.

Artykuł o SelectiveNet opisał lepsze wyniki w relacji ryzyko-zasięg na kilku zbiorach danych do klasyfikacji i regresji. Wynik ten ustanowił użyteczny precedens dla wyuczonego wstrzymywania się od odpowiedzi.

Późniejsze prace rozszerzyły predykcję selektywną o skalibrowane estymatory pewności, metody konforemne i specyficzne dla zadania cele odrzucania. Podejścia te mogą decydować, kiedy odpowiedź wiąże się ze zbyt wysokim szacowanym ryzykiem.

Decyzja o odrzuceniu jest jednak zwykle przypisana do jednego wejścia w jednym momencie oceny. Benchmark pyta, czy system poprawnie wstrzymał się od odpowiedzi, a nie co stało się później z nierozstrzygniętym elementem.

Pozostawia to kilka pytań bez odpowiedzi. Czy system zapisał twierdzenie jako nierozstrzygnięte? Czy zachował powód? Czy po innym treningu lub interakcji potrafi odzyskać ten sam status?

Szacowanie niepewności wyznacza pokrewną granicę. Niepewność epistemiczna opisuje niepewność związaną z ograniczoną wiedzą, podczas gdy niepewność aleatoryczna dotyczy nieredukowalnej zmienności obserwacji.

Ensemble, aproksymacje bayesowskie, metody kalibracji i detektory danych spoza rozkładu szacują różne aspekty niepewności. Wynik niepewności nie jest jednak ustrukturyzowanym uzasadnieniem.

Prawdopodobieństwo bliskie połowy nie wyjaśnia, czy systemowi brakuje dowodów, napotyka sprzeczne źródła, nie ufa źródłu czy nie potrafi zinterpretować twierdzenia. Powody te oznaczają różne wyzwalacze rewizji.

Kalibracja stanowi kolejny częściowy precedens. Skalibrowany model dopasowuje raportowaną pewność do obserwowanych częstości poprawności w określonych warunkach.

Jest to cenne przy podejmowaniu decyzji o działaniu. Nie tworzy jednak trwałego zapisu, dlaczego konkretne twierdzenie pozostało nierozstrzygnięte.

Nawet predykcja konforemna oferuje węższą gwarancję niż pełna propozycja. Może tworzyć zbiory predykcji o właściwościach pokrycia przy określonych założeniach. Nie utrzymuje z natury historii przekonań specyficznych dla źródeł.

To pierwsza główna granica w literaturze. Predykcja selektywna modeluje, czy odpowiedzieć teraz. Proponowany cykl życia modeluje również, co zachować podczas oczekiwania.

Tego stanu oczekiwania nie można traktować jako pustego wyniku. Zawiera on informacje potrzebne do późniejszego działania: twierdzenie, jego pochodzenie, powód nierozstrzygnięcia oraz warunki kwalifikujących się dowodów.

W przypadku systemów wdrożonych rozróżnienie to zmienia zachowanie produktu. Asystent kliniczny powinien odróżniać „nie istnieje wynik badania” od „dwa zwalidowane badania są sprzeczne”.

Asystent ds. polityk powinien odróżniać „reguła milczy na ten temat” od „dostarczony dokument ma niepewny autorytet”. Obie sytuacje uzasadniają wstrzymanie odpowiedzi, lecz wymagają różnych kolejnych dowodów.

Predykcja selektywna pozostaje najtrafniejszym terminem dla początkowej decyzji. Trwałe zawieszenie epistemiczne jest rozsądną nazwą dla stanu długotrwałego, choć nie jest jeszcze znormalizowaną kategorią benchmarkową.

Pochodzenie informacji może ugruntować odpowiedź, nie zachowując historii przekonania

Badania nad atrybucją łączą wyniki ze źródłami, lecz ugruntowanie w źródłach nie zachowuje automatycznie powodów, dla których twierdzenie pozostało nierozstrzygnięte.

Badania nad generowaniem języka naturalnego coraz częściej oceniają, czy wynik można poprzeć wskazanymi dowodami. Jest to ściśle związane z pochodzeniem informacji, choć jednostką analizy często pozostaje wygenerowany tekst.

Ramy Attributable to Identified Sources traktują twierdzenia o świecie zewnętrznym jako możliwe do zweryfikowania względem dostarczonych źródeł. Proces oceny pyta, czy cytowane źródło wspiera wynik oraz czy można je zidentyfikować.

Ramy AIS zweryfikowały to podejście w konwersacyjnym odpowiadaniu na pytania, streszczaniu oraz generowaniu tekstu na podstawie tabel. Oferują konkretne pojęcia do oceny wyników ugruntowanych w źródłach.

Generowanie wspomagane wyszukiwaniem dodaje kolejny istotny mechanizm. Moduł wyszukiwania wybiera zewnętrzne fragmenty, a generator uzależnia swoją odpowiedź od tych fragmentów.

Niektóre systemy zachowują identyfikatory dokumentów lub zakresy cytowań. Inne używają wnioskowania w języku naturalnym, aby sprawdzać, czy wygenerowane twierdzenia wynikają z odzyskanego kontekstu.

W jednym artykule branżowym EMNLP przedstawiono lekki kontroler faktograficzności o nazwie Provenance. Śledzi on podejrzane niefaktograficzne wyniki do konkretnych fragmentów kontekstu, używając kompaktowych modeli wnioskowania.

Kontroler Provenance pokazuje, że lokalne śledzenie źródeł może wspierać późniejszą korektę. Stanowi to znaczący precedens dla łączenia błędu wyniku z jego dowodami.

Atrybucja wyniku i pochodzenie przekonania odpowiadają jednak na różne pytania. Atrybucja pyta, które źródło wspiera to wygenerowane stwierdzenie. Pochodzenie przekonania pyta, dlaczego system obecnie przypisuje określony status epistemiczny.

System może cytować S, a jednocześnie nie zapisać, że S uznano za niewiarygodne. Może zachować odzyskany tekst, nie zachowując dokładnego konfliktu, który uniemożliwił akceptację.

Może również nie wygenerować żadnej odpowiedzi. W takim przypadku konwencjonalna ocena cytowań może nie mieć czego oceniać, mimo że nierozstrzygnięty zapis pozostaje ważny.

Zachowanie pochodzenia informacji wymaga więc bogatszego stanu niż lista cytowań. Każde twierdzenie może wymagać tożsamości źródła, czasu pozyskania, kontekstu ekstrakcji, oceny zaufania i powiązań zależności.

Wymaga też informacji negatywnej i proceduralnej. System powinien zapisywać, że dowody były niewystarczające, sprzeczne, nieaktualne, wykraczały poza kompetencje źródła lub zostały zablokowane przez inny warunek.

Te metadane wpływają na rewizję. Nowszy dokument może rozstrzygnąć kwestię nieaktualności, ale nie ustanawia autorytetu. Autorytatywne źródło może rozstrzygnąć kwestię wiarygodności, lecz nie usuwa bezpośredniej sprzeczności.

Badania nad pochodzeniem danych oferują użyteczne koncepcje infrastrukturalne. Pochodzenie danych rejestruje, jak artefakt został utworzony, przekształcony i wykorzystany w całym systemie.

Jednak pochodzenie zwykle dotyczy zbiorów danych, cech, uruchomień treningowych lub wygenerowanych artefaktów. Niekoniecznie modeluje ono zawieszony status prawdziwości twierdzenia.

Grafy wiedzy zapewniają inną częściową strukturę. Mogą przedstawiać twierdzenia, źródła, znaczniki czasu i relacje jako jawne węzły i krawędzie.

Nazwane grafy i reifikacja mogą dołączać informacje o pochodzeniu do poszczególnych stwierdzeń. Systemy reguł mogą następnie propagować lub wycofywać wnioski na podstawie tych adnotacji.

Wyzwanie pojawia się, gdy komponenty neuronowe kompresują te struktury. Reprezentacja neuronowa może wspierać płynne wyszukiwanie, jednocześnie zaciemniając, które źródło spowodowało dane skojarzenie.

Dlatego pamięć zewnętrzna prawdopodobnie ma znaczenie, nawet jeśli nie jest wymagana nowa architektura neuronowa. System mógłby przechowywać zapisy epistemiczne poza wagami modelu i wykorzystywać modele neuronowe do wyszukiwania, porównywania i generowania.

Taki projekt oddziela trwały stan od probabilistycznego wnioskowania. Ułatwia też kontrolę pochodzenia i rewizję.

Kosztem jest złożoność integracji. Deweloperzy muszą zapewnić, aby generowane odpowiedzi respektowały zapis zewnętrzny, zwłaszcza gdy parametry modelu zawierają sprzeczne, wyuczone skojarzenia.

Dobrze zaprojektowana baza wiedzy może zachować kontekst źródłowy do przeglądu przez człowieka. Sama w sobie nie gwarantuje jednak zachowania neuronowego wrażliwego na dowody.

Luka badawcza znajduje się na tej granicy. Pochodzenie musi wpływać na wstrzymanie się od odpowiedzi i późniejszą rewizję, a nie jedynie pojawiać się obok końcowej odpowiedzi.

Utrzymywanie prawdy zapewnia semantykę, a uczenie neuronowe — skalę

Klasyczne systemy rewizji przekonań opisują wymagane przejścia stanów bardziej bezpośrednio niż większość benchmarków neuronowych.

Systemy utrzymywania prawdy zaprojektowano do śledzenia przekonań, ich uzasadnień oraz konsekwencji zmiany założeń. Stanowią one prawdopodobnie najbliższy konceptualny precedens dla całego tego postulatu.

System utrzymywania prawdy oparty na założeniach może reprezentować alternatywne konteksty i identyfikować kombinacje założeń wspierające wniosek. System oparty na uzasadnieniach rejestruje zależności między przekonaniami.

Gdy przesłanka staje się nieważna, zależne wnioski można wycofać. Niezwiązane wnioski pozostają nienaruszone, jeśli ich uzasadnienia nadal obowiązują.

Takie zachowanie przypomina rewizję wywołaną dowodami z ograniczoną zmianą uboczną. Różnica polega na tym, że systemy klasyczne zazwyczaj operują na jawnych reprezentacjach symbolicznych.

Rewizja przekonań dostarcza dodatkowej terminologii. Ekspansja dodaje przekonanie, kontrakcja je usuwa, a rewizja włącza przekonanie przy jednoczesnym przywracaniu spójności.

Istotne jest również rozumowanie niemonotoniczne. W systemie niemonotonicznym wnioski mogą zostać wycofane po nadejściu nowych informacji, w przeciwieństwie do logiki czysto monotonicznej.

Propozycja z Reddita dodaje odrębny wymóg poprzedzający rewizję. System musi zachować twierdzenie, nie akceptując ani jego, ani jego negacji.

Przypomina to jawny status „nierozstrzygnięty” w logikach wielowartościowych. Przypomina też ramy argumentacyjne, które rozróżniają twierdzenia zaakceptowane, odrzucone i niezdecydowane.

Te tradycje już traktują zawieszenie jako znaczący stan. Mogą również zachowywać racje, przeciwne argumenty i struktury zależności.

Systemy neuronowe stwarzają dwie komplikacje. Po pierwsze, ich wiedza wewnętrzna jest zwykle rozproszona w wielu parametrach, zamiast być przechowywana jako jawne twierdzenia.

Po drugie, ich wyniki zależą od promptów, kontekstu, dekodowania i interakcji między wyuczonymi wzorcami. Aktualizacja jednego skojarzenia może wpływać na zachowanie wykraczające poza każdy widoczny graf zależności.

Systemy neuro-symboliczne próbują łączyć uczenie statystyczne z jawnym rozumowaniem. Oferują naturalny kierunek architektoniczny, ponieważ pamięć symboliczna może zachowywać stan na poziomie twierdzeń.

Jednak nazwanie rozwiązania neuro-symbolicznym nie rozwiązuje problemu ewaluacji. System może udostępniać zapisy symboliczne, pozwalając jednocześnie generatorowi im zaprzeczać.

Benchmark musi testować obserwowalne zachowanie w różnych parafrazach, kontekstach, krokach czasowych i przy istotnych dowodach. Musi też sprawdzać przechowywane informacje o pochodzeniu tam, gdzie system je udostępnia.

Realistyczna sekwencja testowa mogłaby rozpocząć się od niejednoznacznego twierdzenia pochodzącego ze źródła o niskim autorytecie. System powinien wstrzymać się od odpowiedzi i zarejestrować przyczynę specyficzną dla źródła.

Następnie badacze zadawaliby niezwiązane pytania, dodawali dokumenty rozpraszające i zmieniali sąsiednie fakty. Status zawieszenia powinien pozostać stabilny.

Kolejno dostarczaliby kilka typów dowodów. Niektóre powinny być istotne, lecz niewystarczające. Inne powinny rozstrzygać zarejestrowaną przyczynę, nie wspierając twierdzenia.

Tylko kwalifikujące się dowody powinny wywoływać rewizję. Nowy status powinien pojawiać się konsekwentnie w bezpośrednich pytaniach, parafrazach i prawidłowych implikacjach dalszego rzędu.

Na koniec badacze testowaliby niezwiązane zachowanie pod kątem dryfu. Sprawdzaliby również, czy usunięcie lub unieważnienie nowych dowodów przywraca odpowiedni stan.

Ten ostatni krok ujawnia kolejną różnicę w stosunku do zwykłego uczenia ciągłego. Uczenie się nowych danych nie jest tym samym co utrzymywanie odwoływalnych uzasadnień.

Uczenie ciągłe koncentruje się na nabywaniu nowych zadań lub danych przy jednoczesnym ograniczaniu katastrofalnego zapominania, czyli szerokiej utraty wydajności po sekwencyjnych aktualizacjach.

Bufory powtórek, izolacja parametrów i regularyzacja mogą zachowywać wcześniejsze zdolności. Metody te zazwyczaj nie rozstrzygają, czy konkretny dowód uzasadnia rewizję konkretnego twierdzenia.

Chronią uczenie w czasie. Niekoniecznie zapewniają epistemiczne warunki zmiany.

Najbliższy systemowi kompleksowemu może być zatem połączenie kilku tradycji. Predykcja selektywna zapewnia decyzję o odrzuceniu odpowiedzi. Jawna pamięć zachowuje twierdzenia i informacje o pochodzeniu.

Logika utrzymywania prawdy zarządza zależnościami i wyzwalaczami rewizji. Uczenie ciągłe lub edycja modelu kontroluje później sposób zmiany zachowania neuronowego.

Cel integracji jest jasny. Otwarte pozostaje pytanie, czy te elementy mogą stworzyć jeden spójny, mierzalny kontrakt.

Lokalna edycja modelu ujawnia problem zmian ubocznych

Edycja modelu bezpośrednio mierzy ukierunkowaną rewizję, jednak obecne dowody ostrzegają, że pozorna lokalność może ukrywać szersze szkody.

Edycja wiedzy ma na celu zmianę wybranego zachowania modelu bez ponownego trenowania całego modelu. Typowe benchmarki sprawdzają, czy edycja się powiodła, uogólnia się na parafrazy i zachowuje niezwiązane wyniki.

Wiarygodność pyta, czy edytowany model zwraca zamierzoną odpowiedź dla docelowego zapytania. Uogólnienie sprawdza równoważne sformułowania lub powiązane konteksty.

Lokalność mierzy, czy zachowanie poza zamierzoną edycją pozostaje stabilne. Przenośność czasami sprawdza, czy nowy fakt wspiera właściwe rozumowanie w powiązanych sytuacjach.

Te wymiary ściśle odpowiadają drugiej połowie proponowanego cyklu życia. Twierdzenie się zmienia, powiązane zachowanie podąża za tą zmianą, a niezwiązana wiedza powinna pozostać nienaruszona.

Jednak edycja modelu zwykle zaczyna się od dostarczonej docelowej odpowiedzi. Niekoniecznie ocenia, czy dowody uzasadniały ten cel lub rozstrzygały wcześniejszą przyczynę zawieszenia.

Edytor otrzymuje instrukcję, na przykład zastąpienia jednego skojarzenia faktycznego innym. Decyzja epistemiczna została już podjęta poza metodą.

Czyni to edycję mechanizmem wdrażania rewizji, a nie pełnym opisem tego, kiedy rewizja powinna nastąpić.

ROME, MEMIT, MEND i powiązane metody oferują różne sposoby zmiany zachowania modelu. Niektóre modyfikują wybrane wagi, podczas gdy inne wykorzystują wyuczone edytory lub pamięć zewnętrzną.

Ich benchmarki wypracowały użyteczne słownictwo, zwłaszcza skuteczność, uogólnienie, lokalność i przenośność. Terminy te mogą zakotwiczyć część przyszłej ewaluacji dotyczącą ograniczonej zmiany.

Mimo to niedawne ewaluacje podważyły optymistyczne wyniki dotyczące lokalności. Badanie NeurIPS 2024 przeanalizowało szersze zdolności po edycji, wykraczając poza standardowe testy celu i sąsiedztwa.

Ewaluacja edycji zgłosiła pogorszenie wyników w ogólnych benchmarkach wraz z kumulowaniem się edycji. Stwierdziła też osłabienie zachowań związanych z bezpieczeństwem w edytowanych modelach.

Wyniki te nie pokazują, że wszystkie metody edycji zawodzą w każdym wdrożeniu. Pokazują, że wąsko zdefiniowane metryki lokalności mogą pomijać szersze zmiany zachowania.

Preprint z 2026 roku wyostrzył te obawy, kwestionując, czy powszechne protokoły specyficzności wystarczająco czułe mierzą zachowanie wiedzy. Specyficzność to inne określenie lokalności edycji.

Krytyka lokalności argumentuje, że utrwalone protokoły zawierają słabości konceptualne i pomiarowe. Jej autorzy proponują bardziej czułe podejście do ewaluacji.

Dowody te wspierają najbardziej wymagający warunek dyskusji na Reddicie. Ograniczonej zmiany ubocznej nie można wnioskować na podstawie powodzenia w małym zbiorze niezwiązanych zapytań.

Silniejszy test wymaga kilku poziomów odległości od celu. Powinien obejmować bezpośrednie parafrazy, uzasadnione konsekwencje, bliskie, lecz niezależne fakty, odległe zdolności oraz zachowanie związane z bezpieczeństwem.

Oczekiwany wynik również różni się w zależności od odległości. Bezpośrednie parafrazy powinny zmieniać się konsekwentnie. Konsekwencje logiczne powinny zmieniać się wtedy, gdy ich przesłanki rzeczywiście zależą od P.

Bliskie niezależne fakty powinny pozostać stabilne. Szerokie zdolności i ograniczenia bezpieczeństwa nie powinny wykazywać istotnego pogorszenia.

Benchmark musi rozróżniać propagację od szkód ubocznych. Rewizja, która nigdy nie wpływa na powiązane konsekwencje, jest zbyt wąska, a taka, która zmienia luźno powiązany materiał, jest zbyt szeroka.

Pochodzenie źródeł dodaje kolejny trudny przypadek. Jeśli dwa źródła się nie zgadzają, system może potrzebować odpowiedzi zależnych od kontekstu zamiast jednej globalnej edycji wag.

Warstwa pamięci zewnętrznej może bardziej naturalnie zachowywać konkurujące twierdzenia. Wyszukiwanie może następnie wybierać dowody na podstawie czasu, autorytetu, jurysdykcji lub kontekstu użytkownika.

Pamięć zewnętrzna nie eliminuje jednak ryzyka związanego z zachowaniem modelu. Generator może ignorować pobrane dowody, nieprawidłowo łączyć źródła lub wyrażać większą pewność, niż uzasadnia zapis.

Sugeruje to, że żadna pojedyncza metryka lokalności nie rozstrzygnie tej kwestii. Ewaluacja musi obejmować przechowywany stan, zachowanie podczas wyszukiwania, generowane twierdzenia i decyzje dalszego rzędu.

Ta sama zasada dotyczy łączenia wiedzy. Łączenie informacji jest użyteczne tylko wtedy, gdy granice między źródłami i konflikty pozostają dostępne do kontroli.

Najsilniejszy precedens z edycji modelu ma zatem charakter metodologiczny. Pokazuje, jak testować ukierunkowaną zmianę oraz jak łatwo wąskie ewaluacje mogą zawyżać poziom kontroli.

Trzy sygnały wskazałyby, że luka badawcza się zamyka

Dziedzina pilniej potrzebuje wspólnego benchmarku longitudinalnego niż kolejnego odizolowanego wyniku dla wstrzymywania się od odpowiedzi lub edycji.

Pierwszym sygnałem byłby benchmark zbudowany wokół historii twierdzeń, a nie niezależnych przykładów. Każdy przypadek powinien zawierać źródła, przyczyny zawieszenia, elementy rozpraszające, późniejsze dowody i struktury zależności.

Benchmark powinien testować powtarzane interakcje w czasie. Odpowiedź w jednej turze nie może wykazać trwałego zawieszenia epistemicznego.

Powinien również uwzględniać konkurujące przyczyny niepewności. Brakujące dowody, sprzeczne dowody, niski autorytet źródła, niejednoznaczność czasowa i niejednoznaczność encji wymagają różnych warunków rozstrzygnięcia.

Zaliczenie benchmarku wymagałoby stabilnych nierozstrzygniętych stanów przed pojawieniem się kwalifikujących się dowodów. Wymagałoby również uzasadnionych zmian statusu po ich pojawieniu się.

Drugim sygnałem jest świadoma pochodzenia polityka rewizji z jawnymi testami wyzwalającymi. Badacze powinni określić, które właściwości dowodów umożliwiają każde przejście.

Sama trafność nie wystarcza. Fragment może wspominać o P, nie odnosząc się do powodu wstrzymania oceny.

Polityka powinna uwzględniać tożsamość źródła, niezależność dowodową, czas, sprzeczności oraz autorytet, gdy wymaga tego zastosowanie. Warunki te muszą pozostawać możliwe do skontrolowania.

Testy kontrfaktyczne utrudniłyby manipulowanie polityką. Badacze mogliby zmieniać etykietę źródła przy zachowaniu tekstu albo zmieniać tekst przy zachowaniu źródła.

Mogliby również dostarczać powtarzające się kopie jednego twierdzenia. Poprawnie działający system nie powinien interpretować powielania jako niezależnego potwierdzenia.

Trzecim sygnałem jest szerszy audyt zmian ubocznych. Powinien mierzyć zarówno niewystarczające propagowanie, jak i nadmierne propagowanie po rewizji.

Badacze potrzebują zapytań docelowych, parafraz, twierdzeń zależnych, sąsiadujących faktów, odległych zadań i kontroli bezpieczeństwa. Powinni powtarzać te testy po sekwencjach rewizji.

Audyt ten powinien obejmować odwracalność, gdy zastosowanie ją wspiera. Jeśli dowody zostaną wycofane lub zdyskredytowane, system powinien ponownie ocenić twierdzenia, które od nich zależały.

Model, który jedynie nadpisuje wcześniejsze zachowanie, nie potrafi w pełni reprezentować tej zależności. Może potrzebować jawnych zapisów poza swoimi parametrami.

Sygnały te wzmocniłyby tezę, że te dziedziny się zbliżają. Ich brak wspierałby obecny wniosek, że problem pozostaje rozproszony.

Twórcy powinni obserwować terminologię, a nie tylko systemy. Istotne prace mogą pojawiać się pod hasłami selective prediction, attributed generation, temporal knowledge editing, non-monotonic reasoning, defeasible inference lub belief revision.

Badacze mogą również używać terminów provenance, lineage, truth maintenance, epistemic status lub dependency-directed backtracking. Wyszukiwanie wyłącznie frazy „AI abstention” pominie znaczną część fundamentów.

Dla nabywców korporacyjnych praktyczne pytanie jest proste. Czy dostawca potrafi pokazać, w co system odmówił uwierzyć, dlaczego odmówił oraz co później zmieniło jego stanowisko?

Ogólny wynik pewności na to nie odpowiada. Nie odpowiada na to również interfejs cytowań, który zapomina o wcześniejszych konfliktach.

Dla deweloperów kwestia ta wpływa na architekturę. Trwały stan epistemiczny prawdopodobnie powinien należeć do możliwej do skontrolowania warstwy pamięci, nawet gdy modele neuronowe wykonują ekstrakcję i rozumowanie.

Dla pracowników wiedzy rewizja zachowująca pochodzenie informacji decyduje o tym, czy asystent pozostaje godny zaufania w miarę rozwoju projektów. Wcześniejsze decyzje często zależą od dowodów, które później się zmieniają.

Obecna literatura wspiera każdy główny składnik. Selective prediction wspiera wstrzymywanie odpowiedzi. Attribution wspiera ugruntowanie w źródłach. Truth maintenance wspiera uzasadnione wycofywanie wniosków.

Continual learning wspiera adaptację czasową. Model editing wspiera ukierunkowaną zmianę zachowania i dostarcza ostrzegawczych dowodów dotyczących lokalności.

Niejasne pozostaje, czy istniejąca ewaluacja łączy już te składniki w jednym protokole. Dyskusję z 6 sierpnia należy traktować jako pytanie badawcze, a nie dowód, że taki protokół nie istnieje.

Przekonująca odpowiedź będzie wymagała czegoś więcej niż listy pokrewnych artykułów. Powinna wskazywać system oceniany od początkowego wstrzymania oceny po rewizję wywołaną dowodami i testy zmian ubocznych.

Dopóki to się nie pojawi, najlepszym opisem jest luka integracyjna. Komponenty istnieją, lecz ich gwarancje nie składają się automatycznie w całość.

Badacze mogą skonkretyzować tę lukę, publikując historie propozycji, warunki wyzwalające oraz testy lokalności uwzględniające zależności. Praktycy mogą wymagać takich samych dowodów od wdrożonych systemów.

Gdy następnym razem asystent powie, że brakuje mu dowodów, zapytaj, co zachował. Następnie zapytaj, jakie dokładnie dowody zmieniłyby jego status oraz które inne wnioski zmieniłyby się razem z nim.

Pytania te zamieniają dyskusję horizon machinelearning w test operacyjny. Ujawniają też, czy „Nie wiem” oznacza trwałą dyscyplinę epistemiczną, czy jedynie jedno ostrożne zdanie.