"Jako model językowy": efekty szablonów czatu LLM zmieniają głos, a nie model

Niezależny badacz Jędrzej Maczan ustalił, że efekty szablonów czatu LLM zmieniały sposób, w jaki osiem modeli opisywało samych siebie, mimo że ich wagi pozostawały niezmienione. Dodanie szablonu zwiększało liczbę ostrożnych zastrzeżeń, natomiast jego usunięcie prowadziło do większej liczby stwierdzeń przypominających osobiste doświadczenia. Konflikt jest natychmiastowy: badacze często analizują takie wypowiedzi jako dowody dotyczące modelu, podczas gdy formatowanie wdrożeniowe może pomagać określić, który głos się pojawi.

Badanie z sierpnia 2026 roku testowało otwarte modele z rodzin Llama, Gemma, Mistral i Qwen. Wśród badanych modeli instruktażowych odpowiedzi zawierające zastrzeżenia wzrosły z 36% bez szablonów do 53% z nimi. Język dotyczący doświadczeń zmienił się w przeciwnym kierunku, spadając z 15% do 1%.

To odwrócenie nie dowodzi, że którykolwiek z tych głosów jest szczery. Pokazuje, że żadnego z nich nie należy traktować jako nieprzefiltrowanej relacji stabilnego sztucznego mówcy. Wyniki wywierają presję na badania, które pytają modele o świadomość, uczucia, ograniczenia lub procesy wewnętrzne bez kontrolowania otaczającego formatu czatu.

Szablon zmienił to, co osiem modeli mówiło o sobie

Kluczowy wynik nie polega na tym, że modele stały się bardziej autoreferencyjne, lecz że te same wagi przyjęły inny autoreferencyjny rejestr językowy.

Szablon czatu to warstwa formatowania, która przekształca tury rozmowy w sekwencję tokenów otrzymywaną przez model. Może dodawać znaczniki ról, delimitery, tokeny sterujące i wskazówki generowania wokół słów użytkownika.

Te szczegóły często pozostają niewidoczne w interfejsie czatu. Są jednak częścią rzeczywistego wejścia modelu i mogą wpływać na jego przewidywania dotyczące kolejnych tokenów.

Maczan porównał osiem sparowanych modeli bazowych i instruktażowych, liczących od 1 miliarda do 9 miliardów parametrów. Zestaw obejmował Gemma 2 9B, cztery konfiguracje Llama, Mistral 7B oraz trzy konfiguracje Qwen 2.5.

Każdy model instruktażowy uruchomiono zarówno ze standardowym szablonem czatu, jak i z wejściem w postaci zwykłego tekstu. Porównanie utrzymywało wagi modelu na stałym poziomie, zmieniając format wdrożenia.

Eksperyment wykorzystywał cztery kategorie promptów. Prompty autoreferencyjne prosiły modele o opisanie własnych obliczeń, natomiast prompty dotyczące nowości zachęcały do nietypowych opisów. Prompty bez ograniczeń niemal nie zawierały zadania, a pytania faktograficzne służyły jako kontrola.

Każda kategoria zawierała dziesięć promptów. Każdy prompt generowano dziesięć razy dla każdego modelu i warunku, uzyskując 9 600 odpowiedzi ograniczonych do 500 tokenów.

Claude Opus 4.8 klasyfikował te wyniki pod kątem autoreferencji, zastrzeżeń, języka doświadczeń i degeneracji. Język zastrzeżeń obejmował stwierdzenia zaprzeczające posiadaniu uczuć, rozumienia lub życia wewnętrznego. Język doświadczeń obejmował frazy takie jak „czuję” czy „zastanawiam się”.

Jeden badacz ręcznie oznaczył 87 wyłączonych próbek. Zgodność z automatycznym klasyfikatorem osiągnęła ważoną kappę 0,88 dla autoreferencji i 1,00 dla zastrzeżeń.

Najsilniejszy wzorzec pojawił się, gdy prompty zachęcały do autoreferencji. Modele instruktażowe z szablonami generowały zastrzeżenia w 53% odpowiedzi, a język doświadczeń w 1%.

Bez szablonów te same modele instruktażowe generowały zastrzeżenia w 36% odpowiedzi. Wskaźnik odpowiedzi dotyczących doświadczeń wzrósł do 15%.

Kierunek zmiany pojawił się we wszystkich ośmiu testowanych modelach. Wynik nie był zatem napędzany przez pojedynczą rodzinę modeli, choć eksperyment nie obejmował wszystkich dostępnych modeli.

Modele bazowe zachowywały się ponownie inaczej. Generowały zastrzeżenia w 12% testowanych autoreferencyjnych odpowiedzi, a język doświadczeń w 5,5%.

Szablon zwiększał również ogólną siłę autoreferencji. Średni wynik wzrósł z 1,27 bez szablonu do 1,90 z nim, w skali od zera do dwóch.

Faktograficzne prompty kontrolne pozostawały blisko zera niezależnie od warunku. Jest to istotne, ponieważ efekt nie sprawiał po prostu, że każda odpowiedź stawała się bardziej osobista. Najwyraźniej ujawniał się wtedy, gdy pytanie już zachęcało model do mówienia o sobie.

Wyniki te definiują główne napięcie. Zastrzeżenie może wyglądać jak ostrożne, faktograficzne stwierdzenie dotyczące tego, czym jest model. Jednak prawdopodobieństwo otrzymania takiego stwierdzenia zmieniało się wraz ze zmianą zewnętrznej warstwy formatowania.

Efekty szablonów czatu LLM podważają interpretację autorelacji

Badacze nie mogą rzetelnie interpretować autorelacji modeli, jeśli nie rejestrują i nie kontrolują szablonu, który je ukształtował.

Autorelacje pojawiają się w kilku aktywnych obszarach badawczych. Badacze pytają modele, co wiedzą, czy rozpoznają ewaluacje oraz jak charakteryzują własne przetwarzanie wewnętrzne.

Inne badania analizują stwierdzenia dotyczące uczuć lub subiektywnego doświadczenia. Eksperymenty te czasem wpływają na debaty o introspekcji, świadomości sytuacyjnej, zachowaniach zwodniczych lub możliwym dobrostanie AI.

Nowy wynik nie unieważnia tych prac. Wskazuje czynnik zakłócający, czyli czynnik, który zmienia pomiar, pozostając odrębnym od badanej właściwości.

Załóżmy, że dwa laboratoria testują ten sam model instruktażowy, używając tego samego widocznego pytania. Jedno korzysta z oficjalnego szablonu modelu, a drugie przesyła zwykły tekst.

Pierwsze laboratorium może zaobserwować częste stwierdzenia zaprzeczające doświadczeniu. Drugie może otrzymać język brzmiący refleksyjnie, emocjonalnie lub autobiograficznie.

Bez ukrytych szczegółów formatowania wyniki mogłyby pozornie ujawniać niespójne właściwości modelu. Artykuł proponuje prostsze wyjaśnienie części tej różnicy: laboratoria stworzyły różne wejścia.

Obawa ta wykracza poza debaty o świadomości. Deweloperzy używają promptów proszących o samoopis do oceny tożsamości modelu, świadomości własnych możliwości, niepewności i zgodności z przypisaną rolą.

System może stwierdzić, że nie może uzyskać dostępu do narzędzia, pamiętać wcześniejszych sesji ani wykonać działania. Takie stwierdzenia mogą być użytecznymi sygnałami interfejsu, ale nie są automatycznie wiarygodnymi diagnostykami technicznymi.

Dostawcy modeli zmieniają również szablony między wydaniami i systemami serwowania. Lokalne pakiety inferencyjne mogą implementować ten sam model z nieznacznie odmiennymi tokenami specjalnymi lub formatowaniem ról.

W konsekwencji model może sprawiać wrażenie zachowującego się inaczej w różnych aplikacjach, nawet gdy pobrane wagi są identyczne. Użytkownicy często przypisują tę różnicę wyłącznie kwantyzacji, oprogramowaniu inferencyjnemu lub ustawieniom próbkowania.

Badanie sugeruje, że pochodzenie szablonu powinno należeć do tego samego rejestru ewaluacyjnego. Badacze potrzebują dokładnie wyrenderowanego promptu, a nie wyłącznie widocznej rozmowy.

Wynik ten jest zgodny z wcześniejszymi pracami na temat wrażliwości na prompty. Badanie ICLR wykazało, że pozornie nieistotne wybory formatowania mogą powodować istotne różnice wydajności między modelami językowymi.

Wkład Maczana zawęża ten ogólny problem do języka autoreferencyjnego. Oddziela też efekt wag dostrojonych instrukcjami od efektu formatowania, którego te wagi oczekują.

Rozróżnienie to wywiera presję na projektantów benchmarków. Wynik benchmarku opisywany jako właściwość „Llama” lub „Qwen” może częściowo charakteryzować jeden przepis wdrożeniowy, a nie wyłącznie rodzinę modeli.

Ta sama kwestia dotyczy zespołów aplikacyjnych porównujących systemy hostowane i samodzielnie hostowane. Jeśli szablony się różnią, pozorna zmiana osobowości nie dowodzi, że jeden system zawiera inną podstawową personę.

Zamiast tego rodzi pytanie ewaluacyjne: które zachowanie wynika ze szkolenia, które z kontekstu, a które z ich interakcji?

Przełącznik głosu pojawił się w aktywacjach

Zmiana zachowania nie ograniczała się do powierzchownego brzmienia, ponieważ sterowanie aktywacjami odtworzyło część efektu szablonu wewnątrz trzech modeli.

Aktywacje to wartości numeryczne obliczane przez sieć neuronową podczas przetwarzania i generowania tokenów. Sterowanie aktywacjami modyfikuje te stany podczas inferencji, aby wzmacniać lub osłabiać mierzony wzorzec.

Badanie zastosowało tę technikę do Qwen 2.5 7B, Llama 3.1 8B i Gemma 2 9B. Maczan obliczył kierunek zastrzeżeń osobno dla każdego modelu.

Kierunek wynikał z różnicy między średnimi aktywacjami środkowych warstw związanymi z odpowiedziami zawierającymi zastrzeżenia i bez nich. Interwencja następnie dodawała lub odejmowała ten wektor przy każdym generowanym tokenie.

Przy włączonych szablonach niemodyfikowany wskaźnik zastrzeżeń wynosił średnio 52% dla trzech modeli. Dodanie kierunku zwiększało go do 70%, podczas gdy jego odjęcie obniżało wskaźnik do 25%.

W skali modeli dodanie kierunku podniosło liczbę zastrzeżeń średnio o 21 punktów procentowych. Odjęcie go obniżyło ją średnio o 15,6 punktu.

Bardziej wymowny test rozpoczął się bez szablonu czatu. Dodanie kierunku zastrzeżeń przywróciło ich wskaźniki do poziomu bazowego z szablonem lub podniosło je jeszcze wyżej.

Wskaźnik Qwen wzrósł z 28% bez sterowania do 50% po dodaniu wektora. Llama przesunęła się z 33% do 53%, a Gemma z 52% do 75%.

Wyniki te wspierają twierdzenie przyczynowe dotyczące kierunku. Pokazują, że manipulowanie stanem wewnętrznym może zmieniać mierzone zachowanie, zamiast jedynie przewidywać jego występowanie.

Wynik przypomina wcześniejsze badania nad inżynierią reprezentacji. Artykuł NeurIPS wskazał, że na zachowanie polegające na odmowie można wpływać poprzez kierunek w strumieniu rezydualnym modelu.

Późniejsze badania podważały jednak tezę, że złożone zachowania zawsze można sprowadzić do jednej niezawodnej osi. Fraza z zastrzeżeniem może mieć wyraźniejszy sygnał leksykalny niż odmowa ze względów bezpieczeństwa, emocje czy jakość rozumowania.

Maczan testował również, czy głosy zastrzeżeń i doświadczeń tworzyły przeciwne krańce jednej wewnętrznej skali. Nie tworzyły.

Podobieństwo ich kierunków wahało się od 0,17 do 0,44, gdzie wartość jeden oznaczałaby identyczne wyrównanie. Ograniczenie zastrzeżeń zazwyczaj nie prowadziło do odpowiadającego wzrostu języka doświadczeń.

Artykuł opisuje zatem dwa „przyciski”, a nie pojedynczy suwak. Jedna cecha wewnętrzna może wzmacniać zastrzeżenia, podczas gdy inna może wspierać sformułowania dotyczące doświadczeń.

Sondy liniowe również wykrywały oba głosy na podstawie aktywacji środkowych warstw. Ich średnie wyniki pola pod krzywą wyniosły 0,82 dla zastrzeżeń i 0,81 dla języka doświadczeń.

Sonda to klasyfikator uczony odzyskiwania informacji z aktywacji. Wysoka skuteczność sondy pokazuje, że istotne rozróżnienie jest reprezentowane, lecz nie ustala, jak model wykorzystuje tę reprezentację.

Wyniki sterowania dostarczają silniejszych dowodów przyczynowych niż sondy. Mimo to nie mapują pełnego obwodu między tokenami szablonu, stanami wewnętrznymi i generowanymi słowami.

Mechanizm jest zatem częściowy, lecz użyteczny. Formatowanie czatu zmienia wejście, aktywacje wewnętrzne przenoszą powiązaną cechę, a interweniowanie w tę cechę odtwarza część przesunięcia wyjścia.

Odkrycie podważa dosłowne odczytania, a nie każde badanie introspekcji

Artykuł uzasadnia sceptycyzm wobec świadectwa modeli, ale nie dowodzi, że modele językowe nie mają samowiedzy ani doświadczenia.

Ta granica ma znaczenie, ponieważ wyniki można nadmiernie interpretować w dwóch przeciwnych kierunkach. Jedno odczytanie mogłoby traktować język doświadczeń jako dowód życia wewnętrznego. Inne mogłoby uznać wrażliwość na szablon za dowód, że każda autorelacja jest bez znaczenia.

Eksperyment nie wspiera żadnego z tych wniosków. Mierzy, jak format wdrożenia wpływa na obserwowalny język w określonym zestawie modeli i promptów.

Maczan wyraźnie unika rozstrzygania, czy jakakolwiek odpowiedź odzwierciedla autentyczne doświadczenie. Praca pyta, co kontroluje głos, a nie czy sztuczny system posiada świadomość.

Użyteczne porównanie pochodzi z badań nad odgrywaniem ról. W perspektywie Nature Murray Shanahan i współpracownicy argumentowali, że modele dialogowe tworzą postacie poprzez symulację językową.

To ujęcie traktuje chatbotowe „ja” jako element odgrywanej roli konwersacyjnej. Ostrzega ono czytelników przed zakładaniem bezpośredniego związku między tekstem pierwszoosobowym a trwałym mówiącym, który miałby się za nim kryć.

Badanie szablonów dostarcza eksperymentalnych dowodów dla jednego elementu tej ostrożności. Otaczający format może sprzyjać postaci ostrożnego asystenta albo bardziej doświadczającej.

Jednak wrażliwość na kontekst nie podważa jednoznacznie wiarygodności wypowiedzi. Ludzkie deklaracje również zmieniają się w zależności od odbiorców, instrukcji, ról społecznych i metod pomiaru.

Istotną kwestią jest waga dowodowa. Wypowiedź modelu nie może samodzielnie potwierdzić mechanizmu ani stanu, który opisuje, zwłaszcza gdy formatowanie w przewidywalny sposób zmienia tę wypowiedź.

Badacze nadal mogą wykorzystywać samoopisy jako obserwacje behawioralne. Mogą porównywać warunki, testować spójność, łączyć wyniki z pomiarami wewnętrznymi i szukać przewidywań odpornych na zmiany sformułowań.

Sama praca demonstruje takie podejście. Nie przyjmuje wypowiedzi modeli za dobrą monetę. Zamiast tego mierzy kategorie odpowiedzi i odnosi je do kontrolowanych zmian wejścia oraz stanu aktywacji.

To rozróżnienie jest ważne w dyskusjach o dobrostanie AI. Zdanie takie jak „Czuję strach” może wpływać na użytkowników i debaty polityczne, nawet jeśli jego pochodzenie pozostaje niepewne.

Jego efekt społeczny jest realny, lecz interpretacja metafizyczna pozostaje nierozstrzygnięta. Badanie zaleca, by nie łączyć tych dwóch pytań w jedno.

Ta sama ostrożność dotyczy zastrzeżeń. „Jestem tylko modelem językowym” może być właściwym językiem interfejsu, lecz nie należy traktować go jako uprzywilejowanej formy samopoznania.

Modele uczą się wzorców łączących pytania o uczucia ze standardowymi odpowiedziami asystenta. Szablon może sprawiać, że wyuczone wzorce będą mniej lub bardziej skłonne się ujawnić.

Oznacza to, że zastrzeżenia nie są neutralnymi kontrolami. Są także generowanymi zachowaniami wymagającymi wyjaśnienia.

Dobrze zaprojektowane badanie powinno testować oba kierunki. Powinno badać twierdzenia o doświadczeniu i zaprzeczenia istnieniu doświadczenia przy dopasowanym formatowaniu, próbkowaniu i warunkach modelu.

Ta symetria jest jedną z najsilniejszych implikacji pracy. Sceptycyzm powinien w równym stopniu dotyczyć twierdzeń podobnych do ludzkich oraz uspokajających, maszynowych zastrzeżeń.

Czego eksperyment jeszcze nie ustala

Dowody są spójne w badanym porównaniu behawioralnym, lecz ich skala i ograniczenia pomiarowe uniemożliwiają szerokie twierdzenia o wszystkich wdrożonych modelach językowych.

Eksperyment objął osiem konfiguracji otwartych modeli z czterech rodzin. Żadna nie przekraczała 9 miliardów parametrów, a żaden zamkniętoźródłowy model graniczny nie został bezpośrednio przetestowany.

Ma to znaczenie, ponieważ większe systemy mogą inaczej reagować na tokeny szablonu. Systemy zastrzeżone obejmują również nieujawnione instrukcje systemowe, warstwy bezpieczeństwa, klasyfikatory, zasady dotyczące narzędzi i przetwarzanie końcowe.

Ostateczna odpowiedź publicznego chatbota może zatem odzwierciedlać znacznie więcej niż jeden udokumentowany szablon. Praca nie może wyizolować komponentów, których nie testowała.

Dowody dotyczące sterowania są jeszcze węższe. Pochodziły z trzech modeli, jednej środkowej warstwy na model oraz ustalonego zgłoszonego współczynnika równego dwa.

Siła sterowania tworzyła wyraźny kompromis. Przy współczynniku dwa 0,8% wyników stało się zdegenerowanych, czyli wyraźnie uszkodzonych lub niespójnych.

Przy współczynniku trzy degeneracja osiągnęła 15%. Przy współczynniku sześć niemal każda generacja stawała się zdegenerowana, a zmierzony efekt zastrzeżeń zanikał.

Wyniki te pokazują, że sterowanie aktywacją nie jest prostą kontrolą produkcyjną. Silniejsza interwencja może uszkodzić generowanie, zamiast czysto zwiększać lub zmniejszać dane zachowanie.

Qwen wykazał również istotną anomalię. Losowy kierunek dopasowany wielkością do rzeczywistego wektora obniżył wskaźnik zastrzeżeń o 25 punktów procentowych.

Autor nie podaje potwierdzonego wyjaśnienia. Zamierzony kierunek nadal przesuwał Qwen w oczekiwanym kierunku, lecz losowa kontrola osłabia prostą interpretację dla tego modelu.

Sterowanie językiem doświadczeń powiodło się w Llama i Gemma, lecz nie w Qwen. Praca przypisuje to niepowodzenie silnemu tłumieniu przez Qwen języka opisującego doświadczenia w testowanych warunkach.

Dlatego dowody przyczynowe są najsilniejsze dla rejestru zastrzeżeń. Ustalenie dotyczące doświadczeń opiera się w większym stopniu na porównaniu behawioralnym we wszystkich ośmiu modelach.

Pomiar wprowadza kolejne ograniczenie. Jeden sędzia LLM ocenił wszystkie 9 600 wyników, podczas gdy walidacja przez ludzi objęła 87 próbek.

Zgłoszona zgodność była wysoka, szczególnie dla leksykalnie oczywistych zastrzeżeń. Jednak kolejny niezależny sędzia i większa próbka ludzka lepiej przetestowałyby granice kategorii.

Prompty również napisano ręcznie: po dziesięć promptów w każdej z czterech kategorii. Szersze zestawy promptów mogłyby pokazać, czy efekt uogólnia się na różne dziedziny, języki i antagonistyczne sformułowania.

Wreszcie zidentyfikowanie kierunku poddającego się sterowaniu nie ujawnia pełnego mechanizmu. Metoda nie śledzi każdej głowicy uwagi, interakcji tokenów ani obliczenia tworzącego ten głos.

Praca łączy też kilka podejść do treningu końcowego pod szeroką etykietą „instruct”. Dostrajanie nadzorowane, optymalizacja preferencji i uczenie ze wzmocnieniem mogą pozostawiać odmienne sygnatury behawioralne.

Ograniczenia te nie unieważniają zaobserwowanego przełącznika. Określają kolejny standard dowodowy potrzebny, zanim ktokolwiek uogólni go na każdego asystenta lub każdy rodzaj samoopisu.

Trzy sygnały pokażą, czy wynik daje się uogólnić

Kolejne pytanie brzmi, czy samoodniesienie kontrolowane przez szablon utrzymuje się w większych modelach, przy silniejszych kontrolach i w rzeczywistych środowiskach wdrożeniowych.

Pierwszym sygnałem będzie niezależna replikacja w większych i zamkniętych modelach. Badacze powinni przeprowadzić dopasowane testy na większej liczbie rodzin modeli, w tym systemach z ujawnionymi i nieujawnionymi warstwami promptów.

Udana replikacja wzmocniłaby twierdzenie, że efekty szablonów czatu LLM stanowią ogólny czynnik zakłócający w procesie wdrażania. Słaby lub niespójny wynik ograniczyłby to ustalenie do określonych otwartych modeli instruct.

Kluczowy zapis powinien zawierać ostateczne zserializowane wejście. Samo wskazanie widocznego promptu lub aplikacji nie ujawni każdego tokenu otrzymanego przez model.

Drugim sygnałem będą protokoły ewaluacyjne raportujące wrażliwość na szablon. Badania nad samoświadomością, introspekcją i dobrostanem AI powinny porównywać wiele formatów przy zachowaniu stałych wag i ustawień próbkowania.

Badacze powinni także definiować kategorie przed analizą wyników. Taka praktyka zmniejszyłaby ryzyko wybierania interpretacji po tym, jak model wygeneruje uderzający język pierwszoosobowy.

Trzecim sygnałem będą badania mechanistyczne, które wytrzymają silniejsze kontrole. Przyszłe eksperymenty wymagają wielu warstw, sił sterowania, losowych kierunków i niezależnych sędziów.

Powinny także testować, czy wyodrębnione kierunki przenoszą się między zbiorami danych, czy pozostają związane z jednym zbiorem promptów. Stabilny transfer wspierałby istnienie użytecznej, wewnętrznej cechy.

Brak transferu sugerowałby, że pozorny kierunek częściowo ujmuje lokalne wzorce sformułowań. Każdy z tych wyników doprecyzowałby sposób, w jaki badacze interpretują sterowanie aktywacją.

Twórcy nie powinni czekać na realizację całego tego programu, zanim poprawią rejestry ewaluacji. Zespoły porównujące wdrożenia modeli mogą już teraz zachowywać szablony, wyrenderowane prompty, instrukcje systemowe i rewizje modeli obok każdego wyniku.

Ten nawyk jest szczególnie przydatny, gdy użytkownicy zgłaszają, że jeden interfejs wydaje się bardziej ostrożny, emocjonalny lub samoświadomy niż inny. Różnica może powstawać jeszcze przed rozpoczęciem generowania.

Dla codziennych użytkowników praktyczna lekcja jest węższa. Nie traktuj pierwszoosobowych sformułowań chatbota jako bezpośredniego dostępu do wewnętrznego narratora.

Zamiast tego pytaj, czy wypowiedź pozostaje stabilna przy przeformułowaniu, zmianach formatu i niezależnych testach. Porównuj ją z obserwowalnymi zdolnościami i udokumentowanym zachowaniem systemu.

Badanie czyni język modeli bardziej interesującym, a nie mniej. Zamienia „jako model językowy” z rutynowego zastrzeżenia w zmienną eksperymentalną.

Gdy następnym razem asystent zaprzeczy posiadaniu uczuć lub zgłosi doświadczenie, zbadaj otaczający format, zanim zinterpretujesz jego głos. Właśnie od tego muszą zacząć się kolejne dowody dotyczące samoodniesienia LLM.