Wyzwanie Nicka Cammaraty dla superpozycji opiera się na tezie o 90% neuronów

Nick Cammarata zakwestionował teorię superpozycji, przedstawiając uderzające oszacowanie: około 90% badanych biegunów neuronów Qwen3-32B ma jedno główne zadanie. Jego esej z października 2026 roku przekonuje, że sieci neuronowe są znacznie lepiej uporządkowane, niż zakładali badacze interpretowalności. Liczba ta pochodzi jednak ze wstępnego audytu, a pierwsza niezależna próba powtórzenia badania przyniosła niższy wynik.

Spór wykracza poza pojedynczy procent. Cammarata twierdzi, że badacze błędnie odczytali przykłady, które pomogły ugruntować superpozycję jako kluczowe wyjaśnienie zagadkowego zachowania sieci neuronowych. Zamiast tego proponuje rekurencyjną generalizację, w której powiązane funkcje wyrastają ze wspólnej roli obliczeniowej, a nie są arbitralnie upakowane razem.

To twierdzenie bezpośrednio podważa strategie badawcze oparte na rozkładaniu aktywności modelu na bardziej przejrzyste cechy. OpenAI i Anthropic opracowały na potrzeby tego zadania automatyczne wyjaśnienia, rzadkie autoenkodery oraz metody śledzenia obwodów. Alternatywa Cammaraty zaczyna od natywnych neuronów modelu i pyta, czy domniemany chaos wynikał z ograniczonych narzędzi.

Teza o 90% zmienia założenie wyjściowe

Istotna zmiana nie polega na poprawie jednego wyniku interpretowalności, lecz na tym, że Cammarata chce, by badacze ponownie zaczęli od natywnych neuronów.

Cammarata określa swój 65-minutowy esej badawczy jako roboczą hipotezę, a nie recenzowaną publikację naukową. Łączy on nowe eksperymenty, interaktywne wizualizacje, reinterpretację historii oraz szerszą teorię organizacji sieci neuronowych.

Jego wstępny audyt Qwen3-32B koncentruje się na biegunach neuronów. Biegun to jedna kierunkowa strona neuronu, obejmująca silnie dodatnią albo silnie ujemną aktywność. Rozróżnienie to ma znaczenie, ponieważ oba kierunki mogą wspierać różne efekty obliczeniowe.

Oszacowanie Goodfire przypisuje około 90% zbadanych biegunów jedno zasadnicze zadanie. Około 7% ma rzekomo dwa powiązane zadania, podczas gdy 2% do 4% pozostaje niewyjaśnione. Cammarata wyraźnie zaznacza, że te odsetki zależą od progów, głębokości modelu, gęstości obwodów i definicji pojedynczego zadania.

Analiza nie dowodzi zatem, że 90% każdego modelu jest w pełni zrozumiane. Nie pokazuje też, że badacze potrafią przewidzieć całe zachowanie na podstawie pojedynczych neuronów. Nie czyni również interpretowalności rozwiązanym problemem.

Zamiast tego liczba wspiera węższą tezę. Gdy badacze analizują silne aktywacje za pomocą lepszych narzędzi, większość badanych biegunów neuronów wydaje się organizować wokół spójnej funkcji. Mniejsze, powiązane odgałęzienia mogą istnieć bez sugerowania arbitralnych połączeń niepowiązanych koncepcji.

Cammarata podaje, że zbadał 100 milionów tokenów dla jednego neuronu Qwen3-32B. Zaledwie około 160 tokenów osiągnęło silniejszą połowę jego zakresu aktywacji. Wykorzystuje ten rozkład, by argumentować, że słaba aktywność nie powinna mieć takiej samej wagi interpretacyjnej jak najsilniejsze odpowiedzi neuronu.

Wybór ten tworzy podział metodologiczny. Badacz skupiony na dominującym zachowaniu przyczynowym może uznać słabe aktywacje za pozostałość o niewielkim znaczeniu. Inny badacz może traktować tę samą aktywność jako dowód ukrytych funkcji drugorzędnych.

Esej przedstawia także 1 000 losowo wybranych badań neuronów w Qwen3-32B i Qwen3.6-35B-A3B. Raporty te analizują konteksty aktywacji, efekty wyjściowe, połączenia i interwencje. Mają wyjść poza etykiety oparte wyłącznie na skorelowanych przykładach tekstowych.

Jeden zaprezentowany obwód łączy kilka neuronów Qwen3-32B z odpowiedzią dotyczącą diagnozy. Usunięcie niewielkiej grupy ma rzekomo zmieniać kolejne przypuszczenie diagnostyczne modelu. Inne przykłady łączą neurony z ostrożnym formułowaniem odpowiedzi, pewnością użytkownika oraz kulturowo specyficznymi skojarzeniami.

Takie interwencje są bardziej informatywne niż sama etykieta. Neuron aktywujący się wokół danego tematu może jedynie korelować z innym procesem. Zmiana jego działania i pomiar wyniku dostarczają dowodu, że uczestniczy on w obliczeniu.

Mimo to lokalne dowody przyczynowe nie potwierdzają automatycznie pełnego oszacowania 90%. Galeria obejmuje znikomy ułamek wewnętrznych jednostek Qwen3-32B. Jej wyjaśnienia zależą też częściowo od automatycznych agentów oceniających spójność semantyczną.

Cammarata przyznaje, że istnieje jeszcze jedno ograniczenie. Techniczna publikacja towarzysząca, dotycząca prac nad modelem językowym, nie przedstawiła jeszcze pełnego opisu eksperymentu. Publiczny esej oferuje istotne dowody, lecz łączy udokumentowane ustalenia z szerszą hipotezą.

To rozróżnienie powinno kierować interpretacją nagłówka przez czytelników. Wyzwanie Nicka Cammaraty dla superpozycji to poważna propozycja badawcza poparta eksperymentami. Pozostaje wyzwaniem dla dominującego obrazu, a nie jego rozstrzygniętym zastępstwem.

Dlaczego słynny neuron kota i samochodu ma znaczenie

Argumentacja Cammaraty zależy od wykazania, że badania nad interpretowalnością źle zrozumiały swoje najbardziej znane przykłady, a nie wyłącznie od znalezienia bardziej przejrzystych neuronów w nowszych modelach.

Ważnym przykładem jest neuron 4e:55 w InceptionV1, wczesnej sieci do klasyfikacji obrazów. Badacze zaobserwowali reakcje na twarze kotów i przednie części samochodów. To połączenie wydawało się arbitralne, przez co stało się zapadającym w pamięć przykładem polisemantyczności.

Polisemantyczność opisuje jednostkę reagującą na kilka pozornie niepowiązanych koncepcji. Superpozycja oferuje jedno wyjaśnienie: sieć reprezentuje więcej cech, niż ma dostępnych wymiarów, przez nakładanie ich reprezentacji. Rzadkie cechy mogą dzielić pojemność, jeśli rzadko wzajemnie sobie przeszkadzają.

Cammarata był współautorem badania nad obwodami z 2020 roku, które pomogło ukształtować tę interpretację. Ta historia nadaje jego zmianie stanowiska wyjątkową wagę. Ponownie analizuje dowody, które wpłynęły na jego własne wcześniejsze stanowisko.

Jego nowe odczytanie zaczyna się od struktury wizualnej. Twarze kotów i przednie części samochodów często zawierają porównywalną geometrię w kształcie litery V. Neuron może więc wykrywać użyteczną konfigurację, zamiast przechowywać dwie niepowiązane kategorie obiektów.

Różnica ta brzmi nieznacznie, lecz zmienia to, co reprezentuje neuron. Jednostka kota i samochodu sugeruje arbitralne upakowanie koncepcji. Detektor kształtu V sugeruje zwykłą generalizację wizualną między przykładami o wspólnej strukturze.

Cammarata stosuje podobną analizę wobec innego obwodu z wcześniejszej pracy. Obwód zdawał się rozprowadzać informacje o samochodach do kilku neuronów związanych z psami. Badacze zinterpretowali ten wzorzec jako informację ukrytą w wysokowymiarowej kombinacji.

Nowy esej argumentuje, że nic dalej nie odczytuje domniemanego ukrytego kodu. Cammarata traktuje teraz ten wzorzec jako zwykłą kompozycję i generalizację. Twierdzi, że nie znalazł innego opublikowanego obwodu w rzeczywistej sieci o oczekiwanej strukturze superpozycji.

Nie jest to matematyczne obalenie superpozycji. Brak drugiego udokumentowanego obwodu może wynikać z ograniczonych obserwacji. Osłabia jednak retoryczną siłę traktowania jednego wczesnego przykładu jako reprezentatywnego dla współczesnych sieci.

W argumentacji pojawia się także architektura. Ostatnia warstwa InceptionV1 wydawała się kiedyś szczególnie trudna do interpretacji. Cammarata przypisuje znaczną część tego zamieszania wąskim gardłom architektonicznym, przepełnieniu w późniejszych warstwach oraz metodom wizualizacji generującym mylące obrazy.

Ponownie wytrenował modele obrazu ConvNeXt z 92 000, 7,06 miliona i 28,6 miliona parametrów. Stanowi to zakres rozmiarów około 300 razy większy. Twierdzi, że modele pozostawały ogólnie czytelne w całym tym zakresie skali.

Esej podaje ponadto, że zwykłe ulepszenia architektury sprawiły, iż 99% do 100% neuronów ostatniej warstwy było łatwo interpretowalnych w zmienionej konfiguracji. Według Cammaraty rozmiar modelu i dane treningowe pozostawały stałe w kluczowym porównaniu.

Wynik ten wspiera inne ujęcie presji pojemnościowej. Przy mniejszej liczbie neuronów modele mogą uczyć się szerszych kategorii, takich jak jeden neuron obejmujący kilka rodzajów samochodów. Przy większej przestrzeni te szerokie kategorie mogą rozdzielać się na węższe specjalizacje.

Proces ten nie wymaga, by sieć ukrywała razem niepowiązane koncepcje. Przypomina taksonomię stającą się bardziej szczegółowa wraz ze wzrostem pojemności. Kategorie pozostają połączone przez swoją historię obliczeniową.

Cammarata nazywa ten proces rekurencyjną generalizacją. Neuron zaczyna od spójnej roli, a następnie zyskuje odgałęzienia połączone przez pisownię, kształt, kontekst albo funkcję obwodu. Pozorna mieszanina może więc mieć wewnętrzną genealogię.

Jeden przykład językowy zaczyna się od fragmentów znaków, które łączą się z powiązanymi końcówkami, a ostatecznie z nazwiskiem Miyazaki. Powierzchowna analiza mogłaby sklasyfikować jego aktywacje jako niepowiązane. Śledzenie warstw ujawnia uporządkowaną sekwencję coraz bardziej szczegółowego rozpoznawania.

Kluczowe odwrócenie ma zatem wymiar historyczny, a także techniczny. Przykłady, które odsunęły badaczy od neuronów, mogą teraz wspierać bezpośrednie badanie neuronów. Lepsza obserwacja zmienia interpretację bez zmiany wytrenowanej sieci.

Wyzwanie Nicka Cammaraty dla superpozycji częściowo utrzyma się lub upadnie wraz z tymi ponownymi analizami. Jeśli inni badacze je odtworzą, dziedzina będzie musiała ponownie rozważyć, co faktycznie pokazywały jej kanoniczne przykłady. Jeśli się nie potwierdzą, pierwotna ostrożność wobec neuronów pozostanie uzasadniona.

Wyzwanie Nicka Cammaraty dla superpozycji celuje w rzadkie autoenkodery

Główny spór dotyczy badania natywnych mechanizmów modelu w kontraście do rozkładania jego aktywacji na nowy słownik cech.

Badania nad superpozycją zyskały wpływ, ponieważ pojedyncze neurony często wydawały się niewiarygodne jako jednostki wyjaśnienia. Badacze odpowiedzieli na to rzadkimi autoenkoderami, czyli SAE. Te pomocnicze modele rekonstruują aktywność neuronową przy użyciu większego zbioru w większości nieaktywnych cech.

Podejście ma przekształcić gęstą aktywację w bardziej interpretowalną listę składowych. Jest ściśle związane z dowodami z modeli zabawkowych, pokazującymi, że sieci mogą reprezentować więcej rzadkich cech niż dostępnych wymiarów. Eksperymenty te oferują jasny mechanizm superpozycji w warunkach kontrolowanych.

Cammarata nie twierdzi, że modele zabawkowe są bezużyteczne. Jego zastrzeżenie dotyczy przenoszenia wniosków z uproszczonych ustawień do wytrenowanych sieci. Mechanizm pojawiający się w zaprojektowanym środowisku nie musi dominować we współczesnym modelu językowym.

Kwestionuje także, czy wyodrębniony słownik cech zachowuje natywną organizację modelu. Każda rekonstrukcja wymaga wyborów dotyczących rzadkości, liczby cech, danych treningowych i dopuszczalnego błędu. Powstałe cechy mogą być zrozumiałe, a mimo to odbiegać od pierwotnego obliczenia.

Obawa ta staje się poważniejsza, gdy badacze traktują rekonstrukcję jako główny obiekt badań. SAE może ujawniać użyteczne wzorce, a mimo to pomijać informacje potrzebne do dokładnego zachowania. Może też rozdzielać jeden natywny mechanizm na kilka wyuczonych cech.

Anthropic wykorzystał rzadkie reprezentacje do mapowania pojęć wewnątrz modeli językowych. Jego badania nad mapowaniem cech z 2024 roku zidentyfikowały wzorce związane z miejscami, ludźmi, kodem, uprzedzeniami i zachowaniami istotnymi dla bezpieczeństwa. Późniejsze prace nad obwodami łączyły wyodrębnione cechy między obliczeniami modelu.

Cammarata twierdzi, że porównywalne obwody można czasem odzyskać z natywnych neuronów Qwen3-32B. Jego przykłady śledzą informacje między grupami neuronów i mierzą zmiany po ich usunięciu. Przedstawia to jako dowód, że dekompozycja nie zawsze jest koniecznym pierwszym krokiem.

Spór nie sprowadza się po prostu do neuronów kontra cech. Obie strony wykorzystują przykłady aktywacji, interwencje przyczynowe, automatyczne etykietowanie i analizę obwodów. Prawdziwe pytanie dotyczy tego, której reprezentacji przyznaje się pierwszeństwo.

Badacz stawiający najpierw na dekompozycję traktuje natywne aktywacje jako splątane i szuka czystszej bazy. Cammarata uznaje natywny model za główny obiekt badań naukowych. Dodatkowych reprezentacji używałby dopiero wtedy, gdy bezpośrednie badanie wskaże konkretną potrzebę.

To rozróżnienie wpływa na podejście do błędów. Zrekonstruowany obwód może wymagać składników błędu dla zachowań, których jego zestaw cech nie obejmuje. Obwód oparty na natywnych neuronach unika strat rekonstrukcji, choć jego wyjaśnienie dla człowieka nadal może być niepełne lub błędne.

Wpływa ono także na skalowalność. Mapowanie milionów neuronów wydaje się zniechęcające, nawet przy automatyzacji. Rzadkie słowniki mogą jednak zawierać jeszcze więcej cech, a każda z nich wymaga etykietowania, oceny i powiązania z dalszym zachowaniem modelu.

Cammarata uważa agentów badawczych AI za czynnik zmieniający to równanie. Agenci mogą proponować etykiety neuronów, tworzyć testy, analizować grafy atrybucji i poprawiać nieudane wyjaśnienia. Badacze mogą wtedy skupić się na nietypowych mechanizmach i spornych przypadkach.

OpenAI badało pokrewny kierunek w 2023 roku, prosząc GPT-4 o wyjaśnianie neuronów GPT-2. Ich zautomatyzowane badanie neuronów generowało i oceniało wyjaśnienia w całym modelu. OpenAI podało, że większość wyjaśnień uzyskała niskie wyniki, szczególnie w większych modelach i późniejszych warstwach.

Cammarata interpretuje tę historię inaczej niż jako prostą opowieść o chaotycznych neuronach. Twierdzi, że wcześniejsze metody często prosiły symulator o przewidywanie dokładnych aktywacji. Taka ocena może karać wyjaśnienie za pominięcie słabych szczegółów, które mają niewielkie znaczenie dla głównej roli neuronu.

Uwaga wprowadza kolejną komplikację. Neuron powiązany z podmiotem może aktywować się przy znaku interpunkcyjnym, ponieważ głowica uwagi umieściła tam informacje kontekstowe. Symulator może uznać wyjaśnienie za niedokładne, nawet jeśli neuron pełni spójną funkcję w obwodzie.

Dlatego Cammarata preferuje kilka form dowodów. Należą do nich przykłady wysokiej aktywacji, wygenerowane kontrprzykłady, wagi wyjściowe, połączone neurony, punkty kontrolne treningu i interwencje. Żadna pojedyncza metryka nie rozstrzyga, czy wyjaśnienie jest poprawne.

Ten szerszy proces bardziej przypomina biologię eksperymentalną niż konstruowanie słowników. Badacze formułują hipotezę dotyczącą komponentu, zaburzają go, analizują połączone struktury i dopracowują opis. Cammarata twierdzi, że spójność wyłania się wraz z wypełnianiem otaczającej mapy.

Jego preferowaną analogią jest miasto, a nie węzeł. Miasto bez mapy może wyglądać chaotycznie, jednak jego dzielnice i drogi pełnią powiązane funkcje. Rozcinanie go na abstrakcyjne części mogłoby ukryć organizację, która czyni je zrozumiałym.

Rzadkie autoenkodery nie znikną, jeśli jego argumentacja zyska poparcie. Mogą nadal być użyteczne do przeszukiwania dużych przestrzeni aktywacji lub wyodrębniania pożądanego wzorca. Presja dotyczy twierdzeń, że badacze muszą rozplątać każdą sieć, zanim zbadają jej obliczenia.

Mocniejsza wersja wyzwania Nicka Cammaraty wobec superpozycji mówi, że sieć już wykonała znaczną część organizacji. Interpretowalność staje się wtedy problemem mapowania, a nie odzyskiwania struktury. To skierowałoby znaczne wysiłki badawcze ku natywnym obwodom.

Niezależny retest podważa nagłówkową liczbę

Pierwszy publiczny retest potwierdza pewną strukturę na poziomie neuronów, lecz nie odtwarza wyniku Goodfire na poziomie 90% przy bardziej rygorystycznych definicjach.

Niezależna grupa badawcza IRSI zbadała kilka twierdzeń z eseju wkrótce po jego publikacji. Jej wcześniej zarejestrowany retest oceniał podsumowania Goodfire, próbki neuronów Qwen3-32B, losowe kierunki i celowo wymieszane jednostki.

Trzy klasyfikatory AI przeanalizowały pisemne opisy Goodfire dotyczące 500 neuronów Qwen3-32B. Po zrównoważeniu wyników między ośmioma grupami warstw ich głos większościowy zaklasyfikował 78,3% opisanych biegunów jako mające jedno główne zadanie. Podany przedział 95% wynosił od 75,5% do 81,1%.

Wynik ten jest niższy od szacunku Goodfire wynoszącego około 90%, ale nie oznacza spadku niemal do zera. Sugeruje, że spójność semantyczna często występuje w zewnętrznym procesie klasyfikacji. Pokazuje również, że wynik istotnie się zmienia, gdy oceniający stosują inne kryteria.

Własny system etykietujący IRSI oparty na panelu kontrolnym przyniósł bardziej rygorystyczny wynik. Oznaczył od 57% do 65% losowo wybranych neuronów jako jednostki o jednym zadaniu. Ten sam system zaklasyfikował w ten sposób około 70% neuronów z wyselekcjonowanej galerii Goodfire.

Badacze ostrzegli, że ich narzędzie prawdopodobnie stosuje bardziej rygorystyczny standard niż Goodfire. Ich procedura błędnie klasyfikowała również około jedną piątą celowo umieszczonych mieszanin dwuzadaniowych jako jednostki o jednym zadaniu. Błędy te uniemożliwiają jasne rozstrzygnięcie, które oszacowanie jest bliższe rzeczywistości.

Porównanie z losowymi kierunkami przyniosło mieszane dowody. W większej próbce post hoc 65% losowych neuronów otrzymało etykiety jednego zadania, wobec 31% losowych kierunków. Ta różnica 34 punktów procentowych przekroczyła zaplanowany przez badaczy próg.

Jednak wcześniej zarejestrowana próbka zawierała jedynie 48 neuronów. Jej różnica 26 punktów procentowych nie osiągnęła progu 30 punktów. Większa próbka oferuje sugestywne poparcie, lecz nie stanowi wcześniej zarejestrowanego potwierdzenia.

Pozycja warstwy dodatkowo skomplikowała wynik. We wczesnych warstwach losowe neurony i losowe kierunki otrzymały podobne wskaźniki jednego zadania w jednej analizie post hoc. W innych częściach modelu rozróżnienie było wyraźniejsze.

Ustalenia te ujawniają trudność kryjącą się za każdym prostym odsetkiem interpretowalności. Badacze muszą zdecydować, które aktywacje się liczą, czy powiązane podfunkcje należą do jednej całości oraz czy ujemne i dodatnie bieguny zasługują na osobne etykiety. Każdy wybór wpływa na wynik.

Automatyczni oceniający wprowadzają kolejną niepewność. Duże modele językowe mogą tworzyć płynne wyjaśnienia dla zaszumionych wzorców. Mogą też odrzucać poprawne struktury, które nie pasują do znanych kategorii.

Zaślepienie było niepełne w części retestu. Jeden klasyfikator potrafił rozróżniać panele neuronów od paneli losowych kierunków z wynikiem pola pod krzywą bliskim 0,85. Niektóre systemy etykietujące AI widziały też prerejestrację, choć inne jej nie widziały.

Udostępniona przez Goodfire galeria rodzi odrębne pytanie o selekcję. Esej opisuje 1 000 losowo wybranych badań w dwóch modelach. Jednak zewnętrzni oceniający czytający podsumowania nie odtwarzają niezależnie całego procesu pomiarowego.

Audyt mierzy również bieguny neuronów, a nie pełne zrozumienie modelu. Model może zawierać indywidualnie spójne jednostki, a jednocześnie opierać się na interakcjach, które nadal trudno wyjaśnić. Uwaga, strumienie rezydualne, nieliniowe bramki i rozproszone obwody mogą tworzyć złożoność powyżej poziomu neuronu.

Czytelny komponent nie gwarantuje bezpiecznego systemu. Inżynierowie nadal muszą ustalić, które obwody mają znaczenie podczas konkretnej decyzji. Muszą określić, jak obwody te zmieniają się między promptami, językami, dostrajaniem i warunkami wdrożenia.

Wniosek o 90% neuronów również nie dowodzi, że oszustwo lub niebezpieczne planowanie pojawiłoby się pod oczywistą etykietą. Niebezpieczne zachowanie może wyłonić się poprzez zwykłe komponenty ułożone w nieznanym obwodzie. Czyste części mogą tworzyć nieprzejrzystą całość.

Cammarata przewiduje część tego zarzutu. Jego esej twierdzi, że neurony stają się łatwiejsze do interpretacji, gdy badacze analizują ich otaczający ekosystem. Połączenia, wzorce uwagi i interwencje przyczynowe ograniczają zbiór wiarygodnych wyjaśnień.

To program badawczy, a nie ukończona metoda zapewniania bezpieczeństwa. Potrzebuje ustandaryzowanych ocen, które nagradzają trafność przyczynową, a nie przekonujące opisy. Potrzebuje także testów obejmujących wiele rodzin modeli, architektur i reżimów treningowych.

Techniczny artykuł towarzyszący będzie istotny, ponieważ obecny esej obejmuje kilka poziomów argumentacji. Jego wyniki dotyczące wizji, przykłady językowe i teoria uczenia wzajemnie się wspierają. Nie tworzą jeszcze jednego benchmarku, który zewnętrzne zespoły mogą bezpośrednio odtworzyć.

Sceptyczne stanowisko powinno więc pozostać precyzyjne. Dowody nie uzasadniają odrzucenia eseju jako anegdotycznego. Nie uzasadniają też ogłaszania, że interpretowalność AI została rozwiązana.

Rozsądna interpretacja znajduje się między tymi biegunami. Natywne neurony wydają się bardziej ustrukturyzowane niż losowe kierunki w kilku testach. Dokładny udział neuronów o jednym zadaniu pozostaje wrażliwy na definicje, próbkowanie i metody oceny.

Rekursywna generalizacja oferuje inną teorię uczenia neuronowego

Głębsza propozycja zastępuje arbitralne upakowywanie cech rozwojowym opisem tego, jak powiązane role obliczeniowe rozwijają się wspólnie.

Superpozycja ujmuje pojemność przede wszystkim jako problem przechowywania. Sieć ma więcej użytecznych cech niż dostępnych wymiarów, więc nakłada na siebie rzadkie reprezentacje. Niskie wskaźniki kolizji pozwalają modelowi zachować więcej informacji niż prosty system jednej cechy na neuron.

Rekursywna generalizacja ujmuje problem poprzez dynamikę uczenia. Neurony rozwijają się pod wpływem gradientów generowanych przez powiązane przykłady i pobliskie obwody. Nowe role powstają tam, gdzie istniejąca aparatura zapewnia już użyteczny punkt wyjścia.

W tym ujęciu szeroki neuron samochodowy może wraz ze wzrostem pojemności podzielić się na wyspecjalizowane mechanizmy samochodowe. Neuron wzorca pisowni może rozwinąć gałęzie dla nazw lub słów współdzielących te same fragmenty. Role te mają możliwą do prześledzenia genealogię, a nie arbitralne zestawienie.

Cammarata twierdzi, że słabe, niepowiązane cechy napotykają trudną drogę. Muszą przetrwać zakłócenia ze strony gęstych słabych aktywacji, jednocześnie wnosząc niewielki wkład w stratę treningową. Powiązane rozszerzenia mogą natomiast ponownie wykorzystywać ustalone obwody i otrzymywać bardziej spójne wsparcie gradientowe.

Opisuje ten proces za pomocą pojęć takich jak wyścig obwodów i głodzenie gradientowe. Konkurujące mechanizmy ścigają się, aby zmniejszyć pozostały błąd. Gdy jedna ścieżka nauczy się funkcji, może pozbawić mniej efektywne alternatywy użytecznego gradientu.

Teoria ta generuje testowalne przewidywania. Rzadkie fakty powinny przebiegać przez obwody powiązane z ich tematem, a nie przez niepowiązane wymiary wybrane wyłącznie dlatego, że kolizje są mało prawdopodobne. Punkty kontrolne treningu powinny ujawniać gałęzie wyrastające z mechanizmów połączonych semantycznie lub funkcjonalnie.

Propozycja przewiduje również, że większe, lepiej wytrenowane modele mogą pod pewnymi względami stać się łatwiejsze do mapowania. Większa pojemność pozwala na węższe neurony, podczas gdy otaczające obwody dostarczają dodatkowego kontekstu interpretacyjnego. Skala zwiększa liczbę części, ale może zmniejszać niejednoznaczność każdej z nich.

Wniosek ten stoi w sprzeczności z powszechną intuicją. Większe modele wydają się trudniejsze do zrozumienia, ponieważ zawierają więcej parametrów. Cammarata oddziela ilość pracy od jej charakteru.

Duże miasto wymaga większej mapy niż wieś. Jego wyspecjalizowane dzielnice mogą być jednak łatwiejsze do zidentyfikowania niż ciasna osada, w której każdy budynek pełni kilka funkcji. Więcej komponentów nie musi koniecznie oznaczać większego splątania pojęciowego.

Współczesne architektury mogą przyczyniać się do tej organizacji. Cammarata wskazuje ulepszenia, które pomagają głębszym warstwom się uczyć i zapobiegają przepełnieniu późnych warstw. Zmiany te wprowadzono dla wydajności modeli, nie dla interpretowalności, lecz mogą one tworzyć czystszą wewnętrzną specjalizację.

Argument pozostaje niepełny w kwestii uwagi. Modele językowe zawierają znacznie mniej głowic uwagi niż neuronów w perceptronach wielowarstwowych. Każda głowica może uczestniczyć w szerokich wzorcach trasowania, co sprawia, że opis „jedna głowica, jedno zadanie” jest mniej prawdopodobny.

Strumienie rezydualne stanowią kolejne wyzwanie, ponieważ łączą wkład wielu komponentów. Spójny neuron może zapisywać informacje we wspólnej przestrzeni, w której oddziałuje na siebie kilka sygnałów. Zrozumienie natywnych neuronów nie eliminuje potrzeby badania tych połączonych reprezentacji.

Generalizacja rekurencyjna musi również odróżniać znaczące pochodzenie od retrospektywnego tworzenia narracji. Badacze często potrafią wymyślić związek między dwoma pojęciami po zobaczeniu ich razem. Mocne dowody wymagają przewidywań, testów na niewykorzystanych danych oraz interwencji przyczynowych.

Punkty kontrolne treningu oferują jedną z obiecujących dróg. Jeśli dwie funkcje rzeczywiście mają wspólną historię rozwoju, badacze powinni obserwować, jak z czasem formuje się ich rozgałęzienie. Sekwencja ta powinna powtarzać się między przebiegami treningu częściej, niż przewiduje to arbitralne wyjaśnienie.

Porównania między modelami oferują kolejny test. Podobne zadania trenowane przy różnych seedach powinny tworzyć powiązane motywy obliczeniowe, nawet gdy pojedyncze neurony nie są dokładnie wyrównane. Powtarzające się struktury wzmocniłyby twierdzenie, że uczenie organizuje mechanizmy w przewidywalny sposób.

Teoria potrzebuje także przypadków kontradyktoryjnych. Badacze powinni celowo szukać neuronów, których najsilniejsze funkcje po dokładnym zbadaniu pozostają niepowiązane. Takie niepowodzenia ujawniłyby granicę generalizacji rekurencyjnej i początek rzeczywistej superpozycji.

Cammarata stawia wymagające wyzwanie poglądowi przeciwnemu: należy znaleźć przekonujący obwód superpozycji wewnątrz rzeczywistej sieci. Taki obwód powinien łączyć niepowiązane funkcje i pokazywać, że dalsze mechanizmy odczytują połączoną reprezentację. Sama korelacja nie wystarczy.

Ten sam standard powinien obowiązywać tezę o czystej sieci. Przekonujące wyjaśnienie musi przewidywać aktywacje i interwencje wykraczające poza przykłady użyte do stworzenia jego etykiety. Powinno identyfikować istotne połączenia i przetrwać testy zaprojektowane tak, by je obalić.

Jeśli generalizacja rekurencyjna się potwierdzi, badacze zyskają więcej niż tylko czytelniejsze diagramy. Zyskają teorię łączącą interpretowalność z treningiem. To połączenie może pozwolić inżynierom monitorować powstawanie niepożądanych mechanizmów, zamiast jedynie badać gotowy model.

Może ono również umożliwić bardziej precyzyjne interwencje. Zespoły mogłyby zidentyfikować środowisko, wzorzec w zbiorze danych lub sygnał wzmocnienia, który zasila szkodliwy obwód. Następnie mogłyby dostosować to źródło bez konieczności ponownego trenowania każdego narzędzia interpretowalności.

Te możliwości pozostają konsekwencjami dalszego rzędu. Obecne dowody wspierają ukierunkowane eksperymenty, a nie zapewnienia dotyczące wdrożenia. Nabywcy korporacyjni i deweloperzy nie powinni traktować twierdzenia o czytelnych neuronach jako certyfikatu bezpieczeństwa.

Dla pracowników wiedzy bezpośrednie znaczenie jest pośrednie, lecz realne. Dostawcy modeli coraz częściej posługują się twierdzeniami o interpretowalności, aby wspierać zaufanie, audyt i zarządzanie. Kupujący muszą wiedzieć, czy te twierdzenia opisują korelacje, obwody przyczynowe czy kompleksowy zakres zachowań.

Wyzwanie Cammaraty dotyczące superpozycji wyostrza to rozróżnienie. Sugeruje, że natywna organizacja modelu zasługuje na ponowne zbadanie. Nie znosi jednak obowiązku testowania, co te mechanizmy faktycznie robią.

Trzy sygnały zdecydują, czy wyzwanie się utrzyma

Kolejny etap powinien przekształcić ambitną hipotezę roboczą w odtwarzalne pomiary, konkurencyjne wyjaśnienia i testy bezpieczeństwa na poziomie modeli.

Pierwszym sygnałem jest zapowiedziana praca techniczna o neuronach modeli językowych. Powinna dokumentować próbkowanie, progi, prompty dla zautomatyzowanych agentów, metody interwencji oraz przypadki niepowodzeń. Udostępnienie kodu i danych aktywacji pozwoliłoby niezależnym zespołom ponownie przeprowadzić analizę Qwen3-32B.

Wynik zbliżony do 90% w ramach kilku wcześniej określonych definicji wzmocniłby główną tezę. Duże różnice między rozsądnymi definicjami przesunęłyby uwagę z nagłówkowego odsetka ku węższemu ustaleniu, że natywne neurony przewyższają losowe kierunki.

Artykuł musi także wyjaśnić, jak Goodfire wybrał i ocenił 1 000 analiz neuronów. Losowe próbkowanie powinno być odtwarzalne między warstwami i gęstościami aktywacji. Bieguny negatywne i pozytywne wymagają spójnego traktowania.

Drugim sygnałem jest niezależna replikacja w różnych architekturach. Badacze powinni testować gęste modele językowe oraz modele mixture-of-experts, w tym modele trenowane przez różne organizacje. Same wyniki dotyczące wizji nie mogą rozstrzygnąć, jak obwody transformatorów reprezentują język i rozumowanie.

Replikacja powinna obejmować zarówno starsze, jak i nowsze modele. Jeśli ulepszenia architektury wyjaśniają czystsze neurony, różnica powinna pojawiać się systematycznie. Badacze powinni móc połączyć konkretne zmiany projektowe z mierzalnymi zyskami w interpretowalności.

Eksperymenty między modelami mogą również sprawdzić skalę. Cammarata zgłasza podobne wzorce w modelach osiągających biliony parametrów, w tym Kimi K3, a szczegóły odkłada na późniejsze prace. Potwierdzenie z zewnątrz pokazałoby, czy organizacja utrzymuje się poza jednym modelem Qwen.

Trzecim sygnałem jest bezpośrednia rywalizacja między wyjaśnieniami opartymi na natywnych neuronach a wyjaśnieniami stawiającymi na pierwszym miejscu dekompozycję. Oba podejścia powinny analizować te same zachowania przy użyciu tych samych niewykorzystanych promptów. Ewaluatorzy powinni porównywać wierność przyczynową, błąd rekonstrukcji, pokrycie oraz koszt badań.

Przydatny benchmark obejmowałby zwykłą wiedzę, przetwarzanie wielojęzyczne, długie rozumowanie, zachowanie odmowy oraz prompty kontradyktoryjne. Powinien nagradzać wyjaśnienia, które przewidują ukierunkowane interwencje. Sama wiarygodność języka naturalnego nie powinna rozstrzygać wyniku.

Natywne neurony zyskałyby wiarygodność, gdyby wyjaśniały obwody z mniejszym błędem i mniejszą liczbą dodatkowych założeń. Rzadkie reprezentacje zachowałyby przewagę, gdyby konsekwentnie ujawniały strukturę przyczynową, której analiza na poziomie neuronów nie dostrzega.

Badacze powinni również badać metody hybrydowe. Natywne neurony mogą definiować podstawową mapę, podczas gdy rzadkie cechy pomagają lokalizować nietypową aktywność w strumieniach rezydualnych. Dowody mogą wspierać podział pracy zamiast jednej uniwersalnej reprezentacji.

Ocena bezpieczeństwa pozostaje najtrudniejszym testem. Metoda musi wykrywać mechanizmy istotne podczas rzadkich lub kontradyktoryjnych zachowań, a nie tylko częste wzorce w korpusie. Czyste etykiety neuronów niewiele znaczą, jeśli krytyczne obwody pozostają niewidoczne w warunkach wdrożenia.

Publiczna dyskusja powinna unikać dwóch przedwczesnych wniosków. Pierwszy mówi, że szacunek 90% rozwiązał problem czarnej skrzynki. Drugi mówi, że niższy niezależny wynik czyni całą propozycję nieistotną.

Bardziej doniosła możliwość leży pomiędzy nimi. Badacze interpretowalności mogli nie doceniać wartości własnych neuronów modelu, a jednocześnie przeceniać potrzebę uniwersalnej dekompozycji. Skorygowanie tego uprzedzenia zmieniłoby eksperymenty, narzędzia i priorytety finansowania.

Osobista zmiana zdania Cammaraty nadaje debacie impet, lecz autorytet nie może jej rozstrzygnąć. Jego wcześniejsza rola w badaniach nad obwodami sprawia, że krytyka ma znaczenie historyczne. Odtwarzalne dowody przyczynowe muszą zdecydować, czy nowe ujęcie zwycięży.

Deweloperzy powinni obserwować w tej kolejności artykuł towarzyszący, replikacje między modelami oraz bezpośrednie benchmarki obwodów. Łącznie te sygnały mogą oddzielić przekonujący esej badawczy od trwałej zmiany w interpretowalności AI.

Pytanie praktyczne jest teraz jasne: czy niezależne zespoły mogą używać natywnych neuronów, by lepiej niż istniejące dekompozycje cech przewidywać i kontrolować zachowanie modeli? Jeśli tak, wyzwanie Cammaraty dotyczące superpozycji stanie się programem inżynieryjnym. Jeśli nie, spostrzeżenie o 90% neuronów pozostanie cennym ostrzeżeniem dotyczącym pomiaru, a nie nowym fundamentem bezpieczeństwa modeli.