Sakana AI informuje o postępach w rekurencyjnym samodoskonaleniu, lecz nadzór pozostaje ograniczeniem

Sakana AI zakończyło dwa cykle treningowe rekurencyjnego samodoskonalenia poprzez inteligencję zbiorową, raportując lepsze wyniki w zadaniach badawczych mimo wykorzystania jednego współdzielonego modelu. Nowa metoda Multi-Agent Self-Supervision, nazwana MASS, zamienia skoordynowaną pracę agentów w dane treningowe dla tego samego modelu. Rezultatem nie jest autonomiczna eksplozja inteligencji. To kontrolowany eksperyment sprawdzający, czy zespoły AI mogą tworzyć użyteczne lekcje dla wspólnego modelu bazowego.

Główny konflikt tkwi wewnątrz tej pętli. MASS zleca jednemu modelowi rozwiązywanie zadań, organizowanie agentów, ocenianie ich pracy i uczenie się na podstawie wybranych wyników. Taka konstrukcja zmniejsza zależność od silniejszych zewnętrznych nadzorców. Pozwala jednak, by jedno martwe pole wpływało na każdy etap.

Eksperyment rozpoczyna się od Qwen3.6-27B i koncentruje na otwartych zadaniach badawczych z zakresu finansów, robotyki i farmacji. Po dwóch rundach uzyskany model poprawia wyniki w kilku powiązanych benchmarkach badawczych. Wyniki nieznacznie spadają jednak w dwóch benchmarkach inżynierii oprogramowania, ujawniając istotną granicę tych rezultatów.

Ten mieszany wynik odróżnia MASS od szerszych twierdzeń o samodoskonalącej się AI. Sakana AI przedstawiło dowody, że zbiorowe trajektorie mogą skuteczniej trenować model w określonym środowisku badawczym. Nie wykazało, że rekurencyjne doskonalenie trwa bez końca, przenosi się na wszystkie dziedziny ani pozostaje bezpieczne bez niezależnego nadzoru.

MASS zamienia pracę zespołową w sygnał treningowy

Istotna zmiana polega na tym, że wieloagentowa koordynacja nie kończy się już wraz z wygenerowaniem odpowiedzi.

Większość systemów wieloagentowych używa wielu instancji modelu podczas inferencji. Orkiestrator dzieli zadanie, przydziela role, zbiera wyniki i składa końcową odpowiedź. Dodatkowa koordynacja może poprawić odpowiedź, lecz wagi modelu bazowego pozostają niezmienione.

MASS przenosi tę pracę do etapu po treningu. Jego agenci generują pełne trajektorie zawierające wiadomości, wywołania narzędzi, pośrednie artefakty i wyniki. System szereguje te trajektorie, wybiera najlepsze przykłady i dostraja na nich współdzielony model.

Badacze nazywają to wieloagentowym samonadzorowaniem. Ten sam model językowy działa jako wykonawca, optymalizator przepływu pracy i ewaluator. Każda rola korzysta z tych samych wag bazowych, choć odrębne instancje modelu mogą obsługiwać różne części wykonania.

To rozróżnienie ma znaczenie. System nie łączy kilku niezależnie wytrenowanych modeli o różnej wiedzy lub celach. Prosi kopie jednego modelu, by same się organizowały, a następnie destyluje ich wybrane zachowania z powrotem do wspólnych wag.

Proces obejmuje dwie połączone pętle. Pętla wewnętrzna poszukuje lepszego przepływu pracy przy niezmienionych wagach modelu. Pętla zewnętrzna trenuje model na trajektoriach utworzonych przez wybrany przepływ pracy.

Przepływ pracy to plan organizacji zespołu oparty na promptach. Określa role agentów, instrukcje, wymagane rezultaty oraz kolejność komunikacji. MASS może zmieniać ten plan bez modyfikowania modelu podczas wyszukiwania.

Dla każdego zadania treningowego system utrzymuje najlepszy przepływ pracy. Kandydacki zespół wykonuje zadanie, a model porównuje jego przestrzeń roboczą z wynikiem najlepszego przepływu. Optymalizator następnie wykorzystuje tę ocenę do rewizji przepływu pracy.

Po znalezieniu preferowanego przepływu pracy system uruchamia go 18 razy dla każdego zadania. Model szereguje powstałe przestrzenie robocze za pomocą porównań parami. Model Bradleya-Terry’ego przekształca te preferencje w wynik dla każdej przestrzeni roboczej.

MASS zachowuje do 16 trajektorii na zadanie. Piętnaście może dostarczać przykładów treningowych, a jedna jest zarezerwowana do walidacji. Tekst przepływu pracy jest usuwany z początkowego promptu treningowego orkiestratora przed dostrajaniem.

To usunięcie ma konkretny cel. Zachęca model do wnioskowania, jak należy organizować pracę, na podstawie samego zadania. Badacze nie uczą go jedynie powtarzania stałej struktury zespołu.

Pętla zewnętrzna wykorzystuje low-rank adaptation, czyli LoRA, które aktualizuje ograniczony zestaw parametrów modelu podczas dostrajania. Zarówno rozmowy orkiestratora, jak i podagentów stają się celami treningowymi. Zaktualizowany model następnie wraca jako wykonawca, optymalizator i ewaluator w kolejnym cyklu.

Artykuł MASS paper został zgłoszony 8 października 2026 roku i opisuje dwa pełne cykle. Sakana AI udostępniło również open implementation zawierającą prompty zadań, konfiguracje treningowe, narzędzia ewaluacyjne i dokumentację pipeline’u.

Publikacja sprawia, że główny eksperyment można przeanalizować. Zarazem wyjątkowo jasno określa jego zakres. MASS to pipeline badawczy oparty na wybranych zadaniach i kontrolowanych aktualizacjach modelu, a nie wdrożony system nieustannie przepisujący samego siebie.

Rekurencyjne samodoskonalenie poprzez inteligencję zbiorową przynosi nierówne korzyści

MASS poprawia wyniki przede wszystkim tam, gdzie zadania ewaluacyjne przypominają pracę badawczą, z której powstały jego dane treningowe.

Eksperyment rozpoczyna się od Qwen3.6-27B w środowisku agenta programistycznego. Jego syntetyczny zestaw obejmuje 12 zadań badawczych z zakresu finansów, robotyki i farmacji. Każde zadanie wymaga kodu, analizy ilościowej i raportu pisemnego.

Dziewięć zadań wyznaczono do treningu, choć ostatecznie dane treningowe dostarczyło osiem. Trzy zadania, po jednym z każdej dziedziny, wyłączono z dostrajania, walidacji i wyboru checkpointu.

Zewnętrzni sędziowie mierzyli postępy bez udziału w pętli treningowej MASS. Sakana AI podaje, że GPT-5.5 i Claude Opus 4.8 porównywały ukończone przestrzenie robocze. Ich oceny zapewniły zewnętrzną ewaluację procesu, którym poza tym kierował model Qwen.

W trzech wyłączonych syntetycznych zadaniach model z pierwszej rundy wygrał 53,9 procent porównań z modelem bazowym. Model z drugiej rundy osiągnął 69,9 procent. Wygrał też 60,8 procent porównań z modelem z pierwszej rundy.

Wyniki zadań treningowych były lepsze. Model z pierwszej rundy odnotował 65,6-procentowy wskaźnik wygranych względem modelu bazowego, natomiast druga runda osiągnęła 82,5 procent. Różnica między wynikami treningowymi a wynikami na danych wyłączonych jest oczekiwana, ale nadal istotna.

Publiczne benchmarki zapewniają szerszy test. Sakana AI informuje, że model z drugiej rundy osiągnął od 1,2 do 1,6 raza wynik modelu bazowego na token wyjściowy. Te zyski pojawiły się w MLR-Bench, DSBench, ScienceAgentBench i AstaBench E2E-Hard.

Wyniki bazowe przedstawiają bardziej szczegółową historię. MLR-Bench wzrósł z 1,71 dla modelu bazowego do 2,25 po dwóch cyklach. Wskaźnik dostarczania artykułów wzrósł z 57 procent do 76 procent.

ScienceAgentBench poprawił się z 28,8 procent do 31,7 procent. AstaBench wzrósł z 0,053 do 0,067, a jego wskaźnik dostarczania raportów zwiększył się z 50 procent do 76 procent.

DSBench zmienił się tylko nieznacznie, z 0,473 do 0,482. Ta niewielka zmiana bezwzględna przekłada się na silniejszy współczynnik wyniku na token, ponieważ obliczenie efektywności uwzględnia również długość wyjścia.

Dwa benchmarki inżynierii oprogramowania odnotowały spadki. Terminal-Bench 2.0 obniżył się z 0,375 do 0,352. SWE-bench Verified spadł z 0,626 do 0,611.

Ich współczynniki wyniku na token osiągnęły 0,96 i 0,94 wyniku modelu bazowego. Te spadki bezpośrednio podważają twierdzenie, że MASS stworzył ogólnie silniejszy model.

Prawdopodobnym wyjaśnieniem jest zgodność zadań. Zestaw treningowy kładzie nacisk na otwarte badania obejmujące kod, dowody i raporty. Nie zawiera zadań inżynierii oprogramowania przypominających debugowanie repozytoriów lub operacje terminalowe.

Sakana AI sugeruje, że dodanie zadań inżynierii oprogramowania może wypełnić tę lukę. Pozostaje to hipotezą, dopóki nie przetestuje jej kolejny cykl. Rozszerzenie zestawu zadań może także powodować interferencję między zdolnościami, zamiast równomiernie je poprawiać.

Konstrukcja publicznych benchmarków dodaje kolejne zastrzeżenie. MASS raportuje efektywność jako wynik na token wyjściowy, co jest użyteczne przy ocenie produktywnego rozumowania. Nie uwzględnia jednak wszystkich kosztów potrzebnych do uzyskania tych ulepszonych wyników.

Wyszukiwanie przepływu pracy, powtarzane wykonania, porównania modeli, generowanie danych i ewaluacja zużywają zasoby obliczeniowe. Raportowane łączne liczby tokenów nadzorowanych nie obejmują także tokenów wejściowych ani kilku kosztów wcześniejszych etapów.

Wynik jest znaczący, lecz węższy, niż sugeruje prosty nagłówek o efektywności. MASS wydaje się tworzyć gęstsze przykłady treningowe. To, czy obniża całkowity koszt rozwoju, wymaga pełnego rozliczenia pipeline’u wyszukiwania i selekcji.

Rzeczywistym mechanizmem jest przepływ informacji, a nie większa liczba person agentów

Korzyści z MASS wydają się wynikać z przebudowy wymiany informacji, a nie z przypisywania wielu agentom teatralnych tożsamości.

Systemy wieloagentowe często zaczynają od ról takich jak badacz, krytyk, inżynier czy redaktor. Etykiety te pomagają podzielić pracę, ale mogą pozostać ogólne. Rola nazwana „uważnym analitykiem” niesie niewiele informacji specyficznych dla zadania.

MASS przeszukuje cztery komponenty przepływu pracy: role, instrukcje, kontrakty i przejścia. Kontrakt definiuje, jakie dowody lub artefakty agent musi zwrócić. Przejście określa, kiedy informacja przemieszcza się między agentami lub wraca do wcześniejszego etapu.

W jednym przepływie pracy dotyczącym finansów oddzielni agenci zajmują się przygotowaniem danych, tworzeniem cech, modelowaniem, backtestingiem, audytem, uzgadnianiem i raportowaniem. Agent danych musi zgłosić, czy informacje z przyszłości przedostały się do decyzji historycznych.

Ten kontrakt odnosi się do konkretnego trybu błędu. Backtest finansowy może wyglądać na udany, gdy model przypadkowo wykorzystuje przyszłe dane. Wymaganie wyraźnych kontroli daje późniejszym agentom dowody, które mogą sprawdzić przed zaakceptowaniem wyniku.

Sakana AI przeanalizowało, jak komponenty przepływu pracy zmieniały się podczas wyszukiwania. Stwierdziło, że informacje o zadaniu coraz silniej koncentrowały się w kontraktach i kolejności komunikacji. Role oraz ogólne instrukcje z czasem niosły mniej tych informacji.

Próba stojąca za tą analizą jest niewielka i obejmuje osiem lub dziewięć zadań, zależnie od porównania. Jej oszacowania wzajemnej informacji opisują tekst przepływu pracy, a nie każdą wiadomość wymienianą podczas wykonania. Wzorzec należy więc traktować jako wskazówkę badawczą.

Nawet przy tym ograniczeniu oferuje on użyteczny opis Sakana AI MASS. System poprawia się, odkrywając, co każdy agent musi ustalić, co musi przekazać dalej oraz kiedy inny agent powinien to sprawdzić.

Wcześniejsze badania nad multiagent debate wykazały, że instancje modelu mogą poprawiać rozumowanie przez wymianę odpowiedzi i krytyk. MASS rozszerza tę ideę z tymczasowego zachowania podczas inferencji na trening nadzorowany.

Metoda trenuje również dwie różne formy zachowania. Trajektorie orkiestratora pokazują, jak rozkładać szeroką pracę na części i koordynować specjalistów. Trajektorie podagentów pokazują, jak wykonywać ograniczone zadania z jasnymi wymaganiami dotyczącymi wyników.

To połączenie wydaje się gęstsze niż trening na długich śladach pojedynczego agenta. W porównaniu Sakana AI jeden wieloagentowy student osiągnął 68,3-procentowy wskaźnik wygranych po przetworzeniu 28,8 miliona nadzorowanych tokenów.

Największy student jednoagentowy osiągnął 64 procent po przetworzeniu 42 milionów tokenów. Według tej miary model wieloagentowy uzyskał wyższy wynik przy użyciu o 31 procent mniej nadzorowanych tokenów.

Porównanie nie wyodrębnia delegowania jako jedynej przyczyny. Grupy korzystały z różnych przepływów pracy i instrukcji weryfikacyjnych. Wykonania zespołowe generowały też średnio około 2,4 raza więcej tokenów, zanim wybrano przykłady treningowe.

Sędziowie zewnętrzni preferowali pracę wieloagentową w 85,1 procent porównań z wynikami pojedynczego agenta. Wśród dziesięciu par o podobnej długości śladów wykonania wyniki zespołowe nadal wygrywały w 80 procentach porównań.

Wyniki te sugerują, że jakość selekcji ma znaczenie obok struktury zespołu. MASS nie uczy się z każdej wymiany między agentami. Tworzy wielu kandydatów, pozwala modelowi ich uszeregować, a następnie trenuje na preferowanym podzbiorze.

Mechanizm przypomina filtr, który przekształca kosztowną pracę zbiorową w skoncentrowane lekcje. Wymienia dodatkowe koszty wyszukiwania i oceny na lepsze przykłady nadzorowane.

Ten kompromis ma praktyczne konsekwencje dla deweloperów. Użyteczny zespół AI potrzebuje czegoś więcej niż kilku kopii tego samego promptu. Potrzebuje jasno określonych zasad dotyczących dowodów, etapów przeglądu oraz reguł przepływu informacji powiązanych z zadaniem.

Ta sama zasada obowiązuje, gdy ludzie koordynują badania wspomagane przez AI. Przeszukiwalna baza wiedzy pomaga tylko wtedy, gdy współtwórcy zachowują dowody, kontekst i decyzje w formach, które inni mogą zweryfikować.

MASS automatyzuje część tego projektu organizacyjnego. Jego głębsza teza głosi, że sama koordynacja może stać się wyuczoną zdolnością. Model nie tylko wykonuje lepszą pracę dzięki tymczasowemu zespołowi. Przyswaja wzorce skutecznego zachowania zespołu.

Jeden model nadal sprawdza własną pracę domową

Największa siła wieloagentowego samonadzoru jest zarazem jego największym nierozwiązanym ryzykiem.

MASS wykorzystuje jeden współdzielony model jako wykonawcę zadań, optymalizatora przepływu pracy i ewaluatora działającego w pętli. Ta jednorodna konstrukcja sprawdza, czy model może się poprawiać bez stałego polegania na silniejszym nauczycielu.

Tworzy ona również skorelowane błędy. Jeśli model błędnie rozumie zadanie, każdy agent może powtórzyć to samo nieporozumienie. Ewaluator może następnie nagrodzić ten sam błąd, który popełnił wykonawca.

Powtarzane cykle podnoszą stawkę. Wadliwa trajektoria może zostać uznana za lepszą, wybrana do treningu i włączona do kolejnego modelu. Zaktualizowany ewaluator może zyskać większą pewność co do wspólnego błędu.

Sakana AI otwarcie wskazuje współdzielone martwe punkty jako centralny problem bezpieczeństwa. Jego przegląd projektu argumentuje, że samoocena musi pozostać otwarta na korektę wraz ze wzrostem możliwości.

Sędziowie zewnętrzni pomagają mierzyć ten eksperyment, lecz nie rozwiązują problemu wdrożeniowego. GPT-5.5 i Claude Opus 4.8 pozostawały poza sygnałem treningowym. Ich dostępność zapewniła więc kontrolę, której prawdziwie autonomicznej pętli mogłoby brakować.

MASS podaje, że zgodność z tymi zewnętrznymi sędziami wzrosła z 73 procent do 93 procent na przestrzeni trzech generacji modeli. To dowód, że wewnętrzny ewaluator stał się bardziej zgodny z silniejszymi sędziami w tych zadaniach.

Zgodność nie jest równoznaczna z poprawnością. Dwaj ewaluatorzy mogą dzielić założenia, nagradzać dopracowane, lecz wadliwe raporty albo przeoczać błędy wymagające eksperymentów w świecie rzeczywistym. W otwartych badaniach rozróżnienie to jest szczególnie ważne.

Zestaw benchmarków jest także niewielki w porównaniu z zakresem sugerowanym przez rekurencyjne samodoskonalenie. Po treningu wyłączono tylko trzy syntetyczne zadania. Dwa pełne cykle dostarczają dowodów na iterację, ale nie na nieograniczony rekurencyjny postęp.

Sceptycyzm społeczności skupiał się na tej luce. Niektórzy komentatorzy Hacker News twierdzili, że praca bardziej przypomina ulepszoną koordynację agentów niż nieograniczone rekurencyjne samodoskonalenie. Inni pytali, dlaczego pozornie rekurencyjny proces zakończył się po dwóch rundach.

Krytyka ta wskazuje na rzeczywisty problem nazewnictwa. Ścisłe rekurencyjne samodoskonalenie często zakłada system, który autonomicznie zmienia mechanizmy odpowiedzialne za tworzenie swoich następców. MASS zamiast tego przeplata zaprojektowane przez ludzi wyszukiwanie przepływów pracy z dostrajaniem nadzorowanym w ramach stałego eksperymentalnego pipeline’u.

Model wpływa na przepływy pracy, dane treningowe i decyzje ewaluacyjne. Ludzie nadal definiują architekturę, zestaw zadań, metodę optymalizacji, protokół benchmarków i granice cykli. Zapewniają też infrastrukturę obliczeniową.

Nazywanie MASS rekurencyjnym jest uzasadnione, ponieważ każdy zaktualizowany model pomaga generować i wybierać dane treningowe dla następnego modelu. Nazywanie go otwartym samodoskonaleniem zawyżałoby jednak to, co potwierdza eksperyment.

Jakość optymalizatora stanowi kolejne ograniczenie. Sakana AI testowało konfiguracje, które wprowadzały GPT-5.5 do pętli wyszukiwania przepływu pracy, przy zachowaniu bazowego modelu Qwen jako wykonawcy.

Wykorzystanie GPT-5.5 wyłącznie jako ewaluatora przyniosło ograniczoną poprawę. Użycie go zarówno jako ewaluatora, jak i optymalizatora pozwoliło znaleźć zwycięskie przepływy pracy dla wszystkich 12 zadań w ciągu pięciu iteracji wyszukiwania.

W pełni jednorodna pętla ostatecznie znalazła zwycięskie przepływy pracy dla 11 z 12 zadań, lecz potrzebowała do tego aż 13 iteracji. Sakana AI interpretuje to jako dowód, że optymalizator może stać się większym wąskim gardłem niż ewaluator.

Dobra krytyka jest bezużyteczna, jeśli optymalizator nie potrafi przekształcić jej w lepszy proces. Wynik ten przenosi uwagę z dokładności oceniania na zdolność modelu do zmieniania złożonych przepływów pracy.

Stabilność wyszukiwania pozostaje słaba. Wyniki Sakana AI dotyczące przepływów pracy wahają się, a po silnych iteracjach następują gwałtowne regresje. Osiągnięcie dobrego przepływu pracy nie gwarantuje, że kolejna poprawka go zachowa.

Te ograniczenia czynią wynik bardziej interesującym, a nie mniej. MASS ujawnia, gdzie jednorodna pętla doskonalenia zawodzi pod obserwacją. Dostarcza pomiarów transferu, zgodności sędziów, siły optymalizatora i niestabilności przepływów pracy.

Zbiorowa inteligencja nie usuwa problemu nadzoru

Zespół identycznych modeli może poszerzyć zakres poszukiwań, ale nie może zagwarantować niezależnego osądu.

Zbiorowa inteligencja zwykle czerpie siłę z różnic między uczestnikami. Ludzkie zespoły wnoszą odrębne doświadczenia, bodźce, wiedzę specjalistyczną i role instytucjonalne. Różnice te mogą ujawniać błędy, których jedna osoba by nie dostrzegła.

MASS wykorzystuje wiele instancji jednego współdzielonego modelu. Losowe próbkowanie i wyspecjalizowane przydziały zadań tworzą zróżnicowanie zachowań, lecz każdy agent dziedziczy te same wagi i dużą część tej samej historii treningu.

Taka architektura wciąż może wytwarzać użyteczną różnorodność. Oddzielni agenci badają różne podejścia, pracują z różnymi pośrednimi dowodami i wzajemnie się krytykują. Ich niezgoda nie dowodzi jednak rzeczywistej niezależności.

Problem staje się wyraźniejszy w zadaniach nieweryfikowalnych. Sakana AI używa tego terminu dla pracy pozbawionej automatycznego, opartego na regułach sygnału sukcesu. Raport badawczy może być spójny i dobrze udokumentowany, a mimo to zawierać niezauważony błąd pojęciowy.

Ewaluator będący modelem może preferować wyniki odpowiadające jego własnemu stylowi lub nawykom rozumowania. Trening na takich wyborach może wzmacniać preferencje ewaluatora bez wzmacniania kontaktu z rzeczywistością.

To szerszy problem skalowalnego nadzoru. Gdy agenci wykonują pracę, którą ludziom trudno ocenić, deweloperzy potrzebują słabszych nadzorców do monitorowania silniejszych systemów. Bardziej zdolni sędziowie-modeli pomagają, ale jednocześnie oddalają władzę ewaluacyjną od ludzi.

Badania OpenAI dotyczące monitorowalności wskazują, że ślady rozumowania mogą ujawniać więcej o zachowaniu agenta niż same działania i końcowe odpowiedzi. Opisują także monitorowalność jako niepełną i zależną zarówno od agenta, jak i monitora.

Ma to znaczenie dla MASS, ponieważ jego przykłady treningowe zawierają bogate trajektorie. Wiadomości, wywołania narzędzi i artefakty pośrednie tworzą więcej możliwości inspekcji. Tworzą też większą powierzchnię, na której mogą ukryć się subtelne błędy.

Bezpośrednia optymalizacja widocznego rozumowania może wprowadzać kolejne zagrożenie. Model może nauczyć się, które wyjaśnienia zyskują akceptację, bez zmiany zachowania, które doprowadziło do porażki. Nadzór nagradza wtedy zrozumiałą racjonalizację zamiast rzetelnej pracy.

Sakana AI nie twierdzi, że rozwiązało ten problem. Jego artykuł ostrzega, że ta sama słabość może zagrozić zarówno zachowaniu modelu, jak i mechanizmowi mającemu je korygować.

Niezależne kontrole pozostają zatem konieczne. Mogą one obejmować modele zewnętrzne, ekspertów-ludzi, wykonywalne testy, zaufane pipeline’y danych, oceny adwersarialne i opóźnioną walidację w świecie rzeczywistym.

Żadna pojedyncza kontrola nie obejmuje wszystkich rodzajów błędów. Kod może się uruchamiać, mimo że realizuje niewłaściwy cel. Raport może cytować prawdziwe dowody, pomijając wyniki sprzeczne. Kilka modeli może się zgadzać, ponieważ współdzielą uprzedzenia treningowe.

Najsilniejszym krótkoterminowym zastosowaniem MASS mogą być ograniczone badania z weryfikowalnymi etapami pośrednimi. Pipeline’y finansowe mogą testować chronologiczne podziały danych. Eksperymenty robotyczne mogą sprawdzać wyniki symulacji. Analizy farmaceutyczne mogą egzekwować zasady dotyczące danych i obliczeń.

Im bardziej subiektywny staje się cel końcowy, tym słabszym sygnałem staje się samoocena jako jedyna podstawa oceny. Strategia, nowość naukowa, porady dotyczące polityki publicznej i analiza bezpieczeństwa zależą od wartości lub dowodów, których konsensus modeli nie jest w stanie rozstrzygnąć.

Dyskusja Anthropic o rekurencyjnym samodoskonaleniu podobnie umieszcza nadzór, walidację i weryfikację w centrum przyszłego rozwoju AI. Wspólna presja jest wyraźna, nawet jeśli podejścia techniczne się różnią.

Jeśli AI wnosi większą część pracy potrzebnej do ulepszania AI, nadzór nie może pozostawać sprawą drugorzędną. Systemy oceny muszą rozwijać się wraz z systemami zdolności. MASS dostarcza użytecznego środowiska testowego do badania tego wyścigu.

Kolejne trzy sygnały zdecydują, co MASS faktycznie udowadnia

Następna faza musi testować trwałość, transfer i korektę, zamiast powtarzać najsilniejszy wynik nagłówkowy.

Pierwszym sygnałem jest to, czy poprawa przetrwa dodatkowe cykle. Dwie rundy ustanawiają powtarzalność, ale nie potwierdzają trwałego rekurencyjnego samodoskonalenia poprzez zbiorową inteligencję.

Trzeci i czwarty cykl powinny zmierzyć, czy zyski się utrzymują, osiągają plateau czy odwracają. Badacze powinni również raportować, jak zmieniają się koszty wyszukiwania przepływów pracy wraz z poprawą modelu.

Dalsze zyski przy stabilnej ocenie zewnętrznej wzmocniłyby rekurencyjną tezę. Plateau sugerowałoby, że model wyczerpuje dostępne lekcje w obrębie swojego rozkładu zadań. Regresja mogłaby ujawnić nagromadzony błąd sędziego lub interferencję treningową.

Drugim sygnałem jest transfer do dziedzin wyłączonych z pierwotnego zestawu badań. Spadki w Terminal-Bench 2.0 i SWE-bench Verified stanowią wymagający punkt odniesienia.

Dodanie zadań z inżynierii oprogramowania powinno poprawić te benchmarki, jeśli metoda uczy się przenośnej koordynacji. Jeśli zyski pojawią się dopiero po bezpośrednim treningu specyficznym dla danej dziedziny, MASS będzie wyglądał bardziej jak efektywna metoda specjalizacji.

To nadal byłoby wartościowe. Po prostu zawęziłoby twierdzenie z szerokiego samodoskonalenia do lepszego dostrajania po treningu zależnego od zadania.

Przekonujący test transferu powinien także zachować wyniki w finansach, robotyce i farmacji. W przeciwnym razie nowe zdolności mogą zastępować stare, zamiast się z nimi kumulować.

Trzecim sygnałem jest to, czy system potrafi wykryć i odwrócić współdzielony martwy punkt. Badacze mogliby wprowadzić ukryte pułapki ewaluacyjne, sprzeczne dowody lub zadania, w których dopracowany konsensus prowadzi do błędnego wniosku.

Sukces wymagałby czegoś więcej niż wychwycenia błędu przez zewnętrznych sędziów. Jednorodna pętla powinna zidentyfikować problem, zmienić swój przepływ pracy i uniknąć treningu na wadliwych trajektoriach.

Test ten połączyłby twierdzenia dotyczące zdolności z kontrolą. Pokazałby, czy zbiorowa inteligencja może wytwarzać presję korygującą, gdy wszyscy agenci wychodzą z podobnych założeń.

Organizacje oceniające Sakana AI MASS powinny skupić się na tych sygnałach, zanim potraktują go jako ogólną receptę. Obecne wyniki uzasadniają eksperymenty z ograniczonymi przepływami pracy badawczej, opartymi na bogatych dowodach. Nie uzasadniają usuwania ludzkiego przeglądu z decyzji o istotnych konsekwencjach.

Szersza lekcja jest już widoczna. Lepsze zespoły agentów mogą generować lepsze dane treningowe, a te wnioski mogą trafiać do wag modeli. Jednak każdy postęp zależy od tego, co zespół uznaje za sukces.

Rekurencyjne samodoskonalenie poprzez zbiorową inteligencję staje się godne zaufania dopiero wtedy, gdy pętla potrafi rozpoznawać własne wspólne błędy. Jakich niezależnych mechanizmów weryfikacji wymagałaby Twoja organizacja, zanim pozwoliłaby takiemu systemowi wybierać dowody wykorzystywane w kolejnym cyklu szkolenia?