Claude Opus 4.6 traci 65 punktów, gdy zadania MineExplorer stają się bardziej złożone

Claude Opus 4.6 od Anthropic prowadził w MineExplorer, jednak jego wskaźnik sukcesu spadł z 77% w zadaniach jednokrokowych do 12% w zadaniach czterokrokowych. Według wyników opublikowanych przez zespół LongCat firmy Meituan model ukończył zaledwie 41% całego benchmarku.

To załamanie jest sednem historii Anthropic MineExplorer. Claude radził sobie dobrze, gdy cel wymagał jednego bezpośredniego kroku. Miał trudności, gdy powodzenie zależało od odkrycia i skoordynowania kilku niewyrażonych wprost warunków w zmieniającym się świecie.

MineExplorer mierzy tę lukę za pomocą 813 zweryfikowanych przez ludzi scenariuszy Minecraft, trwających do trzech minut. Testuje 18 modeli multimodalnych z ośmiu rodzin modeli, w tym systemy Claude, GPT i Gemini. Autorzy benchmarku udostępnili jego kod, zbiór danych, proces generowania zadań oraz środowisko ewaluacyjne.

Wynik podważa powszechne założenie dotyczące agentów multimodalnych. Rozpoznanie zagrożenia, obiektu lub zasobu nie oznacza, że model potrafi utrzymać użyteczny plan, gdy środowisko się zmienia. MineExplorer zamienia tę różnicę w mierzalną krzywą porażek.

Wcześniejsze benchmarki Minecraft badały planowanie, wykonywanie instrukcji, budowanie lub znajomość gry. MineExplorer usuwa natomiast wiele zadań silnie zależnych od reguł specyficznych dla Minecraft. Jego deklarowany cel jest szerszy: eksploracja łącząca percepcję, rozumowanie i działanie w trakcie dłuższej sekwencji.

Benchmark pozostaje preprintem, a Minecraft nie może reprezentować każdego środowiska fizycznego. Mimo to ustalenia wywierają natychmiastową presję na twierdzenia, że lepsza wizja i dłuższy kontekst automatycznie tworzą niezawodnych autonomicznych agentów.

MineExplorer zamienia trzy minuty w poważny test agenta

MineExplorer przesuwa cel ewaluacji z rozpoznawania sceny na przetrwanie sekwencji wzajemnie zależnych decyzji.

Zespół LongCat przedstawił MineExplorer w preprincie z maja 2026 roku. Druga wersja pojawiła się 12 czerwca, a zespół techniczny Meituan opublikował w lipcu szczegółowe podsumowanie wyników.

Każdy epizod może trwać 1800 kroków środowiska. Jeden krok odpowiada 0,1 sekundy, co daje trzy minuty ciągłej interakcji. Świat aktualizuje się po każdej akcji, więc model musi wielokrotnie ponownie oceniać to, co widzi, oraz to, co powinien zrobić dalej.

Według ludzkich standardów taki czas brzmi krótko. Jest jednak długi dla agenta, który musi obserwować obrazy, utrzymywać stan, wybierać akcje i naprawiać błędy przez setki interakcji.

Zadania podzielono według liczby kroków. Zadanie jednokrokowe przedstawia cel, który nie wymaga od agenta wywnioskowania niewyrażonego wprost podzadania. Scenariusze od dwu- do czterokrokowych dodają ukryte warunki wstępne, które trzeba odkryć poprzez interakcję ze środowiskiem.

Wyobraźmy sobie agenta, któremu polecono dotrzeć do chronionej lokalizacji. Bezpośrednia trasa może być zablokowana, wymagane narzędzie może znajdować się gdzie indziej, a wrogie istoty mogą ograniczać ruch. Instrukcja wskazuje cel podróży, ale nie wszystkie działania potrzebne, by go osiągnąć.

MineExplorer reprezentuje każde złożone zadanie za pomocą stanu początkowego, instrukcji w języku naturalnym, grafu zależności i kamieni milowych opartych na regułach. Graf zależności rejestruje ukrytą strukturę zadania. Model nigdy nie otrzymuje kompletnego grafu.

Kamienie milowe pozwalają ewaluatorowi mierzyć częściowy postęp bez proszenia kolejnego modelu językowego o ocenę całej sekwencji. Kamień milowy może wykrywać, czy agent znalazł obiekt, wszedł do obszaru lub wykonał wymagane działanie pośrednie.

Autorzy porównali te zautomatyzowane wyniki z ocenami ludzi dotyczącymi sekwencji Claude Opus 4.6. Zestawy ukończonych kamieni milowych otrzymały średnie oceny ludzi bliskie czterem w pięciostopniowej skali. Zestawy zakończone całkowitym niepowodzeniem pozostawały poniżej trzech.

Ta zgodność nie czyni ewaluatora doskonałym. Dostarcza jednak dowodu, że ukończenie kamieni milowych odzwierciedla znaczący postęp, a nie arbitralne zdarzenia w grze.

Zespół próbował także oddzielić eksplorację od zapamiętanej wiedzy eksperckiej o Minecraft. Kandydackie zadania atomowe sprawdzano pod kątem zależności od konwencji specyficznych dla gry. Zadania zdominowane przez specjalistyczną wiedzę usuwano.

Ta decyzja projektowa ma znaczenie, ponieważ agent może nie wykonać celu w Minecraft z dwóch bardzo różnych powodów. Może nie znać przepisu z wiki gry albo nie potrafić połączyć widocznych dowodów z wykonalnym planem.

MineExplorer stara się podkreślać drugi problem. Jego 14 kategorii zdolności obejmuje percepcję, rozumowanie i działanie. Należą do nich percepcja przestrzenna i czasowa, śledzenie obiektów, świadomość zasobów, rozumowanie przyczynowe, ruch, zbieranie, umieszczanie, tworzenie przedmiotów i walka.

813 udostępnionych przykładów obejmuje zależności od jedno- do czterokrokowych. Otwarty zbiór danych zawiera treść zadań, polecenia konfiguracji scen, wybrane zadania atomowe, kamienie milowe, grafy zależności i notatki projektowe.

To więcej niż statyczny zestaw pytań. Badacze mogą sprawdzać, jak zbudowano sceny, ponownie uruchamiać ewaluacje, tworzyć trudniejsze warianty lub wykorzystywać środowisko do treningu.

Ta otwartość daje benchmarkowi szansę wpłynąć na rozwój agentów. Ułatwia też kwestionowanie jego założeń, co jest ważne w przypadku benchmarku formułującego szerokie twierdzenia o eksploracji.

Dlaczego prowadzenie Anthropic w MineExplorer nadal jest ostrzeżeniem

Claude Opus 4.6 wygrał porównanie, ale jego przewaga pokazuje, jak daleko wszystkim testowanym modelom do niezawodnego zachowania w długim horyzoncie.

Benchmark ocenił 18 zaawansowanych modeli multimodalnych z ośmiu rodzin. Claude Opus 4.6 osiągnął najwyższy ogólny wskaźnik sukcesu zadań, wynoszący 41%.

Wynik 41% może wyglądać przyzwoicie, jeśli patrzeć wyłącznie na pozycję w rankingu. Wygląda znacznie słabiej po rozdzieleniu według głębokości zadania.

Claude Opus 4.6 ukończył 77% zadań jednokrokowych. Jego wskaźnik sukcesu spadł do 12% w zadaniach czterokrokowych. Spadek o 65 punktów pokazuje, że dodatkowe zależności nie tylko nieznacznie zwiększają trudność.

Każdy ukryty warunek wstępny tworzy kolejną okazję do utraty planu. Model musi zauważyć istotne dowody, wywnioskować cel pośredni, prawidłowo go wykonać i zachować jego związek z ostatecznym celem.

Wczesny błąd może rozprzestrzenić się na cały epizod. Ominięcie potrzebnego zasobu uniemożliwia kolejną akcję. Wybranie złej trasy zużywa kroki i zmienia widok agenta. Późniejsza obserwacja może być wtedy interpretowana na podstawie już błędnego stanu wewnętrznego.

Dlatego wynik Anthropic MineExplorer wywiera presję nie tylko na Anthropic. Claude był najsilniejszym modelem w teście. Jego krzywa porażek działa więc jako górna granica dla tej konkretnej konfiguracji, a nie jako dowód odizolowanej słabości Claude.

Ustalenia komplikują także standardową narrację o skalowaniu modeli. Artykuł wskazuje, że większe modele i dedykowane tryby myślenia nie poprawiały wyników konsekwentnie.

Więcej parametrów może wzmacniać percepcję lub rozumowanie w ograniczonym promptcie. Dynamiczne środowisko wymaga innej zdolności: utrzymywania użytecznego dopasowania między pamięcią, bieżącymi obserwacjami i zmieniającymi się celami.

Dłuższy kontekst nie gwarantuje tego dopasowania. Może zachowywać stare obrazy, które nie opisują już obecnej sceny. Takie obserwacje mogą konkurować ze świeższymi dowodami, zamiast pomagać modelowi.

Autorzy przetestowali tę kwestię, zwiększając liczbę historycznych klatek wizualnych. Wyniki ostatecznie pogorszyły się, gdy nieaktualne obserwacje zakłócały rozumienie bieżącego stanu przez model.

Sprawdzili również, czy modele po prostu potrzebowały więcej czasu. Agenci, którym się nie powiodło, nadal ponosili porażkę, nawet gdy epizody dopuszczały do 1800 kroków. Zadania możliwe do rozwiązania zwykle kończono wcześniej, podczas gdy dodatkowe interakcje nie uratowały wielu przerwanych sekwencji.

Wyniki podważają dwa łatwe rozwiązania. Danie agentowi większego kontekstu nie jest równoznaczne z zapewnieniem mu lepszej pamięci. Danie mu większej liczby akcji nie jest równoznaczne z zapewnieniem mu lepszego planu.

Presja obejmuje twórców agentów do obsługi komputerów, systemów robotycznych i zautomatyzowanych narzędzi badawczych. Produkty te działają poza nieruchomym zrzutem ekranu. Ich środowiska zmieniają się w odpowiedzi zarówno na agenta, jak i zdarzenia zewnętrzne.

Agent przeglądarkowy może potrzebować znaleźć rekord, zmienić filtr, zinterpretować zaktualizowaną stronę i zweryfikować końcowe zgłoszenie. Robot magazynowy może potrzebować zmienić trasę po stwierdzeniu, że aleja jest zablokowana. Agent badawczy może potrzebować zmienić swoje wyszukiwanie po odkryciu sprzecznych dowodów.

W każdym przypadku widoczny cel ukrywa decyzje dotyczące warunków wstępnych. Model może poprawnie wykonać każdą pojedynczą akcję, a mimo to nie ukończyć całego zadania.

MineExplorer nie dowodzi, że wskaźniki porażek przeniosą się bezpośrednio na przeglądarki lub roboty. Pokazuje, że sukces w krótkich testach multimodalnych daje ograniczoną pewność, gdy gromadzą się ukryte zależności.

To rozróżnienie powinno wpływać na decyzje zakupowe i wdrożeniowe. Nabywcy powinni pytać, jak agent radzi sobie w ukończonych procesach roboczych, a nie tylko czy jego model rozpoznaje ekrany lub generuje wiarygodne kolejne akcje.

Prawdziwym problemem jest nawigacja, a nie rozpoznawanie obrazu

Prawie 60% porażek Claude Opus 4.6 przypisano nawigacji, co czyni ruch z utrzymywaniem stanu najwyraźniejszym wąskim gardłem benchmarku.

Analiza porażek zespołu LongCat oddziela błędy nawigacyjne od problemów takich jak interakcje z obiektami czy rozumowanie zadaniowe. Nawigacja odpowiadała za prawie 60% analizowanych porażek.

Ta liczba nie oznacza, że modelowi po prostu brakowało wskazówek. Nawigacja w otwartym świecie łączy pamięć przestrzenną, rozpoznawanie wizualne, kontrolę działań i zarządzanie celami.

Agent musi wiedzieć, gdzie się znajduje, pamiętać, gdzie był, oraz ustalić, czy ruch przyniósł zamierzony rezultat. Musi też decydować, kiedy porzucić trasę lub zbadać alternatywę.

Statyczny test wizji izoluje tylko część tej pętli. Model widzi obraz i odpowiada na pytanie. Scena nie zmienia się wskutek jego odpowiedzi, a jedna błędna odpowiedź nie zniekształca kolejnej obserwacji.

Minecraft tworzy sprzężenie zwrotne. Jeśli agent skręci w złym kierunku, jego kolejny obraz zawiera inne dowody. Jeśli utknie przy przeszkodzie, powtarzane polecenia ruchu zużywają czas bez posuwania zadania naprzód.

Model musi wtedy zdiagnozować, czy zawiodła trasa, akcja, czy też jego pierwotny plan był błędny. To rozróżnienie jest trudne, gdy obserwacje pojawiają się jako oddzielne klatki, a nie jako stabilna mapa wewnętrzna.

Wyniki zdolności MineExplorer wzmacniają tę interpretację. Claude Opus 4.6 uzyskał wynik percepcji 61.91 i wynik rozumowania 54.71. W większości ocenianych modeli percepcja przewyższała działanie, a działanie przewyższało rozumowanie.

Modele często potrafiły identyfikować istotne szczegóły. Miały większe trudności z przekształceniem tych szczegółów w skoordynowaną strategię, która przetrwa zmianę środowiska.

Prowadzi to do ważnego odwrócenia sposobu, w jaki zwykle przedstawia się postęp multimodalny. Lepsze rozumienie obrazu poszerza zakres tego, co agent może zauważyć, ale jednocześnie ujawnia słabość systemu planowania wykorzystującego te obserwacje.

Model, który wykrywa dziesięć istotnych obiektów, nadal musi zdecydować, który z nich ma znaczenie teraz. Musi połączyć ten wybór z ostatecznym celem i zachować to połączenie po zmianie punktu widzenia.

Benchmark czerpie z podejścia ReAct, które przeplata rozumowanie z działaniami i nowymi obserwacjami. Oryginalne ramy ReAct zaprojektowano tak, by modele mogły korygować swoje rozumowanie dzięki informacji zwrotnej ze środowiska.

MineExplorer pokazuje, gdzie ta pętla może się zerwać w dłuższych trajektoriach. Rozumowanie odrywa się od bieżącego stanu, działania przestają służyć pierwotnemu celowi albo nowe obserwacje nie wywołują potrzebnej korekty.

Nawigacja nasila wszystkie trzy problemy. Agent, który znalazł się w niewłaściwym miejscu, widzi niewłaściwe dowody, buduje błędne oszacowanie stanu i wybiera kolejne działania z gorszej pozycji.

To trudniejszy problem niż wygenerowanie dłuższego łańcucha myślowego. Agent potrzebuje ustrukturyzowanej reprezentacji trwałych obiektów, lokalizacji, zrealizowanych etapów, nieudanych tras i nierozwiązanych zależności.

Surowa historia obrazu jest słabym substytutem. Przechowuje to, co zobaczyła kamera, a nie to, co agent powinien pamiętać.

To samo rozróżnienie dotyczy agentów korporacyjnych. Transkrypcja każdego poprzedniego ekranu nie tworzy automatycznie wiarygodnego stanu procesu. Agent musi wiedzieć, który formularz został wysłany, który filtr pozostaje aktywny i które wymaganie nadal nie zostało spełnione.

W systemach ucieleśnionych nawigacja staje się jednocześnie testem fizycznym i poznawczym. Model musi poruszać się w przestrzeni, zachowując logiczną strukturę zadania.

60-procentowy udział niepowodzeń w MineExplorer wskazuje zatem na potrzebę pracy na poziomie całego systemu. Lepsze lokalne kontrolery, jawne mapy, pamięć przyczynowa, monitorowanie postępów i polityki odzyskiwania mogą być równie istotne jak silniejszy model bazowy.

Co mierzy benchmark — a czego nie mierzy

MineExplorer zapewnia użyteczny test obciążeniowy, lecz jego wyniki pozostają ograniczone do jednego symulowanego świata i rozkładu zadań zdefiniowanego przez badaczy.

Najmocniejszy sceptyczny argument dotyczy trafności zewnętrznej. Minecraft oferuje dynamiczny świat 3D o spójnych zasadach, ale nie odtwarza wszystkich trudności występujących w domach, fabrykach, biurach czy przestrzeniach publicznych.

Prawdziwe roboty mierzą się z niepewną fizyką, szumem czujników, uszkodzeniami fizycznymi i ograniczeniami bezpieczeństwa. Agenci obsługujący komputery napotykają ukryty stan aplikacji, bariery uwierzytelniania, wyskakujące okna i zmieniające się interfejsy.

Minecraft eliminuje wiele z tych komplikacji. Jego obiekty są dyskretne, fizyka powtarzalna, a środowisko można dokładnie zresetować.

Ta kontrola jest też zaletą. Badacze mogą porównywać modele w identycznych warunkach i śledzić niepowodzenia bez ryzyka dla sprzętu lub użytkowników.

Kluczowe jest traktowanie MineExplorer jako narzędzia diagnostycznego, a nie uniwersalnej miary ucieleśnionej inteligencji. Wynik 41% nie oznacza, że Claude ukończyłby 41% niepowiązanych procesów w świecie rzeczywistym.

Filtrowanie wiedzy w benchmarku również wymaga analizy. Autorzy wykorzystują oceny modeli językowych do klasyfikowania, czy atomowe zadania opierają się głównie na wiedzy ogólnej, czy na konwencjach specyficznych dla Minecrafta.

Proces ten ogranicza oczywiste czynniki zakłócające związane z wiedzą o grze. Nie może jednak zagwarantować, że każde pozostawione zadanie jest wolne od efektów znajomości.

Modele trenowane na filmach, poradnikach lub dyskusjach o rozgrywce w Minecraft mogą nadal rozpoznawać typowe układy i zachowania. Różne rodziny modeli mogły zetknąć się z różną ilością takich materiałów.

Sam benchmark pozostaje pracą w toku, zgodnie z jego wpisem w arXiv. Przyszłe wersje mogą zmienić zadania, prompty, kontrolery lub procedury ewaluacyjne.

Projekt kontrolera jest szczególnie istotny. Model multimodalny rzadko obsługuje grę wyłącznie poprzez abstrakcyjne rozumowanie. Otaczający go system agenta przekształca wyjścia modelu w polecenia ruchu i interakcji.

Wydajność odzwierciedla zatem zarówno model bazowy, jak i jego infrastrukturę wspierającą. Lepszy system mapowania lub kontroler niskiego poziomu mógłby poprawić wyniki bez zmiany modelu.

Autorzy benchmarku wskazują na kolejne ograniczenie. MineExplorer koncentruje się obecnie na ewaluacji empirycznej, choć jego infrastruktura może również wspierać trening.

Trenowanie w środowisku benchmarku rodzi własne ryzyko. Gdy deweloperzy zaczną bezpośrednio optymalizować pod kątem publicznych zadań, wzrosty na rankingu mogą odzwierciedlać specjalizację pod benchmark, a nie ogólną zdolność eksploracji.

W pełni otwarty kod MineExplorer ułatwia replikację i rozwijanie projektu. Jednocześnie zwiększa znaczenie pytań o kontaminację danych i przeuczenie w przypadku późniejszych wydań modeli.

Niezależne ewaluacje powinny zachować ukryte scenariusze testowe. Powinny też różnicować układy scen, struktury zależności, implementacje kontrolerów i formaty promptów.

Kontekst historyczny uzasadnia tę ostrożność. MinePlanner udostępnił wcześniej 45 zadań Minecrafta dotyczących planowania długoterminowego i wykazał, że uznane planery miały trudności w dużych środowiskach zawierających wiele obiektów.

Benchmark MinePlanner koncentrował się na planowaniu propozycjonalnym i numerycznym, a nie na interaktywnej eksploracji multimodalnej. Jego wyniki nadal pokazały, że Minecraft może ujawniać problemy ze skalowaniem ukryte w mniejszych domenach planowania.

Inne systemy badały wykonywanie instrukcji, budowanie, pamięć i umiejętności otwarte. Projekty te wykorzystują tę samą grę do różnych pytań, dlatego ich głównych wyników nie należy porównywać bezpośrednio.

Szczególnym wkładem MineExplorer jest połączenie ciągłej interakcji wizualnej, ukrytych warunków wstępnych, wieloetapowej konstrukcji zadań i opartej na regułach oceny kamieni milowych.

Jego twierdzenie o byciu „pierwszym” należy odczytywać w ramach tej definicji. Minecraft gościł badania nad długimi horyzontami przed MineExplorer. Twierdzenie zespołu o nowości dotyczy wielominutowej, otwartej eksploracji multimodalnej w ramach jego konkretnej struktury ewaluacyjnej.

Kolejnym ograniczeniem jest brak szerokiej niezależnej reakcji tak krótko po publikacji. Większość szczegółowych interpretacji pochodzi obecnie od autorów i powiązanych z nimi kanałów technicznych.

Zmierzonych wyników można się przyjrzeć, lecz wyjaśnienia przyczynowe pozostają częściowo interpretacyjne. Na przykład duży udział niepowodzeń nawigacyjnych nie pozwala w pełni wyodrębnić, czy źródłową przyczyną było mapowanie, pamięć, planowanie czy wykonanie działania.

Te niepewności nie podważają głównego ustalenia. Skuteczność gwałtownie spada, gdy kumulują się ukryte warunki wstępne. Określają one, co powinny rozdzielić dalsze eksperymenty.

Open source czyni MineExplorer czymś więcej niż rankingiem

Publikacja ma znaczenie, ponieważ badacze mogą sprawdzić, czy lepsza pamięć, kontrolery lub metody treningu spłaszczają krzywą niepowodzeń w długim horyzoncie.

Zespół wykorzystał przepływ pracy z udziałem wielu agentów do tworzenia instancji benchmarku. Pięciu wyspecjalizowanych agentów współpracuje pod nadzorem orkiestratora kontrolującego ich kolejność.

Proces zaczyna się od wstępnego szkicu zadania. Następnie agenci specjalistyczni i walidacyjni dyskutują nad projektem, identyfikują niespójności i korygują scenę, graf zależności oraz ewaluatory kamieni milowych.

Według ewaluacji przeprowadzonej przez ludzi przez autorów proces ten zwiększył trafność instancji o około 30 punktów procentowych w porównaniu z bazą opartą na jednym agencie. Podniósł także oceny jakości o około 0,5 punktu, przy czym największą korzyść odnotowano w zadaniach czteroetapowych.

Ostateczna publikacja zawiera 813 instancji zweryfikowanych przez ludzi. Osobny trudny podzbiór oferuje 100 scenariuszy wybranych ze względu na większy poziom trudności.

Ten potok generowania rozwiązuje utrzymujący się problem benchmarków. Ręczne budowanie setek interaktywnych środowisk jest powolne, podczas gdy nieograniczone zadania generowane przez modele często zawierają niemożliwe cele lub błędne ewaluacje.

Połączenie automatycznej syntezy z weryfikacją przez ludzi oferuje rozwiązanie pośrednie. Takie podejście może tworzyć więcej zadań przy zachowaniu bramki jakościowej.

Tą samą metodą można generować scenariusze treningowe, nie tylko przypadki testowe. Badacze mogą tworzyć grafy zależności, instancjować sceny sandboxowe i dołączać deterministyczne kontrole kamieni milowych.

Ma to znaczenie, ponieważ agenci działający w długim horyzoncie potrzebują ćwiczeń na niepowodzeniach rozwijających się w czasie. Statyczne zbiory danych wizualnych nie nauczą odzyskiwania sprawności po złym skręcie ani pominiętym warunku wstępnym.

Otwarta infrastruktura zaprasza też do alternatyw wobec kompleksowego skalowania modeli. Zespół może utrzymać model bazowy bez zmian i testować jawne mapy przestrzenne, pamięć epizodyczną, grafy przyczynowe lub planery hierarchiczne.

Inny eksperyment mógłby oddzielić planowanie wysokiego poziomu od ruchu niskiego poziomu. Model mógłby wybierać cele, podczas gdy wyspecjalizowany kontroler zajmowałby się unikaniem przeszkód i realizacją trasy.

Badacze mogą wtedy pytać, czy niepowodzenia nawigacyjne odzwierciedlają słabą inteligencję, słabą kontrolę motoryczną czy niestabilny interfejs między nimi.

Benchmark może również wspierać projektowanie programów nauczania. Agenci mogliby zaczynać od zadań jednoetapowych, a następnie przechodzić do głębszych grafów zależności, gdy ich wskaźnik ukończenia się ustabilizuje.

Zbiory treningowe i ewaluacyjne muszą jednak pozostać rozłączne. Ponowne wykorzystywanie publicznych scenariuszy zmieniłoby MineExplorer w test zapamiętywania.

Najbardziej informującym przyszłym wynikiem nie będzie niewielki wzrost w rankingu. Będzie nim bardziej płaski spadek od zadań jednoetapowych do czteroetapowych.

System, który podnosi ogólną skuteczność, zachowując tę samą krzywą załamania, poprawił lokalne kompetencje. System, który utrzymuje wydajność wraz z pogłębianiem się zależności, poprawił koordynację w długim horyzoncie.

To rozróżnienie powinno kształtować przyszłe raportowanie. Ogólny wskaźnik sukcesu zadań kompresuje kilka zachowań do jednej liczby. Wyniki dla poszczególnych etapów ujawniają, gdzie agent przestaje działać niezawodnie.

Otwarta publikacja daje zewnętrznym zespołom narzędzia do testowania tych twierdzeń. Pozwala im również proponować trudniejsze ewaluacje bez przebudowywania całego stosu Minecrafta.

Na co zwracać uwagę po wyniku Anthropic w MineExplorer

Kolejna faza powinna skupiać się na niezależnej replikacji, ulepszonych systemach nawigacji i stabilnej wydajności w niewidzianych wcześniej wieloetapowych zadaniach.

Pierwszym sygnałem będzie niezależne odtworzenie ogólnego wyniku 41% oraz spadku z 77% do 12%. Badacze powinni ponownie uruchomić Claude Opus 4.6 i inne modele przy udokumentowanych ustawieniach kontrolera, promptów i środowiska.

Bliskie odtworzenie wzmocniłoby twierdzenie, że ukryte warunki wstępne wywołują ogólny wzorzec niepowodzeń. Duże różnice sugerowałyby, że infrastruktura agenta wnosi więcej, niż wskazuje początkowy ranking.

Drugim sygnałem będzie to, czy jawne systemy stanu i nawigacji ograniczą dominującą kategorię niepowodzeń. Przydatne eksperymenty powinny porównywać surową historię klatek z mapami, ustrukturyzowaną pamięcią, przyczynowymi grafami zadań i politykami odzyskiwania trasy.

Znacząca poprawa zmniejszyłaby liczbę niepowodzeń nawigacyjnych bez pogarszania wydajności rozumowania lub działania. Samo zwiększenie okna kontekstowego nie odpowiedziałoby na główną krytykę benchmarku.

Trzecim sygnałem będą wyniki nowszych modeli w wyłączonych z treningu scenariuszach czteroetapowych. Deweloperzy powinni raportować powodzenie zadań według liczby etapów, a nie tylko średnią ogólną.

Model, który osiąga wyższe wyniki w zadaniach jednoetapowych, pozostając jednocześnie blisko 12% w zadaniach czteroetapowych, nie zamknął luki długiego horyzontu. Lepsze wyniki na niewidzianych strukturach zależności stanowiłyby mocniejszy dowód ogólnej zdolności eksploracji.

Czytelnicy powinni również obserwować, czy twórcy modeli przyjmą MineExplorer lub pokrewne ewaluacje w oficjalnych kartach systemowych. Ich uwzględnienie sygnalizowałoby, że długotrwała interakcja multimodalna staje się standardowym celem rozwoju możliwości.

Dla deweloperów praktyczna lekcja jest już jasna. Nie oceniajcie agenta wyłącznie przez izolowane działania lub dopracowane demonstracje.

Testujcie kompletne przepływy pracy z ukrytymi warunkami wstępnymi, zmieniającym się stanem i możliwościami odzyskiwania. Mierzcie, gdzie agent traci orientację co do swojego celu, i odróżniajcie błędy percepcji od niepowodzeń nawigacji, rozumowania i kontroli.

Kupujący rozwiązania dla przedsiębiorstw powinni żądać takich samych dowodów. Pozycja modelu w rankingu benchmarków niewiele mówi o tym, czy zintegrowany agent potrafi konsekwentnie ukończyć wieloetapowy proces.

MineExplorer nie rozstrzyga debaty o ucieleśnionej AI. Dostarcza powtarzalny sposób, by trudniej było ignorować jedną słabość.

Wynik Anthropic w MineExplorer jest szczególnie wymowny, ponieważ Claude Opus 4.6 zajął pierwsze miejsce. Najsilniejszy testowany model stracił jednak 65 punktów procentowych, gdy głębokość zadania wzrosła z jednego etapu do czterech.

To centralne odwrócenie perspektywy w tym benchmarku. Obecne modele multimodalne często potrafią opisać świat, po którym nie umieją niezawodnie nawigować.

Kolejnym wiarygodnym kamieniem milowym dla agentów nie będzie więc kolejna perfekcyjna odpowiedź oparta na zrzucie ekranu. Będzie nim stały postęp w nieznanym środowisku, obejmujący zdolność zauważenia błędnego kroku i odzyskania właściwego kierunku przed zakończeniem zadania.