MineExplorer pokazuje, że agenci multimodalni zawodzą wraz ze wzrostem złożoności zadań
Claude Opus 4.6 od Anthropic zajął pierwsze miejsce w MineExplorer, jednak jego wskaźnik powodzenia spadł z 77% w zadaniach jednokrokowych do 12% w zadaniach czterokrokowych. Według wyników opublikowanych przez zespół LongCat firmy Meituan model ukończył zaledwie 41% całego benchmarku.
To załamanie jest sednem historii Anthropic MineExplorer. Claude radził sobie dobrze, gdy cel wymagał jednego bezpośredniego kroku. Miał trudności, gdy powodzenie zależało od odkrycia i skoordynowania kilku niewypowiedzianych warunków w zmieniającym się świecie.
MineExplorer mierzy tę lukę za pomocą 813 zweryfikowanych przez ludzi scenariuszy Minecraft trwających do trzech minut. Testuje 18 modeli multimodalnych z ośmiu rodzin modeli, w tym systemy Claude, GPT i Gemini. Autorzy benchmarku udostępnili jego kod, zbiór danych, proces generowania zadań i środowisko ewaluacyjne.
Wynik podważa powszechne założenie dotyczące agentów multimodalnych. Rozpoznanie zagrożenia, obiektu lub zasobu nie oznacza, że model potrafi utrzymać użyteczny plan, gdy środowisko się zmienia. MineExplorer zamienia to rozróżnienie w mierzalną krzywą porażek.
Wcześniejsze benchmarki Minecraft badały planowanie, wykonywanie instrukcji, budowanie lub znajomość gry. MineExplorer usuwa natomiast wiele zadań silnie zależnych od zasad specyficznych dla Minecrafta. Jego deklarowany cel jest szerszy: eksploracja łącząca percepcję, rozumowanie i działanie w ramach długotrwałej sekwencji.
Benchmark nadal ma formę preprintu, a Minecraft nie może reprezentować każdego środowiska fizycznego. Mimo to ustalenia wywierają natychmiastową presję na twierdzenia, że lepsze widzenie i dłuższy kontekst automatycznie tworzą niezawodnych autonomicznych agentów.
MineExplorer zamienia trzy minuty w poważny test dla agentów
MineExplorer przesuwa cel ewaluacji z rozpoznawania sceny na przetrwanie sekwencji współzależnych decyzji.
Zespół LongCat przedstawił MineExplorer w preprincie z maja 2026 roku. Druga wersja pojawiła się 12 czerwca, a zespół techniczny Meituan opublikował szczegółowe podsumowanie wyników w lipcu.
Każdy epizod może obejmować 1 800 kroków środowiska. Jeden krok odpowiada 0,1 sekundy, co daje trzy minuty ciągłej interakcji. Świat aktualizuje się po każdym działaniu, więc model musi stale ponownie oceniać to, co widzi, oraz to, co powinien zrobić dalej.
Ten czas brzmi krótko według ludzkich standardów. Jest długi dla agenta, który musi obserwować obrazy, utrzymywać stan, wybierać działania i naprawiać błędy w setkach interakcji.
Zadania są podzielone według liczby kroków zależności. Zadanie jednokrokowe przedstawia cel, który nie wymaga od agenta wywnioskowania niewypowiedzianego podzadania. Scenariusze od dwu- do czterokrokowych dodają ukryte warunki wstępne, które trzeba odkryć poprzez środowisko.
Rozważmy agenta, któremu polecono dotrzeć do chronionej lokalizacji. Bezpośrednia trasa może być zablokowana, potrzebne narzędzie może znajdować się gdzie indziej, a wrogie jednostki mogą ograniczać ruch. Instrukcja wskazuje cel, lecz nie wymienia wszystkich działań koniecznych, by go osiągnąć.
MineExplorer reprezentuje każde złożone zadanie za pomocą stanu początkowego, instrukcji w języku naturalnym, grafu zależności i opartych na regułach kamieni milowych. Graf zależności zapisuje ukrytą strukturę zadania. Model nigdy nie otrzymuje kompletnego grafu.
Kamienie milowe pozwalają ewaluatorowi mierzyć częściowy postęp bez proszenia innego modelu językowego o ocenę całej sekwencji. Kamień milowy może wykrywać, czy agent znalazł obiekt, wszedł do obszaru lub ukończył wymagane działanie pośrednie.
Autorzy porównali te zautomatyzowane wyniki z ludzkimi ocenami sekwencji Claude Opus 4.6. Zestawy ukończonych kamieni milowych otrzymały średnie oceny ludzkie zbliżone do czterech w pięciopunktowej skali. Zestawy zakończone całkowitym niepowodzeniem pozostawały poniżej trzech.
Ta zgodność nie czyni ewaluatora doskonałym. Dostarcza jednak dowodów, że ukończenie kamieni milowych odzwierciedla znaczący postęp, a nie arbitralne zdarzenia w grze.
Zespół próbował również oddzielić eksplorację od zapamiętanej wiedzy eksperckiej o Minecrafcie. Kandydackie zadania atomowe sprawdzano pod kątem zależności od konwencji specyficznych dla gry. Zadania zdominowane przez specjalistyczną wiedzę usunięto.
Ten wybór projektowy ma znaczenie, ponieważ agent może nie wykonać celu w Minecrafcie z dwóch bardzo różnych powodów. Może nie znać receptury z wiki gry albo nie potrafić połączyć widocznych dowodów z wykonalnym planem.
MineExplorer próbuje uwypuklić drugi problem. Jego 14 kategorii zdolności obejmuje percepcję, rozumowanie i działanie. Należą do nich percepcja przestrzenna i czasowa, śledzenie jednostek, świadomość zasobów, rozumowanie przyczynowe, ruch, zbieranie, umieszczanie, wytwarzanie i walka.
813 udostępnionych przykładów obejmuje zależności od jednego do czterech kroków. Otwarty zbiór danych zawiera tekst zadań, polecenia konfiguracji scen, wybrane zadania atomowe, kamienie milowe, grafy zależności i notatki projektowe.
To więcej niż statyczny zestaw pytań. Badacze mogą sprawdzać, jak budowano sceny, ponownie uruchamiać ewaluacje, tworzyć trudniejsze warianty lub wykorzystywać środowisko do treningu.
Ta otwartość daje benchmarkowi szansę wpłynąć na rozwój agentów. Ułatwia też podważanie jego założeń, co jest ważną cechą benchmarku wysuwającego szerokie twierdzenia na temat eksploracji.
Dlaczego prowadzenie Anthropic w MineExplorer jest mimo wszystko ostrzeżeniem
Claude Opus 4.6 wygrał porównanie, lecz jego przewaga pokazuje, jak daleko wszystkim testowanym modelom do niezawodnego działania w długim horyzoncie.
Benchmark ocenił 18 zaawansowanych modeli multimodalnych z ośmiu rodzin. Claude Opus 4.6 osiągnął najwyższy ogólny wskaźnik powodzenia zadań, wynoszący 41%.
Wynik 41% może wyglądać przyzwoicie, gdy patrzy się wyłącznie na pozycję w rankingu. Wygląda znacznie słabiej po rozdzieleniu według głębokości zadania.
Claude Opus 4.6 ukończył 77% zadań jednokrokowych. Jego wskaźnik powodzenia spadł do 12% w zadaniach czterokrokowych. Spadek o 65 punktów pokazuje, że dodatkowe zależności robią więcej niż tylko nieznacznie zwiększają trudność.
Każdy ukryty warunek wstępny tworzy kolejną okazję do utraty planu. Model musi zauważyć istotne dowody, wywnioskować cel pośredni, prawidłowo go zrealizować i zachować jego związek z celem końcowym.
Wczesny błąd może rozprzestrzeniać się przez cały epizod. Ominięcie potrzebnego zasobu uniemożliwia kolejne działanie. Wybranie złej trasy pochłania kroki i zmienia perspektywę agenta. Późniejsza obserwacja może zostać wtedy zinterpretowana na podstawie już błędnego stanu wewnętrznego.
Dlatego wynik Anthropic MineExplorer wywiera presję nie tylko na Anthropic. Claude był najsilniejszym modelem w teście. Jego krzywa porażek działa więc jako górna granica dla tej konkretnej konfiguracji, a nie jako dowód odizolowanej słabości Claude.
Ustalenia komplikują również standardową narrację o skalowaniu modeli. Artykuł podaje, że większe modele i dedykowane tryby myślenia nie poprawiały wyników w sposób konsekwentny.
Więcej parametrów może wzmacniać percepcję lub rozumowanie w ograniczonym promptcie. Dynamiczne środowisko wymaga innej zdolności: utrzymywania użytecznego dopasowania między pamięcią, bieżącymi obserwacjami i zmieniającymi się celami.
Dłuższy kontekst nie gwarantuje takiego dopasowania. Może zachowywać stare obrazy, które nie opisują już bieżącej sceny. Zamiast pomagać modelowi, obserwacje te mogą konkurować ze świeższymi dowodami.
Autorzy zbadali tę kwestię, zwiększając liczbę historycznych klatek wizualnych. Wyniki ostatecznie pogarszały się, gdy nieaktualne obserwacje zakłócały rozumienie bieżącego stanu przez model.
Sprawdzili również, czy modele po prostu potrzebowały więcej czasu. Agenci, którym się nie powiodło, nadal zawodzili, gdy epizody dopuszczały do 1 800 kroków. Rozwiązywalne zadania zazwyczaj kończono wcześniej, natomiast dodatkowe interakcje nie uratowały wielu zerwanych sekwencji.
Te wyniki podważają dwa łatwe rozwiązania. Danie agentowi większego kontekstu nie jest równoznaczne z zapewnieniem mu lepszej pamięci. Danie mu większej liczby działań nie jest równoznaczne z zapewnieniem mu lepszego planu.
Presja obejmuje także twórców agentów do obsługi komputerów, systemów robotycznych i zautomatyzowanych narzędzi badawczych. Produkty te działają poza stałym zrzutem ekranu. Ich środowiska zmieniają się w odpowiedzi zarówno na agenta, jak i na zdarzenia zewnętrzne.
Agent przeglądarkowy może potrzebować znaleźć rekord, zmienić filtr, zinterpretować zaktualizowaną stronę i zweryfikować końcowe zgłoszenie. Robot magazynowy może potrzebować zmienić trasę po wykryciu zablokowanej alejki. Agent badawczy może potrzebować zrewidować wyszukiwanie po odkryciu sprzecznych dowodów.
W każdym przypadku widoczny cel ukrywa decyzje dotyczące warunków wstępnych. Model może poprawnie wykonać każde odizolowane działanie, a mimo to nie ukończyć całego zadania.
MineExplorer nie dowodzi, że wskaźniki niepowodzeń przeniosą się bezpośrednio na przeglądarki lub roboty. Pokazuje, że powodzenie w krótkich testach multimodalnych daje ograniczoną pewność, gdy kumulują się ukryte zależności.
To rozróżnienie powinno wpływać na decyzje zakupowe i wdrożeniowe. Kupujący powinni pytać, jak agent radzi sobie w całych ukończonych przepływach pracy, a nie tylko czy jego model rozpoznaje ekrany lub generuje wiarygodne kolejne działania.
Prawdziwym problemem jest nawigacja, a nie rozpoznawanie obrazu
Prawie 60% niepowodzeń Claude Opus 4.6 przypisano nawigacji, co czyni ruch wymagający utrzymywania stanu najwyraźniejszym wąskim gardłem benchmarku.
Analiza niepowodzeń zespołu LongCat oddziela błędy nawigacyjne od problemów takich jak interakcja z obiektami czy rozumowanie zadaniowe. Nawigacja odpowiadała za niemal 60% przeanalizowanych niepowodzeń.
Ta liczba nie oznacza, że modelowi po prostu brakowało wskazówek. Nawigacja w otwartym świecie łączy pamięć przestrzenną, rozpoznawanie obrazu, kontrolę działań i zarządzanie celami.
Agent musi wiedzieć, gdzie się znajduje, pamiętać, gdzie już był, oraz określić, czy ruch przyniósł zamierzony rezultat. Musi również decydować, kiedy porzucić trasę lub zbadać alternatywę.
Statyczny test wizji izoluje jedynie część tej pętli. Model widzi obraz i odpowiada na pytanie. Scena nie zmienia się z powodu jego odpowiedzi, a jedna błędna odpowiedź nie zniekształca kolejnej obserwacji.
Minecraft tworzy sprzężenie zwrotne. Jeśli agent skręci w złym kierunku, jego kolejny obraz zawiera inne dowody. Jeśli utknie przy przeszkodzie, powtarzane polecenia ruchu zużywają czas bez postępu w zadaniu.
Model musi następnie zdiagnozować, czy zawiodła trasa, działanie czy pierwotny plan. To rozróżnienie jest trudne, gdy obserwacje przychodzą jako oddzielne klatki, a nie jako stabilna wewnętrzna mapa.
Oceny zdolności w MineExplorer wzmacniają tę interpretację. Claude Opus 4.6 otrzymał wynik percepcji 61,91 i wynik rozumowania 54,71. W większości ocenianych modeli percepcja przewyższała działanie, a działanie przewyższało rozumowanie.
Modele często potrafiły zidentyfikować istotne szczegóły. Większą trudność sprawiało im przekształcenie tych szczegółów w skoordynowaną strategię, która przetrwa zmianę środowiska.
Tworzy to ważne odwrócenie w sposobie, w jaki zwykle przedstawia się postęp multimodalny. Lepsze rozumienie obrazu rozszerza zakres tego, co agent może zauważyć, ale jednocześnie ujawnia słabość systemu planowania przetwarzającego te obserwacje.
Model, który wykrywa dziesięć istotnych obiektów, nadal musi zdecydować, który z nich ma znaczenie teraz. Musi połączyć ten wybór z celem końcowym i zachować to połączenie po zmianie perspektywy.
Benchmark czerpie z podejścia ReAct, które przeplata rozumowanie z działaniami i nowymi obserwacjami. Oryginalny framework ReAct zaprojektowano tak, aby modele mogły korygować swoje rozumowanie dzięki informacji zwrotnej ze środowiska.
MineExplorer pokazuje, gdzie ta pętla może załamać się przy dłuższych trajektoriach. Rozumowanie odrywa się od bieżącego stanu, działania przestają służyć pierwotnemu celowi albo nowe obserwacje nie wywołują potrzebnej korekty.
Nawigacja potęguje wszystkie trzy problemy. Agent, który znalazł się w niewłaściwym miejscu, widzi niewłaściwe dowody, tworzy błędną ocenę stanu i podejmuje kolejne działania z gorszej pozycji.
To trudniejszy problem niż wygenerowanie dłuższego łańcucha rozumowania. Agent potrzebuje ustrukturyzowanej reprezentacji trwałych obiektów, lokalizacji, zrealizowanych kamieni milowych, nieudanych tras i nierozwiązanych zależności.
Surowa historia wizualna jest słabym substytutem. Przechowuje to, co zobaczyła kamera, a nie to, co agent powinien zapamiętać.
To samo rozróżnienie dotyczy agentów korporacyjnych. Transkrypcja każdego poprzedniego ekranu nie tworzy automatycznie wiarygodnego stanu przepływu pracy. Agent musi wiedzieć, który formularz został przesłany, który filtr pozostaje aktywny i który wymóg nadal nie został spełniony.
W systemach ucieleśnionych nawigacja staje się zarówno testem fizycznym, jak i poznawczym. Model musi poruszać się w przestrzeni, zachowując jednocześnie logiczną strukturę zadania.
60-procentowy udział niepowodzeń MineExplorer wskazuje zatem na potrzebę pracy na poziomie systemu. Lepsze lokalne kontrolery, jawne mapy, pamięć przyczynowa, monitorowanie postępów i polityki odzyskiwania sprawności mogą mieć równie duże znaczenie jak mocniejszy model bazowy.
Co mierzy benchmark — i czego nie mierzy
MineExplorer zapewnia użyteczny test obciążeniowy, ale jego wyniki pozostają ograniczone do jednego symulowanego świata i rozkładu zadań zdefiniowanego przez badaczy.
Najmocniejszy sceptyczny argument dotyczy trafności zewnętrznej. Minecraft oferuje dynamiczny świat 3D o spójnych zasadach, ale nie odtwarza wszystkich trudności spotykanych w domach, fabrykach, biurach czy przestrzeniach publicznych.
Prawdziwe roboty mierzą się z niepewną fizyką, szumem czujników, uszkodzeniami fizycznymi i ograniczeniami bezpieczeństwa. Agenci obsługujący komputery napotykają ukryty stan aplikacji, bariery uwierzytelniania, wyskakujące okna i zmieniające się interfejsy.
Minecraft eliminuje wiele z tych komplikacji. Jego obiekty są dyskretne, fizyka powtarzalna, a środowisko można dokładnie zresetować.
Ta kontrola jest również zaletą. Badacze mogą porównywać modele w identycznych warunkach i śledzić błędy bez narażania sprzętu ani użytkowników.
Kluczowe jest traktowanie MineExplorer jako narzędzia diagnostycznego, a nie uniwersalnej miary ucieleśnionej inteligencji. Wynik 41% nie oznacza, że Claude ukończyłby 41% niepowiązanych przepływów pracy w realnym świecie.
Filtrowanie wiedzy w benchmarku również wymaga wnikliwej oceny. Autorzy wykorzystują oceny modeli językowych, aby klasyfikować, czy zadania atomowe opierają się głównie na wiedzy ogólnej czy na konwencjach specyficznych dla Minecrafta.
Proces ten ogranicza oczywiste czynniki zakłócające związane ze znajomością gry. Nie może jednak zagwarantować, że każde zachowane zadanie jest wolne od efektów znajomości.
Modele trenowane na filmach z Minecrafta, poradnikach lub dyskusjach o rozgrywce mogą nadal rozpoznawać typowe układy i zachowania. Różne rodziny modeli mogły zetknąć się z różnymi ilościami takich materiałów.
Sam benchmark pozostaje pracą w toku, zgodnie z jego rekordem na arXiv. Przyszłe wersje mogą zmienić zadania, prompty, kontrolery lub procedury ewaluacji.
Projekt kontrolera jest szczególnie ważny. Model multimodalny rzadko steruje grą wyłącznie poprzez abstrakcyjne rozumowanie. Otaczający go system agentowy przekształca wyniki modelu w polecenia ruchu i interakcji.
Wydajność odzwierciedla więc zarówno model bazowy, jak i jego infrastrukturę wspierającą. Lepszy system mapowania lub kontroler niskiego poziomu mógłby poprawić wyniki bez zmiany modelu.
Autorzy benchmarku przyznają jeszcze jedno ograniczenie. MineExplorer koncentruje się obecnie na ewaluacji empirycznej, choć jego infrastruktura może również wspierać trening.
Trenowanie w środowisku benchmarku tworzy własne ryzyko. Gdy twórcy zaczną optymalizować bezpośrednio pod kątem publicznych zadań, wzrosty w rankingach mogą odzwierciedlać specjalizację pod benchmark, a nie ogólną zdolność eksploracji.
W pełni otwarty kod MineExplorer ułatwia replikację i rozszerzanie projektu. Sprawia też, że pytania o kontaminację danych i przeuczenie stają się ważniejsze dla kolejnych wydań modeli.
Niezależne ewaluacje powinny zachowywać ukryte scenariusze testowe. Powinny również różnicować układy scen, struktury zależności, implementacje kontrolerów i formaty promptów.
Kontekst historyczny uzasadnia tę ostrożność. MinePlanner wcześniej udostępnił 45 zadań Minecrafta dotyczących planowania w długim horyzoncie i wykazał, że uznane planery miały trudności w dużych środowiskach zawierających wiele obiektów.
Benchmark MinePlanner koncentrował się na planowaniu propozycjonalnym i numerycznym, a nie na interaktywnej eksploracji multimodalnej. Jego wyniki nadal pokazały, że Minecraft może ujawniać problemy ze skalowaniem ukryte przez mniejsze domeny planowania.
Inne systemy badały wykonywanie instrukcji, konstruowanie, pamięć i umiejętności otwarte. Projekty te wykorzystują tę samą grę do różnych pytań, dlatego ich głównych wyników nie należy porównywać bezpośrednio.
Szczególnym wkładem MineExplorer jest połączenie ciągłej interakcji wizualnej, ukrytych warunków wstępnych, wieloetapowej konstrukcji zadań i opartej na regułach oceny kamieni milowych.
Jego twierdzenie o byciu „pierwszym” należy rozumieć w ramach tej definicji. Minecraft gościł badania nad długim horyzontem przed MineExplorer. Twierdzenie zespołu o nowości dotyczy minutowej, otwartoświatowej eksploracji multimodalnej w ramach jego konkretnej struktury ewaluacji.
Kolejnym ograniczeniem jest brak szerokiej niezależnej reakcji tak krótko po publikacji. Większość szczegółowych interpretacji pochodzi obecnie od autorów i powiązanych z nimi kanałów technicznych.
Zmierzonym wynikom można się przyjrzeć, ale wyjaśnienia przyczynowe pozostają częściowo interpretacyjne. Na przykład duży udział nawigacji w niepowodzeniach nie izoluje w pełni, czy przyczyną źródłową było mapowanie, pamięć, planowanie czy wykonywanie działań.
Te niepewności nie podważają głównego ustalenia. Sukces gwałtownie spada wraz z kumulowaniem się ukrytych warunków wstępnych. Określają one, co muszą rozdzielić dalsze eksperymenty.
Otwarte udostępnienie kodu czyni MineExplorer czymś więcej niż rankingiem
Publikacja jest istotna, ponieważ badacze mogą sprawdzić, czy lepsza pamięć, kontrolery lub metody treningowe spłaszczają krzywą niepowodzeń w długim horyzoncie.
Zespół wykorzystał przepływ pracy wieloagentowej do tworzenia instancji benchmarku. Pięciu wyspecjalizowanych agentów współpracuje pod nadzorem orkiestratora kontrolującego ich kolejność.
Przepływ pracy zaczyna się od wstępnego szkicu zadania. Agenci specjalistyczni i walidacyjni następnie dyskutują nad projektem, identyfikują niespójności i korygują scenę, graf zależności oraz ewaluatory kamieni milowych.
Według przeprowadzonej przez autorów oceny ludzkiej proces ten zwiększył poprawność instancji o około 30 punktów procentowych w porównaniu z bazą jednoagentową. Podniósł także oceny jakości o około 0,5 punktu, z największą korzyścią dla zadań czteroetapowych.
Ostateczne wydanie zawiera 813 instancji zweryfikowanych przez ludzi. Oddzielny trudny podzbiór obejmuje 100 scenariuszy wybranych ze względu na większy poziom trudności.
Ten potok generowania odpowiada na trwały problem benchmarków. Ręczne budowanie setek interaktywnych środowisk jest powolne, natomiast nieograniczone zadania generowane przez modele często zawierają niemożliwe cele lub wadliwe ewaluacje.
Połączenie automatycznej syntezy z weryfikacją przez ludzi oferuje rozwiązanie pośrednie. Takie podejście może tworzyć więcej zadań, zachowując jednocześnie bramkę jakości.
Ta sama metoda może generować scenariusze treningowe, a nie tylko przypadki testowe. Badacze mogą tworzyć grafy zależności, instancjonować sceny typu sandbox i dołączać deterministyczne kontrole kamieni milowych.
To istotne, ponieważ agenci działający w długim horyzoncie potrzebują ćwiczeń na błędach, które rozwijają się z czasem. Statyczne zbiory danych wizualnych nie mogą nauczyć odzyskiwania sprawności po złym skręcie lub pominiętym warunku wstępnym.
Otwarta infrastruktura zachęca również do alternatyw wobec skalowania modeli end-to-end. Zespół może utrzymać model bazowy bez zmian i testować jawne mapy przestrzenne, pamięć epizodyczną, grafy przyczynowe lub planery hierarchiczne.
Inny eksperyment mógłby oddzielić planowanie wysokiego poziomu od ruchu niskiego poziomu. Model mógłby wybierać cele, podczas gdy wyspecjalizowany kontroler zajmowałby się omijaniem przeszkód i realizacją trasy.
Badacze mogą następnie pytać, czy niepowodzenia nawigacyjne odzwierciedlają słabą inteligencję, słabą kontrolę motoryczną czy niestabilny interfejs między nimi.
Benchmark może również wspierać projektowanie programów nauczania. Agenci mogliby zaczynać od zadań jednoetapowych, a następnie przechodzić do głębszych grafów zależności, gdy ich wskaźnik ukończenia się ustabilizuje.
Zbiory treningowe i ewaluacyjne muszą jednak pozostać odrębne. Ponowne wykorzystanie publicznych scenariuszy zamieniłoby MineExplorer w test zapamiętywania.
Najbardziej informującym wynikiem w przyszłości nie będzie niewielki wzrost w rankingu. Będzie nim bardziej płaski spadek od zadań jednoetapowych do czteroetapowych.
System, który zwiększa ogólny sukces przy zachowaniu tej samej krzywej załamania, poprawił lokalne kompetencje. System, który utrzymuje wydajność wraz z pogłębianiem się zależności, poprawił koordynację w długim horyzoncie.
To rozróżnienie powinno kształtować przyszłe raportowanie. Ogólny wskaźnik sukcesu zadań kompresuje kilka zachowań do jednej liczby. Wyniki specyficzne dla liczby etapów pokazują, gdzie agent przestaje działać niezawodnie.
Otwarte wydanie daje zespołom zewnętrznym narzędzia do testowania tych twierdzeń. Pozwala im także proponować trudniejsze ewaluacje bez odtwarzania całego stosu Minecrafta.
Co obserwować po wyniku Anthropic w MineExplorer
Kolejna faza powinna koncentrować się na niezależnej replikacji, ulepszonych systemach nawigacyjnych i stabilnej wydajności w niewidzianych wcześniej zadaniach wieloetapowych.
Pierwszym sygnałem jest niezależne odtworzenie 41-procentowego wyniku ogólnego i spadku z 77% do 12%. Badacze powinni ponownie uruchomić Claude Opus 4.6 i inne modele przy udokumentowanych ustawieniach kontrolera, promptów i środowiska.
Ścisłe odtworzenie wzmocniłoby twierdzenie, że ukryte warunki wstępne napędzają ogólny wzorzec niepowodzeń. Duże różnice sugerowałyby, że infrastruktura agentowa wnosi więcej, niż wskazuje początkowy ranking.
Drugim sygnałem jest to, czy jawne systemy stanu i nawigacji ograniczą dominującą kategorię niepowodzeń. Przydatne eksperymenty powinny porównywać surową historię klatek z mapami, ustrukturyzowaną pamięcią, przyczynowymi grafami zadań i politykami odzyskiwania trasy.
Znacząca poprawa ograniczyłaby niepowodzenia nawigacyjne bez pogarszania wydajności rozumowania lub działania. Samo zwiększenie okna kontekstowego nie odpowiedziałoby na główną krytykę benchmarku.
Trzecim sygnałem jest wydajność nowszych modeli na wyłączonych z treningu scenariuszach czteroetapowych. Twórcy powinni raportować sukces zadań według liczby etapów, a nie tylko średnią ogólną.
Model, który osiąga wyższe wyniki w zadaniach jednoetapowych, pozostając jednocześnie w pobliżu 12% w zadaniach czteroetapowych, nie zamknął luki długiego horyzontu. Silniejsze wyniki w niewidzianych strukturach zależności dostarczyłyby lepszych dowodów na ogólną zdolność eksploracji.
Czytelnicy powinni również obserwować, czy twórcy modeli przyjmą MineExplorer lub powiązane ewaluacje w oficjalnych kartach systemów. Uwzględnienie ich sygnalizowałoby, że długotrwała interakcja multimodalna staje się standardowym celem rozwoju zdolności.
Dla twórców praktyczna lekcja jest już jasna. Nie oceniajcie agenta wyłącznie na podstawie izolowanych działań lub dopracowanych demonstracji.
Testujcie kompletne przepływy pracy z ukrytymi warunkami wstępnymi, zmieniającym się stanem i możliwościami odzyskania sprawności. Mierzcie, gdzie agent traci z oczu swój cel, i rozróżniajcie błędy percepcji od błędów nawigacji, rozumowania i kontroli.
Nabywcy korporacyjni powinni prosić o te same dowody. Pozycja modelu w rankingu benchmarków niewiele mówi o tym, czy zintegrowany agent potrafi konsekwentnie ukończyć wieloetapowy proces.
MineExplorer nie rozstrzyga debaty o ucieleśnionej AI. Dostarcza powtarzalnego sposobu, by trudniej było ignorować jedną słabość.
Wynik Anthropic w MineExplorer jest szczególnie wymowny, ponieważ Claude Opus 4.6 zajął pierwsze miejsce. Najsilniejszy testowany model nadal stracił 65 punktów procentowych, gdy głębokość zadania wzrosła z jednego etapu do czterech.
To centralne odwrócenie perspektywy benchmarku. Współczesne modele multimodalne często potrafią opisać świat, po którym nie potrafią niezawodnie nawigować.
Kolejnym wiarygodnym kamieniem milowym dla agentów nie jest więc kolejna idealna odpowiedź oparta na zrzucie ekranu. Jest nim trwały postęp w nieznanym środowisku, obejmujący zdolność dostrzeżenia błędnego kroku i powrotu na właściwą drogę przed zakończeniem zadania.
