MineExplorer zeigt, dass multimodale Agenten mit zunehmender Aufgabentiefe scheitern
Anthropics Claude Opus 4.6 führte MineExplorer an, doch seine Erfolgsquote fiel von 77 % bei One-Hop-Aufgaben auf 12 % bei Four-Hop-Aufgaben. Insgesamt schloss das Modell laut den vom LongCat-Team von Meituan veröffentlichten Ergebnissen nur 41 % des Benchmarks erfolgreich ab.
Dieser Einbruch ist die eigentliche Anthropic-MineExplorer-Geschichte. Claude schnitt gut ab, wenn das Ziel einen direkten Schritt erforderte. Es hatte Schwierigkeiten, wenn der Erfolg davon abhing, mehrere unausgesprochene Voraussetzungen innerhalb einer sich verändernden Welt zu entdecken und zu koordinieren.
MineExplorer misst diese Lücke anhand von 813 von Menschen verifizierten Minecraft-Szenarien mit einer Dauer von bis zu drei Minuten. Getestet werden 18 multimodale Modelle aus acht Modellfamilien, darunter Claude-, GPT- und Gemini-Systeme. Die Autoren des Benchmarks haben Code, Datensatz, den Workflow zur Aufgabengenerierung und die Evaluierungsumgebung veröffentlicht.
Das Ergebnis stellt eine verbreitete Annahme über multimodale Agenten infrage. Eine Bedrohung, ein Objekt oder eine Ressource zu erkennen bedeutet nicht, dass ein Modell einen hilfreichen Plan aufrechterhalten kann, während sich die Umgebung verändert. MineExplorer macht diesen Unterschied als messbare Fehlerkurve sichtbar.
Frühere Minecraft-Benchmarks untersuchten Planung, Befolgen von Anweisungen, Konstruktion oder Spielwissen. MineExplorer entfernt dagegen viele Aufgaben, die stark von Minecraft-spezifischen Regeln abhängen. Sein erklärtes Ziel ist breiter gefasst: Exploration, die Wahrnehmung, Schlussfolgern und Handeln über einen längeren Verlauf hinweg verbindet.
Der Benchmark ist weiterhin ein Preprint, und Minecraft kann nicht jede physische Umgebung abbilden. Dennoch setzen die Ergebnisse Behauptungen unmittelbar unter Druck, wonach stärkere Bildverarbeitung und längerer Kontext automatisch zuverlässige autonome Agenten hervorbringen.
MineExplorer macht aus drei Minuten einen ernsthaften Agententest
MineExplorer verschiebt das Evaluierungsziel vom Erkennen einer Szene hin zum Bewältigen einer Abfolge voneinander abhängiger Entscheidungen.
Das LongCat-Team stellte MineExplorer in einem Preprint vom Mai 2026 vor. Eine zweite Version folgte am 12. Juni, während Meituans technisches Team im Juli eine ausführliche Zusammenfassung der Ergebnisse veröffentlichte.
Jede Episode kann über 1.800 Umgebungsschritte laufen. Ein Schritt entspricht 0,1 Sekunden und ergibt drei Minuten kontinuierlicher Interaktion. Die Welt wird nach jeder Aktion aktualisiert, sodass das Modell wiederholt neu bewerten muss, was es sieht und was es als Nächstes tun sollte.
Nach menschlichen Maßstäben klingt diese Dauer kurz. Für einen Agenten, der Bilder beobachten, Zustand speichern, Aktionen auswählen und Fehler über Hunderte von Interaktionen hinweg korrigieren muss, ist sie lang.
Die Aufgaben sind nach ihrer Hop-Anzahl unterteilt. Eine One-Hop-Aufgabe stellt ein Ziel dar, bei dem der Agent keine unausgesprochene Teilaufgabe ableiten muss. Two-Hop- bis Four-Hop-Szenarien ergänzen verborgene Voraussetzungen, die über die Umgebung entdeckt werden müssen.
Stellen wir uns einen Agenten vor, der eine geschützte Position erreichen soll. Der direkte Weg könnte versperrt sein, das nötige Werkzeug könnte sich an einem anderen Ort befinden, und feindliche Einheiten könnten die Bewegung einschränken. Die Anweisung nennt das Ziel, aber nicht jede Aktion, die nötig ist, um es zu erreichen.
MineExplorer beschreibt jede zusammengesetzte Aufgabe mit einem Anfangszustand, einer natürlichsprachlichen Anweisung, einem Abhängigkeitsgraphen und regelbasierten Meilensteinen. Der Abhängigkeitsgraph erfasst die verborgene Aufgabenstruktur. Das Modell erhält diesen vollständigen Graphen nie.
Meilensteine ermöglichen es dem Evaluator, Teilfortschritte zu messen, ohne ein weiteres Sprachmodell den gesamten Verlauf bewerten zu lassen. Ein Meilenstein kann etwa erkennen, ob der Agent ein Objekt gefunden, ein Gebiet betreten oder eine erforderliche Zwischenaktion abgeschlossen hat.
Die Autoren verglichen diese automatisierten Ergebnisse mit menschlichen Bewertungen der Verläufe von Claude Opus 4.6. Abgeschlossene Meilensteinmengen erhielten durchschnittliche menschliche Bewertungen nahe vier auf einer Fünf-Punkte-Skala. Vollständig gescheiterte Mengen blieben unter drei.
Diese Übereinstimmung macht den Evaluator nicht perfekt. Sie liefert jedoch Hinweise darauf, dass das Erreichen von Meilensteinen sinnvollen Fortschritt erfasst und nicht bloß willkürliche Spielereignisse.
Das Team versuchte außerdem, Exploration von auswendig gelerntem Minecraft-Fachwissen zu trennen. Kandidaten für atomare Aufgaben wurden auf ihre Abhängigkeit von spielspezifischen Konventionen geprüft. Aufgaben, die von spezialisiertem Wissen dominiert wurden, entfernte man.
Diese Designentscheidung ist wichtig, weil ein Agent ein Minecraft-Ziel aus zwei sehr unterschiedlichen Gründen verfehlen kann. Ihm könnte ein Rezept aus dem Wiki des Spiels fehlen, oder er könnte sichtbare Hinweise nicht mit einem umsetzbaren Plan verknüpfen.
MineExplorer versucht, das zweite Problem hervorzuheben. Seine 14 Fähigkeitskategorien umfassen Wahrnehmung, Schlussfolgern und Handeln. Dazu gehören räumliche und zeitliche Wahrnehmung, Verfolgung von Einheiten, Bewusstsein für Ressourcen, kausales Schlussfolgern, Bewegung, Sammeln, Platzieren, Herstellen und Kampf.
Die 813 veröffentlichten Beispiele umfassen One-Hop- bis Four-Hop-Abhängigkeiten. Der offene Datensatz enthält Aufgabentexte, Befehle zum Aufbau von Szenen, ausgewählte atomare Aufgaben, Meilensteine, Abhängigkeitsgraphen und Designnotizen.
Dies ist mehr als ein statischer Fragenkatalog. Forschende können untersuchen, wie Szenen aufgebaut wurden, Bewertungen erneut ausführen, schwierigere Varianten erstellen oder die Umgebung fürs Training nutzen.
Diese Offenheit gibt dem Benchmark die Chance, die Agentenentwicklung zu beeinflussen. Sie macht seine Annahmen zugleich leichter angreifbar – eine wichtige Eigenschaft für einen Benchmark, der weitreichende Aussagen über Exploration trifft.
Warum die Anthropic-MineExplorer-Führung dennoch eine Warnung ist
Claude Opus 4.6 gewann den Vergleich, doch seine Führung zeigt, wie weit alle getesteten Modelle noch von verlässlichem Langzeithandeln entfernt sind.
Der Benchmark bewertete 18 fortgeschrittene multimodale Modelle aus acht Familien. Claude Opus 4.6 erzielte mit 41 % die höchste Gesamt-Erfolgsquote bei den Aufgaben.
Ein Ergebnis von 41 % kann respektabel wirken, wenn man nur die Position auf der Bestenliste betrachtet. Nach Aufgabentiefe aufgeschlüsselt wirkt es deutlich schwächer.
Claude Opus 4.6 schloss 77 % der One-Hop-Aufgaben ab. Bei Four-Hop-Aufgaben fiel seine Erfolgsquote auf 12 %. Der Rückgang um 65 Prozentpunkte zeigt, dass zusätzliche Abhängigkeiten nicht bloß ein wenig mehr Schwierigkeit bedeuten.
Jede verborgene Voraussetzung schafft eine weitere Möglichkeit, den Plan zu verlieren. Das Modell muss relevante Hinweise erkennen, ein Zwischenziel ableiten, es korrekt umsetzen und seine Beziehung zum Endziel bewahren.
Ein früher Fehler kann sich durch die gesamte Episode fortpflanzen. An einer benötigten Ressource vorbeizulaufen verhindert die nächste Aktion. Die falsche Route zu wählen verbraucht Schritte und verändert die Sicht des Agenten. Eine spätere Beobachtung kann dann anhand eines bereits fehlerhaften internen Zustands interpretiert werden.
Deshalb setzt das Anthropic-MineExplorer-Ergebnis nicht nur Anthropic unter Druck. Claude war das stärkste Modell im Test. Seine Fehlerkurve fungiert daher als Obergrenze für dieses konkrete Setup und nicht als Beleg für eine isolierte Claude-Schwäche.
Die Ergebnisse verkomplizieren auch die übliche Erzählung über Modellskalierung. Das Paper berichtet, dass größere Modelle und spezielle Denkmodi die Leistung nicht durchgängig verbesserten.
Mehr Parameter können Wahrnehmung oder Schlussfolgern bei einem begrenzten Prompt stärken. Eine dynamische Umgebung verlangt jedoch eine weitere Fähigkeit: eine hilfreiche Abstimmung zwischen Gedächtnis, aktuellen Beobachtungen und sich verändernden Zielen aufrechtzuerhalten.
Längerer Kontext garantiert diese Abstimmung nicht. Er kann alte Bilder bewahren, die die aktuelle Szene nicht mehr beschreiben. Diese Beobachtungen können mit frischeren Hinweisen konkurrieren, statt dem Modell zu helfen.
Die Autoren testeten dieses Problem, indem sie die Anzahl historischer visueller Frames erhöhten. Die Leistung nahm schließlich ab, weil veraltete Beobachtungen das Verständnis des Modells für den aktuellen Zustand beeinträchtigten.
Sie untersuchten außerdem, ob Modelle schlicht mehr Zeit benötigten. Erfolgslose Agenten scheiterten weiterhin, selbst wenn Episoden bis zu 1.800 Schritte erlaubten. Lösbare Aufgaben wurden tendenziell früher abgeschlossen, während zusätzliche Interaktionen viele gescheiterte Verläufe nicht retteten.
Diese Ergebnisse untergraben zwei einfache Lösungen. Einem Agenten mehr Kontext zu geben, ist nicht gleichbedeutend damit, ihm ein besseres Gedächtnis zu geben. Ihm mehr Aktionen zu geben, ist nicht gleichbedeutend damit, ihm einen besseren Plan zu geben.
Der Druck erstreckt sich auf Entwickler, die Agenten zur Computernutzung, Robotiksysteme und automatisierte Recherchewerkzeuge bauen. Diese Produkte operieren nicht innerhalb eines festen Screenshots. Ihre Umgebungen verändern sich als Reaktion sowohl auf den Agenten als auch auf externe Ereignisse.
Ein Browser-Agent muss möglicherweise einen Datensatz finden, einen Filter ändern, die aktualisierte Seite interpretieren und die endgültige Übermittlung verifizieren. Ein Lagerroboter muss möglicherweise umplanen, nachdem er einen blockierten Gang entdeckt hat. Ein Recherche-Agent muss seine Suche möglicherweise überarbeiten, nachdem er widersprüchliche Belege gefunden hat.
In jedem Fall verbirgt das sichtbare Ziel vorausgehende Entscheidungen. Ein Modell kann jede einzelne Aktion korrekt ausführen und dennoch an der vollständigen Aufgabe scheitern.
MineExplorer beweist nicht, dass sich Fehlerquoten direkt auf Browser oder Roboter übertragen lassen. Es zeigt, dass Erfolg bei kurzen multimodalen Tests nur begrenzt Sicherheit bietet, sobald sich verborgene Abhängigkeiten ansammeln.
Dieser Unterschied sollte Beschaffungs- und Bereitstellungsentscheidungen beeinflussen. Käufer sollten fragen, wie ein Agent über vollständig abgeschlossene Workflows hinweg abschneidet – nicht nur, ob sein Modell Bildschirme erkennt oder plausible nächste Aktionen erzeugt.
Das eigentliche Problem ist Navigation, nicht visuelle Erkennung
Fast 60 % der Fehler von Claude Opus 4.6 wurden der Navigation zugeschrieben, wodurch zustandsbehaftete Bewegung zum deutlichsten Engpass des Benchmarks wird.
Die Fehleranalyse des LongCat-Teams trennt Navigationsfehler von Problemen wie Objektinteraktion oder Aufgabenlogik. Navigation machte fast 60 % der analysierten Fehler aus.
Diese Zahl bedeutet nicht, dass dem Modell einfach Wegbeschreibungen fehlten. Navigation in einer offenen Welt kombiniert räumliches Gedächtnis, visuelle Erkennung, Aktionssteuerung und Zielmanagement.
Der Agent muss wissen, wo er sich befindet, sich erinnern, wo er gewesen ist, und bestimmen, ob eine Bewegung das beabsichtigte Ergebnis erzeugt hat. Er muss außerdem entscheiden, wann er eine Route aufgeben oder eine Alternative erkunden sollte.
Ein statischer Sehtest isoliert nur einen Teil dieses Kreislaufs. Das Modell sieht ein Bild und beantwortet eine Frage. Die Szene verändert sich nicht aufgrund seiner Antwort, und eine falsche Antwort verzerrt nicht die nächste Beobachtung.
Minecraft erzeugt Rückkopplung. Dreht der Agent in die falsche Richtung, enthält sein nächstes Bild andere Hinweise. Bleibt er an einem Hindernis stecken, verbrauchen wiederholte Bewegungsbefehle Zeit, ohne die Aufgabe voranzubringen.
Das Modell muss dann diagnostizieren, ob die Route gescheitert ist, die Aktion gescheitert ist oder sein ursprünglicher Plan falsch war. Diese Unterscheidung ist schwierig, wenn Beobachtungen als einzelne Frames statt als stabile interne Karte eintreffen.
Die Fähigkeitswerte von MineExplorer stützen diese Interpretation. Claude Opus 4.6 erhielt einen Wahrnehmungswert von 61,91 und einen Schlussfolgerungswert von 54,71. Bei den meisten bewerteten Modellen übertraf die Wahrnehmung das Handeln, während das Handeln das Schlussfolgern übertraf.
Die Modelle konnten häufig relevante Details identifizieren. Sie hatten größere Schwierigkeiten, diese Details in eine koordinierte Strategie zu überführen, die Veränderungen der Umgebung standhielt.
Dies schafft eine wichtige Umkehrung der üblichen Darstellung multimodaler Fortschritte. Ein besseres Bildverständnis erweitert, was ein Agent bemerken kann, legt aber zugleich die Schwäche des Planungssystems offen, das diese Beobachtungen verarbeitet.
Ein Modell, das zehn relevante Objekte erkennt, muss dennoch entscheiden, welches jetzt wichtig ist. Es muss diese Entscheidung mit dem Endziel verknüpfen und die Verbindung bewahren, nachdem sich der Blickwinkel verändert hat.
Der Benchmark greift auf den ReAct-Ansatz zurück, der Schlussfolgern mit Aktionen und neuen Beobachtungen verschränkt. Das ursprüngliche ReAct-Framework wurde entwickelt, damit Modelle ihr Schlussfolgern anhand von Rückmeldungen aus der Umgebung überarbeiten können.
MineExplorer zeigt, wo diese Schleife bei längeren Abläufen reißen kann. Das Schlussfolgern löst sich vom aktuellen Zustand, Aktionen dienen nicht mehr dem ursprünglichen Ziel, oder neue Beobachtungen führen nicht zu einer notwendigen Korrektur.
Navigation verschärft alle drei Probleme. Ein fehlplatzierter Agent sieht die falschen Hinweise, bildet einen falschen Zustandsentwurf und wählt aus einer geschwächten Position weitere Aktionen.
Das ist ein schwierigeres Problem als die Generierung einer längeren Gedankenkette. Ein Agent benötigt eine strukturierte Darstellung persistenter Entitäten, Orte, abgeschlossener Meilensteine, gescheiterter Routen und ungelöster Abhängigkeiten.
Eine rohe visuelle Historie ist dafür ein schwacher Ersatz. Sie speichert, was die Kamera gesehen hat, nicht, woran sich der Agent erinnern sollte.
Dieselbe Unterscheidung gilt für Unternehmensagenten. Ein Protokoll jedes vorherigen Bildschirms erzeugt nicht automatisch einen verlässlichen Workflow-Zustand. Der Agent muss wissen, welches Formular eingereicht wurde, welcher Filter noch aktiv ist und welche Anforderung weiterhin offen ist.
Für verkörperte Systeme wird Navigation sowohl zu einer physischen als auch zu einer kognitiven Prüfung. Das Modell muss sich durch den Raum bewegen und zugleich die logische Struktur der Aufgabe bewahren.
Der Anteil von 60 % an Fehlschlägen bei MineExplorer verweist daher auf Arbeit auf Systemebene. Bessere lokale Controller, explizite Karten, kausales Gedächtnis, Fortschrittsüberwachung und Wiederherstellungsrichtlinien könnten ebenso wichtig sein wie ein stärkeres Basismodell.
Was der Benchmark misst – und was nicht
MineExplorer bietet einen nützlichen Stresstest, doch seine Ergebnisse bleiben auf eine simulierte Welt und eine von Forschern definierte Aufgabenverteilung begrenzt.
Das stärkste skeptische Argument betrifft die externe Validität. Minecraft bietet eine dynamische 3D-Welt mit konsistenten Regeln, bildet jedoch nicht jede Schwierigkeit ab, die in Wohnungen, Fabriken, Büros oder öffentlichen Räumen vorkommt.
Reale Roboter sind mit unsicherer Physik, Sensorrauschen, physischen Schäden und Sicherheitsvorgaben konfrontiert. Agenten zur Computerbedienung treffen auf verborgene Anwendungszustände, Authentifizierungshürden, Pop-ups und sich verändernde Oberflächen.
Minecraft beseitigt viele dieser Komplikationen. Seine Objekte sind diskret, seine Physik ist wiederholbar, und die Umgebung lässt sich exakt zurücksetzen.
Diese Kontrolle ist zugleich ein Vorteil. Forschende können Modelle unter identischen Bedingungen vergleichen und Fehler nachvollziehen, ohne Geräte oder Nutzer zu gefährden.
Entscheidend ist, MineExplorer als diagnostisches Instrument zu behandeln, nicht als universelle Kennzahl für verkörperte Intelligenz. Ein Ergebnis von 41 % bedeutet nicht, dass Claude 41 % beliebiger realer Workflows abschließen würde.
Auch die Wissensfilterung des Benchmarks erfordert eine genaue Prüfung. Die Autoren nutzen Bewertungen durch Sprachmodelle, um einzuordnen, ob atomare Aufgaben hauptsächlich auf Allgemeinwissen oder auf Minecraft-spezifischen Konventionen beruhen.
Dieser Prozess reduziert offensichtliche Verzerrungen durch Spielwissen. Er kann jedoch nicht garantieren, dass jede beibehaltene Aufgabe frei von Vertrautheitseffekten ist.
Modelle, die mit Minecraft-Videos, Anleitungen oder Diskussionen über Spielabläufe trainiert wurden, könnten weiterhin häufige Layouts und Verhaltensweisen erkennen. Verschiedene Modellfamilien könnten mit unterschiedlich viel solchem Material in Kontakt gekommen sein.
Laut seinem arXiv-Eintrag befindet sich der Benchmark selbst noch in Entwicklung. Künftige Überarbeitungen könnten Aufgaben, Prompts, Controller oder Bewertungsverfahren verändern.
Das Controller-Design ist besonders wichtig. Ein multimodales Modell steuert ein Spiel nur selten allein durch abstraktes Schlussfolgern. Das umgebende Agentensystem wandelt die Modellausgaben in Bewegungs- und Interaktionsbefehle um.
Die Leistung spiegelt daher sowohl das zugrunde liegende Modell als auch sein Gerüst wider. Ein besseres Kartierungssystem oder ein Low-Level-Controller könnte die Ergebnisse verbessern, ohne das Modell zu verändern.
Die Benchmark-Autoren räumen eine weitere Einschränkung ein. MineExplorer konzentriert sich derzeit auf empirische Bewertung, obwohl seine Infrastruktur auch Training unterstützen kann.
Training in der Benchmark-Umgebung schafft ein eigenes Risiko. Sobald Entwickler direkt auf öffentliche Aufgaben optimieren, könnten Fortschritte in Ranglisten eher Benchmark-Spezialisierung als allgemeine Exploration widerspiegeln.
Der vollständig offene MineExplorer code erleichtert Replikation und Erweiterung. Zugleich werden Fragen zu Kontamination und Overfitting bei späteren Modellveröffentlichungen wichtiger.
Unabhängige Bewertungen sollten verborgene Testszenarien bewahren. Sie sollten zudem Szenenlayouts, Abhängigkeitsstrukturen, Controller-Implementierungen und Prompt-Formate variieren.
Der historische Kontext stützt diese Vorsicht. MinePlanner veröffentlichte zuvor 45 Minecraft-Aufgaben für Langhorizontplanung und stellte fest, dass etablierte Planer mit großen Umgebungen voller Objekte Schwierigkeiten hatten.
Der MinePlanner benchmark konzentrierte sich auf propositionale und numerische Planung statt auf interaktive multimodale Exploration. Seine Ergebnisse zeigten dennoch, dass Minecraft Skalierungsprobleme offenlegen kann, die in kleineren Planungsdomänen verborgen bleiben.
Andere Systeme haben Befolgen von Anweisungen, Konstruktion, Gedächtnis und offene Fähigkeiten untersucht. Diese Projekte nutzen dasselbe Spiel für unterschiedliche Fragestellungen; ihre zentralen Kennzahlen sollten daher nicht direkt verglichen werden.
MineExplorers spezifischer Beitrag ist die Kombination aus kontinuierlicher visueller Interaktion, verborgenen Voraussetzungen, mehrstufiger Aufgabenkonstruktion und regelbasierter Meilensteinbewertung.
Sein Anspruch, das „erste“ System dieser Art zu sein, sollte innerhalb dieser Definition gelesen werden. Minecraft war schon vor MineExplorer Gegenstand von Langhorizontforschung. Der Neuheitsanspruch des Teams bezieht sich auf minutenskale, offene multimodale Exploration unter seiner spezifischen Bewertungsstruktur.
Eine weitere Einschränkung ist der Mangel an breiter unabhängiger Resonanz so kurz nach der Veröffentlichung. Die meisten detaillierten Interpretationen stammen derzeit von den Autoren und ihren verbundenen technischen Kanälen.
Die gemessenen Ergebnisse können überprüft werden, doch die kausalen Erklärungen bleiben teilweise interpretativ. Der hohe Anteil der Navigation an Fehlschlägen isoliert beispielsweise nicht vollständig, ob die Ursache in Kartierung, Gedächtnis, Planung oder Aktionsausführung lag.
Diese Unsicherheiten heben das zentrale Ergebnis nicht auf. Der Erfolg sinkt stark, sobald sich verborgene Voraussetzungen anhäufen. Sie bestimmen, was weitere Experimente voneinander trennen müssen.
Open Sourcing macht MineExplorer zu mehr als einer Rangliste
Die Veröffentlichung ist bedeutsam, weil Forschende testen können, ob besseres Gedächtnis, bessere Controller oder Trainingsmethoden die Fehlerkurve über lange Horizonte abflachen.
Das Team nutzte einen Multi-Agent-Workflow, um Benchmark-Instanzen zu erstellen. Fünf spezialisierte Agenten arbeiten unter einem Orchestrator zusammen, der ihre Reihenfolge steuert.
Der Workflow beginnt mit einem ersten Aufgabenentwurf. Anschließend diskutieren Spezial- und Validierungsagenten das Design, identifizieren Inkonsistenzen und überarbeiten Szene, Abhängigkeitsgraph und Meilensteinbewerter.
Laut der menschlichen Bewertung der Autoren erhöhte dieser Prozess die Instanzvalidität gegenüber einer Einzelagenten-Basislinie um rund 30 Prozentpunkte. Er steigerte zudem die Qualitätsbewertungen um etwa 0,5 Punkte, wobei vierstufige Aufgaben am stärksten profitierten.
Die endgültige Veröffentlichung umfasst 813 menschlich verifizierte Instanzen. Eine separate anspruchsvolle Teilmenge enthält 100 Szenarien, die aufgrund ihrer höheren Schwierigkeit ausgewählt wurden.
Diese Generierungspipeline adressiert ein dauerhaftes Benchmark-Problem. Hunderte interaktive Umgebungen manuell aufzubauen ist langsam, während ungebunden von Modellen erzeugte Aufgaben häufig unmögliche Ziele oder fehlerhafte Bewertungen enthalten.
Die Kombination aus automatisierter Synthese und menschlicher Verifikation bietet einen Mittelweg. Dieser Ansatz kann mehr Aufgaben erzeugen und zugleich eine Qualitätsschranke erhalten.
Dieselbe Methode kann nicht nur Testfälle, sondern auch Trainingsszenarien erzeugen. Forschende können Abhängigkeitsgraphen erstellen, Sandbox-Szenen instanziieren und deterministische Meilensteinprüfungen hinzufügen.
Das ist wichtig, weil Langhorizontagenten Übung mit Fehlern benötigen, die sich erst im Zeitverlauf entfalten. Statische visuelle Datensätze können keine Erholung nach einer falschen Abzweigung oder einer übersehenen Voraussetzung vermitteln.
Offene Infrastruktur lädt außerdem zu Alternativen zur durchgängigen Skalierung von Modellen ein. Ein Team kann das Basismodell konstant halten und explizite räumliche Karten, episodisches Gedächtnis, kausale Graphen oder hierarchische Planer testen.
Ein weiteres Experiment könnte die übergeordnete Planung von Bewegungen auf niedriger Ebene trennen. Das Modell könnte Ziele auswählen, während ein spezialisierter Controller Hindernisvermeidung und Routenausführung übernimmt.
Forschende können dann fragen, ob Navigationsfehler schwache Intelligenz, schwache Motorsteuerung oder eine instabile Schnittstelle zwischen beidem widerspiegeln.
Der Benchmark könnte auch die Entwicklung von Curricula unterstützen. Agenten könnten mit einstufigen Aufgaben beginnen und anschließend zu tieferen Abhängigkeitsgraphen übergehen, sobald sich ihre Abschlussrate stabilisiert.
Trainings- und Bewertungssätze müssen jedoch getrennt bleiben. Die Wiederverwendung öffentlicher Szenarien würde MineExplorer in einen Gedächtnistest verwandeln.
Das aussagekräftigste künftige Ergebnis wird kein kleiner Gewinn in der Rangliste sein. Es wird ein flacherer Rückgang von einstufigen zu vierstufigen Aufgaben sein.
Ein System, das den Gesamterfolg steigert und zugleich dieselbe Kollapskurve beibehält, hat seine lokale Kompetenz verbessert. Ein System, das seine Leistung bei tieferen Abhängigkeiten erhält, hat seine Langhorizontkoordination verbessert.
Diese Unterscheidung sollte die künftige Berichterstattung prägen. Die Gesamterfolgsrate einer Aufgabe verdichtet mehrere Verhaltensweisen in einer Zahl. Die Leistung nach Stufen zeigt, wo der Agent nicht mehr zuverlässig funktioniert.
Die offene Veröffentlichung gibt externen Teams die Mittel, diese Behauptungen zu testen. Sie ermöglicht ihnen auch, anspruchsvollere Bewertungen vorzuschlagen, ohne den gesamten Minecraft-Stack neu aufbauen zu müssen.
Worauf man nach dem Anthropic-MineExplorer-Ergebnis achten sollte
Die nächste Phase sollte sich auf unabhängige Replikation, verbesserte Navigationssysteme und stabile Leistung bei ungesehenen mehrstufigen Aufgaben konzentrieren.
Das erste Signal ist die unabhängige Reproduktion des Gesamtergebnisses von 41 % und des Rückgangs von 77 % auf 12 %. Forschende sollten Claude Opus 4.6 und andere Modelle unter dokumentierten Controller-, Prompt- und Umgebungseinstellungen erneut ausführen.
Eine enge Reproduktion würde die Aussage stärken, dass verborgene Voraussetzungen ein allgemeines Fehlermuster verursachen. Große Unterschiede würden darauf hindeuten, dass das Agentengerüst mehr beiträgt, als die ursprüngliche Rangliste erkennen lässt.
Das zweite Signal ist, ob explizite Zustands- und Navigationssysteme die dominierende Fehlerkategorie verringern. Sinnvolle Experimente sollten rohe Bildhistorien mit Karten, strukturiertem Gedächtnis, kausalen Aufgabengraphen und Richtlinien zur Routenwiederherstellung vergleichen.
Eine aussagekräftige Verbesserung würde Navigationsfehler reduzieren, ohne die Leistung beim Schlussfolgern oder Handeln zu beeinträchtigen. Eine bloße Vergrößerung des Kontextfensters würde die zentrale Kritik des Benchmarks nicht beantworten.
Das dritte Signal ist die Leistung neuerer Modelle bei zurückgehaltenen vierstufigen Szenarien. Entwickler sollten den Aufgabenerfolg nach Stufenzahl berichten, nicht nur einen Gesamtdurchschnitt.
Ein Modell, das bei einstufigen Aufgaben höhere Werte erzielt, bei vierstufigen Aufgaben aber nahe 12 % bleibt, hat die Langhorizontlücke nicht geschlossen. Stärkere Ergebnisse bei ungesehenen Abhängigkeitsstrukturen würden bessere Belege für allgemeine Exploration liefern.
Leser sollten zudem beobachten, ob Modellentwickler MineExplorer oder verwandte Bewertungen in offiziellen System Cards übernehmen. Eine Aufnahme würde signalisieren, dass lang andauernde multimodale Interaktion zu einem Standardziel für Fähigkeiten wird.
Für Entwickler ist die praktische Lehre bereits klar. Bewerten Sie einen Agenten nicht nur anhand isolierter Aktionen oder ausgefeilter Demonstrationen.
Testen Sie vollständige Workflows mit verborgenen Voraussetzungen, wechselnden Zuständen und Möglichkeiten zur Wiederherstellung. Messen Sie, wo der Agent sein Ziel aus den Augen verliert, und unterscheiden Sie Wahrnehmungsfehler von Fehlern bei Navigation, Schlussfolgern und Steuerung.
Unternehmenskäufer sollten dieselben Nachweise verlangen. Die Benchmark-Platzierung eines Modells sagt wenig darüber aus, ob ein integrierter Agent einen mehrstufigen Prozess zuverlässig abschließen kann.
MineExplorer entscheidet die Debatte über verkörperte KI nicht. Es liefert eine reproduzierbare Möglichkeit, eine Schwäche schwerer zu ignorieren.
Das Anthropic-MineExplorer-Ergebnis ist besonders aufschlussreich, weil Claude Opus 4.6 den ersten Platz belegte. Das stärkste getestete Modell verlor dennoch 65 Prozentpunkte, als die Aufgabentiefe von einer auf vier Stufen stieg.
Das ist die zentrale Umkehrung des Benchmarks. Aktuelle multimodale Modelle können eine Welt oft beschreiben, in der sie sich nicht zuverlässig zurechtfinden können.
Der nächste glaubwürdige Meilenstein für Agenten ist daher nicht eine weitere perfekte Screenshot-Antwort. Es ist nachhaltiger Fortschritt in einer unbekannten Umgebung – einschließlich der Fähigkeit, einen falschen Weg zu erkennen und sich zu korrigieren, bevor die Aufgabe endet.
