Claude Opus 4.6 verliert 65 Punkte, während MineExplorer-Aufgaben komplexer werden

Anthropics Claude Opus 4.6 führte MineExplorer an, doch seine Erfolgsquote fiel von 77 % bei Ein-Hop-Aufgaben auf 12 % bei Vier-Hop-Aufgaben. Insgesamt bewältigte das Modell nur 41 % des Benchmarks, wie Ergebnisse des LongCat-Teams von Meituan zeigen.

Dieser Einbruch ist die eigentliche Anthropic-MineExplorer-Geschichte. Claude schnitt gut ab, wenn das Ziel einen direkten Schritt erforderte. Es hatte Schwierigkeiten, wenn der Erfolg davon abhing, mehrere unausgesprochene Voraussetzungen innerhalb einer sich verändernden Welt zu entdecken und zu koordinieren.

MineExplorer misst diese Lücke anhand von 813 von Menschen verifizierten Minecraft-Szenarien mit einer Dauer von bis zu drei Minuten. Getestet werden 18 multimodale Modelle aus acht Modellfamilien, darunter Claude-, GPT- und Gemini-Systeme. Die Autoren des Benchmarks haben Code, Datensatz, Workflow zur Aufgabengenerierung und Evaluierungsumgebung veröffentlicht.

Das Ergebnis stellt eine verbreitete Annahme über multimodale Agenten infrage. Eine Bedrohung, ein Objekt oder eine Ressource zu erkennen bedeutet nicht, dass ein Modell einen nützlichen Plan aufrechterhalten kann, während sich die Umgebung verändert. MineExplorer macht diesen Unterschied zu einer messbaren Fehlerkurve.

Frühere Minecraft-Benchmarks untersuchten Planung, Befolgung von Anweisungen, Konstruktion oder Spielwissen. MineExplorer entfernt stattdessen viele Aufgaben, die stark von Minecraft-spezifischen Regeln abhängen. Sein erklärtes Ziel ist breiter: Exploration, die Wahrnehmung, Schlussfolgern und Handeln über eine anhaltende Sequenz hinweg verbindet.

Der Benchmark ist weiterhin ein Preprint, und Minecraft kann nicht jede physische Umgebung abbilden. Dennoch setzen die Ergebnisse Behauptungen unmittelbar unter Druck, wonach stärkere Bildverarbeitung und längerer Kontext automatisch zuverlässige autonome Agenten hervorbringen.

MineExplorer macht aus drei Minuten einen ernsthaften Agententest

MineExplorer verschiebt das Evaluierungsziel von der Erkennung einer Szene hin zum Bewältigen einer Abfolge voneinander abhängiger Entscheidungen.

Das LongCat-Team stellte MineExplorer in einem Preprint vom Mai 2026 vor. Am 12. Juni folgte eine zweite Version, während das technische Team von Meituan im Juli eine ausführliche Ergebniszusammenfassung veröffentlichte.

Jede Episode kann 1.800 Umgebungsschritte umfassen. Ein Schritt entspricht 0,1 Sekunden, was drei Minuten kontinuierlicher Interaktion ergibt. Die Welt aktualisiert sich nach jeder Aktion, sodass das Modell wiederholt neu bewerten muss, was es sieht und was es als Nächstes tun sollte.

Diese Dauer klingt nach menschlichen Maßstäben kurz. Für einen Agenten, der Bilder beobachten, Zustand erhalten, Aktionen auswählen und Fehler über Hunderte Interaktionen hinweg korrigieren muss, ist sie lang.

Die Aufgaben sind nach Hop-Anzahl unterteilt. Eine Ein-Hop-Aufgabe präsentiert ein Ziel, bei dem der Agent keine unausgesprochene Teilaufgabe ableiten muss. Zwei- bis Vier-Hop-Szenarien fügen versteckte Voraussetzungen hinzu, die über die Umgebung entdeckt werden müssen.

Stellen Sie sich einen Agenten vor, der angewiesen wird, einen geschützten Ort zu erreichen. Der direkte Weg könnte blockiert sein, das benötigte Werkzeug könnte sich anderswo befinden und feindliche Entitäten könnten die Bewegung einschränken. Die Anweisung nennt das Ziel, aber nicht jede Handlung, die nötig ist, um es zu erreichen.

MineExplorer stellt jede zusammengesetzte Aufgabe mit einem Anfangszustand, einer natürlichsprachlichen Anweisung, einem Abhängigkeitsgraphen und regelbasierten Meilensteinen dar. Der Abhängigkeitsgraph erfasst die verborgene Aufgabenstruktur. Das Modell erhält diesen vollständigen Graphen nie.

Meilensteine ermöglichen es dem Evaluator, Teilfortschritte zu messen, ohne ein weiteres Sprachmodell die gesamte Sequenz bewerten zu lassen. Ein Meilenstein könnte erfassen, ob der Agent ein Objekt gefunden, einen Bereich betreten oder eine erforderliche Zwischenaktion abgeschlossen hat.

Die Autoren verglichen diese automatisierten Ergebnisse mit menschlichen Bewertungen von Claude-Opus-4.6-Sequenzen. Abgeschlossene Meilensteinmengen erhielten durchschnittliche menschliche Bewertungen nahe vier auf einer Fünf-Punkte-Skala. Vollständig fehlgeschlagene Mengen blieben unter drei.

Diese Übereinstimmung macht den Evaluator nicht perfekt. Sie liefert jedoch Hinweise darauf, dass die Erfüllung von Meilensteinen sinnvolle Fortschritte statt willkürlicher Spielereignisse erfasst.

Das Team versuchte zudem, Exploration von auswendig gelerntem Minecraft-Fachwissen zu trennen. Kandidaten für atomare Aufgaben wurden auf Abhängigkeit von spielspezifischen Konventionen geprüft. Aufgaben, die von spezialisiertem Wissen dominiert wurden, entfernte man.

Diese Designentscheidung ist wichtig, weil ein Agent ein Minecraft-Ziel aus zwei sehr unterschiedlichen Gründen verfehlen kann. Ihm könnte ein Rezept aus dem Wiki des Spiels fehlen, oder er könnte sichtbare Hinweise nicht mit einem praktikablen Plan verbinden.

MineExplorer versucht, das zweite Problem hervorzuheben. Seine 14 Fähigkeitskategorien umfassen Wahrnehmung, Schlussfolgern und Handeln. Dazu gehören räumliche und zeitliche Wahrnehmung, Verfolgung von Entitäten, Ressourcenbewusstsein, kausales Schlussfolgern, Bewegung, Sammeln, Platzieren, Herstellen und Kampf.

Die 813 veröffentlichten Beispiele umfassen Abhängigkeiten von einem bis vier Hops. Der offene Datensatz enthält Aufgabentexte, Befehle zum Szenenaufbau, ausgewählte atomare Aufgaben, Meilensteine, Abhängigkeitsgraphen und Designnotizen.

Das ist mehr als ein statischer Fragenkatalog. Forschende können prüfen, wie Szenen aufgebaut wurden, Evaluierungen erneut durchführen, schwierigere Varianten erstellen oder die Umgebung zum Training nutzen.

Diese Offenheit gibt dem Benchmark die Chance, die Entwicklung von Agenten zu beeinflussen. Sie macht seine Annahmen zugleich leichter angreifbar – eine wichtige Eigenschaft für einen Benchmark, der weitreichende Behauptungen über Exploration aufstellt.

Warum die Anthropic-MineExplorer-Führung dennoch eine Warnung ist

Claude Opus 4.6 gewann den Vergleich, doch seine Führung zeigt, wie weit jedes getestete Modell noch von verlässlichem Verhalten über lange Zeithorizonte entfernt ist.

Der Benchmark bewertete 18 fortgeschrittene multimodale Modelle aus acht Familien. Claude Opus 4.6 erzielte mit 41 % die höchste Erfolgsquote bei den Aufgaben.

Ein Ergebnis von 41 % kann respektabel wirken, wenn man es nur als Platzierung auf einer Rangliste betrachtet. Nach Aufgabentiefe aufgeschlüsselt wirkt es deutlich schwächer.

Claude Opus 4.6 schloss 77 % der Ein-Hop-Aufgaben ab. Bei Vier-Hop-Aufgaben fiel seine Erfolgsquote auf 12 %. Der Rückgang um 65 Punkte zeigt, dass zusätzliche Abhängigkeiten mehr bewirken, als nur etwas Schwierigkeit hinzuzufügen.

Jede verborgene Voraussetzung schafft eine weitere Gelegenheit, den Plan zu verlieren. Das Modell muss relevante Hinweise erkennen, ein Zwischenziel ableiten, es korrekt ausführen und dessen Beziehung zum Endziel erhalten.

Ein früher Fehler kann sich durch die gesamte Episode fortpflanzen. An einer benötigten Ressource vorbeizugehen verhindert die nächste Aktion. Die falsche Route zu wählen verbraucht Schritte und verändert die Sicht des Agenten. Eine spätere Beobachtung kann dann anhand eines bereits falschen internen Zustands interpretiert werden.

Deshalb setzt das Anthropic-MineExplorer-Ergebnis nicht nur Anthropic unter Druck. Claude war das stärkste Modell im Test. Seine Fehlerkurve fungiert daher in diesem speziellen Aufbau als Obergrenze und nicht als Beleg für eine isolierte Claude-Schwäche.

Die Ergebnisse verkomplizieren auch das gängige Narrativ zur Modellskalierung. Das Paper berichtet, dass größere Modelle und dedizierte Denkmodi die Leistung nicht durchgängig verbesserten.

Mehr Parameter können Wahrnehmung oder Schlussfolgern bei einem begrenzten Prompt stärken. Eine dynamische Umgebung verlangt eine weitere Fähigkeit: eine nützliche Ausrichtung zwischen Gedächtnis, aktuellen Beobachtungen und sich verändernden Zielen aufrechtzuerhalten.

Längerer Kontext garantiert diese Ausrichtung nicht. Er kann alte Bilder bewahren, die die gegenwärtige Szene nicht mehr beschreiben. Diese Beobachtungen können mit aktuelleren Hinweisen konkurrieren, statt dem Modell zu helfen.

Die Autoren testeten dieses Problem, indem sie die Anzahl historischer visueller Frames erhöhten. Die Leistung sank schließlich, als veraltete Beobachtungen das Verständnis des Modells für den aktuellen Zustand beeinträchtigten.

Sie untersuchten auch, ob Modelle einfach mehr Zeit benötigten. Erfolglosen Agenten misslangen die Aufgaben weiterhin, selbst wenn Episoden bis zu 1.800 Schritte erlaubten. Lösbare Aufgaben wurden tendenziell früher abgeschlossen, während zusätzliche Interaktionen viele fehlerhafte Sequenzen nicht retteten.

Diese Ergebnisse untergraben zwei einfache Lösungen. Einem Agenten mehr Kontext zu geben ist nicht gleichbedeutend damit, ihm ein besseres Gedächtnis zu geben. Ihm mehr Aktionen zu geben ist nicht gleichbedeutend damit, ihm einen besseren Plan zu geben.

Der Druck betrifft auch Entwickler, die Agenten für Computernutzung, Robotiksysteme und automatisierte Recherchetools bauen. Diese Produkte arbeiten außerhalb eines festen Screenshots. Ihre Umgebungen verändern sich als Reaktion sowohl auf den Agenten als auch auf externe Ereignisse.

Ein Browser-Agent muss möglicherweise einen Datensatz finden, einen Filter ändern, die aktualisierte Seite interpretieren und die endgültige Übermittlung verifizieren. Ein Lagerroboter muss möglicherweise umplanen, nachdem er einen blockierten Gang entdeckt hat. Ein Recherche-Agent muss seine Suche möglicherweise nach dem Auffinden widersprüchlicher Belege überarbeiten.

In jedem Fall verbirgt das sichtbare Ziel vorausgehende Entscheidungen. Ein Modell kann jede isolierte Aktion korrekt ausführen und dennoch an der vollständigen Aufgabe scheitern.

MineExplorer beweist nicht, dass sich Fehlerquoten direkt auf Browser oder Roboter übertragen lassen. Es zeigt, dass Erfolg bei kurzen multimodalen Tests nur begrenzt Sicherheit bietet, sobald sich verborgene Abhängigkeiten anhäufen.

Dieser Unterschied sollte Beschaffungs- und Einsatzentscheidungen beeinflussen. Käufer sollten fragen, wie ein Agent über abgeschlossene Workflows hinweg abschneidet, nicht nur, ob sein Modell Bildschirme erkennt oder plausible nächste Aktionen erzeugt.

Das eigentliche Problem ist Navigation, nicht visuelle Erkennung

Fast 60 % der Fehler von Claude Opus 4.6 wurden der Navigation zugeschrieben, wodurch zustandsbehaftete Bewegung zum deutlichsten Engpass des Benchmarks wird.

Die Fehleranalyse des LongCat-Teams trennt Navigationsfehler von Problemen wie Objektinteraktion oder Aufgabenlogik. Navigation machte fast 60 % der analysierten Fehler aus.

Diese Zahl bedeutet nicht, dass dem Modell einfach Wegbeschreibungen fehlten. Navigation in einer offenen Welt verbindet räumliches Gedächtnis, visuelle Erkennung, Aktionssteuerung und Zielmanagement.

Der Agent muss wissen, wo er sich befindet, sich erinnern, wo er gewesen ist, und feststellen, ob eine Bewegung das beabsichtigte Ergebnis hervorgebracht hat. Er muss zudem entscheiden, wann er eine Route aufgibt oder eine Alternative erkundet.

Ein statischer Sehtest isoliert nur einen Teil dieser Schleife. Das Modell sieht ein Bild und beantwortet eine Frage. Die Szene verändert sich nicht durch seine Antwort, und eine falsche Antwort verzerrt nicht die nächste Beobachtung.

Minecraft erzeugt Rückkopplung. Dreht sich der Agent in die falsche Richtung, enthält sein nächstes Bild andere Hinweise. Bleibt er an einem Hindernis stecken, verbrauchen wiederholte Bewegungsbefehle Zeit, ohne die Aufgabe voranzubringen.

Das Modell muss dann diagnostizieren, ob die Route fehlgeschlagen ist, die Aktion fehlgeschlagen ist oder sein ursprünglicher Plan falsch war. Diese Unterscheidung ist schwierig, wenn Beobachtungen als einzelne Frames statt als stabile interne Karte eintreffen.

Die Fähigkeitswerte von MineExplorer stützen diese Interpretation. Claude Opus 4.6 erhielt einen Wahrnehmungswert von 61,91 und einen Schlussfolgerungswert von 54,71. Bei den meisten bewerteten Modellen übertraf die Wahrnehmung das Handeln, während das Handeln das Schlussfolgern übertraf.

Die Modelle konnten relevante Details häufig identifizieren. Mehr Schwierigkeiten hatten sie damit, diese Details in eine koordinierte Strategie zu überführen, die Umweltveränderungen überstand.

Das führt zu einer wichtigen Umkehrung der üblichen Darstellung multimodaler Fortschritte. Besseres Bildverständnis erweitert, was ein Agent wahrnehmen kann, legt aber zugleich die Schwäche des Planungssystems offen, das diese Beobachtungen verarbeitet.

Ein Modell, das zehn relevante Objekte erkennt, muss immer noch entscheiden, welches jetzt wichtig ist. Es muss diese Wahl mit dem Endziel verbinden und die Verbindung bewahren, nachdem sich die Perspektive verändert hat.

Der Benchmark stützt sich auf den ReAct-Ansatz, der Schlussfolgern mit Aktionen und neuen Beobachtungen verknüpft. Das ursprüngliche ReAct-Framework wurde entwickelt, damit Modelle ihr Schlussfolgern anhand von Rückmeldungen aus der Umgebung überarbeiten können.

MineExplorer zeigt, an welchen Stellen diese Schleife bei längeren Abläufen brechen kann. Das Denken löst sich vom aktuellen Zustand, Handlungen dienen nicht mehr dem ursprünglichen Ziel, oder neue Beobachtungen führen nicht zur nötigen Anpassung.

Navigation verschärft alle drei Probleme. Ein fehlplatzierter Agent sieht die falschen Hinweise, bildet den falschen Zustandsbezug und wählt aus einer beeinträchtigten Position weitere Handlungen.

Das ist ein schwierigeres Problem als das Erzeugen einer längeren Gedankenkette. Ein Agent benötigt eine strukturierte Darstellung persistenter Entitäten, Orte, erreichter Meilensteine, gescheiterter Routen und ungelöster Abhängigkeiten.

Ein roher visueller Verlauf ist dafür ein schwacher Ersatz. Er speichert, was die Kamera gesehen hat, nicht, woran sich der Agent erinnern sollte.

Dieselbe Unterscheidung gilt für Unternehmensagenten. Ein Protokoll aller vorherigen Bildschirme erzeugt nicht automatisch einen verlässlichen Workflow-Zustand. Der Agent muss wissen, welches Formular eingereicht wurde, welcher Filter weiterhin aktiv ist und welche Anforderung noch nicht erfüllt wurde.

Für verkörperte Systeme wird Navigation zugleich zu einem physischen und kognitiven Test. Das Modell muss sich durch den Raum bewegen und dabei die logische Struktur der Aufgabe bewahren.

Der Anteil von 60 % bei den Navigationsfehlern in MineExplorer weist daher auf Arbeit auf Systemebene hin. Bessere lokale Controller, explizite Karten, kausales Gedächtnis, Fortschrittsüberwachung und Wiederherstellungsrichtlinien könnten ebenso wichtig sein wie ein stärkeres Basismodell.

Was der Benchmark misst – und was nicht

MineExplorer bietet einen nützlichen Stresstest, doch seine Ergebnisse bleiben auf eine simulierte Welt und eine von Forschenden definierte Aufgabenverteilung begrenzt.

Das stärkste skeptische Argument betrifft die externe Validität. Minecraft bietet eine dynamische 3D-Welt mit konsistenten Regeln, bildet aber nicht jede Schwierigkeit ab, die in Wohnungen, Fabriken, Büros oder öffentlichen Räumen vorkommt.

Reale Roboter sind mit unsicherer Physik, Sensorrauschen, physischen Schäden und Sicherheitsbeschränkungen konfrontiert. Computer-Use-Agenten treffen auf verborgene Anwendungszustände, Authentifizierungshürden, Pop-ups und sich verändernde Schnittstellen.

Minecraft entfernt viele dieser Komplikationen. Seine Objekte sind diskret, seine Physik wiederholbar und seine Umgebung lässt sich exakt zurücksetzen.

Diese Kontrolle ist zugleich ein Vorteil. Forschende können Modelle unter identischen Bedingungen vergleichen und Fehler nachvollziehen, ohne Geräte oder Nutzer zu gefährden.

Entscheidend ist, MineExplorer als Diagnoseinstrument zu betrachten, nicht als universelle Kennzahl für verkörperte Intelligenz. Ein Ergebnis von 41 % bedeutet nicht, dass Claude 41 % beliebiger realer Workflows abschließen würde.

Auch die Wissensfilterung des Benchmarks erfordert eine genaue Prüfung. Die Autoren verwenden Urteile von Sprachmodellen, um zu klassifizieren, ob atomare Aufgaben hauptsächlich auf allgemeinem Wissen oder auf Minecraft-spezifischen Konventionen beruhen.

Dieser Prozess verringert offensichtliche Störfaktoren durch Spielwissen. Er kann jedoch nicht garantieren, dass jede beibehaltene Aufgabe frei von Vertrautheitseffekten ist.

Modelle, die mit Minecraft-Videos, Anleitungen oder Diskussionen über das Gameplay trainiert wurden, könnten weiterhin gängige Layouts und Verhaltensweisen erkennen. Unterschiedliche Modellfamilien könnten mit unterschiedlich großen Mengen solchen Materials in Kontakt gekommen sein.

Laut dem arXiv-Eintrag befindet sich der Benchmark selbst noch in Entwicklung. Künftige Überarbeitungen könnten Aufgaben, Prompts, Controller oder Evaluierungsverfahren verändern.

Besonders wichtig ist das Controller-Design. Ein multimodales Modell steuert ein Spiel nur selten allein durch abstraktes Denken. Das umgebende Agentensystem übersetzt die Modellausgaben in Bewegungs- und Interaktionsbefehle.

Die Leistung spiegelt daher sowohl das zugrunde liegende Modell als auch seine Systemarchitektur wider. Ein besseres Kartierungssystem oder ein Low-Level-Controller könnte die Ergebnisse verbessern, ohne das Modell zu verändern.

Die Benchmark-Autoren erkennen eine weitere Einschränkung an. MineExplorer konzentriert sich derzeit auf empirische Evaluierung, obwohl seine Infrastruktur auch Training unterstützen kann.

Das Training in der Benchmark-Umgebung schafft ein eigenes Risiko. Sobald Entwickler direkt auf öffentliche Aufgaben optimieren, könnten Fortschritte in der Rangliste eher Spezialisierung auf den Benchmark als allgemeine Exploration widerspiegeln.

Der vollständig offene MineExplorer-Code erleichtert Replikation und Erweiterung. Zugleich werden Fragen zu Kontamination und Overfitting bei späteren Modellveröffentlichungen wichtiger.

Unabhängige Evaluierungen sollten verborgene Testszenarien bewahren. Sie sollten zudem Szenenlayouts, Abhängigkeitsstrukturen, Controller-Implementierungen und Prompt-Formate variieren.

Der historische Kontext stützt diese Vorsicht. MinePlanner veröffentlichte zuvor 45 Minecraft-Aufgaben für Planung über lange Zeithorizonte und stellte fest, dass etablierte Planer mit großen Umgebungen voller Objekte Schwierigkeiten hatten.

Der MinePlanner-Benchmark konzentrierte sich auf propositionale und numerische Planung statt auf interaktive multimodale Exploration. Seine Ergebnisse zeigten dennoch, dass Minecraft Skalierungsprobleme offenlegen kann, die in kleineren Planungsdomänen verborgen bleiben.

Andere Systeme haben Befolgen von Anweisungen, Konstruktion, Gedächtnis und offene Fähigkeiten untersucht. Diese Projekte nutzen dasselbe Spiel für unterschiedliche Fragen, weshalb ihre Schlagzeilenwerte nicht direkt miteinander verglichen werden sollten.

Der spezifische Beitrag von MineExplorer liegt in der Kombination kontinuierlicher visueller Interaktion, verborgener Voraussetzungen, mehrstufiger Aufgabenkonstruktion und regelbasierter Meilensteinbewertung.

Der Anspruch, das „erste“ System zu sein, sollte innerhalb dieser Definition gelesen werden. Minecraft war bereits vor MineExplorer Gegenstand von Forschung zu langen Zeithorizonten. Der Neuheitsanspruch des Teams bezieht sich auf minutengenaue multimodale Exploration in einer offenen Welt unter seiner speziellen Evaluierungsstruktur.

Eine weitere Einschränkung ist das Fehlen einer breiten unabhängigen Reaktion so kurz nach der Veröffentlichung. Die meisten detaillierten Interpretationen stammen derzeit von den Autoren und ihren angeschlossenen technischen Kanälen.

Die gemessenen Ergebnisse können überprüft werden, doch die kausalen Erklärungen bleiben teilweise interpretativ. Der hohe Anteil von Navigationsfehlern isoliert beispielsweise nicht vollständig, ob die Ursache in Kartierung, Gedächtnis, Planung oder Aktionsausführung lag.

Diese Unsicherheiten heben das zentrale Ergebnis nicht auf. Der Erfolg sinkt deutlich, je mehr verborgene Voraussetzungen sich anhäufen. Sie bestimmen, was weitere Experimente voneinander trennen müssen.

Open Sourcing macht MineExplorer zu mehr als einer Rangliste

Die Veröffentlichung ist wichtig, weil Forschende testen können, ob besseres Gedächtnis, Controller oder Trainingsmethoden die Fehlerkurve über lange Zeithorizonte abflachen.

Das Team nutzte einen Multi-Agent-Workflow, um Benchmark-Instanzen zu erstellen. Fünf spezialisierte Agenten arbeiten unter einem Orchestrator zusammen, der ihre Reihenfolge steuert.

Der Workflow beginnt mit einem ersten Aufgabenentwurf. Anschließend diskutieren Spezial- und Validierungsagenten das Design, identifizieren Inkonsistenzen und überarbeiten die Szene, den Abhängigkeitsgraphen und die Meilenstein-Evaluatoren.

Nach der menschlichen Evaluierung der Autoren erhöhte dieser Prozess die Validität der Instanzen gegenüber einer Single-Agent-Baseline um rund 30 Prozentpunkte. Zudem stiegen die Qualitätswerte um etwa 0,5 Punkte, wobei der größte Nutzen bei Vier-Hop-Aufgaben lag.

Die endgültige Veröffentlichung enthält 813 von Menschen verifizierte Instanzen. Eine separate schwierige Teilmenge umfasst 100 Szenarien, die aufgrund ihrer höheren Schwierigkeit ausgewählt wurden.

Diese Generierungspipeline adressiert ein dauerhaftes Benchmark-Problem. Hunderte interaktive Umgebungen manuell zu erstellen, ist langsam, während unbeschränkt modellgenerierte Aufgaben häufig unmögliche Ziele oder fehlerhafte Evaluierungen enthalten.

Die Kombination aus automatisierter Synthese und menschlicher Verifizierung bietet einen Mittelweg. Der Ansatz kann mehr Aufgaben erzeugen und zugleich eine Qualitätssicherung bewahren.

Dieselbe Methode kann Trainingsszenarien erzeugen, nicht nur Testfälle. Forschende können Abhängigkeitsgraphen erstellen, Sandbox-Szenen instanziieren und deterministische Meilensteinprüfungen hinzufügen.

Das ist wichtig, weil Agenten mit langen Zeithorizonten Übung bei Fehlern brauchen, die sich im Zeitverlauf entfalten. Statische visuelle Datensätze können keine Erholung nach einer falschen Abzweigung oder einer übersehenen Voraussetzung vermitteln.

Die offene Infrastruktur lädt zudem zu Alternativen zur End-to-End-Modellskalierung ein. Ein Team kann das Basismodell konstant halten und explizite räumliche Karten, episodisches Gedächtnis, kausale Graphen oder hierarchische Planer testen.

Ein weiteres Experiment könnte die übergeordnete Planung von der Low-Level-Bewegung trennen. Das Modell könnte Ziele auswählen, während ein spezialisierter Controller Hindernisvermeidung und Routenausführung übernimmt.

Forschende können dann fragen, ob Navigationsfehler schwache Intelligenz, schwache motorische Steuerung oder eine instabile Schnittstelle zwischen beiden widerspiegeln.

Der Benchmark könnte auch die Entwicklung von Curricula unterstützen. Agenten könnten mit Ein-Hop-Aufgaben beginnen und dann zu tieferen Abhängigkeitsgraphen übergehen, sobald sich ihre Abschlussrate stabilisiert.

Trainings- und Evaluierungsdaten müssen jedoch getrennt bleiben. Die Wiederverwendung öffentlicher Szenarien würde MineExplorer in einen Gedächtnistest verwandeln.

Das aufschlussreichste künftige Ergebnis wird kein kleiner Gewinn in der Rangliste sein. Es wird ein flacherer Rückgang von Ein-Hop- zu Vier-Hop-Aufgaben sein.

Ein System, das den Gesamterfolg steigert und dabei dieselbe Kollapskurve beibehält, hat seine lokale Kompetenz verbessert. Ein System, das seine Leistung trotz tieferer Abhängigkeiten erhält, hat die Koordination über lange Zeithorizonte verbessert.

Diese Unterscheidung sollte die künftige Berichterstattung prägen. Die gesamte Erfolgsrate bei Aufgaben verdichtet mehrere Verhaltensweisen zu einer Zahl. Die hop-spezifische Leistung zeigt, wo der Agent nicht mehr zuverlässig funktioniert.

Die offene Veröffentlichung gibt externen Teams die Werkzeuge, diese Behauptungen zu testen. Sie ermöglicht ihnen zudem, schwierigere Evaluierungen vorzuschlagen, ohne den gesamten Minecraft-Stack neu aufbauen zu müssen.

Was nach dem Anthropic-MineExplorer-Ergebnis zu beobachten ist

Die nächste Phase sollte sich auf unabhängige Replikation, verbesserte Navigationssysteme und stabile Leistung bei ungesehenen Multi-Hop-Aufgaben konzentrieren.

Das erste Signal ist die unabhängige Reproduktion des Gesamtergebnisses von 41 % und des Rückgangs von 77 % auf 12 %. Forschende sollten Claude Opus 4.6 und andere Modelle unter dokumentierten Einstellungen für Controller, Prompts und Umgebung erneut testen.

Eine enge Reproduktion würde die Behauptung stärken, dass verborgene Voraussetzungen ein allgemeines Fehlermuster verursachen. Große Unterschiede würden darauf hindeuten, dass die Systemarchitektur der Agenten stärker beiträgt, als die anfängliche Rangliste erkennen lässt.

Das zweite Signal ist, ob explizite Zustands- und Navigationssysteme die dominierende Fehlerkategorie reduzieren. Sinnvolle Experimente sollten rohe Bildverläufe mit Karten, strukturiertem Gedächtnis, kausalen Aufgabengraphen und Routen-Wiederherstellungsrichtlinien vergleichen.

Eine aussagekräftige Verbesserung würde Navigationsfehler reduzieren, ohne die Leistung beim Denken oder Handeln zu beeinträchtigen. Eine bloße Vergrößerung des Kontextfensters würde die zentrale Kritik des Benchmarks nicht beantworten.

Das dritte Signal ist die Leistung neuerer Modelle bei zurückgehaltenen Vier-Hop-Szenarien. Entwickler sollten den Aufgabenerfolg nach Hop-Anzahl berichten, nicht nur einen Gesamtdurchschnitt.

Ein Modell, das bei Ein-Hop-Aufgaben höher punktet, bei Vier-Hop-Aufgaben jedoch nahe 12 % bleibt, hat die Lücke bei langen Zeithorizonten nicht geschlossen. Stärkere Ergebnisse bei ungesehenen Abhängigkeitsstrukturen würden bessere Belege für allgemeine Exploration liefern.

Leser sollten zudem darauf achten, ob Modellentwickler MineExplorer oder verwandte Evaluierungen in offiziellen System Cards übernehmen. Eine Aufnahme würde signalisieren, dass lang andauernde multimodale Interaktion zu einem Standardziel für Fähigkeiten wird.

Für Entwickler ist die praktische Lehre bereits klar. Bewerten Sie einen Agenten nicht nur anhand isolierter Handlungen oder überzeugender Demonstrationen.

Testen Sie vollständige Workflows mit verborgenen Voraussetzungen, sich verändernden Zuständen und Erholungsmöglichkeiten. Messen Sie, an welcher Stelle der Agent sein Ziel aus den Augen verliert, und unterscheiden Sie Wahrnehmungsfehler von Fehlern bei Navigation, Denken und Steuerung.

Unternehmenskäufer sollten dieselben Nachweise verlangen. Die Benchmark-Platzierung eines Modells sagt wenig darüber aus, ob ein integrierter Agent einen mehrstufigen Prozess zuverlässig abschließen kann.

MineExplorer entscheidet die Debatte über verkörperte KI nicht. Es liefert eine reproduzierbare Methode, eine Schwäche schwerer zu ignorieren.

Das Anthropic-MineExplorer-Ergebnis ist besonders aufschlussreich, weil Claude Opus 4.6 den ersten Platz belegte. Das stärkste getestete Modell verlor 65 Prozentpunkte, als die Aufgabentiefe von einem auf vier Hops stieg.

Das ist die zentrale Umkehr des Benchmarks. Aktuelle multimodale Modelle können eine Welt oft beschreiben, in der sie sich nicht zuverlässig zurechtfinden können.

Der nächste glaubwürdige Meilenstein für Agenten ist daher nicht noch eine perfekte Antwort auf einen Screenshot. Es sind nachhaltige Fortschritte in einer unbekannten Umgebung – einschließlich der Fähigkeit, einen Fehlweg zu erkennen und umzukehren, bevor die Aufgabe endet.