OpenAI erklärt, wie zwei API-Einstellungen den ARC-AGI-3-Score von GPT-5.6 Sol verdreifachten

OpenAI änderte zwei API-Einstellungen und verdreifachte damit nahezu den öffentlichen ARC-AGI-3-Score von GPT-5.6 Sol – von 13,3 % auf 38,3 %. Die Darstellung von OpenAI konzentriert sich darauf, wie beibehaltenes Reasoning und Kompaktierung, zwei über die Responses API verfügbare Optionen zur Kontextverwaltung, diesen Anstieg ermöglichten. Zusammen reduzierten sie laut OpenAI zudem die Output-Tokens um den Faktor sechs.

Dieses Ergebnis verkompliziert die übliche Interpretation eines KI-Benchmarks. Das getestete Modell erhielt weder neues Training noch ein größeres Reasoning-Budget oder ein spielspezifisches Tool. Stattdessen änderte OpenAI das Harness, also die Softwareschicht, die Beobachtungen, Aktionen und den Gesprächsverlauf zwischen Modell und Benchmark übermittelt.

Der zentrale Gegensatz lautet daher nicht GPT-5.6 Sol gegen ein anderes Modell. Es geht um ein generisches, standardisiertes Harness gegenüber einem modellbewussten Produktions-Harness. Das eine begünstigt Vergleichbarkeit und setzt Agenten derselben grundlegenden Schnittstelle aus. Das andere bewahrt den Zustand, den die Reasoning-Modelle von OpenAI laut Unternehmen für lange, interaktive Arbeit benötigen.

Diese Unterscheidung ist wichtig, weil ARC-AGI-3 nicht nach einer einzigen finalen Antwort fragt. Der Benchmark präsentiert unbekannte Spiele ohne Anweisungen in natürlicher Sprache. Agenten müssen die Regeln jedes Spiels erschließen, dessen Ziel entdecken, Hypothesen testen, Fehlschläge erinnern und sich über viele Aktionen hinweg anpassen.

Ein System, das sein Reasoning nach jedem Zug vergisst, steht vor einer anderen Aufgabe als eines, das einen sich entwickelnden Plan bewahren kann. Ebenso erlebt ein Agent, der seine ältesten Beobachtungen verliert, sobald sich der Kontext füllt, nicht dasselbe Spiel wie einer, der eine kompakte Zusammenfassung erhält.

Das Ergebnis von OpenAI entscheidet nicht, welches Harness die fairste Rangliste erzeugt. Es zeigt jedoch, dass das Harness-Design die gemessene Fähigkeit stärker verändern kann als viele Modell-Upgrades. Dadurch geraten Benchmark-Betreiber, Modellentwickler und Enterprise-Evaluierungsteams unter Druck, das gesamte getestete System zu dokumentieren.

Wie OpenAI den Score-Sprung erklärt

Das Modell blieb gleich, während sich sein Speicherpfad änderte.

OpenAI veröffentlichte seine Analyse am 29. Juli 2026, nachdem das Unternehmen unerwartet schwache Ergebnisse von GPT-5.6 Sol untersucht hatte. Die anfängliche Sorge war naheliegend. Ein Modell, das schwierige Mathematik und lange Spielsitzungen bewältigt hatte, schien in schlicht wirkenden zweidimensionalen Umgebungen wirkungslos zu sein.

Die ursprüngliche Abweichung betraf mehrere Score-Werte. OpenAI stellte fest, dass GPT-5.6 Sol einen gesamten ARC-AGI-3-Score von 7,8 % erreicht hatte, während GPT-5.5 bei 0,4 % lag. Auf dem öffentlichen Aufgabensatz, den das Unternehmen für seinen kontrollierten Vergleich nutzte, erzielte GPT-5.6 Sol mit dem offiziellen Harness 13,3 %.

OpenAI baute die Evaluierung anschließend über seine Responses API neu auf. Das überarbeitete Harness behielt Reasoning zwischen Aktionen bei und ersetzte gleitende Kürzung durch Kompaktierung. Laut der Benchmark-Analyse des Unternehmens erhöhte diese Konfiguration den Score des öffentlichen Satzes auf 38,3 %.

Der Score nutzt Relative Human Action Efficiency, kurz RHAE. Diese Kennzahl vergleicht erfolgreichen Fortschritt mit der Anzahl der Aktionen, die Menschen benötigen. Ein Agent erhält weniger Anerkennung, wenn er eine Aufgabe ineffizient löst; blinde Exploration und wiederholte Fehler verursachen daher messbare Kosten.

OpenAI schätzte, dass durchschnittliche menschliche Tester auf derselben Grundlage 48 % erzielten. Diese Schätzung beruhte auf offiziellen Gameplay-Protokollen und ist keine Behauptung, dass jeder Mensch 48 % erreicht. ARC Prize beschreibt 100 % separat als den Score für das Bewältigen jedes Spiels mit derselben Effizienz wie die menschliche Vergleichsbasis.

Das Ergebnis von 38,3 % schloss die Lücke zum Menschen daher nicht. Es brachte GPT-5.6 Sol jedoch deutlich näher an den von OpenAI geschätzten durchschnittlichen Tester. Noch wichtiger: Dies geschah ohne ein Modell-Update.

Die Feststellung zu Output-Tokens fügt eine weitere Umkehrung hinzu. Ein längeres Gedächtnis könnte teurer erscheinen, weil der Agent mehr Kontext mitführt. Dennoch berichtet OpenAI, dass die überarbeitete Konfiguration sechsmal weniger Output-Tokens verwendete. Das Modell benötigte weniger Output, um Regeln und Pläne, die es bereits entwickelt hatte, wiederholt zu rekonstruieren.

Eine Spielwiederholung liefert ein konkretes Beispiel. OpenAI zeigte eine Umgebung, in der kein Frontier-Modell auf der relevanten Rangliste über das erste Level hinaus gelangte. Das überarbeitete Responses-API-Harness ermöglichte GPT-5.6 Sol Berichten zufolge, alle sechs Level abzuschließen.

Die verifizierten Ergebnisse von ARC Prize liefern nützlichen Kontext. Die GPT-5.6-Scorecard führt Sol bei maximalem Reasoning mit einem semi-privaten ARC-AGI-3-Score von 7,78 % auf. Sie verzeichnet außerdem ein Ergebnis von 87 % beim öffentlichen Spiel FT09, dem ersten öffentlichen ARC-AGI-3-Spiel, das von einem Modell gewonnen wurde.

Diese Werte beschreiben unterschiedliche Sätze und Evaluierungsperspektiven; Leser sollten sie daher nicht zu einer einzigen Leistungskennzahl zusammenführen. Der kontrollierte Vergleich von 13,3 % zu 38,3 % ist die relevante Evidenz für die Behauptung von OpenAI zu den zwei Einstellungen.

Diese Unterscheidung wird in der Benchmark-Berichterstattung leicht übersehen. Ein Experiment auf einem öffentlichen Satz, ein semi-privater verifizierter Score und ein Ergebnis in einem einzelnen Spiel beantworten unterschiedliche Fragen. Das Experiment von OpenAI fragt konkret, wie sich ein Modell verhält, wenn das Harness mehr von seinem Arbeitszustand bewahrt.

Die Antwort ist bemerkenswert, aber begrenzt. Beibehaltenes Reasoning und Kompaktierung verbesserten dieses Modell auf diesem öffentlichen Aufgabensatz unter der Implementierung von OpenAI. Das Ergebnis belegt keinen identischen Gewinn für jedes Modell, jeden Agenten, jede Kontextlänge oder jede Produktions-Workload.

Das offizielle Harness testete auch Vergesslichkeit

ARC-AGI-3 maß den Agenten und die ihn umgebende Informationsarchitektur.

ARC-AGI-3 unterscheidet sich von statischen Benchmarks, bei denen ein Modell eine Frage erhält und eine Antwort zurückgibt. Es besteht aus interaktiven Umgebungen, die wiederholte Wahrnehmung, Planung, Aktion und Korrektur erfordern. Seine Benchmark-Übersicht betont Zielerfassung, anpassungsfähige Weltmodelle, langfristige Planung und erfahrungsbasiertes Lernen.

Der Benchmark enthält keine Anweisungen in natürlicher Sprache, die die einzelnen Spiele erklären. Ein Agent erhält eine Darstellung des aktuellen Frames und eine Reihe möglicher Aktionen. Er muss bestimmen, welche Objekte relevant sind, wie Aktionen die Umgebung verändern und was als Fortschritt gilt.

Diese Anlage macht Gedächtnis zu einem Teil der bewerteten Fähigkeit. Eine nützliche Hypothese kann nach mehreren fehlgeschlagenen Aktionen entstehen. Eine spätere Beobachtung kann diese Hypothese bestätigen oder widerlegen. Löscht das Harness das Reasoning, das diese Ereignisse verbindet, muss der Agent seine Interpretation aus einer dünneren Aufzeichnung neu aufbauen.

OpenAI stellte fest, dass das offizielle Harness privates Reasoning nach jeder Spielaktion verwarf. Das Modell konnte frühere Züge und kurze Notizen weiterhin sehen. Es konnte jedoch nicht auf die Pläne, Entdeckungen oder Annahmen zugreifen, die zu diesen Zügen geführt hatten.

Das Harness verwendete zudem gleitende Kürzung. Sobald die Unterhaltung 175.000 Zeichen überschritt, entfernte es die ältesten Nachrichten. Lange Durchläufe konnten somit frühe Beobachtungen und Aktionen löschen, auch wenn diese Ereignisse für das aktuelle Level weiterhin relevant waren.

Diese Verhaltensweisen waren beabsichtigte Folgen eines generischen Designs und kein Hinweis auf einen fehlerhaften Benchmark. ARC Prize bevorzugt ein relativ einfaches Harness, weil es Modellgrenzen offenlegt und Vergleiche zwischen Anbietern unterstützt. Kommerzielle Deployments verwenden häufig anbieterspezifische Funktionen, die sich nicht sauber zwischen APIs abbilden lassen.

Daraus entsteht der Hauptgegensatz des Artikels: standardisierte Evaluierung gegenüber produktionsnaher Evaluierung.

Ein standardisiertes Harness fragt, welches Modell über eine gemeinsame Schnittstelle hinweg am besten abschneidet. Dieser Ansatz begrenzt Sonderbehandlung und verringert die Wahrscheinlichkeit, dass die private Optimierung eines Anbieters den Vergleich dominiert.

Ein produktionsnahes Harness fragt, wie gut ein Modell abschneidet, wenn es so eingesetzt wird, wie sein Ersteller es empfiehlt. Dieser Ansatz ähnelt realen Anwendungen, kann jedoch die Grenze zwischen Modellfähigkeit und Systemengineering verwischen.

Keine der beiden Fragen ist bedeutungslos. Sie erzeugen lediglich unterschiedliche Messwerte.

Bedenken entstehen, wenn ein Ranglisten-Score als Eigenschaft des Modells allein dargestellt wird. Wenn ein Harness wiederholt Zustand löscht, den ein anderes Modell voraussichtlich beibehalten soll, misst der Test auch die Kompatibilität zwischen Modelltraining und Evaluierungsinfrastruktur.

ARC Prize hat eingeräumt, wie schwierig die Umgebungen weiterhin sind. Sein technischer Bericht besagt, dass Menschen 100 % der getesteten Umgebungen lösten, während Frontier-Systeme im März 2026 unter 1 % lagen. Der Benchmark wurde entwickelt, um eine große Lücke bei adaptiver Effizienz offenzulegen.

Die späteren Scores von GPT-5.6 Sol zeigen Fortschritt, insbesondere bei einzelnen öffentlichen Spielen. Ein Ergebnis von 38,3 % auf dem öffentlichen Satz lässt jedoch weiterhin erheblichen Raum bis zur menschlichen Effizienz. Zudem stammt es aus dem Harness und der Analyse des Modellentwicklers selbst.

Die Lehre lautet nicht, dass ARC-AGI-3 leicht geworden ist. Sie lautet, dass ein interaktiver Benchmark neben Planung und Exploration versehentlich auch künstliche Amnesie testen kann.

Dieses Problem reicht über Spiele hinaus. Coding-Agenten müssen Architekturentscheidungen über Tool-Aufrufe hinweg erinnern. Research-Agenten müssen bewahren, welche Quellen eine Behauptung stützen oder ihr widersprechen. Kundendienstsysteme müssen Einschränkungen erhalten, die früh in einem Gespräch eingeführt wurden.

Ein Enterprise-Team, das diese Systeme bewertet, indem es ihren internen Zustand wiederholt verwirft, könnte ihre nützliche Leistung unterschätzen. Ein Team, das unbegrenzte anbieterspezifische Optimierung zulässt, könnte Ergebnisse erzeugen, die schwer vergleichbar oder reproduzierbar sind.

Die bessere Reaktion ist umfassendere Offenlegung. Ein Benchmark-Bericht sollte Modellversion, Reasoning-Aufwand, Kontextpolitik, beibehaltene Response-Items, Kompaktierungsverhalten, Prompt, Tools, Aktionsbudget und Bewertungsmethode benennen. Ohne diese Angaben fehlt einem Score wesentlicher operativer Kontext.

Beibehaltenes Reasoning verhindert, dass der Agent von vorn beginnt

Das Bewahren von Reasoning gab GPT-5.6 Sol Kontinuität über Aktionen hinweg und verringerte wiederholte Interpretationsarbeit.

Reasoning-Modelle erzeugen interne Reasoning-Items, bevor sie sichtbaren Text oder Tool-Aufrufe produzieren. Diese Items sind nicht dasselbe wie eine nutzerseitige Erklärung. Sie bilden während einer mehrstufigen Interaktion einen Teil des Arbeitszustands des Modells.

Im von OpenAI untersuchten offiziellen Harness beendete jede Spielaktion diesen Zustand praktisch. Die nächste Anfrage enthielt frühere Züge und kurze Notizen, verwarf jedoch das Reasoning, das sie verband. GPT-5.6 Sol stand wiederholt vor derselben Interpretationslast.

Stellen Sie sich einen Agenten vor, der ein Raster mit farbigen Objekten erkundet. Er prüft, ob eine Farbe Hindernisse markiert, und entdeckt dann, dass sich dieselbe Farbe nach einem erfolgreichen Zug verändert. Diese Beobachtung könnte seine erste Theorie widerlegen und eine neue Regel begründen.

Ein Zugprotokoll zeichnet auf, worauf der Agent geklickt hat. Es bewahrt nicht zwangsläufig, warum der Agent klickte, welche Alternativen er verwarf oder was der resultierende Frame nahelegte. Diese Details können darüber entscheiden, ob die nächste Aktion eine Strategie voranbringt oder einen früheren Fehler wiederholt.

OpenAI nutzte die Responses API und übergab die Kennung der vorherigen Response zwischen den Zügen. Die aktuelle Modellanleitung erklärt, dass GPT-5.6 verfügbare Reasoning-Items über mehrere Züge hinweg wiederverwenden kann. Entwickler können außerdem über Einstellungen für den Reasoning-Kontext steuern, wie viel früheres Reasoning relevant bleibt.

Laut OpenAI veränderte beibehaltenes Reasoning das Verhalten von GPT-5.6 Sol auf zwei Arten. Das Modell verbrachte vor jeder Aktion weniger Zeit mit Nachdenken und nutzte über längere Durchläufe hinweg kohärentere Strategien. Es musste das Spiel nicht mehr nach jedem Zug von Anfang an neu interpretieren.

Das erklärt, wie der Tokenverbrauch sinken konnte, während der beibehaltene Zustand wuchs. Ausgabe-Tokens umfassen die neu generierten Schlussfolgerungen und Antworten des Modells. Wenn frühere Erkenntnisse verfügbar bleiben, kann das Modell vermeiden, erneut eine lange Rekonstruktion zu erzeugen.

Der Unterschied ähnelt dem zwischen einem Projektteam, das Entscheidungsprotokolle führt, und einem Team, das nur eine Liste erledigter Aufgaben erhält. Die Aufgabenliste zeigt, was passiert ist. Sie bewahrt jedoch nicht die verworfenen Optionen, Einschränkungen oder Belege, die den aktuellen Plan geprägt haben.

Für Wissensarbeiter tritt dasselbe Problem auf, wenn ein KI-Assistent eine umfangreiche Untersuchung bearbeitet. Jedes abgerufene Dokument verändert die Arbeitshypothese. Wenn das System nur Links und kurze Antworten bewahrt, können spätere Schlussfolgerungen die Begründung verlieren, die diese Quellen relevant machte.

Hier kann eine externe durchsuchbare Wissensdatenbank den Modellkontext ergänzen. Dauerhafte Quellennachweise sollten überprüfbar bleiben, selbst wenn ein Agent seinen temporären Arbeitszustand verdichtet.

Beibehaltene Schlussfolgerungen bringen weiterhin Zielkonflikte mit sich. Alte Überlegungen können veralten, nachdem sich die Aufgabe geändert hat. Eine falsche frühe Theorie kann spätere Schritte beeinflussen, wenn das System sie nie als verworfen kennzeichnet. Mehr Speicher ist nicht automatisch besserer Speicher.

Die API-Leitlinien von OpenAI spiegeln dieses Problem wider. Sie ermöglichen Entwicklern, Schlussfolgerungen über alle Turns hinweg beizubehalten, wenn Ziele stabil bleiben, oder sich auf den aktuellen Turn zu konzentrieren, wenn frühere Überlegungen an Relevanz verloren haben. Diese Entscheidung sollte dem Workflow folgen, nicht einer pauschalen Regel.

Die ARC-AGI-3-Spiele bieten ein günstiges Umfeld für Kontinuität. Ziel und Umgebung bleiben über Aktionen hinweg miteinander verbunden, daher sind frühere Hypothesen meist relevant. Ein Supportgespräch, das abrupt das Thema wechselt, stellt ein anderes Problem für das Kontextmanagement dar.

Auch Sicherheits- und Datenschutzrichtlinien beeinflussen die Implementierung. Einige Organisationen können den Antwortverlauf nicht unbegrenzt speichern. Andere verwenden zustandslose oder Zero-Retention-Konfigurationen. Diese Teams müssen die verschlüsselten Reasoning-Elemente und andere Antwortobjekte, die für die Fortsetzung nötig sind, sorgfältig verwalten.

Reasoning beizubehalten beschreibt daher ein Systemverhalten, nicht die Erlaubnis, private Chain-of-Thought-Inhalte offenzulegen. Anwendungen sollten unterstützte Antwortelemente über die API bewahren und Nutzern zugleich prägnante, angemessene Erklärungen präsentieren.

Das Experiment von OpenAI legt zudem eine praktische Evaluierungsfrage nahe. Wenn ein Agent nach dreißig Schritten scheitert, sollten Prüfer untersuchen, ob sein Plan falsch war oder ob das Harness den Zustand entfernt hat, der für die Fortsetzung dieses Plans erforderlich war.

Diese Fehlermodi erfordern unterschiedliche Lösungen. Ein Reasoning-Fehler verlangt nach einem besseren Modell, Prompt oder einer besseren Strategie. Ein Fehler beim Zustandsmanagement verlangt nach anderer Infrastruktur. Beides als Modellintelligenz zu behandeln, verschleiert, wo Engineering-Aufwand hingehört.

Verdichtung bewahrt die Vergangenheit, ohne alles mitzuschleppen

Verdichtung ersetzte die grobe Löschung durch eine kürzere Darstellung des Verlaufs, die weiterhin relevante Informationen enthielt.

Jeder lang laufende Agent stößt irgendwann an eine Kontextgrenze oder eine wirtschaftliche Grenze. Jede Beobachtung, jedes Tool-Ergebnis und jeden Zwischengedanken beizubehalten, kann spätere Anfragen langsamer und weniger fokussiert machen. Das bloße Beibehalten von Reasoning löst kein unbegrenztes Kontextwachstum.

Das offizielle ARC-AGI-3-Harness bewältigte Wachstum durch rollierende Kürzung. Sobald der Verlauf seinen Schwellenwert überschritt, entfernte es den ältesten Inhalt. Diese Richtlinie ist vorhersehbar und anbieterneutral, setzt jedoch voraus, dass alte Informationen weniger wichtig sind, weil sie alt sind.

Interaktive Spiele verletzen diese Annahme. Eine frühe Aktion kann das Ziel enthüllen. Ein Hinweis vom Anfang kann ein Symbol erklären, das viel später auftaucht. Chronologisches Löschen kann grundlegendes Wissen entfernen, während jüngere, aber wiederholte Frames erhalten bleiben.

Verdichtung nutzt eine andere Richtlinie. Sie komprimiert den früheren Kontext zu einer kleineren Darstellung, die den relevanten Zustand bewahrt. Der Agent kann mit einem handhabbaren Kontext weiterarbeiten, ohne jeden ursprünglichen Token mitzuschleppen.

OpenAI zufolge nutzte seine ARC-Implementierung für die Verdichtung ein Limit von 175.000 Tokens. Das offizielle Harness verwendete 175.000 Zeichen für die Kürzung. OpenAI argumentiert, dass diese Schwellenwerte weitgehend vergleichbar waren, weil die Aktionsraster mit ungefähr einem Zeichen pro Token tokenisiert wurden.

Dieses Implementierungsdetail ist wichtig. Hätten sich die Limits deutlich unterschieden, könnte die höhere Punktzahl einen größeren effektiven Kontext statt einer besseren Speicherstrategie widerspiegeln. Der Vergleich von OpenAI versucht, den Schwellenwert ähnlich zu halten und zugleich zu ändern, wie ältere Informationen erhalten bleiben.

Die Dokumentation zur Verdichtung des Unternehmens beschreibt Verdichtung als Möglichkeit, die Kontextgröße während langer Responses-API-Workflows zu reduzieren. Der resultierende verdichtete Zustand kann eine Fortsetzung unterstützen, ohne dass Anwendungen ein unbegrenztes Transkript erneut senden müssen.

Verdichtung ist keine verlustfreie Speicherung. Eine Zusammenfassung kann Details auslassen, Unsicherheit einebnen oder eine falsche Interpretation bewahren. Ihr Wert hängt davon ab, die Informationen auszuwählen, die künftige Aktionen benötigen.

ARC-AGI-3 schafft einen anspruchsvollen Test für diese Auswahl. Der Agent muss entdeckte Regeln, Ziele, Objektbedeutungen, gescheiterte Hypothesen, Level-Fortschritt und geplante Aktionen bewahren. Wiederholte Raster und redundantes Reasoning können weniger Aufmerksamkeit erhalten.

OpenAI berichtet, dass das verdichtete Harness Lernen über längere Durchläufe hinweg bewahrte und weniger Ausgabe-Tokens erzeugte. Die Vergleichsanimation zeigte, dass der überarbeitete Agent pro Aktion weniger nachdachte und sich schneller durch die Spiele bewegte.

Die sechsfach geringere Anzahl an Ausgabe-Tokens ist operativ wichtig, auch ohne über Geldpreise zu sprechen. Ein geringeres Ausgabevolumen kann Latenz reduzieren und Kapazität für mehr Evaluierungen freisetzen. Es kann Agenten-Traces auch leichter überprüfbar machen, sofern der verdichtete Zustand ausreichend aussagekräftig bleibt.

Leser sollten die Zahl jedoch als workloadspezifisch betrachten. ARC-AGI-3 erzeugt wiederholte Textraster und viele sequenzielle Aktionen. Eine Rechtsprüfung, ein medizinischer Workflow oder eine Finanzanalyse können Details enthalten, die sich einer aggressiven Zusammenfassung widersetzen.

Evaluierungsteams sollten die Qualität der Verdichtung getrennt vom finalen Aufgabenerfolg testen. Sie können beibehaltene Einschränkungen, faktische Konsistenz, Wiederherstellung nach Unterbrechungen und die Fähigkeit des Agenten vergleichen, zu erklären, welche Belege eine Entscheidung geprägt haben.

Ein nützlicher Test führt früh eine kritische Tatsache ein, füllt den Kontext mit späterer Aktivität und prüft dann, ob der Agent diese Tatsache korrekt anwendet. Ein weiterer Test ändert mitten im Prozess eine Anforderung und verifiziert, dass die Verdichtung die Überarbeitung statt der ursprünglichen Anweisung bewahrt.

Diese Tests legen einen zentralen Zielkonflikt offen. Rollierende Kürzung bietet transparenten Verlust, weil Prüfer genau wissen, welche Nachrichten verschwunden sind. Verdichtung bietet selektive Kontinuität, doch ihre Auslassungen können schwerer zu erkennen sein.

Für Produktionsagenten passt selektive Kontinuität oft besser zur Aufgabe. Menschen erinnern sich nicht an jeden visuellen Frame oder jeden Satz. Sie pflegen ein Arbeitsmodell, das Ziele, Einschränkungen, Entdeckungen und ungelöste Fragen priorisiert.

Diese Analogie sollte versteckte Fehler nicht entschuldigen. Entwickler benötigen Traces, Replay-Tools und kontrollierte Evaluierungen, um festzustellen, ob die Verdichtung den richtigen Zustand bewahrt hat. Andernfalls kann eine selbstsichere finale Antwort eine fehlende frühe Einschränkung verschleiern.

Das OpenAI-Ergebnis betrifft daher weniger die Vergrößerung eines Kontextfensters. Es geht darum, zu verändern, was erhalten bleibt, wenn das Fenster nicht alles aufnehmen kann.

Was die verdreifachte Punktzahl nicht beweist

Ein von Entwicklern durchgeführtes Experiment mit einem öffentlichen Aufgabensatz kann nicht die fairste universelle Benchmark-Konfiguration bestimmen.

Die Belege von OpenAI stützen eine enge und wertvolle Schlussfolgerung. GPT-5.6 Sol schnitt in der ARC-AGI-3-Implementierung von OpenAI besser ab, wenn Reasoning beibehalten und die rollierende Kürzung durch Verdichtung ersetzt wurde.

Sie beweisen nicht, dass das offizielle Harness ungültig ist. Die offizielle Einrichtung dient einem anderen Ziel: Modellverhalten über eine generische Schnittstelle sichtbar zu machen, die Benchmark-Teilnehmer anbieterübergreifend reproduzieren können.

Anbieterspezifische Funktionen erschweren einen gleichwertigen Vergleich. OpenAI kann seine nativen Reasoning-Elemente über die Responses API beibehalten. Ein anderer Anbieter kann den internen Zustand anders darstellen, andere Fortsetzungssteuerungen bereitstellen oder auf eine andere Speicherarchitektur setzen.

Wenn jedes Unternehmen ein privates Harness optimieren darf, kann aus einer Modell-Benchmark ein Systemwettbewerb werden. Dieses Format kann weiterhin etwas Nützliches messen, insbesondere für Käufer, die vollständige Agentensysteme auswählen. Es isoliert Modellverhalten jedoch nicht mehr so sauber.

Das Ergebnis stammt außerdem aus dem Experiment von OpenAI mit einem öffentlichen Aufgabensatz. Öffentliche Spiele stehen zur Prüfung und Entwicklung bereit, wodurch es mehr Möglichkeiten zur Optimierung des Harness gibt. Semi-private Ergebnisse bieten eine stärkere Kontrolle gegen direkte aufgabenspezifische Anpassungen.

Die verifizierte Bestenliste von ARC Prize führt GPT-5.6 Sol weiterhin mit 7,78 % auf dem semi-privaten Satz bei maximalem Reasoning. Diese Punktzahl liegt vor anderen dort gelisteten Varianten der GPT-5.6-Familie, bleibt jedoch weit unter menschlicher Erfolgsquote und Effizienz.

Die Lücke zwischen 38,3 % im öffentlichen Vergleich von OpenAI und 7,78 % in der verifizierten semi-privaten Evaluierung muss sorgfältig interpretiert werden. Sie widerspricht dem Harness-Befund nicht automatisch, da sich die Aufgabensätze unterscheiden. Sie zeigt jedoch, warum eine Verbesserung auf einem öffentlichen Satz nicht zu einer allgemeinen Behauptung über menschenähnliches Lernen in Spielen werden sollte.

Die Schätzung von OpenAI von 48 % für einen durchschnittlichen menschlichen Tester liefert Kontext, aber keine Gleichwertigkeit. Menschen und Modelle können unterschiedlich scheitern, verschiedene Aktionsmuster nutzen und auf unbekannte Schnittstellen unterschiedlich reagieren. RHAE verdichtet diese Verhaltensweisen zu einer Punktzahl.

Das Experiment kombiniert außerdem zwei Änderungen. Beibehaltenes Reasoning und Verdichtung waren beide im Vergleich mit der Schlagzeilenzahl aktiv. OpenAI beschreibt den Verhaltenseffekt jeder Änderung, doch die veröffentlichten Schlagzeilenzahlen isolieren den Beitrag jeder Einstellung nicht vollständig.

Eine vollständigere Ablationsstudie würde vier Konfigurationen berichten: keine der beiden Einstellungen, nur beibehaltenes Reasoning, nur Verdichtung und beide zusammen. Wiederholte Durchläufe würden helfen, die Varianz zu quantifizieren, insbesondere wenn die Exploration des Agenten unterschiedliche Wege nehmen kann.

Der Vergleich der Ausgabe-Tokens verdient dieselbe Prüfung. Weniger Tokens weisen unter diesem Harness auf höhere Effizienz hin. Sie zeigen weder die Gesamtlatenz noch die Verarbeitung von Eingabe-Tokens, den Verdichtungsaufwand oder den Engineering-Aufwand, der nötig ist, um den Zustand zu erhalten.

Benchmark-Betreiber stehen nun von beiden Seiten unter Druck. Wenn sie generische Harnesses beibehalten, sollten sie erklären, dass Bestenlisten-Ergebnisse Produktionskonfigurationen unterschätzen können. Wenn sie optimierte Harnesses akzeptieren, sollten sie offenlegen, welche Fähigkeiten vom Modell und welche vom umgebenden Code stammen.

Modellanbieter tragen eine parallele Verantwortung. Sie sollten reproduzierbare Konfigurationen, Prompts, Kontextschwellenwerte, Aktionsbudgets und Scorecards veröffentlichen. Eine Behauptung über Einstellungen wird nützlicher, wenn unabhängige Teams sie wiederholen können.

Unternehmenskäufer sollten nicht zwischen generischen und optimierten Tests wählen. Sie benötigen beides.

Ein generischer Test zeigt, wie sich Kandidatenmodelle unter üblichen Einschränkungen verhalten. Ein produktionsrepräsentativer Test zeigt, ob das vollständige System im tatsächlichen Workflow des Käufers erfolgreich ist. Der Unterschied zwischen diesen Ergebnissen misst die Integrationssensitivität.

Diese Sensitivität ist selbst ein Geschäftsrisiko. Ein Modell, das nur mit einem spezialisierten Stack für Zustandsmanagement gut funktioniert, kann schwieriger zu migrieren sein. Ein generisches Harness, das wesentliche Fähigkeiten entfernt, kann Teams aus dem falschen Grund zu einem schwächeren Modell drängen.

Die relevante Frage ist nicht, ob die Benchmark oder OpenAI recht hat. Die Frage ist, welche Systemgrenze jede Punktzahl beschreibt.

Drei Signale, die nach dem ARC-AGI-3-Ergebnis von OpenAI zu beobachten sind

Unabhängige Replikation, semi-private Tests und eine bessere Berichterstattung über Harnesses werden bestimmen, ob das Ergebnis die Evaluierungspraxis verändert.

Das erste Signal wäre eine unabhängige Reproduktion des Zuwachses von 13,3 % bis 38,3 %. Eine glaubwürdige Replikation sollte dieselben öffentlichen Spiele, denselben Reasoning-Aufwand, dieselben Aktionslimits, Kontextschwellen und dieselbe Bewertungsmethode verwenden. Sie sollte außerdem die Variation zwischen einzelnen Durchläufen berichten.

Eine Replikation würde OpenAIs Aussage stärken, dass die Zustandsverwaltung einen großen Teil der beobachteten Leistungslücke erklärt. Ein deutlich geringerer Zuwachs würde dagegen nahelegen, dass undokumentierte Implementierungsdetails, Prompting oder Entscheidungen der Evaluatoren stärker beigetragen haben als die beiden genannten Einstellungen.

Das zweite Signal wäre eine halbprivate Evaluierung mit erhaltenem Reasoning und Kompaktierung. Öffentliche Aufgaben helfen Entwicklern bei der Diagnose von Verhalten, doch unbekannte oder eingeschränkte Umgebungen bieten einen stärkeren Test der Generalisierungsfähigkeit. Ähnliche Zuwächse dort würden zeigen, dass die Verbesserung des Harness über vertraute öffentliche Spiele hinaus übertragbar ist.

Ein geringer halbprivater Zuwachs würde die weitreichende Interpretation schwächen. Er könnte darauf hindeuten, dass besseres Gedächtnis dem Modell hilft, bekannte Strategien auszuführen, ohne die tieferliegende Herausforderung zu lösen, neue Ziele und Regeln zu erschließen.

Das dritte Signal wäre ein Wandel bei den Offenlegungsstandards für Benchmarks. Künftige Ranglisten sollten neben den Ergebnissen auch Richtlinien zum Kontextmanagement veröffentlichen. Berichte sollten angeben, ob Reasoning-Elemente zwischen Aktionen erhalten blieben, wie ältere Historie entfernt oder kompaktiert wurde und welche anbieterspezifischen Funktionen aktiviert waren.

Diese Berichterstattung würde Lesern den Vergleich zweier nützlicher Perspektiven ermöglichen. Die eine misst Modelle über eine standardisierte Schnittstelle. Die andere misst vollständige Systeme, die gemäß den Vorgaben des jeweiligen Anbieters konfiguriert sind.

Entwickler sollten bei ihren eigenen Evaluierungen dieselbe Disziplin anwenden. Bewahren Sie die Baseline, bevor Sie Einstellungen ändern. Testen Sie anschließend erhaltenes Reasoning, Kompaktierung und deren Kombination getrennt auf repräsentativen Arbeitslasten.

Messen Sie mehr als nur den finalen Erfolg. Verfolgen Sie Output-Tokens, das Wachstum der Eingabe, Latenz, wiederholte Aktionen, die Einhaltung von Einschränkungen, die Erholung nach gescheiterten Hypothesen und Fehler durch veraltetes Gedächtnis. Ein höherer Score kann neue Fehlermodi verbergen, wenn die Evaluierung nur den Endpunkt betrachtet.

Teams sollten außerdem prüfen, wo Kontinuität hilft. Lange Programmieraufgaben, interaktive Recherche, Browser-Agenten und mehrstufige Analysen hängen oft von angesammelten Erkenntnissen ab. Kurze Klassifizierungs- oder Extraktionsanfragen profitieren möglicherweise kaum von persistentem Reasoning.

Die Erkenntnis von OpenAI ist eine klare Warnung: Eine Agenten-Evaluierung kann das Modell für Speicherregeln bestrafen, die vom Evaluator auferlegt wurden. Sie kann das Modell aber auch durch Infrastruktur begünstigen, die Wettbewerber nicht reproduzieren können.

Der nächste sinnvolle Schritt besteht nicht darin, einen der beiden Harnesses für korrekt zu erklären. Stattdessen sollten beide ausgeführt, präzise bezeichnet und mit genügend Details veröffentlicht werden, damit andere den Unterschied verstehen können.

Für alle, die einen langfristig laufenden Agenten entwickeln, ist die unmittelbare Frage praktisch: Bewahrt Ihr System die Ziele, Belege und verworfenen Hypothesen, die die nächste Aktion benötigt? Testen Sie diese Kontinuität, bevor Sie dem Modell die Schuld geben, und erneut nach jeder Änderung an der Kompaktierungs- oder Kontextrichtlinie.