Das Rennen zwischen Anthropic und GPT spaltet die Benchmarks, während Astra die AGI-Uhr zurücksetzt

OpenAIs GPT-6 Astra erreichte in einem Modellindex 169 Punkte, in einem anderen jedoch nur 61 – und verschärft damit die Rivalität zwischen Anthropic und GPT um die Benchmark-Führung. Epoch AI setzte Astra unter 267 bewerteten Modellen auf Platz eins. Artificial Analysis rangierte es dagegen hinter Anthropics Claude Fable 5.1.

Diese Uneinigkeit würde normalerweise zu einem weiteren uneindeutigen Modellstart führen. Astras Ergebnis bei ARC-AGI-3 macht diesen Fall jedoch schwerer abzutun. Das Modell erzielte mit dem Standard-Harness von ARC Prize 62,7 Prozent, nach den berichteten 7,8 Prozent von GPT-5.6 Sol.

Laut der Bewertung von ARC Prize absolvierte Astra die interaktiven Aufgaben zudem mit höherer Aktionseffizienz als ein durchschnittlicher Mensch. François Chollet sagte, die Fortschritte seien etwa doppelt so schnell erfolgt wie von ihm erwartet. Eine Erklärung zur AGI gab er dennoch nicht ab.

Die zentrale Frage ist daher nicht, ob eine Rangliste den falschen Sieger gewählt hat. Sie lautet, ob die heutigen Benchmarks überhaupt dieselbe Art von Intelligenz messen. Der Wettbewerb zwischen Anthropic und GPT stellt nun breite Testergebnisse adaptiver Effizienz in unbekannten Umgebungen gegenüber.

GPT-6 Astra lieferte zwei widersprüchliche Urteile

Astras Start machte die Modellrangfolge zu einem Streit darüber, was Evaluatoren überhaupt messen wollen.

OpenAI stellte GPT-6 Astra am 3. September 2026 vor. Das Unternehmen positionierte es als Modell für Computernutzung, Browsing, Softwareentwicklung, Wissenschaft, Cybersicherheit und professionelle Arbeit.

Die Astra-Ankündigung beschrieb Spitzenresultate in mehreren vom Unternehmen ausgewählten Bewertungen. OpenAI berichtete zudem von 99,9 Prozent bei ARC-AGI-3, erzielt über ein anbieterspezifisches Bewertungs-Setup.

Unabhängige Aggregatwerte zeichneten ein weniger stimmiges Bild. Der Capability Index von Epoch AI gab Astra 169 Punkte – vor Claude Fable 5.1 mit 163. GPT-5.6 Sol und Claude Opus 5 erhielten jeweils 162.

Der Index von Epoch kombiniert Ergebnisse aus zahlreichen Fähigkeitsbereichen. Dazu gehören Mathematik, Wissenschaft, Wissen, Programmierung und andere anspruchsvolle Aufgaben. Sein Wert soll breite Fortschritte zusammenfassen, statt eine einzelne eng abgegrenzte Fähigkeit zu isolieren.

In diesem Gesamtwert führt Astra. Das Ergebnis stützt OpenAIs Argument, dass das Modell einen bedeutenden Generationswechsel darstellt. Es deutet zudem darauf hin, dass Astras stärkste Verbesserungen in Bereichen liegen, die im Bewertungsmix von Epoch besonders gewichtet werden.

Artificial Analysis kam zu einem anderen Ergebnis. Sein Intelligence Index gab Astra 61 Punkte, gleichauf mit GPT-5.6 Sol. Claude Fable 5.1 führte den Vergleich mit 66 an, während Claude Opus 5 auf 63 kam.

Der Modellvergleich umfasst Wissen, Programmierung, Mathematik und Textverständnis. Seine Zusammensetzung und Testverfahren unterscheiden sich vom Index von Epoch. Die daraus resultierenden Zahlen können nicht als zwei Messungen desselben Objekts behandelt werden.

Auch Astras Einzelergebnisse fielen uneinheitlich aus. In mehreren agentischen und wissenschaftlichen Aufgaben verbesserte es sich deutlich. Artificial Analysis verzeichnete dennoch schwächere Leistungen in Bereichen, die Langkontext-Reasoning und bestimmte professionelle Bewertungen umfassten.

Ein ähnlich gemischtes Bild ergab sich beim Programmieren. Astra erreichte Berichten zufolge 67 im Coding Agent Index, während Claude Fable 5.1 auf 70 kam. In vergleichbaren Tests benötigte Astra deutlich weniger Reasoning-Schritte als mehrere Konkurrenzmodelle.

Diese Effizienz ist wichtig, weil die praktische Belastung eines Modells über seinen veröffentlichten Tokenpreis hinausgeht. Ein Modell, das weniger Tokens, weniger Aktionen oder weniger Zeit benötigt, kann trotz eines niedrigeren Schlagzeilenwerts vorzuziehen sein.

Der Start erzeugte daher zwei legitime, aber unvollständige Erzählungen. Epoch sagt, Astra verfüge über das stärkste breite Fähigkeitsprofil. Artificial Analysis sagt, dass es nicht über eine feste Sammlung gängiger Reasoning-Aufgaben hinweg führt.

Keines der beiden Urteile entscheidet allein, welches Modell für Entwickler oder Unternehmen am besten ist. Ein Softwareteam schätzt reproduzierbare Programmierleistung. Eine Forschungsgruppe könnte mathematisches Reasoning, Tool-Nutzung oder neuartige Problemlösung priorisieren.

Auch der Zeitpunkt begrenzt belastbare Schlussfolgerungen. Bei Erscheinen des frühen Vergleichs hatte Epoch für Astra weniger erfasste Programmierbewertungen als für einige etablierte Modelle. Mindestens ein verfügbares Astra-Programmierdurchlauf nutzte eine mittlere Reasoning-Einstellung.

Frühe Ranglisten vermischen oft ausgereifte Ergebnisse mit unvollständiger Abdeckung. Neue Modelle erhalten nach dem Start zusätzliche Tests, Harness-Updates und Konfigurationsänderungen. Rankings können sich verschieben, selbst wenn das zugrunde liegende Modell unverändert bleibt.

Das macht den Kontrast zwischen 169 und 61 aufschlussreich, nicht absurd. Die Zahlen offenbaren unterschiedliche Bewertungsprioritäten. Sie warnen Käufer zudem davor, einen beliebigen Aggregatwert als universelles Maß für Intelligenz zu behandeln.

Der Wettbewerb zwischen Anthropic und GPT sieht je nach zentraler Arbeitslast anders aus. Claude führt den breiteren textorientierten Index von Artificial Analysis. Astra führt den aktuellen Gesamtindex von Epoch und erzielt ungewöhnliche Fortschritte beim interaktiven Reasoning.

Die folgenreichere Frage beginnt dort, wo beide Aggregatindizes weniger aussagekräftig werden. ARC-AGI-3 fordert ein Modell nicht dazu auf, eine Antwort abzurufen oder eine vertraute Programmieraufgabe zu erledigen. Es fordert das System dazu auf, herauszufinden, wie eine unbekannte Welt funktioniert.

ARC-AGI-3 veränderte die Bedeutung des Vergleichs

Astras stärkstes Ergebnis betrifft Anpassung unter Unsicherheit, nicht gewöhnliche Fragebeantwortung.

ARC-AGI-3 bewertet Agenten in unbekannten interaktiven Umgebungen. Ein System muss erkunden, Regeln ableiten, Beobachtungen speichern, Aktionen planen und Ziele erkennen, ohne gewöhnliche Aufgabenanweisungen zu erhalten.

Der Benchmark begrenzt die Abhängigkeit von auswendig gelernten Fakten und Sprachwissen. Seine Umgebungen funktionieren eher wie kleine unbekannte Spiele als wie konventionelle Prüfungen. Erfolg erfordert Lernen durch Interaktion statt das Wiedererkennen eines vertrauten Prompt-Musters.

Diese Unterscheidung ist wichtig, weil große Sprachmodelle durch umfangreiche vorherige Exposition gute Ergebnisse erzielen können. Ein Benchmark, der auf unbekannten Umgebungen basiert, versucht diesen Vorteil zu verringern. Er testet, ob ein System während der Bewertung nützliches Verhalten erwerben kann.

Der ARC-AGI-3-Bericht beschrieb Erkundung, Planung, Gedächtnis, Zielerwerb und Alignment als zentrale Anforderungen. Als der Benchmark im März 2026 erschien, erzielten getestete Frontier-Systeme weniger als 1 Prozent.

Menschen konnten jede bewertete Umgebung ohne aufgabenspezifisches Training lösen. Die menschlichen Problemlöser waren nicht gleich schnell oder effizient, doch der Benchmark belegte, dass jede Umgebung durch Interaktion verständlich war.

Sechs Monate später erreichte Astra im halbprivaten Set mit dem Standard-Harness von ARC Prize 62,7 Prozent. Die verifizierten Ergebnisse führen diesen Lauf mit maximalem Reasoning-Aufwand auf.

Dieser Wert war mehr als achtmal so hoch wie die berichteten 7,8 Prozent von GPT-5.6 Sol. Er übertraf zudem die gelisteten 30,2 Prozent von Claude Opus 5 um mehr als das Doppelte. Vergleichbare Daten für Claude Fable 5.1 waren zunächst nicht verfügbar.

Das Ergebnis ist bedeutsam, weil das Modell nicht nur mehr Umgebungen löste. Laut der Analyse von ARC Prize nutzte Astra bei erfolgreich abgeschlossenen Aufgaben weniger Aktionen als der durchschnittliche Mensch.

Aktionseffizienz misst, wie direkt ein Agent zu einer Lösung gelangt. Ein ineffizientes System kann nur nach umfangreicher zufälliger Erkundung erfolgreich sein. Ein effizienteres System bildet mit weniger Schritten ein präzises internes Verständnis.

Astra überschritt Berichten zufolge bei diesem Maß das durchschnittliche menschliche Effizienzniveau. Das bedeutet nicht, dass es Menschen bei allgemeiner Intelligenz übertraf. Es bedeutet, dass seine erfolgreichen ARC-AGI-3-Verläufe weniger Aktionen als der menschliche Durchschnitt erforderten.

Diese Unterscheidung schützt den Befund vor Übertreibung. Menschen zeigten weiterhin vollständige Abdeckung der Umgebungen. Astras Erfolgsquote mit dem Standard-Harness lag weiterhin deutlich unter 100 Prozent.

OpenAI berichtete außerdem von 99,9 Prozent über ein Provider-Adapter-Harness. Dieses Setup bewahrt den undurchsichtigen Reasoning-Zustand des Modells über Anfragen hinweg und verdichtet längere Unterhaltungen. Das Standard-Harness führt nur vom Modell ausgewählte Notizen weiter.

Der höhere Wert misst Astra daher mit einer Infrastruktur, die nicht allen Anbietern zur Verfügung steht. ARC Prize warnt davor, ihn für ein direktes anbieterübergreifendes Ranking zu verwenden. Er ist ein Beleg für eine Systemkonfiguration, kein neutraler Claude-Vergleich.

Die Lücke zwischen 62,7 und 99,9 Prozent ist selbst aufschlussreich. Die scheinbare Intelligenz eines Modells hängt teilweise davon ab, wie Gedächtnis, Kontext, Tools und verborgener Reasoning-Zustand es umgeben.

Das schafft ein neues Bewertungsproblem. Käufer setzen zunehmend vollständige Agentensysteme ein, nicht isolierte Sprachmodelle. Anbieterspezifische Infrastruktur kann jedoch einen fairen Vergleich erschweren oder unmöglich machen.

Astras Ergebnis stellt unter dem Standard-Setup dennoch eine deutliche Veränderung dar. Der Sprung von Sols 7,8 Prozent kann nicht durch den Provider-Adapter erklärt werden. Beide Werte stammen aus dem besser vergleichbaren Bewertungsweg.

ARC-AGI-3 unterscheidet sich auch von den älteren ARC-Versionen. ARC-AGI-1 nutzte statische visuelle Transformationen, die zunehmend gesättigt wurden. ARC-AGI-2 erhöhte die Schwierigkeit, behielt jedoch ein abstraktes Puzzle-Format bei.

Astra erzielte bei ARC-AGI-2 95 Prozent, verglichen mit Sols 92,5 Prozent. Dieser kleinere Unterschied würde keine dramatische Intelligenzbehauptung stützen. Die interaktive dritte Generation schafft die deutlichere Trennung.

Diese Geschichte erklärt, warum Chollet sich auf Astras ARC-AGI-3-Leistung konzentrierte. Das Modell zeigte ein neues Kompetenzniveau bei Aufgaben, die um Unvertrautheit herum konzipiert wurden. Das kommt seiner Definition von Intelligenz näher als Exzellenz bei einübbaren Fähigkeiten.

Das Benchmark-Ergebnis beendet die AGI-Debatte nicht. Es verändert ihre stärksten Belege. Statt zu fragen, ob ein Modell genug weiß, können Evaluatoren fragen, wie effizient es lernt, wenn sein bestehendes Wissen nicht ausreicht.

Die Rivalität zwischen Anthropic und GPT dreht sich nun um Effizienz

Der Wettbewerbsdruck entsteht daraus, wie viel Reasoning ein Modell benötigt – nicht nur daraus, wie viele Antworten es richtig gibt.

Die Claude-Modelle von Anthropic bleiben starke Konkurrenten bei Programmierung und professioneller Arbeit. Claude Fable 5.1 führte Astra im Intelligence Index und im Coding Agent Index von Artificial Analysis.

Astras Vorteil liegt offenbar in einer anderen Dimension. Berichten zufolge erreichte es bei einem vergleichbaren Programmierergebnis das Niveau von Claude Fable 5, benötigte dabei jedoch weniger Rechenschritte. Es erforderte außerdem weniger Schritte als GPT-5.6 Sol und Claude Opus 5.

Weniger Reasoning-Schritte können die gesamten für eine Aufgabe verbrauchten Ressourcen senken. Dieser Vorteil kann einen höheren Preis pro Token ausgleichen. Er kann zudem Wartezeiten verkürzen und die Zahl der Gelegenheiten verringern, bei denen ein Agent abschweift.

Der Unterschied ähnelt der Kraftstoffeffizienz. Der Kraftstoffpreis eines Fahrzeugs verrät nicht die Kosten einer abgeschlossenen Fahrt. Strecke, Verbrauch und Zuverlässigkeit bestimmen das tatsächliche Ergebnis.

KI-Käufer stehen vor demselben Abrechnungsproblem. Veröffentlichte Ein- und Ausgaberaten beschreiben Verbrauchseinheiten. Sie zeigen nicht, wie viele Einheiten ein Modell benötigt, um nützliche Arbeit abzuschließen.

Astra verbraucht Berichten zufolge bei mehreren agentischen Aufgaben weniger Reasoning-Tokens als Sol. Der Vergleich von The Decoder schätzte, dass diese Effizienz den Unterschied bei den Kosten abgeschlossener Aufgaben verringerte – trotz Astras höherem Einheitspreis.

Um den strategischen Druck zu verstehen, sind keine Preisangaben nötig. Anthropic kann Astra nicht allein dadurch entgegnen, dass es einen breiten Intelligenzindex gewinnt. OpenAI kann keinen Sieg beanspruchen, solange Claude bei wichtigen Programmierbenchmarks Vorteile behält.

Beide Unternehmen müssen abgeschlossene Arbeit unter konsistenten Bedingungen nachweisen. Dazu gehören Erfolgsquote, gesamter Rechenaufwand, Latenz, menschliche Korrekturen und die Wiederherstellung nach fehlgeschlagenen Aktionen.

Damit verlagert sich der anthropische GPT-Wettbewerb weg von Chatbot-Eindrücken. Agentische Systeme arbeiten über Dateien, Browser, Terminals und Unternehmenssoftware hinweg. Ihre Fehler können sich durch einen Workflow fortpflanzen, bevor ein Nutzer sie bemerkt.

Ein effizienter, aber unzuverlässiger Agent schafft wenig Wert. Ein hochpräziser Agent kann ebenfalls unpraktisch werden, wenn er übermäßig viel Zeit und Rechenleistung benötigt. Das führende System muss beide Einschränkungen bewältigen.

Astras interaktive Effizienz erhöht den Druck auf Anthropic, weil Claude einen großen Teil seines Rufs auf Programmierung und kontrollierte Tool-Nutzung aufgebaut hat. Ein klarer Astra-Vorteil bei adaptiver Computerarbeit würde diesen Kernmarkt erreichen.

Claude Fable 5.1s Führung im Index setzt OpenAI gleichermaßen unter Druck. Sie verhindert, dass Astras höchste Punktzahlen zu einem unangefochtenen Anspruch auf Gesamtführerschaft werden. Kunden können auf eine unabhängige Bewertung verweisen, in der das Ergebnis auf Vorgängerniveau weiterhin sichtbar bleibt.

Unternehmensteams sollten diese Ergebnisse als Hypothesen für Workloads behandeln. Ein auf Mathematik ausgerichteter Forschungsworkflow kann ein Modell bevorzugen. Eine Repository-Migration oder ein Supportprozess kann zu einer anderen Rangfolge führen.

Teams benötigen außerdem Aufzeichnungen aus ihren eigenen Bewertungen. Das Speichern von Prompts, Ausgaben, Korrekturen und Entscheidungen in einer durchsuchbaren KI-Wissensdatenbank erleichtert die Prüfung von Modellvergleichen.

Ohne diese Aufzeichnung riskieren Käufer, Modelle anhand einprägsamer Erfolge zu bewerten. Eindrucksvolle Demonstrationen ziehen Aufmerksamkeit auf sich, während stille Fehler in der alltäglichen Arbeit verschwinden.

Dasselbe Problem betrifft die Interpretation von Benchmarks. Aggregierte Punktzahlen verbergen Aufgabenverteilungen. Ein Vorsprung von fünf Punkten im Index bedeutet nicht, dass ein Modell jede Bewertung gewinnt oder für jeden Workflow die bessere Wirtschaftlichkeit liefert.

Astras Ergebnis im Coding Agent Index veranschaulicht das Problem. Claude Fable 5.1 führte bei der Punktzahl, doch Astra benötigte Berichten zufolge weniger Schritte. Die Rangfolge ändert sich, wenn eine Organisation den reinen Abschluss höher gewichtet als Kosten oder Effizienz höher als einen kleinen Punkteunterschied.

Das ARC-AGI-3-Ergebnis verschärft diese Debatte, weil es Effizienz mit Anpassung verbindet. Astra sparte nicht nur Schritte bei einer vertrauten Programmieraufgabe. Es setzte sie auch effektiv ein, während es unbekannte Regeln entdeckte.

Diese Kombination ist für reale Agentenbereitstellungen relevant. Unternehmenssoftware verändert sich, Websites zeigen unerwartete Zustände und Repositories enthalten undokumentierte Konventionen. Ein nützlicher Agent muss sich anpassen, ohne ein perfektes Handbuch zu erhalten.

Die kleinen Spielwelten von ARC bleiben jedoch Abstraktionen. Sie blenden viele Komplikationen aus, die in Organisationen auftreten, darunter mehrdeutige Ziele, Zugriffskontrollen, soziale Urteilsfähigkeit und Folgen falscher Handlungen.

Die verantwortungsvolle Schlussfolgerung ist enger gefasst. Astra liefert Hinweise darauf, dass sich adaptives Denken und die Effizienz von Aktionen deutlich verbessert haben. Ob sich diese Fortschritte auf anhaltende professionelle Arbeit übertragen, erfordert weiterhin unabhängige Tests.

Der Gewinner des anthropischen GPT-Wettlaufs wird daher von Einsatznachweisen abhängen. Führungspositionen bei Benchmarks können einen Testlauf rechtfertigen. Zuverlässige, effiziente Aufgabenerledigung entscheidet darüber, ob das Modell bleibt.

Chollet verschob seine Prognose, ohne AGI auszurufen

Chollets Reaktion erkennt schnelleren Fortschritt an und hält zugleich an einer anspruchsvollen Definition allgemeiner Intelligenz fest.

François Chollet schuf 2019 den ursprünglichen Abstraction and Reasoning Corpus. Er konzipierte ihn, um den Erwerb von Fähigkeiten statt allein angesammelten Wissens zu testen.

Seine Argumentation hat Standardnarrative zur Skalierung lange infrage gestellt. Ein System kann bei vielen vertrauten Aufgaben besser werden, ohne breite adaptive Intelligenz zu gewinnen. Abdeckung durch Training und Benchmark-Vorbereitung können Generalisierung imitieren.

ARC-Aufgaben versuchen, diesen Unterschied offenzulegen. Sie minimieren die Abhängigkeit von Sprache, gespeichertem Faktenwissen und erkennbaren professionellen Formaten. Ein Modell muss eine Aufgabe aus den während der Bewertung verfügbaren Belegen erschließen.

Als ARC-AGI-3 startete, erwartete Chollet Berichten zufolge, dass ein Frontier-Modell es in etwa einem Jahr ausschöpfen würde. Astra traf ungefähr sechs Monate später ein und schöpfte es unter OpenAIs spezialisiertem Harness nahezu aus.

Chollet beschrieb den Fortschritt als ungefähr doppelt so schnell wie erwartet. Er bezeichnete Astra außerdem als einen Sprung bei interaktiven Denkaufgaben.

Diese Aussagen zogen seine AGI-Prognose vor, legten jedoch kein Datum fest. Sie behandelten auch ein Benchmark-Ergebnis nicht als ausreichenden Beweis.

Chollets Argumentation ist wichtiger als die Schlagzeilenprognose. ARC-AGI-3 testet in kleinen Mengen qualitative Eigenschaften, die mit allgemeiner Intelligenz verbunden sind. Dazu gehören Exploration unter Unsicherheit, kausale Modellierung und Anpassung ohne ausdrückliche Anweisungen.

Ein Modell, das diese Eigenschaften in eingeschränkten Umgebungen zeigt, hat eine bedeutende Schwelle überschritten. Es hat nicht zwangsläufig dieselbe Kompetenz in der offenen Welt gezeigt.

Diese Unterscheidung trennt Fähigkeitsnachweise von einem AGI-Label. Für AGI gibt es keine allgemein akzeptierte operationale Definition. Unternehmen, Forschende und Verträge können unterschiedliche Schwellen anwenden.

OpenAI-Präsident Greg Brockman bot zum Start eine weiter gefasste Interpretation an. Er sagte, er persönlich glaube, das Unternehmen habe AGI erreicht, überließ es jedoch den Nutzern zu entscheiden, ob Astra ihre Definitionen erfülle.

Diese Rhetorik erhöht den Einsatz bei jedem Benchmark. Ein Modell als AGI zu bezeichnen, lädt zu einer Prüfung ein, die über Modellranglisten hinausgeht. Es schafft Erwartungen an Zuverlässigkeit, Autonomie, Transferfähigkeit und Leistung in unbekannten Domänen.

ARC-AGI-3 stützt einen Teil dieser Erzählung. Astra passte sich in Umgebungen effektiv an, die darauf ausgelegt sind, direkter Auswendiglernleistung zu widerstehen. Seine Punktzahl im Standard-Harness ließ zudem eine erhebliche Lücke zur vollständigen menschlichen Abdeckung.

Andere Ergebnisse verstärken das gemischte Bild. Astra wurde Berichten zufolge zum einzigen Modell in Epochs standardisierter FrontierMath-Erdős-Bewertung, das zwei von 68 offenen Problemen mit maschinell geprüften Beweisen löste.

Lean-Verifikation bedeutet, dass formale Software die logische Gültigkeit dieser Beweise prüfte. Das macht das Ergebnis schwerer durch überzeugend wirkende, aber falsche Prosa aufzublähen.

Drei weitere Lösungen entstanden Berichten zufolge in nicht standardisierten Durchläufen mit deutlich höherem Rechenaufwand. Epoch schloss diese Versuche aus dem bewerteten Vergleich aus, weil sie nicht demselben Evaluierungsbudget folgten.

Diese Grenze ist wesentlich. Das beste beobachtete Ergebnis eines Modells kann Möglichkeiten demonstrieren. Ein standardisierter Durchlauf bietet eine bessere Grundlage für Vergleiche.

Astras Leistung in formaler Mathematik deutet auf stärkere Such- und Verifikationsfähigkeiten hin. Seine schwächeren Ergebnisse bei einigen professionellen Aufgaben und Aufgaben mit langem Kontext zeigen, dass sich diese Fähigkeiten nicht einheitlich übertragen.

Eine AGI-Erklärung muss diese Uneinheitlichkeit berücksichtigen. Allgemeine Intelligenz ist nicht identisch mit einer Sammlung von Rekordwerten. Sie impliziert die Fähigkeit, sich zuverlässig anzupassen, wenn sich Umgebung, Zielsetzung und Belege gemeinsam verändern.

Die ältere ARC-Geschichte bietet eine Warnung. OpenAIs o3 erzielte bei ARC-AGI-1 ein bedeutendes Ergebnis und löste eine ähnliche Debatte darüber aus, ob eine Schwelle überschritten worden war.

Forschende betonten später Kosten, Aufgabenexposition und den Unterschied zwischen Benchmark-Beherrschung und allgemeiner Intelligenz. ARC-AGI-2 und ARC-AGI-3 wurden teilweise geschaffen, um wieder Bewertungsreserven zu schaffen.

Astras Leistung verringerte diese Reserven schneller als Chollet erwartet hatte. Dies ist die eigentliche Änderung der Prognose. Benchmark-Designer haben nun weniger Zeit, Tests zu entwickeln, die an der Frontier weiterhin aussagekräftig bleiben.

Die Lehre ist nicht, dass Bewertung gescheitert ist. Sie lautet vielmehr, dass nützliche Benchmarks fortlaufende Erneuerung erfordern. Sobald eine Aufgabe ausgeschöpft oder direkt ins Visier genommen wird, verliert sie einen Teil ihrer Fähigkeit, allgemeine Anpassung von spezialisierter Optimierung zu unterscheiden.

Die Benchmark-Lücken sind der stärkste Grund zur Vorsicht

Astras Ergebnisse werden weniger eindeutig, wenn Harnesses, Abdeckung und Aggregatmethoden gemeinsam betrachtet werden.

Die erste Unsicherheit betrifft den Umfang der Bewertung. Epochs Wert von 169 fasst eine breite, aber sich entwickelnde Sammlung zusammen. Artificial Analysis’ 61 spiegelt eine andere feste Mischung und Gewichtung wider.

Ein zusammengesetzter Index kann sich ändern, wenn einem Modell Ergebnisse in einem Bereich fehlen. Er kann auch Bereiche stärker gewichten, in denen ein neues Modell umfangreiche Starttests erhielt.

Epochs früher Astra-Datensatz enthielt Berichten zufolge nur begrenzte Coding-Abdeckung. Claude Fable 5.1 erzielte die besten Ergebnisse in mehreren Coding-Bewertungen. Der Vergleich ihrer Gesamtwerte in den Schlagzeilen birgt daher das Risiko, ungleiche Evidenz zu verbergen.

Die zweite Unsicherheit betrifft das Harness-Design. Ein Harness steuert, wie ein Modell Kontext erhält, Zustand bewahrt, Tools nutzt und Antworten einreicht.

Der Standard-Harness von ARC Prize erlaubt, dass ausgewählte Notizen erhalten bleiben. OpenAIs Provider-Adapter bewahrt undurchsichtigen Denkzustand und verdichtet lange Interaktionen. Das sind materiell unterschiedliche Betriebsbedingungen.

Die Punktzahl von 99,9 Prozent zeigt, was Astra mit seiner nativen Infrastruktur leisten kann. Sie sollte nicht als direkter Sieg über Modelle dargestellt werden, die über die Standardschnittstelle getestet wurden.

Dieses Problem wird wachsen, da Modellanbieter vollständige Systeme optimieren. Verborgenes Denken, proprietärer Speicher, Routing und Tool-Richtlinien können Ergebnisse verbessern und zugleich die unabhängige Reproduzierbarkeit verringern.

Die dritte Unsicherheit betrifft die Übertragbarkeit von Aufgaben. ARC-AGI-3 isoliert Anpassung in kleinen interaktiven Welten. Das macht den Test wissenschaftlich nützlich, aber operativ unvollständig.

Ein Unternehmensagent muss Berechtigungen, widersprüchliche Anweisungen, unklare Ziele und sich verändernde externe Systeme bewältigen. Er muss auch wissen, wann er anhalten und menschliche Beurteilung anfordern sollte.

Astras Bewegungseffizienz bestätigt diese Verhaltensweisen nicht. Ein Rätsel mit weniger Aktionen zu lösen, unterscheidet sich vom Bearbeiten von Produktionsdaten, ohne Schaden zu verursachen.

OpenAIs Sicherheitsmaterial liefert einen weiteren Grund für sorgfältige Tests. Das Unternehmen sagt, Astra habe ein robusteres Sicherheits- und Alignment-Training als Sol erhalten. Zugleich räumt es größere Schwierigkeiten bei der Überwachung fortgeschrittenen Denkens ein.

Sein Sicherheitsüberblick behandelt Kontrollen für Cybersicherheit und Tool-nutzende Bereitstellungen. Sicherheitsbehauptungen des Unternehmens bleiben von Anbieterangaben geprägt, bis breitere unabhängige Bewertungen verfügbar werden.

Leistungsfähigere Computernutzung erhöht sowohl Wert als auch Risiko. Ein Agent, der Software effizient navigiert, kann lange Workflows automatisieren. Dieselbe Autonomie erhöht die Folgen missverstandener Anweisungen oder schwacher Zugriffskontrollen.

Ein separates Anliegen betrifft das gezielte Ausrichten auf Benchmarks. Chollets ursprüngliche Prognose enthielt eine Bedingung dazu, wie direkt Labore ARC-AGI-3 verfolgten.

Ein Modell, das auf interaktives Denken trainiert oder abgestimmt wurde, kann sich schnell verbessern, ohne an anderer Stelle eine gleichwertige Fähigkeit zu erlangen. Das entwertet das Ergebnis nicht. Es begrenzt, wie weit die Verbesserung verallgemeinert werden sollte.

Datenkontamination ist bei interaktiven Welten weniger eindeutig als bei statischen Fragen. Ein Anbieter kann dennoch rund um Benchmark-Prinzipien, Schnittstellen oder Entwicklungsfeedback optimieren.

Wiederholte Bewertung erzeugt außerdem Selektionseffekte. Die beste Konfiguration unter vielen Versuchen kann deutlich stärker wirken als das erwartete Ergebnis einer gewöhnlichen Bereitstellung.

Die ARC-Prize-Seite listet mehrere Astra-Harness-Konfigurationen auf. Käufer sollten zwischen dem besten beobachteten Durchlauf und wiederholbarer Leistung bei einer festen Einstellung unterscheiden.

Kostenbudgets erschweren Vergleiche zusätzlich. Astras Standard-Harness-Durchlauf mit 62,7 Prozent nutzte ein erhebliches Evaluierungsbudget. Das Ergebnis des Provider-Adapters kostete insgesamt weniger, stützte sich jedoch auf ein spezialisiertes Setup.

Die relevante Frage ist nicht, ob diese Ausgaben gerechtfertigt waren. Sie lautet, ob ein anderes Modell gleichwertige Möglichkeiten, Einstellungen und Infrastruktur erhielt.

Auch Vergleiche menschlicher Effizienz erfordern ähnliche Sorgfalt. Astra benötigte bei erfolgreichen Aufgaben weniger Züge als der durchschnittliche Mensch. Menschen lösten einen größeren Anteil der Umgebungen des Benchmarks.

Effizienz unter Erfolgsbedingungen ist nicht gleichbedeutend mit allgemeiner Überlegenheit. Ein System kann direkt vorgehen, wenn es eine Aufgabe versteht, bei anderen Aufgaben jedoch vollständig scheitern.

Die Berichterstattung sollte beide Fakten bewahren. Astra überschritt die durchschnittliche menschliche Schwelle für Aktionseffizienz. Über die Standard-Testumgebung erreichte es jedoch nicht die vollständige menschliche Abdeckung.

Die Uneinigkeit der Benchmarks ist daher aussagekräftiger als jede Rangliste für sich. Sie legt die Dimensionen offen, die hinter dem Wort „best“ verborgen bleiben.

Astra scheint bei adaptivem Schlussfolgern, ausgewählten wissenschaftlichen Aufgaben und effizienter agentischer Arbeit stärker zu sein. Claude Fable 5.1 behält Vorteile bei einem wichtigen unabhängigen Intelligenzindex und mehreren Coding-Messgrößen.

Diese Unsicherheit sollte die Einführung prägen. Organisationen brauchen repräsentative Aufgaben, feste Budgets, wiederholte Versuche und protokollierte menschliche Eingriffe. Sie sollten die Erholung nach Fehlern ebenso sorgfältig testen wie den Erfolg beim ersten Versuch.

Teams können diese Ergebnisse mit einem dokumentierten AI-Workflow festhalten. Eine belastbare Evaluierungsdokumentation erleichtert den späteren Vergleich von Modelländerungen.

Kein öffentlicher Benchmark kann die Einschränkungen jeder Organisation nachbilden. Die Unterschiede zwischen Benchmarks sind kein Rauschen, das sich wegmitteln lässt. Sie liefern Informationen darüber, wo die Fähigkeiten jedes Modells gebündelt sind.

Drei Signale werden entscheiden, ob Astra das Rennen verändert hat

Der nächste Test wird zeigen, ob Astras adaptive Effizienz einer neutralen Bewertung und dem gewöhnlichen professionellen Einsatz standhält.

Das erste Signal sind umfassendere anbieterneutrale ARC-AGI-3-Tests. Claude Fable 5.1, neuere Gemini-Modelle und andere Frontier-Systeme benötigen vergleichbare Durchläufe über die Standard-Testumgebung.

Astras Vorsprung wird überzeugender, wenn Wettbewerber in der berichteten Spanne von Claude Opus 5 bleiben. Er wird schwächer, wenn andere Modelle unter gleichen Bedingungen 62,7 Prozent erreichen.

Auch wiederholte Astra-Durchläufe sind wichtig. Eine stabile Verteilung würde zeigen, dass das Ergebnis verlässliche Fähigkeiten widerspiegelt. Große Schwankungen würden darauf hindeuten, dass der beste beobachtete Wert die normale Leistung überschätzt.

Das zweite Signal ist eine breitere unabhängige Abdeckung von Coding und Computernutzung. Epochs Index benötigt mehr Astra-Ergebnisse bei konsistenten Reasoning-Einstellungen.

Der Wert von 169 Punkten des Modells gewinnt an Glaubwürdigkeit, wenn zusätzliche Coding-Tests seinen Vorsprung bestätigen. Er wird weniger überzeugend, wenn eine vollständigere Abdeckung Astra in Richtung Sol oder unter Claude Fable 5.1 zieht.

Studien zur realen Computernutzung sollten Aufgabenabschluss, benötigte Zeit, Eingriffe und Schäden durch Fehler berichten. Allein Token-Zahlen können die operative Belastung eines gescheiterten Agenten nicht erfassen.

Unabhängige Evaluatoren sollten zudem native Anbietersysteme von gemeinsamen Testumgebungen trennen. Beide sind nützlich, beantworten jedoch unterschiedliche Fragen.

Native Evaluierungen zeigen das beste Produkt, auf das ein Kunde zugreifen kann. Standardisierte Evaluierungen isolieren mehr vom zugrunde liegenden Modell und ermöglichen einen faireren Wettbewerb.

Das dritte Signal sind Belege aus dauerhaften Deployments. OpenAI führte Astra zunächst bei einer begrenzten Zahl von Organisationen ein, bevor es breiter verfügbar wurde.

Diese Nutzer können testen, ob sich interaktives Reasoning auf Repositories, Browser, Forschungsprozesse und Unternehmenssysteme übertragen lässt. Die aussagekräftigsten Berichte werden wiederholte Aufgaben statt ausgewählter Demonstrationen dokumentieren.

Astra stärkt die AGI-Interpretation, wenn es unbekannte Workflows mit wenigen Beispielen und begrenzter menschlicher Korrektur erlernt. Es schwächt diese Interpretation, wenn Nutzer Umgebungen umfassend darauf vorbereiten müssen.

Achten Sie besonders auf die Fehlerbehebung. Allgemeine Anpassungsfähigkeit erfordert mehr, als einen erfolgreichen Weg zu finden. Ein System muss Fehler erkennen, Annahmen überarbeiten und vermeiden, schädliche Aktionen zu wiederholen.

Die Rivalität zwischen Anthropic und GPT wird sich zuspitzen, wenn beide Anbieter agentenorientierte Ergebnisse veröffentlichen. Claudes Reaktion muss nicht jeden Astra-Wert übertreffen. Sie muss zeigen, wo seine Zuverlässigkeit oder Effizienz zu besser erledigter Arbeit führt.

OpenAI steht vor derselben Aufgabe. Ein Sprung bei ARC-AGI-3 begründet eine glaubwürdige Behauptung über adaptives Reasoning. Er beseitigt weder Claudes Vorsprung bei Artificial Analysis noch Astras schwächere Einzelergebnisse.

Chollets revidierter Zeitplan ist daher am besten als Aufforderung zu verstehen, Erwartungen zu aktualisieren. Frontier-Systeme erwerben interaktives Reasoning schneller, als ein prominenter Benchmark-Designer erwartet hatte.

Das ergibt noch kein feststehendes AGI-Datum. Es verkürzt den Zeitraum, in dem bestehende Tests Frontier-Systeme von adaptivem menschlichem Verhalten unterscheiden können.

Entwickler sollten darauf reagieren, indem sie Modelle an unbekannten Zuständen statt allein an ausgefeilten Prompts bewerten. Unternehmenskäufer sollten Korrekturen und Aufsicht neben der Genauigkeit messen. Wissensarbeiter sollten fragen, ob ein Agent sich erholen kann, wenn seine erste Interpretation scheitert.

Die wichtige Frage lautet nicht länger, welcher Rangliste absolutes Vertrauen gebührt. Sie lautet, welche Evaluierung der delegierten Arbeit ähnelt und ob ihre Bedingungen dem vorgesehenen Einsatz entsprechen.

Astra hält derzeit das auffälligste Ergebnis bei unbekannten interaktiven Aufgaben. Claude Fable 5.1 erzielt den stärkeren Wert in einem weiteren wichtigen unabhängigen Index. Epoch sieht Astra insgesamt vorn.

All diese Ergebnisse können zutreffen. Gemeinsam zeigen sie, dass der Wettbewerb zwischen Frontier-Modellen über eine einzelne Zahl hinausgewachsen ist.

Wählen Sie einen repräsentativen Workflow, bewahren Sie die Belege und testen Sie ihn erneut, wenn neutrale ARC-Ergebnisse und umfassendere Coding-Evaluierungen verfügbar sind. Dieser Ansatz wird mehr zeigen als eine weitere Debatte darüber, ob Astra bereits die AGI-Bezeichnung verdient.