METR-Update zeigt eine Lücke zwischen KI-Coding und Urteilsvermögen
METR hat seine Bewertungen von KI-Fähigkeiten am 20. November 2026 ausgeweitet und dabei neben anhaltenden exponentiellen Fortschritten eine schwächere Leistung bei Aufgaben festgestellt, die Urteilsvermögen erfordern. Das METR-Update zu Zeithorizonten beziffert die Verdopplungszeit für gemessene Aufgabenhorizonte auf etwa 3,6 Monate. Dieser Trend belegt jedoch nicht, wie lange eine KI ohne Aufsicht sicher arbeiten kann oder ob sie eigenständig nützliche Forschung steuern kann.
Die Unterscheidung ist wichtig, weil das Erledigen einer klar definierten Programmieraufgabe und die Auswahl eines lohnenden Experiments unterschiedliche Erfolgsnachweise erfordern. Ein Programm kann Tests bestehen, obwohl sein übergeordneter Zweck schlecht gewählt ist. METRs erweiterte Evaluierungssuite untersucht beide Seiten dieser Trennlinie und zeigt stärkere Ergebnisse dort, wo Agenten klares Feedback erhalten.
Die Ergebnisse setzen Behauptungen unter Druck, wonach Coding-Fortschritte unmittelbar in autonome KI-Forschung übergehen. Sie stellen zugleich die gegenteilige Annahme infrage, dass Schwächen im Urteilsvermögen eine lange Pause bei der Forschungsautomatisierung garantieren. METR sieht erhebliche Fähigkeiten, bedeutende Einschränkungen und wachsende Schwierigkeiten, ihre Beziehung zueinander zu messen.
Was das METR-Update zu Zeithorizonten tatsächlich misst
Das Diagramm erfasst die Schwierigkeit von Aufgaben anhand der menschlichen Bearbeitungszeit, statt die verlässliche Arbeitsdauer eines Agenten zu messen.
Ein Zeithorizont ist die menschliche Aufgabendauer, die bei einer Evaluierungssuite mit einer bestimmten Modell-Erfolgsrate verbunden ist. Bei der häufig diskutierten Schwelle von 50 % wird vorhergesagt, dass das Modell Aufgaben dieser Schwierigkeit etwa in der Hälfte der Fälle erledigt. Die Stunden beschreiben den menschlichen Referenzaufwand, nicht die Laufzeit des Modells.
METRs Aufgabenerledigungs-Zeithorizonte erfordern daher eine sorgfältigere Lesart als eine Schlagzeile über Agenten, die eine komplette Schicht durcharbeiten. Ein längerer Horizont weist auf bessere Leistung bei der gemessenen Aufgabenverteilung hin. Er zertifiziert keine zuverlässige Leistung bei jeder Aufgabe, für die ein Mensch ebenso lange benötigen würde.
Der Novemberbericht ergänzt die früheren, auf Software konzentrierten Evaluierungen der Organisation um Aufgaben, die Fähigkeiten untersuchen, welche für KI-Forschung und -Entwicklung relevant sind. Seine Ergebnisse umfassen öffentliche Modelle bis zu Anthropics Opus 5.5 und OpenAIs GPT-6 Astra. Diese Modelle agieren als Agenten, das heißt, sie verwenden Tools und führen aufeinanderfolgende Schritte auf ein vorgegebenes Ziel hin aus.
Der Bericht umfasst drei unterschiedliche Suiten. Time Horizon 1.1 enthält 222 Aufgaben, MirrorCode umfasst 75 Aufgaben zur Software-Replikation und TH2 enthält 36 Aufgaben aus 12 Familien. Diese Zahlen sind wichtig, weil sie unterschiedliche Sammlungen beschreiben und nicht austauschbare Versionen desselben Benchmarks.
TH2 umfasst acht Familien mit überprüfbaren Ergebnissen und vier mit schwieriger überprüfbarer Forschung oder Beurteilung. Überprüfbare Aufgaben haben Ergebnisse, die Evaluierende an einem klar definierten Ziel messen können. Beurteilungsaufgaben verlangen sinnvolle Entscheidungen, wenn klares und schnelles Feedback fehlt.
Über die kombinierten Suiten Time Horizon 1.1 und TH2 hinweg schätzt METR, dass sich Zeithorizonte bei 50 % Erfolgsrate ungefähr alle 3,6 Monate verdoppeln. Das ist ein exponentieller Trend in diesem speziellen Maß. Es bedeutet nicht, dass sich jede KI-Fähigkeit mit derselben Geschwindigkeit verbessert.
Das Hinzufügen schwierigerer Aufgaben verändert auch die Interpretation des Diagramms. METR berichtet bei einem bestimmten Modell in der kombinierten Suite niedrigere Horizonte als bei Time Horizon 1.1 allein. Ein niedrigerer Messwert nach Erweiterung des Tests bedeutet nicht, dass das Modell Fähigkeiten verloren hat.
Die Erweiterung reagiert auf ein praktisches Problem: Frühere Aufgaben wurden mit zunehmender Leistungsfähigkeit der Modelle weniger aussagekräftig. METR zufolge war die ältere Suite gesättigt, wodurch sie stärkere Systeme nur noch begrenzt unterscheiden konnte. Die aktualisierten Tests zielen auf schwierigere Arbeit und ein breiteres Fähigkeitsprofil.
Damit ist dieses Update mehr als ein weiterer Punkt auf einer vertrauten steigenden Linie. Es verändert die Fragen, die Evaluierende zu dieser Linie stellen können. Die zentrale Frage ist, ob Fortschritte bei klar definierten Aufgaben auch auf Arbeit übertragbar sind, bei der die Bestimmung von Erfolg selbst Teil der Aufgabe ist.
Behauptungen über autonome Forschung stehen vor einem anderen Test
Der unmittelbare Druck trifft Aussagen über Forschungsautonomie, bei denen das Erzeugen eines Artefakts nur ein Teil der Lieferung nützlicher Arbeit ist.
KI-Forschung umfasst Implementierung, Experimente, Interpretation und Entscheidungen darüber, was weitere Anstrengungen verdient. Fortschritte in einer Aktivität können ein Team beschleunigen, ohne die anderen zu ersetzen. Die November-Ergebnisse machen diese Unterscheidung schwerer zu ignorieren.
METR berichtet, dass aktuelle Frontier-Modelle den von ihm rekrutierten qualifizierten menschlichen Teilnehmenden bei Coding- und Optimierungsaufgaben häufig entsprechen oder sie übertreffen. Optimierung bedeutet, einen vorgegebenen Wert oder ein Ziel unter gegebenen Einschränkungen zu verbessern. Diese Umgebungen bieten Agenten oft einen direkten Weg, Versuche zu vergleichen und sich weiter zu verbessern.
Diese Stärke hat praktische Bedeutung, auch wenn der Agent nicht die übergeordnete Forschungsagenda auswählt. Forschende können Implementierungsarbeit delegieren und zugleich die Verantwortung für experimentelle Prioritäten behalten. Leistungsfähigere Implementierung kann den Arbeitsumfang erhöhen, den ein Team erledigt.
Der Vergleich mit menschlichen Expertinnen und Experten bleibt enger gefasst als eine universelle Überlegenheitsbehauptung. METR räumt Unsicherheit darüber ein, ob seine rekrutierten Teilnehmenden Mitarbeitenden von Frontier-Laboren in ihren jeweiligen Spezialgebieten entsprechen. Menschen mit der nötigen Expertise und Verfügbarkeit zu rekrutieren, wird schwieriger, je länger die Aufgaben dauern.
Wo größere historische Vergleichsgruppen vorhanden sind, lassen die Ergebnisse auch Raum für außergewöhnliche menschliche Leistung. METR findet starke Modellplatzierungen in Programmier-Optimierungswettbewerben, während die besten menschlichen Teilnehmenden im Allgemeinen vorn bleiben. Bei der Optimierung von Trainingsskripten erzielten Spitzenbeitragende ebenfalls Verbesserungen, die über die stärksten Agentenläufe hinausgingen.
OpenAIs Darstellung vom 18. November zur Beschleunigung der Forschung bietet eine verwandte, vom Unternehmen berichtete Perspektive aus einem Labor. Sie berichtet über steigende Erfolgsraten bei delegierten Forschungsaufgaben, mit erheblichen Unterschieden zwischen Aktivitäten. Menschen bleiben in ihrer Darstellung des Entwicklungsprozesses zentral.
Diese Evidenz stützt ein Bild ungleichmäßiger Automatisierung über Forschungsabläufe hinweg. Sie liefert keine austauschbare Bestätigung der METR-Ergebnisse. Interne Arbeitsplatzaufgaben, Benchmark-Aufgaben und rückblickende Erfolgseinschätzungen verwenden unterschiedliche Methoden und erfassen unterschiedliche Bedingungen.
Für Anthropic, OpenAI und andere Entwickler betrifft die schwierigere Frage, was geschieht, nachdem Implementierung einfacher wird. Können Agenten erkennen, welches Experiment Unsicherheit sinnvoll verringern würde? Können sie erkennen, wenn ein positives Ergebnis auf einem schwachen Test beruht?
Unternehmenskäufer stehen bei der Bewertung von Agenten für technische Arbeit vor einer ähnlichen Unterscheidung. Eine erfolgreiche Demonstration mit einem klaren Abnahmetest stützt diesen spezifischen Anwendungsfall. Sie liefert weniger Evidenz für Aufgaben mit mehrdeutigen Zielen, wechselnden Anforderungen oder verzögerten Folgen.
Das METR-Update zu Zeithorizonten erhöht den Maßstab für diese Behauptungen, ohne die zugrunde liegenden Fortschritte abzuwerten. Eine überzeugende Darstellung autonomer Forschung benötigt neben der Ausführung auch Evidenz zu Richtung und Bewertung. Coding-Leistung ist ein bedeutender Bestandteil dieser Darstellung, doch der Bericht belegt nicht, dass sie das Gesamtbild vervollständigt.
Starkes Coding beantwortet nicht die Frage des Urteilsvermögens
METRs aufschlussreichste Fehlschläge traten auf, wenn Modelle entscheiden mussten, was eine Evaluierung nützlich macht.
Eine TH2-Aufgabe forderte Agenten auf, eine Evaluierung zu erstellen, die METRs Einschätzung von Modellfähigkeiten informieren würde. Dies erforderte mehr als das Schreiben funktionierender Software. Der vorgeschlagene Test musste auch eine Frage beantworten, die METR als wertvoll ansah.
Laut den Ergebnissen der Fähigkeitsevaluierung rechtfertigte keine der von Agenten erstellten Aufgaben eine Aufnahme in den Bericht als nützliche neue Evaluierung. Einige Ergebnisse kamen der Nützlichkeit nahe und deuteten damit auf Fortschritte gegenüber schwächeren Modellen hin. Doch Verbesserungen innerhalb des Bewertungssystems führten nicht zu Arbeit, die METR übernehmen wollte.
Die Agenten bevorzugten im Allgemeinen automatisch bewertete Optimierungsaufgaben. Sie taten dies auch in Folgeexperimenten, die ausdrücklich Aufgaben mit Entscheidungen bei schwachem kurzfristigem Feedback verlangten. Dieses Verhalten legte eine Diskrepanz offen zwischen der Erzeugung einer messbaren Herausforderung und der Identifizierung einer aussagekräftigen Forschungsfrage.
METR berichtet außerdem, dass Agenten trotz Internetzugang nicht eigenständig untersuchten, welche Arten von Aufgaben die Organisation am wertvollsten finden würde. Die Forschenden beobachteten weder neuartige Bedrohungsmodellierung noch besonders aufschlussreiche Hypothesen hinter den vorgeschlagenen Evaluierungen. Dabei handelt es sich um Beobachtungen aus dem getesteten Setup, nicht um Belege für eine dauerhafte Unfähigkeit.
Die Unterscheidung ist konkret. Eine Evaluierung kann korrekt laufen und Forschenden dennoch wenig mitteilen, was sie wissen müssen. Ihre Implementierungsqualität und ihr Forschungswert sind getrennte Eigenschaften, auch wenn beide das Endergebnis beeinflussen.
Ein zweites Experiment untersuchte, ob Modelle die Evaluierungen beurteilen konnten, die andere Modelle erstellt hatten. Stärkere Prüfer stimmten bei der Bewertung schwächerer Ersteller enger mit menschlichen Bewertungen überein. Waren die Ersteller ähnlich stark oder stärker, vergaben die Prüfer tendenziell zu großzügige Bewertungen.
Dieses Ergebnis erschwert eine häufig vorgeschlagene Lösung für schwache Aufsicht: eine andere KI mit der Prüfung der Arbeit zu beauftragen. Ein Prüfer kann offensichtliche Mängel erkennen und zugleich überzeugender wirkende Fehler übersehen. Übereinstimmung zwischen Autor und Prüfer belegt daher nicht unabhängig die Qualität.
METR bietet mehr als eine Erklärung für dieses Muster. Den Modellen könnte das nötige Urteilsvermögen zur Bewertung dieser Aufgaben fehlen, oder stärkere Ersteller könnten Ergebnisse produzieren, die schwächere Prüfer in die Irre führen. Die Experimente trennen diese Möglichkeiten nicht abschließend.
Der breitere Mechanismus betrifft Feedback. Reinforcement Learning, ein Training, das Ergebnisse innerhalb eines Bewertungssystems belohnt, profitiert von nützlichen Signalen darüber, welche Versuche erfolgreich waren. Coding und Optimierung liefern solche Signale häufig durch Tests oder gemessene Leistung.
Offene Forschung kann dieses Feedback verzögern oder dessen Gewinnung kostspielig machen. Ein vielversprechender Vorschlag könnte erst nach umfangreichen Experimenten scheitern. Eine scheinbar unproduktive Richtung könnte sich als nützlich erweisen, wenn ein Forschender eine übersehene Annahme erkennt.
Der Bericht belegt nicht, dass Urteilsvermögen und Coding grundlegend getrennte Fähigkeiten sind. METR beobachtet Evidenz für nützliches Modellurteil bei einigen Optimierungsaufgaben des maschinellen Lernens. Diese Erfolge lassen offen, dass Fähigkeiten weiter übertragen werden könnten, als die schwächeren Ergebnisse zum Urteilsvermögen nahelegen.
Die Umkehrung ist daher spezifisch: Eindrucksvolle Ausführung bestätigt nicht automatisch die Einschätzung eines Systems über seine eigene Arbeit. Die Modelle können sich verbessern, während diese Einschätzung unzuverlässig bleibt. Für autonome Forschung ist die Beziehung zwischen diesen Fähigkeiten ebenso wichtig wie jeder einzelne Wert.
Bessere Tests werden schwieriger zu erstellen
Die erweiterten Evaluierungen legen ein Messproblem offen: Realistisches Feedback ist oft teuer, langsam oder von Expertinnen und Experten abhängig.
METR führt Lebenszykluskosten als grobe Schätzung des Aufwands ein, der nötig ist, um eine Evaluierung wiederholt zu erstellen, durchzuführen und zu bewerten. Das Maß umfasst Entwicklung und Qualitätssicherung ebenso wie Ausführung und Beurteilung. Es soll Einschränkungen erfassen, die die menschliche Aufgabendauer allein nicht abbildet.
Zwei Aufgaben können einen ähnlichen menschlichen Arbeitsaufwand erfordern, aber unterschiedlich schwer zu bewerten sein. Eine endet möglicherweise mit einer automatisch überprüften Antwort. Eine andere kann verlangen, dass ein Experte die Argumentation prüft, fehlenden Kontext bewertet oder beurteilt, ob ein Forschungsbeitrag relevant ist.
Weitere Belastungen umfassen komplexe Umgebungen, Rechenanforderungen, Überwachung und lange Rückkopplungszyklen. Tests müssen zudem gegen Reward Hacking geschützt werden, also Verhalten, das eine Bewertungsregel ausnutzt, ohne ihren beabsichtigten Zweck zu erfüllen. Stärkere Modelle können Abkürzungen aufdecken, die frühere Bewertungen nicht vorhergesehen haben.
In METRs Datensatz sind Aufgaben mit höheren geschätzten Lebenszykluskosten tendenziell schwieriger für Modelle, nachdem die menschliche Aufgabendauer berücksichtigt wurde. Der Zusammenhang legt nahe, dass kostengünstige Bewertungen relevante Dimensionen der Schwierigkeit übersehen können. Er belegt nicht, dass die Kosten selbst eine schwächere Leistung verursachen.
METR schätzt Lebenszykluskosten mit einem modellbasierten Prüfer, der anhand der Bewertungen seiner Forschenden kalibriert wurde. Diese Schätzungen spiegeln die Erfahrung und Einschränkungen der Organisation wider. Ein Frontier-Labor könnte andere Kosten haben, und veränderte Modellfähigkeiten können die Ökonomie der Bewertung verändern.
Der Bericht findet zudem ähnliche Verbesserungsraten in den höher- und niedrigerpreisigen Teilmengen seiner Aufgaben. Diese Einschränkung ist wichtig. Eine derzeit schlechtere Leistung bei kostspieligen Bewertungen zeigt nicht, dass der Fortschritt bei diesen Bewertungen ins Stocken geraten ist.
Auch die menschlichen Referenzmessungen bringen eine weitere Einschränkung mit sich. Direkte menschliche Baselines stützen nur 9 % der Zeitschätzungen des Berichts. Andere Schätzungen beruhen auf Experteneinschätzungen, öffentlichen Belegen und Extrapolationen.
Das verändert, wie sicher Leserinnen und Leser die mit schwierigen Aufgaben verbundenen Stunden interpretieren sollten. Die geschätzte Dauer kann weiterhin nützliche Informationen liefern, hat aber nicht dieselbe Beweisgrundlage wie beobachtete Fertigstellung. Systematische Schätzfehler könnten Vergleiche zwischen Aufgabengruppen beeinflussen.
Der menschliche Vergleich umfasst außerdem KI-Unterstützung. METR erlaubte Teilnehmenden, Sonnet 5 für die Umsetzung zu nutzen, teilweise um die Rekrutierung zu erleichtern und etablierte Arbeitsgewohnheiten zu berücksichtigen. Die daraus resultierende Baseline sollte nicht als menschliche Leistung ohne Unterstützung beschrieben werden.
Schwer überprüfbare Aufgaben bringen zusätzliche Subjektivität mit sich. Ob eine vorgeschlagene Bewertung wertvoll ist, hängt teilweise von METRs Forschungsprioritäten und Annahmen über relevante Risiken ab. Die Organisation erkennt an, dass diese Urteile falsch sein können.
Die Aufgabe zur philosophischen Kritik wirft eine verwandte Frage auf: Wessen Urteil wird zur Referenz? Modelle werden anhand von Expertenbewertungen beurteilt, während die Übereinstimmung von den Expertinnen und Experten und ihrer verfügbaren Zeit abhängen kann. Das macht das Ergebnis aufschlussreich, ohne es zu einem umfassenden Maßstab menschlichen Urteils zu machen.
Diese Vorbehalte bekräftigen METRs frühere Einschränkungen von Zeithorizonten: Ein Benchmark-Ergebnis braucht Kontext, bevor daraus eine Aussage über den Arbeitsplatz oder die Sicherheit wird. Die aktualisierte Suite erweitert die Evidenz, erhöht aber zugleich die Unsicherheit. Bessere Abdeckung und sauberere Messung kommen nicht immer gemeinsam.
Das Diagramm kann keinen Zeitpunkt für einen Forschungsdurchbruch bestimmen
Anhaltende exponentielle Verbesserung belegt nicht, wann KI-Systeme ihre eigene Entwicklung selbstständig beschleunigen werden.
Die verlockende Extrapolation beginnt mit der gemessenen Verdopplungszeit und verlängert die Kurve auf zunehmend längere Aufgaben. Solche Projektionen können die Folgen eines unveränderten Trends veranschaulichen. Sie können nicht belegen, dass dieselben Aufgaben, Methoden und Zusammenhänge repräsentativ bleiben werden.
Die Aufgabenauswahl beeinflusst bereits den angepassten Trend im November-Bericht. METR findet andere Ergebnisse bei der Analyse von Teilmengen der erweiterten Suite. Die Forschenden diskutieren mehrere mögliche Erklärungen, darunter Veränderungen im Schwierigkeitsprofil, die sichtbar werden, sobald Modelle neuere Aufgaben bestehen.
METR führt außerdem den METR Capability Index ein, ein zusammengesetztes Maß auf Basis der Item-Response-Theorie, einer statistischen Methode, die Modellfähigkeit mit Aufgabenschwierigkeit verknüpft. Dies bietet eine weitere Möglichkeit, die Leistung über die getesteten Systeme hinweg zu verfolgen. Die Abhängigkeit von Modellierungsentscheidungen wird dadurch nicht beseitigt.
Auf diesem Index findet METR keine starke Beschleunigung oder Verlangsamung an der getesteten öffentlichen Frontier. Unter bestimmten Bedingungen beobachtet es unsichere entwicklerspezifische Veränderungen. Diese Ergebnisse reagieren empfindlich auf methodische Entscheidungen, was starke Aussagen über veränderte Wachstumsraten begrenzt.
Die Unterscheidung zwischen exponentiellem Fortschritt und sich beschleunigendem Fortschritt ist hier wichtig. Ein Maß kann sich in einem konstanten Intervall verdoppeln, ohne dass sein Verdopplungsintervall kürzer wird. Eine steigende Kurve allein belegt keine neu intensiver werdende Rückkopplungsschleife.
Die Automatisierung von Forschung fügt eine kausale Frage hinzu. Bessere Modelle zu beobachten, während Labore KI einsetzen, zeigt nicht, wie sich der Fortschritt ohne diese Unterstützung entwickelt hätte. METR weist ausdrücklich darauf hin, dass der fehlende Vergleich eine eindeutige Zuschreibung des Trends verhindert.
Es gibt außerdem Grenzen dafür, was öffentliche Veröffentlichungen erkennen lassen. Öffentliche Modelle repräsentieren nicht zwangsläufig die leistungsfähigsten Systeme, die innerhalb von Laboren verfügbar sind. Unterschiede im Veröffentlichungszeitpunkt können Versuche erschweren, Veränderungen im zugrunde liegenden Entwicklungstempo zu erkennen.
Auch die Befunde zum Urteilsvermögen stützen konkurrierende Interpretationen. Forschungsinstinkt, also die Fähigkeit, vielversprechende Fragen und Experimente auszuwählen, könnte autonome Forschung begrenzen. Alternativ könnte ausreichend starke Leistung bei leichter überprüfbarer Arbeit die Entwicklung beschleunigen, während Menschen weiterhin die Richtung bestimmen.
Die Analyse zur Urteilslücke von MIT Technology Review beschreibt diese Meinungsverschiedenheit unter Forschenden. Sayash Kapoor sieht Forschungsinstinkt als potenziell wichtigen Engpass. Najoung Kim betont die Unsicherheit bei der Extrapolation der beobachteten Verbesserungen.
Diese Perspektiven lösen die Frage nicht, aber sie zeigen auf, was die gegenwärtige Evidenz offenlässt. Aktuelle Schwächen im Urteilsvermögen sind relevante Beobachtungen. Sie als dauerhafte Barrieren zu behandeln, erfordert ein zusätzliches Argument, das der Bericht nicht liefert.
METRs eigene Position bleibt sowohl gegenüber Beruhigung als auch Alarm vorsichtig. Die Organisation sagt, öffentliche Evidenz könne eine drastische Beschleunigung der KI-Forschung in den nächsten Jahren nicht ausschließen. Das ist eine Aussage über ungelöste Möglichkeiten und keine Prognose, die ein Datum oder eine Wahrscheinlichkeit zuweist.
Die Aktualisierung von METRs Zeithorizont stützt folglich weder einen Countdown zur vollständig autonomen Forschung noch eine Garantie für anhaltende menschliche Kontrolle. Sie dokumentiert erhebliche Fortschritte innerhalb eines sich wandelnden Bewertungsrahmens. Die nächste Schlussfolgerung erfordert Evidenz über den Forschungsprozess selbst.
Drei Signale sind wichtiger als die nächste virale Kurve
Die nächste nützliche Evidenz sollte prüfen, ob stärkere Ausführung zu besseren Forschungsentscheidungen, vertrauenswürdiger Bewertung und nachhaltigen Ergebnissen führt.
Das erste Signal ist die Übernahme von durch Agenten entworfenen Bewertungen oder Forschungsvorschlägen nach unabhängiger Expertenprüfung. METRs Aufgabe zur Erstellung von Bewertungen bietet einen konkreten Bezugspunkt. Künftige Ergebnisse werden überzeugender, wenn Expertinnen und Experten die Resultate nutzen, weil sie wertvolle Fragen beantworten.
Die Bewertung sollte zwischen einem technisch korrekten Artefakt und einem Beitrag unterscheiden, der Forschungsentscheidungen verändert. Zusätzliche Gutachter und eine breitere Aufgabenabdeckung würden helfen zu prüfen, ob der Nutzen über die Präferenzen einer einzelnen Organisation hinausgeht. Wiederholter Erfolg würde das Argument schwächen, dass Forschungsinstinkt eine wesentliche Einschränkung bleibt.
Fortgesetzte Verbesserung ohne Übernahme würde eine stärker begrenzte Interpretation stützen. Agenten könnten besser darin werden, plausible Bewertungen zu erstellen, während sie bei der Identifikation informativer Bewertungen schwach bleiben. Das würde die Lücke zwischen ausgefeilter Ausführung und nützlicher Richtung erhalten.
Das zweite Signal ist, ob KI-Gutachter bei Arbeiten von gleich starken oder stärkeren Modellen besser kalibriert werden. Kalibrierung bedeutet, dass die Bewertungen eines Gutachters zuverlässig der tatsächlichen Qualität entsprechen. Die November-Ergebnisse geben dieser Frage eine konkrete experimentelle Grundlage.
Eine nützliche Folgestudie würde Modellbewertungen mit unabhängigen Experteneinschätzungen über eine breitere Palette von Artefakten vergleichen. Eine bessere Übereinstimmung bei schwierigen Ergebnissen würde die Argumentation dafür stärken, mehr Begutachtung zu delegieren. Anhaltende Überbewertungen würden Behauptungen schwächen, dass stärkere KI-Autoren einfach durch zusätzliche KI-Gutachter beaufsichtigt werden können.
Diese Frage ist selbst dann wichtig, wenn Agenten niemals ein vollständiges Forschungsprojekt eigenständig durchführen. Teams müssen bereits entscheiden, welche Ergebnisse Aufmerksamkeit verdienen und welche überarbeitet werden müssen. Eine Bewertung, die selbstsicher klingt, während sie Mängel übersieht, kann die menschliche Arbeitslast verlagern statt sie zu beseitigen.
Das dritte Signal ist eine breitere Bewertung mit stärkeren menschlichen Referenzen und verzögerten Ergebnisprüfungen. Mehr direkte Baselines würden das Vertrauen in geschätzte Aufgabendauern erhöhen. Zu bewerten, was geschah, nachdem ein Ergebnis genutzt wurde, würde prüfen, ob kurzfristige Werte nachhaltigen Nutzen erfassten.
Für Laborberichte besteht die relevante Unterscheidung zwischen mehr Aktivität und besserer Forschung. Zusätzlicher Code oder Experimente können Fortschritt unterstützen, doch ihr Wert hängt von den Fragen ab, die sie behandeln. Evidenz, die Beiträge von Agenten mit validierten Ergebnissen verknüpft, würde die Argumentation für autonome Forschung stärken.
Dies sind Beobachtungsprioritäten für die kommenden Monate und keine angekündigten Veröffentlichungszusagen. Eine neue Modellveröffentlichung allein wird sie nicht klären. Die wichtige Veränderung wäre stärkere Evidenz, die Fähigkeitsmessungen mit den Entscheidungen und Ergebnissen verbindet, die diese Messungen repräsentieren.
Für Teams, die KI in technischer Arbeit einsetzen, besteht die praktische Reaktion darin, diese Verbindung zu bewahren. Bewahren Sie die ursprüngliche Aufgabe, die Akzeptanzkriterien, das Ergebnis und die Expertenbewertung gemeinsam auf. Eine durchsuchbare Wissensdatenbank kann spätere Vergleiche unterstützen, wenn ein scheinbar erfolgreiches Ergebnis auf neue Anforderungen trifft.
Lesen Sie die Aktualisierung von METRs Zeithorizont zusammen mit den Aufgaben und Einschränkungen hinter ihrer Kurve. Bevor Sie ihre Entwicklung auf Ihre Arbeit übertragen, bestimmen Sie, was als Erfolg gilt und wer ihn überprüfen kann. Trennen Sie Aufgaben mit unmittelbaren Tests von Entscheidungen, deren Folgen erst später sichtbar werden. Fragen Sie dann, ob Ihre Evidenz abgeschlossene Arbeit, nützliche Arbeit oder lediglich ein überzeugendes Ergebnis misst. Diese Unterscheidungen bleiben wertvoll, selbst wenn sich die Modelle verbessern. Der nächste Schlagzeilen-taugliche Wert verdient Aufmerksamkeit, ebenso aber ein leiseres Ergebnis: ein Agent, der eine lohnenswerte Frage auswählt, eine fundierte Antwort liefert und eine unabhängige Prüfung übersteht. Welchen Teil dieser Kette hat Ihre derzeitige Bewertung tatsächlich getestet?



