Sakana AI berichtet über Fortschritte bei rekursiver Selbstverbesserung, doch Aufsicht bleibt eine Einschränkung

Sakana AI hat zwei Trainingszyklen rekursiver Selbstverbesserung durch kollektive Intelligenz abgeschlossen und berichtet trotz der Nutzung eines einzigen gemeinsamen Modells über stärkere Forschungsleistung. Die neue Multi-Agent Self-Supervision-Methode namens MASS verwandelt koordinierte Agentenarbeit in Trainingsdaten für genau dieses Modell. Das Ergebnis ist keine autonome Intelligenzexplosion. Es ist ein kontrolliertes Experiment dazu, ob KI-Teams nützliche Lernimpulse für ihr gemeinsames Basismodell erzeugen können.

Der zentrale Konflikt liegt innerhalb der Schleife. MASS lässt ein Modell Aufgaben lösen, seine Agenten organisieren, deren Arbeit bewerten und aus den ausgewählten Ergebnissen lernen. Dieses Design verringert die Abhängigkeit von stärkeren externen Aufsehern. Zugleich kann ein einzelner blinder Fleck jede Phase beeinflussen.

Das Experiment startet mit Qwen3.6-27B und konzentriert sich auf offene Forschungsaufgaben aus Finanzwesen, Robotik und Pharmazie. Nach zwei Runden verbessert sich das resultierende Modell bei mehreren verwandten Forschungsbenchmarks. Bei zwei Benchmarks für Software Engineering sinkt die Leistung jedoch leicht, was eine wichtige Grenze der Ergebnisse offenlegt.

Dieses gemischte Ergebnis trennt MASS von weitergehenden Behauptungen über selbstverbessernde KI. Sakana AI hat Belege dafür geliefert, dass kollektive Trajektorien ein Modell innerhalb eines klar abgegrenzten Forschungskontexts effizienter trainieren können. Es wurde nicht gezeigt, dass sich rekursive Verbesserung unbegrenzt fortsetzt, sich überall übertragen lässt oder ohne unabhängige Aufsicht sicher bleibt.

MASS macht Teamarbeit zu einem Trainingssignal

Die entscheidende Änderung besteht darin, dass Multi-Agenten-Koordination nicht mehr endet, sobald eine Antwort erzeugt wurde.

Die meisten Multi-Agenten-Systeme nutzen während der Inferenz mehrere Modellinstanzen. Ein Orchestrator teilt eine Aufgabe auf, weist Rollen zu, sammelt Ergebnisse und setzt eine endgültige Antwort zusammen. Die zusätzliche Koordination kann eine Antwort verbessern, doch die zugrunde liegenden Modellgewichte bleiben unverändert.

MASS überträgt diese Arbeit in das Post-Training. Seine Agenten erzeugen vollständige Trajektorien mit Nachrichten, Tool-Aufrufen, Zwischenartefakten und Ergebnissen. Das System ordnet diese Trajektorien ein, wählt die stärksten Beispiele aus und feinjustiert das gemeinsame Modell darauf.

Die Forschenden nennen dies Multi-Agenten-Selbstüberwachung. Dasselbe Sprachmodell fungiert als Ausführer, Workflow-Optimierer und Bewerter. Jede Rolle nutzt dieselben zugrunde liegenden Gewichte, auch wenn separate Modellinstanzen unterschiedliche Teile einer Ausführung übernehmen können.

Diese Unterscheidung ist wichtig. Das System kombiniert nicht mehrere unabhängig trainierte Modelle mit unterschiedlichem Wissen oder verschiedenen Zielen. Es lässt Kopien eines Modells sich selbst organisieren und verdichtet anschließend ihr ausgewähltes Verhalten zurück in ihre gemeinsamen Gewichte.

Der Prozess umfasst zwei verbundene Schleifen. Die innere Schleife sucht nach einem besseren Workflow, während die Modellgewichte unverändert bleiben. Die äußere Schleife trainiert das Modell auf den Trajektorien, die der ausgewählte Workflow erzeugt.

Ein Workflow ist ein promptbasierter Plan zur Organisation des Teams. Er legt Agentenrollen, Anweisungen, erforderliche Ausgaben und die Reihenfolge der Kommunikation fest. MASS kann diesen Plan während der Suche überarbeiten, ohne das Modell zu verändern.

Für jede Trainingsaufgabe behält das System einen Champion-Workflow bei. Ein Kandidatenteam führt die Aufgabe aus, und das Modell vergleicht dessen Arbeitsbereich mit der Ausgabe des Champion-Workflows. Der Optimierer nutzt dieses Urteil anschließend, um den Workflow zu überarbeiten.

Sobald das System einen bevorzugten Workflow gefunden hat, führt es diesen für jede Aufgabe 18-mal aus. Das Modell ordnet die resultierenden Arbeitsbereiche anhand paarweiser Vergleiche ein. Ein Bradley-Terry-Modell wandelt diese Präferenzen in einen Wert für jeden Arbeitsbereich um.

MASS behält pro Aufgabe bis zu 16 Trajektorien. Fünfzehn können Trainingsbeispiele liefern, während eine für die Validierung reserviert wird. Der Workflow-Text wird vor dem Fine-Tuning aus dem anfänglichen Trainingsprompt des Orchestrators entfernt.

Diese Entfernung verfolgt einen konkreten Zweck. Sie soll das Modell dazu anregen, aus der Aufgabe selbst abzuleiten, wie die Arbeit organisiert werden sollte. Die Forschenden bringen ihm nicht lediglich bei, eine feste Teamstruktur zu wiederholen.

Die äußere Schleife verwendet Low-Rank Adaptation, kurz LoRA, bei der während des Fine-Tunings nur ein begrenzter Satz von Modellparametern aktualisiert wird. Sowohl Orchestrator- als auch Subagenten-Gespräche werden zu Trainingszielen. Das aktualisierte Modell kehrt anschließend als Ausführer, Optimierer und Bewerter für den nächsten Zyklus zurück.

Das MASS paper wurde am 8. Oktober 2026 eingereicht und beschreibt zwei vollständige Zyklen. Sakana AI veröffentlichte außerdem eine open implementation, die Aufgabenprompts, Trainingskonfigurationen, Bewertungswerkzeuge und Pipeline-Dokumentation enthält.

Die Veröffentlichung macht das Kernexperiment überprüfbar. Sie macht auch seinen Umfang ungewöhnlich deutlich. MASS ist eine Forschungspipeline, die auf ausgewählten Aufgaben und kontrollierten Modellaktualisierungen beruht, und kein eingesetztes System, das sich fortlaufend selbst umschreibt.

Rekursive Selbstverbesserung durch kollektive Intelligenz führt zu uneinheitlichen Fortschritten

MASS verbessert sich vor allem dort, wo seine Bewertungsaufgaben der Forschungsarbeit ähneln, aus der seine Trainingsdaten hervorgingen.

Das Experiment beginnt mit Qwen3.6-27B in einer Umgebung für Coding-Agenten. Die synthetische Suite umfasst 12 Forschungsaufgaben aus Finanzwesen, Robotik und Pharmazie. Jede Aufgabe erfordert Code, quantitative Analyse und einen schriftlichen Bericht.

Neun Aufgaben wurden für das Training vorgesehen, doch letztlich lieferten acht davon Trainingsdaten. Drei Aufgaben, jeweils eine aus jeder Domäne, wurden vom Fine-Tuning, der Validierung und der Checkpoint-Auswahl ausgeschlossen.

Externe Gutachter maßen den Fortschritt, ohne an der MASS-Trainingsschleife teilzunehmen. Sakana AI zufolge verglichen GPT-5.5 und Claude Opus 4.8 abgeschlossene Arbeitsbereiche. Ihre Bewertungen lieferten eine externe Einschätzung eines Prozesses, der ansonsten vom Qwen-Modell gesteuert wurde.

Bei den drei zurückgehaltenen synthetischen Aufgaben gewann das Modell der ersten Runde 53,9 Prozent der Vergleiche gegen das Basismodell. Das Modell der zweiten Runde erreichte 69,9 Prozent. Gegen das Modell der ersten Runde gewann es zudem 60,8 Prozent der Vergleiche.

Die Ergebnisse bei den Trainingsaufgaben waren stärker. Das Modell der ersten Runde erreichte gegen das Basismodell eine Gewinnrate von 65,6 Prozent, während die zweite Runde 82,5 Prozent erzielte. Diese Lücke zwischen Trainings- und zurückgehaltener Leistung ist erwartbar, bleibt aber wichtig.

Öffentliche Benchmarks liefern einen breiteren Test. Sakana AI berichtet, dass das Modell der zweiten Runde pro Ausgabetoken zwischen dem 1,2- und 1,6-Fachen des Basismodell-Scores erreichte. Diese Zugewinne zeigten sich bei MLR-Bench, DSBench, ScienceAgentBench und AstaBench E2E-Hard.

Die zugrunde liegenden Scores erzählen eine detailliertere Geschichte. MLR-Bench stieg von 1,71 für das Basismodell auf 2,25 nach zwei Zyklen. Seine Rate ausgelieferter Papers erhöhte sich von 57 Prozent auf 76 Prozent.

ScienceAgentBench verbesserte sich von 28,8 Prozent auf 31,7 Prozent. AstaBench stieg von 0,053 auf 0,067, während seine Rate ausgelieferter Berichte von 50 Prozent auf 76 Prozent zunahm.

DSBench bewegte sich nur geringfügig, von 0,473 auf 0,482. Diese kleine absolute Veränderung liegt einer stärkeren Score-pro-Token-Relation zugrunde, weil die Effizienzberechnung auch die Ausgabelänge berücksichtigt.

Zwei Benchmarks für Software Engineering entwickelten sich rückläufig. Terminal-Bench 2.0 fiel von 0,375 auf 0,352. SWE-bench Verified sank von 0,626 auf 0,611.

Ihre Score-pro-Token-Verhältnisse erreichten das 0,96- beziehungsweise 0,94-Fache der Ergebnisse des Basismodells. Diese Rückgänge stellen jede Behauptung, MASS habe ein allgemein stärkeres Modell hervorgebracht, unmittelbar infrage.

Die wahrscheinliche Erklärung ist Aufgabenabstimmung. Die Trainingssuite betont offene Forschung mit Code, Belegen und Berichten. Sie enthält keine Software-Engineering-Aufgaben, die Repository-Debugging oder Terminaloperationen ähneln.

Sakana AI legt nahe, dass die Aufnahme von Software-Engineering-Aufgaben diese Lücke schließen könnte. Das bleibt eine Hypothese, bis ein weiterer Zyklus sie testet. Eine breitere Aufgabenmischung könnte auch Interferenzen zwischen Fähigkeiten erzeugen, statt sie einheitlich zu verbessern.

Das Design der öffentlichen Benchmarks fügt eine weitere Einschränkung hinzu. MASS berichtet Effizienz als Score pro Ausgabetoken, was für die Bewertung produktiven Schlussfolgerns nützlich ist. Es umfasst jedoch nicht alle Kosten, die für die Erzeugung dieser verbesserten Ausgaben erforderlich sind.

Workflow-Suche, wiederholte Ausführungen, Modellvergleiche, Datengenerierung und Bewertung verbrauchen sämtlich Rechenleistung. Die berichteten Gesamtsummen überwachter Tokens schließen zudem Eingabetokens und mehrere vorgelagerte Aufwände aus.

Das Ergebnis ist bedeutsam, aber enger gefasst, als es eine einfache Effizienzschlagzeile nahelegt. MASS scheint dichtere Trainingsbeispiele zu erzeugen. Ob es die gesamten Entwicklungskosten senkt, erfordert eine vollständige Abrechnung der Such- und Auswahlpipeline.

Der eigentliche Mechanismus ist Informationsfluss, nicht mehr Agenten-Personas

Die Vorteile von MASS scheinen aus der Umstrukturierung des Informationsaustauschs zu entstehen, nicht aus der Zuweisung theatralischer Identitäten an viele Agenten.

Multi-Agenten-Systeme beginnen häufig mit Rollen wie Forschende, Kritiker, Ingenieur oder Redakteur. Diese Bezeichnungen helfen bei der Arbeitsteilung, können jedoch allgemein bleiben. Eine Rolle namens „sorgfältiger Analyst“ trägt kaum aufgabenspezifische Informationen.

MASS durchsucht vier Workflow-Komponenten: Rollen, Anweisungen, Verträge und Übergaben. Ein Vertrag definiert, welche Belege oder Artefakte ein Agent zurückgeben muss. Eine Übergabe legt fest, wann Informationen zwischen Agenten weitergegeben werden oder zu einer früheren Phase zurückkehren.

In einem Finanz-Workflow übernehmen separate Agenten Datenaufbereitung, Merkmalskonstruktion, Modellierung, Backtesting, Auditierung, Abstimmung und Berichterstattung. Der Datenagent muss berichten, ob zukünftige Informationen in historische Entscheidungen eingeflossen sind.

Dieser Vertrag adressiert einen konkreten Fehlermodus. Ein Finanz-Backtest kann erfolgreich erscheinen, wenn das Modell versehentlich zukünftige Daten verwendet. Explizite Prüfungen zu verlangen, liefert späteren Agenten Belege, die sie prüfen können, bevor sie das Ergebnis akzeptieren.

Sakana AI analysierte, wie sich Workflow-Komponenten während der Suche veränderten. Dabei stellte das Unternehmen fest, dass sich Aufgabeninformationen zunehmend in Verträgen und der Kommunikationsreihenfolge konzentrierten. Rollen und allgemeine Anweisungen trugen im Laufe der Zeit weniger dieser Informationen.

Die Stichprobe hinter dieser Analyse ist klein und umfasst je nach Vergleich acht oder neun Aufgaben. Ihre Mutual-Information-Schätzungen beschreiben Workflow-Text, nicht jede während der Ausführung ausgetauschte Nachricht. Das Muster sollte daher als Forschungsansatzspunkt behandelt werden.

Trotz dieser Einschränkung bietet es eine nützliche Erklärung für Sakana AI MASS. Das System verbessert sich, indem es herausfindet, was jeder Agent belegen muss, was er weitergeben muss und wann ein anderer Agent es prüfen sollte.

Frühere Forschung zu multiagent debate zeigte, dass Modellinstanzen ihr Schlussfolgern durch den Austausch von Antworten und Kritik verbessern können. MASS erweitert diese Idee von temporärem Inferenzverhalten auf überwachtes Training.

Die Methode trainiert zudem zwei unterschiedliche Verhaltensformen. Orchestrator-Trajektorien zeigen, wie sich umfassende Arbeit zerlegen und Spezialisten koordinieren lassen. Subagenten-Trajektorien zeigen, wie klar abgegrenzte Aufgaben mit eindeutigen Ausgabeforderungen erledigt werden.

Diese Kombination scheint dichter zu sein als das Training auf langen Einzelagenten-Traces. Im Vergleich von Sakana AI erreichte ein Multi-Agenten-Student nach der Verarbeitung von 28,8 Millionen überwachten Tokens eine Gewinnrate von 68,3 Prozent.

Der größte Einzelagenten-Student erreichte nach der Verarbeitung von 42 Millionen Tokens 64 Prozent. Nach diesem Maß erzielte das Multi-Agenten-Modell mit 31 Prozent weniger überwachten Tokens ein höheres Ergebnis.

Der Vergleich isoliert Delegation nicht als alleinige Ursache. Die Gruppen nutzten unterschiedliche Workflows und Verifizierungsanweisungen. Teamausführungen erzeugten zudem vor der Auswahl der Trainingsbeispiele im Durchschnitt etwa 2,4-mal so viele Tokens.

Externe Bewerter bevorzugten Multi-Agent-Arbeit in 85,1 Prozent der Vergleiche gegenüber Ergebnissen einzelner Agenten. Unter zehn Paaren mit ähnlicher Trace-Länge gewannen Teamergebnisse weiterhin 80 Prozent der Vergleiche.

Diese Ergebnisse deuten darauf hin, dass neben der Teamstruktur auch die Qualität der Auswahl zählt. MASS lernt nicht aus jedem Agentenaustausch. Es erzeugt viele Kandidaten, lässt sie vom Modell bewerten und trainiert anhand der bevorzugten Teilmenge.

Der Mechanismus ähnelt einem Filter, der aufwendige kollektive Arbeit in verdichtete Lerninhalte verwandelt. Er tauscht zusätzliche Kosten für Suche und Bewertung gegen bessere überwachte Beispiele ein.

Dieser Zielkonflikt hat praktische Folgen für Entwickler. Ein nützliches KI-Team braucht mehr als mehrere Kopien desselben Prompts. Es benötigt explizite Verträge für Evidenz, Prüfphasen und auf die Aufgabe abgestimmte Regeln für die Informationsweiterleitung.

Dasselbe Prinzip gilt, wenn Menschen KI-gestützte Recherche koordinieren. Eine durchsuchbare Wissensdatenbank hilft nur dann, wenn Mitwirkende Belege, Kontext und Entscheidungen in Formen festhalten, die andere überprüfen können.

MASS automatisiert einen Teil dieser organisatorischen Gestaltung. Seine weitergehende Behauptung lautet, dass Koordination selbst zu einer erlernten Fähigkeit werden kann. Das Modell leistet nicht nur durch ein temporäres Team bessere Arbeit. Es übernimmt Muster aus dem erfolgreichen Verhalten des Teams.

Ein Modell bewertet weiterhin seine eigenen Hausaufgaben

Die entscheidende Stärke der Multi-Agent-Selbstüberwachung ist zugleich ihr größtes ungelöstes Risiko.

MASS nutzt ein gemeinsames Modell als Aufgabenlöser, Workflow-Optimierer und Evaluator innerhalb der Schleife. Dieses homogene Design prüft, ob sich ein Modell verbessern kann, ohne dauerhaft von einem stärkeren Lehrermodell abhängig zu sein.

Es erzeugt jedoch auch korrelierte Fehler. Wenn das Modell eine Aufgabe missversteht, kann jeder Agent dieses Missverständnis reproduzieren. Der Evaluator kann dann denselben Fehler belohnen, den der Ausführende erzeugt hat.

Wiederholte Zyklen erhöhen den Einsatz. Eine fehlerhafte Trajektorie kann als überlegen akzeptiert, für das Training ausgewählt und in das nächste Modell übernommen werden. Der aktualisierte Evaluator kann sich des gemeinsamen Fehlers noch sicherer werden.

Sakana AI benennt gemeinsame blinde Flecken offen als zentrales Sicherheitsproblem. Seine Projektübersicht argumentiert, dass die Selbstbewertung mit wachsenden Fähigkeiten offen für Korrekturen bleiben muss.

Die externen Bewerter helfen bei der Messung dieses Experiments, lösen aber nicht das Problem beim Einsatz in der Praxis. GPT-5.5 und Claude Opus 4.8 blieben außerhalb des Trainingssignals. Ihre Verfügbarkeit bot daher eine Kontrollinstanz, die einer wirklich autonomen Schleife fehlen könnte.

MASS berichtet, dass die Übereinstimmung mit diesen externen Bewertern über drei Modellgenerationen hinweg von 73 Prozent auf 93 Prozent stieg. Das ist ein Hinweis darauf, dass der interne Evaluator bei diesen Aufgaben stärker mit leistungsfähigeren Bewertern übereinstimmte.

Übereinstimmung ist nicht gleichbedeutend mit Richtigkeit. Zwei Evaluatoren können Annahmen teilen, stilistisch überzeugende, aber fehlerhafte Berichte belohnen oder Fehler übersehen, deren Erkennung reale Experimente erfordert. Bei offener Forschung ist diese Unterscheidung besonders wichtig.

Auch die Benchmark-Suite ist im Vergleich zur Reichweite, die rekursive Selbstverbesserung impliziert, kompakt. Nur drei synthetische Aufgaben wurden vom Post-Training ausgenommen. Zwei vollständige Zyklen liefern Hinweise auf Iteration, aber nicht auf unbegrenzten rekursiven Fortschritt.

Skepsis in der Community hat sich auf diese Lücke konzentriert. Einige Kommentatoren bei Hacker News argumentierten, die Arbeit ähnele eher einer verbesserten Agentenkoordination als uneingeschränkter rekursiver Selbstverbesserung. Andere fragten, warum ein offenbar rekursiver Prozess nach zwei Runden endete.

Diese Kritik benennt ein reales Benennungsproblem. Strenge rekursive Selbstverbesserung impliziert oft ein System, das die Mechanismen zur Erzeugung seiner Nachfolger autonom verändert. MASS wechselt stattdessen zwischen von Menschen entwickelter Workflow-Suche und überwachtem Fine-Tuning innerhalb einer festen experimentellen Pipeline.

Das Modell beeinflusst Workflows, Trainingsdaten und Bewertungsentscheidungen. Menschen definieren weiterhin Architektur, Aufgaben-Suite, Optimierungsmethode, Benchmark-Protokoll und Zyklusgrenzen. Sie stellen auch die Recheninfrastruktur bereit.

MASS als rekursiv zu bezeichnen, ist vertretbar, weil jedes aktualisierte Modell dabei hilft, die Trainingsdaten des nächsten Modells zu erzeugen und auszuwählen. Es als offene Selbstverbesserung zu bezeichnen, würde über das hinausgehen, was das Experiment belegt.

Die Qualität des Optimierers stellt eine weitere Einschränkung dar. Sakana AI testete Konfigurationen, die GPT-5.5 in die Workflow-Suchschleife einfügten, während das Basis-Qwen-Modell als Ausführender beibehalten wurde.

Der alleinige Einsatz von GPT-5.5 als Evaluator führte zu einer begrenzten Verbesserung. Sein Einsatz sowohl als Evaluator als auch als Optimierer fand innerhalb von fünf Suchiterationen für alle 12 Aufgaben erfolgreiche Workflows.

Die vollständig homogene Schleife fand schließlich erfolgreiche Workflows für 11 von 12 Aufgaben, benötigte dafür jedoch bis zu 13 Iterationen. Sakana AI interpretiert dies als Hinweis darauf, dass der Optimierer zu einem größeren Engpass als der Evaluator werden kann.

Gute Kritik ist nutzlos, wenn der Optimierer sie nicht in einen besseren Prozess überführen kann. Dieses Ergebnis verschiebt die Aufmerksamkeit von der Genauigkeit der Bewertung hin zur Fähigkeit des Modells, komplexe Workflows zu überarbeiten.

Die Stabilität der Suche bleibt schwach. Die Workflow-Ergebnisse von Sakana AI schwanken, wobei auf starke Iterationen deutliche Rückschritte folgen. Das Erreichen eines guten Workflows garantiert nicht, dass die nächste Überarbeitung ihn bewahrt.

Diese Grenzen machen das Ergebnis interessanter, nicht weniger interessant. MASS zeigt auf, wo eine homogene Verbesserungsschleife unter Beobachtung versagt. Es liefert Messwerte für Transfer, Übereinstimmung der Bewerter, Optimierungsstärke und Workflow-Instabilität.

Kollektive Intelligenz beseitigt das Aufsichtsproblem nicht

Ein Team identischer Modelle kann eine Suche verbreitern, aber kein unabhängiges Urteil garantieren.

Kollektive Intelligenz gewinnt ihre Stärke gewöhnlich aus den Unterschieden zwischen den Beteiligten. Menschliche Teams bringen unterschiedliche Erfahrungen, Anreize, Fachkenntnisse und institutionelle Rollen mit. Diese Unterschiede können Fehler aufdecken, die einer einzelnen Person entgehen würden.

MASS verwendet mehrere Instanzen eines gemeinsamen Modells. Zufällige Stichproben und spezialisierte Zuweisungen erzeugen Verhaltensvariationen, doch jeder Agent erbt dieselben Gewichte und einen großen Teil derselben Trainingshistorie.

Diese Architektur kann dennoch nützliche Vielfalt erzeugen. Getrennte Agenten erkunden unterschiedliche Ansätze, arbeiten mit verschiedenen Zwischenbelegen und kritisieren einander. Ihre Uneinigkeit belegt jedoch keine echte Unabhängigkeit.

Bei nicht verifizierbaren Aufgaben wird das Problem deutlicher. Sakana AI verwendet diesen Begriff für Arbeit ohne automatisches, regelbasiertes Erfolgssignal. Ein Forschungsbericht kann schlüssig und gut belegt sein und dennoch einen unbemerkten konzeptionellen Fehler enthalten.

Ein Modell-Evaluator kann Ausgaben bevorzugen, die seinem eigenen Stil oder seinen Denkgewohnheiten entsprechen. Training auf Basis dieser Auswahlen kann die Präferenzen des Evaluators stärken, ohne den Kontakt zur Realität zu verbessern.

Dies ist ein umfassenderes Problem skalierbarer Aufsicht. Wenn Agenten Arbeit ausführen, die Menschen nur schwer beurteilen können, benötigen Entwickler schwächere Aufseher, um stärkere Systeme zu überwachen. Fähigere Modellbewerter helfen, verlagern aber auch Bewertungsautorität von Menschen weg.

Die Forschung von OpenAI zur Überwachbarkeit zeigt, dass Begründungsspuren mehr über das Verhalten von Agenten offenlegen können als Handlungen und Endantworten allein. Sie beschreibt Überwachbarkeit zugleich als unvollständig und abhängig sowohl vom Agenten als auch vom Überwacher.

Das ist für MASS relevant, weil seine Trainingsbeispiele reichhaltige Trajektorien enthalten. Nachrichten, Tool-Aufrufe und Zwischenartefakte schaffen mehr Möglichkeiten zur Überprüfung. Sie schaffen aber auch eine größere Angriffsfläche, auf der sich subtile Fehler verbergen können.

Die direkte Optimierung sichtbarer Begründungen kann eine weitere Gefahr mit sich bringen. Ein Modell kann lernen, welche Erklärungen Zustimmung erhalten, ohne das Verhalten zu ändern, das zu einem Fehler geführt hat. Die Aufsicht belohnt dann verständliche Rationalisierung statt verlässlicher Arbeit.

Sakana AI behauptet nicht, dieses Problem gelöst zu haben. Seine Arbeit warnt, dass dieselbe Schwäche das Verhalten eines Modells und den Mechanismus zu seiner Korrektur beeinträchtigen kann.

Unabhängige Kontrollen bleiben daher notwendig. Dazu können externe Modelle, menschliche Experten, ausführbare Tests, vertrauenswürdige Datenpipelines, adversariale Bewertungen und verzögerte Validierung in der realen Welt gehören.

Keine einzelne Kontrolle deckt jeden Fehler ab. Code kann laufen und dennoch das falsche Ziel umsetzen. Ein Bericht kann echte Belege zitieren und zugleich widersprüchliche Ergebnisse auslassen. Mehrere Modelle können übereinstimmen, weil sie Trainingsverzerrungen teilen.

Der stärkste kurzfristige Einsatzbereich von MASS könnten klar abgegrenzte Forschungsarbeiten mit überprüfbaren Zwischenschritten sein. Finanzpipelines können chronologische Datensplits testen. Robotikexperimente können Simulationsergebnisse prüfen. Pharmazeutische Analysen können Verträge für Daten und Berechnungen durchsetzen.

Je subjektiver das Endziel wird, desto schwächer wird Selbstbewertung als alleiniges Signal. Strategie, wissenschaftliche Neuheit, Politikberatung und Sicherheitsanalyse hängen alle von Werten oder Belegen ab, die ein Modellkonsens nicht entscheiden kann.

Auch Anthropics Diskussion über rekursive Selbstverbesserung rückt Aufsicht, Validierung und Verifikation ins Zentrum der künftigen KI-Entwicklung. Der gemeinsame Druck ist klar, selbst wenn sich die technischen Ansätze unterscheiden.

Wenn KI einen größeren Anteil der Arbeit leistet, die zur Verbesserung von KI erforderlich ist, darf Aufsicht keine Nebensache bleiben. Bewertungssysteme müssen sich parallel zu Fähigkeitssystemen weiterentwickeln. MASS bietet ein nützliches Testfeld, um dieses Rennen zu untersuchen.

Die nächsten drei Signale werden entscheiden, was MASS tatsächlich beweist

Die nächste Phase muss Dauer, Transfer und Korrektur testen, statt das stärkste Schlagzeilenergebnis zu wiederholen.

Das erste Signal ist, ob die Verbesserung weitere Zyklen übersteht. Zwei Runden belegen Wiederkehr, aber keine nachhaltige rekursive Selbstverbesserung durch kollektive Intelligenz.

Ein dritter und vierter Zyklus sollten messen, ob die Gewinne anhalten, stagnieren oder sich umkehren. Forschende sollten außerdem berichten, wie sich die Kosten der Workflow-Suche verändern, wenn sich das Modell verbessert.

Anhaltende Gewinne bei stabiler externer Bewertung würden die rekursive Behauptung stärken. Ein Plateau würde darauf hindeuten, dass das Modell die verfügbaren Lerninhalte innerhalb seiner Aufgabenverteilung ausgeschöpft hat. Ein Rückschritt könnte akkumulierte Bewertungsfehler oder Trainingsinterferenzen offenlegen.

Das zweite Signal ist der Transfer in Domänen, die von der ursprünglichen Forschungssuite ausgeschlossen waren. Die Rückgänge bei Terminal-Bench 2.0 und SWE-bench Verified liefern eine anspruchsvolle Ausgangsbasis.

Das Hinzufügen von Software-Engineering-Aufgaben sollte diese Benchmarks verbessern, wenn die Methode übertragbare Koordination erlernt. Wenn Gewinne nur nach direktem domänenspezifischem Training auftreten, wird MASS eher wie eine effiziente Spezialisierungsmethode wirken.

Das wäre weiterhin wertvoll. Es würde die Behauptung lediglich von breiter Selbstverbesserung auf besser aufgabenabhängiges Post-Training eingrenzen.

Ein überzeugender Transfertest sollte auch die Leistung in Finanzen, Robotik und Pharmazie bewahren. Andernfalls könnten neue Fähigkeiten alte ersetzen, statt sich mit ihnen zu kumulieren.

Das dritte Signal ist, ob das System einen gemeinsamen blinden Fleck erkennen und korrigieren kann. Forschende könnten versteckte Bewertungsfallen, widersprüchliche Belege oder Aufgaben einführen, bei denen ein überzeugender Konsens zu einer falschen Schlussfolgerung führt.

Erfolg würde mehr erfordern, als dass externe Bewerter den Fehler entdecken. Die homogene Schleife sollte das Problem identifizieren, ihren Workflow überarbeiten und vermeiden, auf den fehlerhaften Trajektorien zu trainieren.

Dieser Test würde Fähigkeitsbehauptungen mit Kontrolle verbinden. Er würde zeigen, ob kollektive Intelligenz korrigierenden Druck erzeugen kann, wenn alle Agenten von ähnlichen Annahmen ausgehen.

Organisationen, die Sakana AI MASS bewerten, sollten sich auf diese Signale konzentrieren, bevor sie es als allgemeines Rezept behandeln. Die gegenwärtigen Ergebnisse unterstützen Experimente mit belegintensiven, klar abgegrenzten Forschungsworkflows. Sie rechtfertigen nicht, menschliche Überprüfung aus folgenreichen Entscheidungen zu entfernen.

Die übergeordnete Lehre ist bereits erkennbar. Bessere Agententeams können bessere Trainingsdaten erzeugen, und diese Erkenntnisse können in Modellgewichte einfließen. Doch jeder Fortschritt hängt davon ab, was das Team als Erfolg bewertet.

Rekursive Selbstverbesserung durch kollektive Intelligenz wird erst dann vertrauenswürdig, wenn die Schleife ihre eigenen gemeinsamen Fehler erkennen kann. Welche unabhängigen Prüfungen würde Ihre Organisation verlangen, bevor sie einem solchen System erlaubt, die Evidenz für seinen nächsten Trainingszyklus auszuwählen?