Mercor AI-Benchmark-Abdeckung lässt 90 % der US-Arbeitsstunden im Dunkeln

Laut der neuen Wirtschaftskarte des Unternehmens lässt die Mercor AI-Benchmark-Abdeckung rund 90 % der amerikanischen Arbeitsstunden kaum oder gar nicht sinnvoll abgebildet. Die Erkenntnis stellt eine zentrale Annahme hinter vielen Behauptungen über künstliche Intelligenz und Beschäftigung infrage. Modellergebnisse können beeindruckend aussehen und dennoch erstaunlich wenig über den Großteil der Arbeit aussagen, die landesweit geleistet wird.

Mercor ordnete 29 agentische Benchmarks 18.797 Aufgaben in 923 Berufen des US-Arbeitsmarkts zu. Nur 924 Aufgaben erfüllten den Schwellenwert für die Abdeckung. Lediglich 208 Berufe hatten mindestens eine Aufgabe, die durch fünf oder mehr Benchmark-Prompts repräsentiert wurde.

Diese Lücke zeigt nicht, dass KI die übrige Arbeit nicht leisten kann. Sie zeigt, dass Forschende bisher nicht angemessen gemessen haben, ob sie es kann. Dieser Unterschied ist für Arbeitgeber, die Automatisierungsentscheidungen treffen, für Beschäftigte, die Berufsrisiken einschätzen, und für politische Entscheidungsträger, die Arbeitsmarktverwerfungen prognostizieren, von Bedeutung.

Die Online-Reaktion verdeutlichte den Konflikt schnell. Einige Leser werteten die Karte als Beleg dafür, dass die wirtschaftliche Reichweite von KI weiterhin begrenzt sei. Andere argumentierten, fehlende Benchmarks offenbarten einen Messrückstand und keine Fähigkeitsgrenze.

Der eigentliche Wettbewerb lautet daher nicht KI gegen menschliche Arbeit. Es geht um Benchmark-Vertrauen gegen die chaotische Realität der Arbeit. Mercors Karte legt nahe, dass die Belege für Prognosen einer wirtschaftsweiten Automatisierung weit dünner sind, als viele selbstbewusste Vorhersagen vermuten lassen.

Mercor AI-Benchmark-Abdeckung misst den Test, nicht die Grenzen der KI

Die Schlagzeilenzahl beschreibt eine Messlücke, nicht den Anteil der Arbeit, den KI nicht erledigen kann.

Mercor stellte eine sogenannte Benchmark Map der US-Wirtschaft zusammen. Das Projekt verknüpft Prompts aus 29 KI-Evaluierungen mit Aufgabenbeschreibungen in der Berufstaxonomie des Arbeitsministeriums.

Diese Evaluierungen betonen agentische Aufgaben. Eine agentische Aufgabe verlangt von einem Modell, ein Ergebnis oder einen Arbeitsablauf abzuschließen, statt eine Faktenfrage zu beantworten. Beispiele sind das Bearbeiten einer Tabelle, das Lösen eines Softwareproblems oder die Erstellung einer professionellen Analyse.

Die Benchmark-Karte berichtet, dass 924 von 18.797 beruflichen Aufgaben ausreichend repräsentiert sind. Mercor stuft eine Aufgabe als abgedeckt ein, wenn ein KI-Richter sie mit mindestens fünf Prompts aus den ausgewählten Benchmarks verbindet.

Diese Regel führt zu einem deutlichen Ergebnis. Nur 208 von 923 Berufen enthalten auch nur eine Aufgabe, die den Schwellenwert von fünf Prompts erfüllt. Sechs der 22 Berufsgruppen enthalten keinen Beruf, der sich qualifiziert.

Auch zwischen den Bereichen variiert die Abdeckung stark. Bei Informatik- und Mathematikberufen sind 29 von 36 Berufen repräsentiert. In Wirtschaft und Finanzwesen sind es 33 von 48, bei Rechtsberufen fünf von sieben.

Andere Teile der Wirtschaft bleiben deutlich schwächer abgedeckt. Bei Gesundheitsfachkräften sind 12 von 89 Berufen repräsentiert. Bildung und Bibliotheksarbeit erreichen neun von 62 Berufen, Architektur und Ingenieurwesen 19 von 56.

Diese Zahlen sollten nicht als Leistungswerte von Modellen gelesen werden. Ein Beruf kann abgedeckt sein, auch wenn die bewerteten Modelle schlecht abschneiden. Umgekehrt kann eine Aufgabe als nicht abgedeckt erscheinen, obwohl ein kommerzielles System Menschen bereits dabei unterstützt.

Abdeckung zeigt stattdessen an, ob ein einbezogener Benchmark genügend Prompts für eine begrenzte Bewertung bietet. Sie ist ein Verzeichnis verfügbarer Tests, nicht ein Verzeichnis dessen, was aktuelle KI alles kann.

Diese Unterscheidung begegnet einer Kritik aus der öffentlichen Diskussion. Restaurantautomatisierung, sprachgesteuerte Bestellungen oder Lagerrobotik können existieren, ohne in Mercors ausgewählter Benchmark-Sammlung aufzutauchen. Ihr Fehlen lässt bereits eingesetzte Systeme nicht verschwinden.

Dieselbe Vorsicht gilt in die entgegengesetzte Richtung. Dass ein Modell Prompts zu einer Aufgabe besteht, zeigt nicht, dass es den entsprechenden Beschäftigten ersetzen kann. Berufe verbinden Urteilsvermögen, Koordination, physisches Handeln, Ausnahmebehandlung und institutionelle Verantwortung.

Ein Rechts-Benchmark könnte etwa die Vertragsgestaltung bewerten, aber Mandantenberatung, Verhandlungen, Aufsicht oder Gerichtstätigkeit auslassen. Die Messung eines sichtbaren Ergebnisses erfasst nicht das vollständige Leistungspaket, das Arbeitgeber beim Einstellen eines Anwalts erwerben.

Mercor bezeichnet seine erste Liste ausdrücklich als vorläufig. Das Unternehmen erklärt, die Karte werde wachsen, sobald weitere wirtschaftlich relevante Evaluierungen verfügbar werden. Diese Einschränkung macht das Ergebnis weniger endgültig, verstärkt aber zugleich die zentrale Erkenntnis.

Selbst nach Jahren rascher Benchmark-Produktion beobachtet das Evaluierungsökosystem weiterhin nur einen schmalen Ausschnitt der Wirtschaft. Behauptungen über breit angelegte Arbeitsverdrängung reichen daher weit über die verfügbaren Tests hinaus.

Warum KI-Evaluierungen sich auf wertvolle digitale Arbeit konzentrieren

Benchmarks bündeln sich dort, wo Arbeit digital, teuer, wiederholbar und relativ leicht zu bewerten ist.

Die blinden Flecken der Karte sind nicht zufällig verteilt. Mercor stellte fest, dass Aufgaben, die als Sprachmodellen ausgesetzt klassifiziert wurden, etwa sechsmal häufiger in seiner Benchmark-Sammlung auftauchten.

Dieses Muster ist nachvollziehbar. Forschende wollen Evaluierungen, die Unterschiede zwischen fortgeschrittenen Modellen sichtbar machen können. Digitale Wissensarbeit bietet zugängliche Eingaben, reproduzierbare Umgebungen und Ergebnisse, die Software oder Expertenprüfer untersuchen können.

Softwareentwicklung wurde früh zu einem Zielbereich, weil sich ein Programm oft automatisiert testen lässt. Code kompiliert entweder, besteht Tests oder erzeugt eine definierte Ausgabe. Diese Rückkopplungsschleifen erleichtern Evaluierung und Modellverbesserung.

Auch Finanzanalysen erzeugen vertraute digitale Artefakte. Ein Benchmark kann Quelldokumente bereitstellen, Annahmen festlegen und eine Tabelle oder Präsentation anfordern. Prüfer können anschließend Berechnungen, Struktur und Schlussfolgerungen vergleichen.

Physische und zwischenmenschliche Arbeit schafft schwierigere Messprobleme. Ein Prompt kann weder ein überfülltes Klassenzimmer, einen unvorhersehbaren Wartungseinsatz noch ein sensibles Gespräch mit einer Familie vollständig nachbilden.

Die offizielle O*NET-Datenbank hilft Forschenden, solche Arbeit zu beschreiben, doch ihre Aufgabenbeschreibungen sind keine Benchmark-Umgebungen. Sie benennen Tätigkeiten, ohne automatisch realistische Eingaben, Werkzeuge, Einschränkungen und Bewertungsregeln zu erzeugen.

Mercors Analyse zeigt außerdem, dass Aufgaben aus Berufen mit größeren Lohnsummen mehr Abdeckung erhalten. Dieser Zusammenhang bleibt auch nach Berücksichtigung der geschätzten KI-Exposition bestehen.

Dieser Anreiz ist wirtschaftlich rational. Die teilweise Automatisierung eines teuren Berufs verspricht einen klareren potenziellen Ertrag als die Entwicklung einer Evaluierung für einen kleineren Arbeitsmarkt. Kunden haben zudem stärkere Gründe, Tests zu finanzieren, die an hohe Vergütungen gekoppelt sind.

Die Bedeutung einer Aufgabe erzeugt einen weiteren Auswahleffekt. Innerhalb eines Berufs erhielten als besonders wichtig bewertete Aufgaben etwa sechs- bis zehnmal häufiger Benchmark-Abdeckung als die am wenigsten wichtigen Aufgaben.

Wichtige Arbeit zu priorisieren klingt sinnvoll. Ein Beruf hängt jedoch oft von zahlreichen kleinen Tätigkeiten ab, die seine zentralen Ergebnisse überhaupt erst ermöglichen. Dazu gehören das Sammeln von Kontext, das Bestätigen von Anforderungen, das Koordinieren von Freigaben, das Erkennen von Ausnahmen und das Beheben von Missverständnissen.

Ein Benchmark kann das Dokument erfassen, das am Ende eines Prozesses erscheint. Selten erfasst er die organisatorische Arbeit, die darüber entscheidet, ob das Dokument korrekt, rechtzeitig, vertrauenswürdig und nutzbar ist.

Dies ähnelt dem in der Hacker-News-Diskussion angesprochenen Pförtnerproblem. Das Öffnen einer Tür scheint die zentrale Aufgabe zu sein, bis Automatisierung zeigt, dass der Beschäftigte auch Wegbeschreibungen, Sicherheitsbewusstsein und informelle Hilfe leistete.

Wissensarbeit enthält ähnliche verborgene Funktionen. Ein Produktmanager schreibt nicht bloß ein Anforderungsdokument. Die Rolle umfasst auch das Abgleichen widersprüchlicher Anforderungen, das Erinnern an frühere Entscheidungen, das Erkennen fehlender Belege und das Einholen von Verbindlichkeit.

KI kann das sichtbare Artefakt beschleunigen, während diese umgebenden Einschränkungen bestehen bleiben. In manchen Fällen erzeugt eine schnellere Generierung zusätzliche Prüfungsarbeit, weil Teams ein größeres Volumen plausibler Ergebnisse verifizieren müssen.

Deshalb kann eine persönliche oder teamweite Wissensdatenbank wichtiger sein als ein weiteres isoliertes Generierungstool. Der Engpass liegt oft im Wiederherstellen von Kontext und im Validieren von Entscheidungen, nicht im Erzeugen eines weiteren Entwurfs.

Die Benchmark-Konzentration spiegelt daher sowohl technische Machbarkeit als auch Marktanreize wider. Sie zeigt, wo Entwickler von Evaluierungen heute glaubwürdige Tests erstellen können, nicht wo wirtschaftliche Transformation morgen enden muss.

Die 90%-Erkenntnis beruht auf mehreren Schichten von Schätzungen

Mercors Ergebnis kombiniert offizielle Arbeitsmarktdaten mit modellgenerierten Zuordnungen; jede Schicht liefert nützliche Struktur und zusätzliche Unsicherheit.

Das Projekt beginnt mit O*NET, der Bundesdatenbank, die Berufe, Arbeitnehmermerkmale und Arbeitsaufgaben beschreibt. Mercor verwendet 923 Berufe und 18.797 zugehörige Aufgabenbeschreibungen.

Anschließend verknüpfen Forschende Benchmark-Prompts mit diesen Aufgaben. Mercor erklärt, dass ein LLM-Richter einen Prompt mehreren beruflichen Aufgaben zuordnen kann, wenn sich die Tätigkeiten überschneiden.

Das Unternehmen validierte diesen Prozess anhand menschlicher Expertenlabels für seine eigenen APEX-Benchmarks. Diese Validierung gilt jedoch für eine Teilmenge der 29 Evaluierungen, nicht zwangsläufig für jeden einbezogenen Prompt.

Mercor definiert Abdeckung ab fünf zugeordneten Prompts. Dieser Schwellenwert verhindert, dass ein einzelnes Beispiel als angemessene Repräsentation gilt, doch fünf Elemente liefern weiterhin nur begrenzte Belege für eine komplexe Aufgabe.

Ein Diskussionsteilnehmer verdeutlichte dieses Problem anhand der Sozialarbeit. Dreizehn Prompts könnten technisch gesehen eine Beratungsaufgabe abdecken, doch sie können nicht jeden Klienten, jede rechtliche Einschränkung, emotionale Dynamik oder nachteilige Folge repräsentieren.

Die 90%-Schätzung erfordert einen weiteren Schritt. O*NET erfasst Aufgabenbedeutung und -häufigkeit, liefert jedoch keine direkte vollständige Aufteilung der Arbeitsstunden aller Beschäftigten auf sämtliche Aufgaben.

Mercor nutzt deshalb Forschung, die mit Sprachmodellen Arbeitszeitanteile auf Aufgabenebene schätzt. Das Unternehmen kombiniert diese Anteile mit Beschäftigungs- und Lohndaten, um näherungsweise zu bestimmen, wie amerikanische Arbeitsstunden verteilt sind.

Die Lohnsummen der Berufe werden anhand der geschätzten Beschäftigung und der Durchschnittslöhne berechnet. Das Modell nimmt bei der Umrechnung dieser Summen in Arbeitsmaße eine 40-Stunden-Woche an.

Dadurch entsteht eine stimmige Wirtschaftskarte, jedoch keine direkte nationale Arbeitszeitverwendungserhebung. Der endgültige Prozentsatz hängt von Aufgabendefinitionen, geschätzten Zeitanteilen, der Benchmark-Auswahl, der Prompt-Zuordnung und der Fünf-Prompt-Regel ab.

Mercor räumt mehrere Einschränkungen ein. Seine Liste ist unvollständig, und fehlende Benchmarks verringern die scheinbare Abdeckung. Das Unternehmen begrenzte zudem die Repräsentation stark untersuchter Berufsgruppen, damit Softwareentwicklung die Sammlung nicht dominiert.

Diese Entscheidung verbessert die Breite, senkt jedoch die gemessene Tiefe in beliebten Kategorien. Der Ausschluss gesättigter Benchmarks kann auch Aufgaben verbergen, die Modelle bereits gut erledigen.

Die Einbeziehung dieser Benchmarks würde ein anderes Problem schaffen. Einfache oder unrealistische Evaluierungen könnten die scheinbare wirtschaftliche Abdeckung aufblähen, ohne nützliche Belege für den Einsatz zu liefern.

Auch Auswahlkriterien bringen Wertungen ein. „Wirtschaftlicher Realismus“ klingt objektiv, doch Forschende müssen weiterhin entscheiden, ob ein Prompt der Arbeit ähnelt, die in einem Unternehmen tatsächlich geleistet wird.

Die 90%-Zahl sollte deshalb als Schätzung betrachtet werden, die durch eine explizite Methodik erzeugt wurde. Sie ist kein Ergebnis einer Vollerhebung und keine feste Eigenschaft der Wirtschaft.

Dennoch machen die Unsicherheiten das Projekt nicht bedeutungslos. Selbst eine erhebliche Überarbeitung würde die Evaluierungslandschaft ungleichmäßig lassen. Ein Anstieg von 10 % Abdeckung auf 15 % oder 20 % würde keine gesamtwirtschaftliche Sichtbarkeit schaffen.

Die belastbare Schlussfolgerung ist enger gefasst und folgenreicher. Bestehende agentische Benchmarks erlauben keine sicheren Urteile über den Großteil der Arbeitszeit in den USA.

Diese Schlussfolgerung sollte verändern, wie Leser Zugewinne in Bestenlisten interpretieren. Ein steigender Wert kann Fortschritt innerhalb eines getesteten Bereichs belegen, während Tausende andere Aufgaben ungeprüft bleiben.

Bessere Realitätsbenchmarks erfassen noch immer nicht den gesamten Job

Neue Evaluierungen werden realistischer, doch Realismus innerhalb ausgewählter Berufe ist nicht dasselbe wie eine repräsentative Abdeckung der Wirtschaft.

Das Benchmark-Feld hat sich bereits über Trivia-Fragen und akademische Prüfungen hinausentwickelt. Neuere Tests fordern Modelle dazu auf, Berichte zu erstellen, Software zu bedienen, professionelle Materialien zu analysieren und mehrstufige Aufgaben abzuschließen.

OpenAIs GDPval-Evaluierung veranschaulicht diesen Wandel. Sie umfasst 44 Berufe in neun Branchen und verlangt von Modellen, Arbeitsergebnisse zu erstellen, die mit professionellen Resultaten verglichen werden.

Die vollständige GDPval-Sammlung enthält 1.320 Aufgaben. OpenAI wählte Berufe aus wirtschaftlich bedeutenden Sektoren aus und legte den Schwerpunkt auf Wissensarbeit, die mit großen Lohnvolumina verbunden ist.

Dieser Ansatz bietet mehr wirtschaftliche Relevanz als die Messung isolierter Denkaufgaben. Zugleich weist er die von Mercor identifizierte Konzentration auf. Die erste Version bevorzugt wertvolle, digital ausdrückbare Arbeit.

Softwaretests zeigen auf engerer Ebene dasselbe Muster. Sie können messen, ob ein Agent ein Problem in einem Repository behebt, doch das Ergebnis erfasst nicht jede Verantwortung eines arbeitenden Engineers.

Engineers untersuchen mehrdeutige Vorfälle, verhandeln über technische Schulden, prüfen Änderungen, unterstützen Kollegen und treffen Entscheidungen unter unvollständiger Informationslage. Ein großer Teil dieser Arbeit hängt von angesammeltem organisatorischem Kontext ab.

Die Time-Horizon-Forschung von METR ergänzt eine weitere nützliche Kennzahl. Sie schätzt die Aufgabendauer, bei der ein Agent eine bestimmte Erfolgswahrscheinlichkeit erreicht.

METR warnt zudem davor, diese Ergebnisse als gleichbedeutend mit Stunden regulärer Beschäftigung zu interpretieren. Evaluierungsaufgaben enthalten meist die Informationen, die zum Einstieg nötig sind, während Beschäftigte auf frühere Gespräche und implizites Wissen zurückgreifen.

Dieser Unterschied ist zentral für die Mercor-Geschichte. Benchmarks isolieren Arbeit, damit Forschende sie bewerten können. Reale Organisationen integrieren Arbeit über Menschen, Systeme, Geschichte und wechselnde Prioritäten hinweg.

Ein Modell kann eine klar definierte Aufgabe abschließen und dennoch scheitern, wenn Anforderungen implizit bleiben. Es kann eine überzeugende Tabellenkalkulation erstellen, dabei jedoch eine Geschäftsregel übersehen, die nur einem erfahrenen Analysten bekannt ist.

Der Einsatz verursacht zusätzliche Kosten, die Benchmark-Werte häufig ausblenden. Beschäftigte müssen Eingaben vorbereiten, Systemzugänge gewähren, Ergebnisse prüfen, Fehler behandeln, Verantwortlichkeiten dokumentieren und entscheiden, wann menschliche Eskalation nötig ist.

Die Ausgabe des Modells kann auch nachgelagerte Arbeit verändern. Schnellere Codegenerierung erhöht das Volumen, das in Review und Tests gelangt. Schnellere Content-Generierung schafft mehr Material, das Faktenprüfung und Freigabe erfordert.

Das ist ein Grund, warum gemessene Fortschritte nicht immer direkt in organisatorische Produktivität übergehen. Die Automatisierung einer Phase verlagert Aufmerksamkeit auf die langsamste verbleibende Einschränkung.

Physische Aufgaben vergrößern die Lücke zusätzlich. Forschung aus der Schätzung zur Remote-Arbeit kam zu dem Ergebnis, dass 37 % der US-Jobs vollständig von zu Hause aus erledigt werden könnten. Die übrigen Jobs umfassen physische Komponenten, die herkömmliche Sprachmodell-Benchmarks nur schwer nachbilden können.

Robotik könnte diese Aktivitäten irgendwann leichter bewertbar machen. Ein Benchmark für physische Arbeit muss jedoch Wahrnehmung, Manipulation, Sicherheit, Umweltvariationen und die Bewältigung unerwarteter Bedingungen abbilden.

Ein simulierter Erfolg belegt nicht automatisch sichere Leistung in einem Krankenhaus, einer Fabrik, einer Küche oder auf einer öffentlichen Straße. Die Kosten eines Fehlers können sich zudem erheblich von einer falschen Antwort in einer digitalen Sandbox unterscheiden.

Der Weg nach vorn besteht daher aus mehr als zusätzlichen Prompts. Benchmark-Designer benötigen reichhaltigere Umgebungen, längere Workflows, Messgrößen für menschliche Zusammenarbeit und klarere Verbindungen zwischen Aufgabenleistung und wirtschaftlichem Wert.

Was die Karte für Arbeitgeber und Beschäftigte verändert

Die Karte schwächt selbstsichere Automatisierungsprognosen und stärkt zugleich das Argument für engere, workflow-spezifische Evaluierungen.

Ein Arbeitgeber sollte nicht bei der aggregierten Bestenlistenposition eines Spitzenmodells beginnen. Die nützliche Frage lautet, ob dieses Modell die tatsächlichen Aufgaben der Organisation unter realistischen Bedingungen erfüllt.

Diese Bewertung beginnt mit der Zerlegung von Workflows. Teams müssen Eingaben, Tools, Abhängigkeiten, Freigabeanforderungen, häufige Ausnahmen und die Folgen eines falschen Ergebnisses identifizieren.

Ein Sachbearbeiter für Schadensfälle etwa kann Dokumente prüfen, die Benchmark-Eingaben ähneln. Der reale Workflow umfasst jedoch auch fehlende Unterlagen, unterschiedliche Policen, regulatorische Fristen, Betrugssignale, Kundenkommunikation und Eskalationen.

Die Leistung bei einer einzelnen sauberen Aufgabe sagt wenig über die Zuverlässigkeit des Systems über diese gesamte Kette hinweg aus. Der Arbeitgeber muss jeden wesentlichen Übergang testen, insbesondere dort, wo Fehler teuer oder irreversibel werden.

Mercors Daten sprechen zudem dagegen, Berufe als unteilbare Einheiten zu behandeln. Die Einführung von KI verändert in der Regel zunächst die Zusammensetzung von Aufgaben, bevor sie einen vollständigen Job eliminiert.

Ein Beschäftigter könnte weniger Zeit für einen ersten Entwurf und mehr Zeit für die Überprüfung von Belegen aufwenden. Eine andere Rolle könnte sich stärker auf Kundenkommunikation, Ausnahmebehandlung oder die Koordination zwischen automatisierten Systemen verlagern.

Diese Umverteilung kann dennoch Beschäftigung beeinflussen. Wenn eine Person mehr Arbeit erledigt, kann eine Organisation Einstellungen reduzieren oder Personal umverteilen. Die Wirkung hängt jedoch von der Nachfrage, Prozessbeschränkungen und den Kosten der Aufsicht ab.

Beschäftigte sollten dasselbe aufgabenbezogene Denken auf Karriererisiken anwenden. Ein Beruf mit hoher Benchmark-Abdeckung verschwindet nicht automatisch. Er wird jedoch schneller erprobt, weil Anbieter relevante Fähigkeiten messen und verbessern können.

Softwareentwickler, Finanzanalysten und Juristen befinden sich in dieser stark beobachteten Zone. Ihre Arbeit erzeugt digitale Artefakte, zieht Benchmark-Investitionen an und bietet Feedback, das schnelle Iteration unterstützt.

Weniger abgedeckte Berufe sind nicht dauerhaft geschützt. Ihre unmittelbare Unsicherheit ist schlicht größer. Der Mangel an Benchmarks verhindert belastbare Schlussfolgerungen in beide Richtungen.

Die Karte stellt auch eine verbreitete Interpretation niedriger Abdeckung infrage. Fehlende Tests beweisen nicht, dass eine Aufgabe einzigartig menschlich ist. Sie können darauf hinweisen, dass die Aufgabe schwer zu spezifizieren, zu bewerten, zu digitalisieren oder zu finanzieren ist.

Diese Hindernisse sind kommerziell dennoch relevant. Eine Fähigkeit, die nicht zuverlässig bewertet werden kann, ist schwer zu kaufen, zu steuern, zu versichern und im großen Maßstab einzusetzen.

Für Unternehmenskäufer ist eine kontrollierte Evaluierung mit internen Beispielen die beste Antwort. Teams sollten Modellausgaben mit der aktuellen Arbeit vergleichen, Prüfzeiten messen, Fehlertypen dokumentieren und verfolgen, ob Zugewinne über vollständige Prozesse hinweg bestehen bleiben.

Sie sollten zudem Assistenz getrennt von Autonomie testen. Ein Modell, das einem Experten hilft, schneller fertig zu werden, kann Wert liefern, selbst wenn es den Workflow nicht eigenständig übernehmen kann.

Umgekehrt kann ein Modell, das in einem Benchmark allein gut abschneidet, innerhalb eines Unternehmens wenig zusätzlichen Nutzen bringen. Beschäftigte könnten mehr Zeit für die Vorbereitung von Prompts, die Prüfung von Ergebnissen und die Behebung von Integrationsfehlern aufwenden, als sie einsparen.

Für politische Entscheidungsträger hebt Mercors Karte ein Evidenzproblem hervor. Regulierung, Weiterbildungsinvestitionen und Arbeitsmarktprognosen erfordern mehr als Behauptungen über breite Modellintelligenz.

Öffentliche Institutionen benötigen transparente Evaluierungen über repräsentative Berufe hinweg. Diese Tests sollten physische Arbeit, publikumsnahe Dienstleistungen, Niedriglohnrollen und Aufgaben einschließen, bei denen Verantwortlichkeit wichtiger ist als ein poliertes Ergebnis.

Die nützlichste Botschaft der Karte ist daher weder Entwarnung noch Alarm. Sie ist eine Forderung nach besserer Messung, bevor Institutionen irreversible Entscheidungen treffen.

Drei Signale werden zeigen, ob sich der blinde Fleck schließt

Die nächste Phase der KI-Arbeitsforschung wird an der Breite ihrer Abdeckung, an Einsatznachweisen und an glaubwürdigen Tests vollständiger Workflows gemessen werden.

Das erste Signal ist die Erweiterung von Mercors eigener Karte. Das Unternehmen beschreibt den aktuellen Index mit 29 Benchmarks als Ausgangspunkt und lädt Forschende ein, zusätzliche Evaluierungen einzureichen.

Achten Sie darauf, ob neue Ergänzungen die berufliche Abdeckung sinnvoll erweitern. Eine weitere Coding-Suite könnte die Evidenz in einem vertrauten Bereich vertiefen, ohne die Unsicherheit in der breiteren Wirtschaft zu verringern.

Ein stärkeres Update würde glaubwürdige Benchmarks für Bildung, Unterstützung im Gesundheitswesen, Verwaltung, Fachhandwerk, Transport und Dienstleistungsarbeit hinzufügen. Es würde außerdem berichten, ob sich die 90-%-Schätzung unter alternativen Abdeckungsschwellen verändert.

Bleibt die Zahl bei erweiterten Sammlungen nahe ihrem aktuellen Niveau, ist das Messproblem strukturell. Forschende könnten Schwierigkeiten haben, einen großen Teil menschlicher Arbeit in wiederholbare, bewertbare Agentenaufgaben zu übersetzen.

Ein starker Rückgang würde die Schlagzeile abschwächen und zugleich die Evidenzbasis verbessern. Er würde zeigen, dass das ursprüngliche Ergebnis stärker die Auswahl der Benchmarks als eine dauerhafte Evaluierungsbarriere widerspiegelte.

Das zweite Signal ist eine unabhängige Validierung am Arbeitsplatz. Modellentwickler und Benchmark-Ersteller beanspruchen zunehmend professionelle Leistung bei ausgewählten Aufgaben.

Diese Behauptungen müssen mit Ergebnissen aus dem praktischen Einsatz verglichen werden. Nützliche Evidenz umfasst die Gesamtbearbeitungszeit, menschlichen Prüfaufwand, Korrekturraten, die Häufigkeit von Ausnahmen und die nachgelagerte Qualität.

Die entscheidende Einheit ist der vollständige Workflow, nicht das erzeugte Artefakt. Wenn KI Entwürfe schneller erstellt, aber Prüfung und Freigabe verlängert, hat die Organisation Arbeit verlagert statt entfernt.

Konsistente Produktivitätsgewinne in mehreren Organisationen würden die Behauptung stärken, dass getestete Fähigkeiten auf reale Abläufe übertragbar sind. Ergebnisse, die auf eng kontrollierte Pilotprojekte beschränkt bleiben, würden die Lücke zwischen Benchmark-Erfolg und wirtschaftlicher Wirkung erhalten.

Das dritte Signal ist Fortschritt bei der Evaluierung außerhalb rein digitaler Wissensarbeit. Sprachmodelle können Tools steuern, während Robotiksysteme Planung mit physischer Handlung verbinden können.

Aussagekräftige Evidenz würde vielfältige Umgebungen und transparente Berichte über Fehler erfordern. Ein Roboter, der in einer vorbereiteten Umgebung erfolgreich ist, belegt keine zuverlässige Leistung in Wohnungen, Krankenhäusern, Lagern oder öffentlichen Räumen.

Forschende sollten auch menschliche Zusammenarbeit messen. Die meisten kurzfristigen Systeme werden neben Beschäftigten arbeiten, wodurch die Qualität der Unterstützung ebenso wichtig wird wie autonome Ausführung.

Ein nützlicher Benchmark würde testen, ob KI Menschen hilft, bessere Entscheidungen zu treffen, und nicht nur, ob sie eine Antwort erzeugt. Er würde Kontextabruf, Kommunikation von Unsicherheit, Korrektur und Eskalation einschließen.

Diese Signale sind wichtig, weil sich die Lücke in Mercors KI-Benchmark-Abdeckung nicht allein durch höhere Modellwerte schließen wird. Sie schließt sich, wenn Evaluierungen mehr Teile der Wirtschaft abbilden und tatsächliche Ergebnisse am Arbeitsplatz vorhersagen.

Für Leser, die entscheiden, wie viel Vertrauen sie in die nächste Automatisierungsprognose setzen sollten, stellen sich drei Fragen: Welche beruflichen Aufgaben wurden getestet, wie viel menschliche Unterstützung war erforderlich, und hielt der gemessene Gewinn im realen Einsatz stand?

Bis diese Antworten zur Routine werden, werden breite Behauptungen über KI und Beschäftigung der Evidenz voraus sein. Verfolgen Sie die Erweiterung der Karte, verlangen Sie Ergebnisse auf Workflow-Ebene und betrachten Sie jede Bestenliste als Blick durch ein schmales Fenster.