La cobertura de benchmarks de Mercor AI deja en la sombra el 90 % de las horas de trabajo en EE. UU.

La cobertura de benchmarks de Mercor AI deja aproximadamente el 90 % de las horas de trabajo estadounidenses con poca o ninguna representación significativa, según el nuevo mapa económico de la empresa. El hallazgo cuestiona una suposición central detrás de muchas afirmaciones sobre la inteligencia artificial y el empleo. Las puntuaciones de los modelos pueden parecer impresionantes y, aun así, decir notablemente poco sobre la mayor parte del trabajo realizado en todo el país.

Mercor comparó 29 benchmarks agénticos con 18.797 tareas correspondientes a 923 ocupaciones del mercado laboral estadounidense. Solo 924 tareas alcanzaron su umbral de cobertura. Apenas 208 ocupaciones tenían al menos una tarea representada por cinco o más prompts de benchmark.

Esta brecha no demuestra que la IA no pueda realizar el trabajo restante. Muestra que los investigadores no han medido adecuadamente si puede hacerlo. La distinción importa para los empleadores que toman decisiones de automatización, los trabajadores que evalúan riesgos profesionales y los responsables políticos que prevén alteraciones en el mercado laboral.

La reacción en línea reflejó rápidamente el conflicto. Algunos lectores interpretaron el mapa como evidencia de que el alcance económico de la IA sigue siendo limitado. Otros argumentaron que la ausencia de benchmarks revela un retraso en la medición, no un límite de capacidad.

Por tanto, la verdadera disputa no es la IA contra el trabajo humano. Es la confianza en los benchmarks frente a la realidad desordenada del trabajo. El mapa de Mercor sugiere que la evidencia que respalda las previsiones de automatización a escala de toda la economía sigue siendo mucho más escasa de lo que implican muchas predicciones categóricas.

La cobertura de benchmarks de Mercor AI mide la prueba, no el límite de la IA

La cifra principal describe una brecha de medición, no el porcentaje de trabajo que la IA no puede realizar.

Mercor elaboró lo que denomina un Mapa de Benchmarks de la economía estadounidense. El proyecto conecta prompts de 29 evaluaciones de IA con descripciones de tareas de la taxonomía ocupacional del Departamento de Trabajo.

Estas evaluaciones hacen hincapié en las tareas agénticas. Una tarea agéntica pide a un modelo completar un entregable o flujo de trabajo, en lugar de responder una pregunta factual. Los ejemplos incluyen editar una hoja de cálculo, resolver un problema de software o preparar un análisis profesional.

El mapa de benchmarks informa de que 924 de 18.797 tareas ocupacionales cuentan con representación suficiente. Mercor considera cubierta una tarea cuando un juez de IA la asocia con al menos cinco prompts de los benchmarks seleccionados.

Esa regla arroja un resultado contundente. Solo 208 de 923 ocupaciones contienen siquiera una tarea que supere el umbral de cinco prompts. Seis de las 22 familias ocupacionales no contienen ninguna ocupación que cumpla los requisitos.

La cobertura también varía de forma marcada entre sectores. Las ocupaciones informáticas y matemáticas tienen representadas 29 de 36 ocupaciones. Las operaciones empresariales y financieras alcanzan 33 de 48, mientras que las ocupaciones jurídicas llegan a cinco de siete.

Otras partes de la economía siguen siendo mucho menos cubiertas. Los profesionales sanitarios tienen representadas 12 de 89 ocupaciones. La educación y el trabajo bibliotecario alcanzan nueve de 62 ocupaciones, mientras que la arquitectura y la ingeniería llegan a 19 de 56.

Estas cifras no deben interpretarse como puntuaciones de rendimiento de los modelos. Una ocupación puede estar cubierta incluso cuando los modelos evaluados rinden mal. A la inversa, una tarea puede parecer no cubierta aunque un sistema comercial ya ayude a las personas con ella.

La cobertura indica, en cambio, si un benchmark incluido ofrece suficientes prompts para respaldar una evaluación limitada. Es un inventario de las pruebas disponibles, no un inventario de todo lo que puede hacer la IA actual.

Esta distinción responde a una crítica planteada en el debate público. La automatización de restaurantes, los pedidos por voz o la robótica de almacenes pueden existir sin aparecer en la colección de benchmarks seleccionada por Mercor. Su ausencia no elimina los sistemas ya desplegados.

La misma cautela funciona en sentido contrario. Que un modelo supere prompts relacionados con una tarea no demuestra que pueda sustituir al trabajador correspondiente. Los empleos combinan criterio, coordinación, acción física, gestión de excepciones y responsabilidad institucional.

Un benchmark jurídico podría evaluar la redacción de contratos, pero omitir el asesoramiento a clientes, la negociación, la supervisión o el trabajo en sala. Medir un entregable visible no captura el conjunto completo que los empleadores adquieren al contratar a un abogado.

Mercor presenta explícitamente su lista inicial como provisional. Afirma que el mapa se ampliará a medida que estén disponibles más evaluaciones económicamente relevantes. Esta limitación hace que el resultado sea menos definitivo, pero también refuerza el hallazgo central.

Incluso después de años de rápida producción de benchmarks, el ecosistema de evaluación sigue observando una porción limitada de la economía. Por tanto, las afirmaciones sobre una sustitución laboral generalizada van mucho más allá de las pruebas disponibles.

Por qué las evaluaciones de IA se concentran en trabajo digital valioso

Los benchmarks se concentran allí donde el trabajo es digital, costoso, repetible y relativamente fácil de calificar.

Los puntos ciegos del mapa no se distribuyen al azar. Mercor descubrió que las tareas clasificadas como expuestas a los modelos de lenguaje tenían aproximadamente seis veces más probabilidades de aparecer en su colección de benchmarks.

Este patrón es comprensible. Los investigadores buscan evaluaciones que puedan revelar diferencias entre modelos avanzados. El trabajo intelectual digital ofrece entradas accesibles, entornos reproducibles y resultados que el software o evaluadores expertos pueden inspeccionar.

La ingeniería de software se convirtió en un objetivo temprano porque un programa a menudo puede probarse automáticamente. El código compila, supera pruebas o produce una salida definida. Estos ciclos de retroalimentación facilitan la evaluación y la mejora de los modelos.

El análisis financiero también produce artefactos digitales conocidos. Un benchmark puede proporcionar documentos fuente, especificar supuestos y solicitar una hoja de cálculo o presentación. Después, los revisores pueden comparar cálculos, estructura y conclusiones.

El trabajo físico e interpersonal plantea problemas de medición más difíciles. Un prompt no puede reproducir por completo un aula abarrotada, un lugar de mantenimiento impredecible o una conversación delicada con una familia.

La base de datos oficial O*NET ayuda a los investigadores a describir ese tipo de trabajo, pero sus enunciados de tareas no son entornos de benchmark. Identifican responsabilidades sin generar automáticamente entradas, herramientas, restricciones y reglas de calificación realistas.

El análisis de Mercor también concluye que las tareas de ocupaciones con mayores masas salariales reciben más cobertura. Esta relación se mantiene después de considerar la exposición estimada a la IA.

Ese incentivo es económicamente racional. Automatizar parte de una ocupación costosa ofrece un potencial de retorno más claro que crear una evaluación para un mercado laboral más pequeño. Los clientes también tienen motivos más sólidos para financiar pruebas vinculadas a remuneraciones elevadas.

La importancia de la tarea crea otro efecto de selección. Dentro de una ocupación, las tareas calificadas como más importantes tenían aproximadamente entre seis y diez veces más probabilidades de recibir cobertura de benchmarks que las tareas menos importantes.

Priorizar el trabajo importante parece sensato. Sin embargo, un puesto suele depender de numerosas actividades pequeñas que hacen posibles sus entregables principales. Entre ellas se incluyen recopilar contexto, confirmar requisitos, coordinar aprobaciones, detectar excepciones y corregir malentendidos.

Un benchmark puede captar el documento que aparece al final de un proceso. Rara vez captura el trabajo organizativo que determina si el documento es correcto, oportuno, confiable y útil.

Esto se parece al problema del portero planteado durante el debate en Hacker News. Abrir una puerta parece ser la tarea central hasta que la automatización revela que el trabajador también ofrecía indicaciones, atención a la seguridad y ayuda informal.

El trabajo intelectual contiene funciones ocultas similares. Un gestor de producto no se limita a redactar un documento de requisitos. El puesto incluye conciliar demandas contradictorias, recordar decisiones anteriores, detectar pruebas faltantes y lograr compromiso.

La IA puede acelerar el artefacto visible mientras deja intactas esas restricciones circundantes. En algunos casos, una generación más rápida crea trabajo adicional de revisión porque los equipos deben verificar un mayor volumen de resultados plausibles.

Por eso una base de conocimientos personal o de equipo puede importar más que otra herramienta aislada de generación. El cuello de botella suele consistir en recuperar contexto y validar decisiones, no en producir otro borrador.

Por tanto, la concentración de benchmarks refleja tanto la viabilidad técnica como los incentivos de mercado. Muestra dónde los creadores de evaluaciones pueden elaborar hoy pruebas creíbles, no dónde necesariamente debe detenerse la transformación económica mañana.

El hallazgo del 90 % procede de varias capas de estimación

El resultado de Mercor combina datos laborales oficiales con mapeos generados por modelos, por lo que cada capa añade una estructura útil y una incertidumbre adicional.

El proyecto comienza con O*NET, la base de datos federal que describe ocupaciones, características de los trabajadores y tareas laborales. Mercor utiliza 923 ocupaciones y 18.797 enunciados de tareas asociados.

A continuación, los investigadores conectan los prompts de benchmark con esas tareas. Mercor afirma que un juez LLM puede asignar un prompt a varias tareas ocupacionales cuando las actividades se superponen.

La empresa validó este proceso frente a etiquetas de expertos humanos para sus propios benchmarks APEX. Sin embargo, esa validación se aplica a un subconjunto de las 29 evaluaciones, no necesariamente a todos los prompts incluidos.

Mercor define la cobertura en cinco prompts mapeados. Ese umbral evita tratar un ejemplo como representación adecuada, pero cinco elementos siguen proporcionando evidencia limitada para una tarea compleja.

Un participante en el debate destacó este problema mediante el trabajo social. Trece prompts podrían cubrir técnicamente una función de asesoramiento, pero no pueden representar a cada cliente, restricción legal, dinámica emocional o resultado adverso.

La estimación del 90 % requiere otro paso. O*NET registra la importancia y frecuencia de las tareas, pero no proporciona directamente una asignación completa de las horas de cada trabajador entre todas las tareas.

Por ello, Mercor utiliza investigaciones que estiman las proporciones de tiempo de trabajo a nivel de tarea mediante modelos de lenguaje. Combina esas proporciones con datos de empleo y salarios para aproximar cómo se distribuyen las horas de trabajo estadounidenses.

Las masas salariales de las ocupaciones se calculan a partir del empleo estimado y los salarios medios. El modelo supone una semana laboral de 40 horas al convertir esos totales en medidas laborales.

Esto produce un mapa económico coherente, pero no una encuesta nacional directa sobre el uso del tiempo. El porcentaje final depende de las definiciones de tareas, las proporciones de tiempo estimadas, la selección de benchmarks, el mapeo de prompts y la regla de cinco prompts.

Mercor reconoce varias limitaciones. Su lista está incompleta, y cualquier benchmark ausente reducirá la cobertura aparente. La empresa también limitó la representación de familias laborales muy estudiadas para evitar que la ingeniería de software dominara la colección.

Esa decisión mejora la amplitud, al tiempo que reduce la profundidad medida en categorías populares. Excluir benchmarks saturados también puede ocultar tareas que los modelos ya realizan bien.

Incluir esos benchmarks crearía un problema diferente. Las evaluaciones fáciles o poco realistas podrían inflar la cobertura económica aparente sin aportar evidencia útil sobre el despliegue.

Los criterios de selección también introducen juicio. La “realidad económica” suena objetiva, pero los investigadores aún deben decidir si un prompt se parece al trabajo realizado dentro de una empresa.

Por consiguiente, la cifra del 90 % debe tratarse como una estimación generada mediante una metodología explícita. No es el resultado de un censo ni una propiedad fija de la economía.

Sin embargo, las incertidumbres no hacen que el proyecto carezca de sentido. Incluso una revisión sustancial dejaría un panorama de evaluación desigual. Pasar de una cobertura del 10 % al 15 % o 20 % no establecería una visibilidad de toda la economía.

La conclusión defendible es más limitada y más relevante. Los benchmarks agentivos existentes no permiten emitir juicios confiados sobre la mayor parte del tiempo de trabajo en Estados Unidos.

Esa conclusión debería cambiar la forma en que los lectores interpretan las mejoras en las clasificaciones. Una puntuación ascendente puede demostrar avances dentro de un ámbito evaluado, mientras deja miles de otras tareas sin examinar.

Los mejores benchmarks del mundo real siguen sin abarcar el trabajo completo

Las nuevas evaluaciones son cada vez más realistas, pero el realismo dentro de ocupaciones seleccionadas no equivale a una cobertura representativa de la economía.

El campo de los benchmarks ya ha ido más allá de las preguntas de trivialidades y los exámenes académicos. Las pruebas más recientes piden a los modelos crear informes, operar software, analizar materiales profesionales y completar asignaciones de varios pasos.

La evaluación GDPval de OpenAI ilustra ese cambio. Abarca 44 ocupaciones en nueve industrias y pide a los modelos producir resultados de trabajo evaluados frente a productos profesionales.

La colección completa de GDPval contiene 1.320 tareas. OpenAI seleccionó ocupaciones de sectores económicamente significativos, haciendo hincapié en el trabajo del conocimiento vinculado a grandes masas salariales.

Este enfoque ofrece más relevancia económica que medir preguntas aisladas de razonamiento. También comparte la concentración identificada por Mercor. La primera versión favorece trabajo valioso y expresable digitalmente.

Las pruebas de software muestran el mismo patrón a un nivel más acotado. Pueden medir si un agente corrige un problema en un repositorio, pero el resultado no captura todas las responsabilidades de un ingeniero en activo.

Los ingenieros investigan incidentes ambiguos, negocian deuda técnica, revisan cambios, apoyan a colegas y toman decisiones con información incompleta. Gran parte de ese trabajo depende de un contexto organizativo acumulado.

La investigación sobre horizontes temporales de METR añade otra medida útil. Estima la duración de una tarea en la que un agente tiene una probabilidad determinada de tener éxito.

METR también advierte que estos resultados no deben interpretarse como horas equivalentes de empleo normal. Las tareas de evaluación suelen contener la información necesaria para empezar, mientras que los empleados recurren a conversaciones previas y conocimiento tácito.

Esa diferencia es central en la historia de Mercor. Los benchmarks aíslan el trabajo para que los investigadores puedan calificarlo. Las organizaciones reales integran el trabajo entre personas, sistemas, historia y prioridades cambiantes.

Un modelo puede completar una asignación bien especificada y, aun así, fallar cuando los requisitos siguen siendo implícitos. Puede generar una hoja de cálculo creíble mientras pasa por alto una regla de negocio conocida solo por un analista experimentado.

La implementación añade costes que las puntuaciones de los benchmarks a menudo omiten. Los empleados deben preparar entradas, conceder acceso a sistemas, revisar resultados, gestionar fallos, documentar responsabilidades y decidir cuándo se requiere una escalación humana.

La salida del modelo también puede alterar el trabajo posterior. Una generación de código más rápida aumenta el volumen que llega a revisión y pruebas. Una generación de contenido más rápida crea más material que requiere verificación de hechos y aprobación.

Esta es una razón por la que las mejoras medidas no siempre se traducen directamente en productividad organizativa. Automatizar una etapa desplaza la atención hacia la restricción restante más lenta.

Las tareas físicas amplían aún más la brecha. La investigación de la estimación sobre trabajo remoto concluyó que el 37 % de los empleos de Estados Unidos podían realizarse íntegramente desde casa. Los demás empleos incluyen componentes físicos que los benchmarks convencionales de modelos lingüísticos tienen dificultades para recrear.

La robótica podría acabar facilitando la evaluación de esas actividades. Sin embargo, un benchmark de trabajo físico debe representar percepción, manipulación, seguridad, variación ambiental y recuperación ante condiciones inesperadas.

Un éxito simulado no establece automáticamente un desempeño seguro en un hospital, fábrica, cocina o vía pública. El coste del fallo también puede diferir mucho de una respuesta incorrecta en un entorno digital aislado.

Por tanto, el camino a seguir es más amplio que añadir prompts. Los diseñadores de benchmarks necesitan entornos más ricos, flujos de trabajo más largos, medidas de colaboración humana y vínculos más claros entre el desempeño en tareas y el valor económico.

Lo que el mapa cambia para empleadores y trabajadores

El mapa debilita las previsiones confiadas sobre automatización y refuerza la necesidad de una evaluación más acotada y específica para cada flujo de trabajo.

Un empleador no debería empezar por la posición agregada de un modelo de frontera en una clasificación. La pregunta útil es si ese modelo realiza las tareas reales de la organización en condiciones realistas.

Esa evaluación comienza por descomponer los flujos de trabajo. Los equipos deben identificar entradas, herramientas, dependencias, requisitos de aprobación, excepciones comunes y las consecuencias de un resultado incorrecto.

Un gestor de reclamaciones, por ejemplo, puede revisar documentos parecidos a las entradas de un benchmark. El flujo de trabajo real también implica registros faltantes, variaciones de pólizas, plazos regulatorios, señales de fraude, comunicación con clientes y escalación.

El desempeño en una tarea limpia dice poco sobre la fiabilidad del sistema en toda esa cadena. El empleador debe probar cada transición relevante, especialmente allí donde los errores se vuelven costosos o irreversibles.

Los datos de Mercor también desaconsejan tratar las ocupaciones como unidades indivisibles. La adopción de IA suele cambiar la composición de las tareas antes de eliminar un empleo completo.

Un trabajador podría dedicar menos tiempo a generar un primer borrador y más a verificar evidencias. Otro puesto podría desplazarse hacia la comunicación con clientes, la gestión de excepciones o la coordinación entre sistemas automatizados.

Esa redistribución aún puede afectar al empleo. Si una persona completa más trabajo, una organización podría reducir contrataciones o reasignar personal. Sin embargo, el efecto depende de la demanda, las restricciones de los procesos y el coste de la supervisión.

Los trabajadores deberían aplicar el mismo razonamiento a nivel de tarea al riesgo profesional. Una profesión con una alta cobertura en benchmarks no está desapareciendo automáticamente. Sí enfrenta una experimentación más rápida porque los proveedores pueden medir y mejorar capacidades relevantes.

Los desarrolladores de software, analistas financieros y abogados se encuentran dentro de esta zona muy observada. Su trabajo produce artefactos digitales, atrae inversión en benchmarks y ofrece retroalimentación que favorece una iteración rápida.

Las ocupaciones menos cubiertas no están protegidas permanentemente. Su incertidumbre inmediata simplemente es mayor. La escasez de benchmarks impide conclusiones firmes en cualquier dirección.

El mapa también cuestiona una interpretación habitual de la baja cobertura. La ausencia de pruebas no demuestra que una tarea sea exclusivamente humana. Puede indicar que la tarea es difícil de especificar, calificar, digitalizar o financiar.

Estos obstáculos siguen siendo importantes comercialmente. Una capacidad que no puede evaluarse de forma fiable es difícil de comprar, gobernar, asegurar e implementar a escala.

Para los compradores empresariales, la mejor respuesta es una evaluación controlada utilizando ejemplos internos. Los equipos deberían comparar la salida del modelo con el trabajo actual, medir el tiempo de revisión, registrar los tipos de fallos y seguir si las ganancias se mantienen en procesos completos.

También deberían probar la mejora asistida por separado de la autonomía. Un modelo que ayuda a un experto a terminar antes puede aportar valor incluso cuando no puede hacerse cargo del flujo de trabajo.

A la inversa, un modelo que funciona bien por sí solo en un benchmark puede aportar poco dentro de una empresa. Los empleados podrían dedicar más tiempo a preparar prompts, comprobar resultados y reparar fallos de integración del que ahorran.

Para los responsables de políticas públicas, el mapa de Mercor pone de relieve un problema de evidencia. La regulación, la inversión en formación y las previsiones de fuerza laboral requieren algo más que afirmaciones sobre una inteligencia amplia de los modelos.

Las instituciones públicas necesitan evaluaciones transparentes en ocupaciones representativas. Esas pruebas deberían incluir trabajo físico, servicios de atención al público, puestos de menor salario y tareas donde la responsabilidad importa más que un resultado pulido.

Por ello, el mensaje más útil del mapa no es ni tranquilizador ni alarmante. Es una exigencia de mejores mediciones antes de que las instituciones tomen decisiones irreversibles.

Tres señales mostrarán si el punto ciego se está cerrando

La próxima etapa de la investigación sobre IA y trabajo se juzgará por la amplitud de cobertura, la evidencia de implementación y pruebas creíbles de flujos de trabajo completos.

La primera señal es la expansión del propio mapa de Mercor. La empresa describe el índice actual de 29 benchmarks como un punto de partida e invita a los investigadores a presentar evaluaciones adicionales.

Hay que observar si las nuevas incorporaciones amplían de manera significativa la cobertura ocupacional. Otro conjunto de pruebas de programación podría profundizar la evidencia en un área conocida sin reducir la incertidumbre en la economía más amplia.

Una actualización más sólida añadiría benchmarks creíbles para educación, apoyo sanitario, administración, oficios cualificados, transporte y trabajo de servicios. También informaría si la estimación del 90 % cambia bajo umbrales de cobertura alternativos.

Si las colecciones ampliadas mantienen la cifra cerca de su nivel actual, el problema de medición es estructural. Los investigadores podrían tener dificultades para traducir gran parte del trabajo humano en tareas agentivas repetibles y calificables.

Una caída marcada debilitaría el titular, pero mejoraría la base de evidencia. Mostraría que el resultado inicial reflejaba la selección de benchmarks más que una barrera duradera para la evaluación.

La segunda señal es la validación independiente en el lugar de trabajo. Los desarrolladores de modelos y los creadores de benchmarks afirman cada vez más un desempeño de nivel profesional en asignaciones seleccionadas.

Esas afirmaciones necesitan compararse con resultados implementados. La evidencia útil incluye el tiempo total de finalización, el esfuerzo de revisión humana, las tasas de corrección, la frecuencia de excepciones y la calidad posterior.

La unidad crítica es el flujo de trabajo completo, no el artefacto generado. Si la IA termina los borradores más rápido, pero prolonga la revisión y la aprobación, la organización ha desplazado trabajo en lugar de eliminarlo.

Ganancias de productividad consistentes en varias organizaciones reforzarían las afirmaciones de que las capacidades probadas se transfieren a operaciones reales. Resultados limitados a pilotos estrechamente controlados mantendrían la brecha entre el éxito en benchmarks y el impacto económico.

La tercera señal es el progreso en la evaluación fuera del trabajo de conocimiento puramente digital. Los modelos lingüísticos pueden dirigir herramientas, mientras que los sistemas robóticos pueden conectar la planificación con la acción física.

La evidencia significativa requeriría entornos diversos e informes transparentes de fallos. Un robot que tiene éxito en un entorno preparado no establece un desempeño fiable en hogares, hospitales, almacenes o espacios públicos.

Los investigadores también deberían medir la colaboración humana. La mayoría de los sistemas a corto plazo trabajarán junto a empleados, lo que hace que la calidad de la mejora asistida sea tan importante como la finalización autónoma.

Un benchmark útil probaría si la IA ayuda a las personas a tomar mejores decisiones, no solo si produce una respuesta. Incluiría recuperación de contexto, comunicación de incertidumbre, corrección y escalación.

Estas señales importan porque la brecha de cobertura de benchmarks de IA de Mercor no se cerrará solo con puntuaciones más altas de los modelos. Se cierra cuando las evaluaciones representan una mayor parte de la economía y predicen resultados reales en el lugar de trabajo.

Para los lectores que deciden cuánta confianza depositar en la próxima previsión sobre automatización, hay tres preguntas que plantear. ¿Qué tareas ocupacionales se probaron, cuánto apoyo humano se requirió y la ganancia medida se mantuvo en una implementación real?

Hasta que esas respuestas se vuelvan habituales, las afirmaciones generales sobre IA y empleo seguirán adelantándose a la evidencia. Siga la expansión del mapa, exija resultados a nivel de flujo de trabajo y considere cada clasificación como una vista a través de una ventana estrecha.