top of page

La actualización de METR revela una brecha entre la programación con IA y el criterio

hace 1 hora
14 min de lectura
Illustrative photograph. Photo: Pixabay / Pexels.

METR amplió sus evaluaciones de capacidades de IA el 20 de noviembre de 2026 y detectó un progreso exponencial continuo junto con un rendimiento más débil en tareas que exigen criterio. La actualización de horizontes temporales de METR sitúa el tiempo de duplicación de los horizontes de tareas medidos en aproximadamente 3,6 meses. Pero esa tendencia no determina cuánto tiempo puede trabajar una IA de forma segura sin supervisión ni si puede dirigir de manera independiente investigaciones útiles.

La distinción importa porque completar una tarea de programación definida y elegir un experimento valioso requieren evidencias de éxito diferentes. Un programa puede superar las pruebas mientras su propósito general sigue estando mal elegido. El conjunto ampliado de evaluaciones de METR examina ambos lados de esa división, con resultados más sólidos cuando los agentes reciben retroalimentación clara.

Los hallazgos ponen presión sobre las afirmaciones de que el progreso en programación se traduce directamente en investigación autónoma con IA. También cuestionan la suposición contraria: que las debilidades de criterio garantizan una larga pausa en la automatización de la investigación. METR observa capacidades sustanciales, limitaciones significativas y una creciente dificultad para medir la relación entre ellas.

Qué mide realmente la actualización de horizontes temporales de METR

El gráfico sigue la dificultad de las tareas mediante el tiempo de finalización humano, en lugar de medir las horas de trabajo fiables de un agente.

Un horizonte temporal es la duración humana de una tarea asociada a una tasa de éxito especificada para un modelo en un conjunto de evaluación. En el umbral del 50% que se suele debatir, se prevé que el modelo complete tareas de esa dificultad aproximadamente la mitad de las veces. Las horas describen la carga de trabajo humana de referencia, no el tiempo que el modelo pasa ejecutándose.

Por ello, los horizontes de finalización de tareas de METR requieren una lectura más cuidadosa que un titular sobre agentes que trabajan durante un turno completo. Un horizonte más largo indica un mejor rendimiento en la distribución medida de tareas. No certifica un desempeño fiable en cada encargo que le llevaría a una persona ese tiempo.

El informe de noviembre amplía las evaluaciones previas de la organización, centradas en software, con tareas dirigidas a capacidades relevantes para la investigación y el desarrollo de IA. Sus resultados abarcan modelos públicos hasta Opus 5.5 de Anthropic y GPT-6 Astra de OpenAI. Estos modelos operan como agentes, es decir, utilizan herramientas y realizan acciones sucesivas para alcanzar un objetivo asignado.

El informe cubre tres conjuntos distintos. Time Horizon 1.1 contiene 222 tareas, MirrorCode contiene 75 tareas de replicación de software y TH2 contiene 36 tareas distribuidas en 12 familias. Estas cifras importan porque describen colecciones diferentes, no versiones intercambiables del mismo benchmark.

TH2 incluye ocho familias con resultados verificables y cuatro que implican investigación o criterio más difíciles de verificar. Las tareas verificables tienen resultados que los evaluadores pueden comprobar frente a un objetivo definido. Las tareas de criterio exigen decisiones útiles cuando no existe una retroalimentación clara y rápida.

En los conjuntos combinados de Time Horizon 1.1 y TH2, METR estima que los horizontes temporales con un 50% de éxito se duplican aproximadamente cada 3,6 meses. Se trata de una tendencia exponencial en esta medida particular. No significa que todas las capacidades de IA mejoren al mismo ritmo.

Añadir tareas más difíciles también cambia la interpretación del gráfico. METR informa de horizontes más bajos en el conjunto combinado que en Time Horizon 1.1 por sí solo para un modelo determinado. Una medición más baja tras ampliar la prueba no significa que el modelo haya perdido capacidad.

La ampliación responde a un problema práctico: las tareas anteriores se volvieron menos informativas a medida que mejoraban los modelos. METR afirma que el conjunto antiguo se había saturado, lo que limitaba su capacidad para distinguir sistemas más potentes. Las pruebas actualizadas buscan trabajo más difícil y un perfil de capacidades más amplio.

Eso hace que esta actualización sea más que otro punto en una línea ascendente conocida. Cambia las preguntas que los evaluadores pueden plantear sobre esa línea. La cuestión central pasa a ser si las mejoras en encargos definidos se extienden al trabajo en el que identificar el éxito forma parte del propio encargo.

Las afirmaciones sobre investigación autónoma afrontan una prueba diferente

La presión inmediata recae sobre las afirmaciones de autonomía en investigación, donde producir un artefacto es solo una parte de entregar trabajo útil.

La investigación con IA incluye implementación, experimentación, interpretación y decisiones sobre qué merece un esfuerzo adicional. El progreso en una actividad puede acelerar a un equipo sin reemplazar las demás. Los hallazgos de noviembre hacen más difícil ignorar esa distinción.

METR informa de que los modelos de frontera actuales a menudo igualan o superan a los participantes humanos cualificados que reclutó para tareas de programación y optimización. Optimización significa mejorar una puntuación u objetivo especificado bajo determinadas restricciones. Estos entornos suelen ofrecer a los agentes una forma directa de comparar intentos y seguir mejorando.

Esa fortaleza tiene importancia práctica incluso cuando el agente no elige la agenda de investigación más amplia. Los investigadores pueden delegar la implementación mientras conservan la responsabilidad sobre las prioridades experimentales. Una implementación más capaz puede aumentar la cantidad de trabajo que completa un equipo.

La comparación con expertos humanos sigue siendo más limitada que una afirmación universal de superioridad. METR reconoce la incertidumbre sobre si los participantes que reclutó se equiparan a los empleados de laboratorios de frontera dentro de sus propias especialidades. Reclutar personas con la experiencia y disponibilidad necesarias se vuelve difícil a medida que los encargos se alargan.

Cuando existen grupos de comparación histórica más amplios, los resultados también preservan un lugar para el rendimiento humano excepcional. METR encuentra posiciones sólidas de los modelos en concursos de optimización de programación, mientras los mejores participantes humanos generalmente siguen por delante. En la optimización de scripts de entrenamiento, los principales colaboradores lograron asimismo mejoras superiores a las de las ejecuciones más potentes de agentes.

El informe de OpenAI del 18 de noviembre sobre la aceleración de la investigación ofrece una visión relacionada, comunicada por la empresa, desde dentro de un laboratorio. Informa de un éxito creciente en tareas de investigación delegadas, con variaciones sustanciales entre actividades. Los humanos siguen siendo centrales en su relato del proceso de desarrollo.

Esa evidencia respalda una imagen de automatización desigual en los flujos de trabajo de investigación. No proporciona una validación intercambiable de los resultados de METR. Las tareas internas del lugar de trabajo, los encargos de benchmarks y las evaluaciones retrospectivas de éxito emplean métodos diferentes y capturan condiciones distintas.

Para Anthropic, OpenAI y otros desarrolladores, la pregunta más difícil se refiere a lo que ocurre después de que la implementación se vuelve más fácil. ¿Pueden los agentes identificar qué experimento reduciría significativamente la incertidumbre? ¿Pueden reconocer cuándo un resultado positivo refleja una prueba débil?

Los compradores empresariales afrontan una distinción relacionada al evaluar agentes para trabajo técnico. Una demostración exitosa con una prueba de aceptación clara respalda ese caso de uso específico. Aporta menos evidencia sobre encargos que implican objetivos ambiguos, requisitos cambiantes o consecuencias diferidas.

La actualización de horizontes temporales de METR eleva el estándar para estas afirmaciones sin descartar las mejoras subyacentes. Una explicación convincente de la investigación autónoma necesita evidencia sobre dirección y evaluación junto con la ejecución. El rendimiento en programación es un componente significativo de esa explicación, pero el informe no establece que complete el panorama.

Una programación sólida no resuelve la cuestión del criterio

Los fallos más reveladores de METR aparecieron cuando los modelos tuvieron que decidir qué hacía útil a una evaluación.

Una tarea de TH2 pidió a los agentes crear una evaluación que informara la valoración de METR sobre las capacidades de los modelos. Esto exigía más que escribir software funcional. La prueba propuesta también debía responder a una pregunta que METR considerara valiosa.

Según los hallazgos de la evaluación de capacidades, ninguna de las tareas creadas por agentes justificó su inclusión en el informe como una nueva evaluación útil. Algunos resultados se aproximaron a la utilidad, lo que indica avances respecto a modelos más débiles. Pero la mejora dentro del sistema de puntuación no se tradujo en trabajo que METR decidiera adoptar.

Los agentes generalmente favorecieron tareas de optimización con puntuación automática. Siguieron haciéndolo en experimentos posteriores que solicitaban explícitamente tareas que implicaran decisiones con poca retroalimentación a corto plazo. Ese comportamiento reveló un desajuste entre producir un desafío medible e identificar una pregunta de investigación informativa.

METR también informa de que los agentes no investigaron de forma independiente qué tipos de tareas encontraría más valiosos la organización, pese a contar con acceso a internet. Los investigadores no observaron modelado de amenazas novedoso ni hipótesis especialmente perspicaces detrás de las evaluaciones propuestas. Se trata de observaciones del entorno probado, no de evidencia de una incapacidad permanente.

La distinción es concreta. Una evaluación puede ejecutarse correctamente y aun así aportar poca información que los investigadores necesiten conocer. Su calidad de implementación y su valor para la investigación son propiedades separadas, aunque ambas influyen en el resultado final.

Un segundo experimento examinó si los modelos podían evaluar las evaluaciones producidas por otros modelos. Los evaluadores más sólidos coincidieron más estrechamente con las calificaciones humanas al evaluar a creadores más débiles. Cuando los creadores tenían una fuerza similar o superior, los evaluadores tendían a asignar puntuaciones excesivamente generosas.

Este hallazgo complica una solución propuesta con frecuencia para una supervisión débil: pedir a otra IA que revise el trabajo. Un revisor puede identificar defectos evidentes mientras pasa por alto errores más convincentes. Por tanto, la coincidencia entre un autor y un revisor no establece de manera independiente la calidad.

METR ofrece más de una explicación para el patrón. Los modelos podrían carecer del criterio necesario para evaluar estas tareas, o los creadores más fuertes podrían producir resultados que resultan engañosos para evaluadores más débiles. Los experimentos no separan de forma concluyente esas posibilidades.

El mecanismo más amplio se refiere a la retroalimentación. El aprendizaje por refuerzo, un entrenamiento que recompensa resultados bajo un sistema de puntuación, se beneficia de señales útiles sobre qué intentos funcionaron. La programación y la optimización a menudo proporcionan esas señales mediante pruebas o rendimiento medido.

La investigación abierta puede retrasar esa retroalimentación o hacer que obtenerla resulte costoso. Una propuesta prometedora podría fracasar solo tras una experimentación considerable. Una dirección aparentemente improductiva podría resultar útil cuando un investigador identifica una suposición pasada por alto.

El informe no establece que el criterio y la programación sean capacidades fundamentalmente separadas. METR observa evidencia de criterio útil de los modelos en algunas tareas de optimización de aprendizaje automático. Esos éxitos dejan abierta la posibilidad de que las capacidades se transfieran más allá de lo que sugieren los resultados de criterio más débiles.

Por tanto, la inversión es específica: una ejecución impresionante no valida automáticamente la evaluación que un sistema hace de su propio trabajo. Los modelos pueden mejorar mientras esa evaluación sigue siendo poco fiable. Para la investigación autónoma, la relación entre esas capacidades importa tanto como cualquiera de las puntuaciones por separado.

Construir mejores pruebas se está volviendo más difícil

Las evaluaciones ampliadas revelan un problema de medición: una retroalimentación realista suele ser costosa, lenta o dependiente de expertos.

METR introduce el coste del ciclo de vida como una estimación aproximada del esfuerzo necesario para crear, ejecutar y puntuar repetidamente una evaluación. La medida incluye desarrollo y aseguramiento de la calidad, además de ejecución y evaluación. Busca captar restricciones que la duración humana de las tareas por sí sola no detecta.

Dos tareas pueden requerir cantidades similares de trabajo humano y, aun así, imponer cargas de evaluación diferentes. Una podría terminar con una respuesta verificada automáticamente. Otra podría requerir que un experto examine el razonamiento, evalúe el contexto faltante o determine si una contribución de investigación es importante.

Otras cargas incluyen entornos complejos, requisitos de computación, supervisión y ciclos de retroalimentación prolongados. Las pruebas también requieren protección frente al reward hacking, un comportamiento que explota una regla de puntuación sin cumplir su propósito previsto. Los modelos más potentes pueden revelar atajos que las evaluaciones anteriores no anticipaban.

En el conjunto de datos de METR, las tareas con mayores costes estimados de ciclo de vida tienden a ser más difíciles para los modelos después de tener en cuenta la duración de la tarea humana. La asociación sugiere que las evaluaciones económicas pueden pasar por alto dimensiones relevantes de la dificultad. No establece que el coste en sí cause un peor rendimiento.

METR estima los costes del ciclo de vida mediante un juez basado en modelos, calibrado con las evaluaciones de sus investigadores. Esas estimaciones reflejan la experiencia y las restricciones de la organización. Un laboratorio de frontera podría afrontar costes distintos, y los cambios en las capacidades de los modelos pueden modificar la economía de la evaluación.

El informe también detecta tasas de mejora similares en subconjuntos de tareas de mayor y menor coste. Esa salvedad importa. Un peor rendimiento actual en evaluaciones costosas no demuestra que el progreso en esas evaluaciones se haya estancado.

Las mediciones de referencia humanas introducen otra limitación. Las bases de referencia humanas directas respaldan solo el 9 % de las estimaciones de tiempo humano del informe. Las demás estimaciones se basan en evaluaciones de expertos, evidencia pública y extrapolación.

Eso cambia el grado de confianza con el que los lectores deberían interpretar las horas atribuidas a tareas difíciles. La duración estimada puede seguir aportando información útil, pero no tiene la misma base probatoria que una finalización observada. Los errores sistemáticos de estimación podrían afectar las comparaciones entre grupos de tareas.

La comparación humana también incluye asistencia de IA. METR permitió a los participantes usar Sonnet 5 para la implementación, en parte para facilitar la contratación y adaptarse a hábitos de trabajo consolidados. La referencia resultante no debería describirse como rendimiento humano sin asistencia.

Las tareas difíciles de verificar introducen subjetividad adicional. Que una evaluación propuesta sea valiosa depende en parte de las prioridades de investigación de METR y de sus creencias sobre los riesgos relevantes. La organización reconoce que esos juicios pueden ser erróneos.

La tarea de crítica filosófica plantea una cuestión relacionada sobre quién determina el criterio de referencia. Los modelos se evalúan frente a calificaciones de expertos, mientras que el acuerdo puede depender de los expertos y del tiempo disponible para ellos. Esto hace que el resultado sea informativo sin convertirlo en una medida exhaustiva del juicio humano.

Estas salvedades refuerzan las anteriores limitaciones del horizonte temporal de METR: una puntuación de referencia necesita contexto antes de convertirse en una afirmación sobre el trabajo o la seguridad. La suite actualizada amplía la evidencia mientras añade incertidumbre. Una mejor cobertura y una medición más limpia no siempre llegan juntas.

El gráfico no puede fechar un despegue de la investigación

La mejora exponencial continuada no establece cuándo los sistemas de IA acelerarán de forma independiente su propio desarrollo.

La extrapolación tentadora parte del tiempo de duplicación medido y extiende la curva hacia asignaciones progresivamente más largas. Tales proyecciones pueden ilustrar las implicaciones de una tendencia sin cambios. No pueden establecer que las mismas tareas, métodos y relaciones seguirán siendo representativos.

La selección de tareas ya afecta a la tendencia ajustada dentro del informe de noviembre. METR obtiene resultados diferentes al analizar subconjuntos de la suite ampliada. Los investigadores analizan varias explicaciones posibles, incluidos cambios en el perfil de dificultad que aparecen cuando los modelos empiezan a superar tareas más recientes.

METR también presenta el METR Capability Index, una medida compuesta elaborada mediante teoría de respuesta al ítem, un método estadístico que relaciona la capacidad del modelo con la dificultad de las tareas. Esto ofrece otra forma de seguir el rendimiento entre los sistemas evaluados. No elimina la dependencia de las decisiones de modelado.

En ese índice, METR no encuentra una aceleración o desaceleración marcada en la frontera pública que evaluó. Observa cambios específicos de desarrolladores inciertos en determinadas condiciones. Estos hallazgos son sensibles a decisiones metodológicas, lo que limita las afirmaciones contundentes sobre cambios en las tasas de crecimiento.

La distinción entre progreso exponencial y progreso acelerado importa aquí. Una medida puede duplicarse a un intervalo constante sin que su intervalo de duplicación se acorte. Una curva ascendente por sí sola no demuestra un nuevo ciclo de retroalimentación que se intensifica.

La automatización de la investigación añade una pregunta causal. Observar mejores modelos mientras los laboratorios usan IA no revela cómo habría evolucionado el progreso sin esa asistencia. METR señala explícitamente que la comparación ausente impide una atribución clara de la tendencia.

También hay límites a lo que revelan los lanzamientos públicos. Los modelos públicos no representan necesariamente los sistemas más capaces disponibles dentro de los laboratorios. Las diferencias en el calendario de lanzamiento pueden complicar los intentos de detectar cambios en el ritmo subyacente del desarrollo.

Los hallazgos sobre el juicio también respaldan interpretaciones rivales. El criterio de investigación, la capacidad de seleccionar preguntas y experimentos prometedores, podría limitar la investigación autónoma. Como alternativa, un rendimiento suficientemente sólido en trabajos más fáciles de verificar podría acelerar el desarrollo mientras los humanos continúan eligiendo las direcciones.

El análisis de la brecha de juicio de MIT Technology Review describe ese desacuerdo entre investigadores. Sayash Kapoor considera el criterio de investigación como un posible cuello de botella importante. Najoung Kim destaca la incertidumbre de extrapolar las mejoras observadas.

Esas perspectivas no resuelven la cuestión, pero identifican lo que la evidencia actual deja abierto. Las debilidades actuales en el juicio son observaciones relevantes. Tratarlas como barreras permanentes requiere un argumento adicional que el informe no proporciona.

La propia postura de METR sigue siendo cautelosa tanto ante la tranquilidad como ante la alarma. Afirma que la evidencia pública no puede descartar una aceleración drástica de la investigación en IA durante los próximos años. Se trata de una afirmación sobre posibilidades no resueltas, no de una previsión que asigne una fecha o una probabilidad.

Por tanto, la actualización del horizonte temporal de METR no respalda ni una cuenta atrás hacia una investigación plenamente autónoma ni una garantía de control humano prolongado. Documenta un progreso sustancial dentro de un marco de evaluación cambiante. La siguiente inferencia requiere evidencia sobre el propio proceso de investigación.

Tres señales importan más que la próxima curva viral

La próxima evidencia útil debería comprobar si una ejecución más sólida produce mejores decisiones de investigación, revisiones fiables y resultados sostenidos.

La primera señal es la adopción de evaluaciones o propuestas de investigación diseñadas por agentes tras una revisión independiente de expertos. La tarea de creación de evaluaciones de METR ofrece un punto de referencia concreto. Los resultados futuros serán más persuasivos si los expertos utilizan las respuestas porque abordan preguntas valiosas.

La evaluación debería distinguir un artefacto técnicamente correcto de una contribución que cambia las decisiones de investigación. Revisores adicionales y una cobertura de tareas más amplia ayudarían a comprobar si la utilidad se extiende más allá de las preferencias de una organización. El éxito repetido debilitaría el argumento de que el criterio de investigación sigue siendo una limitación importante.

Una mejora continuada sin adopción respaldaría una interpretación más limitada. Los agentes podrían mejorar en la producción de evaluaciones plausibles, mientras siguen siendo débiles para identificar las informativas. Eso preservaría la brecha entre una ejecución pulida y una dirección útil.

La segunda señal es si los revisores de IA mejoran su calibración respecto al trabajo de modelos igual de fuertes o más fuertes. La calibración significa que las evaluaciones de un revisor se corresponden de forma fiable con la calidad real. Los hallazgos de noviembre dan a esta cuestión una base experimental concreta.

Un seguimiento útil compararía las calificaciones de los modelos con evaluaciones independientes de expertos en una gama más amplia de artefactos. Una mayor concordancia en resultados difíciles reforzaría el argumento a favor de delegar más revisión. La sobrevaloración persistente debilitaría las afirmaciones de que los autores de IA más potentes pueden supervisarse simplemente añadiendo jueces de IA.

Esta cuestión importa incluso si los agentes nunca realizan de forma independiente un proyecto de investigación completo. Los equipos ya necesitan decidir qué resultados merecen atención y cuáles requieren revisión. Una revisión que suena segura mientras pasa por alto defectos puede desplazar, en lugar de eliminar, la carga de trabajo humana.

La tercera señal es una evaluación más amplia con referencias humanas más sólidas y comprobaciones diferidas de resultados. Más bases de referencia directas mejorarían la confianza en las duraciones estimadas de las tareas. Evaluar qué ocurrió después de utilizar un resultado pondría a prueba si las puntuaciones a corto plazo capturaron valor duradero.

Para los informes de laboratorio, la distinción relevante es entre realizar más actividad y producir mejor investigación. Más código o experimentos pueden respaldar el progreso, pero su valor depende de las preguntas que aborden. La evidencia que vincule las contribuciones de agentes con resultados validados reforzaría el argumento a favor de la investigación autónoma.

Estas son prioridades de observación para los próximos meses, no compromisos anunciados de publicación. El lanzamiento de un nuevo modelo por sí solo no las resolverá. El cambio importante sería una evidencia más sólida que conecte las mediciones de capacidad con las decisiones y los resultados que esas mediciones representan.

Para los equipos que usan IA en trabajo técnico, la respuesta práctica es preservar esa conexión. Mantengan juntos la asignación original, los criterios de aceptación, el resultado y la evaluación experta. Una base de conocimiento con búsqueda puede facilitar la comparación posterior cuando un resultado aparentemente exitoso se enfrenta a nuevos requisitos.

Lean la actualización del horizonte temporal de METR junto con las tareas y limitaciones que sustentan su curva. Antes de aplicar su trayectoria a su trabajo, identifiquen qué cuenta como éxito y quién puede verificarlo. Separen las asignaciones con pruebas inmediatas de las decisiones cuyas consecuencias aparecen más tarde. Después, pregúntense si su evidencia mide trabajo completado, trabajo útil o simplemente un resultado convincente. Esas distinciones seguirán siendo valiosas incluso a medida que los modelos mejoren. La próxima puntuación digna de titulares merece atención, pero también un resultado más discreto: un agente que elige una pregunta que vale la pena, produce una respuesta sólida y supera una revisión independiente. ¿Qué parte de esa cadena ha puesto realmente a prueba su evaluación actual?

 
 

Empieza gratis

Un asistente de IA local-first con gestión del conocimiento personal

Para ofrecer una mejor experiencia con la IA,

actualmente remio solo es compatible con Windows 10+ (x64) y M-Chip Macs.

Tu aliado de IA para el trabajo
Haz más con remio

Planifica. Crea. Entrega.
Todo en un solo lugar.

bottom of page