Benchmark de modelos de IA de Merlin: nueve veces el coste, sin mejora de precisión

Merlin Search Technologies probó siete modelos de IA y encontró un giro contundente: el modelo más caro consumió más de nueve veces más por informe sin ofrecer una mayor precisión en las citas.

El benchmark de modelos de IA de Merlin dio a cada sistema los mismos documentos sobre litigios por opioides, dos preguntas de investigación y una tarea de elaboración de informes. El modelo más barato y rápido quedó primero en la métrica de fidelidad del proveedor. El más caro quedó cuarto.

Ese resultado cuestiona un atajo habitual de compra. Un modelo de frontera más nuevo o más caro no es automáticamente el mejor para todas las tareas profesionales. Sin embargo, Merlin no reveló qué etiqueta anonimizada correspondía a cada producto, y seis modelos quedaron estadísticamente empatados.

El estudio también midió una forma limitada de calidad. Comprobó si las afirmaciones podían rastrearse hasta los documentos proporcionados. No determinó qué informe ofrecía el razonamiento jurídico más sólido, identificaba la evidencia más importante o ejercía el mejor criterio.

Estas salvedades hacen que el resultado sea más útil, no menos. La prueba de Merlin muestra por qué las empresas necesitan evaluaciones específicas para cada tarea, intervalos de confianza y citas auditables antes de enviar cada encargo a un modelo prémium.

Qué evaluó realmente el benchmark de modelos de IA de Merlin

Merlin comparó siete modelos dentro de un flujo de trabajo controlado de investigación jurídica y luego calificó sus citas y fidelidad a las fuentes.

La empresa probó modelos de OpenAI, Anthropic y Google a través de Alchemy, su plataforma de investigación y descubrimiento. La selección incluyó GPT-6 Astra, GPT-5.6 Sol, GPT-5.6 Terra, Claude Fable 5.1, Claude Opus 5, Claude Sonnet 5 y Gemini 3.1 Pro.

Cada modelo recibió la misma colección de documentos públicos sobre litigios por opioides. Los materiales abarcaban a Mallinckrodt y también hacían referencia a McKesson, Insys y Valeant.

Merlin evitó utilizar datos de clientes. Esa decisión redujo las preocupaciones de confidencialidad e hizo que la colección fuera más segura de reutilizar, aunque el informe subyacente no se presentó como un paquete de benchmark público e independientemente reproducible.

Los modelos respondieron dos preguntas. Una se refería a cuestiones relacionadas con los productos de control del dolor de la empresa. La otra preguntaba qué revelaban las notas internas y los comentarios de analistas sobre problemas financieros y crediticios.

La segunda pregunta contenía una trampa deliberada. Algunos comentarios sobre crédito se referían a otras empresas, mientras que partes del expediente de Mallinckrodt describían disputas de facturación ordinarias. Un sistema descuidado podría combinar esos hilos e insinuar una crisis financiera no respaldada por la evidencia.

Luego, cada modelo generó un informe de investigación completo con citas. Según la metodología publicada, los sistemas generaron 777 citas y 454 frases citadas en los siete informes.

Merlin anonimó las respuestas como Modelos A a G antes de calificarlas. Por tanto, los evaluadores no recibieron los nombres de los proveedores, aunque la empresa conservó una semilla aleatoria registrada para poder reconstruir las etiquetas.

La tarjeta de resultados pública mantuvo ese enmascaramiento. Los lectores pueden comparar los resultados, pero no pueden determinar de forma independiente si el Modelo D era un producto de OpenAI, Anthropic o Google.

El Modelo D lideró con una puntuación de fidelidad de 3.3, donde una cifra menor era mejor. Completó cada informe en un promedio de 37 segundos y no registró citas rotas ni mal dirigidas en los resultados mostrados.

El Modelo C obtuvo una puntuación de fidelidad de 4.1 y tardó 110 segundos de media. Fue el sistema más caro de la prueba, al consumir más de nueve veces el coste por informe del Modelo D.

El Modelo E terminó último con una puntuación de fidelidad de 4.9. Los seis modelos restantes tenían rangos de confianza superpuestos, por lo que Merlin los consideró estadísticamente empatados en lugar de presentar una clasificación falsamente precisa.

Esa distinción importa. El giro que refleja el titular es real dentro del estudio, pero no establece que el Modelo D tenga una ventaja universal de precisión. Establece que pagar mucho más no produjo una mejora detectable de fidelidad en esta prueba concreta.

El modelo más barato ganó una prueba limitada pero importante

El benchmark socava el precio como indicador de precisión, pero no identifica a un modelo como ganador universal.

El Modelo D tuvo el historial de citas más limpio, el menor tiempo medio de finalización y el coste operativo más bajo de la comparación. El Modelo C costó más de nueve veces más y quedó cuarto en la tarjeta de resultados mostrada.

Ninguno de los dos lanzamientos más recientes, GPT-6 Astra y Claude Fable 5.1, terminó primero. Dado que Merlin ocultó la clave de las etiquetas, el público no puede saber exactamente en qué posición quedó cada modelo.

Ese secretismo limita el valor para las decisiones de compra. Un equipo jurídico no puede leer el artículo y seleccionar con confianza un proveedor concreto. Sin embargo, sí puede rechazar la suposición de que la opción prémium más nueva merece cada carga de trabajo por defecto.

Los resultados también expusieron diferencias que un único puesto no puede reflejar. El Modelo A cubrió la gama más amplia de cuestiones distintas, con una puntuación de amplitud de 24.9. No produjo citas rotas, pero tuvo dos citas que apuntaban al pasaje de respaldo equivocado.

El Modelo G logró una amplitud casi igual, con una puntuación de 23.6. Sin embargo, nueve de sus 93 afirmaciones comprobadas dirigaban a los lectores al párrafo equivocado. Merlin indicó que los hechos subyacentes estaban presentes en otros lugares, pero un abogado que siguiera esas referencias tendría que buscarlos.

El Modelo D fue más preciso, pero más limitado. Su puntuación de amplitud alcanzó 15.9, muy por debajo de los Modelos A y G. Un informe cuidadoso que omite un tema decisivo puede seguir siendo menos útil que uno más amplio con algunos errores de cita corregibles.

Esta es la inversión central. El modelo más barato lideró la clasificación de fidelidad, pero su victoria no eliminó el valor de la cobertura, la síntesis o el criterio jurídico.

El estudio no encontró hechos fabricados en ninguno de los siete informes. Cada nombre concreto, cifra, fecha y cita textual podía rastrearse hasta la colección documental dentro del sistema de evaluación de Merlin.

Ese hallazgo es alentador, aunque debe mantenerse acotado a la tarea. Los modelos trabajaron con un conjunto de pruebas controlado y produjeron informes con citas dentro de Alchemy. No se les pidió realizar investigación jurídica en la web abierta ni recuperar autoridades de una base de datos sin restricciones.

Un modelo que se mantiene fundamentado dentro de una colección seleccionada se enfrenta a un problema distinto al de un chatbot que responde preguntas desde la memoria. Los controles de recuperación, las estructuras de citas y la aplicación circundante pueden cambiar materialmente las tasas de error.

Investigaciones académicas anteriores ilustran ese contexto. Investigadores de Stanford que evaluaron productos comerciales de investigación jurídica definieron una alucinación como una respuesta incorrecta o sin una base adecuada. Su estudio sobre IA jurídica concluyó que la recuperación por sí sola no eliminaba las respuestas sin respaldo.

Por tanto, el resultado de Merlin se refiere al sistema completo, no solo a los modelos base. Alchemy proporcionó los resúmenes de documentos, los marcadores de citas, los prompts, la estructura de los informes y el proceso de comprobación. La respuesta ganadora surgió de ese entorno combinado.

La conclusión correcta no es que los modelos más baratos sean siempre más precisos. Es que el precio del modelo por sí solo aporta poca evidencia sobre el rendimiento en un flujo de trabajo empresarial definido.

Cómo la evaluación de ocho pasos comprobó cada cita

La contribución más sólida de Merlin es su canal de evaluación, que utiliza comprobaciones deterministas siempre que la aritmética pueda sustituir el juicio de un modelo.

El proceso comenzó ocultando las identidades de los modelos y eliminando menciones accidentales de los informes. Las fases posteriores solo vieron las etiquetas anónimas fijas.

La segunda fase auditó los propios resúmenes de fuentes de Alchemy. Cada resumen contenía marcadores que lo conectaban con párrafos de los documentos originales, pero algunos marcadores eran defectuosos.

La auditoría encontró 24 secciones de resumen defectuosas. Merlin eximió las citas que fallaban únicamente porque la plataforma había proporcionado un marcador erróneo. Esto evitó que el benchmark penalizara a un modelo por un error de datos previo.

Ese paso es fácil de pasar por alto. Las evaluaciones suelen atribuir cada fallo visible al modelo de lenguaje, incluso cuando el problema lo causaron la recuperación, el análisis o la preparación de documentos.

La tercera fase resolvió las citas mecánicamente. El código comprobó si existían cada documento y sección citados y si el párrafo citado se encontraba dentro del intervalo identificado.

Una simple referencia a un documento sin sección ni párrafo se trató como prosa, no como una cita fallida. Esta regla evitó que el comprobador inflara su recuento de errores mediante un análisis excesivamente agresivo.

La cuarta fase evaluó si las frases citadas estaban fundamentadas en los resúmenes proporcionados. Fue la primera etapa que utilizó un juez de IA.

Merlin indicó que una versión anterior trataba como inventado todo hecho ausente de las citas enumeradas. Ese enfoque castigaba la síntesis cuando un modelo citaba solo una parte de la evidencia detrás de una frase basada en múltiples fuentes.

El sistema revisado utilizó dos etapas. Primero, un evaluador identificaba información que no podía encontrar en el material citado. Luego, una segunda etapa buscaba en la colección más amplia antes de asignar un veredicto.

Los posibles resultados eran respaldado, fuente no citada, extrapolación o fabricado. Una fuente no citada significaba que el hecho existía en otro lugar de la colección. La extrapolación significaba que la conclusión excedía la evidencia sin inventar un hecho comprobable.

La fabricación abarcaba un nombre, cifra, fecha o cita textual concretos que no aparecían en ninguna parte de la colección. Merlin ponderó esa categoría tres veces más, porque un detalle inventado puede llegar a un escrito judicial o a un memorando para clientes.

La quinta fase midió la amplitud y la repetición. El sistema convirtió las frases en vectores semánticos, representaciones matemáticas del significado, y estimó cuántas ideas independientes contenía cada informe.

Ese diseño intentó evitar premiar la longitud por sí misma. Un informe más extenso no recibía ningún beneficio automático si sus frases adicionales repetían los mismos puntos.

La sexta fase calculó puntuaciones y rangos de incertidumbre. El coste y la velocidad aparecieron en la tarjeta de resultados, pero no afectaron a la clasificación de precisión.

Merlin utilizó remuestreo entre las dos preguntas para estimar intervalos de confianza. Cuando los intervalos se superponían, consideraba que los modelos estaban empatados. Por eso seis de los siete sistemas compartieron el grupo estadístico líder pese a su visualización ordenada.

La séptima fase evaluó al evaluador. Dos jueces de IA adicionales, de proveedores distintos, revisaron cada afirmación marcada y una muestra de las afirmaciones aprobadas.

Una votación por mayoría resolvió los desacuerdos. Tres de las 33 alertas iniciales fueron revocadas, lo que produjo una tasa reportada de falsas alarmas del nueve por ciento. Los revisores también comprobaron de forma puntual 37 afirmaciones aprobadas y no marcaron ninguna.

Los tres evaluadores coincidieron plenamente en 58 de las 70 afirmaciones revisadas. Esto deja un desacuerdo significativo, pero la divulgación ofrece a los lectores una visión más clara de la incertidumbre de medición.

La octava fase generó un memorando escrito. Un sistema de IA redactó el texto, mientras que las métricas calculadas proporcionaron cada número y el código generó la tarjeta de resultados.

Merlin también exigió que cada crítica nombrara un modelo de comparación con mejor rendimiento. Su informe de evaluación completo incluye definiciones, métricas y apéndices a nivel de hallazgo.

Esta combinación de comprobaciones deterministas y juicio de IA acotado sigue un sólido principio general. Utilice código para pruebas de existencia, rangos, recuentos y cálculos reproducibles. Reserve los evaluadores probabilísticos para preguntas semánticas que la aritmética no puede responder.

También se asemeja a la recomendación de NIST de que las organizaciones documenten los conjuntos de prueba, las métricas, las incertidumbres y las condiciones de despliegue. El AI RMF Core también aboga por una evaluación repetible y una monitorización continua tras el despliegue.

Para los equipos que construyen una base de conocimiento consultable, la lección va más allá de los litigios. La comprobación de citas debe evaluar tanto la recuperación como la generación, porque cualquiera de las dos capas puede romper la cadena de evidencia.

Por qué el resultado presiona a los compradores de IA empresarial

El benchmark presiona a los compradores que estandarizan en un único modelo prémium antes de medir sus cargas de trabajo reales.

La adquisición empresarial suele tratar los modelos como ediciones de software. Una opción más cara o más reciente parece más segura porque promete un razonamiento más sólido, una ventana de contexto más amplia o mejores resultados en benchmarks generales.

La prueba de Merlin muestra la debilidad de esa lógica. Una ventaja general de capacidad no garantiza un mejor desempeño dentro de un flujo de trabajo de investigación fundamentado en documentos.

La tarea subyacente exigía varias capacidades distintas. Los modelos debían leer resúmenes, separar evidencia sobre diferentes empresas, evitar exagerar disputas rutinarias, sintetizar cuestiones de producto y adjuntar citas útiles.

Un modelo manejó las citas con claridad, pero cubrió menos cuestiones. Otros modelos encontraron más líneas de investigación distintas, aunque generaron más fricción con las citas. La elección correcta depende de qué error crea el mayor riesgo profesional.

Una revisión inicial de una gran colección puede favorecer la rapidez y una recuperación amplia. Un informe final preparado para el asesoramiento jurídico puede dar más peso a citas precisas, una síntesis completa y conclusiones disciplinadas.

Esta diferencia respalda el enrutamiento de modelos, que asigna cada tarea a un modelo elegido según sus requisitos medidos. No respalda elegir automáticamente el sistema más barato.

Una política de enrutamiento defendible comenzaría por el riesgo. Los equipos deberían identificar si una tarea requiere extracción factual, detección de cuestiones, síntesis extensa, criterio jurídico o comunicación final con el cliente.

Después deberían probar ejemplos representativos con los mismos prompts, ajustes de recuperación y condiciones documentales utilizados en producción. Una clasificación pública no puede reproducir esas condiciones.

La elección del modelo también afecta a los costes de revisión. Un sistema rápido que produce informes más limitados puede devolver trabajo a los abogados, que deberán encontrar temas omitidos. Un sistema amplio con poca precisión en las citas puede generar una carga diferente, porque los revisores deben rastrear manualmente las afirmaciones.

La métrica de coste operativo del benchmark excluía esa mano de obra posterior. Medía el uso del modelo para producir informes, no el coste total de revisarlos, corregirlos y aprobarlos.

Para los compradores del sector jurídico, esta distinción es especialmente importante. La opinión ética sobre IA de la American Bar Association afirma que los abogados deben considerar sus deberes relativos a competencia, confidencialidad, comunicación, supervisión, franqueza y honorarios razonables.

La producción fluida de un modelo no transfiere la responsabilidad fuera del equipo jurídico. Los abogados siguen necesitando procedimientos de revisión proporcionales a la tarea y a los riesgos creados por afirmaciones incorrectas o sin respaldo.

El mismo principio se aplica fuera del derecho. Analistas financieros, equipos de cumplimiento, investigadores y gestores de producto dependen de resultados que condensan grandes colecciones de evidencia en decisiones.

Un modelo puede citar documentos reales y aun así pasar por alto la cuestión decisiva. También puede llegar a una conclusión sensata mientras señala el pasaje equivocado. Son modos de fallo distintos y merecen métricas separadas.

Por tanto, los compradores deberían resistirse a una única puntuación compuesta de “calidad”. Necesitan una tarjeta de puntuación que refleje el trabajo: validez de las citas, fundamentación de las afirmaciones, cobertura, tratamiento de contradicciones, latencia y tiempo de corrección humana.

Merlin también defiende la elección del usuario entre proveedores de modelos. Esa postura favorece el diseño comercial de la empresa porque Alchemy ofrece múltiples familias de modelos.

Aun así, la evidencia respalda el punto más limitado. Cuando seis modelos están estadísticamente empatados en fidelidad, pero difieren en velocidad, amplitud y coste operativo, bloquear cada tarea en un único proveedor deja sin aprovechar concesiones medibles.

Lo que el benchmark no demuestra

Esta fue una evaluación de un único flujo de trabajo realizada por un proveedor, con identidades de modelos ocultas y una definición deliberadamente limitada de precisión.

Merlin desarrolló Alchemy, realizó el benchmark, diseñó el proceso de puntuación y publicó la interpretación. EDRM volvió a publicar el artículo con una nota que indicaba que las opiniones pertenecían a los autores.

Eso no invalida el trabajo. Sí implica que los lectores deben tratar los hallazgos como una evaluación documentada de un proveedor, y no como un ensayo comparativo independiente.

La clave de respuestas oculta crea otra limitación. La anonimización protegió a los evaluadores del sesgo de marca, pero el secreto continuado impide un escrutinio público a nivel de modelo.

Los lectores no pueden comparar las posiciones informadas con otros benchmarks. Tampoco pueden comprobar si el comportamiento conocido de un modelo explica un patrón concreto de amplitud, velocidad o errores de citación.

El benchmark utilizó dos preguntas extraídas de una colección de litigios. Dos preguntas pueden revelar modos de fallo relevantes, pero no pueden representar cada tarea de discovery ni cada dominio jurídico.

Los intervalos de confianza comunicados intentan reconocer esta incertidumbre. Sin embargo, remuestrear dos preguntas no puede crear la diversidad de un conjunto de prueba mayor que abarque contratos, asuntos regulatorios, revisión de privilegio, construcción de cronologías o relatos contradictorios de testigos.

Al parecer, los modelos completaron una única ejecución evaluada bajo una configuración. Los ensayos repetidos podrían revelar variabilidad en los resultados, especialmente cuando los ajustes de generación permiten formulaciones o selecciones de evidencia diferentes.

Los materiales públicos tampoco proporcionan información suficiente para calcular de forma independiente el efecto total del sistema de los prompts, la calidad de los resúmenes, los límites de recuperación y la configuración del modelo. Un arnés de aplicación diferente podría cambiar el orden.

Lo más importante es que la fidelidad no era sinónimo de precisión jurídica. La prueba midió si las afirmaciones podían rastrearse hasta las fuentes y si las citas apuntaban al material correcto.

No calificó la calidad del razonamiento jurídico. No determinó si un modelo identificó la evidencia más importante, reconcilió los conflictos de forma convincente o anticipó el argumento de la parte contraria.

Merlin reconoció directamente esta limitación. Un modelo podía situarse bien al enumerar hechos cuidadosamente respaldados y evitar las conclusiones difíciles que hacen útil un informe de investigación.

La ausencia de fabricación detectada también exige cautela. Significa que el proceso de evaluación no encontró ningún hecho inventado específico en estos siete informes. No establece una tasa cero de alucinaciones para los modelos, Alchemy o la IA jurídica en general.

La tasa de fallo de un sistema cambia según la tarea. La investigación abierta, las colecciones incompletas, las preguntas ambiguas y los documentos adversariales plantean presiones distintas a las de un ejercicio de síntesis controlado.

La calificación automatizada introduce su propia incertidumbre. Los jueces adicionales de Merlin revocaron tres alertas iniciales, lo que demuestra por qué un único modelo no debería actuar como evaluador incuestionable.

Los evaluadores coincidieron de forma unánime en 58 de las 70 afirmaciones revisadas. Es un acuerdo sustancial, pero también muestra que la clasificación semántica seguía siendo discutible.

Una revisión jurídica humana e independiente reforzaría la evidencia. Los expertos del dominio podrían juzgar si las categorías de evaluación correspondían a las expectativas profesionales y si una afirmación supuestamente respaldada preservaba el significado de la fuente.

El perfil de IA generativa de NIST enfatiza las pruebas previas al despliegue, al tiempo que reconoce que los riesgos difieren entre los niveles de modelo, aplicación y ecosistema. El benchmark de Merlin evalúa conjuntamente las tres capas, pero no puede aislarlas por completo.

Por tanto, el resultado debería cambiar el comportamiento de compra sin poner fin a la investigación. Es evidencia contra la selección basada en el precio, no prueba de que un modelo económico anónimo deba reemplazar a los sistemas de frontera.

Tres señales que pondrán a prueba la inversión entre coste y precisión

La próxima prueba es si la inversión de Merlin se mantiene en tareas más amplias, revisiones independientes y actualizaciones repetidas de modelos.

La primera señal es un benchmark de juicio más amplio. Merlin afirma que está desarrollando una evaluación diferente para evidencia contradictoria, razonamiento causal, importancia de las cuestiones y argumentos opuestos.

Esta prueba importa porque los modelos prémium suelen justificar su mayor coste operativo mediante el razonamiento, más que mediante la mecánica de las citas. Si los modelos económicos siguen siendo competitivos en ese ámbito, el argumento a favor de un enrutamiento predeterminado a modelos de frontera se debilitará sustancialmente.

Si los sistemas prémium obtienen una ventaja clara, el resultado actual parecerá más una especialización por tarea. Los equipos podrían entonces reservar los modelos de frontera para síntesis complejas y utilizar sistemas económicos para informes fundamentados en evidencia.

La segunda señal es la replicación independiente. Un seguimiento creíble debería revelar los prompts, ajustes, versiones de modelos, ejecuciones repetidas, código de puntuación y un paquete documental reutilizable cuando las licencias lo permitan.

También debería incluir revisores jurídicos humanos que no trabajen para el proveedor de la plataforma. La coincidencia entre comprobaciones deterministas, jueces automatizados y expertos del dominio reforzaría el método.

La replicación podría preservar el anonimato durante la calificación y publicar la clave de etiquetas posteriormente. Ese diseño mantendría la protección frente al sesgo de marca y proporcionaría a los compradores evidencia práctica a nivel de modelo.

La tercera señal es la deriva de rendimiento tras actualizaciones de modelos y plataformas. Los proveedores revisan con frecuencia las instantáneas de modelos, los sistemas de inferencia y las estructuras de precios. Las canalizaciones de recuperación y los prompts de resumen también cambian.

Merlin afirma que las nuevas incorporaciones reciben la misma prueba. Publicar una serie temporal estable mostraría si las clasificaciones persisten o si solo capturan una instantánea favorable.

Los equipos deberían vigilar más que al ganador. Los cambios en citas rotas, referencias mal dirigidas, amplitud, desacuerdo entre evaluadores, latencia y tiempo de corrección revelarían si el flujo de trabajo está mejorando.

El benchmark de modelos de IA de Merlin deja a los compradores ante un desafío práctico. Dejen de preguntar qué modelo es mejor en abstracto. Definan el trabajo, identifiquen los fallos costosos y realicen una evaluación controlada con su propia evidencia.

Para los equipos jurídicos, eso significa comprobar si existen las citas, si los pasajes respaldan las afirmaciones y si el informe recoge las cuestiones que importan. También significa mantener a los abogados como responsables del juicio final.

Para otros equipos intensivos en conocimiento, la pregunta es similar: ¿el sistema ayuda a las personas a llegar a una decisión defendible o simplemente produce texto fluido?

La brecha de coste de nueve veces ofrece un titular memorable. La lección duradera es más exigente. Midan la tarea, auditen la cadena de evidencia, incluyan la incertidumbre y vuelvan a realizar pruebas cada vez que cambien los modelos o el flujo de trabajo.