Hugging Face incorpora nuevos encoders LFM2.5 y enfrenta la inferencia de contexto largo en CPU con ModernBERT

Hugging Face añadió dos modelos encoder de Liquid AI que procesan entradas de 8.192 tokens y desafían a ModernBERT en velocidad de CPU con contextos largos. El lanzamiento pone bajo escrutinio una afirmación concreta: el procesamiento de lenguaje a escala de documentos no siempre necesita una GPU ni un modelo generativo.

Liquid AI afirma que su encoder de 230 millones de parámetros completa una pasada hacia adelante de 8.192 tokens en una CPU probada en unos 28 segundos. ModernBERT-base necesitó más de 90 segundos en la comparación de la empresa. Esa diferencia reportada convierte LFM2.5 vs ModernBERT en una disputa sobre la economía del despliegue, no solo sobre la precisión en benchmarks.

El resultado importa porque los encoders gestionan discretamente cargas de trabajo persistentes como clasificación, enrutamiento, extracción, moderación y detección de información personal. Estos sistemas suelen inspeccionar cada documento o mensaje entrante. Por tanto, un modelo más lento puede consumir una infraestructura considerable incluso cuando cada tarea individual parece modesta.

Liquid AI ha publicado los pesos de sus modelos, el arnés de evaluación, las tarjetas de modelo y demostraciones solo para CPU. Sin embargo, el rendimiento destacado sigue siendo un resultado ejecutado por el proveedor. Detalles importantes de despliegue, incluida la configuración del procesador y el soporte de runtimes optimizados, aún requieren pruebas independientes más amplias.

Hugging Face añade dos encoders LFM2.5 con pesos abiertos

El lanzamiento convierte la arquitectura de decoder de Liquid AI en dos encoders centrados en tareas, diseñados para documentos extensos y hardware informático convencional.

Liquid AI lanzó LFM2.5-Encoder-230M y LFM2.5-Encoder-350M en Hugging Face el 28 de julio de 2026. Ambos admiten contextos de hasta 8.192 tokens y utilizan la arquitectura híbrida LFM2 de la empresa.

Un encoder lee una entrada y produce representaciones contextuales para clasificación, recuperación, extracción o decisiones a nivel de token. A diferencia de un modelo de lenguaje causal, no genera principalmente el siguiente token de izquierda a derecha.

La distinción determina tanto el coste como el comportamiento. Un enrutador de tickets de soporte necesita seleccionar un destino, no redactar una respuesta. Un filtro de privacidad necesita localizar fragmentos sensibles, no producir un párrafo fluido.

Liquid AI adaptó sus backbones de decoder existentes de 230M y 350M para esos trabajos más acotados. Sustituyó la máscara de atención causal por atención bidireccional, lo que permite que cada token considere el texto a ambos lados. La empresa también hizo no causales las convoluciones cortas de la arquitectura mediante padding simétrico.

El entrenamiento utilizó modelado de lenguaje enmascarado, en el que se ocultan tokens seleccionados y el modelo los predice a partir del contexto circundante. Liquid AI afirma que enmascaró el 30 por ciento de los tokens durante el entrenamiento.

La empresa utilizó un calendario de dos etapas. El entrenamiento inicial cubrió secuencias de 1.024 tokens sobre un gran corpus web. Una segunda etapa amplió el contexto a 8.192 tokens utilizando datos destinados a reforzar el rendimiento factual, jurídico y multilingüe.

La tarjeta del modelo 230M indica aproximadamente 229,7 millones de parámetros. La versión de 350M contiene aproximadamente 354,5 millones. Ambos tienen un tamaño oculto de 1.024 y un vocabulario de 65.536 entradas.

Según la tarjeta del modelo, admiten 15 idiomas. Entre ellos están el inglés, español, francés, árabe, hindi, japonés, vietnamita y chino.

Liquid AI posiciona el modelo más pequeño para restricciones más estrictas de latencia y memoria. Presenta la versión mayor como la opción orientada a la precisión. Ambos requieren ajuste fino específico para la tarea antes de convertirse en clasificadores, enrutadores o sistemas de extracción para producción.

Esa precisión es importante ante cualquier explicación del encoder LFM2.5 como una aplicación lista para usar. Los modelos base proporcionan representaciones lingüísticas, pero las organizaciones deben incorporar una capa de salida y entrenarla para su tarea objetivo.

Los modelos utilizan la LFM Open License v1.0 de Liquid AI. Llamarlos de pesos abiertos significa que los desarrolladores pueden descargar y ejecutar los parámetros entrenados. No significa que el lanzamiento utilice una licencia estándar de software permisiva.

Hugging Face proporciona el punto de distribución, las tarjetas de modelo, el debate de la comunidad y las demostraciones. Liquid AI aporta la arquitectura, los pesos, las evaluaciones y la implementación. Este acuerdo facilita la experimentación, aunque mantiene la responsabilidad de las afirmaciones centrales de rendimiento en el desarrollador del modelo.

Por tanto, el cambio inmediato es concreto. Los desarrolladores ahora cuentan con dos encoders descargables de contexto largo diseñados en torno al despliegue en CPU, en lugar de una generación centrada primero en GPU.

Por qué la inferencia de contexto largo en CPU es el verdadero premio

La oportunidad central no es un chatbot más pequeño, sino una capa de decisión más económica que pueda inspeccionar documentos de trabajo completos.

Los sistemas de lenguaje de producción realizan muchas tareas que nunca requieren generar prosa. Etiquetan solicitudes, detectan infracciones de políticas, clasifican el sentimiento, identifican entidades, ordenan pasajes y eligen qué modelo más grande recibe un prompt.

Estas operaciones pueden ejecutarse con mucha más frecuencia que las respuestas visibles de un chatbot. Una plataforma de agentes podría evaluar un prompt frente a varias reglas de seguridad antes de generar. También podría clasificar el resultado de nuevo antes de entregarlo.

Ejecutar cada etapa mediante un gran modelo generativo añade latencia y demanda de hardware. También puede introducir resultados variables en tareas que necesitan etiquetas o fragmentos de tokens predecibles.

Un encoder ajustado ofrece una ruta diferente. Lee el texto relevante en una sola pasada hacia adelante y devuelve puntuaciones específicas de la tarea. El modelo puede permanecer dentro de un proceso local en vez de enviar cada documento a un servicio externo.

La longitud de contexto determina si ese proceso ve la fuente completa. Los encoders más antiguos solían centrarse en secuencias más cortas, obligando a los desarrolladores a dividir contratos, transcripciones o hilos de soporte en fragmentos. La fragmentación puede separar una decisión de la evidencia que cambia su significado.

Una ventana de 8.192 tokens no cubre todos los documentos extensos. Sí abarca mucho más texto que los despliegues clásicos de BERT de 512 tokens. Esa diferencia puede reducir la fragmentación y la lógica de agregación circundante.

Liquid AI ilustra este enfoque con Spaces de Hugging Face solo para CPU. Sus demostraciones cubren enrutamiento de prompts, análisis de políticas, corrección ortográfica y detección de información de identificación personal.

Según los informes, la demostración de PII detecta 40 tipos de información en 16 idiomas. El análisis de políticas puntúa tokens frente a reglas proporcionadas como texto libre. El enrutamiento de prompts compara un prompt completo con categorías de enrutamiento definidas por el usuario.

Estas demostraciones identifican las cargas de trabajo que Liquid AI pretende conquistar. Son tareas de comprensión de alto volumen, con salidas acotadas y costes recurrentes de infraestructura.

Un filtro de políticas local es especialmente relevante para los sistemas de agentes. El filtro puede funcionar dentro del mismo entorno que una aplicación, reduciendo la necesidad de exponer texto interno a otro endpoint remoto.

La misma lógica se aplica a los documentos técnicos locales. Los equipos que crean una base de conocimiento consultable necesitan etapas de clasificación, extracción y recuperación antes de que aparezca cualquier respuesta generada.

El despliegue en CPU amplía dónde pueden ejecutarse esas etapas. Un portátil de desarrollador, un servidor de aplicaciones o un dispositivo edge pueden ejecutar el modelo sin reservar un acelerador independiente.

Sin embargo, «se ejecuta en CPU» no significa automáticamente que sea instantáneo o económico a cualquier escala. Una pasada de 28 segundos puede ser práctica para un contrato e inadecuada para una interfaz interactiva. El rendimiento por lotes también difiere de la latencia por documento individual.

La afirmación más sólida es la flexibilidad operativa. Los equipos pueden situar el procesamiento lingüístico especializado donde ya residen sus datos y reservar las GPU o los modelos remotos para tareas que realmente requieren generación.

Esa división del trabajo presiona a los proveedores que venden inferencia de propósito general para todas las operaciones de lenguaje. También presiona a los equipos que recurren por defecto a los grandes modelos de lenguaje antes de medir si un encoder más pequeño puede satisfacer el requisito.

LFM2.5 vs ModernBERT depende de la arquitectura

La ventaja de velocidad que Liquid AI reporta aumenta con la longitud de la entrada porque su backbone híbrido evita aplicar atención completa en cada capa.

ModernBERT ofrece el rival más claro porque también apunta a una codificación bidireccional eficiente con un contexto de 8.192 tokens. Lanzado a finales de 2024, actualizó el diseño de BERT para entradas más largas, hardware moderno y mejor entrenamiento.

La investigación original de BERT estableció el preentrenamiento bidireccional como una base para la comprensión del lenguaje. Posteriormente, ModernBERT combinó ese enfoque con actualizaciones arquitectónicas y de entrenamiento orientadas a las necesidades actuales de despliegue.

Liquid AI sigue otra ruta. LFM2 intercala atención de consultas agrupadas con bloques de convolución corta con compuertas. La atención conecta información a lo largo de una secuencia, mientras que las convoluciones cortas se centran en tokens vecinos con una menor sobrecarga computacional.

Esta estructura híbrida importa a medida que crecen las entradas. La autoatención completa compara posiciones a lo largo de la secuencia, por lo que su carga computacional aumenta rápidamente con la longitud. Las capas convolucionales limitan una mayor parte de su trabajo a vecindarios locales.

Liquid AI no elimina la atención. Reduce la frecuencia con la que la arquitectura paga su coste total. El modelo aún puede intercambiar información entre posiciones distantes mientras procesa muchas capas mediante operaciones locales más económicas.

Para el uso como encoder, Liquid AI hizo bidireccionales esas operaciones locales. El padding simétrico permite que una convolución incorpore vecinos antes y después del token actual. Las capas de atención completa también reciben una máscara bidireccional.

Ese mecanismo conforma el caso central de LFM2.5 vs ModernBERT. Liquid AI apuesta a que el procesamiento híbrido de secuencias puede preservar una comprensión competitiva a la vez que ralentiza el crecimiento de la latencia en entradas largas.

Según los resultados del lanzamiento, LFM2.5-Encoder-230M fue el modelo probado más rápido en todas las longitudes de secuencia en CPU. Su ventaja se hizo más visible en el límite de 8.192 tokens.

Liquid AI informa de unos 28 segundos para el modelo LFM2.5 más pequeño a esa longitud. Afirma que ModernBERT-base tardó más de 90 segundos, lo que genera la ventaja declarada de 3,7 veces.

La empresa observó un patrón más estrecho en una GPU de Apple. Según los informes, ModernBERT-base lideraba por debajo de aproximadamente 1.000 tokens. Los encoders de Liquid AI tomaban la delantera a partir de aproximadamente 2.000 tokens.

Ese cruce ilustra la contrapartida. Las decisiones de arquitectura optimizadas para entradas largas no garantizan el liderazgo en las cortas. Muchas solicitudes de clasificación de producción siguen estando muy por debajo de los 2.000 tokens.

El número de parámetros también complica una comparación simple de velocidad. ModernBERT-base contiene unos 149 millones de parámetros, mientras que el encoder más pequeño de Liquid AI contiene unos 230 millones. El modelo LFM2.5 es más grande, pero según los informes es más rápido en secuencias largas en CPU.

Por tanto, el benchmark evalúa más que el número de parámetros. El comportamiento de los kernels, el acceso a memoria, la longitud de secuencia, la configuración del runtime y las características del procesador influyen en la latencia medida.

El encoder LFM2.5 explicado mediante este mecanismo no es un sustituto universal de los modelos basados en atención. Es la afirmación de que las operaciones de secuencia mixtas se adaptan mejor a las cargas de trabajo de contexto largo en CPU.

Los desarrolladores deberían comparar el rendimiento con la distribución real de sus entradas. Un sistema dominado por mensajes cortos podría favorecer decisiones de arquitectura distintas a las de uno que procesa acuerdos legales o transcripciones extensas.

También deberían medir el tiempo total del pipeline después del fine-tuning. La tokenización, el procesamiento por lotes, las capas de salida, el posprocesamiento y la transferencia de datos pueden modificar la ventaja visible en una pasada hacia adelante del modelo por sí sola.

La calidad de los benchmarks es competitiva, pero la evidencia tiene límites

Liquid AI presenta un paquete de reproducibilidad creíble, aunque sus resultados no resuelven el rendimiento en producción entre distintas CPU, runtimes o tareas especializadas.

La empresa evaluó 14 modelos en 17 tareas procedentes de GLUE, SuperGLUE y conjuntos de clasificación multilingüe. Cada modelo recibió fine-tuning supervisado completo para cada tarea.

Liquid AI informa de la media de cinco semillas aleatorias reservadas. El uso de múltiples semillas reduce el riesgo de que una ejecución de entrenamiento inusualmente favorable determine la clasificación.

Su encoder de 350M ocupó el cuarto lugar, con una media reportada de 81,02 en 17 tareas. Los modelos por delante fueron XLM-R XL, ModernBERT-large y XLM-R large.

XLM-R XL lideró con 83,06 y contiene 3.500 millones de parámetros. ModernBERT-large obtuvo 81,68 con 395 millones de parámetros. XLM-R large alcanzó 81,34 con 560 millones.

LFM2.5-Encoder-230M ocupó el sexto lugar con 79,29. ModernBERT-base quedó séptimo con 78,19. Estos promedios respaldan la afirmación de Liquid AI de que sus encoders siguen siendo competitivos para su tamaño.

No muestran un liderazgo constante en todas las tareas. ModernBERT-base superó al modelo LFM2.5 de 230M en varios benchmarks individuales, mientras que Liquid AI lideró en otros.

La clasificación agregada también combina distintos tipos de evaluación. Las tareas incluyen inferencia de lenguaje natural, detección de paráfrasis, análisis de sentimiento, similitud semántica y clasificación multilingüe.

Una media ayuda a comparar la capacidad general, pero puede ocultar la métrica importante para un despliegue concreto. Un sistema de políticas se preocupa por los falsos negativos y la calibración, no por su posición en una tarea de sentimiento no relacionada.

Liquid AI ha publicado su entorno de evaluación, lo que mejora las posibilidades de replicación. El repositorio incluye código de fine-tuning downstream y configuraciones asociadas a las comparaciones reportadas.

Aun así, el código abierto no equivale a una confirmación independiente. Liquid AI eligió el procedimiento de entrenamiento, la configuración comparativa, el método de agregación y el entorno de inferencia.

La afirmación sobre latencia de CPU plantea la mayor pregunta sin responder. El artículo público describe las longitudes de secuencia y los tiempos transcurridos, pero no identifica con claridad la configuración de CPU probada.

Esa omisión afecta a la interpretación. Los procesadores de portátiles, las CPU de servidores en la nube, los canales de memoria, los conjuntos de instrucciones, el número de hilos y los límites de potencia pueden producir comportamientos muy distintos.

Las instrucciones de carga actuales también usan trust_remote_code=True, lo que permite que código proporcionado por el repositorio se ejecute a través de la biblioteca Transformers. Las organizaciones con controles estrictos de software deberán revisar ese código antes del despliegue.

La tarjeta del modelo no presenta una ruta madura de despliegue con ONNX u OpenVINO. Estos runtimes suelen ser importantes para los equipos que optimizan la inferencia en CPU, la cuantización y el servicio multiplataforma.

El rendimiento cuantizado es otra cuestión abierta. La comparación publicada no establece cómo se comporta LFM2.5 tras la conversión a menor precisión ni si se mantiene la misma ventaja relativa.

El lanzamiento tampoco incluye evidencia de producción que cubra concurrencia sostenida. Procesar una secuencia larga mide la latencia, mientras que un clasificador siempre activo necesita rendimiento, latencia de cola, uso de memoria y estabilidad bajo carga.

La precisión exige la misma cautela. El fine-tuning de benchmarks no establece el rendimiento sobre los contratos, las normas de seguridad, el lenguaje de clientes o las categorías de privacidad de una organización.

Un equipo que evalúe LFM2.5 frente a ModernBERT debería reproducir ambos modelos con hardware idéntico y configuraciones optimizadas. Debería probar documentos cortos, medianos y de peor caso de la carga de trabajo real.

La evaluación debe incluir el coste de los fallos. Un detector de PII más rápido tiene poco valor si omite identificadores sensibles que el sistema actual detecta. Un modelo de enrutamiento también debe evitar enviar solicitudes a herramientas posteriores inapropiadas.

Estas limitaciones no invalidan el lanzamiento. Definen la diferencia entre un resultado arquitectónico prometedor y una decisión de despliegue.

Qué deberían vigilar a continuación los desarrolladores de Hugging Face

Tres señales determinarán si este lanzamiento se convierte en un estándar práctico para CPU o permanece como un benchmark interesante de un proveedor.

La primera señal es la replicación independiente en hardware. Los desarrolladores necesitan resultados en Apple silicon, portátiles x86 convencionales y procesadores de servidor con recuentos de hilos y configuraciones de memoria divulgados.

La replicación debería medir más que el extremo de 8.192 tokens. Los conjuntos de datos reales contienen longitudes mixtas, por lo que la latencia por percentiles y los documentos procesados por hora ofrecen una imagen operativa más clara.

Si las pruebas independientes conservan una gran ventaja en contexto largo, se refuerza el argumento arquitectónico de Liquid AI. Si la diferencia se reduce tras una optimización equivalente de los runtimes, es probable que las decisiones de implementación expliquen más del titular.

La segunda señal es el soporte para runtimes optimizados. Las exportaciones a ONNX, la integración con OpenVINO, recetas de cuantización estables y el soporte de bibliotecas nativas harían que los modelos fueran más fáciles de operar más allá de los entornos experimentales de Python.

Estas incorporaciones también pondrían a prueba si el backbone híbrido se adapta bien a las cadenas de herramientas de CPU ampliamente desplegadas. Un modelo que depende de ejecución eager personalizada puede enfrentarse a fricción de adopción pese a obtener buenos resultados en benchmarks.

Los despliegues exitosos en 8 bits o menor precisión reforzarían el argumento de la inferencia local. Podrían reducir la memoria y aumentar el rendimiento manteniendo la precisión de las tareas dentro de límites aceptables.

El resultado opuesto debilitaría la comparación. ModernBERT y otros encoders consolidados se benefician de rutas de optimización maduras, por lo que la velocidad de la arquitectura en bruto no garantiza el mejor sistema desplegado.

La tercera señal es la adopción a nivel de tarea. Los recuentos de descargas de Hugging Face ofrecen un indicador temprano, pero los fine-tunes publicados y los estudios de caso reproducibles importan más.

La evidencia útil incluiría filtros de políticas medidos sobre reglas organizativas, sistemas multilingües de PII probados frente a identificadores realistas y enrutadores operando con tráfico sostenido de aplicaciones.

Los desarrolladores deberían buscar tasas de falsos positivos, tasas de falsos negativos, calibración, uso de memoria y latencia de cola. Estas medidas revelan si el modelo mejora un sistema, en lugar de una posición en una tabla de clasificación.

El ejemplo de fine-tuning de Liquid AI ofrece a los equipos un punto de partida para la clasificación. El siguiente paso es contar con evidencia de usuarios que no diseñaron la arquitectura.

Las respuestas de los competidores ofrecerán otra pista dentro de esas señales. Las implementaciones de ModernBERT pueden incorporar kernels optimizados, mientras que otros encoders de contexto largo pueden adoptar procesamiento híbrido o disperso.

Los proveedores de modelos generativos también tienen margen para responder con endpoints de clasificación más económicos. Sin embargo, los servicios remotos siguen enfrentando restricciones de transferencia de datos, conectividad y control local que los encoders en dispositivo evitan.

Para los trabajadores del conocimiento, este avance podría hacer que la organización local de documentos sea más ágil y privada. Los contratos, las transcripciones, las notas y los historiales de soporte pueden clasificarse antes de que cualquier texto salga de un entorno controlado.

Para los compradores empresariales, el lanzamiento plantea una pregunta de adquisición más precisa. ¿Cada tarea de lenguaje requiere razonamiento generativo, o puede un encoder especializado proporcionar la decisión necesaria con menor demanda de infraestructura?

Para los desarrolladores, la respuesta correcta es medir. Construyan un conjunto de pruebas representativo, definan umbrales de precisión, registren la distribución de longitudes de entrada y comparen pipelines completos en el hardware de despliegue.

Hugging Face hace accesible ese experimento porque ambas variantes de LFM2.5 y sus materiales de apoyo están disponibles en un mismo lugar. Sin embargo, la accesibilidad no debe sustituir a la validación.

Liquid AI ha planteado una propuesta técnica clara: la comprensión de contexto largo puede mantenerse en CPU cuando una arquitectura limita el trabajo repetido de atención completa. Sus benchmarks proporcionan un respaldo inicial creíble para esa propuesta.

La cuestión sin resolver es si los despliegues independientes reproducen la ventaja después de que todos los modelos reciban una optimización equivalente. Esa pregunta debería guiar la próxima oleada de pruebas, fine-tunes e informes de producción.

Si su equipo procesa documentos largos de forma continua, compare LFM2.5 con el encoder que ya atiende su carga de trabajo. Utilice documentos reales, hardware divulgado y métricas de error específicas de la tarea.

El resultado más importante no será otra puntuación media de benchmark. Será la evidencia de que un encoder pequeño puede examinar el contexto de trabajo completo, cumplir los requisitos de precisión y ejecutarse de forma predecible allí donde residen los datos.