top of page

La cuantización LLVQ de Qwen3 sacrifica velocidad por calidad

hace 42 minutos
14 min de lectura
Illustrative photograph. Photo: Godfrey Atima / Pexels.

La cuantización LLVQ de Qwen3 cuenta ahora con archivos descargables de 4B, 8B y 14B cercanos a 2,7 bits por parámetro, junto con una salvedad importante. Su desarrollador informa de una calidad superior en benchmarks frente a archivos IQ2_S de tamaño similar, pero de una generación más lenta mediante el propio runtime del proyecto. La cuantización, que comprime los pesos numéricos de un modelo, ahorra almacenamiento en este caso sin resolver la cuestión más amplia del rendimiento práctico.

El proyecto procede del desarrollador independiente Pier-Jean Malandrino, y no de un lanzamiento oficial de modelos Qwen ni de un anuncio de producto de Qualcomm. Su implementación aplica cuantización vectorial de retículo Leech, o LLVQ, que codifica grupos de pesos mediante una disposición matemática estructurada. La comparación relevante es con IQ2_S, un formato de compresión de pocos bits compatible con el consolidado software de inferencia llama.cpp.

Esto plantea una decisión concreta para los desarrolladores que ejecutan modelos localmente. Las mejores respuestas dentro de un presupuesto reducido para los pesos merecen atención, especialmente cuando los límites de memoria determinan qué modelo cabe. Sin embargo, el retraso de arranque, el procesamiento de prompts, el soporte de hardware y la integración de software pueden superar una ventaja en pruebas académicas.

La cuantización LLVQ de Qwen3 va más allá de una afirmación de compresión

El cambio es una implementación descargable que conecta un método de compresión inusual con un motor de inferencia funcional.

La investigación subyacente es anterior a este anuncio de la comunidad. El artículo sobre el retículo Leech se presentó el 11 de marzo de 2026 y se revisó el 7 de julio. Describe la codificación conjunta de parámetros de modelos mediante un retículo estructurado, evitando la necesidad de almacenar un enorme catálogo explícito de posibles vectores.

Esa investigación establece la genealogía técnica. No valida de forma independiente el software, los archivos ni las comparaciones de benchmarks de Malandrino. Estos pertenecen a una implementación independiente con sus propias decisiones de ingeniería.

El artículo de Malandrino sobre el servicio Tetra, presentado el 28 de septiembre, informa de un almacenamiento de modelo completo de 2,73, 2,70 y 2,73 bits por parámetro. Sus puntuaciones MMLU correspondientes son 63,37, 69,58 y 75,66 para Qwen3-4B, 8B y 14B. MMLU es un benchmark de conocimiento de opción múltiple que abarca materias académicas y profesionales.

Estas cifras hacen que la historia sea más específica que afirmar que un modelo se ha comprimido a “dos bits”. El modelo completo sigue por encima de esa tasa de titular, y la afirmación sobre la calidad corresponde a archivos identificables.

La distinción importa porque un modelo comprimido contiene más que sus códigos de pesos principales. La información auxiliar, los componentes comprimidos de forma menos agresiva y otro material almacenado contribuyen al tamaño final. Los lectores deben comparar los artefactos completos antes de extraer conclusiones de una etiqueta nominal de compresión.

El proyecto también proporciona una vía desde los códigos almacenados hasta el texto generado. Esa es una diferencia esencial entre un resultado de codificación matemática y algo que los desarrolladores pueden evaluar dentro de una aplicación.

Un archivo que parece atractivo en disco aún necesita software capaz de procesarlo eficientemente. De lo contrario, el ahorro de almacenamiento puede desaparecer durante la carga, o el trabajo de decodificación puede consumir la ventaja de rendimiento.

Aquí, decodificación significa reconstruir la información numérica necesaria para el cálculo. Es distinta de la generación de tokens, aunque ambas actividades ocurren durante la inferencia.

La importancia del proyecto se sitúa, por tanto, entre la investigación y el despliegue. Ofrece a los desarrolladores interesados algo concreto que inspeccionar, al tiempo que deja abierta la comparación práctica.

Esto también debería mantener el anuncio en proporción. Qwen no presentó una nueva familia de modelos a través de este proyecto. Qualcomm no anunció un runtime compatible mediante esta publicación de la comunidad.

Una implementación independiente está probando si un modelo consolidado puede conservar una calidad útil bajo una compresión agresiva. Es una afirmación más acotada, pero también más útil de evaluar.

Para los lectores que siguen la IA local, el cambio clave es la disponibilidad de una alternativa verificable. La pregunta pasa ahora de si la codificación parece plausible a si sus ventajas resisten cargas de trabajo reales.

Mejores puntuaciones presionan al menor presupuesto de modelo

El resultado informado más sólido se refiere a la calidad de las respuestas dentro de un presupuesto de almacenamiento restringido, no a una mejora universal frente a otras versiones de Qwen3.

En la comparación de benchmarks de Qwen3 del desarrollador, LLVQ supera a IQ2_S en MMLU por 9,1, 4,1 y 2,9 puntos porcentuales. Estas ganancias corresponden a los modelos 4B, 8B y 14B. El autor afirma que ambos métodos utilizaron el mismo conjunto de datos de calibración, con mediciones tomadas en una NVIDIA L40S.

La calibración consiste en usar texto representativo para orientar las decisiones de compresión. Compartir esa entrada hace que la comparación sea más informativa, aunque no elimina todas las fuentes de variación.

Los archivos también son aproximadamente comparables en tamaño, en lugar de ser perfectamente idénticos. El autor señala que el artefacto IQ2_S de 14B es ligeramente más pequeño.

Esa salvedad limita el titular. El resultado informado respalda una ventaja en torno al mismo presupuesto de almacenamiento, en lugar de una contienda con un número de bytes exactamente igual.

La audiencia inmediata son los desarrolladores que ya aceptan una compresión agresiva porque su hardware deja poco margen. Para ellos, la elección suele comenzar con un límite estricto de capacidad.

Si un formato de mayor calidad cabe dentro de ese límite, una salida más lenta puede convertirse en un compromiso aceptable. Eso depende de la aplicación y de su tolerancia a la espera.

Consideremos a un desarrollador que evalúa un asistente local para preguntas técnicas breves. Una espera algo mayor podría ser razonable si el modelo identifica con más consistencia el concepto correcto.

Una interfaz conversacional con intercambios frecuentes plantea una exigencia diferente. El retraso se acumula entre turnos, por lo que una ventaja de calidad debe justificar interrupciones repetidas.

Estas son implicaciones de despliegue, no resultados medidos del proyecto. Los benchmarks publicados no establecen qué aplicación se beneficia más.

También es importante el patrón dependiente del tamaño. La ventaja MMLU informada sobre IQ2_S se reduce a medida que crece el modelo subyacente.

Eso debilita cualquier intento de describir el método como una mejora fija en todas partes. Los desarrolladores deben evaluar el tamaño de modelo concreto que pretenden utilizar.

MMLU por sí solo no puede responder todas las preguntas de producto. Una puntuación de conocimiento de opción múltiple no demuestra directamente una edición de código fiable, una extracción precisa de documentos o un uso exitoso de herramientas.

Un modelo puede mejorar en un benchmark y seguir siendo inadecuado para un flujo de trabajo específico. A la inversa, una mejora agregada modesta puede importar si reduce errores en una tarea que se repite con frecuencia.

La presión recae tanto en los hábitos de evaluación como en los formatos competidores. Una opción de compresión conocida merece compararse cuando otro método informa de mejor calidad dentro de un presupuesto similar.

Sin embargo, cambiar requiere evidencia que se ajuste al objetivo del usuario. El tamaño de descarga y una puntuación de benchmark son puntos de partida para esa decisión.

Aquí es donde la afirmación de la cuantización LLVQ de Qwen3 resulta útil sin ser concluyente. Ofrece una razón para probar una alternativa, no una razón para sustituir automáticamente una configuración existente.

El retículo ahorra espacio, mientras el runtime marca el ritmo

La calidad de compresión y la eficiencia de servicio siguen siendo problemas de ingeniería distintos, incluso cuando dependen del mismo formato.

El proyecto utiliza Rust, un lenguaje de programación de sistemas, con kernels CUDA, programas que se ejecutan en GPU NVIDIA. Su implementación de LLVQ describe la lectura de códigos comprimidos durante el cálculo en lugar de construir una matriz completa de pesos densos.

El repositorio también identifica su propio contenedor de modelos y runtime. Una instalación existente de llama.cpp no puede simplemente abrir estos archivos como otra opción de compresión compatible.

Esto crea una diferencia práctica entre la cuantización LLVQ de Qwen3 y una descarga IQ2_S. Adoptar la primera implica evaluar una pila de ejecución diferente.

Una representación más pequeña puede reducir la cantidad de datos de pesos a la que debe acceder el cálculo. Sin embargo, interpretar esa representación también requiere trabajo.

El resultado útil depende de si el movimiento de datos ahorrado supera la sobrecarga de decodificación. Un archivo compacto por sí solo no puede establecer ese equilibrio.

Por ello importan los detalles de Rust y CUDA. Explican cómo el método se vuelve ejecutable, pero no demuestran una ventaja de velocidad.

El desarrollador reconoce explícitamente que llama.cpp funciona más rápido en la comparación. Esa admisión debe acompañar al resultado de calidad porque ambos afectan a la misma decisión de compra o despliegue.

También existe un problema de versionado para los lectores que comparan cifras de rendimiento. El artículo de septiembre informa de una ruta de ejecución anterior, mientras que el repositorio actual describe optimizaciones de servicio más recientes.

El artículo enumera tasas de generación de 113,8, 95,0 y 57,2 tokens por segundo. Esas mediciones deben permanecer vinculadas a la configuración del artículo.

Las afirmaciones de rendimiento más recientes deben evaluarse con su propia revisión del runtime y condiciones de medición. Combinar un resultado de calidad más antiguo con uno de velocidad más nuevo requiere una explicación explícita de qué se mantuvo equivalente.

Es una disciplina habitual de benchmarking, pero se vuelve especialmente importante en un proyecto independiente que cambia rápidamente. Un titular puede sobrevivir a la configuración de software que lo produjo.

La comparación también se extiende más allá del propio método de compresión. Los distintos runtimes aportan implementaciones de atención, decisiones de planificación y comportamientos de memoria diferentes.

Un resultado más rápido puede reflejar varias mejoras que funcionan conjuntamente. Un resultado más lento no identifica necesariamente la codificación matemática como la única causa.

Para los desarrolladores, la pregunta adecuada es si el sistema completo disponible satisface sus necesidades. Aislar la codificación sigue siendo valioso para la investigación, pero las aplicaciones experimentan toda la ruta de ejecución.

La compatibilidad con clientes no elimina esa distinción. Un runtime puede aceptar formatos de solicitud conocidos y aun así presentar características operativas diferentes.

Por tanto, la integración incluye más que enviar una solicitud con éxito. Los desarrolladores necesitan confianza en el comportamiento de carga, el manejo de errores, la operación sostenida y una configuración reproducible.

La presión sobre LLVQ es concreta: conservar la ventaja de calidad informada mientras hace que su runtime sea lo bastante competitivo para el uso cotidiano. La presión sobre IQ2_S es igualmente concreta: justificar cualquier pérdida de calidad mediante velocidad, compatibilidad u otro beneficio práctico.

Ninguna de las dos partes gana con una sola métrica. La comparación significativa sigue el trabajo desde un archivo descargado hasta una respuesta útil.

Los prompts largos cambian el cálculo de memoria

Un presupuesto de pesos comprimidos no describe la memoria máxima necesaria para responder a una solicitud larga.

El desarrollador informa de una limitación especialmente importante para Qwen3-4B. Con un prompt de 8.000 tokens, la memoria máxima alcanza 5,95 GB, frente a 3,52 GB para IQ2_S.

Los tokens son las unidades de texto que procesa un modelo. Por tanto, la longitud del prompt cambia la carga de trabajo incluso cuando el modelo almacenado permanece idéntico.

La misma publicación informa de aproximadamente 35 segundos antes del primer token generado para esa configuración LLVQ. Atribuye el problema al manejo de atención durante el prefill.

El prefill es la etapa que procesa una instrucción entrante antes de que comience la generación. Su comportamiento importa de forma independiente de la velocidad a la que aparecen los tokens posteriores.

Esta distinción cambia cómo debe interpretarse el resultado de compresión. Un modelo puede ajustarse cómodamente después de cargarse y aun así superar la memoria disponible durante una solicitud realista.

Del mismo modo, una salida rápida después de que comienza la generación puede coexistir con una larga espera inicial. Un usuario experimenta ambas etapas, aunque un benchmark destaque solo una.

Las aplicaciones con muchos documentos hacen que esta distinción sea especialmente relevante. Enviar una pregunta breve y enviar un documento técnico extenso son pruebas diferentes del mismo modelo.

Por ejemplo, un asistente puede responder aceptablemente a una breve pregunta de terminología y, al mismo tiempo, tener dificultades para comenzar una respuesta sobre un documento extenso. El formato de compresión por sí solo no predice esa diferencia.

Este es un escenario de evaluación, no una implementación de cliente reportada. Aquí no se ha validado de forma independiente ningún flujo de trabajo de documentos en producción.

La implicación más amplia es sencilla: la planificación de capacidad necesita el pico de la carga de trabajo. El almacenamiento de pesos representa solo una parte de ese total.

Las aplicaciones también necesitan memoria para el cálculo intermedio y la información de conversación retenida. La cantidad depende de la implementación y de la solicitud.

La caché KV, que almacena información de atención de tokens procesados previamente, añade otro componente variable. Comprimir los pesos no comprime automáticamente esa caché.

Por lo tanto, los desarrolladores deben evitar traducir «archivo de modelo pequeño» en una capacidad de contexto garantizada. Esta última requiere una medición independiente bajo un entorno de ejecución definido.

El proyecto reconoce esta limitación en lugar de presentar el comportamiento actual como resuelto. Esto hace útil la divulgación, pero no reduce el coste práctico.

Un desarrollador que elige entre LLVQ e IQ2_S debe decidir qué etapa domina su carga de trabajo. Las solicitudes cortas, los documentos extensos y las conversaciones sostenidas pueden producir respuestas distintas.

Para los equipos que trabajan con material técnico, una base de conocimientos con búsqueda aporta contexto relevante para esa decisión. El material enviado a un modelo determina lo que su entorno de ejecución debe procesar.

Esto no establece que una arquitectura de implementación concreta sea superior. Explica por qué la selección del modelo debe seguir el flujo real de información de una aplicación.

El resultado con instrucciones largas también evita una afirmación de memoria excesivamente amplia. Los pesos compactos de LLVQ son reales, mientras que el pico reportado muestra por qué esos ahorros no bastan para predecir el uso total.

Hasta que mejore la ruta de prefill implementada, los usuarios de contexto largo tienen una razón concreta para preferir otra configuración. Esta limitación merece la misma visibilidad que la ventaja del benchmark.

Los controles del benchmark aún dejan una brecha de verificación

La evidencia disponible respalda una comparación prometedora reportada por el desarrollador, pero deja sin resolver la reproducción independiente y la fiabilidad según la carga de trabajo.

Las decisiones de prueba del autor incluyen controles útiles, pero el trabajo sigue siendo autoinformado. Este artículo no ha ejecutado de forma independiente los archivos ni reproducido los resultados del benchmark.

La tarjeta de modelo de Qwen3-8B añade detalles sobre la ruta de evaluación. Indica que MMLU y la perplejidad utilizaron pesos reconstruidos en FP16, una representación de coma flotante de 16 bits. GSM8K, un benchmark de matemáticas de nivel escolar, se ejecutó mediante el kernel fusionado.

La perplejidad mide qué tan bien un modelo predice texto; los valores más bajos suelen indicar una mejor predicción en el conjunto de datos especificado. No mide directamente la utilidad de las respuestas generadas.

La distinción entre la evaluación reconstruida y la servida directamente importa. Probar pesos reconstruidos ayuda a evaluar el daño de la compresión, mientras que probar el kernel implementado también ejercita el comportamiento del entorno de ejecución.

La concordancia entre ambas rutas reforzaría la evidencia. Aun así, debe demostrarse bajo las cargas de trabajo utilizadas para respaldar una decisión de producto.

La tarjeta de modelo también revela una única muestra de calibración y la ausencia de pruebas con GPU de consumo. Eso deja una incertidumbre importante fuera de la configuración reportada.

Un resultado favorable en una muestra de calibración no establece con qué fiabilidad otra muestra producirá una calidad similar. La calibración repetida ayudaría a caracterizar esa sensibilidad.

Del mismo modo, un resultado en una GPU de centro de datos no especifica el rendimiento en la tarjeta instalada en el escritorio de un lector. Un hardware diferente puede cambiar el equilibrio entre cálculo y acceso a memoria.

Estas son razones para acotar la conclusión. No establecen que los resultados reportados sean incorrectos.

La línea de base también cambia el resultado aparente. El proyecto informa resultados más sólidos frente a IQ2_S, mientras que su artículo sitúa los archivos por debajo de alternativas AWQ de mayor precisión en MMLU.

AWQ es un método de cuantización de pesos consciente de las activaciones. Su papel aquí es mostrar qué puede aportar almacenamiento adicional, en lugar de sustituir a IQ2_S como comparación principal.

Esto ayuda a evitar un malentendido común. Superar a otro archivo de pocos bits no significa que la compresión haya preservado toda la calidad del modelo original.

Un desarrollador necesita ambas comparaciones. Una pregunta si un formato aprovecha bien un presupuesto limitado; la otra pregunta qué calidad se pierde mediante la compresión.

Los ajustes de generación introducen otra complicación. La decodificación voraz siempre selecciona el siguiente token con mayor puntuación, en lugar de muestrear entre posibles continuaciones.

La guía oficial de muestreo de Qwen3 advierte que la decodificación voraz puede causar un rendimiento degradado y repetición interminable. Esa advertencia limita las interpretaciones de un comparador que entra en un bucle durante una prueba voraz.

Un fallo de salida repetida sigue siendo una observación válida sobre la configuración probada. No establece que el archivo se comporte igual de mal con los ajustes recomendados.

Esto importa especialmente cuando un fallo drástico hace que un formato competidor parezca inutilizable. La evaluación debe separar la elección de compresión de un protocolo de generación inadecuado.

La reproducción independiente también debe preservar la identidad del artefacto. El archivo exacto del modelo, la revisión del entorno de ejecución y la configuración deben acompañar al resultado.

De lo contrario, los desacuerdos aparentes pueden proceder de probar sistemas diferentes bajo el mismo nombre de proyecto. La reproducibilidad depende de especificar qué se midió realmente.

La conclusión adecuada sigue siendo condicional: vale la pena investigar la ventaja de calidad reportada, y la evidencia actual no justifica una afirmación general de superioridad.

Tres resultados facilitarían evaluar la compensación

La próxima evidencia útil debería conectar calidad reproducible, procesamiento de instrucciones implementado y rendimiento específico del hardware.

La primera señal es una reproducción independiente de LLVQ frente a IQ2_S utilizando archivos identificables y ajustes de evaluación equivalentes. Eso pondría a prueba directamente la afirmación central del artículo.

Una reproducción debe preservar el presupuesto de almacenamiento de la comparación e informar cualquier diferencia de tamaño restante. También debe distinguir los resultados de pesos reconstruidos y de la ruta de inferencia implementada.

Si se mantiene la ventaja de calidad, aumenta la confianza en el resultado de compresión. Si se reduce sustancialmente, el caso de implementación pasa a depender más de modelos específicos o de decisiones de calibración.

Un resultado independiente seguiría siendo valioso incluso si discrepara. Comprender el origen de la discrepancia puede revelar qué condiciones determinan realmente el resultado.

La segunda señal es una mejora publicada del procesamiento de instrucciones largas, seguida de mediciones mediante el entorno de ejecución normal. Una ruta experimental aislada no puede establecer qué reciben los usuarios.

Los resultados importantes son el pico de memoria, el tiempo hasta el primer token y la calidad de la respuesta bajo las mismas condiciones de solicitud. Informarlos conjuntamente mostraría si el cuello de botella práctico se ha desplazado.

Si el procesamiento de instrucciones mejora mientras la calidad se mantiene estable, LLVQ pasa a ser relevante para una gama más amplia de aplicaciones. Si los picos de memoria siguen siendo altos, sus casos de uso más sólidos continúan siendo más limitados.

Aquí es también donde la futura compresión de caché necesita un examen independiente. Reducir la información de atención almacenada introduce otro cambio que debe recibir su propia evaluación de calidad.

La tercera señal es una comparación reproducible en hardware de consumo. Los usuarios de escritorio necesitan evidencia del entorno en el que realmente ejecutarían el software.

Un informe útil identificaría la tarjeta gráfica, la revisión del entorno de ejecución, la longitud de la instrucción y los ajustes de generación. Compararía los sistemas completos bajo cargas de trabajo equivalentes.

Si la ventaja de calidad se mantiene junto con una latencia aceptable, el caso práctico se fortalece. Si la ejecución sigue siendo sustancialmente más lenta, el método aún puede servir a usuarios que valoran más la capacidad o la calidad.

Los planes futuros para modelos más grandes deben permanecer fuera de la columna de resultados logrados hasta que existan archivos y mediciones. Una estimación de almacenamiento no puede establecer el ajuste durante la inferencia ni la calidad de respuesta retenida.

Por ahora, la cuantización Qwen3 LLVQ ofrece una alternativa inspeccionable con una compensación clara. Su ventaja de calidad reportada frente a IQ2_S merece atención junto con los costes de ejecución.

Considere los archivos disponibles como candidatos para una evaluación específica de la carga de trabajo. Comience con solicitudes que representen lo que su aplicación maneja realmente, incluidas sus instrucciones más largas y casos difíciles. Compare la calidad de las respuestas, el tiempo de espera inicial, la velocidad de generación y el pico de memoria en condiciones equivalentes. Conserve los archivos exactos y las revisiones del entorno de ejecución junto con sus resultados para que otro desarrollador pueda repetirlos. Para la cuantización Qwen3 LLVQ, la pregunta decisiva es si su ventaja de calidad reportada resiste esa comparación completa. Si es así, decida si la mejora justifica el esfuerzo de integración y la demora. Si no es así, conserve las mediciones e identifique qué condición cambió el resultado.

 
 

Empieza gratis

Un asistente de IA local-first con gestión del conocimiento personal

Para ofrecer una mejor experiencia con la IA,

actualmente remio solo es compatible con Windows 10+ (x64) y M-Chip Macs.

Tu aliado de IA para el trabajo
Haz más con remio

Planifica. Crea. Entrega.
Todo en un solo lugar.

bottom of page