top of page

El estudio de codificación visual de Meta cuestiona el preentrenamiento

hace 15 minutos
14 min de lectura
Illustrative photograph. Photo: Daniil Komov / Pexels.

Investigadores de Meta FAIR y NYU informan que el preentrenamiento visual por separado ofreció pocas ventajas en experimentos controlados con más de 200 modelos multimodales. Su estudio sobre codificación visual de Meta cuestiona una premisa habitual: que los modelos necesitan un componente visual previamente entrenado para comprender imágenes de forma eficaz. Según los autores, el procesamiento visual dedicado importa más que la manera en que ese procesamiento fue entrenado.

La distinción separa decisiones arquitectónicas contrapuestas. Un codificador visual, el componente que convierte imágenes en representaciones que un modelo de lenguaje puede procesar, combina varias decisiones. Eliminar su etapa de entrenamiento independiente no equivale a eliminar los parámetros reservados para las imágenes.

Gemma 4 12B de Google ofrece un punto de referencia porque procesa parches de imagen sin un codificador convencional. El nuevo estudio no clasifica ese modelo publicado frente a sus rivales. En cambio, investiga qué ingredientes ayudan cuando los investigadores controlan los datos y el presupuesto de entrenamiento. Su público inmediato son los desarrolladores de modelos que deciden qué conservar, reentrenar o eliminar.

La codificación visual de Meta separa tres decisiones agrupadas

Los investigadores enviaron Unbundling Multimodal Vision Encoding a arXiv el 12 de noviembre de 2026. Ellis Brown, Chris Hoang y sus colaboradores examinan modelos que procesan tanto imágenes como texto. Su pregunta central se refiere al origen de la capacidad visual, no a qué modelo comercial lidera actualmente un benchmark.

El estudio separa el historial de entrenamiento de un codificador, su capacidad dedicada y su ubicación dentro del modelo.

El historial de entrenamiento describe si el componente visual aprende por separado antes de unirse al modelo de lenguaje. La capacidad dedicada se refiere a parámetros, los valores ajustables aprendidos durante el entrenamiento, que solo utilizan las entradas de imagen. La ubicación describe si ese procesamiento ocurre antes de que imágenes y texto interactúen o dentro de su sistema de procesamiento compartido.

Estas decisiones suelen llegar juntas en un codificador convencional. Esto dificulta evaluar el componente como un único objeto. Si eliminarlo reduce el rendimiento, ese resultado por sí solo no identifica qué ingrediente importaba. El modelo podría haber perdido entrenamiento previo útil, procesamiento especializado o ambos.

Los autores abordan esa ambigüedad entrenando ellos mismos el modelo de lenguaje y los componentes visuales con datos comunes. Comparan configuraciones utilizando cómputo de ciclo de vida, es decir, la computación consumida en las etapas de entrenamiento que producen el modelo. Por tanto, el preentrenamiento del codificador cuenta dentro del mismo presupuesto total.

Esa contabilidad cambia la pregunta. Un componente puede mejorar una etapa posterior de entrenamiento y aun así ser un uso ineficiente del presupuesto completo. A la inversa, un componente entrenado por separado podría justificar su coste si sus beneficios superan lo que ofrece el entrenamiento conjunto. El experimento pregunta qué asignación funciona mejor en sus condiciones controladas.

Las comparaciones principales utilizan arquitecturas base de lenguaje con 1.700 millones y 4.000 millones de parámetros. Una arquitectura base es la red central de procesamiento del modelo. Experimentos adicionales de escalado cubren arquitecturas densas de entre 600 millones y 6.400 millones de parámetros. Densa significa que la red no activa de forma selectiva expertos distintos para diferentes entradas.

La evaluación incluye respuesta visual a preguntas, donde los modelos responden preguntas sobre imágenes, junto con pruebas de lenguaje. Los investigadores informan de 16 benchmarks visuales de Cambrian y 12 benchmarks de texto. Esto importa porque mejorar el procesamiento de imágenes a costa del rendimiento lingüístico supondría una compensación distinta.

El resultado es una investigación arquitectónica, no un lanzamiento de producto. Los lectores no pueden inferir que un nuevo asistente descargable sustituya ahora a un modelo existente. Lo que ha cambiado es la evidencia disponible para decidir cómo deberían asignar los futuros sistemas su procesamiento visual.

Esa distinción también explica por qué el experimento importa más allá de su titular. Comparar modelos terminados responde qué paquete completo rinde mejor en una tarea. Separar las decisiones de diseño aborda por qué funciona un paquete y qué partes debería considerar adoptar otro equipo.

Los desarrolladores de modelos afrontan una cuestión de diseño más específica

La presión recae sobre los equipos que tratan «codificador preentrenado» y «sin codificador» como las únicas opciones disponibles.

El estudio introduce una distinción más útil entre el procesamiento compartido y el procesamiento reservado para imágenes. Un modelo puede abandonar el preentrenamiento visual independiente y conservar parámetros visuales especializados. También puede trasladar esos parámetros al interior de la arquitectura base de lenguaje sin hacer que todos los parámetros estén igualmente disponibles para el texto.

Esto deja a los equipos de arquitectura ante una comparación más exigente. Eliminar una caja de un diagrama de sistema no elimina necesariamente la función que esa caja desempeñaba. Un diagrama más simple puede ocultar procesamiento especializado dentro de otro componente. Evaluar el sistema resultante exige rastrear qué cómputo permanece.

La arquitectura de Gemma 4 de Google ilustra por qué las etiquetas generales requieren cautela. Su informe técnico describe un modelo 12B sin codificador que incorpora parches de imagen y audio sin procesar. La misma familia de modelos también incluye variantes con codificadores. Incluso dentro de un único lanzamiento, la decisión arquitectónica no es universal.

Kimi K3 representa otra vía analizada por el estudio: conservar un codificador visual mientras se entrena conjuntamente desde cero. Su informe sobre el modelo multimodal describe un sistema más amplio con capacidades visuales nativas. Ninguno de los dos lanzamientos aporta la comparación controlada necesaria para aislar la contribución del preentrenamiento del codificador.

Estos ejemplos establecen el contexto del sector sin resolver el experimento. Diferencias en datos, escalas, calendarios de entrenamiento y decisiones de implementación impiden una comparación causal limpia. Un modelo publicado con éxito demuestra que una receta puede funcionar. No demuestra que todos los ingredientes de esa receta fueran necesarios.

Para los equipos de investigación, la implicación práctica es probar directamente el ingrediente relevante. Si el objetivo es reducir las etapas de entrenamiento, eliminar el preentrenamiento merece su propia comparación. Si el objetivo es reducir el cómputo especializado, eliminar la capacidad dedicada requiere una prueba independiente.

Para los equipos de infraestructura, la cuestión incluye cómo se ejecuta la arquitectura. Un diseño que ofrece resultados similares durante la evaluación todavía podría generar distintas exigencias de memoria o restricciones de planificación. Esas consideraciones de despliegue requieren mediciones que van más allá del número de parámetros de un modelo.

Los compradores empresariales afrontan un problema de interpretación relacionado. Una etiqueta arquitectónica no les indica si un modelo lee con precisión sus diagramas o gestiona de forma fiable su colección de documentos. Tampoco revela cuánto cómputo de entrenamiento contribuyó a la capacidad final.

Pensemos en un equipo que selecciona un modelo para capturas de pantalla de soporte técnico. Su tarea implica reconocer detalles de interfaz y conectarlos con instrucciones escritas. La afirmación de un proveedor de que su modelo utiliza una arquitectura más reciente no puede sustituir la prueba con esas capturas.

El mismo razonamiento se aplica a los desarrolladores que crean asistentes para documentos. La pregunta relevante es si la simplificación arquitectónica conserva la información visual que necesita su aplicación. Esta cuestión se vuelve especialmente importante cuando las respuestas lingüísticas ordinarias siguen siendo fluidas a pesar de errores en la imagen.

Por tanto, la investigación de Meta sobre codificación visual cambia la carga de la explicación. Los equipos que defienden cualquiera de las dos vías deben especificar qué eliminaron, qué conservaron y qué resultado mejoró. La mera presencia de un codificador es una descripción demasiado general.

Omitir el preentrenamiento no significa omitir la especialización

Según los autores, un codificador visual entrenado conjuntamente desde cero rinde de forma comparable a codificadores preentrenados con los mismos datos. Las alternativas sin codificador quedan por detrás en comprensión visual, incluso en comparaciones que amplían la arquitectura compartida para compensar los parámetros eliminados del codificador.

La reversión informada se refiere al preentrenamiento, mientras que la ventaja informada se refiere a la capacidad especializada.

Estos hallazgos abordan supuestos distintos. El primero cuestiona si una etapa independiente de aprendizaje visual merece su lugar en la receta. El segundo cuestiona si una red general más grande puede sustituir el cómputo específico para imágenes. Convertir ambos en «los codificadores son innecesarios» pierde la distinción central.

Una interpretación útil es que la organización del entrenamiento y la organización de los parámetros deberían evaluarse de forma independiente. La organización del entrenamiento determina cuándo aprenden los distintos componentes. La organización de los parámetros determina qué entradas pueden utilizar qué valores aprendidos. Cambiar una no exige cambiar la otra.

Esta distinción evita una conclusión fácil pero engañosa sobre el tamaño de los modelos. Añadir parámetros incrementa los recursos disponibles para una red, pero su ubicación y uso siguen importando. Un parámetro compartido puede contribuir tanto al procesamiento del lenguaje como al de imágenes. Un parámetro exclusivo para visión tiene una asignación más limitada.

Los resultados controlados favorecen esa asignación más limitada para las tareas visuales evaluadas. No establecen una explicación universal de por qué ayuda la especialización. Por ejemplo, el resultado del estudio por sí solo no puede identificar todas las interacciones de optimización responsables de la diferencia. Un resultado arquitectónico y una teoría causal completa son aportaciones diferentes.

La misma cautela se aplica al preentrenamiento. El experimento no muestra que las representaciones visuales aprendidas por separado carezcan de valor. Informa de que los enfoques de preentrenamiento probados no ofrecieron ventaja sobre el entrenamiento conjunto bajo los controles indicados. Es un hallazgo relevante con un alcance definido.

Para los equipos que planean una ejecución de entrenamiento, la implicación trata sobre el coste de oportunidad. El cómputo dedicado a preparar un codificador no puede dedicarse también a otra parte dentro de un presupuesto fijo. Una receta debería justificar esa asignación mediante su rendimiento final, y no mediante la reputación de su componente intermedio.

También existe una distinción entre construir un componente y obtener uno. Un equipo que descarga un codificador existente no asume personalmente su gasto original de entrenamiento. Esto hace atractivo reutilizarlo, incluso cuando entrenar conjuntamente todo el sistema ofrece una mejor asignación desde el principio.

Estas perspectivas responden a preguntas distintas. La contabilidad de ciclo de vida evalúa la eficiencia de la receta completa. Un desarrollador posterior evalúa los recursos necesarios para construir a partir de componentes disponibles. Ninguna perspectiva invalida la otra, pero mezclarlas puede producir comparaciones engañosas.

Para los desarrolladores de aplicaciones, esto significa que el artículo es una razón para reconsiderar los valores predeterminados, en lugar de abandonar inmediatamente los codificadores reutilizables. El soporte de software existente, los checkpoints disponibles y la evaluación específica de la tarea siguen influyendo en una decisión de implementación. El experimento no mide todos los costes que implica cambiar una pila consolidada.

La interpretación más sólida sigue siendo específica: el preentrenamiento visual por separado fue opcional en estos experimentos, mientras que el procesamiento visual dedicado conservó valor. Esta formulación preserva el hallazgo sin convertirlo en una afirmación sobre todos los modelos multimodales actuales o futuros.

El procesamiento visual puede trasladarse al interior de la arquitectura base

Los autores también prueban si el procesamiento visual especializado debe ocurrir antes de que las imágenes y el texto entren en su red compartida. Su alternativa sitúa módulos exclusivos de visión dentro de las primeras capas del backbone. Llaman a esta disposición in-fusion, lo que significa que el procesamiento especializado ocurre dentro de la red donde interactúan la información de imagen y texto.

Los resultados reportados sitúan el procesamiento in-fusion temprano cerca de un codificador convencional entrenado desde cero. Por lo tanto, el cambio arquitectónico importante es la reubicación, más que la eliminación. Las entradas de imagen conservan acceso a parámetros especializados aunque el sistema carezca de la misma disposición de front-end independiente.

Eliminar un codificador independiente puede preservar su especialización útil dentro del modelo compartido.

Los experimentos de capacidad visual enfatizan la ubicación temprana. En la configuración probada, las ramas exclusivas de visión en las primeras ocho capas ofrecen un rendimiento comparable al del codificador independiente. Ese resultado acota la recomendación de diseño: el procesamiento especializado ayuda cuando aparece en una ubicación adecuada.

La ubicación importa conceptualmente porque el procesamiento temprano determina la información disponible para el cálculo posterior. Si una distinción visual desaparece antes de que el modelo la use, el razonamiento lingüístico posterior no puede reconstruir de forma fiable la evidencia perdida. Esta observación explica lo que está en juego, aunque no establece el mecanismo detrás de cada resultado reportado.

Un escenario de lectura de gráficos ilustra el problema. Un asistente debe distinguir una etiqueta, asociarla con la serie trazada correcta y responder la pregunta del usuario. Un razonamiento fluido sobre tendencias no compensa leer la etiqueta equivocada.

De manera similar, un asistente para capturas de pantalla debe preservar pequeñas diferencias visuales antes de interpretar su significado. Una casilla seleccionada y una casilla no seleccionada pueden requerir respuestas opuestas. Estos son escenarios ilustrativos de aplicación, no implementaciones validadas por el estudio.

Los investigadores también informan un beneficio de inferencia. La inferencia es el proceso de ejecutar un modelo entrenado para producir una respuesta. Sus mediciones muestran aproximadamente un 13% menos de tiempo hasta el primer token para una configuración in-fusion en comparación con su configuración de codificador equivalente.

El tiempo hasta el primer token mide la demora antes de que comience una respuesta. No mide la duración de la respuesta completa ni la eficiencia operativa total del sistema. La prueba reportada utiliza un backbone de 1.7B en una GPU H200 con 16 solicitudes simultáneas, cada una con una imagen y texto.

Esas condiciones deben considerarse junto con el porcentaje. Diferentes combinaciones de solicitudes, hardware e implementaciones pueden cambiar el resultado. Un resultado de latencia respalda una hipótesis de despliegue; no garantiza la misma mejora en un servicio no relacionado.

Para los equipos de producto, la posibilidad interesante es preservar el rendimiento visual mientras se modifica la ruta de ejecución. Eso es más útil que elegir velocidad o precisión únicamente mediante una etiqueta arquitectónica. Sugiere un diseño candidato que vale la pena comparar con la aplicación real.

El estudio controlado de modelos también prueba añadir visión a un modelo de lenguaje ya preentrenado. Los autores informan que la comparación general persiste en ese contexto. Esto hace que la investigación sea más relevante para los equipos que amplían un modelo de texto existente.

Aun así, extender el resultado hasta convertirlo en una recomendación de producción exige evidencia adicional. Un servicio debe tener en cuenta sus cargas reales de imágenes y sus restricciones de implementación. El artículo identifica una disposición arquitectónica prometedora, mientras que la decisión de despliegue sigue dependiendo de la tarea.

El conjunto de datos compartido deja una pregunta importante abierta

El estudio no establece que los codificadores preentrenados publicados no obtengan beneficios de datos visuales adicionales.

Sus controles limitan deliberadamente los datos disponibles para cada receta. Eso facilita interpretar la comparación arquitectónica. También impide que el experimento represente por completo una decisión de despliegue habitual: importar un codificador entrenado con una colección de imágenes más amplia.

Un componente preentrenado puede aportar tanto un historial de entrenamiento como información aprendida de ejemplos que de otro modo no estarían disponibles. Mantener constantes los ejemplos aísla con mayor claridad lo primero. No resuelve el valor de lo segundo.

SigLIP 2 aporta un contexto relevante. Su investigación sobre codificadores visión-lenguaje describe una receta que combina aprendizaje imagen-texto con objetivos de entrenamiento adicionales y curación de datos. Los autores informan mejoras en varias capacidades visuales. Ese trabajo aborda la calidad y versatilidad de las representaciones visuales reutilizables.

Por tanto, los estudios responden preguntas relacionadas pero diferentes. Mejorar un codificador reutilizable es compatible con encontrar un beneficio limitado del preentrenamiento independiente sobre un conjunto de datos compartido y fijo. Un equipo de producción que elige entre componentes disponibles debe considerar ambos resultados.

La escala crea otro límite. Los nuevos experimentos alcanzan backbones densos con 6.400 millones de parámetros. No establecen el mismo resultado para sistemas sustancialmente mayores o arquitecturas dispersas de mezcla de expertos, que enrutan selectivamente las entradas a través de distintos grupos de parámetros.

La distinción importa porque los módulos visuales especializados son en sí mismos una forma de cálculo selectivo. Una arquitectura ya organizada en torno al enrutamiento podría interactuar de manera diferente con esa especialización. Que lo haga o no es una cuestión empírica, no una implicación que los lectores puedan asumir con seguridad.

La resolución también sigue siendo territorio inexplorado. El entrenamiento multimodal controlado utiliza imágenes de 224 por 224 píxeles, seguido de una evaluación visual tras el ajuste por instrucciones con entradas de mayor resolución. El ajuste por instrucciones es un entrenamiento adicional que enseña a un modelo a responder solicitudes. El entrenamiento con mayor resolución sigue estando entre las futuras líneas de trabajo de los autores.

Las imágenes con mucho texto merecen especial cautela. Un documento fotografiado, una hoja de cálculo densa y una imagen común pueden plantear exigencias diferentes para el procesamiento visual. Los buenos resultados agregados no garantizan un comportamiento igual en todos esos casos.

El video y los datos intercalados de imagen y texto también siguen siendo preguntas abiertas. Los datos intercalados alternan imágenes y texto dentro de una secuencia. Ni un benchmark de imágenes fijas ni una prueba breve de latencia establecen cómo la arquitectura maneja un contexto visual extenso.

Los autores también reconocen que su mezcla de datos compartida no se optimizó de forma independiente para cada receta. Los ajustes comunes mejoran la comparabilidad, pero una búsqueda específica para cada receta podría cambiar los resultados relativos. Esta es una limitación significativa, no una razón para descartar la experimentación controlada.

Por último, el trabajo es un preprint. Los hallazgos son reportados por los autores, y este análisis no reproduce de forma independiente sus ejecuciones de entrenamiento. El artículo aporta evidencia para una afirmación arquitectónica acotada, no un consenso definitivo.

Para los trabajadores del conocimiento, la consecuencia práctica es distinguir el progreso de investigación de la preparación para aplicaciones. Un asistente documental aún necesita preservar los detalles de las fuentes y respaldar sus respuestas con evidencia recuperable. La eficiencia arquitectónica por sí sola no establece que una base de conocimiento de IA interpretará correctamente todos los gráficos incrustados.

Tres pruebas determinarán hasta dónde llega el hallazgo

Los próximos avances significativos serán comparaciones de entrenamiento más amplias, pruebas arquitectónicas de mayor escala y mediciones de servicio a nivel de aplicación.

La primera señal que conviene observar es una comparación que dé a los codificadores preentrenados acceso a datos visuales adicionales y haga explícita esa diferencia. Esto abordaría la mayor brecha entre el experimento controlado y la reutilización de componentes. Debería separar el beneficio de nuevos ejemplos del beneficio de una etapa de entrenamiento independiente.

Si el entrenamiento conjunto sigue siendo competitivo bajo esa comparación ampliada, se refuerza el argumento contra el preentrenamiento obligatorio de codificadores. Si un codificador importado obtiene una ventaja persistente, la recomendación se vuelve más condicional. Los equipos tendrían que sopesar el valor de sus datos frente a la simplicidad arquitectónica.

Un seguimiento útil también debería revelar qué ejemplos ve cada receta. Sin esa información, una aparente victoria arquitectónica aún puede reflejar información desigual. Una mejor transparencia haría el resultado más aplicable incluso si ningún enfoque gana de forma consistente.

La segunda señal es la replicación en backbones más grandes y distintas arquitecturas de enrutamiento. Esto debería incluir cargas de trabajo con documentos de mayor resolución, diagramas y secuencias visuales más largas. Estas pruebas mostrarían si la capacidad exclusiva de visión temprana sigue siendo útil más allá del rango experimental original.

Si el patrón persiste, la especialización dentro del backbone se convierte en una opción de diseño general más creíble. Si los modelos sin codificador cierran la brecha en otras condiciones, el resultado original seguirá siendo útil dentro de un dominio más acotado. Cualquiera de los dos resultados mejoraría el debate arquitectónico.

La observación importante no es simplemente un número mayor en un benchmark. El trabajo de seguimiento debería conservar suficientes controles para explicar por qué cambia la comparación. De otro modo, otro modelo publicado exitoso añadiría un ejemplo sin resolver el desacuerdo de fondo.

La tercera señal es evidencia de despliegue que mida conjuntamente la precisión visual y el comportamiento de respuesta. Una prueba de producción debería vincular cualquier mejora de latencia con las mismas tareas utilizadas para evaluar la calidad. Medir la velocidad en una carga de trabajo y la calidad en otra deja una brecha evitable.

Si los diseños in-fusion preservan el rendimiento de las tareas mientras acortan las demoras de respuesta en solicitudes realistas, aumenta su atractivo práctico. Si la ventaja desaparece bajo la carga de trabajo de un servicio, el resultado de entrenamiento aún puede importar. Simplemente ofrecería una razón más débil para cambiar la arquitectura de ese servicio.

Ninguna de estas señales exige tratar un lanzamiento de producto programado como inevitable. Durante los próximos meses, los lectores deberían buscar experimentos divulgados y mediciones reproducibles en lugar de asumir una adopción comercial. La distinción mantiene el pronóstico ligado a evidencia observable.

Por ahora, la investigación de Meta sobre codificación visual ofrece a los desarrolladores un marco más preciso para evaluar la próxima afirmación sobre modelos multimodales. Pregunten si el cambio elimina el preentrenamiento, elimina los parámetros específicos de imagen o traslada esos parámetros a otro lugar. Después pregunten qué pruebas de datos, cálculo y aplicación respaldan el resultado.

Antes de cambiar un flujo de trabajo documental o de capturas de pantalla, comparen modelos candidatos con la evidencia visual que sus usuarios realmente necesitan. Conserven ejemplos difíciles, examinen las respuestas incorrectas y midan las demoras de respuesta junto con la precisión. Lean las limitaciones experimentales antes de convertir un resultado arquitectónico en una regla de compra. ¿Qué parte de la capacidad visual de su modelo actual proviene del procesamiento especializado y qué parte proviene de datos que perderían al reemplazarlo?

 
 

Empieza gratis

Un asistente de IA local-first con gestión del conocimiento personal

Para ofrecer una mejor experiencia con la IA,

actualmente remio solo es compatible con Windows 10+ (x64) y M-Chip Macs.

Tu aliado de IA para el trabajo
Haz más con remio

Planifica. Crea. Entrega.
Todo en un solo lugar.

bottom of page