top of page

Estudo da Meta sobre codificação visual questiona o pré-treinamento

há 1 dia
13 min de leitura
Illustrative photograph. Photo: Daniil Komov / Pexels.

Pesquisadores da Meta FAIR e da NYU relatam que o pré-treinamento visual separado ofereceu pouca vantagem em experimentos controlados envolvendo mais de 200 modelos multimodais. Seu estudo da Meta sobre codificação visual desafia uma suposição conhecida: os modelos precisam de um componente visual previamente treinado para compreender imagens de forma eficaz. Segundo os autores, o processamento visual dedicado importa mais do que a forma como esse processamento foi treinado.

A distinção separa escolhas arquiteturais concorrentes. Um codificador visual, o componente que converte imagens em representações que um modelo de linguagem pode processar, reúne diversas decisões. Eliminar sua etapa de treinamento separada é diferente de remover os parâmetros reservados para imagens.

O Gemma 4 12B do Google oferece um ponto de referência porque processa patches de imagem sem um codificador convencional. O novo estudo não classifica esse modelo lançado em relação aos concorrentes. Em vez disso, investiga quais elementos ajudam quando os pesquisadores controlam os dados e o orçamento de treinamento. Seu público imediato são os desenvolvedores de modelos que decidem o que preservar, retreinar ou remover.

A codificação visual da Meta separa três escolhas agrupadas

Os pesquisadores enviaram Unbundling Multimodal Vision Encoding ao arXiv em 12 de novembro de 2026. Ellis Brown, Chris Hoang e seus colaboradores examinam modelos que processam imagens e texto. Sua questão central trata da origem da capacidade visual, e não de qual modelo comercial lidera atualmente um benchmark.

O estudo separa o histórico de treinamento de um codificador, sua capacidade dedicada e sua localização dentro do modelo.

O histórico de treinamento descreve se o componente visual aprende separadamente antes de se juntar ao modelo de linguagem. Capacidade dedicada significa parâmetros, os valores ajustáveis aprendidos durante o treinamento, usados apenas por entradas de imagem. Localização descreve se esse processamento ocorre antes de imagens e texto interagirem ou dentro de seu sistema compartilhado de processamento.

Essas decisões costumam vir juntas em um codificador convencional. Isso torna o componente difícil de avaliar como um único objeto. Se removê-lo reduz o desempenho, esse resultado por si só não identifica qual elemento foi importante. O modelo pode ter perdido treinamento prévio útil, processamento especializado ou ambos.

Os autores abordam essa ambiguidade treinando o próprio modelo de linguagem e os componentes visuais com dados comuns. Eles comparam configurações usando computação ao longo do ciclo de vida, isto é, o processamento consumido nas etapas de treinamento que produzem o modelo. Portanto, o pré-treinamento do codificador conta dentro do mesmo orçamento total.

Essa contabilização muda a questão. Um componente pode melhorar uma etapa posterior de treinamento e ainda assim representar um uso ineficiente do orçamento completo. Por outro lado, um componente treinado separadamente pode justificar seu custo se seus benefícios superarem o que o treinamento conjunto oferece. O experimento pergunta qual alocação funciona melhor em suas condições controladas.

As principais comparações usam backbones de linguagem com 1,7 bilhão e 4 bilhões de parâmetros. Um backbone é a rede central de processamento do modelo. Experimentos adicionais de escalonamento abrangem backbones densos de 0,6 bilhão a 6,4 bilhões de parâmetros. Denso significa que a rede não ativa seletivamente especialistas separados para diferentes entradas.

A avaliação inclui perguntas e respostas visuais, nas quais os modelos respondem a perguntas sobre imagens, além de testes de linguagem. Os pesquisadores relatam 16 benchmarks visuais Cambrian e 12 benchmarks de texto. Isso importa porque melhorar o processamento de imagens às custas do desempenho de linguagem representaria uma troca diferente.

O resultado é uma investigação arquitetural, não um lançamento de produto. Os leitores não podem inferir que um novo assistente disponível para download substitui agora um modelo existente. O que mudou são as evidências disponíveis para decidir como sistemas futuros devem alocar seu processamento visual.

Essa distinção também explica por que o experimento importa além de sua manchete. Comparar modelos finalizados responde qual pacote completo tem melhor desempenho em uma tarefa. Separar escolhas de design aborda por que um pacote funciona e quais partes outra equipe deveria considerar adotar.

Desenvolvedores de modelos enfrentam uma questão de design mais específica

A pressão recai sobre equipes que tratam “codificador pré-treinado” e “sem codificador” como as únicas escolhas disponíveis.

O estudo introduz uma distinção mais útil entre processamento compartilhado e processamento reservado para imagens. Um modelo pode abandonar o pré-treinamento visual separado enquanto preserva parâmetros visuais especializados. Também pode mover esses parâmetros para dentro do backbone de linguagem sem tornar todos os parâmetros igualmente disponíveis para texto.

Isso deixa as equipes de arquitetura diante de uma comparação mais exigente. Remover uma caixa de um diagrama de sistema não necessariamente remove a função que essa caixa desempenhava. Um diagrama mais simples pode ocultar processamento especializado dentro de outro componente. Avaliar o sistema resultante exige rastrear qual computação permanece.

A arquitetura do Gemma 4 do Google ilustra por que rótulos amplos exigem cautela. Seu relatório técnico descreve um modelo 12B sem codificador que recebe patches brutos de imagem e áudio. A mesma família de modelos também inclui variantes com codificadores. Mesmo em um único lançamento, a decisão arquitetural não é universal.

O Kimi K3 representa outra rota discutida pelo estudo: manter um codificador visual enquanto ele é treinado conjuntamente do zero. Seu relatório de modelo multimodal descreve um sistema mais amplo com capacidades visuais nativas. Nenhum dos lançamentos fornece a comparação controlada necessária para isolar a contribuição do pré-treinamento do codificador.

Esses exemplos estabelecem o contexto da indústria sem resolver o experimento. Dados, escalas, cronogramas de treinamento e escolhas de implementação diferentes impedem uma comparação causal limpa. Um modelo lançado com sucesso mostra que uma receita pode funcionar. Não estabelece que cada ingrediente dessa receita era necessário.

Para equipes de pesquisa, a implicação prática é testar diretamente o elemento relevante. Se o objetivo é reduzir etapas de treinamento, remover o pré-treinamento merece sua própria comparação. Se o objetivo é reduzir a computação especializada, remover a capacidade dedicada exige um teste separado.

Para equipes de infraestrutura, a questão inclui como a arquitetura é executada. Um design com desempenho semelhante durante a avaliação ainda pode criar diferentes demandas de memória ou restrições de agendamento. Essas considerações de implantação exigem medições além da contagem de parâmetros de um modelo.

Compradores empresariais enfrentam um problema de interpretação relacionado. Um rótulo arquitetural não informa se um modelo lê seus diagramas com precisão ou lida de forma confiável com sua coleção de documentos. Também não revela quanto processamento de treinamento contribuiu para a capacidade final.

Considere uma equipe que seleciona um modelo para capturas de tela de suporte técnico. Sua tarefa envolve reconhecer detalhes da interface e conectá-los a instruções escritas. A alegação de um fornecedor de que seu modelo usa uma arquitetura mais nova não pode substituir testes com essas capturas de tela.

O mesmo raciocínio se aplica a desenvolvedores que criam assistentes de documentos. A questão relevante é se a simplificação arquitetural preserva as informações visuais de que sua aplicação precisa. Essa questão se torna especialmente importante quando respostas de linguagem comuns continuam fluentes apesar de erros na imagem.

A pesquisa da Meta sobre codificação visual, portanto, muda o ônus da explicação. As equipes que defendem qualquer uma das rotas precisam especificar o que removeram, o que mantiveram e qual resultado melhorou. A mera presença do codificador é uma descrição excessivamente ampla.

Pular o pré-treinamento não significa pular a especialização

Segundo os autores, um codificador visual treinado conjuntamente do zero apresenta desempenho comparável ao de codificadores pré-treinados com os mesmos dados. Alternativas sem codificador ficam atrás em compreensão visual, inclusive em comparações que ampliam o backbone compartilhado para compensar os parâmetros removidos do codificador.

A reversão relatada diz respeito ao pré-treinamento, enquanto a vantagem relatada diz respeito à capacidade especializada.

Essas conclusões abordam pressupostos diferentes. A primeira questiona se uma etapa visual de aprendizado separada merece lugar na receita. A segunda questiona se uma rede geral maior pode substituir a computação específica para imagens. Resumi-las como “codificadores são desnecessários” perde a distinção central.

Uma interpretação útil é que a organização do treinamento e a organização dos parâmetros devem ser avaliadas de forma independente. A organização do treinamento determina quando diferentes componentes aprendem. A organização dos parâmetros determina quais entradas podem usar quais valores aprendidos. Alterar uma não exige alterar a outra.

Essa distinção evita uma conclusão fácil, mas enganosa, sobre o tamanho do modelo. Adicionar parâmetros aumenta os recursos disponíveis para uma rede, mas sua localização e uso ainda importam. Um parâmetro compartilhado pode contribuir para o processamento de linguagem e de imagens. Um parâmetro exclusivo para visão tem uma atribuição mais restrita.

Os resultados controlados favorecem essa atribuição mais restrita para as tarefas visuais testadas. Eles não estabelecem uma explicação universal para o motivo de a especialização ajudar. Por exemplo, o resultado do estudo, por si só, não pode identificar cada interação de otimização responsável pela diferença. Um resultado arquitetural e uma teoria causal completa são contribuições diferentes.

A mesma cautela se aplica ao pré-treinamento. O experimento não mostra que representações visuais aprendidas separadamente sejam inúteis. Ele relata que as abordagens de pré-treinamento testadas não proporcionaram vantagem sobre o treinamento conjunto sob os controles declarados. Essa é uma descoberta consequente, com escopo definido.

Para equipes que planejam uma execução de treinamento, a implicação diz respeito ao custo de oportunidade. A computação gasta para preparar um codificador não pode também ser gasta em outro lugar dentro de um orçamento fixo. Uma receita deve justificar essa alocação por meio de seu desempenho final, e não pela reputação de seu componente intermediário.

Também há uma distinção entre construir um componente e obtê-lo. Uma equipe que baixa um codificador existente não incorre pessoalmente em seu custo original de treinamento. Isso torna a reutilização atraente mesmo quando treinar todo o sistema conjuntamente oferece uma alocação melhor desde o início.

Essas perspectivas respondem a perguntas diferentes. A contabilização ao longo do ciclo de vida avalia a eficiência da receita completa. Um desenvolvedor downstream avalia os recursos necessários para construir a partir de componentes disponíveis. Nenhuma das perspectivas invalida a outra, mas misturá-las pode produzir comparações enganosas.

Para desenvolvedores de aplicações, isso significa que o artigo é um motivo para reconsiderar padrões, e não para abandonar imediatamente codificadores reutilizáveis. Suporte de software existente, checkpoints disponíveis e avaliação específica por tarefa ainda influenciam uma decisão de implementação. O experimento não mede todos os custos envolvidos na mudança de uma pilha já estabelecida.

A leitura mais sólida continua sendo específica: o pré-treinamento visual separado foi opcional nestes experimentos, enquanto o processamento visual dedicado manteve valor. Essa formulação preserva a descoberta sem convertê-la em uma afirmação sobre todos os modelos multimodais atuais ou futuros.

O processamento visual pode migrar para dentro do backbone

Os autores também testam se o processamento visual especializado precisa ocorrer antes que imagens e texto entrem em sua rede compartilhada. A alternativa deles posiciona módulos exclusivos para visão dentro das primeiras camadas do backbone. Eles chamam esse arranjo de in-fusion, indicando que o processamento especializado ocorre dentro da rede, onde informações de imagem e texto interagem.

Os resultados reportados colocam o processamento inicial in-fusion próximo de um encoder convencional treinado do zero. Portanto, a mudança arquitetural importante é a realocação, e não a eliminação. As entradas de imagem mantêm acesso a parâmetros especializados, embora o sistema não tenha a mesma estrutura separada de front-end.

Remover um encoder separado pode preservar sua especialização útil dentro do modelo compartilhado.

Os experimentos de capacidade visual enfatizam o posicionamento inicial. Na configuração testada, ramificações exclusivas para visão nas oito primeiras camadas têm desempenho comparável ao encoder separado. Esse resultado delimita a recomendação de design: o processamento especializado ajuda quando aparece em uma localização adequada.

O posicionamento é conceitualmente importante porque o processamento inicial molda as informações disponíveis para cálculos posteriores. Se uma distinção visual desaparece antes de o modelo utilizá-la, o raciocínio linguístico posterior não consegue reconstruir de forma confiável a evidência perdida. Essa observação explica o que está em jogo, embora não estabeleça o mecanismo por trás de todos os resultados reportados.

Um cenário de leitura de gráficos torna a questão concreta. Um assistente precisa distinguir um rótulo, associá-lo à série plotada correta e responder à pergunta do usuário. Um raciocínio fluente sobre tendências não compensa a leitura do rótulo errado.

Da mesma forma, um assistente de capturas de tela precisa preservar pequenas diferenças visuais antes de interpretar seu significado. Uma caixa de seleção marcada e uma desmarcada podem exigir respostas opostas. Esses são cenários ilustrativos de aplicação, e não implantações validadas pelo estudo.

Os pesquisadores também relatam um benefício de inferência. Inferência é o processo de executar um modelo treinado para produzir uma resposta. Suas medições mostram um tempo até o primeiro token aproximadamente 13% menor para uma configuração in-fusion em comparação com sua configuração equivalente com encoder.

O tempo até o primeiro token mede o atraso antes de uma resposta começar. Ele não mede a duração da resposta completa nem a eficiência operacional total do sistema. O teste reportado usa um backbone de 1,7B em uma GPU H200, com 16 solicitações simultâneas, cada uma contendo uma imagem e texto.

Essas condições devem acompanhar o percentual. Diferentes combinações de solicitações, hardware e implementações podem alterar o resultado. Um resultado de latência sustenta uma hipótese de implantação; não garante a mesma melhoria em um serviço não relacionado.

Para equipes de produto, a possibilidade interessante é preservar o desempenho visual enquanto se altera o caminho de execução. Isso é mais útil do que escolher velocidade ou precisão apenas com base em um rótulo arquitetural. Sugere um design candidato que vale a pena comparar com a aplicação real.

O estudo controlado de modelos também testa a adição de visão a um modelo de linguagem já pré-treinado. Os autores relatam que a comparação geral persiste nesse cenário. Isso torna a investigação mais relevante para equipes que ampliam um modelo de texto existente.

Ainda assim, transformar o resultado em uma recomendação de produção exige evidências adicionais. Um serviço precisa considerar suas cargas reais de imagens e restrições de implementação. O artigo identifica um arranjo arquitetural promissor, enquanto a decisão de implantação continua dependente da tarefa.

O Dataset Compartilhado Deixa uma Questão Importante em Aberto

O estudo não estabelece que encoders pré-treinados disponibilizados publicamente não obtenham benefício de dados visuais adicionais.

Seus controles limitam deliberadamente os dados disponíveis para cada receita. Isso torna a comparação arquitetural mais fácil de interpretar. Também impede que o experimento represente plenamente uma escolha comum de implantação: importar um encoder treinado em uma coleção mais ampla de imagens.

Um componente pré-treinado pode trazer tanto um histórico de treinamento quanto informações aprendidas a partir de exemplos indisponíveis de outra forma. Manter os exemplos constantes isola melhor o primeiro fator. Não resolve o valor do segundo.

SigLIP 2 oferece um contexto relevante. Sua pesquisa sobre encoder de visão e linguagem descreve uma receita que combina aprendizado imagem-texto com objetivos adicionais de treinamento e curadoria de dados. Os autores relatam melhorias em diversas capacidades visuais. Esse trabalho aborda a qualidade e a versatilidade de representações visuais reutilizáveis.

Os estudos, portanto, respondem a questões relacionadas, mas diferentes. Melhorar um encoder reutilizável é compatível com encontrar benefício limitado do pré-treinamento separado em um dataset compartilhado fixo. Uma equipe de produção que escolhe entre componentes disponíveis precisa considerar ambos os resultados.

A escala cria outro limite. Os novos experimentos alcançam backbones densos com 6,4 bilhões de parâmetros. Eles não estabelecem o mesmo resultado para sistemas substancialmente maiores ou arquiteturas esparsas de mixture-of-experts, que direcionam seletivamente entradas por diferentes grupos de parâmetros.

A distinção importa porque módulos visuais especializados são, por si só, uma forma de computação seletiva. Uma arquitetura já organizada em torno de roteamento pode interagir de modo diferente com essa especialização. Se isso ocorre é uma questão empírica, e não uma implicação que leitores possam assumir com segurança.

A resolução também permanece como território inexplorado. O treinamento multimodal controlado usa imagens de 224 por 224 pixels, seguido de avaliação visual após instruction tuning com entradas de maior resolução. Instruction tuning é um treinamento adicional que ensina um modelo a responder a solicitações. O treinamento em maior resolução continua entre as direções futuras dos autores.

Imagens com muito texto merecem cautela particular. Um documento fotografado, uma planilha densa e uma imagem comum podem impor exigências diferentes ao processamento visual. Resultados agregados fortes não garantem comportamento igual nesses casos.

Vídeo e dados intercalados de imagem e texto também continuam sendo questões em aberto. Dados intercalados alternam imagens e texto dentro de uma sequência. Nem um benchmark de imagens estáticas nem um breve teste de latência estabelecem como a arquitetura lida com contexto visual estendido.

Os autores também reconhecem que sua mistura de dados compartilhada não foi otimizada de forma independente para cada receita. Configurações comuns melhoram a comparabilidade, mas uma busca específica para cada receita poderia alterar os resultados relativos. Essa é uma limitação significativa, e não um motivo para descartar a experimentação controlada.

Por fim, o trabalho é um preprint. As descobertas são relatadas pelos autores, e esta análise não reproduz de forma independente suas execuções de treinamento. O artigo fornece evidências para uma afirmação arquitetural delimitada, não um consenso final.

Para trabalhadores do conhecimento, a consequência prática é distinguir o progresso da pesquisa da prontidão para aplicação. Um assistente de documentos ainda precisa preservar detalhes da fonte e sustentar respostas com evidências recuperáveis. A eficiência arquitetural, por si só, não estabelece que uma base de conhecimento com IA interpretará corretamente todos os gráficos incorporados.

Três Testes Determinarão Até Onde a Descoberta Se Aplica

Os próximos desenvolvimentos significativos são comparações de treinamento mais amplas, testes arquiteturais maiores e medições de serviço em nível de aplicação.

O primeiro sinal a observar é uma comparação que dê a encoders pré-treinados acesso a dados visuais adicionais, deixando essa diferença explícita. Isso abordaria a maior lacuna entre o experimento controlado e a reutilização de componentes. Deve separar o benefício de novos exemplos do benefício de uma etapa de treinamento separada.

Se o treinamento conjunto permanecer competitivo nessa comparação ampliada, o argumento contra o pré-treinamento obrigatório de encoders se fortalece. Se um encoder importado obtiver uma vantagem persistente, a recomendação se tornará mais condicional. As equipes precisariam ponderar o valor de seus dados em relação à simplicidade arquitetural.

Um acompanhamento útil também deve revelar quais exemplos cada receita utiliza. Sem essa informação, uma aparente vitória arquitetural ainda pode refletir informações desiguais. Maior transparência tornaria o resultado mais acionável, mesmo que nenhuma abordagem vença de forma consistente.

O segundo sinal é a replicação em backbones maiores e diferentes arquiteturas de roteamento. Isso deve incluir cargas de trabalho com documentos de maior resolução, diagramas e sequências visuais mais longas. Esses testes mostrariam se a capacidade exclusiva para visão nas camadas iniciais continua útil além da faixa experimental original.

Se o padrão persistir, a especialização dentro do backbone se torna uma opção de design geral mais crível. Se modelos sem encoder reduzirem a diferença em outras condições, o resultado original continuará útil em um domínio mais restrito. Qualquer um dos resultados melhoraria a discussão arquitetural.

A observação importante não é simplesmente um número maior de benchmark. Trabalhos posteriores devem preservar controles suficientes para explicar por que a comparação muda. Caso contrário, outro modelo lançado com sucesso acrescentaria um exemplo sem resolver a divergência subjacente.

O terceiro sinal é evidência de implantação que meça conjuntamente a precisão visual e o comportamento de resposta. Um teste de produção deve conectar qualquer melhoria de latência às mesmas tarefas usadas para avaliação de qualidade. Medir velocidade em uma carga de trabalho e qualidade em outra deixa uma lacuna evitável.

Se designs in-fusion preservarem o desempenho nas tarefas enquanto reduzem atrasos de resposta em solicitações realistas, seu apelo prático se fortalece. Se a vantagem desaparecer sob a carga de trabalho de um serviço, o resultado de treinamento ainda pode importar. Apenas forneceria um motivo mais fraco para alterar a arquitetura desse serviço.

Nenhum desses sinais exige tratar um lançamento de produto programado como inevitável. Nos próximos meses, leitores devem buscar experimentos divulgados e medições reproduzíveis, em vez de presumir adoção comercial. Essa distinção mantém a previsão vinculada a evidências observáveis.

Por enquanto, a pesquisa da Meta sobre codificação visual oferece aos desenvolvedores uma estrutura mais precisa para avaliar a próxima alegação sobre modelos multimodais. Pergunte se a mudança remove o pré-treinamento, remove parâmetros específicos para imagens ou move esses parâmetros para outro lugar. Em seguida, pergunte quais testes de dados, computação e aplicação sustentam o resultado.

Antes de mudar um fluxo de trabalho de documentos ou capturas de tela, compare modelos candidatos com base nas evidências visuais de que seus usuários realmente precisam. Mantenha exemplos difíceis, examine as respostas erradas e meça os atrasos de resposta ao lado da precisão. Leia as limitações experimentais antes de transformar um resultado arquitetural em uma regra de compra. Que parte da capacidade visual do seu modelo atual vem de processamento especializado, e que parte vem de dados que você perderia ao substituí-lo?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page