Hugging Face recebe novos encoders LFM2.5, colocando a inferência de contexto longo em CPU frente ao ModernBERT

Hugging Face adicionou dois modelos encoder da Liquid AI que processam entradas de 8.192 tokens e desafiam o ModernBERT em velocidade de CPU para contextos longos. O lançamento coloca uma afirmação específica sob escrutínio: o processamento de linguagem em escala de documentos nem sempre exige uma GPU ou um modelo generativo.

A Liquid AI afirma que seu encoder de 230 milhões de parâmetros conclui uma passagem direta de 8.192 tokens em uma CPU testada em cerca de 28 segundos. O ModernBERT-base precisou de mais de 90 segundos na comparação da empresa. Essa diferença relatada transforma LFM2.5 vs ModernBERT em uma disputa pela economia de implantação, não apenas pela precisão em benchmarks.

O resultado importa porque encoders lidam discretamente com cargas de trabalho persistentes, como classificação, roteamento, extração, moderação e detecção de informações pessoais. Esses sistemas frequentemente analisam todos os documentos ou mensagens recebidos. Portanto, um modelo mais lento pode consumir infraestrutura substancial, mesmo quando cada tarefa individual parece modesta.

A Liquid AI publicou os pesos dos modelos, o harness de avaliação, os model cards e demonstrações exclusivas para CPU. No entanto, o desempenho em destaque continua sendo um resultado conduzido pelo fornecedor. Detalhes importantes de implantação, incluindo a configuração do processador e o suporte a runtimes otimizados, ainda precisam de testes independentes mais amplos.

Hugging Face adiciona dois encoders LFM2.5 com pesos abertos

O lançamento transforma a arquitetura de decoder da Liquid AI em dois encoders voltados a tarefas, criados para documentos longos e hardware computacional comum.

A Liquid AI lançou LFM2.5-Encoder-230M e LFM2.5-Encoder-350M no Hugging Face em 28 de julho de 2026. Ambos oferecem suporte a contextos de até 8.192 tokens e usam a arquitetura híbrida LFM2 da empresa.

Um encoder lê uma entrada e produz representações contextuais para classificação, recuperação, extração ou decisões no nível de token. Diferentemente de um modelo de linguagem causal, ele não gera principalmente o próximo token da esquerda para a direita.

A distinção molda tanto o custo quanto o comportamento. Um roteador de tickets de suporte precisa selecionar um destino, não elaborar uma resposta. Um filtro de privacidade precisa localizar trechos sensíveis, não produzir um parágrafo fluente.

A Liquid AI adaptou seus backbones de decoder existentes de 230M e 350M para essas tarefas mais específicas. Ela substituiu a máscara de atenção causal por atenção bidirecional, permitindo que cada token considere o texto dos dois lados. A empresa também tornou não causais as convoluções curtas da arquitetura por meio de padding simétrico.

O treinamento usou modelagem de linguagem mascarada, em que tokens selecionados são ocultados e o modelo os prevê a partir do contexto ao redor. A Liquid AI afirma ter mascarado 30% dos tokens durante o treinamento.

A empresa utilizou um cronograma de duas etapas. O treinamento inicial cobriu sequências de 1.024 tokens em um grande corpus da web. Uma segunda etapa estendeu o contexto para 8.192 tokens usando dados destinados a reforçar o desempenho factual, jurídico e multilíngue.

O model card de 230M lista aproximadamente 229,7 milhões de parâmetros. A versão de 350M contém aproximadamente 354,5 milhões. Ambos têm tamanho oculto de 1.024 e um vocabulário com 65.536 entradas.

Eles oferecem suporte a 15 idiomas, segundo o model card. Esses idiomas incluem inglês, espanhol, francês, árabe, hindi, japonês, vietnamita e chinês.

A Liquid AI posiciona o modelo menor para restrições mais rigorosas de latência e memória. Ela apresenta a versão maior como a opção orientada à precisão. Ambos exigem ajuste fino específico para a tarefa antes de se tornarem classificadores, roteadores ou sistemas de extração prontos para produção.

Essa ressalva é importante para qualquer explicação do encoder LFM2.5 como uma aplicação pronta. Os modelos-base fornecem representações de linguagem, mas as organizações precisam adicionar uma camada de saída e treinar para a tarefa-alvo.

Os modelos usam a LFM Open License v1.0 da Liquid AI. Chamá-los de pesos abertos significa que desenvolvedores podem baixar e executar os parâmetros treinados. Isso não significa que o lançamento use uma licença de software permissiva padrão.

O Hugging Face fornece o ponto de distribuição, os model cards, a discussão da comunidade e as demonstrações. A Liquid AI fornece a arquitetura, os pesos, as avaliações e a implementação. Esse arranjo facilita a experimentação, ao mesmo tempo que mantém a responsabilidade pelas principais alegações de desempenho com a desenvolvedora do modelo.

A mudança imediata é, portanto, concreta. Os desenvolvedores agora têm dois encoders de contexto longo para download, projetados em torno da implantação em CPU, e não da geração priorizando GPU.

Por que a inferência de contexto longo em CPU é o verdadeiro prêmio

A oportunidade central não é um chatbot menor, mas uma camada de decisão mais barata que pode analisar documentos de trabalho completos.

Sistemas de linguagem em produção realizam muitas tarefas que nunca exigem geração de texto. Eles rotulam solicitações, detectam violações de política, classificam sentimento, identificam entidades, classificam passagens e escolhem qual modelo maior recebe um prompt.

Essas operações podem ser executadas com muito mais frequência do que as respostas visíveis de chatbots. Uma plataforma de agentes pode avaliar um prompt segundo várias regras de segurança antes da geração. Ela pode classificar o resultado novamente antes de entregá-lo.

Executar cada etapa por meio de um grande modelo generativo adiciona latência e demanda de hardware. Também pode introduzir saídas variáveis em tarefas que exigem rótulos ou trechos de tokens previsíveis.

Um encoder ajustado oferece uma rota diferente. Ele lê o texto relevante em uma única passagem direta e retorna pontuações específicas da tarefa. O modelo pode permanecer em um processo local, em vez de enviar cada documento para um serviço externo.

O tamanho do contexto determina se esse processo enxerga a fonte completa. Encoders mais antigos frequentemente se concentravam em sequências mais curtas, forçando desenvolvedores a dividir contratos, transcrições ou conversas de suporte em partes. A divisão pode separar uma decisão da evidência que altera seu significado.

Uma janela de 8.192 tokens não cobre todos os documentos longos. Mas cobre substancialmente mais texto do que as implantações clássicas de BERT com 512 tokens. Essa diferença pode reduzir a divisão em partes e a lógica de agregação ao redor dela.

A Liquid AI ilustra essa abordagem com Spaces do Hugging Face exclusivos para CPU. Suas demonstrações abrangem roteamento de prompts, verificação de políticas, correção ortográfica e detecção de informações de identificação pessoal.

A demonstração de PII supostamente detecta 40 tipos de informação em 16 idiomas. A verificação de políticas pontua tokens em relação a regras fornecidas como texto livre. O roteamento de prompts compara um prompt inteiro com categorias de roteamento definidas pelo usuário.

Essas demonstrações identificam as cargas de trabalho que a Liquid AI quer conquistar. São tarefas de compreensão de alto volume, com saídas delimitadas e custos recorrentes de infraestrutura.

Um filtro de políticas local é especialmente relevante para sistemas de agentes. O filtro pode operar no mesmo ambiente de uma aplicação, reduzindo a necessidade de expor texto interno a outro endpoint remoto.

A mesma lógica se aplica a documentos técnicos locais. Equipes que constroem uma base de conhecimento pesquisável precisam de etapas de classificação, extração e recuperação antes que qualquer resposta gerada apareça.

A implantação em CPU amplia os locais em que essas etapas podem ser executadas. Um laptop de desenvolvedor, um servidor de aplicação ou um dispositivo de borda pode executar o modelo sem reservar um acelerador separado.

No entanto, “executar em CPU” não significa automaticamente ser instantâneo ou barato em qualquer escala. Uma passagem de 28 segundos pode ser prática para um contrato e inadequada para uma interface interativa. A taxa de processamento em lote também difere da latência de um único documento.

A afirmação mais forte é a flexibilidade operacional. As equipes podem posicionar processamento de linguagem especializado onde seus dados já residem e reservar GPUs ou modelos remotos para tarefas que realmente exigem geração.

Essa divisão de trabalho pressiona fornecedores que vendem inferência de propósito geral para cada operação de linguagem. Ela também pressiona equipes que recorrem por padrão a grandes modelos de linguagem antes de medir se um encoder menor pode atender ao requisito.

LFM2.5 vs ModernBERT se resume à arquitetura

A vantagem de velocidade relatada pela Liquid AI cresce com o comprimento da entrada porque seu backbone híbrido evita aplicar atenção completa em todas as camadas.

O ModernBERT oferece o adversário mais claro porque também visa codificação bidirecional eficiente com um contexto de 8.192 tokens. Lançado no fim de 2024, ele atualizou o design do BERT para entradas mais longas, hardware moderno e treinamento aprimorado.

A pesquisa original do BERT estabeleceu o pré-treinamento bidirecional como uma base para compreensão de linguagem. Mais tarde, o ModernBERT combinou essa abordagem com atualizações de arquitetura e treinamento voltadas às necessidades atuais de implantação.

A Liquid AI segue outra rota. O LFM2 intercala atenção de consulta agrupada com blocos de convolução curta com gate. A atenção conecta informações ao longo de uma sequência, enquanto as convoluções curtas se concentram em tokens vizinhos com menor sobrecarga computacional.

Essa estrutura híbrida importa à medida que as entradas crescem. A autoatenção completa compara posições ao longo da sequência, portanto sua carga computacional aumenta rapidamente com o comprimento. Camadas convolucionais restringem uma parcela maior de seu trabalho a vizinhanças locais.

A Liquid AI não elimina a atenção. Ela reduz a frequência com que a arquitetura paga seu custo total. O modelo ainda pode trocar informações entre posições distantes enquanto processa muitas camadas por meio de operações locais mais baratas.

Para uso como encoder, a Liquid AI tornou essas operações locais bidirecionais. O padding simétrico permite que uma convolução incorpore vizinhos antes e depois do token atual. As camadas de atenção completa também recebem uma máscara bidirecional.

Esse mecanismo cria o argumento central para LFM2.5 vs ModernBERT. A Liquid AI aposta que o processamento híbrido de sequências pode preservar uma compreensão competitiva enquanto desacelera o crescimento da latência para entradas longas.

De acordo com os resultados do lançamento, o LFM2.5-Encoder-230M foi o modelo testado mais rápido em todos os tamanhos de sequência em CPU. Sua vantagem se tornou mais visível no limite de 8.192 tokens.

A Liquid AI relata cerca de 28 segundos para o modelo LFM2.5 menor nesse comprimento. Ela diz que o ModernBERT-base levou mais de 90 segundos, produzindo a vantagem declarada de 3,7 vezes.

A empresa observou um padrão mais estreito em uma GPU da Apple. O ModernBERT-base supostamente liderou abaixo de aproximadamente 1.000 tokens. Os encoders da Liquid AI passaram à frente a partir de aproximadamente 2.000 tokens.

Esse cruzamento ilustra a troca envolvida. Escolhas de arquitetura otimizadas para entradas longas não garantem liderança em entradas curtas. Muitas solicitações de classificação em produção permanecem muito abaixo de 2.000 tokens.

As contagens de parâmetros também complicam uma comparação simples de velocidade. O ModernBERT-base contém cerca de 149 milhões de parâmetros, enquanto o encoder menor da Liquid AI contém cerca de 230 milhões. O modelo LFM2.5 é maior, mas supostamente mais rápido em sequências longas em CPU.

O benchmark, portanto, testa mais do que a contagem de parâmetros. Comportamento dos kernels, acesso à memória, comprimento da sequência, configuração do runtime e características do processador influenciam a latência medida.

O encoder LFM2.5 explicado por esse mecanismo não é um substituto universal para modelos baseados em atenção. Trata-se da afirmação de que operações mistas de sequência se adaptam melhor a cargas de trabalho de contexto longo em CPU.

Os desenvolvedores devem realizar benchmarks com base na distribuição real de suas entradas. Um sistema dominado por mensagens curtas pode favorecer escolhas de arquitetura diferentes de um que processa contratos jurídicos ou transcrições extensas.

Eles também devem medir o tempo total do pipeline após o fine-tuning. Tokenização, batching, cabeças de saída, pós-processamento e transferência de dados podem alterar a vantagem observada em uma passagem direta apenas do modelo.

A Qualidade dos Benchmarks É Competitiva, mas as Evidências Têm Limites

A Liquid AI apresenta um pacote de reprodutibilidade crível, mas seus resultados não definem o desempenho em produção em CPUs, runtimes ou tarefas especializadas.

A empresa avaliou 14 modelos em 17 tarefas extraídas do GLUE, SuperGLUE e de suítes de classificação multilíngue. Cada modelo recebeu fine-tuning supervisionado completo para cada tarefa.

A Liquid AI informa a média de cinco seeds aleatórias reservadas. Múltiplas seeds reduzem o risco de que uma execução de treinamento excepcionalmente favorável determine o ranking.

Seu encoder de 350M ficou em quarto lugar, com uma média reportada de 81,02 nas 17 tarefas. Os modelos à frente foram XLM-R XL, ModernBERT-large e XLM-R large.

XLM-R XL liderou com 83,06 e contém 3,5 bilhões de parâmetros. ModernBERT-large obteve 81,68 com 395 milhões de parâmetros. XLM-R large alcançou 81,34 com 560 milhões.

LFM2.5-Encoder-230M ficou em sexto lugar com 79,29. ModernBERT-base ficou em sétimo, com 78,19. Essas médias sustentam a afirmação da Liquid AI de que seus encoders seguem competitivos para seu porte.

Elas não demonstram liderança consistente em todas as tarefas. ModernBERT-base superou o modelo LFM2.5 de 230M em diversos benchmarks individuais, enquanto a Liquid AI liderou em outros.

O ranking agregado também combina diferentes tipos de avaliação. As tarefas incluem inferência de linguagem natural, detecção de paráfrases, análise de sentimento, similaridade semântica e classificação multilíngue.

Uma média ajuda a comparar a capacidade geral, mas pode ocultar a métrica relevante para uma implantação específica. Um sistema de políticas se importa com falsos negativos e calibração, não com sua posição em uma tarefa de sentimento sem relação.

A Liquid AI lançou seu harness de avaliação, o que amplia a possibilidade de replicação. O repositório inclui código de fine-tuning downstream e configurações associadas às comparações reportadas.

Ainda assim, código aberto não equivale a confirmação independente. A Liquid AI selecionou o procedimento de treinamento, a configuração de comparação, o método de agregação e o ambiente de inferência.

A alegação sobre latência em CPU traz a maior questão ainda sem resposta. O artigo público descreve os comprimentos de sequência e os tempos decorridos, mas não identifica claramente a configuração de CPU testada.

Essa omissão afeta a interpretação. Processadores de notebooks, CPUs de servidores em nuvem, canais de memória, conjuntos de instruções, número de threads e limites de energia podem gerar comportamentos muito diferentes.

As instruções atuais de carregamento também usam trust_remote_code=True, permitindo que código fornecido pelo repositório seja executado por meio da biblioteca Transformers. Organizações com controles rígidos de software precisarão revisar esse código antes da implantação.

O model card não apresenta um caminho maduro de implantação com ONNX ou OpenVINO. Esses runtimes costumam ser importantes para equipes que otimizam inferência em CPU, quantização e serving multiplataforma.

O desempenho quantizado é outra questão em aberto. A comparação publicada não estabelece como o LFM2.5 se comporta após a conversão para menor precisão nem se a mesma vantagem relativa permanece.

O lançamento também carece de evidências de produção que cubram concorrência sustentada. Processar uma sequência longa mede latência, enquanto um classificador sempre ativo precisa de throughput, latência de cauda, uso de memória e estabilidade sob carga.

A precisão exige a mesma cautela. O fine-tuning em benchmarks não estabelece desempenho nos contratos, regras de segurança, linguagem de clientes ou categorias de privacidade de uma organização.

Uma equipe que avalia LFM2.5 versus ModernBERT deve reproduzir ambos os modelos usando hardware idêntico e configurações otimizadas. Deve testar documentos curtos, medianos e de pior caso da carga de trabalho real.

A avaliação deve incluir os custos das falhas. Um detector de PII mais rápido tem pouco valor se deixar passar identificadores sensíveis que o sistema atual detecta. Um modelo de roteamento também deve evitar enviar solicitações a ferramentas downstream inadequadas.

Essas limitações não invalidam o lançamento. Elas definem a diferença entre um resultado arquitetural promissor e uma decisão de implantação.

O Que Desenvolvedores do Hugging Face Devem Observar a Seguir

Três sinais determinarão se este lançamento se tornará um padrão prático para CPU ou continuará sendo um benchmark interessante de fornecedor.

O primeiro sinal é a replicação independente em hardware. Desenvolvedores precisam de resultados em Apple silicon, notebooks x86 convencionais e processadores de servidor, com números de threads e configurações de memória divulgados.

A replicação deve medir mais do que o ponto final de 8.192 tokens. Conjuntos de dados reais contêm comprimentos mistos, portanto a latência por percentil e os documentos processados por hora oferecem um retrato operacional mais claro.

Se testes independentes preservarem uma grande vantagem em contexto longo, o argumento arquitetural da Liquid AI se fortalece. Se a diferença se reduzir após uma otimização equivalente dos runtimes, as escolhas de implementação provavelmente explicarão mais da manchete.

O segundo sinal é o suporte a runtimes otimizados. Exportações para ONNX, integração com OpenVINO, receitas estáveis de quantização e suporte a bibliotecas nativas tornariam os modelos mais fáceis de operar além de ambientes experimentais em Python.

Essas adições também testariam se o backbone híbrido se adapta bem a cadeias de ferramentas de CPU amplamente implantadas. Um modelo que depende de execução eager personalizada pode enfrentar atrito na adoção apesar de bons resultados em benchmarks.

Implantações bem-sucedidas em 8 bits ou menor precisão fortaleceriam o argumento da inferência local. Elas poderiam reduzir a memória e aumentar o throughput, mantendo a precisão das tarefas dentro de limites aceitáveis.

O resultado oposto enfraqueceria a comparação. ModernBERT e outros encoders estabelecidos se beneficiam de caminhos maduros de otimização, portanto a velocidade bruta da arquitetura não garante o melhor sistema implantado.

O terceiro sinal é a adoção no nível das tarefas. As contagens de downloads no Hugging Face oferecem um indicador inicial, mas fine-tunes publicados e estudos de caso reproduzíveis importam mais.

Evidências úteis incluiriam filtros de políticas medidos com regras organizacionais, sistemas multilíngues de PII testados contra identificadores realistas e roteadores operando sob tráfego sustentado de aplicações.

Desenvolvedores devem procurar taxas de falsos positivos, taxas de falsos negativos, calibração, uso de memória e latência de cauda. Essas métricas revelam se o modelo melhora um sistema, em vez de apenas uma posição no ranking.

O exemplo de fine-tuning da Liquid AI fornece às equipes um ponto de partida para classificação. O próximo passo são evidências de usuários que não projetaram a arquitetura.

As respostas dos concorrentes oferecerão outra pista dentro desses sinais. Implementações do ModernBERT podem obter kernels otimizados, enquanto outros encoders de contexto longo podem adotar processamento híbrido ou esparso.

Fornecedores de modelos generativos também têm espaço para responder com endpoints de classificação mais baratos. No entanto, serviços remotos ainda enfrentam restrições de transferência de dados, conectividade e controle local que encoders no dispositivo evitam.

Para trabalhadores do conhecimento, esse desenvolvimento pode tornar a organização local de documentos mais responsiva e privada. Contratos, transcrições, notas e históricos de suporte podem ser classificados antes que qualquer texto deixe um ambiente controlado.

Para compradores empresariais, o lançamento cria uma questão de aquisição mais precisa. Cada tarefa de linguagem exige raciocínio generativo, ou um encoder especializado pode fornecer a decisão necessária com menor demanda de infraestrutura?

Para desenvolvedores, a resposta correta é medir. Monte um conjunto de testes representativo, defina limites de precisão, registre a distribuição dos comprimentos de entrada e compare pipelines completos no hardware de implantação.

O Hugging Face torna esse experimento acessível porque ambas as variantes do LFM2.5 e seus materiais de apoio estão disponíveis em um só lugar. A acessibilidade, porém, não deve substituir a validação.

A Liquid AI apresentou uma proposta técnica clara: a compreensão de contexto longo pode permanecer em CPUs quando uma arquitetura limita o trabalho repetido de atenção completa. Seus benchmarks oferecem suporte inicial crível a essa proposta.

A questão não resolvida é se implantações independentes reproduzem a vantagem depois que cada modelo recebe otimização equivalente. Essa pergunta deve orientar a próxima onda de testes, fine-tunes e relatórios de produção.

Se sua equipe processa documentos longos continuamente, compare o LFM2.5 com o encoder que já atende sua carga de trabalho. Use documentos reais, hardware divulgado e métricas de erro específicas da tarefa.

O resultado mais importante não será outra pontuação média de benchmark. Será a evidência de que um encoder pequeno consegue examinar todo o contexto de trabalho, atender aos requisitos de precisão e operar de forma previsível onde os dados estão.