O legado Google MIT encontra as startups em busca da próxima grande inovação em LLMs

A pesquisa do Google e do MIT enfrenta agora seu maior desafio arquitetural desde que oito pesquisadores do Google apresentaram o transformer, há nove anos. Startups questionam se o mecanismo por trás de praticamente todos os principais LLMs deve continuar sendo o padrão da indústria.

O conflito não diz respeito à criação de mais um chatbot. Ele envolve a estrutura computacional por trás de ChatGPT, Claude, Gemini e da maioria dos modelos abertos. Subquadratic, Liquid AI, Cartesia e AI21 Labs exploram sistemas que processam sequências longas sem executar atenção densa em todas as camadas.

As propostas vão de atenção esparsa a modelos de espaço de estados e híbridos com forte uso de convoluções. Cada abordagem promete menor uso de memória, processamento mais rápido ou contextos úteis mais longos. Nenhuma, porém, substituiu o transformer em toda a gama de tarefas que importa.

Essa ressalva define a corrida. A próxima arquitetura importante de LLM não vencerá apenas por produzir um gráfico impressionante em laboratório. Ela precisará preservar raciocínio e recuperação de informações enquanto funciona dentro dos softwares, chips e sistemas de implantação que as empresas já utilizam.

O sucesso do transformer criou seu próprio gargalo

A arquitetura que viabilizou a IA generativa moderna se torna mais cara à medida que o volume de entrada cresce.

Pesquisadores do Google apresentaram o transformer no artigo de 2017 Attention Is All You Need. O trabalho substituiu o processamento recorrente pela atenção, um mecanismo que permite a um modelo calcular quais partes de uma entrada merecem destaque.

A atenção tornou o treinamento altamente paralelo. Também ajudou os modelos a conectar informações em posições distantes de um documento. Essas vantagens sustentaram a trajetória de escala que acabaria produzindo os grandes modelos de linguagem atuais.

A forma padrão da autoatenção compara cada token com todos os demais tokens de uma sequência. Um token é uma pequena unidade de texto, como um fragmento de palavra. Portanto, dobrar o comprimento da sequência pode gerar cerca de quatro vezes mais comparações entre pares dentro da operação de atenção.

Engenheiros descrevem esse comportamento como escalonamento quadrático. Isso não significa que o modelo inteiro se torne exatamente quatro vezes mais caro em todas as condições de implantação. Hardware, cache, processamento em lote e escolhas de implementação também afetam o resultado.

Ainda assim, a relação subjacente gera pressão. Um chatbot que responde a uma pergunta curta pode tolerar atenção densa com mais facilidade do que um agente que lê vários repositórios, meses de mensagens e um longo histórico de ações.

As janelas de contexto cresceram, mas o limite anunciado de um modelo não garante uso acessível ou preciso perto desse limite. As equipes precisam considerar o tempo necessário para processar o prompt, o consumo de memória, o custo de inferência e se o modelo encontra as evidências certas.

A geração aumentada por recuperação, ou RAG, reduz essa carga ao selecionar trechos relevantes antes de pedir que um modelo responda. Ela continua útil, especialmente quando uma organização mantém uma grande base de conhecimento de IA.

A recuperação também introduz um ponto de falha separado. Se a camada de busca omitir um trecho crucial, o modelo jamais o verá. Um sistema capaz de inspecionar diretamente muito mais material de origem poderia reduzir esse risco em análise de código, revisão jurídica, pesquisa e agentes persistentes.

Essa perspectiva explica por que a pesquisa em arquitetura recuperou urgência comercial. Mais capacidade computacional pode estender o transformer, mas prompts cada vez mais longos expõem um custo estrutural que chips melhores, por si só, não eliminam.

A conexão Google MIT importa aqui porque o Google forneceu o artigo fundamental, enquanto pesquisadores ligados ao MIT mais tarde ajudaram a criar empresas que buscam alternativas. A disputa é menos um conflito entre duas instituições do que uma transição da percepção acadêmica para sistemas de produção concorrentes.

As startups enxergam uma oportunidade entre o que os modelos atuais anunciam e o que os clientes conseguem implantar na prática. Se conseguirem tornar contextos longos mais baratos sem perder qualidade, poderão pressionar laboratórios de modelos e provedores de infraestrutura ao mesmo tempo.

A pesquisa Google MIT está gerando mais de uma alternativa

Como não surgiu um único design pós-transformer, as startups estão dividindo o problema entre diferentes apostas técnicas.

A Subquadratic adota a abordagem mais direta. A startup sediada em Miami afirma que seu modelo SubQ usa Subquadratic Sparse Attention, ou SSA, para evitar examinar todas as relações possíveis entre tokens.

A atenção esparsa restringe o conjunto de pares de tokens que um modelo avalia. A parte difícil é escolher quais conexões importam antes de executar o trabalho caro exigido pela atenção densa.

A Subquadratic afirma que seu mecanismo escala linearmente com o comprimento do contexto e suporta um contexto de pesquisa de 12 milhões de tokens. Seus exemplos publicados incluem repositórios completos de software e históricos extensos de agentes.

Essas são alegações da empresa, não um resultado consolidado pela indústria. A explicação técnica da companhia afirma que a SSA identifica relações importantes enquanto ignora a maioria das comparações possíveis.

A Liquid AI faz uma aposta diferente. Fundada por pesquisadores com raízes no MIT, a empresa desenvolve Liquid Foundation Models para dispositivos e outros ambientes com recursos restritos.

Sua arquitetura LFM2 não elimina totalmente a atenção. Ela combina convoluções curtas com gating e um número menor de blocos de atenção grouped-query.

Uma convolução processa padrões locais por meio de filtros reutilizáveis. A atenção grouped-query reduz as exigências de memória ao permitir que várias cabeças de consulta compartilhem representações de chave e valor.

A Liquid afirma que o LFM2 foi selecionado por meio de busca arquitetural orientada ao hardware. Isso significa que a equipe avaliou os designs considerando características reais de memória e velocidade, em vez de otimizar apenas uma contagem abstrata de operações.

O design do LFM2 da empresa contém mais blocos de convolução do que blocos de atenção. Esse arranjo visa execução rápida em CPUs e processadores embarcados.

A Cartesia busca modelos de espaço de estados, ou SSMs, que resumem uma sequência por meio de um estado interno em constante mudança. Em vez de reter uma relação explícita entre cada par de tokens, um SSM atualiza uma representação compacta à medida que novas entradas chegam.

Os fundadores da Cartesia ajudaram a desenvolver o Mamba, uma arquitetura seletiva de espaço de estados. A seletividade permite que o modelo decida quais informações preservar ou esquecer com base na entrada atual.

A pesquisa original do Mamba relatou escalonamento linear com o comprimento da sequência e maior throughput do que transformers comparáveis em seus experimentos. Ela também demonstrou aplicações em linguagem, áudio e genômica.

A Cartesia concentrou grande parte de seu trabalho comercial em voz. A fala é um campo de prova natural para o processamento eficiente de sequências, porque sistemas interativos de áudio precisam responder rapidamente enquanto acompanham uma conversa em evolução.

A AI21 Labs oferece uma quarta rota. Sua arquitetura Jamba intercala camadas Mamba com atenção de transformer e componentes mixture-of-experts.

Um modelo mixture-of-experts ativa apenas parte de sua rede total para cada token. Isso aumenta a capacidade total sem usar todos os parâmetros em cada cálculo.

O design do Jamba reflete uma conclusão pragmática: processamento eficiente de sequências e atenção densa resolvem problemas diferentes. A AI21 mantém algumas camadas de transformer para recuperação global, enquanto usa camadas Mamba para reduzir a pressão sobre a memória.

Essas abordagens transformam a história Google MIT em uma corrida arquitetural ramificada. A Subquadratic tenta preservar a atenção tornando-a esparsa. A Liquid AI combina atenção com convoluções. A Cartesia enfatiza o processamento de espaço de estados, enquanto a AI21 mistura camadas de espaço de estados e de transformer.

O objetivo compartilhado é a eficiência. As divergências dizem respeito ao que um LLM pode descartar, comprimir ou processar localmente com segurança sem prejudicar as relações que produzem respostas úteis.

A atenção esparsa faz a alegação mais ousada

A Subquadratic desafia diretamente a atenção densa, mas suas evidências precisam alcançar a escala de sua promessa.

A Subquadratic surgiu publicamente em maio de 2026 com uma alegação incomumente ambiciosa. A empresa afirmou que o SubQ poderia processar contexto de até 12 milhões de tokens usando muito menos capacidade computacional de atenção do que modelos transformer.

Essa capacidade abrangeria vários repositórios completos ou uma grande coleção de contratos em um único prompt. Também poderia permitir que um agente mantivesse um registro operacional muito mais longo sem resumir repetidamente seu passado.

A empresa argumenta que a atenção densa desperdiça capacidade computacional porque a maioria das possíveis relações entre tokens contribui pouco para o resultado. A SSA tenta encontrar o pequeno subconjunto que importa.

Isso é mais difícil do que simplesmente eliminar conexões aleatórias. Uma pista relevante pode aparecer a milhões de tokens de distância, e sua importância talvez só fique clara depois que o modelo lê outra passagem.

Portanto, uma arquitetura esparsa precisa de um mecanismo de roteamento eficaz. Se selecionar as conexões erradas, a economia computacional virá às custas da recuperação de informações ou do raciocínio.

A Subquadratic afirma que sua arquitetura realiza seleção dependente de conteúdo. O modelo escolhe padrões de atenção a partir da entrada, em vez de depender apenas de janelas locais fixas.

Seu lançamento inicial gerou ceticismo porque o acesso público e os detalhes técnicos eram limitados. Mais tarde, a empresa divulgou informações adicionais de benchmark e citou avaliações conduzidas pela Appen.

Segundo a análise original do MIT, o pesquisador independente Will Depue observou que pesquisadores tentaram muitas formas de superar o custo da atenção densa.

Esse histórico importa. Atenção esparsa, atenção linear, redes recorrentes, convoluções longas e memória comprimida já demonstraram benefícios. Muitas também enfrentam dificuldades quando as tarefas exigem recuperação precisa em posições distantes.

Outra preocupação é a linhagem do SubQ. A MIT Technology Review informou que a empresa reutilizou pesos de uma versão do modelo Qwen, da Alibaba, para ajudar a inicializar o SubQ.

Pesos são os valores aprendidos que determinam o comportamento de uma rede neural. Reutilizá-los pode acelerar o desenvolvimento, mas complica as alegações sobre o que a nova arquitetura aprendeu de forma independente.

Um modelo convertido ou inicializado dessa maneira pode herdar capacidades do treinamento em transformer. Isso não invalida o novo mecanismo, mas deixa em aberto se a arquitetura pode ser treinada de forma eficiente desde o início.

A distinção importa comercialmente. Um método que transforma modelos existentes ainda poderia se tornar uma infraestrutura valiosa. Um método que treina modelos fundamentais competitivos do zero desafiaria a economia de todo o mercado.

Os desenvolvedores também precisam de mais do que uma demonstração de limite de contexto. Eles precisam de APIs estáveis, latência previsível, precisão no uso de ferramentas, saída estruturada, controles de segurança e integração com frameworks comuns de inferência.

Contextos longos apresentam seu próprio problema de avaliação. Um modelo pode tecnicamente aceitar milhões de tokens e ainda assim deixar de encontrar fatos relevantes ou combiná-los de forma incorreta.

Testes simples de agulha colocam um fato distintivo dentro de uma entrada longa e pedem que o modelo o recupere. Eles medem a recuperação básica, mas não capturam tarefas que exigem evidências distribuídas por muitos arquivos.

A manutenção de repositórios oferece um teste de estresse melhor. Um modelo precisa identificar interfaces, seguir dependências, entender testes e fazer uma alteração sem quebrar componentes distantes.

A análise jurídica e financeira impõe exigências semelhantes. A conclusão correta pode depender de definições, exceções, emendas e datas espalhadas por muitos documentos.

A Subquadratic precisa demonstrar que seu roteamento esparso preserva essas relações sob cargas de trabalho adversariais e comuns. Testes independentes em múltiplos domínios teriam mais peso do que os de um único fornecedor de benchmarks.

Seu desafio é claro. A empresa apresentou um mecanismo que ataca diretamente a atenção quadrática, mas a adoção em larga escala exige evidências reproduzíveis e modelos acessíveis.

Modelos Híbridos Apostam Contra uma Ruptura Definitiva

Liquid AI e AI21 tratam a atenção como um ingrediente caro a ser usado com parcimônia, não como um componente defeituoso a ser removido.

As arquiteturas híbridas refletem uma avaliação de engenharia: os transformers continuam excepcionalmente bons em recuperação flexível baseada em conteúdo. Sua fraqueza é o custo de aplicar essa capacidade em toda parte.

O LFM2 da Liquid AI delega grande parte do processamento de sequências a convoluções curtas. Esses blocos examinam padrões locais com eficiência e evitam o cache crescente associado à atenção densa.

O modelo ainda inclui blocos de atenção para operações que se beneficiam de comparações mais amplas. Essa divisão se assemelha a um sistema que usa processamento local barato na maior parte do tempo e recorre à análise global de forma seletiva.

O método da Liquid, consciente do hardware, também destaca uma fraqueza nas comparações teóricas. Uma operação com melhor escalabilidade assintótica não executa automaticamente mais rápido em um celular, laptop, GPU ou acelerador.

O hardware moderno de IA é fortemente otimizado para cargas de trabalho de transformers. A multiplicação de matrizes densas se beneficia de kernels, compiladores e sistemas de serving maduros.

Uma nova arquitetura pode realizar menos operações teóricas e ainda assim ser lenta se o software não conseguir agendá-las com eficiência. Movimentação de memória, comportamento de cache e tamanho de lote podem importar tanto quanto a equação que descreve a camada.

A Liquid usa busca de arquitetura para avaliar diretamente essas restrições. Segundo a empresa, seu modelo LFM2-24B-A2B de 2026 contém 24 bilhões de parâmetros totais, com cerca de 2 bilhões ativos para cada token.

O modelo combina um sistema esparso de mixture-of-experts com a estrutura do LFM2, baseada principalmente em convoluções. A Liquid afirma que ele pode caber em 32 gigabytes de memória, tornando possível a implantação local em alguns sistemas de consumo mais avançados.

Essas são características informadas pelo fornecedor. Testes independentes em aplicações precisam determinar como sua qualidade se compara à de modelos maiores em nuvem.

A estratégia continua comercialmente coerente. Muitas organizações não precisam do maior modelo disponível para todas as tarefas. Elas precisam de qualidade aceitável com latência, privacidade e uso de infraestrutura controláveis.

Um modelo executado no dispositivo pode oferecer suporte à classificação privada de documentos, análise de comandos, sumarização ou interfaces de voz sem enviar cada entrada a um serviço remoto. Também pode continuar funcionando quando o acesso à rede é limitado.

O Jamba da AI21 chega a um compromisso semelhante pela direção dos modelos de espaço de estados. A arquitetura alterna componentes Mamba e transformer em vez de se comprometer exclusivamente com qualquer um dos dois.

A AI21 afirma que modelos puros de espaço de estados podem ter dificuldades com recuperação de informações. O Jamba preserva camadas ocasionais de atenção para restaurar o acesso a informações detalhadas ao longo da sequência.

A arquitetura Jamba da empresa também usa camadas de mixture-of-experts para separar a capacidade total do modelo da computação ativa.

Essa abordagem abandona a narrativa simples de que a atenção é desnecessária. Em compensação, ganha um caminho mais conservador para produção, porque os desenvolvedores podem manter o comportamento conhecido dos transformers onde ele mais importa.

Os sistemas híbridos são, portanto, a pressão mais forte no curto prazo sobre os modelos convencionais. Eles não precisam provar que o transformer foi um erro.

Só precisam mostrar que nem toda camada exige a mesma operação cara. Se essa afirmação se confirmar, os criadores de modelos poderão reduzir a atenção gradualmente, preservando práticas estabelecidas de treinamento e implantação.

Esse caminho se assemelha a transições anteriores na computação. Novos designs frequentemente entram como componentes especializados antes de substituir um padrão geral.

Os processadores gráficos primeiro aceleraram cargas de trabalho restritas antes de se tornarem centrais para a IA. O armazenamento em estado sólido coexistiu com discos rígidos antes de assumir muitos papéis sensíveis ao desempenho.

As alternativas à atenção podem seguir o mesmo padrão. Convoluções ou camadas de espaço de estados podem inicialmente lidar com processamento local, entradas em fluxo e históricos longos. A atenção pode continuar responsável por relações globais difíceis.

A arquitetura resultante talvez não tenha um único rótulo memorável. Ela pode ser uma mistura configurável, moldada pelo hardware e pela carga de trabalho de destino.

Essa possibilidade torna a próxima grande novidade em LLMs menos dramática do que outro momento “Attention Is All You Need”. Ela pode surgir por meio de uma redução constante dos casos em que a atenção é usada.

A Verdadeira Disputa É a Qualidade por Unidade de Computação

Uma arquitetura alternativa só vence quando suas economias resistem a testes realistas de precisão, latência e complexidade de implantação.

Comparações entre modelos frequentemente isolam uma única dimensão. Um artigo pode relatar menor complexidade computacional, uma janela de contexto maior ou maior vazão de tokens.

Compradores corporativos encaram uma equação combinada. Eles se importam com quanto trabalho útil um sistema conclui dentro de um orçamento de latência, memória e confiabilidade.

Um modelo rápido que deixa passar exceções contratuais não é eficiente. Um modelo com excelente recuperação, mas tempos de resposta imprevisíveis, também pode ser inadequado para software interativo.

O principal adversário nessa corrida não é, portanto, uma startup ou incumbente específico. É o equilíbrio já estabelecido dos transformers entre qualidade e infraestrutura.

Google, OpenAI, Anthropic, Meta e outros laboratórios podem continuar aprimorando sistemas transformer. Eles podem usar kernels de atenção otimizados, melhor cache, quantização, destilação e aceleradores mais rápidos.

Também podem adotar componentes alternativos bem-sucedidos. Uma startup que valide um novo mecanismo pode influenciar os incumbentes sem substituir suas famílias de modelos.

A compatibilidade acrescenta outra vantagem defensiva. A inferência de transformers funciona em uma coleção madura de kernels de GPU, sistemas de treinamento distribuído, bibliotecas de otimização e plataformas de implantação.

Operações recorrentes ou esparsas inéditas podem exigir kernels personalizados e lógica de cache. Os desenvolvedores podem precisar de novas ferramentas de monitoramento porque falhas de desempenho diferem do comportamento familiar dos transformers.

A estabilidade do treinamento continua sendo outro teste. Pesquisadores entendem como transformers se comportam em muitos tamanhos de modelo e conjuntos de dados. Arquiteturas alternativas têm menos evidências nas maiores escalas.

Um modelo pode parecer eficiente com alguns bilhões de parâmetros e encontrar problemas de otimização ao escalar muito além disso. Ele também pode perder sua vantagem se compensar uma recuperação mais fraca exigir mais camadas ou dados de treinamento.

A seleção de benchmarks pode ocultar essas diferenças. Testes de conhecimento geral podem dizer pouco sobre raciocínio com múltiplos arquivos. Testes de recuperação em contexto longo podem não prever qualidade conversacional ou uso de ferramentas.

As avaliações mais fortes conectarão arquitetura ao trabalho real. Tarefas relevantes incluem modificar grandes repositórios, reconciliar relatórios conflitantes, acompanhar fatos em conversas extensas e analisar registros dependentes do tempo.

Os testes devem medir a qualidade das respostas juntamente com a latência do primeiro token, o tempo total de conclusão, o pico de memória, o uso de energia e a utilização de hardware.

Também devem divulgar se as comparações usam contagens equivalentes de parâmetros, dados de treinamento, comprimentos de contexto, configurações de precisão e condições de serving.

Sem esses controles, uma vantagem arquitetural alegada pode refletir escolhas de engenharia diferentes. Mesmo números precisos podem criar uma impressão enganosa quando as condições de teste diferem.

A expressão Google MIT captura uma linhagem genuína, mas não uma rivalidade institucional clara. Pesquisadores do Google introduziram o transformer, enquanto pesquisadores do MIT contribuíram para diversas linhas alternativas de pesquisa.

A disputa importante agora ocorre entre maturidade arquitetural e eficiência arquitetural. Transformers oferecem um caminho conhecido para alta capacidade. Desafiantes prometem alcançar capacidade semelhante com menos desperdício computacional.

Nenhum dos lados tem uma vantagem permanente. Incumbentes podem copiar ideias validadas, enquanto startups podem otimizar seus sistemas sem dar suporte a anos de infraestrutura legada.

Os clientes devem evitar tratar o comprimento de contexto anunciado como a métrica decisiva. A pergunta melhor é quanta informação relevante um modelo usa com precisão dentro de um orçamento fixo.

Para desenvolvedores, isso significa testar modelos com dados representativos em vez de depender apenas de rankings públicos. Uma equipe jurídica, uma empresa de software e uma plataforma de voz revelarão fraquezas arquiteturais diferentes.

Para profissionais do conhecimento, um contexto longo mais eficiente poderia reduzir reenvios e sumarizações repetidos. Também poderia ajudar assistentes a manter continuidade em corpos de trabalho maiores.

Esses benefícios dependem de controles de privacidade e acesso. Um modelo capaz de ler milhões de tokens amplia as consequências de fornecer os documentos errados ou reter informações de forma excessivamente ampla.

A arquitetura não pode resolver esses problemas de governança. Ela só pode mudar a quantidade de informação que um sistema consegue processar e os recursos necessários para isso.

O Que Observar à Medida que a Corrida Pós-Transformer Avança

Três sinais mostrarão se as startups encontraram um sucessor ou apenas adições úteis à pilha de transformers.

O primeiro sinal é o acesso independente ao SubQ. Pesquisadores externos precisam de disponibilidade suficiente para reproduzir resultados de contexto longo, testar padrões difíceis de recuperação e examinar o desempenho sob cargas de trabalho variáveis.

Uma liberação ampla reforçaria o argumento da Subquadratic se os usuários puderem verificar sua qualidade e suas alegações de escalabilidade linear. O acesso continuamente limitado preservaria a incerteza em torno da arquitetura.

Os testes mais úteis irão além de inserir um fato em um prompt longo. Eles devem exigir que o modelo conecte evidências entre arquivos, rejeite contexto enganoso e mantenha a precisão à medida que a entrada se expande.

Pesquisadores também devem comparar tempo de processamento e uso de memória em hardware divulgado. Caso contrário, alegações de economia computacional continuam difíceis de traduzir em decisões de implantação.

O segundo sinal é a adoção mais ampla de camadas híbridas. Liquid AI e AI21 não exigem que o setor abandone a atenção, portanto seus designs podem se disseminar de forma incremental.

Observe se desenvolvedores de modelos começam a divulgar uma proporção menor de camadas de atenção ou adotam componentes de convolução e espaço de estados em novos modelos de produção.

Essa mudança sustentaria a avaliação central do artigo. A primeira era pós-transformer provavelmente racionará a atenção antes de eliminá-la.

O suporte de hardware e software revelará a mesma tendência. Kernels nativos, mecanismos de inferência e ferramentas de monitoramento para modelos híbridos tornariam as escolhas arquiteturais menos arriscadas.

O terceiro sinal é o desempenho em agentes persistentes. Agentes criam um problema de sequência exigente porque acumulam instruções, resultados de ferramentas, alterações de código e tentativas fracassadas ao longo do tempo.

Os sistemas atuais frequentemente comprimem ou descartam esse histórico. Resumos economizam contexto, mas podem remover detalhes de que o agente precisará mais tarde.

Modelos esparsos ou de espaço de estados devem mostrar uma vantagem clara nesse caso, se suas alegações de memória se confirmarem. Um agente deve concluir projetos mais longos sem perder restrições, repetir trabalho ou permitir que seu custo de contexto cresça de forma descontrolada.

É também aqui que a diferença entre contexto nominal e contexto utilizável se torna visível. Um modelo não precisa recuperar todos os tokens anteriores com a mesma intensidade. Ele precisa preservar os compromissos e as evidências corretos.

O transformer continua sendo o padrão porque combina atenção flexível, treinamento escalável e infraestrutura madura. Nove anos de aprimoramento tornaram essa combinação difícil de superar.

Ainda assim, as cargas de trabalho do setor estão mudando. Repositórios mais extensos, registros multimodais, voz contínua e agentes persistentes intensificam as fragilidades da atenção densa.

As startups em busca da próxima grande novidade em LLMs ainda não têm uma resposta comum. Essa divergência é útil porque revela o verdadeiro espaço de projeto.

A Subquadratic pergunta se o roteamento esparso consegue preservar o raciocínio global. A Cartesia testa se o estado pode substituir relações explícitas entre tokens. A Liquid AI e a AI21 investigam de quanta atenção um modelo capaz realmente precisa.

O legado Google-MIT não desaparecerá se um desses sistemas der certo. O transformer estabeleceu a atenção como o mecanismo central da IA moderna, e seus descendentes manterão muitas de suas ideias.

A mudança mais provável é o pluralismo arquitetural. Os modelos combinarão diferentes mecanismos de sequência conforme o dispositivo, a carga de trabalho e a memória necessária.

Os desenvolvedores devem acompanhar a qualidade verificada por unidade de computação, e não declarações sobre a morte do transformer. Compradores empresariais devem testar fluxos de trabalho completos, incluindo recuperação, uso de ferramentas, latência e controle de acesso.

Qual sinal mudaria primeiro sua estratégia de modelos: atenção esparsa verificada de forma independente, suporte mais amplo a modelos híbridos ou um agente capaz de usar meses de histórico sem perder os detalhes?