L’héritage Google-MIT face aux startups en quête de la prochaine grande avancée des LLM

La recherche menée par Google et le MIT fait aujourd’hui face à son défi architectural le plus sérieux depuis que huit chercheurs de Google ont présenté le transformer il y a neuf ans. Des startups se demandent si le mécanisme au cœur de presque tous les principaux LLM doit rester la solution par défaut du secteur.

Le conflit ne porte pas sur la création d’un nouveau chatbot. Il concerne la structure de calcul qui sous-tend ChatGPT, Claude, Gemini et la plupart des modèles ouverts. Subquadratic, Liquid AI, Cartesia et AI21 Labs explorent des systèmes capables de traiter de longues séquences sans exécuter une attention dense à chaque couche.

Leurs propositions vont de l’attention parcimonieuse aux modèles à espace d’état, en passant par des hybrides reposant largement sur les convolutions. Chaque approche promet une moindre consommation de mémoire, un traitement plus rapide ou un contexte exploitable plus long. Aucune n’a encore supplanté le transformer sur l’ensemble des tâches qui comptent.

Cette réserve définit la course. La prochaine architecture importante de LLM ne l’emportera pas en produisant un graphique de laboratoire impressionnant. Elle devra préserver le raisonnement et la capacité de rappel tout en fonctionnant dans les environnements logiciels, les puces et les systèmes de déploiement que les entreprises utilisent déjà.

Le succès du transformer a créé son propre goulot d’étranglement

L’architecture qui a permis l’IA générative moderne devient plus coûteuse à mesure que la quantité d’entrée augmente.

Des chercheurs de Google ont présenté le transformer dans l’article de 2017 Attention Is All You Need. L’article a remplacé le traitement récurrent par l’attention, un mécanisme qui permet à un modèle de calculer quelles parties d’une entrée méritent d’être mises en avant.

L’attention a rendu l’entraînement hautement parallélisable. Elle a également aidé les modèles à relier des informations situées à des positions éloignées dans un document. Ces avantages ont soutenu la trajectoire de montée en échelle qui a finalement produit les grands modèles de langage actuels.

La forme standard de l’auto-attention compare chaque token à tous les autres tokens d’une séquence. Un token est une petite unité de texte, comme un fragment de mot. Doubler la longueur de la séquence peut donc produire environ quatre fois plus de comparaisons par paires au sein de l’opération d’attention.

Les ingénieurs décrivent ce comportement comme une montée en charge quadratique. Cela ne signifie pas que l’ensemble du modèle devient exactement quatre fois plus coûteux dans toutes les conditions de déploiement. Le matériel, la mise en cache, le traitement par lots et les choix d’implémentation influencent également le résultat.

La relation sous-jacente continue néanmoins de créer une pression. Un chatbot répondant à une question courte peut plus facilement tolérer une attention dense qu’un agent lisant plusieurs dépôts de code, des mois de messages et un long historique d’actions.

Les fenêtres de contexte se sont élargies, mais la limite annoncée d’un modèle ne garantit pas une utilisation abordable ou précise à proximité de cette limite. Les équipes doivent prendre en compte le temps nécessaire au traitement du prompt, la consommation de mémoire, le coût d’inférence et la capacité du modèle à trouver les bonnes preuves.

La génération augmentée par récupération, ou RAG, réduit cette charge en sélectionnant les passages pertinents avant de demander à un modèle de répondre. Elle reste utile, en particulier lorsqu’une organisation gère une vaste base de connaissances IA.

La récupération introduit aussi un point de défaillance distinct. Si la couche de recherche omet un passage crucial, le modèle ne le voit jamais. Un système capable d’examiner directement beaucoup plus de matériel source pourrait réduire ce risque pour l’analyse de code, la revue juridique, la recherche et les agents persistants.

Cette perspective explique pourquoi la recherche architecturale a retrouvé une urgence commerciale. Davantage de calcul peut étendre le transformer, mais des prompts toujours plus longs révèlent un coût structurel que de meilleures puces ne suffisent pas à effacer.

Le lien Google-MIT est important ici, car Google a fourni l’article fondateur, tandis que des chercheurs liés au MIT ont ensuite contribué à bâtir des entreprises poursuivant des alternatives. La compétition relève moins d’un différend entre deux institutions que d’une transition entre une idée universitaire et des systèmes de production concurrents.

Les startups voient une ouverture entre ce que les modèles actuels annoncent et ce que les clients peuvent déployer concrètement. Si elles parviennent à rendre le contexte long moins coûteux sans perdre en qualité, elles peuvent exercer une pression simultanée sur les laboratoires de modèles et les fournisseurs d’infrastructure.

La recherche Google-MIT fait émerger plus d’une alternative

Aucune conception unique post-transformer ne s’est imposée, de sorte que les startups répartissent le problème entre différents paris techniques.

Subquadratic adopte l’approche la plus directe. La startup basée à Miami affirme que son modèle SubQ utilise Subquadratic Sparse Attention, ou SSA, pour éviter d’examiner toutes les relations possibles entre tokens.

L’attention parcimonieuse restreint l’ensemble des paires de tokens qu’un modèle évalue. La difficulté consiste à choisir quelles connexions comptent avant d’effectuer le travail coûteux qu’exigerait l’attention dense.

Subquadratic affirme que son mécanisme évolue linéairement avec la longueur du contexte et prend en charge un contexte de recherche de 12 millions de tokens. Ses exemples publiés comprennent des dépôts de logiciels complets et de longs historiques d’agents.

Il s’agit d’affirmations de l’entreprise, et non d’un résultat établi dans le secteur. Son explication technique indique que SSA identifie les relations importantes tout en évitant la plupart des comparaisons possibles.

Liquid AI fait un pari différent. Fondée par des chercheurs ayant des liens avec le MIT, l’entreprise développe des Liquid Foundation Models pour les appareils et d’autres environnements aux ressources limitées.

Son architecture LFM2 n’élimine pas entièrement l’attention. Elle combine des convolutions courtes à portes avec un plus petit nombre de blocs d’attention à requêtes groupées.

Une convolution traite des motifs locaux au moyen de filtres réutilisables. L’attention à requêtes groupées réduit les besoins en mémoire en permettant à plusieurs têtes de requête de partager les représentations de clés et de valeurs.

Liquid affirme que LFM2 a été sélectionné grâce à une recherche d’architecture tenant compte du matériel. Cela signifie que l’équipe a évalué les conceptions en fonction de caractéristiques réelles de mémoire et de vitesse, plutôt qu’en optimisant uniquement un nombre abstrait d’opérations.

La conception LFM2 de l’entreprise contient davantage de blocs de convolution que de blocs d’attention. Cette organisation vise une exécution rapide sur les CPU et les processeurs embarqués.

Cartesia poursuit les modèles à espace d’état, ou SSM, qui résument une séquence au moyen d’un état interne évolutif. Au lieu de conserver une relation explicite entre chaque paire de tokens, un SSM met à jour une représentation compacte à mesure que de nouvelles entrées arrivent.

Les fondateurs de Cartesia ont contribué au développement de Mamba, une architecture sélective à espace d’état. La sélectivité permet au modèle de décider quelles informations préserver ou oublier selon l’entrée actuelle.

La recherche originale sur Mamba a signalé une montée en charge linéaire avec la longueur des séquences et un débit supérieur à celui de transformers comparables dans ses expériences. Elle a également démontré des applications dans le langage, l’audio et la génomique.

Cartesia a concentré une grande partie de son travail commercial sur la voix. La parole constitue un terrain d’essai naturel pour le traitement efficace des séquences, car les systèmes audio interactifs doivent répondre rapidement tout en suivant une conversation en évolution.

AI21 Labs propose une quatrième voie. Son architecture Jamba alterne des couches Mamba avec des composants d’attention transformer et de mélange d’experts.

Un modèle de mélange d’experts n’active qu’une partie de son réseau total pour chaque token. Cela augmente la capacité totale sans utiliser chaque paramètre lors de chaque calcul.

La conception de Jamba reflète une conclusion pragmatique : le traitement efficace des séquences et l’attention dense résolvent chacun des problèmes différents. AI21 conserve certaines couches transformer pour le rappel global tout en utilisant des couches Mamba afin de réduire la pression sur la mémoire.

Ces approches transforment l’histoire Google-MIT en une course architecturale à embranchements. Subquadratic tente de préserver l’attention tout en la rendant parcimonieuse. Liquid AI combine l’attention et les convolutions. Cartesia met l’accent sur le traitement à espace d’état, tandis qu’AI21 mélange des couches à espace d’état et des couches transformer.

La cible commune est l’efficacité. Leurs divergences portent sur ce qu’un LLM peut écarter, compresser ou traiter localement sans endommager les relations qui produisent des réponses utiles.

L’attention parcimonieuse avance l’affirmation la plus audacieuse

Subquadratic remet directement en cause l’attention dense, mais ses preuves doivent rattraper l’ampleur de sa promesse.

Subquadratic a fait son apparition publique en mai 2026 avec une affirmation exceptionnellement ambitieuse. L’entreprise a déclaré que SubQ pouvait traiter un contexte allant jusqu’à 12 millions de tokens tout en utilisant bien moins de calcul d’attention que les modèles transformer.

Cette capacité couvrirait plusieurs dépôts complets ou une vaste collection de contrats dans un seul prompt. Elle pourrait également permettre à un agent de conserver un historique opérationnel bien plus long sans résumer sans cesse son passé.

L’entreprise soutient que l’attention dense gaspille du calcul parce que la plupart des relations possibles entre tokens contribuent peu au résultat. SSA tente d’identifier le petit sous-ensemble qui compte.

C’est plus difficile que de simplement supprimer des connexions aléatoires. Un indice pertinent peut apparaître à des millions de tokens de distance, et son importance ne peut devenir claire qu’après que le modèle a lu un autre passage.

Une architecture parcimonieuse a donc besoin d’un mécanisme de routage efficace. Si elle sélectionne les mauvaises connexions, les gains de calcul se font au détriment du rappel ou du raisonnement.

Subquadratic affirme que son architecture effectue une sélection dépendante du contenu. Le modèle choisit les schémas d’attention à partir de l’entrée au lieu de s’appuyer uniquement sur des fenêtres locales fixes.

Son lancement initial a suscité du scepticisme, car l’accès public et les détails techniques étaient limités. L’entreprise a ensuite publié des informations supplémentaires sur ses benchmarks et cité des évaluations menées par Appen.

Selon l’analyse originale du MIT, le chercheur indépendant Will Depue a souligné que les chercheurs ont tenté de nombreuses approches pour surmonter le coût de l’attention dense.

Cet historique compte. L’attention parcimonieuse, l’attention linéaire, les réseaux récurrents, les convolutions longues et la mémoire compressée ont tous montré des avantages. Beaucoup rencontrent aussi des difficultés lorsque les tâches exigent une récupération précise à partir de positions éloignées.

Une autre préoccupation concerne l’origine de SubQ. MIT Technology Review a rapporté que l’entreprise avait réutilisé les poids d’une version du modèle Qwen d’Alibaba pour aider à initialiser SubQ.

Les poids sont les valeurs apprises qui déterminent le comportement d’un réseau neuronal. Les réutiliser peut accélérer le développement, mais cela complique les affirmations sur ce que la nouvelle architecture a appris de manière indépendante.

Un modèle converti ou amorcé pourrait hériter de capacités issues de l’entraînement d’un transformer. Cela n’invalide pas le nouveau mécanisme, mais laisse ouverte la question de savoir si l’architecture peut s’entraîner efficacement dès le départ.

Cette distinction a une importance commerciale. Une méthode qui transforme des modèles existants pourrait tout de même devenir une infrastructure précieuse. Une méthode qui entraîne de zéro des modèles de fondation compétitifs remettrait en cause l’économie de l’ensemble du marché.

Les développeurs ont également besoin de plus qu’une démonstration de limite de contexte. Ils ont besoin d’API stables, d’une latence prévisible, d’une précision dans l’utilisation d’outils, de sorties structurées, de contrôles de sécurité et d’une intégration avec les frameworks d’inférence courants.

Le contexte long pose son propre problème d’évaluation. Un modèle peut techniquement accepter des millions de tokens tout en manquant des faits pertinents ou en les combinant incorrectement.

Les tests simples de type aiguille dans une botte de foin placent un fait distinctif dans une longue entrée et demandent au modèle de le retrouver. Ils mesurent le rappel de base, mais ne reproduisent pas les tâches exigeant des preuves réparties sur de nombreux fichiers.

La maintenance de dépôts offre un meilleur test de résistance. Un modèle doit identifier les interfaces, suivre les dépendances, comprendre les tests et effectuer une modification sans casser des composants éloignés.

L’analyse juridique et financière impose des exigences similaires. La bonne conclusion peut dépendre de définitions, d’exceptions, d’amendements et de dates dispersés dans de nombreux documents.

Subquadratic doit démontrer que son routage clairsemé préserve ces relations sous des charges de travail ordinaires comme adversariales. Des tests indépendants dans plusieurs domaines auraient plus de poids qu’un seul fournisseur de benchmarks.

Le défi est clair. L’entreprise a proposé un mécanisme qui s’attaque directement à l’attention quadratique, mais une adoption généralisée exige des preuves reproductibles et des modèles accessibles.

Les modèles hybrides parient contre une rupture nette

Liquid AI et AI21 considèrent l’attention comme un ingrédient coûteux à rationner, et non comme un composant défectueux à supprimer.

Les architectures hybrides reflètent un jugement d’ingénierie : les transformers restent exceptionnellement performants pour le rappel souple fondé sur le contenu. Leur faiblesse réside dans le coût d’application de cette capacité partout.

Le LFM2 de Liquid AI confie une grande partie du traitement des séquences à de courtes convolutions. Ces blocs examinent efficacement les motifs locaux et évitent le cache croissant associé à l’attention dense.

Le modèle inclut toujours des blocs d’attention pour les opérations qui bénéficient de comparaisons plus larges. Cette répartition ressemble à un système qui utilise la plupart du temps un traitement local peu coûteux, puis mobilise une analyse globale de manière sélective.

L’approche de Liquid, adaptée au matériel, met également en lumière une faiblesse des comparaisons théoriques. Une opération présentant une meilleure mise à l’échelle asymptotique ne s’exécute pas automatiquement plus vite sur un téléphone, un ordinateur portable, un GPU ou un accélérateur.

Le matériel d’IA moderne est fortement optimisé pour les charges de travail des transformers. La multiplication de matrices denses bénéficie de noyaux, de compilateurs et de systèmes de serving matures.

Une nouvelle architecture peut effectuer moins d’opérations théoriques tout en restant lente si les logiciels ne peuvent pas les planifier efficacement. Les mouvements de mémoire, le comportement du cache et la taille des lots peuvent compter autant que l’équation décrivant la couche.

Liquid utilise la recherche d’architecture pour évaluer directement ces contraintes. Son modèle LFM2-24B-A2B de 2026 contient 24 milliards de paramètres au total, dont environ 2 milliards sont actifs pour chaque token, selon l’entreprise.

Le modèle combine un système sparse mixture-of-experts avec l’ossature de LFM2, fortement axée sur les convolutions. Liquid affirme qu’il peut tenir dans 32 gigaoctets de mémoire, rendant possible un déploiement local sur certains systèmes grand public haut de gamme.

Il s’agit de caractéristiques rapportées par le fournisseur. Des tests indépendants en conditions d’utilisation devront déterminer comment sa qualité se compare à celle de modèles cloud plus volumineux.

La voie reste commercialement cohérente. De nombreuses organisations n’ont pas besoin du plus grand modèle disponible pour chaque tâche. Elles ont besoin d’une qualité acceptable avec une latence, une confidentialité et une utilisation de l’infrastructure maîtrisables.

Un modèle embarqué peut prendre en charge la classification de documents privés, l’analyse de commandes, la synthèse ou les interfaces vocales sans envoyer chaque entrée à un service distant. Il peut aussi continuer à fonctionner lorsque l’accès au réseau est limité.

Jamba d’AI21 atteint un compromis similaire depuis l’approche des state-space models. L’architecture alterne des composants Mamba et transformer au lieu de s’engager exclusivement envers l’un ou l’autre.

AI21 indique que les modèles purement state-space peuvent rencontrer des difficultés de rappel. Jamba conserve des couches d’attention occasionnelles afin de restaurer l’accès à des informations détaillées dans l’ensemble de la séquence.

L’architecture Jamba de l’entreprise utilise également des couches mixture-of-experts pour dissocier la capacité totale du modèle du calcul actif.

Cette approche abandonne le récit simple selon lequel l’attention est inutile. Elle offre un chemin plus prudent vers la production, car les développeurs peuvent conserver le comportement connu des transformers là où il compte le plus.

Les systèmes hybrides constituent donc la plus forte pression à court terme sur les modèles conventionnels. Ils n’ont pas besoin de prouver que le transformer était une erreur.

Ils doivent seulement montrer que chaque couche n’exige pas la même opération coûteuse. Si cette affirmation se vérifie, les concepteurs de modèles peuvent réduire progressivement l’attention tout en préservant les pratiques établies d’entraînement et de déploiement.

Cette trajectoire rappelle les transitions informatiques antérieures. Les nouvelles conceptions arrivent souvent comme composants spécialisés avant de remplacer une option générale par défaut.

Les processeurs graphiques ont d’abord accéléré des charges de travail limitées avant de devenir centraux pour l’IA. Le stockage à état solide a coexisté avec les disques durs avant de prendre en charge de nombreux rôles sensibles aux performances.

Les alternatives à l’attention peuvent suivre le même schéma. Les convolutions ou les couches state-space pourraient d’abord gérer le traitement local, les entrées en flux continu et les historiques longs. L’attention peut rester responsable des relations globales difficiles.

L’architecture qui en résulte ne portera peut-être pas une étiquette mémorable. Elle pourrait être un mélange configurable, façonné par le matériel cible et la charge de travail.

Cette possibilité rend la prochaine grande évolution des LLM moins spectaculaire qu’un nouveau moment « Attention Is All You Need ». Elle pourrait arriver par une réduction progressive des usages de l’attention.

La véritable compétition porte sur la qualité par unité de calcul

Une architecture alternative ne l’emporte que lorsque ses économies résistent à des tests réalistes de précision, de latence et de complexité de déploiement.

Les comparaisons de modèles isolent souvent une seule dimension. Un article peut rapporter une complexité de calcul plus faible, une fenêtre de contexte plus longue ou un débit de tokens plus élevé.

Les acheteurs en entreprise font face à une équation combinée. Ils s’intéressent à la quantité de travail utile qu’un système accomplit dans un budget de latence, de mémoire et de fiabilité.

Un modèle rapide qui manque des exceptions contractuelles n’est pas efficace. Un modèle offrant un excellent rappel mais des temps de réponse imprévisibles peut aussi être inadapté aux logiciels interactifs.

Le principal adversaire dans cette course n’est donc ni une startup ni un acteur établi en particulier. C’est l’équilibre déjà établi des transformers entre qualité et infrastructure.

Google, OpenAI, Anthropic, Meta et d’autres laboratoires peuvent continuer à améliorer les systèmes transformer. Ils peuvent utiliser des noyaux d’attention optimisés, un meilleur caching, la quantification, la distillation et des accélérateurs plus rapides.

Ils peuvent aussi adopter les composants alternatifs qui fonctionnent. Une startup validant un nouveau mécanisme peut influencer les acteurs établis sans remplacer leurs familles de modèles.

La compatibilité apporte un autre avantage défensif. L’inférence des transformers fonctionne sur un ensemble mature de noyaux GPU, de systèmes d’entraînement distribué, de bibliothèques d’optimisation et de plateformes de déploiement.

Les opérations récurrentes ou clairsemées novatrices peuvent nécessiter des noyaux personnalisés et une logique de cache spécifique. Les développeurs peuvent avoir besoin de nouveaux outils de supervision, car les défaillances de performance diffèrent du comportement familier des transformers.

La stabilité de l’entraînement reste un autre test. Les chercheurs comprennent le comportement des transformers pour de nombreuses tailles de modèles et de jeux de données. Les architectures alternatives disposent de moins de preuves aux plus grandes échelles.

Un modèle peut sembler efficace avec quelques milliards de paramètres et rencontrer des problèmes d’optimisation à une échelle bien supérieure. Il peut également perdre son avantage si la compensation d’un rappel plus faible exige davantage de couches ou de données d’entraînement.

Le choix des benchmarks peut dissimuler ces différences. Les tests de connaissances générales peuvent peu renseigner sur le raisonnement multi-fichiers. Les tests de récupération dans de longs contextes peuvent ne pas prédire la qualité conversationnelle ni l’usage d’outils.

Les évaluations les plus solides relieront l’architecture au travail réel. Les tâches pertinentes comprennent la modification de grands dépôts, le rapprochement de rapports contradictoires, le suivi de faits au fil de conversations étendues et l’analyse de dossiers dépendants du temps.

Les tests devraient mesurer la qualité des réponses parallèlement à la latence du premier token, au temps total d’exécution, au pic de mémoire, à la consommation d’énergie et à l’utilisation du matériel.

Ils devraient également indiquer si les comparaisons utilisent des nombres de paramètres, des données d’entraînement, des longueurs de contexte, des réglages de précision et des conditions de serving équivalents.

Sans ces contrôles, un avantage architectural revendiqué peut refléter des choix d’ingénierie différents. Même des chiffres exacts peuvent donner une impression trompeuse lorsque les conditions de test diffèrent.

Le mot-clé Google MIT renvoie à une filiation réelle, mais pas à une rivalité institutionnelle nette. Des chercheurs de Google ont introduit le transformer, tandis que des chercheurs du MIT ont contribué à plusieurs axes de travail alternatifs.

La compétition importante oppose désormais la maturité architecturale à l’efficacité architecturale. Les transformers offrent une voie connue vers de hautes capacités. Les challengers promettent d’atteindre des capacités similaires avec moins de gaspillage de calcul.

Aucun camp ne détient un avantage permanent. Les acteurs établis peuvent copier les idées validées, tandis que les startups peuvent optimiser leurs systèmes sans devoir prendre en charge des années d’infrastructure héritée.

Les clients devraient éviter de considérer la longueur de contexte annoncée comme la métrique décisive. La meilleure question est la quantité d’informations pertinentes qu’un modèle utilise avec précision dans un budget fixe.

Pour les développeurs, cela signifie tester les modèles sur des données représentatives plutôt que de se fier uniquement aux classements publics. Une équipe juridique, une entreprise de logiciels et une plateforme vocale révéleront des faiblesses architecturales différentes.

Pour les travailleurs du savoir, un contexte long plus efficace pourrait réduire les téléversements et les synthèses répétés. Il pourrait aussi aider les assistants à maintenir la continuité sur des corpus de travail plus vastes.

Ces bénéfices dépendent des contrôles de confidentialité et d’accès. Un modèle capable de lire des millions de tokens amplifie les conséquences de la fourniture des mauvais documents ou d’une conservation trop large des informations.

L’architecture ne peut pas résoudre ces problèmes de gouvernance. Elle peut seulement modifier la quantité d’informations qu’un système peut traiter et les ressources nécessaires pour le faire.

Ce qu’il faut surveiller à mesure que la course post-transformer se développe

Trois signaux montreront si les startups ont trouvé un successeur ou seulement des ajouts utiles à la pile transformer.

Le premier signal est l’accès indépendant à SubQ. Les chercheurs externes doivent disposer d’un accès suffisant pour reproduire les résultats sur les longs contextes, tester des schémas de récupération difficiles et examiner les performances sous des charges de travail changeantes.

Une large diffusion renforcerait l’argument de Subquadratic si les utilisateurs peuvent vérifier ses affirmations de qualité et de mise à l’échelle linéaire. Un accès qui reste limité entretiendrait l’incertitude autour de l’architecture.

Les tests les plus utiles iront au-delà de l’insertion d’un fait dans un long prompt. Ils devraient exiger du modèle qu’il relie les éléments de preuve entre les fichiers, rejette le contexte trompeur et maintienne sa précision à mesure que l’entrée s’allonge.

Les chercheurs devraient également comparer le temps de traitement et l’utilisation mémoire sur du matériel divulgué. Dans le cas contraire, les affirmations d’économies de calcul restent difficiles à traduire en décisions de déploiement.

Le deuxième signal est une adoption plus large des couches hybrides. Liquid AI et AI21 n’exigent pas que le secteur abandonne l’attention ; leurs conceptions peuvent donc se diffuser progressivement.

Surveillez si les développeurs de modèles commencent à communiquer un ratio plus faible de couches d’attention ou adoptent des composants de convolution et state-space dans de nouveaux modèles de production.

Cette évolution soutiendrait le jugement central de l’article. La première ère post-transformer devrait probablement rationner l’attention avant de l’éliminer.

Le soutien du matériel et des logiciels révélera la même tendance. Des noyaux natifs, des moteurs d’inférence et des outils de supervision pour les modèles hybrides rendraient les choix d’architecture moins risqués.

Le troisième signal est la performance des agents persistants. Les agents créent un problème séquentiel exigeant, car ils accumulent au fil du temps des instructions, des résultats d’outils, des modifications de code et des tentatives infructueuses.

Les systèmes actuels compressent ou écartent souvent cet historique. Les résumés économisent du contexte, mais ils peuvent supprimer des détails dont l’agent aura besoin ultérieurement.

Les modèles sparse ou state-space devraient montrer ici un avantage net si leurs promesses de mémoire se vérifient. Un agent devrait mener à bien des projets plus longs sans perdre de contraintes, répéter du travail ni laisser le coût de son contexte augmenter de manière incontrôlable.

C’est aussi là que la différence entre le contexte nominal et le contexte réellement exploitable devient visible. Un modèle n’a pas besoin de se rappeler chaque jeton précédent avec la même précision. Il doit préserver les bons engagements et les bons éléments de preuve.

Le transformer reste la norme, car il combine une attention flexible, un entraînement évolutif et une infrastructure mature. Neuf années de perfectionnement ont rendu cette combinaison difficile à surpasser.

Pourtant, les charges de travail du secteur évoluent. Des dépôts plus volumineux, des enregistrements multimodaux, la voix en continu et des agents persistants accentuent tous les faiblesses de l’attention dense.

Les startups qui cherchent la prochaine grande avancée dans les LLM n’ont pas encore de réponse commune. Leurs désaccords sont utiles, car ils révèlent le véritable espace de conception.

Subquadratic se demande si le routage clairsemé peut préserver le raisonnement global. Cartesia teste si l’état peut remplacer les relations explicites entre les jetons. Liquid AI et AI21 se demandent de quelle quantité minimale d’attention un modèle performant a réellement besoin.

L’héritage Google MIT ne disparaîtra pas si l’un de ces systèmes réussit. Le transformer a établi l’attention comme mécanisme central de l’IA moderne, et ses descendants conserveront nombre de ses idées.

Le changement le plus probable est un pluralisme architectural. Les modèles combineront différents mécanismes séquentiels selon l’appareil, la charge de travail et la mémoire requise.

Les développeurs devraient surveiller la qualité vérifiée par unité de calcul, plutôt que les déclarations annonçant la mort du transformer. Les acheteurs en entreprise devraient tester des workflows complets, y compris la récupération d’informations, l’utilisation d’outils, la latence et le contrôle des accès.

Quel signal modifierait le plus rapidement votre stratégie de modèles : une attention clairsemée vérifiée de manière indépendante, une prise en charge plus large des modèles hybrides, ou un agent capable d’utiliser des mois d’historique sans perdre les détails ?