L’eredità di Google e MIT incontra le startup alla ricerca del prossimo grande salto negli LLM

La ricerca di Google e MIT affronta oggi la sua più dura sfida architetturale da quando, nove anni fa, otto ricercatori di Google presentarono il transformer. Le startup si chiedono se il meccanismo alla base di quasi tutti gli LLM di punta debba restare lo standard predefinito del settore.

Il conflitto non riguarda la creazione di un altro chatbot. Riguarda la struttura computazionale alla base di ChatGPT, Claude, Gemini e della maggior parte dei modelli open. Subquadratic, Liquid AI, Cartesia e AI21 Labs stanno esplorando sistemi in grado di elaborare sequenze lunghe senza eseguire attenzione densa a ogni livello.

Le loro proposte spaziano dall’attenzione sparsa ai modelli state-space e agli ibridi basati in larga parte sulle convoluzioni. Ogni approccio promette minore uso della memoria, elaborazione più rapida o un contesto utilizzabile più esteso. Nessuno ha ancora soppiantato il transformer nell’intera gamma di compiti rilevanti.

Questa precisazione definisce la corsa. La prossima architettura LLM importante non vincerà producendo un grafico di laboratorio impressionante. Dovrà preservare capacità di ragionamento e recupero delle informazioni, funzionando al tempo stesso nei software, nei chip e nei sistemi di distribuzione già utilizzati dalle aziende.

Il successo del transformer ha creato il suo stesso collo di bottiglia

L’architettura che ha sbloccato l’AI generativa moderna diventa più costosa con l’aumentare della quantità di input.

I ricercatori di Google introdussero il transformer nel paper del 2017 Attention Is All You Need. Il paper sostituiva l’elaborazione ricorrente con l’attenzione, un meccanismo che consente a un modello di calcolare quali parti di un input meritino maggiore enfasi.

L’attenzione ha reso l’addestramento altamente parallelizzabile. Ha inoltre aiutato i modelli a collegare informazioni poste in punti distanti di un documento. Questi vantaggi hanno sostenuto il percorso di scalabilità che ha infine prodotto gli attuali modelli linguistici di grandi dimensioni.

La forma standard dell’autoattenzione confronta ciascun token con ogni altro token di una sequenza. Un token è una piccola unità di testo, come il frammento di una parola. Raddoppiare la lunghezza della sequenza può quindi produrre all’incirca quattro volte più confronti a coppie all’interno dell’operazione di attenzione.

Gli ingegneri descrivono questo comportamento come scalabilità quadratica. Non significa che l’intero modello diventi esattamente quattro volte più costoso in ogni condizione di distribuzione. Anche hardware, caching, batching e scelte implementative influenzano il risultato.

La relazione di fondo crea comunque pressione. Un chatbot che risponde a una domanda breve può tollerare l’attenzione densa più facilmente di un agente che legge diversi repository, mesi di messaggi e una lunga cronologia di azioni.

Le finestre di contesto si sono ampliate, ma il limite pubblicizzato di un modello non garantisce un utilizzo economico o accurato in prossimità di tale limite. I team devono considerare il tempo necessario per elaborare il prompt, il consumo di memoria, il costo dell’inferenza e se il modello individui le prove corrette.

La generazione aumentata dal recupero delle informazioni, o RAG, riduce il carico selezionando passaggi pertinenti prima di chiedere a un modello di rispondere. Rimane utile, soprattutto quando un’organizzazione mantiene una grande base di conoscenza AI.

Il recupero introduce però anche un punto di fallimento separato. Se il livello di ricerca omette un passaggio cruciale, il modello non lo vedrà mai. Un sistema in grado di ispezionare direttamente molto più materiale sorgente potrebbe ridurre questo rischio nell’analisi del codice, nella revisione legale, nella ricerca e negli agenti persistenti.

Questa prospettiva spiega perché la ricerca sulle architetture abbia riacquistato urgenza commerciale. Maggiore potenza di calcolo può estendere il transformer, ma prompt sempre più lunghi espongono un costo strutturale che chip migliori da soli non eliminano.

Il legame Google-MIT è rilevante perché Google ha fornito il paper fondativo, mentre ricercatori legati al MIT hanno successivamente contribuito a creare aziende che perseguono alternative. La competizione è meno una disputa tra due istituzioni che una transizione dall’intuizione accademica a sistemi produttivi concorrenti.

Le startup vedono un’opportunità tra ciò che i modelli attuali pubblicizzano e ciò che i clienti possono distribuire concretamente. Se riusciranno a rendere il contesto lungo più economico senza perdere qualità, potranno esercitare pressione sui laboratori di modelli e sui fornitori di infrastrutture contemporaneamente.

La ricerca Google-MIT sta generando più di un’alternativa

Non è emerso un unico progetto post-transformer, quindi le startup stanno suddividendo il problema in diverse scommesse tecniche.

Subquadratic adotta l’approccio più diretto. La startup con sede a Miami afferma che il suo modello SubQ utilizza Subquadratic Sparse Attention, o SSA, per evitare di esaminare ogni possibile relazione tra token.

L’attenzione sparsa limita l’insieme di coppie di token che un modello valuta. La parte difficile è scegliere quali connessioni contino prima di svolgere il lavoro costoso richiesto dall’attenzione densa.

Subquadratic afferma che il suo meccanismo scala linearmente con la lunghezza del contesto e supporta un contesto di ricerca di 12 milioni di token. I suoi esempi pubblicati includono repository software completi e cronologie di agenti di lunga durata.

Si tratta di affermazioni dell’azienda, non di un risultato consolidato nel settore. La sua spiegazione tecnica afferma che SSA identifica relazioni importanti saltando la maggior parte dei possibili confronti.

Liquid AI punta su una scommessa diversa. Fondata da ricercatori con radici al MIT, l’azienda sviluppa Liquid Foundation Models per dispositivi e altri ambienti con risorse limitate.

La sua architettura LFM2 non elimina completamente l’attenzione. Combina convoluzioni brevi con gating e un numero minore di blocchi di grouped-query attention.

Una convoluzione elabora pattern locali tramite filtri riutilizzabili. La grouped-query attention riduce le esigenze di memoria consentendo a più teste di query di condividere le rappresentazioni key e value.

Liquid afferma che LFM2 è stato selezionato tramite una ricerca architetturale consapevole dell’hardware. Ciò significa che il team ha valutato i progetti rispetto alle effettive caratteristiche di memoria e velocità, anziché ottimizzare soltanto un conteggio astratto delle operazioni.

Il design LFM2 dell’azienda contiene più blocchi di convoluzione che blocchi di attenzione. Questa configurazione mira a un’esecuzione rapida su CPU e processori embedded.

Cartesia sta perseguendo i modelli state-space, o SSM, che riassumono una sequenza attraverso uno stato interno in evoluzione. Invece di mantenere una relazione esplicita tra ogni coppia di token, un SSM aggiorna una rappresentazione compatta man mano che arrivano nuovi input.

I fondatori di Cartesia hanno contribuito allo sviluppo di Mamba, un’architettura state-space selettiva. La selettività consente al modello di decidere quali informazioni conservare o dimenticare in base all’input corrente.

La ricerca originale su Mamba ha riportato una scalabilità lineare con la lunghezza della sequenza e un throughput superiore rispetto a transformer comparabili nei suoi esperimenti. Ha inoltre dimostrato applicazioni nel linguaggio, nell’audio e nella genomica.

Cartesia ha concentrato gran parte del suo lavoro commerciale sulla voce. Il parlato è un banco di prova naturale per l’elaborazione efficiente delle sequenze, poiché i sistemi audio interattivi devono rispondere rapidamente seguendo al contempo una conversazione in evoluzione.

AI21 Labs offre una quarta via. La sua architettura Jamba alterna livelli Mamba ad attenzione transformer e componenti mixture-of-experts.

Un modello mixture-of-experts attiva solo una parte della propria rete complessiva per ciascun token. Questo aumenta la capacità totale senza utilizzare ogni parametro in ogni calcolo.

Il design di Jamba riflette una conclusione pragmatica: l’elaborazione efficiente delle sequenze e l’attenzione densa risolvono problemi differenti. AI21 conserva alcuni livelli transformer per il recupero globale, utilizzando al contempo livelli Mamba per ridurre la pressione sulla memoria.

Questi approcci trasformano la storia Google-MIT in una corsa architetturale ramificata. Subquadratic cerca di preservare l’attenzione rendendola sparsa. Liquid AI combina attenzione e convoluzioni. Cartesia pone l’accento sull’elaborazione state-space, mentre AI21 mescola livelli state-space e transformer.

L’obiettivo condiviso è l’efficienza. Le loro divergenze riguardano ciò che un LLM può scartare, comprimere o elaborare localmente in sicurezza senza danneggiare le relazioni che producono risposte utili.

L’attenzione sparsa avanza l’affermazione più audace

Subquadratic sfida direttamente l’attenzione densa, ma le sue prove devono ancora raggiungere la portata della sua promessa.

Subquadratic è emersa pubblicamente nel maggio 2026 con un’affermazione insolitamente ambiziosa. Ha dichiarato che SubQ poteva elaborare un contesto fino a 12 milioni di token utilizzando un volume di calcolo dell’attenzione molto inferiore rispetto ai modelli transformer.

Questa capacità coprirebbe diversi repository completi o un’ampia raccolta di contratti in un unico prompt. Potrebbe inoltre consentire a un agente di conservare una cronologia operativa molto più lunga senza riassumere ripetutamente il proprio passato.

L’azienda sostiene che l’attenzione densa sprechi calcolo perché la maggior parte delle possibili relazioni tra token contribuisce poco al risultato. SSA cerca di individuare il piccolo sottoinsieme che conta.

Questo è più difficile che eliminare semplicemente connessioni casuali. Un indizio rilevante può apparire a milioni di token di distanza e la sua importanza potrebbe diventare chiara solo dopo che il modello ha letto un altro passaggio.

Un’architettura sparsa necessita quindi di un meccanismo di routing efficace. Se seleziona le connessioni sbagliate, il risparmio computazionale arriva a scapito del recupero delle informazioni o del ragionamento.

Subquadratic afferma che la sua architettura effettua una selezione dipendente dal contenuto. Il modello sceglie gli schemi di attenzione dall’input invece di basarsi soltanto su finestre locali fisse.

Il lancio iniziale ha suscitato scetticismo perché l’accesso pubblico e i dettagli tecnici erano limitati. L’azienda ha poi rilasciato ulteriori informazioni sui benchmark e citato valutazioni condotte da Appen.

Secondo l’analisi originale del MIT, il ricercatore indipendente Will Depue ha osservato che i ricercatori hanno tentato molti modi per superare il costo dell’attenzione densa.

Questa storia è importante. Attenzione sparsa, attenzione lineare, reti ricorrenti, convoluzioni lunghe e memoria compressa hanno tutte mostrato vantaggi. Molte incontrano però difficoltà quando i compiti richiedono un recupero preciso da posizioni distanti.

Un’altra preoccupazione riguarda la genealogia di SubQ. MIT Technology Review ha riferito che l’azienda ha riutilizzato i pesi di una versione del modello Qwen di Alibaba per contribuire all’inizializzazione di SubQ.

I pesi sono i valori appresi che determinano il comportamento di una rete neurale. Riutilizzarli può accelerare lo sviluppo, ma complica le affermazioni su ciò che la nuova architettura ha appreso in modo indipendente.

Un modello convertito o avviato tramite bootstrap potrebbe ereditare capacità dall’addestramento transformer. Questo non invalida il nuovo meccanismo, ma lascia aperta la questione se l’architettura possa essere addestrata in modo efficiente fin dall’inizio.

La distinzione conta commercialmente. Un metodo che trasforma modelli esistenti potrebbe comunque diventare un’infrastruttura preziosa. Un metodo in grado di addestrare da zero modelli fondativi competitivi metterebbe in discussione l’economia dell’intero mercato.

Gli sviluppatori hanno inoltre bisogno di più di una dimostrazione del limite di contesto. Hanno bisogno di API stabili, latenza prevedibile, accuratezza nell’uso degli strumenti, output strutturato, controlli di sicurezza e integrazione con framework di inferenza comuni.

Il contesto lungo presenta un proprio problema di valutazione. Un modello può tecnicamente accettare milioni di token continuando però a non cogliere fatti rilevanti o a combinarli in modo errato.

I semplici test dell’ago nel pagliaio inseriscono un fatto distintivo in un input lungo e chiedono al modello di recuperarlo. Misurano il richiamo di base, ma non catturano compiti che richiedono prove distribuite tra molti file.

La manutenzione dei repository offre un test più impegnativo. Un modello deve identificare le interfacce, seguire le dipendenze, comprendere i test e apportare una modifica senza compromettere componenti distanti.

L'analisi legale e finanziaria impone requisiti simili. La conclusione corretta può dipendere da definizioni, eccezioni, emendamenti e date disseminati in numerosi documenti.

Subquadratic deve dimostrare che il suo routing sparso preserva queste relazioni in carichi di lavoro sia avversariali sia ordinari. Test indipendenti in più domini avrebbero più peso rispetto a quelli di un unico fornitore di benchmark.

La sua sfida è chiara. L'azienda ha proposto un meccanismo che attacca direttamente l'attenzione quadratica, ma un'adozione diffusa richiede prove ripetibili e modelli accessibili.

I modelli ibridi scommettono contro una rottura netta

Liquid AI e AI21 considerano l'attenzione un ingrediente costoso da razionare, non un componente difettoso da eliminare.

Le architetture ibride riflettono una valutazione ingegneristica: i transformer restano insolitamente efficaci nel richiamo flessibile basato sul contenuto. La loro debolezza è il costo di applicare questa capacità ovunque.

LFM2 di Liquid AI affida gran parte dell'elaborazione della sequenza a convoluzioni brevi. Questi blocchi esaminano in modo efficiente i pattern locali ed evitano la cache in espansione associata all'attenzione densa.

Il modello include comunque blocchi di attenzione per operazioni che traggono vantaggio da confronti più ampi. Questa suddivisione ricorda un sistema che utilizza per la maggior parte del tempo un'elaborazione locale economica, per poi invocare selettivamente un'analisi globale.

Il metodo di Liquid orientato all'hardware mette inoltre in evidenza un limite dei confronti teorici. Un'operazione con una migliore scalabilità asintotica non viene automaticamente eseguita più velocemente su uno smartphone, un laptop, una GPU o un acceleratore.

L'hardware AI moderno è fortemente ottimizzato per i carichi di lavoro dei transformer. La moltiplicazione di matrici dense beneficia di kernel, compilatori e sistemi di serving maturi.

Una nuova architettura può eseguire meno operazioni teoriche e tuttavia risultare lenta se il software non riesce a pianificarle in modo efficiente. Il trasferimento della memoria, il comportamento della cache e la dimensione dei batch possono contare quanto l'equazione che descrive il layer.

Liquid utilizza la ricerca architetturale per valutare direttamente questi vincoli. Secondo l'azienda, il suo modello LFM2-24B-A2B del 2026 contiene 24 miliardi di parametri totali, di cui circa 2 miliardi attivi per ciascun token.

Il modello combina un sistema sparso mixture-of-experts con la dorsale di LFM2 ricca di convoluzioni. Liquid afferma che può rientrare in 32 gigabyte di memoria, rendendo possibile il deployment locale su alcuni sistemi consumer di fascia alta.

Si tratta di caratteristiche dichiarate dal fornitore. Test indipendenti sulle applicazioni devono determinare come la sua qualità si confronti con quella dei modelli cloud più grandi.

Il percorso resta commercialmente coerente. Molte organizzazioni non hanno bisogno del modello più grande disponibile per ogni attività. Hanno bisogno di una qualità accettabile con latenza, privacy e utilizzo dell'infrastruttura controllabili.

Un modello on-device può supportare la classificazione privata dei documenti, il parsing dei comandi, la sintesi o le interfacce vocali senza inviare ogni input a un servizio remoto. Può inoltre continuare a funzionare quando l'accesso alla rete è limitato.

Jamba di AI21 raggiunge un compromesso simile dalla direzione degli spazi di stato. L'architettura alterna componenti Mamba e transformer invece di impegnarsi esclusivamente su uno dei due.

AI21 afferma che i modelli puri a spazio di stato possono incontrare difficoltà nel richiamo. Jamba mantiene occasionali layer di attenzione per ripristinare l'accesso a informazioni dettagliate lungo la sequenza.

La architettura Jamba dell'azienda utilizza inoltre layer mixture-of-experts per separare la capacità totale del modello dal calcolo attivo.

Questo approccio rinuncia alla semplice narrazione secondo cui l'attenzione non sia necessaria. Offre un percorso più prudente verso la produzione, perché gli sviluppatori possono mantenere il comportamento noto dei transformer dove conta di più.

I sistemi ibridi rappresentano quindi la più forte pressione a breve termine sui modelli convenzionali. Non devono dimostrare che il transformer fosse un errore.

Devono soltanto mostrare che non ogni layer richiede la stessa costosa operazione. Se questa affermazione regge, i costruttori di modelli possono ridurre gradualmente l'attenzione preservando pratiche consolidate di addestramento e deployment.

Questo percorso ricorda precedenti transizioni nel computing. I nuovi progetti spesso entrano come componenti specializzati prima di sostituire un'impostazione generale predefinita.

I processori grafici hanno inizialmente accelerato carichi di lavoro ristretti prima di diventare centrali per l'AI. L'archiviazione a stato solido ha convissuto con i dischi rigidi prima di assumere molti ruoli sensibili alle prestazioni.

Le alternative all'attenzione possono seguire lo stesso schema. Le convoluzioni o i layer a spazio di stato potrebbero inizialmente gestire l'elaborazione locale, l'input in streaming e le cronologie lunghe. L'attenzione può restare responsabile delle difficili relazioni globali.

L'architettura risultante potrebbe non avere un'unica etichetta memorabile. Potrebbe essere una combinazione configurabile, modellata dall'hardware e dal carico di lavoro di destinazione.

Questa possibilità rende la prossima grande novità nei LLM meno drammatica di un altro momento “Attention Is All You Need”. Potrebbe arrivare attraverso una riduzione costante dei casi in cui viene usata l'attenzione.

La vera competizione è la qualità per unità di calcolo

Un'architettura alternativa vince solo quando i suoi risparmi resistono a test realistici di accuratezza, latenza e complessità di deployment.

I confronti tra modelli spesso isolano una sola dimensione. Un articolo potrebbe riportare una minore complessità computazionale, una finestra di contesto più lunga o un throughput di token più elevato.

Gli acquirenti aziendali affrontano un'equazione combinata. A loro interessa quanto lavoro utile un sistema completi entro un budget di latenza, memoria e affidabilità.

Un modello veloce che non rileva eccezioni contrattuali non è efficiente. Anche un modello con un ottimo richiamo ma tempi di risposta imprevedibili può essere inadatto al software interattivo.

Il principale avversario in questa corsa non è dunque una singola startup o un singolo incumbent. È l'equilibrio consolidato dei transformer tra qualità e infrastruttura.

Google, OpenAI, Anthropic, Meta e altri laboratori possono continuare a migliorare i sistemi transformer. Possono utilizzare kernel di attenzione ottimizzati, caching migliore, quantizzazione, distillazione e acceleratori più veloci.

Possono anche adottare componenti alternativi di successo. Una startup che convalida un nuovo meccanismo potrebbe influenzare gli incumbent senza sostituirne le famiglie di modelli.

La compatibilità aggiunge un altro vantaggio difensivo. L'inferenza dei transformer funziona su un ecosistema maturo di kernel GPU, sistemi di addestramento distribuito, librerie di ottimizzazione e piattaforme di deployment.

Le nuove operazioni ricorrenti o sparse possono richiedere kernel personalizzati e logiche di caching. Gli sviluppatori potrebbero avere bisogno di nuovi strumenti di monitoraggio, perché i guasti prestazionali differiscono dal comportamento familiare dei transformer.

La stabilità dell'addestramento resta un altro banco di prova. I ricercatori comprendono il comportamento dei transformer su molte dimensioni di modello e dataset. Le architetture alternative dispongono di meno evidenze alle scale maggiori.

Un modello può sembrare efficiente con pochi miliardi di parametri e incontrare problemi di ottimizzazione quando viene scalato molto oltre. Può anche perdere il proprio vantaggio se compensare un richiamo più debole richiede più layer o dati di addestramento.

La selezione dei benchmark può nascondere queste differenze. I test di conoscenza generale potrebbero dire poco sul ragionamento multi-file. I test di recupero su contesti lunghi potrebbero non prevedere la qualità conversazionale o l'uso degli strumenti.

Le valutazioni più solide collegheranno l'architettura al lavoro effettivo. Tra le attività rilevanti figurano la modifica di grandi repository, la riconciliazione di report in conflitto, il tracciamento dei fatti in conversazioni estese e l'analisi di record dipendenti dal tempo.

I test dovrebbero misurare la qualità delle risposte insieme alla latenza del primo token, al tempo totale di completamento, al picco di memoria, al consumo energetico e all'utilizzo dell'hardware.

Dovrebbero inoltre indicare se i confronti usano conteggi di parametri equivalenti, dati di addestramento, lunghezze di contesto, impostazioni di precisione e condizioni di serving.

Senza questi controlli, un vantaggio architetturale dichiarato può riflettere scelte ingegneristiche differenti. Anche numeri accurati possono creare un'impressione fuorviante quando le condizioni di test differiscono.

La parola chiave Google MIT coglie una genealogia reale, ma non una netta rivalità istituzionale. I ricercatori di Google hanno introdotto il transformer, mentre i ricercatori del MIT hanno contribuito a diverse linee di lavoro alternative.

La competizione importante ora si svolge tra maturità architetturale ed efficienza architetturale. I transformer offrono un percorso noto verso capacità elevate. Gli sfidanti promettono di raggiungere capacità simili con meno spreco computazionale.

Nessuna delle due parti dispone di un vantaggio permanente. Gli incumbent possono copiare idee validate, mentre le startup possono ottimizzare i propri sistemi senza dover supportare anni di infrastruttura legacy.

I clienti dovrebbero evitare di considerare la lunghezza del contesto pubblicizzata come la metrica decisiva. La domanda migliore è quante informazioni rilevanti un modello utilizzi accuratamente entro un budget fisso.

Per gli sviluppatori, questo significa testare i modelli su dati rappresentativi invece di affidarsi soltanto alle classifiche pubbliche. Un team legale, un'azienda software e una piattaforma vocale metteranno in luce diverse debolezze architetturali.

Per i knowledge worker, un contesto lungo più efficiente potrebbe ridurre il caricamento ripetuto e la sintesi. Potrebbe anche aiutare gli assistenti a mantenere continuità su volumi di lavoro più ampi.

Questi vantaggi dipendono dai controlli di privacy e accesso. Un modello capace di leggere milioni di token amplifica le conseguenze della fornitura dei documenti sbagliati o della conservazione troppo ampia delle informazioni.

L'architettura non può risolvere questi problemi di governance. Può soltanto cambiare la quantità di informazioni che un sistema può elaborare e le risorse necessarie per farlo.

Cosa osservare mentre si sviluppa la corsa post-transformer

Tre segnali mostreranno se le startup hanno trovato un successore o soltanto aggiunte utili allo stack dei transformer.

Il primo segnale è l'accesso indipendente a SubQ. I ricercatori esterni necessitano di disponibilità sufficiente per riprodurre i risultati sui contesti lunghi, testare schemi di recupero difficili ed esaminare le prestazioni con carichi di lavoro variabili.

Un rilascio ampio rafforzerebbe l'argomentazione di Subquadratic se gli utenti potessero verificarne la qualità e le affermazioni sulla scalabilità lineare. Un accesso che resti limitato conserverebbe l'incertezza sull'architettura.

I test più utili andranno oltre l'inserimento di un singolo fatto in un prompt lungo. Dovrebbero richiedere al modello di collegare le prove tra file, respingere il contesto fuorviante e mantenere l'accuratezza man mano che l'input si espande.

I ricercatori dovrebbero inoltre confrontare tempi di elaborazione e utilizzo della memoria su hardware dichiarato. Altrimenti, le affermazioni sui risparmi computazionali restano difficili da tradurre in decisioni di deployment.

Il secondo segnale è una più ampia adozione dei layer ibridi. Liquid AI e AI21 non richiedono all'industria di abbandonare l'attenzione, quindi i loro progetti possono diffondersi gradualmente.

Occorre osservare se gli sviluppatori di modelli iniziano a dichiarare una proporzione inferiore di layer di attenzione o adottano componenti convoluzionali e a spazio di stato in nuovi modelli di produzione.

Questo cambiamento sosterrebbe il giudizio centrale dell'articolo. È probabile che la prima era post-transformer razioni l'attenzione prima di eliminarla.

Il supporto hardware e software rivelerà la stessa tendenza. Kernel nativi, motori di inferenza e strumenti di monitoraggio per i modelli ibridi renderebbero le scelte architetturali meno rischiose.

Il terzo segnale sono le prestazioni negli agenti persistenti. Gli agenti creano un problema di sequenza impegnativo perché accumulano nel tempo istruzioni, risultati degli strumenti, modifiche al codice e tentativi falliti.

I sistemi attuali spesso comprimono o scartano quella cronologia. I riassunti risparmiano contesto, ma possono rimuovere dettagli di cui l'agente avrà bisogno in seguito.

I modelli sparsi o a spazio di stato dovrebbero mostrare qui un chiaro vantaggio se le loro affermazioni sulla memoria reggono. Un agente dovrebbe completare progetti più lunghi senza perdere vincoli, ripetere il lavoro o lasciare che il costo del contesto cresca in modo incontrollabile.

È qui che diventa visibile la differenza tra contesto nominale e contesto effettivamente utilizzabile. Un modello non deve richiamare ogni token precedente con la stessa precisione. Deve preservare gli impegni e le evidenze giusti.

Il transformer resta lo standard perché combina attenzione flessibile, addestramento scalabile e infrastrutture mature. Nove anni di perfezionamenti hanno reso questa combinazione difficile da superare.

Tuttavia, i carichi di lavoro del settore stanno cambiando. Repository più estesi, registri multimodali, voce continua e agenti persistenti amplificano tutti le debolezze dell’attenzione densa.

Le startup alla ricerca del prossimo grande salto negli LLM non hanno ancora una risposta condivisa. Il loro disaccordo è utile perché mette in luce lo spazio progettuale reale.

Subquadratic si chiede se il routing sparso possa preservare il ragionamento globale. Cartesia verifica se lo stato possa sostituire le relazioni esplicite tra token. Liquid AI e AI21 si interrogano su quanta poca attenzione serva davvero a un modello capace.

L’eredità di Google e MIT non scomparirà se uno di questi sistemi avrà successo. Il transformer ha affermato l’attenzione come meccanismo centrale dell’IA moderna, e i suoi discendenti conserveranno molte delle sue idee.

Il cambiamento più probabile è il pluralismo architetturale. I modelli combineranno diversi meccanismi di sequenza in base al dispositivo, al carico di lavoro e alla memoria richiesta.

Gli sviluppatori dovrebbero osservare la qualità verificata per unità di calcolo, non le dichiarazioni sulla morte del transformer. Gli acquirenti enterprise dovrebbero testare flussi di lavoro completi, inclusi recupero delle informazioni, uso degli strumenti, latenza e controllo degli accessi.

Quale segnale cambierebbe per primo la vostra strategia sui modelli: attenzione sparsa verificata in modo indipendente, un supporto più ampio per modelli ibridi o un agente in grado di utilizzare mesi di cronologia senza perdere i dettagli?