Google-MIT-Erbe trifft auf Startups auf der Jagd nach dem nächsten großen Ding bei LLMs

Die Forschung von Google und MIT steht heute vor ihrer schärfsten architektonischen Herausforderung, seit acht Google-Forscher vor neun Jahren den Transformer vorstellten. Startups stellen infrage, ob der Mechanismus hinter nahezu jedem führenden LLM weiterhin der Branchenstandard bleiben sollte.

Der Konflikt dreht sich nicht darum, einen weiteren Chatbot zu bauen. Es geht um die Rechenstruktur unter ChatGPT, Claude, Gemini und den meisten offenen Modellen. Subquadratic, Liquid AI, Cartesia und AI21 Labs erforschen Systeme, die lange Sequenzen verarbeiten, ohne in jeder Schicht dichte Attention auszuführen.

Ihre Ansätze reichen von Sparse Attention über State-Space-Modelle bis zu stark auf Faltungen basierenden Hybriden. Jeder Weg verspricht geringeren Speicherverbrauch, schnellere Verarbeitung oder einen längeren nutzbaren Kontext. Keiner hat den Transformer bislang bei der gesamten Bandbreite relevanter Aufgaben verdrängt.

Diese Einschränkung prägt den Wettlauf. Die nächste bedeutende LLM-Architektur wird nicht gewinnen, indem sie eine beeindruckende Laborgrafik liefert. Sie muss Schlussfolgern und Erinnern bewahren und zugleich in den Software-, Chip- und Deployment-Systemen funktionieren, die Unternehmen bereits nutzen.

Der Erfolg des Transformers schuf seinen eigenen Engpass

Die Architektur, die moderne generative KI ermöglichte, wird mit wachsendem Eingabeumfang teurer.

Google-Forscher stellten den Transformer 2017 im Paper Attention Is All You Need vor. Das Paper ersetzte rekurrente Verarbeitung durch Attention, einen Mechanismus, mit dem ein Modell berechnen kann, welche Teile einer Eingabe besonders gewichtet werden sollten.

Attention machte das Training stark parallelisierbar. Zudem half sie Modellen dabei, Informationen über weit entfernte Positionen in einem Dokument hinweg zu verknüpfen. Diese Vorteile unterstützten den Skalierungspfad, aus dem schließlich die heutigen großen Sprachmodelle hervorgingen.

Die Standardform der Self-Attention vergleicht jedes Token mit jedem anderen Token einer Sequenz. Ein Token ist eine kleine Texteinheit, etwa ein Wortfragment. Eine Verdoppelung der Sequenzlänge kann daher innerhalb der Attention-Operation ungefähr viermal so viele paarweise Vergleiche erzeugen.

Ingenieure bezeichnen dieses Verhalten als quadratische Skalierung. Das bedeutet nicht, dass das gesamte Modell unter allen Deployment-Bedingungen exakt viermal so teuer wird. Auch Hardware, Caching, Batching und Implementierungsentscheidungen beeinflussen das Ergebnis.

Die zugrunde liegende Beziehung erzeugt dennoch Druck. Ein Chatbot, der eine kurze Frage beantwortet, kann dichte Attention leichter verkraften als ein Agent, der mehrere Repositories, monatelange Nachrichten und eine lange Aktionshistorie liest.

Kontextfenster sind größer geworden, doch das beworbene Limit eines Modells garantiert keine erschwingliche oder präzise Nutzung nahe dieser Grenze. Teams müssen die Zeit für die Verarbeitung des Prompts, den Speicherverbrauch, die Inferenzkosten und die Frage berücksichtigen, ob das Modell die richtigen Belege findet.

Retrieval-Augmented Generation, kurz RAG, verringert die Belastung, indem relevante Passagen ausgewählt werden, bevor ein Modell um eine Antwort gebeten wird. Das bleibt nützlich, insbesondere wenn eine Organisation eine große KI-Wissensbasis pflegt.

Retrieval führt jedoch auch einen separaten Fehlerpunkt ein. Wenn die Suchschicht eine entscheidende Passage auslässt, sieht das Modell sie nie. Ein System, das deutlich mehr Quellmaterial direkt prüfen kann, könnte dieses Risiko bei Codeanalyse, Rechtsprüfung, Forschung und persistenten Agenten verringern.

Diese Aussicht erklärt, warum die Architekturforschung wieder kommerzielle Dringlichkeit gewonnen hat. Mehr Rechenleistung kann den Transformer erweitern, doch zunehmend lange Prompts legen strukturelle Kosten offen, die bessere Chips allein nicht beseitigen.

Die Verbindung zwischen Google und MIT ist hier wichtig, weil Google das Grundlagenpaper lieferte, während MIT-nahe Forscher später Unternehmen mitaufbauten, die Alternativen verfolgen. Der Wettbewerb ist weniger ein Streit zwischen zwei Institutionen als ein Übergang von akademischen Erkenntnissen zu konkurrierenden Produktionssystemen.

Startups sehen eine Lücke zwischen dem, was aktuelle Modelle versprechen, und dem, was Kunden praktisch einsetzen können. Wenn sie langen Kontext günstiger machen können, ohne Qualität einzubüßen, können sie gleichzeitig Druck auf Modelllabore und Infrastrukturanbieter ausüben.

Google- und MIT-Forschung bringt mehr als eine Alternative hervor

Kein einzelnes Post-Transformer-Design hat sich durchgesetzt, daher teilen Startups das Problem in unterschiedliche technische Wetten auf.

Subquadratic verfolgt den direktesten Ansatz. Das in Miami ansässige Startup erklärt, sein SubQ-Modell nutze Subquadratic Sparse Attention, kurz SSA, um nicht jede mögliche Token-Beziehung untersuchen zu müssen.

Sparse Attention begrenzt die Menge der Token-Paare, die ein Modell bewertet. Der schwierige Teil besteht darin, vor der kostspieligen Arbeit, die dichte Attention erfordern würde, auszuwählen, welche Verbindungen wichtig sind.

Subquadratic erklärt, sein Mechanismus skaliere linear mit der Kontextlänge und unterstütze einen Forschungskontext von 12 Millionen Tokens. Zu den veröffentlichten Beispielen gehören vollständige Software-Repositories und langfristige Agentenverläufe.

Das sind Unternehmensangaben, kein abschließend gesichertes Branchenergebnis. Die technische Erklärung des Unternehmens besagt, dass SSA wichtige Beziehungen identifiziert und dabei die meisten möglichen Vergleiche überspringt.

Liquid AI setzt auf etwas anderes. Das von Forschern mit Wurzeln am MIT gegründete Unternehmen entwickelt Liquid Foundation Models für Geräte und andere ressourcenbeschränkte Umgebungen.

Seine LFM2-Architektur beseitigt Attention nicht vollständig. Sie kombiniert kurze gegatete Faltungen mit einer kleineren Zahl von Grouped-Query-Attention-Blöcken.

Eine Faltung verarbeitet lokale Muster mithilfe wiederverwendbarer Filter. Grouped-Query Attention reduziert den Speicherbedarf, indem mehrere Query-Heads Key- und Value-Repräsentationen gemeinsam nutzen.

Liquid zufolge wurde LFM2 über eine hardwarebewusste Architektursuche ausgewählt. Das bedeutet, dass das Team Entwürfe anhand tatsächlicher Speicher- und Geschwindigkeitseigenschaften bewertete, statt nur eine abstrakte Anzahl von Operationen zu optimieren.

Das LFM2-Design des Unternehmens enthält mehr Faltungsblöcke als Attention-Blöcke. Diese Anordnung zielt auf schnelle Ausführung auf CPUs und eingebetteten Prozessoren.

Cartesia verfolgt State-Space-Modelle, kurz SSMs, die eine Sequenz durch einen sich verändernden internen Zustand zusammenfassen. Anstatt eine explizite Beziehung zwischen jedem Token-Paar beizubehalten, aktualisiert ein SSM eine kompakte Repräsentation, sobald neue Eingaben eintreffen.

Die Gründer von Cartesia halfen bei der Entwicklung von Mamba, einer selektiven State-Space-Architektur. Selektivität ermöglicht dem Modell, abhängig von der aktuellen Eingabe zu entscheiden, welche Informationen es bewahrt oder verwirft.

Die ursprüngliche Mamba-Forschung berichtete in ihren Experimenten über lineare Skalierung mit der Sequenzlänge und einen höheren Durchsatz als vergleichbare Transformer. Außerdem demonstrierte sie Anwendungen in Sprache, Audio und Genomik.

Cartesia hat einen Großteil seiner kommerziellen Arbeit auf Sprache konzentriert. Sprache ist ein natürliches Testfeld für effiziente Sequenzverarbeitung, weil interaktive Audiosysteme schnell reagieren und zugleich eine sich entwickelnde Unterhaltung verfolgen müssen.

AI21 Labs bietet einen vierten Weg. Seine Jamba-Architektur verschachtelt Mamba-Schichten mit Transformer-Attention und Mixture-of-Experts-Komponenten.

Ein Mixture-of-Experts-Modell aktiviert für jedes Token nur einen Teil seines gesamten Netzwerks. Dadurch steigt die Gesamtkapazität, ohne bei jeder Berechnung jeden Parameter zu verwenden.

Das Design von Jamba spiegelt eine pragmatische Schlussfolgerung wider: Effiziente Sequenzverarbeitung und dichte Attention lösen jeweils unterschiedliche Probleme. AI21 behält einige Transformer-Schichten für globales Erinnern bei und nutzt Mamba-Schichten, um den Speicherdruck zu verringern.

Diese Ansätze machen die Google-MIT-Geschichte zu einem verzweigten Architekturrennen. Subquadratic versucht, Attention beizubehalten und zugleich sparsam zu gestalten. Liquid AI kombiniert Attention mit Faltungen. Cartesia betont State-Space-Verarbeitung, während AI21 State-Space- und Transformer-Schichten mischt.

Das gemeinsame Ziel ist Effizienz. Ihre Unterschiede betreffen die Frage, was ein LLM sicher verwerfen, komprimieren oder lokal verarbeiten kann, ohne die Beziehungen zu beschädigen, die nützliche Antworten hervorbringen.

Sparse Attention stellt die kühnste Behauptung auf

Subquadratic fordert dichte Attention direkt heraus, doch seine Evidenz muss erst zur Größenordnung seines Versprechens aufschließen.

Subquadratic trat im Mai 2026 mit einer ungewöhnlich weitreichenden Behauptung an die Öffentlichkeit. Das Unternehmen erklärte, SubQ könne Kontexte von bis zu 12 Millionen Tokens verarbeiten und dabei deutlich weniger Attention-Rechenleistung als Transformer-Modelle benötigen.

Diese Kapazität würde mehrere vollständige Repositories oder eine große Sammlung von Verträgen in einem Prompt abdecken. Sie könnte einem Agenten auch ermöglichen, einen wesentlich längeren Betriebsverlauf zu behalten, ohne seine Vergangenheit wiederholt zusammenzufassen.

Das Unternehmen argumentiert, dass dichte Attention Rechenleistung verschwendet, weil die meisten möglichen Token-Beziehungen wenig zum Ergebnis beitragen. SSA versucht, die kleine relevante Teilmenge zu finden.

Das ist schwieriger, als einfach zufällige Verbindungen wegzulassen. Ein relevanter Hinweis kann Millionen von Tokens entfernt erscheinen, und seine Bedeutung könnte erst klar werden, nachdem das Modell eine weitere Passage gelesen hat.

Eine sparse Architektur benötigt daher einen wirksamen Routing-Mechanismus. Wählt sie die falschen Verbindungen aus, gehen die Recheneinsparungen zulasten von Erinnerungsvermögen oder Schlussfolgern.

Subquadratic erklärt, seine Architektur führe eine inhaltsabhängige Auswahl durch. Das Modell wählt Attention-Muster aus der Eingabe, statt sich nur auf feste lokale Fenster zu stützen.

Der erste Launch löste Skepsis aus, weil öffentlicher Zugang und technische Details begrenzt waren. Später veröffentlichte das Unternehmen zusätzliche Benchmark-Informationen und verwies auf von Appen durchgeführte Bewertungen.

Laut der ursprünglichen MIT-Analyse merkte der unabhängige Forscher Will Depue an, dass Forscher viele Wege versucht hätten, die Kosten dichter Attention zu überwinden.

Diese Vorgeschichte ist wichtig. Sparse Attention, lineare Attention, rekurrente Netzwerke, lange Faltungen und komprimierter Speicher haben allesamt Vorteile gezeigt. Viele haben jedoch auch Schwierigkeiten, wenn Aufgaben eine präzise Informationsabfrage aus weit entfernten Positionen erfordern.

Ein weiterer Punkt betrifft die Herkunft von SubQ. MIT Technology Review berichtete, dass das Unternehmen Gewichte aus einer Version von Alibabas Qwen-Modell wiederverwendete, um die Initialisierung von SubQ zu unterstützen.

Gewichte sind die gelernten Werte, die das Verhalten eines neuronalen Netzwerks bestimmen. Ihre Wiederverwendung kann die Entwicklung beschleunigen, erschwert jedoch Aussagen darüber, was die neue Architektur eigenständig gelernt hat.

Ein konvertiertes oder auf vorhandenen Grundlagen aufgebautes Modell könnte Fähigkeiten aus dem Transformer-Training übernehmen. Das entwertet den neuen Mechanismus nicht, lässt aber offen, ob die Architektur von Beginn an effizient trainieren kann.

Die Unterscheidung ist kommerziell relevant. Eine Methode, die bestehende Modelle transformiert, könnte weiterhin wertvolle Infrastruktur werden. Eine Methode, die konkurrenzfähige Foundation Models von Grund auf trainiert, würde die Ökonomie des gesamten Marktes herausfordern.

Entwickler brauchen außerdem mehr als eine Demonstration eines Kontextlimits. Sie benötigen stabile APIs, vorhersehbare Latenz, Genauigkeit bei der Tool-Nutzung, strukturierte Ausgabe, Sicherheitskontrollen und Integration mit gängigen Inferenz-Frameworks.

Langer Kontext bringt ein eigenes Evaluierungsproblem mit sich. Ein Modell kann technisch Millionen von Tokens akzeptieren und dennoch relevante Fakten übersehen oder sie falsch zusammenführen.

Einfache Needle-Tests platzieren eine markante Information in einer langen Eingabe und bitten das Modell, sie abzurufen. Sie messen grundlegendes Erinnern, erfassen jedoch keine Aufgaben, bei denen Belege über viele Dateien verteilt sind.

Die Wartung von Repositories bietet einen besseren Belastungstest. Ein Modell muss Schnittstellen identifizieren, Abhängigkeiten nachvollziehen, Tests verstehen und eine Änderung vornehmen, ohne weit entfernte Komponenten zu beschädigen.

Rechts- und Finanzanalysen stellen ähnliche Anforderungen. Die richtige Schlussfolgerung kann von Definitionen, Ausnahmen, Änderungen und Daten abhängen, die über viele Dokumente verteilt sind.

Subquadratic muss zeigen, dass sein sparsames Routing diese Beziehungen unter adversarialen wie auch normalen Workloads bewahrt. Unabhängige Tests über mehrere Domänen hinweg hätten mehr Gewicht als ein einzelner Benchmark-Anbieter.

Die Herausforderung ist klar. Das Unternehmen hat einen Mechanismus vorgestellt, der quadratische Attention direkt angreift, doch für eine breite Akzeptanz braucht es reproduzierbare Belege und zugängliche Modelle.

Hybride Modelle setzen auf keinen klaren Bruch

Liquid AI und AI21 behandeln Attention als teure Ressource, die sparsam eingesetzt werden sollte, nicht als fehlerhafte Komponente, die entfernt werden muss.

Hybride Architekturen spiegeln die ingenieurwissenschaftliche Einschätzung wider, dass Transformer weiterhin außergewöhnlich gut im flexiblen, inhaltsbasierten Abruf sind. Ihre Schwäche liegt in den Kosten, diese Fähigkeit überall einzusetzen.

Liquid AIs LFM2 überträgt einen Großteil der Sequenzverarbeitung an kurze Faltungen. Diese Blöcke untersuchen lokale Muster effizient und vermeiden den wachsenden Cache, der mit dichter Attention verbunden ist.

Das Modell enthält weiterhin Attention-Blöcke für Operationen, die von umfassenderen Vergleichen profitieren. Diese Aufteilung ähnelt einem System, das die meiste Zeit kostengünstige lokale Verarbeitung nutzt und globale Analysen nur gezielt aufruft.

Liquids hardwarebewusster Ansatz verdeutlicht zudem eine Schwäche theoretischer Vergleiche. Eine Operation mit besserer asymptotischer Skalierung läuft nicht automatisch schneller auf einem Smartphone, Laptop, einer GPU oder einem Beschleuniger.

Moderne KI-Hardware ist stark auf Transformer-Workloads optimiert. Dichte Matrixmultiplikation profitiert von ausgereiften Kerneln, Compilern und Serving-Systemen.

Eine neue Architektur kann theoretisch weniger Operationen ausführen und dennoch langsam laufen, wenn Software sie nicht effizient planen kann. Speicherbewegungen, Cache-Verhalten und Batch-Größe können genauso wichtig sein wie die Gleichung, die die Schicht beschreibt.

Liquid nutzt Architektursuche, um diese Einschränkungen direkt zu bewerten. Sein Modell LFM2-24B-A2B aus dem Jahr 2026 enthält laut Unternehmen insgesamt 24 Milliarden Parameter, von denen pro Token etwa 2 Milliarden aktiv sind.

Das Modell kombiniert ein sparsames Mixture-of-Experts-System mit der faltungslastigen Grundlage von LFM2. Liquid sagt, dass es in 32 Gigabyte Speicher passt und damit eine lokale Bereitstellung auf einigen leistungsstärkeren Consumer-Systemen ermöglicht.

Dabei handelt es sich um vom Anbieter gemeldete Eigenschaften. Unabhängige Anwendungstests müssen bestimmen, wie seine Qualität im Vergleich zu größeren Cloud-Modellen ausfällt.

Der Weg bleibt kommerziell schlüssig. Viele Organisationen benötigen nicht für jede Aufgabe das größte verfügbare Modell. Sie benötigen akzeptable Qualität bei kontrollierbarer Latenz, Datenschutz und Infrastrukturnutzung.

Ein On-Device-Modell kann private Dokumentenklassifizierung, Befehlsanalyse, Zusammenfassung oder Sprachschnittstellen unterstützen, ohne jede Eingabe an einen Remote-Dienst zu senden. Es kann auch weiterarbeiten, wenn der Netzwerkzugang eingeschränkt ist.

AI21s Jamba erreicht aus der State-Space-Richtung einen ähnlichen Kompromiss. Die Architektur wechselt zwischen Mamba- und Transformer-Komponenten, statt sich ausschließlich auf eine der beiden zu beschränken.

AI21 zufolge können reine State-Space-Modelle beim Abruf Schwierigkeiten haben. Jamba behält gelegentliche Attention-Schichten bei, um den Zugriff auf detaillierte Informationen über die gesamte Sequenz hinweg wiederherzustellen.

Die Jamba-Architektur des Unternehmens nutzt außerdem Mixture-of-Experts-Schichten, um die gesamte Modellkapazität von der aktiven Rechenarbeit zu trennen.

Dieser Ansatz gibt die klare Erzählung auf, dass Attention unnötig sei. Dafür gewinnt er einen konservativeren Weg in die Produktion, weil Entwickler bekanntes Transformer-Verhalten dort beibehalten können, wo es am wichtigsten ist.

Hybridsysteme sind deshalb der stärkste kurzfristige Druck auf konventionelle Modelle. Sie müssen nicht beweisen, dass der Transformer ein Fehler war.

Sie müssen lediglich zeigen, dass nicht jede Schicht dieselbe teure Operation benötigt. Wenn diese Behauptung zutrifft, können Modellbauer Attention schrittweise reduzieren und dabei etablierte Trainings- und Bereitstellungspraktiken beibehalten.

Dieser Weg ähnelt früheren Übergängen in der Computertechnik. Neue Designs werden oft zunächst als spezialisierte Komponenten eingeführt, bevor sie einen allgemeinen Standard ersetzen.

Grafikprozessoren beschleunigten zunächst eng umrissene Workloads, bevor sie für KI zentral wurden. Solid-State-Speicher existierte neben Festplatten, bevor er viele leistungssensible Rollen übernahm.

Alternativen zu Attention können demselben Muster folgen. Faltungen oder State-Space-Schichten könnten zunächst lokale Verarbeitung, Streaming-Eingaben und lange Verläufe übernehmen. Attention kann weiterhin für schwierige globale Beziehungen verantwortlich bleiben.

Die daraus entstehende Architektur trägt möglicherweise kein einprägsames einzelnes Etikett. Sie könnte eine konfigurierbare Mischung sein, die von Zielhardware und Workload geprägt wird.

Diese Möglichkeit macht das nächste große Thema bei LLMs weniger dramatisch als einen weiteren „Attention Is All You Need“-Moment. Es könnte durch eine stetige Verringerung der Einsatzbereiche von Attention entstehen.

Der eigentliche Wettbewerb lautet: Qualität pro Recheneinheit

Eine alternative Architektur gewinnt nur, wenn ihre Einsparungen realistische Tests zu Genauigkeit, Latenz und Bereitstellungskomplexität überstehen.

Modellvergleiche isolieren häufig nur eine Dimension. Eine Arbeit könnte geringere Rechenkomplexität, ein längeres Kontextfenster oder höheren Token-Durchsatz ausweisen.

Unternehmenskunden stehen vor einer kombinierten Gleichung. Sie interessiert, wie viel nützliche Arbeit ein System innerhalb eines Budgets für Latenz, Speicher und Zuverlässigkeit erledigt.

Ein schnelles Modell, das vertragliche Ausnahmen übersieht, ist nicht effizient. Ein Modell mit ausgezeichnetem Abruf, aber unvorhersehbaren Antwortzeiten kann ebenfalls für interaktive Software ungeeignet sein.

Der Hauptgegner in diesem Rennen ist daher nicht ein einzelnes Startup oder ein etablierter Anbieter. Es ist das etablierte Verhältnis des Transformers zwischen Qualität und Infrastrukturaufwand.

Google, OpenAI, Anthropic, Meta und andere Labore können Transformer-Systeme weiter verbessern. Sie können optimierte Attention-Kernel, besseres Caching, Quantisierung, Distillation und schnellere Beschleuniger einsetzen.

Sie können auch erfolgreiche alternative Komponenten übernehmen. Ein Startup, das einen neuen Mechanismus validiert, könnte die etablierten Anbieter beeinflussen, ohne deren Modellfamilien zu ersetzen.

Kompatibilität bietet einen weiteren defensiven Vorteil. Transformer-Inferenz funktioniert über eine ausgereifte Sammlung von GPU-Kerneln, verteilten Trainingssystemen, Optimierungsbibliotheken und Bereitstellungsplattformen hinweg.

Neue rekurrente oder sparsame Operationen können eigene Kernel und Caching-Logik erfordern. Entwickler benötigen möglicherweise neue Monitoring-Tools, weil sich Leistungsprobleme von vertrautem Transformer-Verhalten unterscheiden.

Trainingsstabilität bleibt ein weiterer Prüfstein. Forschende verstehen, wie sich Transformer über viele Modellgrößen und Datensätze hinweg verhalten. Für alternative Architekturen gibt es auf den größten Skalen weniger Belege.

Ein Modell kann bei einigen Milliarden Parametern effizient wirken und beim weiteren Skalieren auf Optimierungsprobleme stoßen. Es kann seinen Vorteil auch verlieren, wenn der Ausgleich für schwächeren Abruf mehr Schichten oder Trainingsdaten erfordert.

Die Auswahl von Benchmarks kann diese Unterschiede verschleiern. Allgemeine Wissenstests sagen möglicherweise wenig über Schlussfolgerungen über mehrere Dateien hinweg aus. Langkontext-Abruf-Tests sagen möglicherweise keine Gesprächsqualität oder Tool-Nutzung voraus.

Die stärksten Bewertungen werden Architektur mit tatsächlicher Arbeit verbinden. Relevante Aufgaben umfassen das Ändern großer Repositories, das Abgleichen widersprüchlicher Berichte, das Verfolgen von Fakten in längeren Gesprächen und die Analyse zeitabhängiger Aufzeichnungen.

Tests sollten die Antwortqualität neben der Latenz bis zum ersten Token, der gesamten Bearbeitungszeit, dem Spitzen-Speicherbedarf, dem Energieverbrauch und der Hardwareauslastung messen.

Sie sollten außerdem offenlegen, ob Vergleiche gleichwertige Parameterzahlen, Trainingsdaten, Kontextlängen, Präzisionseinstellungen und Serving-Bedingungen verwenden.

Ohne diese Kontrollen kann ein behaupteter Architekturvorteil unterschiedliche Engineering-Entscheidungen widerspiegeln. Selbst zutreffende Zahlen können einen irreführenden Eindruck erzeugen, wenn die Testbedingungen abweichen.

Das Google-MIT-Schlagwort verweist auf eine tatsächliche Entwicklungslinie, aber nicht auf eine klare institutionelle Rivalität. Google-Forschende führten den Transformer ein, während MIT-Forschende zu mehreren alternativen Arbeitslinien beitrugen.

Der wichtige Wettbewerb verläuft heute zwischen architektonischer Reife und architektonischer Effizienz. Transformer bieten einen bekannten Weg zu hoher Leistungsfähigkeit. Herausforderer versprechen, eine ähnliche Leistungsfähigkeit mit weniger Rechenverschwendung zu erreichen.

Keine Seite hat einen dauerhaften Vorteil. Etablierte Anbieter können validierte Ideen kopieren, während Startups ihre Systeme optimieren können, ohne jahrelange Legacy-Infrastruktur unterstützen zu müssen.

Kunden sollten die beworbene Kontextlänge nicht als entscheidende Kennzahl behandeln. Die bessere Frage lautet, wie viele relevante Informationen ein Modell innerhalb eines festen Budgets präzise nutzt.

Für Entwickler bedeutet dies, Modelle anhand repräsentativer Daten zu testen, statt sich allein auf öffentliche Bestenlisten zu verlassen. Ein Rechtsteam, ein Softwareunternehmen und eine Sprachplattform werden unterschiedliche architektonische Schwächen aufdecken.

Für Wissensarbeiter könnte ein effizienterer langer Kontext wiederholtes Hochladen und Zusammenfassen reduzieren. Er könnte Assistenten auch helfen, Kontinuität über größere Arbeitsbestände hinweg aufrechtzuerhalten.

Diese Vorteile hängen von Datenschutz- und Zugriffskontrollen ab. Ein Modell, das Millionen von Tokens lesen kann, vergrößert die Folgen, wenn die falschen Dokumente bereitgestellt oder Informationen zu umfassend gespeichert werden.

Architektur kann diese Governance-Probleme nicht lösen. Sie kann nur die Menge an Informationen verändern, die ein System verarbeiten kann, sowie die dafür benötigten Ressourcen.

Was zu beobachten ist, wenn sich das Rennen nach dem Transformer entwickelt

Drei Signale werden zeigen, ob die Startups einen Nachfolger gefunden haben oder lediglich nützliche Ergänzungen für den Transformer-Stack.

Das erste Signal ist unabhängiger Zugang zu SubQ. Externe Forschende benötigen genügend Verfügbarkeit, um Langkontext-Ergebnisse zu reproduzieren, schwierige Abrufmuster zu testen und die Leistung unter wechselnden Workloads zu untersuchen.

Eine breite Veröffentlichung würde Subquadratics Argument stärken, wenn Nutzer seine Qualität und Behauptungen zur linearen Skalierung überprüfen können. Ein weiterhin eingeschränkter Zugang würde die Unsicherheit rund um die Architektur bewahren.

Die nützlichsten Tests werden über das Einfügen einer einzelnen Tatsache in einen langen Prompt hinausgehen. Sie sollten vom Modell verlangen, Belege über Dateien hinweg zu verknüpfen, irreführenden Kontext zurückzuweisen und die Genauigkeit mit wachsender Eingabe aufrechtzuerhalten.

Forschende sollten außerdem Bearbeitungszeit und Speicherverbrauch auf offengelegter Hardware vergleichen. Andernfalls bleiben Behauptungen über Recheneinsparungen schwer in Bereitstellungsentscheidungen zu übersetzen.

Das zweite Signal ist die breitere Einführung hybrider Schichten. Liquid AI und AI21 verlangen nicht, dass die Branche Attention aufgibt, sodass sich ihre Designs schrittweise verbreiten können.

Beobachten Sie, ob Modellentwickler beginnen, einen geringeren Anteil an Attention-Schichten offenzulegen oder Faltungs- und State-Space-Komponenten in neuen Produktionsmodellen einsetzen.

Diese Verschiebung würde die zentrale Einschätzung des Artikels stützen. Die erste Ära nach dem Transformer wird Attention wahrscheinlich zunächst rationieren, bevor sie sie eliminiert.

Hardware- und Softwareunterstützung werden denselben Trend offenlegen. Native Kernel, Inferenz-Engines und Monitoring-Tools für hybride Modelle würden Architekturentscheidungen weniger riskant machen.

Das dritte Signal ist die Leistung in persistenten Agenten. Agenten erzeugen ein anspruchsvolles Sequenzproblem, weil sie im Zeitverlauf Anweisungen, Tool-Ergebnisse, Codeänderungen und fehlgeschlagene Versuche ansammeln.

Aktuelle Systeme komprimieren oder verwerfen diesen Verlauf häufig. Zusammenfassungen sparen Kontext, können jedoch Details entfernen, die der Agent später benötigt.

Sparsame oder State-Space-Modelle sollten hier einen klaren Vorteil zeigen, wenn ihre Speicherbehauptungen zutreffen. Ein Agent sollte längere Projekte abschließen können, ohne Einschränkungen zu verlieren, Arbeit zu wiederholen oder seine Kontextkosten unkontrolliert wachsen zu lassen.

Hier wird auch der Unterschied zwischen nominalem und nutzbarem Kontext sichtbar. Ein Modell muss nicht jeden vorherigen Token gleichermaßen abrufen. Es muss die richtigen Festlegungen und Belege bewahren.

Der Transformer bleibt der Standard, weil er flexible Aufmerksamkeit, skalierbares Training und ausgereifte Infrastruktur vereint. Neun Jahre der Verfeinerung haben diese Kombination schwer zu übertreffen gemacht.

Dennoch verändern sich die Workloads der Branche. Längere Repositories, multimodale Aufzeichnungen, kontinuierliche Sprache und persistente Agenten verstärken allesamt die Schwächen dichter Aufmerksamkeit.

Die Start-ups, die im Bereich LLMs dem nächsten großen Durchbruch nachjagen, haben noch keine gemeinsame Antwort. Ihre Uneinigkeit ist nützlich, weil sie den tatsächlichen Designraum offenlegt.

Subquadratic fragt, ob sparsames Routing globales Schlussfolgern bewahren kann. Cartesia prüft, ob Zustände explizite Tokenbeziehungen ersetzen können. Liquid AI und AI21 fragen, wie wenig Aufmerksamkeit ein leistungsfähiges Modell tatsächlich benötigt.

Das Google-MIT-Erbe wird nicht verschwinden, falls eines dieser Systeme Erfolg hat. Der Transformer hat Aufmerksamkeit als zentralen Mechanismus moderner KI etabliert, und seine Nachfolger werden viele seiner Ideen beibehalten.

Wahrscheinlicher ist architektonischer Pluralismus. Modelle werden unterschiedliche Sequenzmechanismen je nach Gerät, Workload und erforderlichem Speicher kombinieren.

Entwickler sollten auf verifizierte Qualität pro Recheneinheit achten, nicht auf Behauptungen über den Tod des Transformers. Unternehmenskäufer sollten vollständige Workflows testen, einschließlich Retrieval, Tool-Nutzung, Latenz und Zugriffskontrolle.

Welches Signal würde Ihre Modellstrategie zuerst verändern: unabhängig verifizierte sparse attention, breitere Unterstützung für Hybridmodelle oder ein Agent, der Monate an Historie nutzen kann, ohne die Details zu verlieren?