Dziedzictwo Google i MIT kontra startupy ścigające kolejną wielką rzecz w LLM-ach

Badania Google i MIT stają dziś przed najpoważniejszym wyzwaniem architektonicznym od czasu, gdy dziewięciu lat temu ośmiu badaczy Google przedstawiło transformera. Startupy kwestionują, czy mechanizm stojący za niemal każdym czołowym LLM-em powinien nadal pozostawać domyślnym standardem branży.

Spór nie dotyczy budowy kolejnego chatbota. Chodzi o strukturę obliczeniową leżącą u podstaw ChatGPT, Claude, Gemini i większości modeli otwartych. Subquadratic, Liquid AI, Cartesia i AI21 Labs badają systemy, które przetwarzają długie sekwencje bez wykonywania gęstej uwagi w każdej warstwie.

Ich propozycje obejmują rzadką uwagę, modele przestrzeni stanów oraz hybrydy intensywnie wykorzystujące sploty. Każde z tych podejść obiecuje niższe zużycie pamięci, szybsze przetwarzanie lub dłuższy użyteczny kontekst. Żadne nie wyparło jeszcze transformera w pełnym zakresie istotnych zadań.

To zastrzeżenie definiuje ten wyścig. Kolejna ważna architektura LLM nie zwycięży dzięki imponującemu wykresowi laboratoryjnemu. Musi zachować zdolność rozumowania i odtwarzania informacji, a jednocześnie działać w ramach oprogramowania, chipów i systemów wdrożeniowych, z których firmy już korzystają.

Sukces transformera stworzył własne wąskie gardło

Architektura, która umożliwiła nowoczesną generatywną AI, staje się droższa wraz ze wzrostem ilości danych wejściowych.

Badacze Google przedstawili transformera w pracy z 2017 roku Attention Is All You Need. Artykuł zastąpił przetwarzanie rekurencyjne mechanizmem uwagi, który pozwala modelowi określić, które części danych wejściowych zasługują na większy nacisk.

Uwaga umożliwiła silnie równoległe trenowanie. Pomogła też modelom łączyć informacje z odległych pozycji w dokumencie. Te zalety wsparły ścieżkę skalowania, która ostatecznie doprowadziła do dzisiejszych dużych modeli językowych.

Standardowa forma samo-uwagi porównuje każdy token z każdym innym tokenem w sekwencji. Token to niewielka jednostka tekstu, na przykład fragment słowa. Podwojenie długości sekwencji może więc skutkować w przybliżeniu czterokrotnie większą liczbą porównań parami w operacji uwagi.

Inżynierowie określają to zachowanie jako skalowanie kwadratowe. Nie oznacza to, że cały model staje się dokładnie cztery razy droższy w każdych warunkach wdrożenia. Na wynik wpływają również sprzęt, buforowanie, przetwarzanie wsadowe i decyzje implementacyjne.

Podstawowa zależność nadal jednak wywołuje presję. Chatbot odpowiadający na krótkie pytanie może łatwiej tolerować gęstą uwagę niż agent analizujący kilka repozytoriów, miesiące wiadomości i długą historię działań.

Okna kontekstu się powiększyły, ale reklamowany limit modelu nie gwarantuje przystępnego cenowo ani dokładnego działania w pobliżu tej granicy. Zespoły muszą uwzględniać czas potrzebny na przetworzenie promptu, zużycie pamięci, koszt inferencji oraz to, czy model znajduje właściwe dowody.

Generowanie wspomagane wyszukiwaniem, czyli RAG, zmniejsza obciążenie, wybierając istotne fragmenty przed poproszeniem modelu o odpowiedź. Pozostaje użyteczne, zwłaszcza gdy organizacja utrzymuje dużą bazę wiedzy AI.

Wyszukiwanie wprowadza jednak osobny punkt awarii. Jeśli warstwa wyszukiwania pominie kluczowy fragment, model nigdy go nie zobaczy. System zdolny bezpośrednio przeanalizować znacznie więcej materiału źródłowego mógłby ograniczyć to ryzyko w analizie kodu, przeglądzie dokumentów prawnych, badaniach i trwałych agentach.

Ta perspektywa wyjaśnia, dlaczego badania nad architekturami odzyskały pilność komercyjną. Większa moc obliczeniowa może rozszerzać możliwości transformera, lecz coraz dłuższe prompty ujawniają koszt strukturalny, którego same lepsze chipy nie eliminują.

Powiązanie Google i MIT ma tu znaczenie, ponieważ Google dostarczyło fundamentalną pracę, a badacze związani później z MIT pomogli budować firmy rozwijające alternatywy. Rywalizacja jest mniej sporem między dwiema instytucjami niż przejściem od akademickiego wglądu do konkurujących systemów produkcyjnych.

Startupy dostrzegają szansę między tym, co reklamują obecne modele, a tym, co klienci mogą praktycznie wdrożyć. Jeśli uda im się obniżyć koszt długiego kontekstu bez utraty jakości, mogą jednocześnie wywrzeć presję na laboratoria modeli i dostawców infrastruktury.

Badania Google i MIT tworzą więcej niż jedną alternatywę

Nie wyłonił się jeden projekt post-transformerowy, więc startupy dzielą problem na różne zakłady techniczne.

Subquadratic przyjmuje najbardziej bezpośrednie podejście. Startup z siedzibą w Miami twierdzi, że jego model SubQ wykorzystuje Subquadratic Sparse Attention, czyli SSA, aby uniknąć analizowania każdej możliwej relacji między tokenami.

Rzadka uwaga ogranicza zbiór par tokenów ocenianych przez model. Trudność polega na wybraniu istotnych połączeń przed wykonaniem kosztownej pracy, której wymagałaby gęsta uwaga.

Subquadratic twierdzi, że jego mechanizm skaluje się liniowo wraz z długością kontekstu i obsługuje kontekst badawczy liczący 12 milionów tokenów. Opublikowane przykłady obejmują kompletne repozytoria oprogramowania i długotrwałe historie działań agentów.

Są to deklaracje firmy, a nie ustalony wynik branżowy. Jej wyjaśnienie techniczne mówi, że SSA identyfikuje ważne relacje, pomijając większość możliwych porównań.

Liquid AI stawia na coś innego. Założona przez badaczy wywodzących się z MIT firma rozwija Liquid Foundation Models dla urządzeń i innych środowisk o ograniczonych zasobach.

Jej architektura LFM2 nie eliminuje uwagi całkowicie. Łączy bramkowane krótkie sploty z mniejszą liczbą bloków uwagi grouped-query.

Splot przetwarza lokalne wzorce za pomocą wielokrotnie używanych filtrów. Uwaga grouped-query zmniejsza zapotrzebowanie na pamięć, pozwalając wielu głowom zapytań współdzielić reprezentacje kluczy i wartości.

Liquid twierdzi, że LFM2 wybrano poprzez wyszukiwanie architektury uwzględniające sprzęt. Oznacza to, że zespół oceniał projekty pod kątem rzeczywistych właściwości pamięci i szybkości, zamiast optymalizować wyłącznie abstrakcyjną liczbę operacji.

Projekt LFM2 firmy zawiera więcej bloków splotowych niż bloków uwagi. Taki układ ma zapewniać szybkie wykonywanie na CPU i procesorach wbudowanych.

Cartesia rozwija modele przestrzeni stanów, czyli SSM, które podsumowują sekwencję za pomocą zmieniającego się stanu wewnętrznego. Zamiast zachowywać jawną relację między każdą parą tokenów, SSM aktualizuje zwartą reprezentację wraz z napływem nowych danych wejściowych.

Założyciele Cartesia pomogli opracować Mamba, selektywną architekturę przestrzeni stanów. Selektywność pozwala modelowi decydować, jakie informacje zachować lub zapomnieć na podstawie bieżących danych wejściowych.

Oryginalne badania Mamba wykazały liniowe skalowanie wraz z długością sekwencji i wyższą przepustowość niż porównywalne transformery w przeprowadzonych eksperymentach. Zademonstrowały również zastosowania w języku, dźwięku i genomice.

Cartesia skoncentrowała znaczną część swojej pracy komercyjnej na głosie. Mowa jest naturalnym polem testowym dla wydajnego przetwarzania sekwencji, ponieważ interaktywne systemy audio muszą szybko odpowiadać, jednocześnie śledząc rozwijającą się rozmowę.

AI21 Labs oferuje czwartą drogę. Jej architektura Jamba przeplata warstwy Mamba z uwagą transformera i komponentami mixture-of-experts.

Model mixture-of-experts aktywuje dla każdego tokenu tylko część całej sieci. Zwiększa to całkowitą pojemność bez używania każdego parametru przy każdym obliczeniu.

Projekt Jamba odzwierciedla pragmatyczny wniosek: wydajne przetwarzanie sekwencji i gęsta uwaga rozwiązują różne problemy. AI21 zachowuje część warstw transformera dla globalnego odtwarzania informacji, wykorzystując jednocześnie warstwy Mamba do zmniejszenia presji na pamięć.

Te podejścia zmieniają historię Google i MIT w rozgałęziony wyścig architektur. Subquadratic próbuje zachować uwagę, czyniąc ją rzadką. Liquid AI łączy uwagę ze splotami. Cartesia kładzie nacisk na przetwarzanie w przestrzeni stanów, podczas gdy AI21 miesza warstwy przestrzeni stanów i transformera.

Wspólnym celem jest wydajność. Różnice dotyczą tego, co LLM może bezpiecznie odrzucić, skompresować lub przetwarzać lokalnie bez uszkadzania relacji prowadzących do użytecznych odpowiedzi.

Rzadka uwaga wysuwa najodważniejsze twierdzenie

Subquadratic bezpośrednio rzuca wyzwanie gęstej uwadze, ale jego dowody muszą nadążyć za skalą obietnic.

Subquadratic zaistniał publicznie w maju 2026 roku z niezwykle śmiałym twierdzeniem. Firma podała, że SubQ może przetwarzać kontekst sięgający 12 milionów tokenów, wykorzystując znacznie mniej obliczeń uwagi niż modele transformerowe.

Taka pojemność objęłaby w jednym prompcie kilka kompletnych repozytoriów lub duży zbiór umów. Mogłaby także pozwolić agentowi zachować znacznie dłuższy zapis operacyjny bez wielokrotnego podsumowywania przeszłości.

Firma argumentuje, że gęsta uwaga marnuje moc obliczeniową, ponieważ większość możliwych relacji między tokenami ma niewielki wpływ na wynik. SSA próbuje znaleźć mały podzbiór tych, które mają znaczenie.

Jest to trudniejsze niż zwykłe odrzucanie losowych połączeń. Istotna wskazówka może pojawić się miliony tokenów dalej, a jej znaczenie może stać się jasne dopiero po przeczytaniu przez model innego fragmentu.

Architektura rzadka potrzebuje zatem skutecznego mechanizmu routingu. Jeśli wybierze niewłaściwe połączenia, oszczędności obliczeniowe pojawią się kosztem odtwarzania informacji lub rozumowania.

Subquadratic twierdzi, że jego architektura dokonuje selekcji zależnej od treści. Model wybiera wzorce uwagi na podstawie danych wejściowych, zamiast opierać się wyłącznie na stałych lokalnych oknach.

Początkowa premiera spotkała się ze sceptycyzmem, ponieważ dostęp publiczny i szczegóły techniczne były ograniczone. Firma opublikowała później dodatkowe informacje porównawcze i przywołała oceny przeprowadzone przez Appen.

Według pierwotnej analizy MIT, niezależny badacz Will Depue zauważył, że naukowcy podejmowali wiele prób przezwyciężenia kosztu gęstej uwagi.

Ta historia ma znaczenie. Rzadka uwaga, uwaga liniowa, sieci rekurencyjne, długie sploty i skompresowana pamięć przyniosły korzyści. Wiele z nich ma również trudności, gdy zadania wymagają precyzyjnego wyszukiwania informacji z odległych pozycji.

Kolejna kwestia dotyczy pochodzenia SubQ. MIT Technology Review podał, że firma wykorzystała ponownie wagi z wersji modelu Qwen firmy Alibaba, aby pomóc zainicjować SubQ.

Wagi to wyuczone wartości określające zachowanie sieci neuronowej. Ich ponowne wykorzystanie może przyspieszyć rozwój, ale komplikuje twierdzenia dotyczące tego, czego nowa architektura nauczyła się niezależnie.

Model przekonwertowany lub uruchomiony z gotowych podstaw może odziedziczyć możliwości po treningu transformera. Nie unieważnia to nowego mechanizmu, ale pozostawia otwarte pytanie, czy architektura może efektywnie trenować od samego początku.

To rozróżnienie ma znaczenie komercyjne. Metoda przekształcająca istniejące modele nadal mogłaby stać się wartościową infrastrukturą. Metoda trenująca od podstaw konkurencyjne modele fundamentalne podważyłaby ekonomikę całego rynku.

Deweloperzy potrzebują też czegoś więcej niż demonstracji limitu kontekstu. Potrzebują stabilnych API, przewidywalnych opóźnień, dokładności używania narzędzi, ustrukturyzowanych wyników, mechanizmów kontroli bezpieczeństwa i integracji z powszechnymi frameworkami inferencyjnymi.

Długi kontekst stwarza własny problem ewaluacyjny. Model może technicznie przyjąć miliony tokenów, a mimo to pomijać istotne fakty lub łączyć je nieprawidłowo.

Proste testy igły w stogu siana umieszczają charakterystyczny fakt w długich danych wejściowych i proszą model o jego odnalezienie. Mierzą podstawową zdolność odtwarzania informacji, ale nie obejmują zadań wymagających dowodów rozproszonych między wieloma plikami.

Utrzymanie repozytorium stanowi lepszy test odporności. Model musi rozpoznać interfejsy, prześledzić zależności, zrozumieć testy i wprowadzić zmianę bez naruszania odległych komponentów.

Analiza prawna i finansowa stawia podobne wymagania. Właściwy wniosek może zależeć od definicji, wyjątków, nowelizacji i dat rozproszonych w wielu dokumentach.

Subquadratic musi wykazać, że jego rzadkie trasowanie zachowuje te relacje zarówno przy obciążeniach adversarialnych, jak i typowych. Niezależne testy w wielu domenach miałyby większą wagę niż benchmark jednego dostawcy.

Wyzwanie jest jasne. Firma zaproponowała mechanizm, który bezpośrednio uderza w kwadratową złożoność uwagi, lecz powszechne wdrożenie wymaga powtarzalnych dowodów i dostępnych modeli.

Modele hybrydowe stawiają na odejście bez radykalnego zerwania

Liquid AI i AI21 traktują uwagę jako kosztowny składnik, który należy racjonować, a nie wadliwy komponent, który trzeba usunąć.

Architektury hybrydowe odzwierciedlają inżynierski osąd, że transformatory wciąż wyjątkowo dobrze radzą sobie z elastycznym, opartym na treści przywoływaniem informacji. Ich słabością jest koszt stosowania tej zdolności wszędzie.

LFM2 od Liquid AI przekazuje znaczną część przetwarzania sekwencji krótkim konwolucjom. Te bloki efektywnie analizują lokalne wzorce i unikają rosnącej pamięci podręcznej związanej z gęstą uwagą.

Model nadal obejmuje bloki uwagi dla operacji korzystających z szerszych porównań. Podział ten przypomina system, który przez większość czasu wykorzystuje tanie przetwarzanie lokalne, a analizę globalną uruchamia selektywnie.

Podejście Liquid uwzględniające sprzęt wskazuje też słabość porównań teoretycznych. Operacja o lepszym skalowaniu asymptotycznym nie musi automatycznie działać szybciej na telefonie, laptopie, GPU ani akceleratorze.

Współczesny sprzęt AI jest silnie zoptymalizowany pod obciążenia transformerowe. Gęste mnożenie macierzy korzysta z dojrzałych kerneli, kompilatorów i systemów obsługi.

Nowa architektura może wykonywać mniej operacji teoretycznych, a mimo to działać wolno, jeśli oprogramowanie nie potrafi ich efektywnie planować. Przenoszenie danych w pamięci, zachowanie cache i rozmiar batcha mogą mieć równie duże znaczenie jak równanie opisujące warstwę.

Liquid wykorzystuje wyszukiwanie architektury, aby bezpośrednio oceniać te ograniczenia. Według firmy jej model LFM2-24B-A2B z 2026 r. zawiera łącznie 24 miliardy parametrów, z czego około 2 miliardy są aktywne dla każdego tokenu.

Model łączy rzadki system mixture-of-experts z opartym głównie na konwolucjach rdzeniem LFM2. Liquid twierdzi, że może zmieścić się w 32 gigabajtach pamięci, co umożliwia lokalne wdrożenie na części bardziej wydajnych systemów konsumenckich.

Są to parametry raportowane przez dostawcę. Niezależne testy w zastosowaniach muszą ustalić, jak ich jakość wypada na tle większych modeli chmurowych.

Ta droga pozostaje spójna komercyjnie. Wiele organizacji nie potrzebuje największego dostępnego modelu do każdego zadania. Potrzebują akceptowalnej jakości przy kontrolowalnym opóźnieniu, prywatności i wykorzystaniu infrastruktury.

Model działający na urządzeniu może wspierać prywatną klasyfikację dokumentów, analizę poleceń, podsumowywanie lub interfejsy głosowe bez wysyłania każdego wejścia do zdalnej usługi. Może też nadal działać przy ograniczonym dostępie do sieci.

Jamba od AI21 osiąga podobny kompromis, wychodząc od podejścia state-space. Architektura przeplata komponenty Mamba i transformerowe, zamiast wiązać się wyłącznie z jednym z nich.

AI21 twierdzi, że czyste modele state-space mogą mieć trudności z przywoływaniem informacji. Jamba zachowuje okazjonalne warstwy uwagi, aby odzyskać dostęp do szczegółowych informacji w całej sekwencji.

Architektura Jamba firmy również wykorzystuje warstwy mixture-of-experts, aby rozdzielić całkowitą pojemność modelu od aktywnych obliczeń.

Takie podejście rezygnuje z prostej narracji, że uwaga jest zbędna. Zyskuje za to bardziej zachowawczą drogę do produkcji, ponieważ deweloperzy mogą zachować znane zachowanie transformerów tam, gdzie ma ono największe znaczenie.

Systemy hybrydowe stanowią zatem najsilniejszą krótkoterminową presję na konwencjonalne modele. Nie muszą dowodzić, że transformer był błędem.

Wystarczy, że pokażą, iż każda warstwa nie wymaga tej samej kosztownej operacji. Jeśli to twierdzenie się potwierdzi, twórcy modeli będą mogli stopniowo ograniczać uwagę, zachowując ustalone praktyki treningowe i wdrożeniowe.

Ta ścieżka przypomina wcześniejsze przejścia w informatyce. Nowe projekty często wchodzą jako wyspecjalizowane komponenty, zanim zastąpią ogólny standard.

Procesory graficzne najpierw przyspieszały wąskie klasy obciążeń, zanim stały się centralne dla AI. Nośniki półprzewodnikowe współistniały z dyskami twardymi, zanim przejęły wiele ról wrażliwych na wydajność.

Alternatywy dla uwagi mogą podążyć tym samym schematem. Konwolucje lub warstwy state-space mogą najpierw obsługiwać przetwarzanie lokalne, wejście strumieniowe i długą historię. Uwaga może pozostać odpowiedzialna za trudne relacje globalne.

Powstała architektura może nie mieć jednej łatwej do zapamiętania etykiety. Może być konfigurowalną mieszanką kształtowaną przez docelowy sprzęt i obciążenie.

Ta możliwość sprawia, że kolejna wielka rzecz w LLM-ach będzie mniej dramatyczna niż następny moment „Attention Is All You Need”. Może nadejść poprzez stopniowe ograniczanie obszarów, w których używa się uwagi.

Prawdziwa rywalizacja dotyczy jakości na jednostkę obliczeń

Alternatywna architektura wygrywa tylko wtedy, gdy jej oszczędności przetrwają realistyczne testy dokładności, opóźnień i złożoności wdrożenia.

Porównania modeli często izolują jeden wymiar. Artykuł naukowy może wskazywać niższą złożoność obliczeniową, dłuższe okno kontekstowe lub wyższą przepustowość tokenów.

Nabywcy korporacyjni mierzą się z połączonym równaniem. Interesuje ich, ile użytecznej pracy system wykona w ramach budżetu opóźnień, pamięci i niezawodności.

Szybki model, który pomija wyjątki umowne, nie jest wydajny. Model o znakomitym przywoływaniu informacji, lecz nieprzewidywalnym czasie odpowiedzi, również może nie nadawać się do oprogramowania interaktywnego.

Głównym przeciwnikiem w tym wyścigu nie jest więc jeden startup ani jeden zasiedziały gracz. Jest nim ugruntowana równowaga transformera między jakością a infrastrukturą.

Google, OpenAI, Anthropic, Meta i inne laboratoria mogą nadal ulepszać systemy transformerowe. Mogą korzystać z zoptymalizowanych kerneli uwagi, lepszego cache’owania, kwantyzacji, destylacji i szybszych akceleratorów.

Mogą też przejmować udane komponenty alternatywne. Startup, który zweryfikuje nowy mechanizm, może wpłynąć na zasiedziałych graczy, nie zastępując ich rodzin modeli.

Kompatybilność zapewnia kolejną przewagę obronną. Inferencja transformerowa działa w dojrzałym ekosystemie kerneli GPU, rozproszonych systemów treningowych, bibliotek optymalizacyjnych i platform wdrożeniowych.

Nowe operacje rekurencyjne lub rzadkie mogą wymagać niestandardowych kerneli i logiki cache’owania. Deweloperzy mogą potrzebować nowych narzędzi monitorujących, ponieważ awarie wydajności różnią się od znanego zachowania transformerów.

Stabilność treningu pozostaje kolejnym sprawdzianem. Badacze rozumieją, jak transformatory zachowują się w wielu rozmiarach modeli i zbiorach danych. Alternatywne architektury mają mniej dowodów w największych skalach.

Model może wyglądać na wydajny przy kilku miliardach parametrów, a przy znacznie większym skalowaniu napotkać problemy optymalizacyjne. Może też stracić przewagę, jeśli kompensowanie słabszego przywoływania informacji wymaga większej liczby warstw lub danych treningowych.

Wybór benchmarków może ukrywać te różnice. Testy wiedzy ogólnej mogą niewiele mówić o rozumowaniu obejmującym wiele plików. Testy wyszukiwania w długim kontekście mogą nie przewidywać jakości rozmowy ani korzystania z narzędzi.

Najsilniejsze ewaluacje połączą architekturę z rzeczywistą pracą. Istotne zadania obejmują modyfikowanie dużych repozytoriów, uzgadnianie sprzecznych raportów, śledzenie faktów w rozbudowanych rozmowach oraz analizę zapisów zależnych od czasu.

Testy powinny mierzyć jakość odpowiedzi wraz z opóźnieniem do pierwszego tokenu, całkowitym czasem ukończenia, szczytowym zużyciem pamięci, zużyciem energii i wykorzystaniem sprzętu.

Powinny też ujawniać, czy porównania wykorzystują równoważne liczby parametrów, dane treningowe, długości kontekstu, ustawienia precyzji i warunki obsługi.

Bez tych kontroli deklarowana przewaga architektoniczna może odzwierciedlać różne wybory inżynieryjne. Nawet dokładne liczby mogą tworzyć mylące wrażenie, gdy warunki testowe się różnią.

Słowo kluczowe Google MIT odzwierciedla rzeczywistą genealogię, lecz nie czystą rywalizację instytucjonalną. Badacze Google wprowadzili transformer, podczas gdy badacze MIT przyczynili się do kilku alternatywnych kierunków prac.

Istotna rywalizacja toczy się dziś między dojrzałością architektury a jej wydajnością. Transformatory oferują znaną drogę do wysokich możliwości. Pretendenci obiecują osiągnąć podobne możliwości przy mniejszym marnotrawstwie obliczeń.

Żadna strona nie ma trwałej przewagi. Zasiedziali gracze mogą kopiować zweryfikowane pomysły, a startupy mogą optymalizować swoje systemy bez konieczności wspierania lat odziedziczonej infrastruktury.

Klienci nie powinni traktować reklamowanej długości kontekstu jako decydującego wskaźnika. Lepsze pytanie brzmi: ile istotnych informacji model wykorzystuje poprawnie w ramach ustalonego budżetu.

Dla deweloperów oznacza to testowanie modeli na reprezentatywnych danych zamiast polegania wyłącznie na publicznych rankingach. Zespół prawny, firma programistyczna i platforma głosowa ujawnią różne słabości architektoniczne.

Dla pracowników wiedzy bardziej wydajny długi kontekst mógłby ograniczyć wielokrotne przesyłanie plików i podsumowywanie. Mógłby też pomóc asystentom zachować ciągłość w obrębie większych zbiorów pracy.

Korzyści te zależą od kontroli prywatności i dostępu. Model zdolny czytać miliony tokenów zwielokrotnia konsekwencje dostarczenia niewłaściwych dokumentów lub zbyt szerokiego przechowywania informacji.

Architektura nie rozwiąże tych problemów związanych z zarządzaniem. Może jedynie zmienić ilość informacji, które system może przetworzyć, oraz zasoby wymagane do tego celu.

Co obserwować w rozwoju wyścigu po transformerach

Trzy sygnały pokażą, czy startupy znalazły następcę, czy jedynie użyteczne dodatki do stosu transformerowego.

Pierwszym sygnałem jest niezależny dostęp do SubQ. Zewnętrzni badacze potrzebują wystarczającej dostępności, aby odtworzyć wyniki dla długiego kontekstu, testować trudne wzorce wyszukiwania i badać wydajność przy zmiennych obciążeniach.

Szeroka premiera wzmocniłaby argument Subquadratic, gdyby użytkownicy mogli zweryfikować jego jakość i twierdzenia o skalowaniu liniowym. Utrzymujący się ograniczony dostęp zachowałby niepewność wokół architektury.

Najbardziej użyteczne testy wyjdą poza wstawienie pojedynczego faktu do długiego promptu. Powinny wymagać od modelu łączenia dowodów między plikami, odrzucania mylącego kontekstu i utrzymywania dokładności wraz z rozszerzaniem wejścia.

Badacze powinni również porównywać czas przetwarzania i zużycie pamięci na ujawnionym sprzęcie. W przeciwnym razie twierdzenia o oszczędnościach obliczeniowych pozostaną trudne do przełożenia na decyzje wdrożeniowe.

Drugim sygnałem jest szersze przyjmowanie warstw hybrydowych. Liquid AI i AI21 nie wymagają od branży porzucenia uwagi, dlatego ich projekty mogą rozpowszechniać się stopniowo.

Warto obserwować, czy twórcy modeli zaczną ujawniać niższy udział warstw uwagi lub wdrażać komponenty konwolucyjne i state-space w nowych modelach produkcyjnych.

Taka zmiana wspierałaby główny osąd artykułu. Pierwsza era po transformerach prawdopodobnie będzie racjonować uwagę, zanim ją wyeliminuje.

Wsparcie sprzętowe i programowe ujawni ten sam trend. Natywne kernele, silniki inferencyjne i narzędzia monitorujące dla modeli hybrydowych zmniejszyłyby ryzyko związane z wyborem architektury.

Trzecim sygnałem jest wydajność trwałych agentów. Agenci tworzą wymagający problem sekwencyjny, ponieważ z czasem gromadzą instrukcje, wyniki narzędzi, zmiany w kodzie i nieudane próby.

Obecne systemy często kompresują lub odrzucają tę historię. Podsumowania oszczędzają kontekst, lecz mogą usuwać szczegóły, których agent potrzebuje później.

Modele rzadkie lub state-space powinny tu wykazać wyraźną przewagę, jeśli ich twierdzenia dotyczące pamięci się potwierdzą. Agent powinien realizować dłuższe projekty bez utraty ograniczeń, powtarzania pracy ani niekontrolowanego wzrostu kosztu kontekstu.

W tym miejscu widoczna staje się również różnica między nominalnym a użytecznym kontekstem. Model nie musi pamiętać każdego wcześniejszego tokenu w takim samym stopniu. Musi zachować właściwe zobowiązania i dowody.

Transformer pozostaje standardem, ponieważ łączy elastyczną uwagę, skalowalne trenowanie i dojrzałą infrastrukturę. Dziewięć lat udoskonaleń sprawiło, że tę kombinację trudno pobić.

Mimo to obciążenia branży się zmieniają. Dłuższe repozytoria, multimodalne rejestry, ciągły głos i trwałe agenty nasilają wszystkie słabości gęstej uwagi.

Startupy ścigające kolejną wielką rzecz w LLM-ach nie mają jeszcze wspólnej odpowiedzi. Ich różnice zdań są użyteczne, ponieważ ujawniają rzeczywistą przestrzeń projektową.

Subquadratic pyta, czy rzadkie trasowanie może zachować globalne rozumowanie. Cartesia sprawdza, czy stan może zastąpić jawne relacje między tokenami. Liquid AI i AI21 pytają, jak niewiele uwagi naprawdę potrzebuje zdolny model.

Dziedzictwo Google i MIT nie zniknie, jeśli któryś z tych systemów odniesie sukces. Transformer ustanowił uwagę centralnym mechanizmem współczesnej AI, a jego następcy zachowają wiele z jego idei.

Bardziej prawdopodobną zmianą jest pluralizm architektoniczny. Modele będą łączyć różne mechanizmy sekwencyjne w zależności od urządzenia, obciążenia i wymaganej pamięci.

Deweloperzy powinni obserwować zweryfikowaną jakość w przeliczeniu na jednostkę mocy obliczeniowej, a nie deklaracje o śmierci transformera. Nabywcy korporacyjni powinni testować kompletne przepływy pracy, w tym wyszukiwanie, korzystanie z narzędzi, opóźnienia i kontrolę dostępu.

Który sygnał najszybciej zmieniłby Twoją strategię dotyczącą modeli: niezależnie zweryfikowana rzadka uwaga, szersze wsparcie dla modeli hybrydowych czy agent, który potrafi korzystać z wielomiesięcznej historii bez utraty szczegółów?