Centrum danych AI Panmnesia CXL przenosi walkę o skalowanie poza GPU

Panmnesia zaproponowała architekturę centrum danych AI opartą na CXL, która koordynuje nawet 960 akceleratorów w jednej spójnej domenie wykonawczej. Projekt, opracowany wspólnie z badaczami Meta, ma sprawić, by zasoby rozmieszczone w szafach rack działały bardziej jak komponenty wewnątrz jednego dużego układu.

To twierdzenie zmienia znaną debatę o infrastrukturze AI. Kluczowe pytanie nie brzmi już tylko, która firma zbuduje najszybszy GPU. Chodzi o to, czy setki akceleratorów, urządzeń pamięciowych i procesorów mogą komunikować się wystarczająco przewidywalnie, aby działać jak jedna maszyna.

Centrum danych AI Panmnesia CXL pozostaje propozycją architektoniczną, a nie publicznie udokumentowanym wdrożeniem komercyjnym w pełnej skali. Ma jednak większą wiarygodność niż typowe ogłoszenie koncepcji. Projekt pojawia się w zaproszonym recenzowanym artykule przeglądowym, a Meta osobno przedstawiła wyniki produkcyjne własnej infrastruktury pamięci CXL.

Propozycja wykorzystuje Compute Express Link, czyli CXL, do rozwiązania trudnego problemu obecnego modelu centrów danych. CXL to otwarty standard połączeń, który wspiera spójną komunikację między procesorami, akceleratorami i pamięcią. Może zapewnić bardziej bezpośredni dostęp do zasobów niż tradycyjne warstwy sieciowe i programowe.

Panmnesia i Meta nie twierdzą, że CXL powinien zastąpić każde połączenie Ethernet lub InfiniBand. Ich argument jest węższy, lecz bardziej znaczący. Obciążenia wymagające ściśle zsynchronizowanego wykonania potrzebują bardziej przewidywalnej ścieżki między szafami rack, niż zwykle zapewniają sieci ogólnego przeznaczenia.

Propozycja traktuje centrum danych jako jedną jednostkę wykonawczą

Panmnesia i Meta chcą rozszerzyć koordynację na poziomie układu poza pojedyncze serwery i szafy rack.

Duże obciążenia AI dzielą obliczenia między wiele akceleratorów. Akceleratory te muszą wymieniać parametry modeli, wyniki pośrednie i komunikaty synchronizacyjne podczas trenowania lub inferencji.

Opóźniony uczestnik może zmusić wszystkie pozostałe urządzenia w swojej grupie do oczekiwania. Inżynierowie często nazywają takiego opóźnionego uczestnika maruderem. Wraz ze wzrostem systemów różnice między najszybszymi i najwolniejszymi ścieżkami komunikacji stają się coraz bardziej kosztowne.

Nowa architektura koncentruje się na ograniczaniu tego rozrzutu opóźnień. Średnie opóźnienie nadal ma znaczenie, ale przewidywalny czas dotarcia danych staje się równie istotny, gdy setki urządzeń muszą zakończyć tę samą zsynchronizowaną operację.

Zgodnie z opublikowaną propozycją one-chip, projekt umieściłby CPU, akceleratory i pamięć w hierarchicznej domenie CXL. Propozycja wykorzystuje trzy główne elementy sprzętowe do kontrolowania ścieżek komunikacyjnych.

Pierwszym jest przełącznik o wysokiej liczbie portów, pozbawiony blokowania. Wysoka liczba portów oznacza, że jedna warstwa przełączająca może połączyć wiele urządzeń. Konstrukcja non-blocking ma zapobiegać niepotrzebnemu wzajemnemu zakłócaniu się niezależnych połączeń.

Drugim komponentem jest jednostka przyspieszająca łącza. Ten sprzęt obsługuje funkcje komunikacyjne, które w przeciwnym razie wymagałyby większego przetwarzania programowego lub przejść między protokołami.

Trzecim elementem jest kontroler fabric. Zarządza on większym zbiorem połączonych zasobów i określa sposób organizacji urządzeń, dostępu do nich oraz ich izolacji.

Łącznie elementy te mają uczynić komunikację w całej fabric bardziej deterministyczną. Urządzenia nadal znajdują się na różnych płytach, serwerach i w szafach rack, lecz ich interakcje przebiegają kontrolowanymi ścieżkami sprzętowymi.

Opisany w ogłoszeniu system referencyjny łączy jeden CPU z dwoma akceleratorami. W proponowanym projekcie jeden CPU koordynowałby 16 akceleratorów, co oznacza ośmiokrotny wzrost.

Większa domena hierarchiczna mogłaby obejmować nawet 960 akceleratorów. W ogłoszeniu przedstawiono tę wartość jako skalę około 13 razy większą od platformy referencyjnej.

Propozycja zakłada również opóźnienie komunikacji w obie strony rzędu kilkuset nanosekund dla ścieżek, które w tradycyjnych sieciach zajmowałyby mikrosekundy. W modelowanym porównaniu oznacza to redukcję nawet o rząd wielkości.

Liczby te opisują architekturę przedstawioną w artykule przeglądowym. Nie należy ich interpretować jako niezależnie zweryfikowanych wyników produkcyjnej instalacji z 960 akceleratorami.

To rozróżnienie ma znaczenie. Artykuł przeglądowy może łączyć istniejące dowody, zasady projektowe i przyszłą architekturę. Nie dowodzi automatycznie, że każdy komponent działał wspólnie przy proponowanej maksymalnej skali.

Mimo to publikacja wyznacza wyraźny kierunek techniczny. Panmnesia traktuje kompletne centrum danych, a nie serwer, jako jednostkę projektowania sprzętowego.

Dlaczego skalowanie AI stało się problemem komunikacyjnym

Dodawanie akceleratorów zwiększa teoretyczną moc obliczeniową, ale zsynchronizowane obciążenia działają tylko tak szybko, jak najwolniejsza wymagana wymiana danych.

Dostawcy infrastruktury AI od lat zwiększają wydajność akceleratorów, przepustowość pamięci i gęstość szaf rack. Te usprawnienia nadal są ważne. Duży model rzadko działa jednak jako odizolowana sekwencja obliczeń na jednym urządzeniu.

Trenowanie rozdziela warstwy modelu i dane między wiele akceleratorów. Systemy inferencyjne również dzielą duże modele, indeksy wyszukiwania i tabele rekomendacyjne między wiele zasobów.

Każdy podział tworzy potrzebę komunikacji. Urządzenia muszą przesyłać aktywacje, gradienty, parametry i dane z pamięci podręcznej, pozostając zsynchronizowane z resztą zadania.

Problem rośnie szybciej, niż sugerowałaby sama liczba urządzeń. Dodanie akceleratora tworzy kolejnego uczestnika, ale może też zwiększyć liczbę relacji komunikacyjnych i dodać nowe potencjalne źródło opóźnień.

Sieci ogólnego przeznaczenia są projektowane z myślą o zróżnicowanym ruchu i elastycznym routingu. Ta elastyczność wprowadza interfejsy sieciowe, buforowanie, przetwarzanie protokołów, zarządzanie przeciążeniami i koordynację programową.

Funkcje te sprawiają, że Ethernet i InfiniBand są użyteczne w dużych obiektach. Tworzą jednak również zmienność czasową, którą muszą absorbować ściśle zsynchronizowane zadania AI.

W nowoczesnych szafach rack z akceleratorami dostawcy już stosują wyspecjalizowane połączenia scale-up, aby ograniczać te koszty. Nvidia wykorzystuje NVLink i NVLink Switch w obsługiwanych systemach. Branża rozwija również UALink jako otwarte połączenie scale-up dla akceleratorów.

Technologie te koncentrują się na ścisłym łączeniu urządzeń w ograniczonej domenie fizycznej. CXL rozwijał się wokół spójnych połączeń procesorów, akceleratorów i pamięci, w tym rozszerzania, łączenia w pule i współdzielenia pamięci.

Projekt Panmnesia rozszerza ten spójny model dalej. Jego głównym przeciwnikiem nie jest jedna konkretna firma produkująca układy. Jest nim koordynowana programowo, oparta na sieci ścieżka scale-out, stosowana gdy ściśle powiązane zadania przekraczają granice szaf rack.

Nie oznacza to, że Ethernet staje się przestarzały. Sieci scale-out pozostają niezbędne dla pamięci masowej, łączności w całym obiekcie, komunikacji usług i obciążeń tolerujących luźniejszą synchronizację.

Spór dotyczy ścieżki obliczeniowej. Panmnesia twierdzi, że powtarzane kopiowanie danych i ingerencja programowa nie powinny znajdować się między urządzeniami uczestniczącymi w jednej ściśle zsynchronizowanej operacji.

Produkcyjne doświadczenia Meta nadają temu argumentowi praktyczny kontekst. Firma opracowała Vistara, własną platformę rozszerzania pamięci CXL obejmującą krzem, firmware, obsługę systemu operacyjnego i wdrożenie we flocie.

Meta twierdzi, że Vistara działała w usługach produkcyjnych, w tym w rozproszonej inferencji uczenia maszynowego, bazach danych, cache'ach, przetwarzaniu big data i systemach budowania. Podsumowanie wdrożenia Vistara przygotowane przez CXL Consortium wskazuje na nawet 25 procent mniej serwerów dla rozproszonej inferencji.

To samo podsumowanie wskazuje na 29-procentowe zmniejszenie średniego opóźnienia w rozproszonych cache'ach. Są to deklarowane przez Meta wyniki produkcyjne, a nie benchmarki kompletnego projektu Panmnesia z 960 akceleratorami.

Mimo to pokazują, dlaczego CXL wyszedł poza dyskusję laboratoryjną. Hyperscalerzy mają obecnie dowody, że spójne rozszerzanie pamięci może wpływać na liczbę serwerów i opóźnienia usług.

Presja komercyjna dotyczy kilku grup. Dostawcy akceleratorów muszą pokazać, że ich systemy efektywnie wykorzystują kosztowne urządzenia. Operatorzy chmurowi muszą ograniczyć niewykorzystaną pojemność pamięci i mocy obliczeniowej. Dostawcy połączeń muszą zapewnić przewidywalną komunikację bez tworzenia nieelastycznej, własnościowej wyspy.

Dla nabywców korporacyjnych kwestia ta ostatecznie sprowadza się do planowania pojemności. System, który przydziela pamięć niezależnie od akceleratorów, może ograniczyć potrzebę zakupu kolejnego pełnego serwera tylko dlatego, że jeden zasób osiągnął swój limit.

Jak centrum danych AI Panmnesia CXL kontroluje opóźnienia

CXL zapewnia spójną komunikację, lecz mechanizm Panmnesia zależy od kontrolowania tras, buforów i hierarchii wokół tego standardu.

CXL działa na fizycznej podstawie PCI Express, dodając protokoły zapewniające spójny dostęp do pamięci i cache'a. Spójność pozwala połączonym komponentom utrzymywać jednolity widok współdzielonych danych.

Ta zdolność jest konieczna do wykonania przypominającego jeden układ, lecz nie jest wystarczająca. Standard może definiować sposób komunikacji urządzeń, nie gwarantując jednak identycznego opóźnienia w każdym możliwym projekcie systemu.

Duża fabric wprowadza przełączniki, kolejki, kontrolery, konflikty ruchu i trasy o różnej długości. Każdy z tych elementów może zwiększyć średnie opóźnienie lub poszerzyć różnice między pojedynczymi żądaniami.

Propozycja Panmnesia podkreśla zatem ograniczoną zmienność opóźnień. Architektura stara się uczynić trasy i zachowanie sprzętu przewidywalnymi, zanim zsynchronizowane obciążenie zacznie na nie oczekiwać.

Jej przełącznik o wysokiej liczbie portów zwiększa liczbę bezpośrednio zorganizowanych urządzeń. Struktura przełączająca non-blocking ma zachowywać równoczesne ścieżki, gdy pozwalają na to wzorce ruchu.

Jednostka przyspieszająca łącza przenosi wybrane zadania komunikacyjne do sprzętu. Może to ograniczyć ingerencję systemu operacyjnego i uniknąć części powtarzanych transferów między buforami zarządzanymi programowo.

Kontroler fabric organizuje zasoby w grupy hierarchiczne. Zamiast traktować każde urządzenie jako równie odległy punkt końcowy, projekt stosuje zasady rozmieszczenia przypominające bloki wewnątrz układu.

Komponenty często komunikujące się ze sobą mogą znajdować się w pobliskich regionach logicznych. Szersze połączenia łączą następnie te regiony w większą domenę.

Ta hierarchia ma znaczenie, ponieważ odległość fizyczna pociąga za sobą konsekwencje. Łącza elektryczne tracą jakość sygnału na dłuższych trasach, a retimery lub dodatkowe etapy przełączania mogą zwiększać opóźnienia.

Artykuł przeglądowy proponuje połączenia optyczne dla większego zasięgu między częściami fabric. CXL-over-optics zachowałby model komunikacji CXL, jednocześnie przesyłając sygnały dalej, niż pozwalają zwykłe ścieżki elektryczne lub kable.

Transport optyczny nie eliminuje kolejkowania, przeciążeń, awarii ani narzutu kontrolerów. Rozwiązuje problem fizycznego zasięgu i transportu sygnału, pozostawiając resztę architektury odpowiedzialną za przewidywalne wykonanie.

Standard branżowy również się rozwija. Oficjalna specyfikacja CXL 4.0 podwaja szybkość transmisji do 128 GT/s, obsługuje porty łączone i dodaje funkcje niezawodności pamięci.

Postęp specyfikacji zapewnia implementatorom większą przepustowość i elastyczność projektową. Nie gwarantuje jednak, że produkty różnych dostawców osiągną identyczne opóźnienia ani że będą bezproblemowo współpracować w skali centrum danych.

Panmnesia rozwija niższe warstwy potrzebne do sprawdzenia swojej tezy. Firma zaprezentowała oparty na krzemie kontroler CXL oraz przełącznik z routingiem opartym na portach na ISCA 2026.

Routing oparty na portach kieruje ruchem zgodnie z identyfikatorami portów urządzeń. Umożliwia bardziej elastyczne topologie niż hierarchiczne, drzewiaste trasowanie kojarzone z PCIe i wczesnymi implementacjami CXL.

Panmnesia twierdzi, że jej zoptymalizowany kontroler i przełącznik utrzymały dostęp do pamięci w podobnej klasie opóźnień, jednocześnie rozszerzając połączenia na dziesiątki serwerów. Opublikowane przez firmę wyniki krzemowe zostały przedstawione 29 czerwca w ścieżce branżowej konferencji ISCA.

Wyniki te potwierdzają pojedyncze mechanizmy stojące za większą architekturą. Nie dowodzą jednak, że cały projekt centrum danych osiągnął gotowość komercyjną.

Te wielowarstwowe dowody są mimo to godne uwagi. Wiele zapowiedzi infrastrukturalnych przechodzi bezpośrednio od diagramu do szeroko zakrojonych deklaracji wdrożeniowych. Panmnesia może wskazać na krzem kontrolera, implementację przełącznika, wcześniejsze kompletne frameworki systemowe oraz odrębne doświadczenia Meta z produkcji.

Brakującym krokiem jest integracja w zapowiadanej skali. Sprzęt, firmware, systemy operacyjne, oprogramowanie orkiestracyjne, łącza optyczne i zarządzanie awariami muszą wspólnie działać pod stałym obciążeniem.

CXL kwestionuje sztywne proporcje serwerów, a nie tylko opóźnienia sieciowe

Architektura ogranicza również marnotrawstwo zasobów powstające, gdy moc obliczeniową i pamięć kupuje się jako stałe zestawy serwerowe.

Serwer AI zawiera określoną kombinację CPU, akceleratorów, pamięci lokalnej i sieci. Taka konfiguracja nie może idealnie odpowiadać każdemu obciążeniu.

Jedna usługa może potrzebować znacznej mocy obliczeniowej akceleratorów, lecz umiarkowanej pojemności. Inna może przechowywać ogromne tabele embeddingów lub indeksy do wyszukiwania, wykorzystując relatywnie niewiele obliczeń arytmetycznych.

Operatorzy często reagują na niedobór pamięci, dodając kolejny kompletny serwer lub akcelerator. Nowa maszyna zapewnia pamięć, ale wprowadza też moc obliczeniową, której dane obciążenie może nie potrzebować.

Pule pamięci CXL rozdzielają te decyzje zakupowe. Pula pamięci może obsługiwać wielu hostów, a oprogramowanie przydziela pojemność zgodnie ze zmieniającym się zapotrzebowaniem.

Panmnesia analizowała ten model we wcześniejszych pracach nad zastosowaniami CXL. Jej pełnosystemowy framework łączył procesory CXL, GPU, ekspandery pamięci i systemy przełączników.

W zgłoszonych przez firmę testach zastosowań CXL Panmnesia umieściła bazę danych do wyszukiwania w dużej puli pamięci, uruchamiając jednocześnie inferencję modelu językowego na zasobach GPU. Firma podała wynik przekraczający sześciokrotnie wydajność porównywanej konfiguracji opartej na SSD.

To benchmark dostawcy o konkretnej konfiguracji. Nie należy uogólniać go na wszystkie systemy wyszukiwania, urządzenia pamięci masowej ani produkty CXL.

Przypadek użycia jest jednak konkretny. Generowanie wspomagane wyszukiwaniem, czyli RAG, pobiera istotne dokumenty, zanim model językowy wygeneruje odpowiedź. Duże indeksy wektorowe mogą zużywać znacznie więcej pojemności, niż zapewnia pojedynczy akcelerator.

Umieszczenie indeksu w pamięci współdzielonej może ograniczyć wolniejszy dostęp do pamięci masowej. Może również pozwolić kilku zasobom obliczeniowym korzystać z centralnie zarządzanej warstwy pojemności.

Ta sama logika dotyczy systemów rekomendacyjnych. Duże tabele embeddingów mogą wymagać znacznej ilości pamięci, lecz nie zawsze uzasadniają dodawanie GPU w stałych proporcjach.

Prace Meta nad Vistara pokazują inną odmianę tego podejścia. Firma wykorzystuje CXL do łączenia starszej pamięci DDR4 z nowszymi serwerami opartymi na procesorach DDR5.

Ponowne wykorzystanie pamięci może zmniejszyć presję na wymianę sprzętu i wydłużyć użyteczny okres eksploatacji istniejących komponentów. Wprowadza jednak również wyzwania inżynieryjne związane z niezawodnością, warstwami wydajności, firmware i zarządzaniem flotą.

Szersza zmiana polega na przejściu od kompozycji serwera do kompozycji zasobów. Operatorzy wybierają ilość mocy obliczeniowej, pamięci i akceleracji wymaganej przez obciążenie, zamiast akceptować proporcje wbudowane w jedną maszynę.

Jeśli ten model zadziała u różnych dostawców, nabywcy zyskają większą siłę negocjacyjną. Pamięć, procesory i akceleratory będą mogły ewoluować według odrębnych harmonogramów wymiany.

Jeśli pozostanie ograniczony do zastrzeżonych implementacji, hyperscalerzy mogą skorzystać, podczas gdy zwykłe przedsiębiorstwa staną przed kolejnym zbiorem niekompatybilnych platform.

Dlatego status CXL jako otwartego standardu jest istotny. Tworzy on wspólną bazę techniczną dla procesorów, urządzeń pamięciowych, przełączników i oprogramowania zarządzającego.

Otwartość na poziomie protokołu nie tworzy automatycznie konkurencyjnego rynku produktów. Nabywcy nadal potrzebują zweryfikowanych urządzeń, spójnych interfejsów zarządzania, mechanizmów bezpieczeństwa i niezawodnej interoperacyjności.

W tym miejscu pozycja Panmnesia staje się interesująca. Firma nie próbuje bezpośrednio konkurować z Nvidia, AMD ani niestandardowymi akceleratorami hyperscalerów pod względem surowej mocy obliczeniowej.

Sprzedaje warstwę łączącą, która określa, jak efektywnie urządzenia te współpracują. Jej wartość rośnie, gdy nabywcy łączą akceleratory różnych typów, podpinają większe pule pamięci i wymagają wyższego wykorzystania zasobów.

Największe deklaracje nadal wymagają dowodów na poziomie systemu

Opublikowana architektura i działający krzem ograniczają niepewność techniczną, lecz nie rozstrzygają kwestii niezawodności, bezpieczeństwa ani ekonomiki wdrożenia.

Pierwszą niewiadomą jest skala. Panmnesia twierdzi, że wdrożyła i zweryfikowała kluczowe komponenty, a następnie przygotowała je do komercyjnej dostawy.

Firma nie udokumentowała publicznie wdrożenia produkcyjnego, w którym 960 akceleratorów działa jako jedna spójna domena pod stałym obciążeniem klientów. Czytelnicy powinni rozróżniać maksymalną konfigurację architektury od zaobserwowanego wdrożenia.

Drugą niewiadomą jest ograniczanie skutków awarii. Większa domena wykonawcza może poprawić współdzielenie, lecz tworzy również więcej zależności, które oprogramowanie infrastrukturalne musi monitorować.

Propozycja zakłada, że uszkodzony sprzęt można wymieniać na poziomie urządzenia zamiast wymieniać cały serwer. Taka bardziej szczegółowa jednostka wymiany może ograniczyć marnotrawstwo i poprawić serwisowalność.

Operatorzy potrzebują jednak również dowodów, że awaria jednego urządzenia nie może uszkodzić współdzielonego stanu ani zatrzymać znacznie większej części infrastruktury. Zachowanie podczas odzyskiwania ma równie duże znaczenie jak opóźnienie w normalnym przebiegu.

Trzecią niewiadomą jest przeciążenie. Konstrukcje przełączników bez blokowania ograniczają pewne konflikty, lecz rzeczywiste obciążenia AI mogą generować skoncentrowane wzorce ruchu.

Wiele akceleratorów może żądać tego samego regionu pamięci lub komunikować się podczas tej samej fazy synchronizacji. Kilkaset nanosekund w kontrolowanych warunkach nie gwarantuje takiego samego wyniku przy szczytowej rywalizacji o zasoby.

Czwartą kwestią jest hierarchia pamięci. Zdalna pamięć współdzielona może zapewniać większą pojemność, lecz nie odpowiada wszystkim właściwościom lokalnej pamięci o wysokiej przepustowości.

HBM znajduje się blisko akceleratora i zapewnia przepustowość odpowiednią dla intensywnych obliczeń modelu. Pamięć CXL może uzupełniać tę warstwę, szczególnie dla danych wymagających dużej pojemności, ale nie może po prostu zastąpić HBM we wszystkich operacjach.

Architektura wymaga więc inteligentnego rozmieszczania danych. Często używane dane wrażliwe na opóźnienia powinny pozostawać blisko akceleratora. Większe lub mniej wrażliwe czasowo dane mogą zajmować współdzieloną pojemność.

Oprogramowanie musi rozumieć te różnice. W przeciwnym razie teoretycznie większa przestrzeń pamięci może prowadzić do niestabilnej wydajności aplikacji.

Piątą niewiadomą jest bezpieczeństwo. Rozszerzenie spójnego dostępu na wiele szaf zwiększa znaczenie izolacji, kontroli dostępu, szyfrowania i zarządzania infrastrukturą.

Błąd konfiguracji w konwencjonalnej sieci może narazić usługę na ujawnienie. Błąd w strukturze pamięci współdzielonej mógłby wpłynąć na bezpośredni dostęp do danych używanych przez wiele urządzeń.

CXL obejmuje możliwości związane z bezpieczeństwem i niezawodnością, a nowsze rewizje nadal je rozwijają. Nabywcy produkcyjni będą jednak nadal wymagać walidacji w zakresie krzemu, firmware, oprogramowania zarządzającego i procedur operacyjnych.

Zużycie energii pozostaje kolejną otwartą kwestią. Wydajniejsza pula zasobów może ograniczyć liczbę niepotrzebnych serwerów i poprawić wykorzystanie sprzętu.

Jednak przełączniki, retimery, moduły optyczne, kontrolery i większe systemy pamięci zużywają energię. Istotnym pomiarem jest całkowita energia na ukończone obciążenie, a nie pobór mocy jednego komponentu.

Ostatnią niewiadomą jest ekonomika. Architektura Panmnesia obiecuje mniej niewykorzystanych zasobów i bardziej granularną wymianę.

Oszczędności te muszą przewyższać koszt nowych przełączników, kontrolerów, optyki, integracji, walidacji i szkoleń operacyjnych. Hyperscalerzy mogą amortyzować niestandardowe prace inżynieryjne w ogromnych flotach, podczas gdy mniejsi operatorzy mają inne progi opłacalności.

Dlatego udział Meta ma znaczenie, choć nie stanowi uniwersalnego potwierdzenia. Meta wnosi doświadczenie z systemów wdrożonych w rozległej infrastrukturze.

Jej dowody pokazują, że rozszerzanie pamięci CXL może tworzyć wartość produkcyjną. Nie dowodzą, że każdy element proponowanej przez Panmnesia domeny między szafami osiągnie ten sam poziom dojrzałości.

Odpowiedzialna interpretacja nie polega ani na odrzuceniu, ani na bezkrytycznej akceptacji. Panmnesia połączyła wiarygodny problem, otwarty standard, wdrożone komponenty i dowody operacyjne ze skali hyperscale w jedną architekturę.

Pozostała praca polega na wykazaniu, że te elementy zachowują swoje zalety po połączeniu w pełnej skali.

Trzy sygnały pokażą, czy architektura nadaje się do wdrożenia

Kolejny etap musi zastąpić maksima architektoniczne powtarzalnymi dowodami dotyczącymi obciążeń, interoperacyjności i klientów.

Pierwszym sygnałem będzie demonstracja pełnej szafy lub wielu szaf uruchamiających uznane obciążenie AI. Panmnesia powinna ujawnić liczbę akceleratorów, topologię, konfigurację pamięci, stos programowy i warunki ruchu.

Najbardziej użyteczne wyniki obejmowałyby opóźnienie ogonowe, przepustowość, wykorzystanie zasobów, zużycie energii i czas odzyskiwania. Sama średnia wartość opóźnienia nie sprawdziłaby kluczowej obietnicy projektu, czyli przewidywalnego wykonywania zadań.

Demonstracja zbliżona do proponowanej domeny 960 akceleratorów mocno wsparłaby tezę o działaniu jak jeden układ. Znacznie mniejsza demonstracja również byłaby pomocna, pod warunkiem że firma wyjaśniłaby skalowanie wyników.

Drugim sygnałem będzie interoperacyjność między dostawcami. Otwarta architektura CXL staje się komercyjnie istotna, gdy procesory, akceleratory, urządzenia pamięciowe, przełączniki i narzędzia zarządzania od różnych dostawców działają razem.

Testy powinny obejmować długotrwałą pracę, wstrzykiwanie błędów, aktualizacje firmware, wymianę urządzeń i izolację bezpieczeństwa. Udane wdrożenie wielodostawcowe wzmocniłoby argumentację Panmnesia przeciwko zastrzeżonym wyspom infrastrukturalnym.

Utrzymujące się problemy z kompatybilnością osłabiłyby ją. Nabywcy nie chcą elastyczności zasobów za cenę wyjątkowo kruchego procesu kwalifikacji.

Trzecim sygnałem będzie nazwany klient produkcyjny lub wdrożenie proof-of-concept. Panmnesia poinformowała, że jej kluczowe komponenty zbliżają się do komercyjnej dostępności.

Test klienta powinien ujawnić, czy współdzielone zasoby zmniejszają całkowitą liczbę serwerów lub akceleratorów potrzebnych dla rzeczywistej usługi. Powinien także pokazać, czy oszczędności operacyjne przetrwają dodatkowy koszt infrastruktury.

SK Telecom stanowi jeden istotny test. Obie firmy wcześniej uzgodniły rozwój i walidację opartej na CXL szafy AI przy użyciu rzeczywistych modeli, mierząc wykorzystanie GPU, wykorzystanie pamięci, opóźnienie i przepustowość.

Wyniki tych prac połączyłyby działalność komponentową Panmnesia z wymaganiami operacyjnymi twórcy centrum danych. Publiczne pomiary miałyby większą wagę niż kolejny diagram architektury.

Sygnały te wyjaśnią również, gdzie CXL mieści się obok Ethernet, InfiniBand, NVLink i UALink. Najbardziej prawdopodobnym rezultatem jest infrastruktura warstwowa, a nie jedno uniwersalne połączenie.

Lokalne łącza akceleratorów mogą obsługiwać komunikację najbardziej wrażliwą na przepustowość. CXL może organizować spójną pamięć i zasoby scale-up. Ethernet lub InfiniBand mogą nadal obsługiwać szerszy ruch scale-out.

Wkład Panmnesia polega na przekonaniu, że warstwa spójności powinna sięgać znacznie dalej niż obecnie. To techniczny i komercyjny zakład na przewidywalność.

Dla deweloperów efekt może zmienić sposób, w jaki duże modele i systemy wyszukiwania alokują pamięć. Aplikacje mogłyby traktować pojemność jako zarządzany zasób infrastruktury, a nie sztywną granicę wokół każdego serwera.

Dla klientów korporacyjnych wartość wynikałaby z wyższego wykorzystania zasobów i większej niezależności cykli modernizacji. Korzyści te pozostają jednak uzależnione od tego, czy narzędzia do zarządzania uczynią dodatkową topologię zrozumiałą.

Zespoły inżynieryjne będą musiały zachowywać wyniki benchmarków, decyzje konfiguracyjne, zapisy incydentów i ustalenia dotyczące kompatybilności w miarę rozwoju tych systemów. Przeszukiwalna baza wiedzy może pomóc zespołom połączyć te dowody operacyjne rozproszone po lokalnych dokumentach technicznych.

Propozycja centrum danych AI CXL firmy Panmnesia zasługuje na uwagę, ponieważ przenosi debatę o skalowaniu z szybkości komponentów na koordynację systemu. Jednocześnie wyznacza mierzalny standard własnego sukcesu.

Warto obserwować test obciążeniowy obejmujący wiele szaf rackowych, interoperacyjność między dostawcami oraz wskazane wdrożenie produkcyjne. Jeśli wszystkie trzy elementy pojawią się wraz z odtwarzalnymi danymi, centrum danych może zacząć działać mniej jak sieć maszyn, a bardziej jak jeden starannie zorganizowany komputer.