Nvidia DGX Spark vs AMD Strix Halo: Pojedynek lokalnej AI z 128 GB pamięci

Pod koniec 2025 roku próg wejścia w lokalne uruchamianie modeli o ogromnej liczbie parametrów się przesunął. Nie patrzymy już tylko na pojemność VRAM w kartach gamingowych; patrzymy na architektury pamięci zunifikowanej, które przenoszą specyfikacje centrów danych na biurko. Rynek wreszcie dał nam dwie odrębne drogi do 128 GB szybkiej pamięci bez pięciocyfrowej ceny klastrów przemysłowych: the Nvidia DGX Spark oraz AMD Strix Halo.

Wybór między nimi nie dotyczy lojalności wobec marki. Chodzi o zrozumienie dwóch fundamentalnie różnych filozofii. Jedna to wyspecjalizowane urządzenie zaprojektowane, by umieścić architekturę Grace Blackwell w obudowie o pojemności 1 litra. Druga to potężne APU, które zaciera granicę między wysokiej klasy komputerem stacjonarnym a stacją roboczą AI.

Ta analiza omawia rzeczywistą użyteczność obu rozwiązań, zaczynając od natychmiastowych problemów, z którymi zmagają się pierwsi użytkownicy.

Kluczowe doświadczenia użytkownika: rozwiązywanie problemów Nvidia DGX Spark i AMD Strix Halo

Zanim spojrzysz na surową przepustowość, musisz wiedzieć, jak naprawdę wygląda codzienne korzystanie z tych maszyn. Oba urządzenia mają specyficzne zachowania, które mogą zepsuć doświadczenie, jeśli nie wiesz, jak sobie z nimi radzić.

Rozwiązanie problemu wolnego ładowania Nvidia DGX Spark (poprawka mmap)

Jeśli rozpakujesz Nvidia DGX Spark, zainstalujesz środowisko, i spróbujesz załadować model taki jak gpt-oss-120b przez llama.cpp, możesz pomyśleć, że urządzenie jest wadliwe. Początkowe czasy ładowania mogą przeciągać się do ponad półtorej minuty (około 100 sekund). W przypadku urządzenia napędzanego superchipem GB10 Grace Blackwell wydaje się to powolne.

Społeczność zidentyfikowała winowajcę: mapowanie pamięci (mmap). Domyślne zachowanie wielu silników inferencyjnych koliduje ze sposobem, w jaki Spark obsługuje swoją pulę pamięci zunifikowanej.

Rozwiązanie: Musisz wyłączyć mmap w argumentach uruchomieniowych llama.cpp.

Po wyłączeniu tej flagi użytkownicy zgłaszają spadek czasu ładowania ze 100 sekund do około 22 sekund. Ta prosta zmiana sprawia, że Spark dorównuje konkurencji, a nawet ją przewyższa. Ponadto wyłączenie mmap wydaje się poprawiać szybkość przetwarzania promptów oraz stabilność generowania tokenów. Jeśli posiadasz to urządzenie, nie jest to opcjonalne; to obowiązkowy krok konfiguracji.

Optymalizacja AMD Strix Halo i ograniczenia sprzętowe

Model AMD Strix Halo (konkretnie warianty Ryzen AI Max+ 395) oferuje płynniejsze wdrożenie oprogramowania dla osób przyzwyczajonych do Windowsa lub standardowych dystrybucji Linuksa, ale ma własne zastrzeżenia fizyczne i programowe.

Po stronie oprogramowania, choć ROCm dojrzał, standardowe backendy inferencyjne mogą nie wykorzystywać pełni dostępnej wydajności. W przypadku zadań czysto inferencyjnych w llama.cpp przejście na backend Vulkan wykazało mierzalne zyski względem domyślnych konfiguracji na architekturze Strix Halo.

Konserwacja sprzętu to obszar, w którym AMD Strix Halo błyszczy w porównaniu ze swoim rywalem z zielonego zespołu. Jednostki takie jak HP Z2 Mini G1a oferują beznarzędziowe mechanizmy dostępu. Możesz wysunąć obudowę i wymienić standardowe dyski NVMe 2280 w kilka sekund.

Porównaj to z Nvidia DGX Spark. Wzornictwo przemysłowe Sparka jest frustrująco minimalistyczne. Brakuje mu diody zasilania, a nawet kontrolki aktywności portu sieciowego. Często trzeba wysłać ping do urządzenia tylko po to, by sprawdzić, czy jest włączone. Co gorsza, wewnętrzne gniazdo pamięci masowej używa formatu M.2 2242 — krótszego i rzadszego standardu niż wszechobecny 2280. Znalezienie wydajnego dysku SSD 4 TB lub 8 TB w rozmiarze 2242 jest trudne i kosztowne. Jeśli planujesz przechowywać ogromne zbiory danych na Sparku, przygotuj się na korzystanie z zewnętrznej pamięci sieciowej lub poszukiwanie rzadkich dysków.

Szczegółowa analiza wydajności: możliwości Nvidia DGX Spark

Model Nvidia DGX Spark to zasadniczo „laboratorium AI w pudełku”. Jego cena jest wyższa, około 3 999 USD, ale ten koszt obejmuje konkretne możliwości, których nie znajdziesz nigdzie indziej.

Generowanie obrazów i moc INT4 w Nvidia DGX Spark

Chociaż obie maszyny sprawnie obsługują duże modele językowe (LLM), to Nvidia DGX Spark miażdży konkurencję w generowaniu obrazów. W testach z FLUX.1 Dev (BF16) Spark osiąga około 120 TFLOPS.

Dla porównania Spark generuje obrazy około 2,5 raza szybciej niż AMD Strix Halo, który osiąga około 46 TFLOPS w podobnych obciążeniach. Jeśli Twój przepływ pracy obejmuje intensywne użycie modeli dyfuzyjnych, Spark natychmiast uzasadnia swoją wyższą cenę.

Architektura obsługuje również natywnie NVFP4 (4-bitową liczbę zmiennoprzecinkową). Teoretyczna przepustowość INT4 Sparka jest ogromna — 112 TOPS — przewyższając Halo niemal 9-krotnie. Jednak obecnie jest to raczej „potencjał” niż „rzeczywistość”. Ekosystem oprogramowania poza narzędziami Nvidia klasy enterprise nie nadążył jeszcze w pełni z efektywnym wykorzystaniem tej precyzji w loaderach dostępnych dla konsumentów. Kupujesz Sparka ze względu na to, co robi dziś z CUDA 13, ale także zakładasz, że przyszłe oprogramowanie odblokuje ten zapas możliwości INT4.

Kolejną wyróżniającą cechą jest sieć. Spark zawiera kartę ConnectX-7 200GbE. Dla pojedynczego użytkownika to przesada. Jednak dla małego laboratorium, które chce połączyć w klaster trzy lub cztery jednostki, aby uruchomić model o 400 mld parametrów, to połączenie jest bezcenne.

Król wszechstronności: analiza AMD Strix Halo

Model AMD Strix Halo jest znacznie tańszy, a jego cena oscyluje między 2 300 a 2 500 USD. Nie próbuje być węzłem serwerowym; próbuje być najlepszą stacją roboczą.

Wydajność CPU i codzienna użyteczność AMD Strix Halo

Model AMD Strix Halo wykorzystuje 16 rdzeni CPU Zen 5. W ogólnych zadaniach obliczeniowych, kompilacji i wstępnym przetwarzaniu danych znacząco przewyższa rdzenie ARM zastosowane w Sparku.

W benchmarkach obliczeń wysokiej wydajności, takich jak Linpack, Strix Halo zapewnia 1,6 TFLOPS wydajności podwójnej precyzji, ponad dwukrotnie więcej niż 708 GFLOPS Sparka. Jeśli Twój przepływ pracy AI obejmuje intensywne wstępne przetwarzanie po stronie CPU lub po prostu potrzebujesz, aby maszyna służyła również jako wydajny desktop deweloperski z Linuksem, Strix Halo jest logicznym wyborem.

Jeśli chodzi o generowanie tokenów przez LLM, walka jest zaskakująco wyrównana. Ponieważ inferencja LLM jest często ograniczona przepustowością pamięci, a nie czystą mocą obliczeniową, 128 GB LPDDR5X-8000 w Halo (około 256 GB/s) dotrzymuje kroku Sparkowi (około 273 GB/s). W wielu scenariuszach generowania tekstu różnica jest pomijalna.

Strix Halo stanowi płynną ścieżkę migracji. Ponieważ wykorzystuje ten sam stos ROCm i HIP co centra danych, rozwijany tutaj kod łatwo się skaluje, ale sama maszyna sprawia wrażenie standardowego, wydajnego komputera PC.

Dlaczego RTX 5090 nie pasuje do tej rozmowy

Nieuchronnie pojawia się pytanie: „Dlaczego po prostu nie kupić RTX 5090?”

Standardowy RTX 5090 to bestia pod względem surowej mocy obliczeniowej, znacznie przewyższająca oba modele: Nvidia DGX Spark i AMD Strix Halo pod względem FLOPS na dolara. Jednak napotyka twardą barierę: 32 GB VRAM.

W świecie lokalnych LLM-ów pamięć jest tlenem. Po prostu nie da się załadować modelu o 70 miliardach parametrów z wysoką precyzją ani modelu 120B z rozsądną kwantyzacją do 32 GB pamięci wideo. 5090 jest szybsza dla małych modeli, ale całkowicie zawodzi w przypadku dużych.

Krążą pogłoski i prototypy kart „128GB RTX 5090” w laboratoriach inżynieryjnych, niektóre wyceniane na zawrotnie wysokie kwoty powyżej 13 000 USD. Nie są to produkty konsumenckie. Dla użytkownika potrzebującego dziś 128 GB pamięci droga GPU wymaga wielu kart i złożonego zarządzania liniami PCIe. Spark i Halo oferują tę pojemność w jednym spójnym bloku pamięci.

Ostateczny werdykt: wybór stacji roboczej 128 GB

Decyzja między Nvidia DGX Spark a AMD Strix Halo sprowadza się do konkretnego potoku pracy.

Wybierz Nvidia DGX Spark jeśli:

• Potrzebujesz dedykowanego urządzenia do badań nad NVFP4 lub firmowej weryfikacji CUDA.

• Twój przepływ pracy intensywnie wykorzystuje generowanie obrazów (Flux, Stable Diffusion).

• Planujesz klastrować wiele jednostek za pomocą połączenia 200GbE.

• Nie przeszkadza Ci doświadczenie „serwera bez monitora” i administracja Linuksem.

Wybierz AMD Strix Halo, jeśli:

• Chcesz uzyskać najlepszy stosunek wartości do ceny (niemal połowa ceny Sparka).

• Potrzebujesz wszechstronnego sprzętu do codziennej pracy, który zarówno kompiluje kod, jak i generuje tekst.

• Priorytetem są dla Ciebie łatwe modernizacje sprzętowe (standardowe SSD).

• Twoim głównym celem jest inferencja tekstowa LLM, gdzie dorównuje użytecznością Sparkowi.

Obie maszyny dowodzą, że rok 2025 to czas, w którym lokalna AI z 128 GB stała się dostępna. Niezależnie od tego, czy wybierzesz dopracowane urządzenie zielonego zespołu, czy potężne APU czerwonego zespołu, dni niedoboru pamięci dobiegły końca.

FAQ

P: Czy mogę grać w gry na Nvidia DGX Spark?

O: Nie, Spark jest wyłącznie urządzeniem AI. Brakuje mu wyjść obrazu, takich jak DisplayPort (tylko HDMI), a architektura oparta na ARM w połączeniu ze sterownikami GPU dla centrów danych sprawia, że nie nadaje się do standardowego grania na PC.

P: Czy SSD w Nvidia DGX Spark można wymienić?

O: Tak, ale jest to trudne. Musisz zdemontować urządzenie od spodu i znaleźć SSD w formacie M.2 2242, który jest rzadszy i często droższy niż standardowe dyski 2280 używane w większości komputerów PC.

P: Czy AMD Strix Halo obsługuje Windows?

O: Tak, Strix Halo jest oparty na x86 i natywnie obsługuje Windows 11. Jednak dla maksymalnej wydajności AI i dostępu do pełnego stosu ROCm zazwyczaj zalecane jest środowisko Linux.

P: Jak głośny jest Nvidia DGX Spark pod obciążeniem?

O: Hałas wentylatora jest słyszalny, a metalowa obudowa może znacznie się nagrzewać ze względu na kompaktowy rozmiar 1 litra. Chociaż jest cichszy niż niektóre mini-PC z wentylatorami o wysokich obrotach, nie jest bezgłośny i najlepiej ustawić go z dala od bezpośredniego miejsca pracy, jeśli jesteś wrażliwy na hałas.

P: Jakie jest główne wąskie gardło dla LLM-ów na tych urządzeniach?

O: Przepustowość pamięci jest głównym wąskim gardłem. Pomimo pojemności 128 GB szybkość, z jaką dane przemieszczają się z pamięci do rdzeni obliczeniowych (przepustowość), ogranicza liczbę tokenów na sekundę, przez co Spark i Halo osiągają podobną wydajność w generowaniu tekstu mimo przewagi obliczeniowej Sparka.