Kimi K3 działa na M1 Max, a openai max to niewłaściwy punkt odniesienia

Kimi K3 działa teraz na M1 Max z 64 GB pamięci z deklarowaną szybkością 0,0687 tokena na sekundę, co zmienia perspektywę tego, co powinno pokazywać wyszukiwanie openai max. Deltafin, niewielki projekt badawczy, wykonuje model Moonshot AI o 2,8 biliona parametrów bez ładowania do pamięci całego zestawu wag. Rezultat jest imponujący technicznie i praktycznie lodowato powolny.

Projekt nie zamienia Maca z 2021 roku w konkurencyjny serwer AI. Jego mediana czasu dekodowania wynosi 14,6 sekundy na token przy pełnej lokalnej instalacji. Umiarkowanie długa odpowiedź może zajmować maszynę przez wiele godzin, a agentowa sesja programistyczna pozostaje raczej demonstracją niż realnym przepływem pracy.

Ta różnica między możliwością a użytecznością jest istotą tej historii. Deltafin podważa założenie, że ogromne modele wymagają ogromnej pojemności pamięci. Nie podważa natomiast responsywności systemów hostowanych przez OpenAI, Anthropic, Moonshot ani innych dostawców infrastruktury.

Eksperyment odsłania inną granicę. Otwarte wagi pozwalają niezależnym deweloperom przeprojektowywać inferencję wokół pamięci masowej, presji na pamięć i obliczeń rzadkich. Powstały system poszerza zakres miejsc, w których model może działać, nawet jeśli nie może zapewnić szybkości oczekiwanej przez użytkowników.

Deltafin przepuszcza 2,8 biliona parametrów przez 64 GB

Deltafin zmienia znaczenie „uruchamiania lokalnie”, oddzielając dostęp do modelu od jego rezydencji w pamięci.

Moonshot AI zaprezentowało Kimi K3 16 lipca 2026 roku. Firma opisuje go jako natywnie multimodalny model o 2,8 biliona parametrów i oknie kontekstowym obejmującym milion tokenów. Opublikowana architektura aktywuje podczas przejścia w przód 104 miliardy parametrów, zamiast używać każdego parametru dla każdego tokena.

Ten projekt nazywa się mixture of experts, czyli MoE. MoE dzieli części sieci neuronowej na wyspecjalizowane grupy parametrów i kieruje każdy token przez ograniczony wybór z nich. Kimi K3 zawiera 896 ekspertów kierowanych przez router, z których 16 jest wybieranych w każdej istotnej warstwie.

To rozróżnienie umożliwia działanie Deltafin. Gęsty model o 2,8 biliona parametrów musiałby odczytywać i przetwarzać pełną pulę parametrów dla każdego tokena. Rzadkie routowanie Kimi K3 pozwala środowisku wykonawczemu pobierać wyłącznie ekspertów wybranych przez router modelu.

Opiekun Deltafin podaje, że opublikowane wagi Kimi K3 zajmują około 1,56 TB. Około 114 GB tworzy rezydentny rdzeń modelu, obejmujący komponenty attention, embeddingi, wspólnych ekspertów i projekcje ukryte. Kolejne 1,45 TB zawiera 82 432 ekspertów kierowanych przez router.

Żadna z tych grup nie mieści się w 64 GB pamięci zunifikowanej w pierwotnej postaci. Deltafin traktuje więc szybką lokalną pamięć masową jako kolejny poziom hierarchii pamięci. Odczytuje rdzeń warstwa po warstwie i ładuje wybranych ekspertów z dysku, gdy każdy token przechodzi przez sieć.

W repozytorium Deltafin podano medianę stabilnej szybkości dekodowania na poziomie 0,0687 tokena na sekundę. Odpowiada to 14,6 sekundy na token, czyli około 4,1 tokena na minutę. Zmierzony zakres w sześciu uruchomieniach pełnego modelu wyniósł od 0,0503 do 0,0779 tokena na sekundę.

Liczby te uzyskano na jednym M1 Max z 64 GB pamięci, 10-rdzeniowym CPU, 32-rdzeniowym GPU i wewnętrzną pamięcią SSD. Pełny model był przechowywany lokalnie. Test wykorzystywał dekodowanie zachłanne, dokładne ustawienia numeryczne, rdzeń int8 oraz wyłączone śledzenie.

Prompt benchmarku zawierał pięć tokenów. Deltafin wygenerował zweryfikowaną trzytokenową kontynuację, przy czym początkowy krok dekodowania wyłączono z obliczenia stabilnej szybkości. Mediana czasu modelu dla tych trzech wygenerowanych tokenów wyniosła 56,5 sekundy, podczas gdy czas rzeczywisty świeżego procesu osiągnął 64,1 sekundy.

Nie jest to niezależny benchmark ani reprezentatywna średnia dla różnych urządzeń. To punkt odniesienia uruchomiony przez opiekuna projektu na jednej maszynie. Repozytorium publikuje konfigurację i zakres wyników, lecz szersza replikacja pozostaje ograniczona.

Mimo tego zastrzeżenia eksperyment przekracza znaczącą granicę. Według doniesień pierwotna działająca wersja potrzebowała około 20 minut na token. Obecny wynik Deltafin oznacza około 82-krotną poprawę względem tego wewnętrznego punktu wyjścia.

Poprawa zmienia niemal statyczną demonstrację w obserwowalne generowanie. Nadal nie zapewnia interaktywnej rozmowy. To rozróżnienie determinuje każdą praktyczną ocenę projektu.

Dlaczego M1 Max może uczestniczyć, ale nie może nadążyć

M1 Max wnosi użyteczną moc obliczeniową, lecz Deltafin jest zasadniczo ograniczony przez przesyłanie wag przez pamięć masową.

Apple zaprezentowało M1 Max w październiku 2021 roku, oferując obsługę do 64 GB pamięci zunifikowanej. Pamięć zunifikowana daje CPU i GPU dostęp do jednej wspólnej puli, ograniczając część kopiowania między oddzielnymi przestrzeniami pamięci.

Apple określiło również przepustowość pamięci układu na maksymalnie 400 GB na sekundę. Te cechy pomagają lokalnemu oprogramowaniu AI uniknąć sztywnego podziału między pamięcią systemową a pamięcią dyskretnego GPU. Nie sprawiają jednak, że terabajty wag modelu mieszczą się w 64 GB.

Deltafin omija ograniczenie pojemności, zamiast eliminować tę niezgodność. Konwertuje rezydentny rdzeń do int8, ośmiobitowej reprezentacji, która zmniejsza jego zapotrzebowanie na pamięć z około 114 GB do około 60 GB. Wybrane warstwy mogą następnie przechodzić przez pamięć, podczas gdy inne dane pozostają na dysku.

Eksperci kierowani przez router używają wag MXFP4, czterobitowego formatu zmiennoprzecinkowego mającego zmniejszać rozmiar modelu i transfer danych. Moonshot informuje, że Kimi K3 otrzymał trening świadomy kwantyzacji już od etapu supervised fine-tuning. Oznacza to, że zachowanie przy niskiej precyzji uwzględniono podczas treningu, zamiast dodać je dopiero po wydaniu modelu.

Oficjalny kod Kimi K3 rekomenduje serwerowe silniki inferencyjne, takie jak vLLM i SGLang. Deltafin obiera inną drogę, dodając natywne kernely oraz wykonanie uwzględniające pamięć masową dla sprzętu znacznie słabszego niż konwencjonalny cel wdrożeniowy.

Dla każdego wygenerowanego tokena router wybiera 16 ekspertów w 92 warstwach kierowanych przez router. Deltafin podaje, że proces ten odczytuje około 25,8 GB danych ekspertów na token. Lokalna pamięć masowa może obsłużyć te odczyty w sekundy, podczas gdy pobieranie przez sieć może trwać minuty.

Wyjaśnia to, dlaczego deklarowana przepustowość pamięci M1 Max nie determinuje końcowej wydajności. GPU nie może przetwarzać danych, które jeszcze nie dotarły. Opóźnienia dysku, przepustowość pamięci masowej, dekompresja, przygotowanie wag i synchronizacja trafiają na ścieżkę krytyczną.

Projekt wykorzystuje ładowanie w tle i prefetching ekspertów, aby nakładać część pracy. Mapowanie pamięci pozwala środowisku wykonawczemu uzyskiwać dostęp do danych ekspertów bez wielokrotnego kopiowania całych plików. Natywne kernely Metal wykonują obliczenia wybranych ekspertów na ścieżce GPU Apple.

Deltafin obejmuje także kernely łączone, które scalają wiele operacji, aby ograniczyć pośredni transfer danych i narzut uruchamiania. Optymalizacje te mają znaczenie, ponieważ niewielkie nieefektywności powtarzają się w dziesiątkach warstw dla każdego tokena.

Żaden kernel nie może jednak wyeliminować wymogu odczytu 25,8 GB danych ekspertów przy zachowaniu tego samego routowania i wag. Pełna lokalna instalacja przenosi ten ruch na wewnętrzny dysk. Strumieniowanie przenosi chybienia do zdalnego hosta i zwiększa opóźnienie.

Oryginalne specyfikacje M1 Max firmy Apple stanowią ważny test rzeczywistości. Układ zaprojektowano z myślą o wysokowydajnych zadaniach laptopowych, w tym grafice i przetwarzaniu multimediów. Nie zaprojektowano go jako pamięci dla modelu językowego o rozmiarze 1,56 TB.

Rezultat to imponujące wykorzystanie architektury maszyny, a nie dowód na zniknięcie ograniczeń sprzętowych. Deltafin utrzymuje obliczenia w ruchu, wielokrotnie wymieniając pojemność na czas.

To wyjaśnia, dlaczego eksperyment ma znaczenie dla badaczy systemów. Pokazuje, że „zbyt duży, by go załadować” nie jest równoznaczne z „niemożliwy do wykonania”. Pokazuje też, że samo wykonanie jest niepełną miarą opłacalności wdrożenia.

Porównanie z openai max to możliwość kontra responsywność

Deltafin konkuruje z założeniem stojącym za hostowaną inferencją, a nie z doświadczeniem, jakie zapewnia hostowana inferencja.

Wyszukiwanie openai max sugeruje użytkownika szukającego większych możliwości modelu, wyższego wysiłku rozumowania lub najwyższego limitu produktu. Deltafin odpowiada na inne pytanie: jaki jest największy otwarty model, który zdeterminowany deweloper może przepuścić przez jedną stację roboczą?

Hostowane systemy AI optymalizuje się pod kątem umowy usługowej. Użytkownicy oczekują przetwarzania promptów, generowanych tokenów, współbieżności, dostępności i przewidywalnych opóźnień. Dostawcy rozdzielają tę pracę między akceleratory i wspierającą infrastrukturę, którą zwykli użytkownicy nigdy nie zarządzają.

Deltafin optymalizuje się pod kątem lokalnej wykonalności. Jego celem jest zachowanie opublikowanych wag i ścieżki modelu Kimi K3 przy działaniu pod skrajnymi ograniczeniami pamięci. To cel badawczy, a nie zamiennik responsywnego komercyjnego endpointu.

Projekt udostępnia serwer zgodny z OpenAI, co oznacza, że jego endpointy HTTP korzystają ze znanych formatów żądań i odpowiedzi. Implementuje chat completions, text completions, listowanie modeli oraz strumieniowane wyjście. Deweloperzy mogą skierować zgodnych klientów na lokalny bazowy URL.

Zgodność nie oznacza równoważnego działania. Deltafin obsługuje jednocześnie tylko jedno żądanie generowania. Drugie równoległe żądanie otrzymuje odpowiedź HTTP 429. Parametry temperature i top-p są akceptowane, lecz ignorowane, ponieważ obecny system używa dekodowania zachłannego.

Opiekun projektu zaleca ustawianie timeoutów klienta w godzinach, a nie sekundach. Ta rada lepiej niż jakikolwiek diagram architektury oddaje skalę różnicy. Znajome API może ukrywać różnice interfejsu, ale nie może ukryć fizycznego czasu oczekiwania.

Agenci programistyczni dobrze ilustrują problem. Takie narzędzia często wysyłają długie prompty systemowe, kontekst repozytorium, definicje narzędzi i historię rozmowy, zanim zażądają pierwszego użytecznego działania. Deltafin ostrzega, że takie prompty sprawiają, iż prefill, czyli początkowe przetwarzanie tokenów wejściowych, jest szczególnie kosztowne.

Asystent programistyczny może też wymagać wielu sekwencyjnych wywołań modelu. Jedna odpowiedź proponuje polecenie, kolejna interpretuje jego wynik, a późniejsze wywołania modyfikują pliki lub sprawdzają testy. Przy 14,6 sekundy na wygenerowany token opóźnienie kumuluje się na każdym etapie.

Własne wdrożenie Moonshot obsługuje interfejsy zgodne z OpenAI i Anthropic. Dokumentacja modelu podaje, że Kimi K3 zawsze korzysta z rozumowania i zwraca oddzielne pole reasoning. Domyślny wysiłek rozumowania to „max”, a przez API dostępne są również ustawienia niższe i wyższe.

Ta oficjalna usługa stanowi właściwy punkt odniesienia dla osoby oceniającej codzienne użycie Kimi K3. Deltafin jest właściwym punktem odniesienia dla osoby badającej lokalne wykonanie, rzadkie routowanie, strumieniowanie wag lub powtarzalną inferencję.

Prywatność stanowi kolejne rozróżnienie. Pełna instalacja Deltafin może generować tokeny bez dostępu do sieci po pobraniu wag. Prompty i wygenerowany tekst mogą pozostać na stacji roboczej, pod warunkiem że użytkownik kontroluje także połączone aplikacje i logowanie.

Ta właściwość może zainteresować badaczy pracujących z wrażliwymi szkicami lub zastrzeżonym kodem. Lokalna obróbka nie czyni jednak automatycznie systemu odpowiednim dla danych regulowanych ani produkcyjnych. Operatorzy nadal muszą sprawdzać zależności, kontrolę dostępu, logi, licencjonowanie modelu i zachowanie aplikacji.

Artykuł o Kimi K3 opisuje model z natywną obsługą obrazu i oknem kontekstowym obejmującym milion tokenów. Benchmark Deltafin nie potwierdza praktycznej wydajności w całym tym kontekście, dla wejść multimodalnych ani przy długotrwałych obciążeniach agentowych.

Dlatego porównanie z openai max powinno pozostać wąskie. Deltafin rozszerza zestaw sprzętu, który może wykonywać model otwarty w skali frontier. Nie dorównuje jednak opóźnieniom, współbieżności, dojrzałości operacyjnej ani wygodzie usługi hostowanej.

Presja dotyczy mniej komercyjnych API niż konwencjonalnych założeń wdrożeniowych. Twórcy infrastruktury nie mogą już traktować pojemności RAM jako jedynej twardej granicy. Środowiska wykonawcze świadome nośnika pamięci oferują teraz inną drogę, choć wiąże się ona z dużymi opóźnieniami.

Pełna instalacja i strumieniowanie tworzą dwa różne eksperymenty

Dwa tryby instalacji Deltafin dowodzą, że lokalizacja danych ma niemal tak duże znaczenie jak rozmiar modelu.

Zalecana pełna instalacja wymaga około 1,7 TB lokalnego miejsca na dysku. Deltafin szacuje czas pobierania na od pięciu do dziesięciu godzin, z możliwością wznawiania transferów. Po instalacji inferencja nie wymaga już dostępu do sieci.

Ta konfiguracja zapewniła zgłoszony medianowy czas tokena wynoszący 14,6 sekundy. Przechowuje całą pulę ekspertów lokalnie, dzięki czemu każdy wybrany ekspert jest odczytywany z dysku zamiast pobierany przez HTTP.

Instalacja strumieniowa wymaga około 215 GB. Jej początkowe pobieranie trwa według projektu około 30 minut. Brakujący eksperci są pobierani z plików Kimi K3 na Hugging Face i dodawani do rosnącego lokalnego cache'a.

Niższy próg wejścia wiąże się z brutalną karą wydajnościową. Deltafin szacuje czas przekraczający trzy minuty na token, gdy potrzebni eksperci nie są jeszcze zapisani w cache'u. Wstępne przetwarzanie czatu może trwać godzinami, ponieważ prompt angażuje wielu ekspertów, zanim rozpocznie się generowanie.

Wejście o długości 60 tokenów nie jest niczym niezwykłym nawet dla minimalnego szablonu czatu. Asystenci produkcyjni często wysyłają tysiące tokenów. Tryb strumieniowy może więc poświęcić dużo czasu na pobieranie ekspertów, zanim użytkownik zobaczy pierwszy wygenerowany token.

Cache przyspiesza powtarzalne ścieżki, gdy przyszłe prompty są kierowane do ekspertów już zapisanych lokalnie. Rzadkie trasowanie zależy jednak od danych wejściowych. Cache rozgrzany przez jedno zadanie nie gwarantuje, że inne zadanie wykorzysta ten sam wzorzec ekspertów.

Deltafin zawiera narzędzie do rozgrzewania w czasie bezczynności, które klasyfikuje brakujących ekspertów na podstawie zapisanych śladów routera. Mechanizm może wstępnie pobrać prawdopodobnych ekspertów i przekonwertować starsze wpisy cache'a do szybszego formatu raw. Pobieranie z sieci pozostaje wyraźnym działaniem operatora.

Użytkownicy mogą także zacząć od strumieniowania, a później pobrać kompletną pulę ekspertów. Proces można wznawiać i zachowuje istniejące dane cache'a. Ta ścieżka aktualizacji sprawia, że strumieniowanie staje się trybem próbnym, a nie trwałym wyborem architektonicznym.

Mimo to nawet pełna instalacja wymaga czegoś więcej niż wolnej pojemności dysku. Odczytywanie 25,8 GB na każdy wygenerowany token wywiera ciągłą presję na dysk. Długie uruchomienia tworzą obciążenie intensywnie wykorzystujące pamięć masową, odmienne od zwykłego użycia aplikacji.

Nośniki SSD mają również ograniczoną wytrzymałość zapisu, choć w stabilnej ścieżce pełnej instalacji Deltafin głównie odczytuje istniejące wagi. Strumieniowanie i konwersja cache'a dodają operacje zapisu. Rzeczywisty wpływ zależy od długości obciążenia, zachowania cache'a, konstrukcji dysku i dostępnej pojemności zapasowej.

Benchmark projektu korzysta z wewnętrznego dysku M1 Max. Wyników z dysków zewnętrznych, pamięci sieciowej, niemal zapełnionych woluminów lub systemów ograniczonych termicznie nie należy uznawać za równoważne. Repozytorium nie przedstawia szerokiego porównania pamięci masowej.

Pełna instalacja modelu tworzy też tarcia operacyjne. Użytkownicy muszą zarezerwować terabajty, utrzymywać zależności, kompilować natywne biblioteki i zarządzać aktualizacjami. W systemie macOS wymagane są zgodne środowisko Python oraz narzędzia programistyczne Apple.

Te ograniczenia nie podważają projektu. Definiują jego odbiorców. Deltafin pasuje do badaczy, inżynierów inferencji i entuzjastów modeli lokalnych, którzy traktują konfigurację i pomiary jako część wartości.

Tryb strumieniowy służy innemu celowi. Pokazuje, że kompletne posiadanie wszystkich wag ekspertów nie jest wymagane przed rozpoczęciem wykonania. Ta idea mogłaby wpłynąć na przyszłe środowiska wykonawcze wykorzystujące wielowarstwową pamięć masową, współdzielone cache'e sieciowe lub predykcyjne rozmieszczanie ekspertów.

Obecne liczby ujawniają też granicę. Pobieranie ekspertów przez internet zmienia generowanie z powolnego w ledwie interaktywne. Model technicznie działa, ale większość praktycznych rozmów załamuje się pod ciężarem czasu oczekiwania.

Benchmark jest wystarczająco realny, by go badać, ale zbyt wąski, by uogólniać

Zgłoszony wynik jest transparentny, lecz jedna maszyna i jedno krótkie dokończenie nie mogą ustalić codziennej wydajności Kimi K3.

Deltafin publikuje więcej szczegółów metodologicznych niż wiele amatorskich twierdzeń dotyczących inferencji. Opiekun projektu wskazuje procesor, pojemność pamięci, konfigurację GPU, lokalizację pamięci masowej, ustawienia numeryczne, prompt, oczekiwane wyjście oraz sposób traktowania pierwszego tokena.

Sześć uruchomień pełnego modelu wykorzystywało zrównoważoną kolejność wykonania, mającą ograniczyć dryf między konfiguracjami. Raportowane wartości to mediany, a nie pojedynczy najlepszy wynik. Repozytorium podaje również zakres wskazujący na znaczące wahania na tej samej maszynie.

Ta transparentność wzmacnia wynik. Nie zamienia go jednak w niezależną walidację. Opiekun projektu opracował optymalizacje i przeprowadził referencyjny benchmark, co tworzy zwyczajową potrzebę replikacji przez innych operatorów.

Prompt testowy jest też celowo mały. „Stolicą Francji jest” uruchamia pełną ścieżkę forward, lecz nie reprezentuje długiego rozumowania, programowania, wejścia wizyjnego, wywoływania narzędzi ani dużego okna kontekstowego.

Zweryfikowana kontynuacja o długości trzech tokenów potwierdza, że model wygenerował oczekiwaną krótką sekwencję w testowanej konfiguracji. Nie mierzy jednak jakości odpowiedzi w różnych zadaniach. Nie może też wykazać, czy dłuższe generowanie utrzymuje tę samą przepustowość.

Dekodowanie zachłanne ułatwia dokładne odtworzenie, ponieważ środowisko wykonawcze zawsze wybiera kolejny token o najwyższym wyniku. Typowe aplikacje hostowane mogą korzystać z próbkowania lub innych mechanizmów dekodowania, aby tworzyć zróżnicowane wyniki. Deltafin obecnie akceptuje niektóre pola próbkowania, nie stosując ich.

Projekt raportuje dokładne zachowanie numeryczne dla swojej głównej ścieżki benchmarkowej. Opcjonalny tryb przybliżony wykorzystuje arytmetykę o niższej precyzji, ale opiekun ostrzega, że niemal remisowe wyniki mogą nie pozostać odtwarzalne.

Samo Kimi K3 wprowadza dalszą niepewność. Oficjalne materiały Moonshot deklarują wysoką wydajność w ocenach programowania, rozumowania, wizji i działania agentowego. Twierdzenia te obejmują konkretne zestawy testowe, ustawienia oraz konfiguracje konkurencyjnych modeli.

Deltafin nie weryfikuje tych twierdzeń benchmarkowych. Uruchamia opublikowany przez Moonshot kod modelowania ze zmianami kompatybilności wokół nieobsługiwanych kerneli. Czytelnicy powinni oddzielać pomyślne wykonanie wag od niezależnego potwierdzenia jakości modelu.

Skala modelu również może wprowadzać w błąd. Kimi K3 ma łącznie 2,8 biliona parametrów, ale podczas przejścia forward aktywne są 104 miliardy. Całkowita liczba parametrów determinuje presję na pamięć masową, podczas gdy aktywne parametry lepiej opisują część obciążenia obliczeniowego.

Nawet 104 miliardy aktywnych parametrów to dużo dla stacji roboczej. Rzadka architektura sprawia jednak, że bezpośrednie porównywanie Kimi K3 z gęstym modelem o 2,8 biliona parametrów byłoby błędne. Systemy te przenosiłyby i obliczały bardzo różne ilości danych.

Nowszy sprzęt powinien poprawić wynik, ale skala poprawy pozostaje niepewna. Większa pamięć zunifikowana mogłaby utrzymać dodatkowe dane rdzenia i ekspertów. Szybsza pamięć masowa oraz większa przepustowość pamięci mogłyby skrócić transfer danych. Lepsze kernely mogłyby ograniczyć narzut obliczeniowy.

Ulepszenia te nie będą jednak skalować każdej fazy jednakowo. Jeśli w jednej konfiguracji dominuje pamięć masowa, samo szybsze GPU zapewni ograniczoną korzyść. Jeśli większa pamięć zmieni zachowanie cache'a, wydajność może wzrosnąć bardziej, niż sugerowałby sam wzrost przepustowości.

Deltafin przytacza wynik społeczności z NVIDIA DGX Spark ze 128 GB pamięci zunifikowanej. Autor zgłosił krótkie uruchomienie end-to-end, ale opiekun określa je jako pojedynczy pomiar społeczności, a nie odtworzony benchmark.

Ta powściągliwość jest właściwa. Porównania sprzętu wymagają tych samych promptów, wersji oprogramowania, stanu cache'a, ścieżki numerycznej i metody pomiaru. W przeciwnym razie szybsze dokończenie może odzwierciedlać różnice konfiguracji, a nie urządzenie.

Największe ryzyko nie polega więc na tym, że referencyjna liczba Deltafin jest pozbawiona znaczenia. Polega na tym, że czytelnicy przekształcą wąski wynik systemowy w szerokie twierdzenie o gotowości lokalnej AI.

Lokalne generowanie z szybkością czterech tokenów na minutę wspiera eksperymentowanie i inspekcję offline. Nie wspiera responsywnej interakcji, którą większość osób kojarzy z czatem, uzupełnianiem kodu lub autonomicznymi agentami.

Co obserwować po wyniku 0,0687 tokena

Znaczenie Deltafin zależy teraz od replikacji, ekonomiki cache'a i tego, czy podejście przetrwa realistyczne prompty.

Pierwszym sygnałem jest niezależna wydajność na nowszym sprzęcie Apple. Wyniki powinny podawać dokładne konfiguracje chipów, pojemność pamięci, urządzenia pamięci masowej, commity oprogramowania, stan cache'a i ustawienia dekodowania.

Nowszy system Max lub Ultra z większą pamięcią może utrzymać większą część zbioru roboczego modelu. Jeśli przepustowość znacząco wzrośnie w kontrolowanych testach, architektura Deltafin będzie wyglądać na skalowalną ścieżkę lokalnej inferencji, a nie odosobnioną sztuczkę M1 Max.

Jeśli zyski pozostaną niewielkie, ruch do pamięci masowej prawdopodobnie wymusza twardszy pułap. Taki wynik osłabi argumenty za użyciem interaktywnym, zachowując jednocześnie wartość badawczą projektu.

Drugim sygnałem jest zachowanie przy długich promptach. Obecny nagłówek Deltafin koncentruje się na stabilnym dekodowaniu po pięciotokenowym prompcie. Rzeczywiste obciążenia czatu i programowania silnie zależą od prefill, który przetwarza wszystkie tokeny wejściowe przed rozpoczęciem generowania.

Przydatne testy powinny obejmować wielotysięczne konteksty kodu, definicje narzędzi, historię rozmów i powtarzane wywołania agentów. Powinny osobno raportować czas do pierwszego tokena i stabilną szybkość dekodowania.

To rozróżnienie ma znaczenie dla odbiorców openai max. System może poprawić tempo generowania, a mimo to zmuszać użytkowników do wielogodzinnego oczekiwania na pierwszą odpowiedź. Praktyczna responsywność zależy od obu faz.

Kontekst Kimi K3 o długości jednego miliona tokenów jest tu szczególnie istotny. Obsługa długości kontekstu w architekturze modelu nie oznacza, że każde środowisko wykonawcze może przetworzyć ją w akceptowalnych ograniczeniach pamięci i czasu.

Trzecim sygnałem jest to, czy cache'owanie ekspertów stanie się przewidywalne w różnych obciążeniach. Tryb strumieniowy Deltafin opiera się na gromadzonych lokalnie ekspertach, rozgrzewaniu kierowanym śladami i późniejszym ponownym użyciu. Badacze potrzebują danych o współczynniku trafień z różnorodnych sekwencji zadań.

Projekt programistyczny może wielokrotnie aktywować użyteczny podzbiór ekspertów, poprawiając wyniki z czasem. Przejście od kodu do analizy wizualnej lub szerokiego researchu może zmienić wzorce trasowania i zniwelować znaczną część tej korzyści.

Jeśli małe cache'e zapewnią wysokie ponowne użycie w realistycznych sesjach, tryb 215 GB może stać się czymś więcej niż podglądem. Jeśli wybór ekspertów pozostanie szeroko rozproszony, pełna instalacja 1,7 TB pozostanie jedyną znośną ścieżką lokalną.

Optymalizacja oprogramowania będzie kontynuowana równolegle z tymi testami. Deltafin już raportuje poprawę dzięki głowicy wyjściowej int8, zmianom w dekodowaniu spekulacyjnym, ponownemu użyciu buforów, natywnym kernelom i ładowaniu w tle.

Te zyski pokazują, jak szybko może rozwijać się wczesne środowisko wykonawcze. Sugerują też, że obecny wynik 0,0687 tokena na sekundę należy traktować jako datowany punkt odniesienia, a nie trwały pułap.

Przyszłe nagłówki powinny jednak zachować dyscyplinę benchmarkową. Zmieniony prompt, krótsze wyjście, rozgrzany cache, przybliżony tryb numeryczny lub inna liczba ekspertów mogą zwiększyć szybkość, jednocześnie zmieniając porównanie.

Zmniejszenie liczby wybieranych ekspertów jest oczywistą dźwignią szybkości, ponieważ ogranicza przenoszenie danych ekspertów. Deltafin udostępnia tę kontrolę, ale mniejsza liczba ekspertów może zmienić wyniki i jakość modelu. Takich uruchomień nie należy przedstawiać jako równoważnych domyślnej ścieżce top-16.

Trwające publikacje wag i kodu przez Moonshot również mają znaczenie. Oficjalny model Kimi K3 daje deweloperom dostęp do plików, które umożliwiają eksperymenty takie jak Deltafin. Zgodność ze środowiskami uruchomieniowymi będzie zależeć od przyszłych wersji modelu i dokumentacji.

Dla deweloperów najważniejszy wniosek nie polega na zastąpieniu modelu hostowanego przez M1 Max. Chodzi o ponowne przemyślenie, które ograniczenia są bezwzględne. Wnioskowanie uwzględniające pamięć masową może uruchomić model znacznie większy niż dostępna pamięć operacyjna, gdy opóźnienia są akceptowalne.

Dla nabywców korporacyjnych projekt wyjaśnia różnicę między lokalną kontrolą a przydatnością produkcyjną. Rezydencja danych, dostęp do modelu, czas odpowiedzi, współbieżność, utrzymanie i licencjonowanie pozostają odrębnymi decyzjami.

Dla pracowników wiedzy wynik wskazuje na przyszłość, w której lokalne systemy będą mogły korzystać z coraz większych modeli. Dziś zarządzanie wynikami jest znacznie łatwiejsze niż oczekiwanie na nie. Zespoły eksperymentujące z powolnymi uruchomieniami lokalnymi powinny zachowywać prompty, konfiguracje, wyniki i decyzje w przeszukiwalnej bazie wiedzy inżynierskiej.

Deltafin nie skompresował centrum danych do starego laptopa. Zbudował starannie zarządzaną ścieżkę przez model, który nie powinien się tam zmieścić. Dlatego ten wynik ma znaczenie, nawet przy 14,6 sekundy na token.

Kolejne pytanie jest mierzalne: czy niezależni deweloperzy zdołają odtworzyć ten wynik, a następnie go poprawić bez zmiany domyślnych obliczeń Kimi K3? Dopóki takie wyniki się nie pojawią, openai max pozostaje niewłaściwym punktem odniesienia. Rywalizacja Deltafin dotyczy granicy między niemożliwym wykonaniem a niepraktycznym wykonaniem.