DeepSeek Pro wygląda znakomicie w trybie Minimal. I właśnie w tym tkwi problem

DeepSeek pro trafił do ogólnej dostępności 13 sierpnia, lecz jego najsilniejsze zgłaszane zachowanie pojawiło się dopiero wtedy, gdy użytkownicy odtworzyli jedną wyjątkowo konkretną konfigurację agenta.

Tą konfiguracją jest preset Minimal w DeepSeek Harness, nowo wydanym przez firmę środowisku uruchomieniowym dla agentów AI korzystających z narzędzi. Testy społeczności twierdzą, że preset zmienia niespójny model do programowania w coś znacznie bliższego prezentacji benchmarkowej DeepSeek.

Poprawa nie została niezależnie zmierzona na kontrolowanym i zróżnicowanym zestawie zadań. Kontrowersja ma jednak znaczenie, nawet jeśli najbardziej spektakularne demonstracje nie dadzą się powtórzyć. Materiały DeepSeek łączą wydajność agentów z konkretnymi promptami, narzędziami, ustawieniami rozumowania i środowiskami wykonawczymi.

Rzeczywiste pytanie jest więc węższe niż to, czy DeepSeek-V4-Pro jest „dobry”, czy „zły”. Chodzi o to, czy model powinien otrzymywać pełne uznanie za możliwości, które niezawodnie ujawniają się wyłącznie w środowisku zgodnym z treningiem.

Anthropic, OpenAI i inni dostawcy modeli mierzą się z tym samym problemem, gdy ich modele działają przez Claude Code, Codex lub inne środowisko uruchomieniowe agenta. DeepSeek po prostu uczynił tę zależność wyjątkowo widoczną.

Ogólna dostępność DeepSeek Pro przyniosła spór o wydajność agentów

Premiera z 13 sierpnia zmieniła dostępny model, ale nie rozstrzygnęła, który system był faktycznie oceniany.

DeepSeek formalnie uruchomił wersję ogólnie dostępną V4-Pro w swojej aplikacji, na stronie internetowej i przez API 13 sierpnia 2026 roku. W komunikacie o wydaniu GA firma podkreśliła ulepszenia agentów, trzy poziomy intensywności rozumowania oraz natywną obsługę Responses API OpenAI.

Niski poziom intensywności jest przeznaczony do prostych zadań. Wysoki obsługuje typowe przepływy pracy agentów, natomiast maksymalny przydziela więcej rozumowania złożonej pracy. Wydanie dodało również ścieżkę konfiguracji zorientowaną na Codex, nie zmieniając nazwy modelu V4-Pro w API.

Ogłoszenie nastąpiło po zapowiedzi szerszej rodziny V4 z 24 kwietnia. DeepSeek opisał V4-Pro jako model mixture-of-experts z 1,6 biliona parametrów łącznie i 49 miliardami aktywnymi podczas inferencji.

Model mixture-of-experts kieruje każdy token tylko przez część sieci. Taka konstrukcja może zwiększać całkowitą pojemność bez aktywowania każdego parametru dla każdego żądania.

Model obsługuje okno kontekstowe o długości miliona tokenów. DeepSeek podaje, że był wstępnie trenowany na ponad 32 bilionach tokenów, a następnie przeszedł uczenie nadzorowane, uczenie ze wzmocnieniem i destylację on-policy.

Te specyfikacje nie wywołały kontrowersji. Napięcie zaczęło się, gdy pierwsi użytkownicy porównali deklaracje DeepSeek dotyczące benchmarków agentów z własnymi wynikami po wdrożeniu GA.

Niektóre raporty społeczności opisywały krótkie ślady rozumowania, słabe planowanie i niespójne korzystanie z narzędzi. Jedna szeroko udostępniana relacja uznała wydanie za rozczarowujące i sugerowała, że problem z wdrożeniem lub konfiguracją po stronie serwera tłumi zamierzone zachowanie modelu.

Te obserwacje miały charakter anegdotyczny. Pochodziły z różnych promptów, kont, narzędzi, systemów operacyjnych i ścieżek żądań. Nie mogą ustalić ogólnego poziomu wydajności.

Następnie pojawiła się druga fala raportów. Użytkownicy twierdzili, że ten sam model stawał się znacznie bardziej zdolny po uruchomieniu przez DeepSeek Harness Minimal na Linuxie lub Windows Subsystem for Linux.

Jeden test społeczności twierdził, że wielu użytkowników odtworzyło tę poprawę. Autor nadal oceniał model jako słabszy od wiodącego modelu porównawczego i krytykował jego wyczucie wizualne.

To zastrzeżenie jest istotne. Teza nie brzmiała, że tryb Minimal naprawił każdą słabość. Chodziło o to, że preset ujawnił poziom zachowania podczas programowania nieobecny w wielu zwykłych sesjach.

Oddzielna analiza repozytorium połączyła tryb Minimal z commitem z 10 sierpnia. Według tej analizy commit dostosował preset do kompozycji agenta użytej podczas uczenia ze wzmocnieniem.

Analiza opisywała wąskie środowisko obejmujące oszczędny prompt systemowy, trwały dostęp do powłoki, wyznaczony edytor plików oraz konkretną politykę kompresji kontekstu. Stwierdzała też, że preset wykluczał niepowiązane opisy narzędzi, które mogły zaśmiecać prompt systemowy.

Interpretacja ta pozostaje odczytaniem publicznego kodu i dokumentacji przez społeczność. DeepSeek nie opublikował dowodów potwierdzających, że V4-Pro zawodzi poza trybem Minimal ani że został celowo zoptymalizowany pod jeden publiczny preset.

Mimo to sekwencja wydarzeń jest konkretna. DeepSeek wydał V4-Pro GA 13 sierpnia, udostępnił swoje środowisko w wersji developerskiej i pokazał środowisko ściśle związane z oceną agentów.

Napięcie wynika ze sposobu, w jaki te elementy się łączą. Jeśli najlepsze zachowanie modelu wymaga tego środowiska, użytkownicy kupują system model-plus-harness, a nie wymienialny punkt końcowy modelu.

Dlaczego DeepSeek Harness zmienia znaczenie benchmarku

Benchmark agenta mierzy łącznie model, prompt, narzędzia, politykę pamięci i środowisko uruchomieniowe, nawet gdy ranking pokazuje wyłącznie nazwę modelu.

Harness agenta to warstwa oprogramowania, która pozwala modelowi językowemu sprawdzać pliki, uruchamiać polecenia, wywoływać narzędzia, zachowywać stan i decydować, co nastąpi dalej. Zamienia ona przewidywanie tekstu w pętlę działania.

Ta pętla podejmuje wiele istotnych decyzji. Formatuje prompt systemowy, definiuje schematy narzędzi, zwraca błędy, skraca historię, podsumowuje wcześniejszą pracę i decyduje, kiedy model otrzyma kolejną turę.

Małe zmiany mogą powodować duże różnice w wydajności. Model może rozumieć zadanie, lecz ponieść porażkę, ponieważ opis narzędzia jest niejednoznaczny. Może edytować niewłaściwy plik, bo kompresja kontekstu usunęła wcześniejsze ograniczenie.

Model może również zmarnować budżet rozumowania po otrzymaniu zaszumionych komunikatów o stanie. Inne środowisko może zapobiec tej samej porażce, utrzymując krótki prompt i zachowując właściwy stan.

Oficjalne repozytorium DeepSeek opisuje DeepSeek Harness jako otwarte środowisko uruchomieniowe agentów, w którym wszystko jest wtyczką. Projekt jest w wersji developerskiej i ostrzega, że pojawią się zmiany zrywające kompatybilność.

Jego architektura wtyczek pozwala wymieniać lub ponownie składać funkcje, zamiast zamykać użytkowników w jednym stałym projekcie agenta. Ta elastyczność czyni projekt użytecznym, ale komplikuje też wszelkie twierdzenia o „wydajności DeepSeek-V4-Pro”.

Które wtyczki były aktywne? Który preset je załadował? Jaki prompt systemowy został użyty? Jak kompresowano historię rozmowy? Czy powłoka pozostawała aktywna między turami?

Te szczegóły nie są banalnymi kwestiami implementacyjnymi. Kształtują informacje i działania dostępne modelowi na każdym kroku.

Dokumentacja modelu DeepSeek uwidacznia tę zależność od systemu. Firma zaleca maksymalne rozumowanie dla wymagających zadań agentowych oraz co najmniej 384 000 tokenów kontekstu w tym trybie.

Jej karta modelu również przedstawia duże różnice między ustawieniami rozumowania. W Terminal Bench 2.0 DeepSeek podaje dla V4-Pro wynik 59,1 w trybie bez rozumowania, 63,3 przy wysokiej intensywności i 67,9 przy maksymalnej.

W SWE-bench Verified zgłoszona progresja wynosi 73,6, 79,4 i 80,6. W BrowseComp wysokie i maksymalne ustawienia osiągają 80,4 i 83,4, podczas gdy wynik dla trybu bez rozumowania nie jest podany.

Są to własne oceny DeepSeek, a nie niezależne replikacje. Pokazują jednak stanowisko firmy, że konfiguracja inferencji istotnie zmienia mierzone możliwości.

Raport techniczny idzie dalej, wyjaśniając środowisko ewaluacyjne. W zadaniach dla agentów kodujących DeepSeek użył minimalnego zestawu narzędzi, w tym dostępu do powłoki i edycji plików.

W zadaniach dla agentów wyszukujących firma korzystała z wewnętrznego harnessu. Oznacza to, że raportowane wyniki agentów nigdy nie przedstawiały samego modelu odpowiadającego na odizolowane prompty.

Nie ma w tym nic z natury niewłaściwego. Modele agentowe potrzebują narzędzi, a benchmark musi zapewniać jakieś środowisko uruchomieniowe. Każdy dostawca wybiera jedno.

Problem zaczyna się, gdy wynik specyficzny dla harnessu staje się skrótem dla ogólnej zdolności modelu w różnych produktach. Wynik uzyskany z trwałą powłoką i kompresją zgodną z treningiem nie przenosi się automatycznie do innego rozszerzenia edytora.

Deweloper korzystający z klienta kompatybilnego z Anthropic może wysyłać wyniki narzędzi o innej strukturze. Platforma korporacyjna może wstrzykiwać instrukcje bezpieczeństwa, komunikaty audytowe, wyniki wyszukiwania i bramki zatwierdzania.

Takie dodatki mogą być konieczne w produkcji. Mogą też znacząco oddalić prompt od środowiska używanego podczas uczenia ze wzmocnieniem.

Tryb Minimal robi zatem więcej niż tylko poprawia demonstrację. Ujawnia, jak wiele ukrytej infrastruktury stoi za wynikiem modelu.

Dlatego spór wokół DeepSeek pro ma znaczenie wykraczające poza jedno wydanie. Karta modelu wskazuje DeepSeek-V4-Pro, ale działającą jednostką w zadaniu agentowym jest DeepSeek-V4-Pro plus konfiguracja harnessu.

Gdy to rozróżnienie staje się jawne, rankingi powinny raportować obie części.

Zgodność z treningiem nie jest automatycznie przeuczeniem

Publicznie dostępne dowody wskazują na wrażliwość na konfigurację, ale nie dowodzą jeszcze, że DeepSeek-V4-Pro przeuczył się do jednego harnessu.

Przeuczenie ma precyzyjne znaczenie. System jest przeuczony, gdy uczy się wzorców, które dobrze działają na rozkładzie treningowym, ale nie uogólniają się na znacząco odmienne dane wejściowe.

W tym przypadku podejrzewany rozkład treningowy obejmuje więcej niż problemy programistyczne. Może obejmować także strukturę promptów agenta, nazwy narzędzi, formaty odpowiedzi, zachowanie powłoki i politykę zarządzania kontekstem.

Jeżeli uczenie ze wzmocnieniem wielokrotnie nagradzało sukces w ramach jednej kompozycji, model racjonalnie dostosowałby się do tej kompozycji. Spójna semantyka narzędzi zmniejsza niepewność i ułatwia nauczenie się sygnału nagrody.

Takie dostosowanie może być korzystne. Ludzie również działają lepiej dzięki znajomym interfejsom, niezawodnym narzędziom i stabilnym przepływom pracy.

Model wyszkolony do korzystania z przewidywalnego edytora plików powinien przewyższać model zmuszony do odgadywania nieudokumentowanego zachowania edytora. Nazywanie każdego takiego zysku „przeuczeniem” uczyniłoby ten termin niemal bezużytecznym.

Silniejszy zarzut wymaga szerszego wzorca porażek. V4-Pro musiałby wykazywać niezwykle gwałtowny spadek wydajności, gdy nieistotne szczegóły środowiska się zmieniają, mimo że podstawowe zadanie pozostaje równoważne.

Na przykład badacze mogliby zmienić nazwy narzędzi przy zachowaniu ich opisów i działania. Mogliby zmienić kolejność schematów narzędzi, modyfikować nieistotne sformułowania, zastąpić edytor równoważnym interfejsem lub zmienić kompresję bez usuwania potrzebnych faktów.

Ogólny agent powinien tolerować wiele z tych zmian. Model związany z harnessiem straciłby znaczną wydajność, mimo otrzymywania tych samych praktycznych możliwości.

Żadne publiczne badanie nie ustaliło jeszcze takiego wzorca na wystarczającej liczbie zadań i losowych prób. Zrzuty ekranu, filmy i osobiste sesje programistyczne mogą wskazać pytanie badawcze, ale nie mogą mierzyć uogólniania.

Twierdzenie, że „Minimal odblokowuje prawdziwy model”, ma również kilka alternatywnych wyjaśnień.

Po pierwsze, tryb Minimal może usuwać bałagan z promptu. Długie instrukcje narzędzi i nakładające się polecenia często pogarszają zachowanie agentów, zwłaszcza podczas dłuższych sesji.

Po drugie, może skuteczniej zachowywać stan. Trwała powłoka pozwala modelowi utrzymywać katalogi robocze, stan środowiska i uruchomione procesy bez konieczności ich odtwarzania.

Po trzecie, preset może ujawniać interfejsy narzędzi używane podczas treningu po wstępnym szkoleniu. Tworzy to zgodność rozkładów, ale niekoniecznie zapamiętanie benchmarków.

Po czwarte, wczesne zapytania do wersji GA mogły napotkać różnice we wdrożeniu. Raporty społeczności wspominały o wyjątkowo krótkim rozumowaniu i możliwych zmianach routingu, choć DeepSeek nie potwierdził awaryjnego wycofania wdrożenia.

Po piąte, użytkownicy mogą wybierać i rozpowszechniać najbardziej uderzające udane uruchomienia. Pozytywne demonstracje szybko się rozchodzą, podczas gdy nieudane próby odtworzenia wyników otrzymują mniej uwagi.

Istnieje też odwrotne uprzedzenie. Rozczarowani użytkownicy mogą generalizować na podstawie jednej nieudanej sesji, zwłaszcza po przeczytaniu twierdzeń benchmarkowych, które podniosły ich oczekiwania.

Oficjalne wyniki DeepSeek rzeczywiście pozostawiają pole do sceptycyzmu. Firma podaje, że V4-Pro Max rozwiązuje 80,6 procent SWE-bench Verified i uzyskuje 67,9 w Terminal Bench 2.0.

Podaje również rating Codeforces na poziomie 3206 oraz wskaźnik zaliczenia 93,5 w LiveCodeBench. Liczby te przedstawiają model jako wysokiej klasy system programistyczny w ramach deklarowanej konfiguracji ewaluacyjnej.

Niezależna ewaluacja zapewnia bardziej użyteczny punkt odniesienia. Amerykańskie Center for AI Standards and Innovation oceniło model w wersji preview, korzystając z ustawień rekomendowanych przez deweloperów.

W swojej niezależnej ewaluacji CAISI uruchomiło DeepSeek V4 na GPU H200 i B200. Zachowano wewnętrzne rozumowanie oraz zastosowano rekomendowane wartości dla kontekstu, próbkowania, promptów systemowych i maksymalnego czasu rozumowania.

CAISI odtworzyło również zgłoszony przez DeepSeek wynik GPQA-Diamond, co zmniejsza prawdopodobieństwo podstawowego błędu konfiguracji inferencji w tym benchmarku. W testach agentowych wykorzystano jednak wbudowanego agenta ReAct z Inspect zamiast DeepSeek Harness Minimal.

To właśnie tę różnicę powinna zbadać przyszła analiza. Model może dorównywać w statycznym benchmarku rozumowania, a jednocześnie pozostawać bardzo wrażliwy na pętlę agenta, która go otacza.

Dostępne dowody wspierają zatem ostrożny wniosek. DeepSeek-V4-Pro jest wrażliwy na środowisko, a DeepSeek zoptymalizował swój przepływ pracy agenta pod kątem znanych kompozycji.

Dowody nie potwierdzają, że DeepSeek zapamiętał publiczne zadania benchmarkowe. Nie dowodzą też celowej manipulacji.

Nazywanie modelu przeuczonym już dziś wyprzedza dane. Uznawanie harnessu za nieistotny ignoruje to, co pokazują zarówno dokumentacja DeepSeek, jak i testy społeczności.

Prawdziwa rywalizacja to agenci zgodni z treningiem kontra modele przenośne

Bezpośrednim wyzwaniem DeepSeek nie jest pokonanie jednego rywalizującego modelu. Jest nim udowodnienie, że jego możliwości utrzymują się poza preferowanym środowiskiem uruchomieniowym.

Dostawcy modeli coraz częściej optymalizują kompletne systemy agentowe. Model nadal jest ważny, ale to orkiestracja decyduje, czy jego rozumowanie tworzy użyteczny rezultat.

OpenAI łączy modele z Codex. Anthropic rozwija modele równolegle z Claude Code. Google kontroluje zachowanie modelu w produktach programistycznych Gemini, podczas gdy niezależne środowiska uruchomieniowe dodają własne prompty i narzędzia.

DeepSeek ma teraz tę samą strategiczną możliwość. Może współprojektować V4-Pro z DeepSeek Harness, mierzyć błędy od początku do końca i wykorzystywać te ślady do uczenia przez wzmacnianie.

Takie podejście może zapewnić lepsze wyniki w świecie rzeczywistym niż traktowanie API jako odizolowanego generatora tekstu. Może też przyspieszyć debugowanie, ponieważ firma kontroluje obie strony interakcji.

Stabilny harness zapewnia zespołom treningowym powtarzalne środowisko. Mogą nagradzać poprawne użycie poleceń, weryfikować zmiany w plikach, karać za niedokończoną pracę i testować długotrwałe sesje.

Kompromisem jest przenośność. Przedsiębiorstwa rzadko wdrażają model w nietkniętym środowisku referencyjnym dostawcy.

Dodają kontrole uprawnień, prywatne wyszukiwanie, logowanie, filtry polityk, zatwierdzenia przez ludzi i narzędzia specyficzne dla organizacji. Deweloperzy korzystają z istniejących edytorów, agentów wiersza poleceń i frameworków automatyzacji.

Każdy dodatek zmienia rozkład interakcji. Model zależny od jednego oszczędnego promptu systemowego może regresować, gdy korporacyjna polityka bezpieczeństwa doda kilka tysięcy tokenów.

Model wytrenowany wokół jednego protokołu edycji plików może nieprawidłowo obsługiwać komunikaty błędów innego protokołu. Strategia kompresji, która działa przy programowaniu, może odrzucać dowody wymagane w zadaniach prawnych lub analitycznych.

Przenośne możliwości oznaczają utrzymanie wydajności w tych wariantach. Nie wymagają identycznych wyników wszędzie, ale wymagają łagodnej degradacji.

Możliwości zgodne z treningiem oferują inną obietnicę. Dostawca zapewnia rekomendowany system o znanych ustawieniach, a użytkownicy otrzymują deklarowaną wydajność, przyjmując cały stos technologiczny.

Żadne z tych podejść nie jest uniwersalnie lepsze. Ściśle zintegrowany system może zapewniać lepsze rezultaty zespołom gotowym się wokół niego ujednolicić.

Przenośny model daje twórcom platform większą swobodę. Ułatwia też porównywanie wyników benchmarkowych między środowiskami uruchomieniowymi.

Obecny przekaz DeepSeek próbuje przypisać sobie obie zalety. V4-Pro jest dostępny przez kilka formatów API i przedstawiany jako kompatybilny z głównymi produktami agentowymi.

Jednocześnie jego najsilniejsze raportowane zachowanie wydaje się ściśle związane z maksymalnym poziomem rozumowania i wyspecjalizowaną kompozycją harnessu. Ta luka wywiera presję na twierdzenie o przenośności.

Oficjalne ogłoszenie preview stwierdzało, że DeepSeek zoptymalizował V4 dla Claude Code, OpenClaw, OpenCode i innych produktów agentowych. Podano też, że firma używa V4 wewnętrznie do programowania agentowego.

Te stwierdzenia sugerują szerszą adaptację niż jeden preset Minimal. DeepSeek może je poprzeć, publikując wyniki w wielu niezależnych środowiskach uruchomieniowych przy dopasowanych budżetach.

Porównanie musi kontrolować więcej niż końcowy wynik. Badacze powinni raportować zużycie tokenów, czas działania, wskaźnik ukończenia, błędy narzędzi, ponowne próby i kategorie błędów.

Powinni też oddzielać błędy modelu od błędów harnessu. Jeśli edytor odrzuci nieprawidłowo sformatowaną łatkę, ślad powinien pokazywać, czy defekt spowodował schemat, parser czy model.

Taki poziom raportowania poprawiłby cały rynek agentów. Obecne rankingi często kompresują złożony system do jednego procentowego wyniku obok jednej nazwy modelu.

Taka prezentacja zachęca kupujących do porównywania endpointów modeli przy ignorowaniu orkiestracji. Pozwala też dostawcom wybierać korzystne harnessy bez pokazywania, jak wrażliwe są ich wyniki.

DeepSeek Harness mógłby pomóc rozwiązać ten problem, gdyby firma wykorzystała jego architekturę wtyczek do kontrolowanych ablacjii. Zespół może wymieniać po jednym komponencie i publikować wynikające z tego zmiany wyników.

Testy ablacyjne usuwają lub zmieniają jeden element, aby zmierzyć jego wkład. W tym przypadku mogłyby określić wartość trwałego stanu powłoki, polityki kompresji, nazewnictwa narzędzi lub długości promptu systemowego.

Jeśli tryb Minimal wygrywa, ponieważ usuwa nieistotne instrukcje, inni twórcy harnessów mogą zastosować tę lekcję. Jeśli wygrywa, ponieważ model oczekuje dokładnych tokenów z czasu treningu, obawy dotyczące przenośności stają się silniejsze.

Każdy z tych wyników byłby bardziej informacyjny niż kolejny pokazowy przebieg. Spór wymaga pomiarów, a nie rywalizacji między entuzjastycznymi klipami a sfrustrowanymi postami.

Co potwierdziłoby lub osłabiło obawy dotyczące DeepSeek Pro

Trzy obserwowalne sygnały mogą określić, czy tryb Minimal jest rozsądną konfiguracją referencyjną, czy zależnością wydajnościową.

Pierwszym sygnałem jest kontrolowana ewaluacja modelu 0813 w różnych harnessach. Powinna uruchamiać identyczne zadania przez DeepSeek Harness Minimal, jego standardowy preset oraz co najmniej dwa niezależne środowiska agentowe.

Każda konfiguracja wymaga tego samego poziomu rozumowania, budżetu tokenów, polityki próbkowania, możliwości narzędzi i limitu ponownych prób. Ewaluatorzy powinni wykonać wiele prób, ponieważ wyniki agentów różnią się między uruchomieniami.

Duża przewaga Minimal wzmocniłaby obawy dotyczące zależności od konfiguracji. Podobne wyniki w równoważnych środowiskach osłabiłyby teorię przeuczenia i sugerowałyby, że wczesne niepowodzenia wynikały z problemów konfiguracji lub wdrożenia.

Drugim sygnałem jest odporność na nieszkodliwe zmiany interfejsu. Ewaluatorzy powinni zmieniać nazwy narzędzi, kolejność schematów, parafrazować instrukcje i zastępować edytory funkcjonalnie równoważnymi odpowiednikami.

Wydajność powinna pozostawać zasadniczo stabilna, gdy informacje i dostępne działania nie ulegają zmianie. Gwałtowny spadek pokazałby, że model polega na cechach powierzchniowych, a nie na ogólnym rozumieniu narzędzi.

Ten test ma większe znaczenie niż porównywanie jednego harnessu dostawcy z drugim. Różne produkty wprowadzają naraz wiele zmiennych, przez co trudno odizolować przyczynę zmiany wyniku.

Trzecim sygnałem jest własne ujawnienie informacji przez DeepSeek. Firma powinna opublikować dokładną kompozycję agenta stojącą za każdym nagłówkowym benchmarkiem, w tym prompty, schematy narzędzi, reguły kompresji i ustawienia inferencji.

Powinna też rozróżniać model preview od checkpointu GA z 13 sierpnia. Bez wyników wersjonowanych użytkownicy nie mogą stwierdzić, czy starszy wynik przenosi się na endpoint, który wywołują.

DeepSeek nie musi ujawniać prywatnych danych treningowych, aby zapewnić tę przejrzystość. Reprodukowalne skrypty ewaluacyjne i kompletne konfiguracje środowiska uruchomieniowego odpowiedziałyby na centralne pytanie.

Niezależni badacze mogliby następnie testować, czy deklarowane zyski utrzymują się w innych repozytoriach, językach, długościach zadań i ograniczeniach bezpieczeństwa. Nabywcy korporacyjni mogliby ocenić, czy przyjęcie referencyjnego harnessu pasuje do ich systemów.

Dla deweloperów praktyczna lekcja jest już jasna. Nie oceniaj DeepSeek Pro przez jedno okno czatu i nie traktuj jednego sukcesu w trybie Minimal jako uniwersalnego wyniku.

Testuj dokładnie tę parę model-harness, która trafi do produkcji. Rejestruj ustawienia rozumowania, politykę kontekstu, definicje narzędzi, ponowne próby i ukończenie zadań, zamiast oceniać wyłącznie końcowy tekst.

Dla wydawców benchmarków konfiguracje powinny być raportowane jako pozycje pierwszej klasy. „DeepSeek-V4-Pro z DSH Minimal” jest uczciwsze niż wiersz oznaczony wyłącznie „DeepSeek-V4-Pro”.

Dla DeepSeek szansa jest większa niż obrona jednego wydania. Firma może przekształcić tę kontrowersję w jaśniejszy standard oceny systemów agentowych.

Najmocniejszym wynikiem nie byłby dowód, że tryb Minimal sprawia, iż V4-Pro wygląda wyjątkowo. Byłyby nim dowody, że model pozostaje użyteczny, gdy rzeczywiste organizacje zastępują Minimal własnymi złożonymi środowiskami.

Dopóki te wyniki nie nadejdą, „przeuczenie” pozostaje niepotwierdzoną diagnozą. Zależność od konfiguracji jest ugruntowaną obawą i sama w sobie jest wystarczająco istotna.

Jeśli testujesz wydanie 0813, uruchom to samo zadanie repozytorium przez co najmniej dwa harnessy i powtórz każde uruchomienie. Zachowaj ślady, ujednolić budżety i opublikuj niepowodzenia obok sukcesów. Te dowody pokażą, czy DeepSeek Pro nauczył się przenośnego zachowania agenta, czy jednego wyjątkowo znajomego przepływu pracy.