DeepSeek Pro wirkt im Minimal-Modus brillant. Genau das ist auch das Problem

DeepSeek pro wurde am 13. August allgemein verfügbar, doch sein stärkstes berichtetes Verhalten zeigte sich erst, nachdem Nutzer eine ungewöhnlich spezifische Agentenkonfiguration nachgebildet hatten.

Diese Konfiguration ist das Preset Minimal in DeepSeek Harness, der neu veröffentlichten Laufzeitumgebung des Unternehmens für KI-Agenten mit Tool-Nutzung. Community-Tests zufolge verwandelt das Preset ein inkonsistentes Coding-Modell in etwas, das DeepSeeks Benchmark-Präsentation deutlich näherkommt.

Die Verbesserung wurde bislang nicht unabhängig anhand eines kontrollierten und vielfältigen Aufgabensatzes gemessen. Dennoch ist die Kontroverse relevant, selbst wenn sich die dramatischsten Demonstrationen nicht replizieren lassen. DeepSeeks eigene Materialien verknüpfen die Agentenleistung mit bestimmten Prompts, Tools, Reasoning-Einstellungen und Ausführungsumgebungen.

Die eigentliche Frage ist daher enger gefasst als die, ob DeepSeek-V4-Pro „gut“ oder „schlecht“ ist. Es geht darum, ob ein Modell die volle Anerkennung für Fähigkeiten erhalten sollte, die offenbar nur innerhalb eines an das Training angepassten Harness zuverlässig auftreten.

Anthropic, OpenAI und andere Modellanbieter stehen vor demselben Problem, sobald ihre Modelle über Claude Code, Codex oder eine andere Agenten-Laufzeitumgebung arbeiten. DeepSeek hat diese Abhängigkeit lediglich ungewöhnlich sichtbar gemacht.

Die allgemeine Verfügbarkeit von DeepSeek Pro brachte einen Streit über Agentenleistung mit sich

Die Veröffentlichung vom 13. August änderte das verfügbare Modell, klärte aber nicht, welches System tatsächlich bewertet wurde.

DeepSeek brachte die allgemein verfügbare Version von V4-Pro am 13. August 2026 offiziell über seine App, Website und API auf den Markt. Die GA-Veröffentlichung hob Verbesserungen für Agenten, drei Reasoning-Stufen und native Unterstützung für OpenAIs Responses API hervor.

Niedriger Aufwand ist für einfache Aufgaben gedacht. Hoher Aufwand bearbeitet gewöhnliche Agenten-Workflows, während maximaler Aufwand komplexer Arbeit mehr Reasoning zuweist. Mit der Veröffentlichung kam außerdem ein auf Codex ausgerichteter Einrichtungsweg hinzu, ohne den API-Modellnamen V4-Pro zu ändern.

Der Ankündigung ging am 24. April die Vorschau auf die breitere V4-Familie voraus. DeepSeek beschrieb V4-Pro als Mixture-of-Experts-Modell mit insgesamt 1,6 Billionen Parametern, von denen bei der Inferenz 49 Milliarden aktiv sind.

Ein Mixture-of-Experts-Modell leitet jedes Token nur durch einen Teil des Netzwerks. Dieses Design kann die Gesamtkapazität erhöhen, ohne bei jeder Anfrage sämtliche Parameter zu aktivieren.

Das Modell unterstützt ein Kontextfenster von einer Million Tokens. DeepSeek zufolge wurde es mit mehr als 32 Billionen Tokens vortrainiert und anschließend durch überwachtes Lernen, Reinforcement Learning und On-Policy-Destillation weiterentwickelt.

Diese Spezifikationen lösten die Kontroverse nicht aus. Die Reibung begann, als frühe Nutzer DeepSeeks Agenten-Benchmark-Behauptungen nach dem GA-Rollout mit ihren eigenen Ergebnissen verglichen.

Einige Community-Berichte beschrieben kurze Reasoning-Traces, schwache Planung und inkonsistente Tool-Nutzung. Ein vielfach geteiltes Konto bezeichnete die Veröffentlichung als enttäuschend und vermutete, dass ein Deployment- oder serverseitiges Konfigurationsproblem das beabsichtigte Verhalten des Modells unterdrücke.

Diese Beobachtungen waren anekdotisch. Sie stammten aus unterschiedlichen Prompts, Accounts, Tools, Betriebssystemen und Anfragepfaden. Daraus lässt sich kein allgemeines Leistungsniveau ableiten.

Dann erschien eine zweite Welle von Berichten. Nutzer erklärten, dass dasselbe Modell deutlich leistungsfähiger werde, wenn es über DeepSeek Harness Minimal unter Linux oder Windows Subsystem for Linux ausgeführt werde.

Ein Community-Test behauptete, mehrere Nutzer hätten die Verbesserung reproduziert. Der Autor bewertete das Modell dennoch schwächer als ein führendes Vergleichsmodell und kritisierte seinen visuellen Geschmack.

Diese Einschränkung ist wichtig. Die Behauptung lautete nicht, dass der Minimal-Modus jede Schwäche behebe. Vielmehr sollte das Preset ein Niveau an Coding-Verhalten sichtbar machen, das in vielen gewöhnlichen Sitzungen fehlte.

Eine separate Repository-Analyse verknüpfte den Minimal-Modus mit einem Commit vom 10. August. Dieser Analyse zufolge richtete der Commit das Preset an der Agentenzusammensetzung aus, die beim Reinforcement Learning verwendet wurde.

Die Analyse beschrieb eine schlanke Umgebung mit einem zurückhaltenden System-Prompt, dauerhaftem Shell-Zugriff, einem festgelegten Dateieditor und einer bestimmten Richtlinie zur Kontextkomprimierung. Sie erklärte außerdem, dass das Preset nicht zusammenhängende Tool-Beschreibungen ausschließe, die den System-Prompt verunreinigen könnten.

Diese Interpretation bleibt eine Community-Lesart von öffentlichem Code und Dokumentation. DeepSeek hat keine Belege veröffentlicht, die zeigen, dass V4-Pro außerhalb des Minimal-Modus versagt oder absichtlich für ein einzelnes öffentliches Preset optimiert wurde.

Die Abfolge ist dennoch konkret. DeepSeek veröffentlichte V4-Pro GA am 13. August, stellte seinen Harness als Developer Preview bereit und legte eine Umgebung offen, die eng mit der Agentenbewertung verbunden ist.

Die Spannung ergibt sich daraus, wie diese Teile zusammenpassen. Wenn das beste Verhalten des Modells diese Umgebung voraussetzt, kaufen Nutzer ein Modell-Harness-System statt eines austauschbaren Modellendpunkts.

Warum DeepSeek Harness die Bedeutung eines Benchmarks verändert

Ein Agenten-Benchmark misst Modell, Prompt, Tools, Speicherstrategie und Laufzeitumgebung gemeinsam – selbst wenn die Rangliste nur einen Modellnamen zeigt.

Ein Agenten-Harness ist die Softwareschicht, die einem Sprachmodell ermöglicht, Dateien zu prüfen, Befehle auszuführen, Tools aufzurufen, Zustand zu bewahren und zu entscheiden, was als Nächstes geschieht. Sie verwandelt Textvorhersage in einen Arbeitszyklus.

Dieser Zyklus trifft viele folgenreiche Entscheidungen. Er formatiert den System-Prompt, definiert Tool-Schemas, gibt Fehler zurück, kürzt den Verlauf, fasst frühere Arbeit zusammen und entscheidet, wann das Modell einen weiteren Zug erhält.

Kleine Änderungen können große Leistungsunterschiede erzeugen. Ein Modell kann eine Aufgabe verstehen, aber scheitern, weil eine Tool-Beschreibung mehrdeutig ist. Es kann die falsche Datei bearbeiten, weil die Kontextkomprimierung eine frühere Vorgabe entfernt hat.

Ein Modell kann sein Reasoning-Budget auch nach dem Erhalt verrauschter Statusmeldungen verschwenden. Ein anderes Harness kann dasselbe Scheitern verhindern, indem es den Prompt kurz hält und den richtigen Zustand bewahrt.

DeepSeeks offizielles Repository beschreibt DeepSeek Harness als Open-Source-Agenten-Laufzeitumgebung, in der alles ein Plugin ist. Das Projekt befindet sich in der Developer Preview und warnt vor kompatibilitätsbrechenden Änderungen.

Seine Plugin-Architektur kann Fähigkeiten austauschen oder neu zusammensetzen, statt Nutzer auf ein festes Agentendesign festzulegen. Diese Flexibilität macht das Projekt nützlich, erschwert aber auch jede Aussage über die „Leistung von DeepSeek-V4-Pro“.

Welche Plugins waren aktiv? Welches Preset hat sie geladen? Welcher System-Prompt wurde verwendet? Wie wurde der Gesprächsverlauf komprimiert? Blieb die Shell zwischen den Zügen aktiv?

Diese Details sind keine Implementierungsnebensächlichkeiten. Sie prägen die Informationen und Handlungsmöglichkeiten, die dem Modell bei jedem Schritt zur Verfügung stehen.

DeepSeeks Modelldokumentation macht diese Systemabhängigkeit sichtbar. Das Unternehmen empfiehlt für anspruchsvolle Agentenaufgaben maximales Reasoning und für diesen Modus mindestens 384.000 Kontext-Tokens.

Seine Model Card berichtet außerdem von großen Unterschieden zwischen den Reasoning-Einstellungen. Bei Terminal Bench 2.0 führt DeepSeek V4-Pro mit 59,1 im Non-Thinking-Modus, 63,3 bei hohem Aufwand und 67,9 bei maximalem Aufwand auf.

Bei SWE-bench Verified beträgt der berichtete Verlauf 73,6, 79,4 und 80,6. Bei BrowseComp erzielen hoher und maximaler Aufwand 80,4 beziehungsweise 83,4, während kein Non-Thinking-Ergebnis angegeben wird.

Dabei handelt es sich um DeepSeeks eigene Bewertungen, nicht um unabhängige Replikationen. Sie zeigen jedoch die Position des Unternehmens, dass die Inferenzkonfiguration die gemessene Leistungsfähigkeit wesentlich verändert.

Der technische Bericht geht weiter und erläutert die Evaluierungsumgebung. Für Code-Agenten-Aufgaben verwendete DeepSeek eine minimale Tool-Sammlung, einschließlich Shell-Zugriff und Dateibearbeitung.

Für Search-Agenten-Aufgaben nutzte das Unternehmen ein internes Harness. Die berichteten Agenten-Scores standen somit nie für ein bloßes Modell, das isolierte Prompts beantwortet.

Daran ist grundsätzlich nichts unzulässig. Agentenmodelle benötigen Tools, und ein Benchmark muss irgendeine Laufzeitumgebung bereitstellen. Jeder Anbieter trifft eine entsprechende Wahl.

Das Problem beginnt, wenn ein Harness-spezifischer Score zur Kurzform für die allgemeine Fähigkeit eines Modells über verschiedene Produkte hinweg wird. Ein Ergebnis, das mit einer persistenten Shell und trainingsangepasster Komprimierung erzeugt wurde, lässt sich nicht automatisch auf eine andere Editor-Erweiterung übertragen.

Ein Entwickler, der einen Anthropic-kompatiblen Client verwendet, könnte anders strukturierte Tool-Ergebnisse senden. Eine Unternehmensplattform kann Sicherheitsanweisungen, Audit-Meldungen, Retrieval-Ergebnisse und Freigabeprozesse einfügen.

Diese Ergänzungen können im Produktionseinsatz notwendig sein. Sie können den Prompt aber auch weit von der beim Reinforcement Learning genutzten Umgebung entfernen.

Der Minimal-Modus verbessert daher nicht nur eine Demo. Er zeigt, wie viel verborgene Infrastruktur hinter einem Modellscore steckt.

Deshalb ist der Streit um DeepSeek pro über eine einzelne Veröffentlichung hinaus relevant. Die Model Card nennt DeepSeek-V4-Pro, doch die funktionierende Einheit bei einer Agentenaufgabe ist DeepSeek-V4-Pro plus Harness-Konfiguration.

Sobald diese Unterscheidung ausdrücklich wird, müssen Ranglisten beide Teile ausweisen.

Trainingsausrichtung ist nicht automatisch Overfitting

Die öffentlichen Belege stützen eine Konfigurationssensitivität, beweisen jedoch bislang nicht, dass DeepSeek-V4-Pro auf ein einzelnes Harness overfittet wurde.

Overfitting hat eine präzise Bedeutung. Ein System overfittet, wenn es Muster lernt, die auf seiner Trainingsverteilung gut funktionieren, sich aber nicht auf sinnvoll abweichende Eingaben verallgemeinern lassen.

In diesem Fall umfasst die vermutete Trainingsverteilung mehr als Coding-Probleme. Sie könnte auch die Prompt-Struktur des Agenten, Tool-Namen, Antwortformate, Shell-Verhalten und Richtlinien für das Kontextmanagement beinhalten.

Wenn Reinforcement Learning wiederholt Erfolg innerhalb einer bestimmten Zusammensetzung belohnte, würde sich das Modell rational an diese Zusammensetzung anpassen. Konsistente Tool-Semantik verringert Unsicherheit und erleichtert das Lernen des Reward-Signals.

Diese Anpassung kann vorteilhaft sein. Auch Menschen arbeiten besser mit vertrauten Oberflächen, zuverlässigen Tools und stabilen Arbeitsabläufen.

Ein Modell, das für die Nutzung eines vorhersehbaren Dateieditors trainiert wurde, sollte besser abschneiden als eines, das undokumentiertes Editor-Verhalten erschließen muss. Jeden solchen Gewinn als „Overfitting“ zu bezeichnen, würde den Begriff nahezu nutzlos machen.

Die stärkere Anschuldigung erfordert ein breiteres Fehlermuster. V4-Pro müsste ungewöhnlich stark an Leistung verlieren, wenn sich irrelevante Umgebungsdetails ändern, obwohl die zugrunde liegende Aufgabe gleichwertig bleibt.

Forscher könnten beispielsweise Tool-Namen ändern und zugleich Beschreibungen und Verhalten beibehalten. Sie könnten Tool-Schemas neu anordnen, harmlose Formulierungen variieren, den Editor durch eine gleichwertige Oberfläche ersetzen oder die Komprimierung verändern, ohne benötigte Fakten zu entfernen.

Ein generalisierungsfähiger Agent sollte viele dieser Änderungen tolerieren. Ein an ein Harness gebundenes Modell würde trotz derselben praktischen Fähigkeiten erheblich an Leistung verlieren.

Keine öffentliche Studie hat dieses Muster bislang über genügend Aufgaben und Zufallsversuche hinweg nachgewiesen. Screenshots, Videos und persönliche Coding-Sitzungen können eine Forschungsfrage aufzeigen, aber keine Generalisierung messen.

Die Behauptung, „Minimal schaltet das echte Modell frei“, hat zudem mehrere alternative Erklärungen.

Erstens könnte der Minimal-Modus Prompt-Überladung beseitigen. Lange Tool-Handbücher und sich überschneidende Anweisungen verschlechtern Agentenverhalten häufig, insbesondere über längere Sitzungen hinweg.

Zweitens könnte er den Zustand effektiver bewahren. Eine persistente Shell ermöglicht es einem Modell, Arbeitsverzeichnisse, Umgebungszustand und laufende Prozesse beizubehalten, ohne sie rekonstruieren zu müssen.

Drittens könnte das Preset die während des Post-Trainings verwendeten Tool-Schnittstellen offenlegen. Das schafft Verteilungsangleichung, aber nicht zwangsläufig Benchmark-Memorisierung.

Viertens könnten frühe GA-Anfragen auf Unterschiede bei der Bereitstellung gestoßen sein. Community-Berichte erwähnten ungewöhnlich kurzes Reasoning und mögliche Routing-Änderungen, obwohl DeepSeek keinen Notfall-Rollback bestätigte.

Fünftens könnten Nutzer die auffälligsten erfolgreichen Durchläufe auswählen und verbreiten. Positive Demonstrationen verbreiten sich schnell, während fehlgeschlagene Replikationen weniger Aufmerksamkeit erhalten.

Auch die gegenteilige Verzerrung existiert. Enttäuschte Nutzer können von einer fehlerhaften Sitzung verallgemeinern, besonders nachdem sie Benchmark-Behauptungen gelesen haben, die hohe Erwartungen geweckt haben.

DeepSeeks offizielle Ergebnisse lassen durchaus Raum für Skepsis. Das Unternehmen berichtet, dass V4-Pro Max 80,6 Prozent von SWE-bench Verified löst und bei Terminal Bench 2.0 67,9 erreicht.

Es berichtet zudem von einem Codeforces-Rating von 3206 und einer Bestehensquote von 93,5 bei LiveCodeBench. Diese Werte stellen das Modell unter dem angegebenen Evaluierungsaufbau als High-End-Coding-System dar.

Eine unabhängige Bewertung liefert einen nützlicheren Anker. Das Center for AI Standards and Innovation der US-Regierung bewertete das Preview-Modell mit von Entwicklern empfohlenen Einstellungen.

In seiner unabhängigen Bewertung setzte CAISI DeepSeek V4 auf H200- und B200-GPUs ein. Dabei blieben internes Reasoning erhalten und die empfohlenen Werte für Kontext, Sampling, System Prompts und maximales Denken wurden verwendet.

CAISI reproduzierte außerdem DeepSeeks selbst gemeldetes GPQA-Diamond-Ergebnis, was die Wahrscheinlichkeit eines grundlegenden Fehlers bei der Inferenzkonfiguration für diesen Benchmark verringert. Für Agent-Tests verwendete es jedoch den integrierten ReAct-Agenten von Inspect statt DeepSeek Harness Minimal.

Genau diesen Unterschied sollten künftige Analysen untersuchen. Ein Modell kann einem statischen Reasoning-Benchmark entsprechen und zugleich hochsensibel auf die Agent-Schleife reagieren, die es umgibt.

Die verfügbaren Belege stützen daher eine vorsichtige Schlussfolgerung. DeepSeek-V4-Pro ist umgebungssensitiv, und DeepSeek hat seinen Agent-Workflow auf bekannte Zusammensetzungen optimiert.

Die Belege zeigen nicht, dass DeepSeek öffentliche Benchmark-Aufgaben auswendig gelernt hat. Sie beweisen auch keine absichtliche Manipulation.

Das Modell heute als overfitted zu bezeichnen, greift den Daten voraus. Den Harness als irrelevant zu bezeichnen, ignoriert hingegen, was sowohl DeepSeeks Dokumentation als auch Community-Tests zeigen.

Der eigentliche Wettbewerb lautet: trainingsausgerichtete Agenten gegen portable Modelle

DeepSeeks unmittelbare Herausforderung besteht nicht darin, ein konkurrierendes Modell zu schlagen. Es muss beweisen, dass seine Leistungsfähigkeit außerhalb seiner bevorzugten Laufzeitumgebung erhalten bleibt.

Modellanbieter optimieren zunehmend vollständige Agent-Systeme. Das Modell bleibt wichtig, doch die Orchestrierung entscheidet darüber, ob sein Reasoning ein nützliches Ergebnis hervorbringt.

OpenAI kombiniert Modelle mit Codex. Anthropic entwickelt Modelle zusammen mit Claude Code. Google steuert das Modellverhalten in den Coding-Produkten von Gemini, während unabhängige Laufzeitumgebungen eigene Prompts und Tools hinzufügen.

DeepSeek hat nun dieselbe strategische Option. Es kann V4-Pro gemeinsam mit DeepSeek Harness entwickeln, Fehler durchgängig messen und diese Traces für Reinforcement Learning nutzen.

Dieser Ansatz kann bessere Ergebnisse in der Praxis liefern, als die API als isolierten Textgenerator zu behandeln. Er kann auch das Debugging beschleunigen, weil das Unternehmen beide Seiten der Interaktion kontrolliert.

Ein stabiler Harness bietet Trainingsteams eine reproduzierbare Umgebung. Sie können korrekte Befehlsverwendung belohnen, Dateiänderungen validieren, unvollständige Arbeit bestrafen und lang laufende Sitzungen testen.

Der Kompromiss ist Portabilität. Unternehmen setzen ein Modell nur selten in der unveränderten Referenzumgebung des Anbieters ein.

Sie ergänzen Berechtigungsprüfungen, private Retrieval-Systeme, Logging, Richtlinienfilter, menschliche Freigaben und organisationsspezifische Tools. Entwickler bringen bestehende Editoren, Kommandozeilen-Agenten und Automatisierungs-Frameworks mit.

Jede Ergänzung verändert die Interaktionsverteilung. Ein Modell, das von einem schlanken System Prompt abhängt, kann zurückfallen, wenn eine Sicherheitsrichtlinie des Unternehmens mehrere tausend Tokens hinzufügt.

Ein Modell, das auf ein bestimmtes Datei-Editierprotokoll trainiert wurde, kann die Fehlermeldungen eines anderen Protokolls falsch behandeln. Eine Kompaktierungsstrategie, die für Coding funktioniert, kann Belege verwerfen, die bei rechtlichen oder analytischen Aufgaben erforderlich sind.

Portable Leistungsfähigkeit bedeutet, die Leistung über diese Variationen hinweg zu bewahren. Sie verlangt nicht überall identische Werte, aber eine kontrollierte Verschlechterung.

Trainingsausgerichtete Leistungsfähigkeit verspricht etwas anderes. Der Anbieter stellt ein empfohlenes System mit bekannten Einstellungen bereit, und Nutzer erhalten die beworbene Leistung, indem sie den gesamten Stack übernehmen.

Keiner der beiden Ansätze ist grundsätzlich überlegen. Ein eng integriertes System kann bessere Ergebnisse für Teams liefern, die bereit sind, sich darauf zu standardisieren.

Ein portables Modell gibt Plattformentwicklern mehr Freiheit. Zudem lassen sich Benchmark-Ergebnisse über Laufzeitumgebungen hinweg leichter vergleichen.

DeepSeeks derzeitige Kommunikation versucht, beide Vorteile für sich zu beanspruchen. V4-Pro ist über mehrere API-Formate verfügbar und wird als kompatibel mit großen Agent-Produkten präsentiert.

Gleichzeitig scheint sein stärkstes berichtetes Verhalten eng an maximales Reasoning und eine spezialisierte Harness-Zusammensetzung gebunden zu sein. Diese Lücke setzt die Portabilitätsbehauptung unter Druck.

Die offizielle Preview-Ankündigung erklärte, DeepSeek habe V4 für Claude Code, OpenClaw, OpenCode und andere Agent-Produkte optimiert. Sie erklärte zudem, das Unternehmen nutze V4 intern für agentisches Coding.

Diese Aussagen deuten auf eine breitere Anpassung als nur ein Minimal-Preset hin. DeepSeek kann sie stützen, indem es Ergebnisse über mehrere unabhängige Laufzeitumgebungen hinweg bei abgestimmten Budgets veröffentlicht.

Der Vergleich muss mehr kontrollieren als nur den Endscore. Forschende sollten Token-Verbrauch, Laufzeit, Abschlussrate, Tool-Fehler, Wiederholungsversuche und Fehlerkategorien berichten.

Sie sollten außerdem Modellfehler von Harness-Fehlern trennen. Wenn ein Editor einen fehlerhaften Patch ablehnt, sollte der Trace zeigen, ob Schema, Parser oder Modell den Defekt verursacht haben.

Dieses Berichtsmaß würde den gesamten Agent-Markt verbessern. Aktuelle Leaderboards verdichten ein kompliziertes System oft zu einem Prozentsatz neben einem Modellnamen.

Diese Darstellung verleitet Käufer dazu, Modellendpunkte zu vergleichen und die Orchestrierung zu ignorieren. Sie erlaubt Anbietern auch, günstige Harnesses auszuwählen, ohne zu zeigen, wie empfindlich ihre Ergebnisse sind.

DeepSeek Harness könnte helfen, dieses Problem zu lösen, wenn das Unternehmen sein Plugin-Design für kontrollierte Ablationsstudien nutzt. Das Team kann jeweils eine Komponente austauschen und die daraus resultierenden Score-Änderungen veröffentlichen.

Ablationstests entfernen oder verändern ein Element, um seinen Beitrag zu messen. Hier könnten sie den Wert eines persistenten Shell-Zustands, der Kompaktierungsrichtlinie, der Tool-Benennung oder der Länge des System Prompts quantifizieren.

Wenn der Minimal-Modus gewinnt, weil er irrelevante Anweisungen entfernt, können andere Harness-Entwickler diese Erkenntnis übernehmen. Wenn er gewinnt, weil das Modell exakte Tokens aus der Trainingszeit erwartet, werden Portabilitätsbedenken stärker.

Beide Ergebnisse wären informativer als ein weiterer Showcase-Durchlauf. Die Debatte braucht Messungen, keinen Wettbewerb zwischen begeisterten Clips und frustrierten Posts.

Was die DeepSeek-Pro-Bedenken bestätigen oder abschwächen würde

Drei beobachtbare Signale können bestimmen, ob der Minimal-Modus ein sinnvoller Referenzaufbau oder eine Leistungsabhängigkeit ist.

Das erste Signal ist eine kontrollierte Cross-Harness-Evaluierung des 0813-Modells. Sie sollte identische Aufgaben über DeepSeek Harness Minimal, sein Standard-Preset und mindestens zwei unabhängige Agent-Laufzeitumgebungen ausführen.

Jede Konfiguration benötigt dieselbe Reasoning-Stufe, dasselbe Token-Budget, dieselbe Sampling-Richtlinie, dieselben Tool-Fähigkeiten und dieselbe Anzahl erlaubter Wiederholungsversuche. Evaluatoren sollten mehrere Durchläufe verwenden, weil Agent-Ergebnisse zwischen Runs variieren.

Ein großer Minimal-Vorteil würde die Sorge einer Konfigurationsabhängigkeit verstärken. Ähnliche Ergebnisse über gleichwertige Laufzeitumgebungen hinweg würden die Overfitting-Theorie abschwächen und nahelegen, dass frühe Fehler von Setup- oder Bereitstellungsproblemen herrührten.

Das zweite Signal ist Robustheit gegenüber harmlosen Änderungen der Schnittstelle. Evaluatoren sollten Tools umbenennen, Schemas neu anordnen, Anweisungen umformulieren und funktional gleichwertige Editoren einsetzen.

Die Leistung sollte weitgehend stabil bleiben, wenn Informationen und verfügbare Aktionen unverändert bleiben. Ein starker Rückgang würde zeigen, dass das Modell auf Oberflächenmerkmale statt auf ein allgemeines Verständnis von Tools angewiesen ist.

Dieser Test ist wichtiger als der Vergleich eines Anbieter-Harness mit einem anderen. Unterschiedliche Produkte führen viele Variablen gleichzeitig ein, sodass die Ursache einer Score-Änderung schwer zu isolieren ist.

Das dritte Signal ist DeepSeeks eigene Offenlegung. Das Unternehmen sollte die genaue Agent-Zusammensetzung hinter jedem prominenten Benchmark veröffentlichen, einschließlich Prompts, Tool-Schemas, Kompaktierungsregeln und Inferenz-Einstellungen.

Es sollte außerdem zwischen dem Preview-Modell und dem GA-Checkpoint vom 13. August unterscheiden. Ohne versionierte Ergebnisse können Nutzer nicht erkennen, ob ein älterer Score auf den aufgerufenen Endpunkt übertragbar ist.

DeepSeek muss keine privaten Trainingsdaten offenlegen, um diese Transparenz zu bieten. Reproduzierbare Evaluierungsskripte und vollständige Laufzeitkonfigurationen würden die zentrale Frage beantworten.

Unabhängige Forschende können dann prüfen, ob die behaupteten Gewinne in anderen Repositories, Programmiersprachen, Aufgabenlängen und unter anderen Sicherheitsbeschränkungen bestehen bleiben. Unternehmenskäufer können beurteilen, ob die Übernahme des Referenz-Harness zu ihren Systemen passt.

Für Entwickler ist die praktische Lektion bereits klar. Bewerten Sie DeepSeek pro nicht über ein einzelnes Chatfenster, und betrachten Sie einen Erfolg im Minimal-Modus nicht als universelles Ergebnis.

Testen Sie genau das Modell-Harness-Paar, das in die Produktion geht. Erfassen Sie Reasoning-Einstellungen, Kontext-Richtlinie, Tool-Definitionen, Wiederholungsversuche und Aufgabenabschluss, statt nur den finalen Text zu bewerten.

Für Benchmark-Herausgeber sollten Konfigurationen als erstklassige Einträge berichtet werden. „DeepSeek-V4-Pro mit DSH Minimal“ ist ehrlicher als eine Zeile, die nur „DeepSeek-V4-Pro“ heißt.

Für DeepSeek ist die Chance größer, als eine einzelne Veröffentlichung zu verteidigen. Das Unternehmen kann diese Kontroverse in einen klareren Standard zur Bewertung von Agent-Systemen verwandeln.

Das stärkste Ergebnis wäre nicht der Nachweis, dass der Minimal-Modus V4-Pro außergewöhnlich erscheinen lässt. Es wären Belege dafür, dass das Modell weiterhin nützlich bleibt, wenn reale Organisationen Minimal durch ihre eigenen komplexen Umgebungen ersetzen.

Bis diese Ergebnisse vorliegen, bleibt „Overfitting“ eine unbelegte Diagnose. Konfigurationsabhängigkeit ist die etablierte Sorge, und sie ist für sich genommen bereits bedeutsam.

Wenn Sie die Veröffentlichung 0813 testen, führen Sie dieselbe Repository-Aufgabe über mindestens zwei Harnesses aus und wiederholen Sie jeden Durchlauf. Bewahren Sie die Traces auf, normalisieren Sie die Budgets und veröffentlichen Sie Fehlschläge neben Erfolgen. Diese Belege werden zeigen, ob DeepSeek pro übertragbares Agent-Verhalten oder einen besonders vertrauten Workflow gelernt hat.