Dwarkesh-Patel-Pretraining-Studie zeigt: Daten übertrafen Modellverbesserungen
Dwarkesh Patel veröffentlichte gemeinsam mit Jerry Han eine Pretraining-Studie mit einem bemerkenswerten Ergebnis: Verbesserungen bei den Daten lieferten eine 12-fache Steigerung der Recheneffizienz. Verbesserungen am Modellrezept erzielten unter demselben experimentellen Rahmen 3,7-fache Gewinne. Die Dwarkesh-Patel-Pretraining-Studie schreibt den Daten damit etwa 3,24-mal mehr Effizienzfortschritt zu.
Dieses Ergebnis stellt eine verbreitete Erzählung über Fortschritte bei Sprachmodellen infrage. Die öffentliche Diskussion konzentriert sich oft auf Architekturen, Optimierer, größere Cluster und neue Aufmerksamkeitsmechanismen. Patel und Han stellten stattdessen fest, dass bessere Korpora innerhalb ihres untersuchten Bereichs den größeren Effizienzvorteil schufen.
Die Forschenden rekonstruierten sechs Jahre offenen Pretraining-Fortschritts – von Systemen der GPT-2-Ära bis zu Rezepten der OLMo-2-Ära. Sie kombinierten repräsentative Modelldesigns mit repräsentativen Datensätzen und trainierten diese Kombinationen mit mehreren Rechenbudgets. Dadurch entsteht ein direkter Wettbewerb zwischen zwei Erklärungen: besserer Maschinerie und besserem Material.
Das Ergebnis belegt nicht, was bei OpenAI, Anthropic, Google DeepMind oder Meta passiert ist. Diese Unternehmen veröffentlichen nur begrenzte Informationen über ihre aktuellen Trainingsdaten. Es verschiebt jedoch die Beweislast für alle, die Data Engineering als nachrangiges Thema behandeln.
Die Dwarkesh-Patel-Pretraining-Studie rekonstruierte sechs Jahre Fortschritt
Patel und Han versuchten, zwei Variablen voneinander zu trennen, die sich gewöhnlich gemeinsam verändern: das Modellrezept und den Trainingskorpus.
Ihr Pretraining-Experiment wurde am 8. September 2026 veröffentlicht. Es umfasst repräsentative offene Modellrezepte und öffentliche Datensätze, die von 2019 bis 2025 erschienen sind. Die Autoren trainierten Kombinationen dieser Bestandteile von Grund auf.
Ein Modellrezept umfasst Architektur, Optimierer, Initialisierung, Lernratenplan, Normalisierungsmethode und weitere Trainingsentscheidungen. Ein Korpus ist die Sammlung von Texten, die für das Pretraining in Tokens umgewandelt werden. Die meisten öffentlichen Modellveröffentlichungen ändern beide Komponenten gleichzeitig, wodurch ihre individuellen Beiträge schwer zu isolieren sind.
Die Modellachse beginnt mit dem GPT-2-Rezept und endet bei OLMo-2. Zu den Zwischenänderungen zählen Rotary Position Embeddings, RMSNorm, SwiGLU-Aktivierungen, eine überarbeitete Platzierung der Normalisierung, QK-Normalisierung und sauberere Initialisierungsmethoden. Jede Verbesserung verändert, wie ein Modell Informationen repräsentiert oder während des Trainings stabil bleibt.
Die Datenachse beginnt mit OpenWebText. Dieser Korpus aus dem Jahr 2019 enthielt etwa 9 Milliarden Tokens aus Webseiten, auf die ausreichend populäre Reddit-Beiträge verlinkten. Spätere Datensätze nutzten breitere Web-Crawls, stärkere Extraktion, Deduplizierung und zunehmend selektive Qualitätsfilter.
Der Endpunkt von 2025 war UltraFineWeb. Seine Pipeline wendet ausgefeiltere Filter auf einen deutlich größeren Pool von Webdokumenten an. Einige moderne Filter verwenden trainierte Klassifikatoren, um vorherzusagen, welche Dokumente die nachgelagerte Modellleistung verbessern werden.
Patel und Han testeten fünf nominelle Rechenbudgets. Sie reichten von 100 Billiarden FLOPs bis zu 10 Trillionen FLOPs, geschrieben als 1e17 bis 1e19 FLOPs. FLOPs messen die während des Trainings verbrauchten arithmetischen Operationen.
Bei jedem Budget variierten die Forschenden Modellgröße und Token-Anzahl. Dadurch konnten sie die recheneffiziente Kombination für jede Modell-und-Korpus-Paarung schätzen. Rechenoptimal bedeutet, innerhalb einer festen Menge an Trainingsberechnung das stärkste gemessene Ergebnis zu erzielen.
Mehrere weitere Entscheidungen kontrollierten sie über die Experimente hinweg. Jeder Durchlauf verwendete den GPT-2-BPE-Tokenizer mit einem Vokabular von 50.257 Tokens. Außerdem kamen eine Kontextlänge von 2.048 Tokens und ein Batch mit 262.144 Tokens zum Einsatz.
Die Forschenden bewerteten Endfähigkeiten mit OLMES, einer Sammlung von zehn relativ zugänglichen Benchmarks. Die meisten nutzen Multiple-Choice-Fragen. Sie wählten die Fähigkeitsbewertung, weil der Vergleich von Cross-Entropy-Loss über verschiedene Trainingsdatensätze hinweg einen ungleichen Test erzeugen würde.
Diese Entscheidung ist wichtig. Ein Modell, das anhand desselben Korpus bewertet wird, der seine Trainingsverteilung definiert, kann einen künstlichen Vorteil erhalten. Nachgelagerte Aufgaben bieten ein gemeinsames Ziel, führen jedoch mehr statistisches Rauschen ein.
Das Team verwendete mehrere unabhängige Seeds für die Compute-Scaling-Kurven. Ein Seed verändert die zufällige Initialisierung und Datenreihenfolge und hilft aufzudecken, ob ein Ergebnis über Trainingsvariationen hinweg bestehen bleibt. Das größere 7-mal-7-Raster bei 3.16e18 FLOPs nutzte einen Seed pro Kombination.
Beim Budget von 1e19 FLOPs lieferten neuere Daten gegenüber der Datenbasis von 2019 einen 12-fachen Compute-Multiplikator. Neuere Modellrezepte erzielten gegenüber dem GPT-2-Rezept einen 3,7-fachen Multiplikator. Ihr Verhältnis ergab den zentralen 3,24-fachen Vorteil für Daten.
Ein Compute-Multiplikator beschreibt, wie viel weniger Rechenleistung ein neuerer Bestandteil benötigt, um die Leistung des älteren Bestandteils zu erreichen. Er bedeutet nicht, dass das Modell zwölfmal intelligenter wurde. Er beschreibt die Effizienz bei einem gewählten Leistungsniveau und einer bestimmten Benchmark-Suite.
Die Autoren stellten außerdem fest, dass Daten- und Modellgewinne bei 3.16e18 FLOPs weitgehend unabhängig waren. Ein additives statistisches Modell erklärte 88 Prozent der Variation in den OLMES-Werten. Nur etwa 12 Prozent blieben für Interaktionen, Effekte höherer Ordnung oder Bewertungsrauschen übrig.
Dieses Ergebnis deutet darauf hin, dass bessere Daten keine spezielle Architektur benötigten, um ihren Nutzen zu liefern. Ebenso blieben architektonische Verbesserungen im Allgemeinen über verschiedene Korpora hinweg nützlich. Diese Unabhängigkeit erschwert es, den Datenbeitrag als eine zufällige Modell-und-Datensatz-Paarung abzutun.
Data Engineering gewann den Effizienzwettbewerb
Innerhalb dieses Experiments war es wichtiger, was das Modell las, als den Mechanismus zu verbessern, mit dem es las.
Das Ergebnis passt zu einer wachsenden Zahl datenorientierter Forschungsarbeiten zu Sprachmodellen. Moderne Korpora sind nicht einfach größere Haufen von Internettexten. Ihre Ersteller extrahieren sauberere Inhalte, entfernen Duplikate, gewichten Quellen aus, filtern minderwertige Dokumente und kontrollieren Kontaminationen.
Deduplizierung entfernt identisches oder nahezu identisches Material. Ohne sie können häufig kopierte Seiten das Training dominieren und die effektive Vielfalt des Korpus verringern. Extraktion trennt bedeutsamen Text von Menüs, Werbung, Standardtexten und beschädigtem Markup.
Die Filterung entscheidet anschließend, welche Dokumente die begrenzte Trainingsberechnung verdienen. Frühe Filter stützten sich stark auf Regeln zu Sprache, Länge, Wiederholungen und Zeichensetzung. Neuere Pipelines setzen zunehmend Klassifikatoren ein, die anhand von Beispielen für hilfreichen und wenig hilfreichen Text trainiert wurden.
DataComp-LM machte diesen Ansatz durch kontrollierte Datensatzwettbewerbe messbar. Seine Forschenden veröffentlichten einen 240-Billionen-Token-Pool aus Common Crawl und legten das Trainingsrezept für Teilnehmende fest. Teams konnten dann über Filter- und Datenmischungsstrategien konkurrieren, statt das Modell zu verändern.
Die DataComp-LM-Ergebnisse zeigten, dass modellbasierte Filterung für die stärkste Baseline zentral war. Das Modell mit 7 Milliarden Parametern erreichte nach dem Training mit 2,6 Billionen Tokens eine Five-Shot-Genauigkeit von 64 Prozent bei MMLU.
Dieses Modell schnitt bei den berichteten Benchmarks vergleichbar mit größeren offenen Modellen ab. Die Autoren berichteten zudem über einen MMLU-Vorteil von 6,6 Prozentpunkten gegenüber MAP-Neo bei 40 Prozent weniger Trainingsberechnung. Es handelt sich um getrennte Experimente, doch ihre Richtung stützt das Ergebnis von Patel und Han.
DataComp-LM zeigte auch, dass das Filterdesign wichtiger sein kann als erwartet. Bei einer getesteten Skalierung verschob ein Wechsel des Filtermodells die Five-Shot-MMLU-Genauigkeit von 35 auf 44 Prozent. Der zugrunde liegende Roh-Webpool stand jedem Ansatz weiterhin zur Verfügung.
Überraschenderweise nutzte der beste getestete Filter einen relativ einfachen Bigramm-Klassifikator mit sorgfältig ausgewählten positiven und negativen Beispielen. Menschliche Einschätzungen der Dokumentqualität boten in diesen Experimenten nur begrenzten Nutzen. Was für Lesende hochwertig wirkt, erzeugt nicht immer ein besseres Lernsignal.
Die FineWeb-Forschung kam zu einer ähnlichen Schlussfolgerung. Ihre Ersteller verglichen Extraktion, Sprachfilterung, Deduplizierung und Auswahl nach Qualität über große Webkorpora hinweg. Die Arbeit behandelte die Erstellung von Datensätzen als empirische Ingenieursdisziplin statt als Bereinigungsschritt.
Der FineWeb-Datensatz erzeugte zudem eine bildungsorientierte Teilmenge, die von einem trainierten Klassifikator ausgewählt wurde. Diese Strategie betonte Seiten, die hochwertigem Bildungsmaterial ähneln. Solche Filter sollen nützliches Schlussfolgern und faktische Dichte pro Token erhöhen.
Diese Entwicklung erklärt die Datenbefunde von Dwarkesh Patel. OpenWebText filterte das Web bereits, nutzte jedoch Reddit-Popularität als breites Qualitätssignal. Spätere Pipelines testeten direktere Signale anhand der tatsächlichen Modellleistung.
Der Unterschied ähnelt dem Austausch einer allgemeinen Empfehlungsliste durch einen gemessenen Lehrplan. Beide enthalten lesbares Material. Nur der zweite optimiert, was der Lernende aus jeder Stunde gewinnt.
Diese Effizienz von Pretraining-Daten ist wichtig, weil jedes Token Rechenleistung verbraucht. Minderwertige Wiederholungen, beschädigter Text und irrelevante Standardtexte konkurrieren innerhalb eines festen Budgets mit nützlichen Beispielen. Eine bessere Auswahl steigert die Lernmenge, die durch dieselbe Beschleunigerzeit erzeugt wird.
Die wirtschaftliche Konsequenz reicht über einen einzelnen Trainingslauf hinaus. Eine Datenpipeline kann wiederholte Experimente, Modellgenerationen und spezialisierte Varianten unterstützen. Verbesserungen an dieser Pipeline können sich über das gesamte Forschungsprogramm einer Organisation hinweg kumulieren.
Daten prägen auch, welche Fähigkeiten entstehen. Ein code-reicher Korpus verhält sich nicht wie ein Korpus, der von dialogorientierter Prosa dominiert wird. Wissenschaftliche Arbeiten, Rechtstexte, mehrsprachige Dokumente und synthetische Reasoning-Traces lenken das Lernen jeweils in unterschiedliche Richtungen.
Das setzt Frontier-Labore unter Druck. Sie können nicht davon ausgehen, dass eine weitere Hardwarebestellung ein schwaches Korpusdesign ausgleicht. Sie brauchen stärkere Systeme für Herkunftsnachweise, Lizenzierung, Extraktion, Filterung, Mischungsdesign, Bewertung und kontinuierliche Aktualisierung.
Der Druck betrifft auch kleinere Modellentwickler. Teams mit begrenztem Zugang zu Beschleunigern können keinen direkten Ausgabenwettbewerb gewinnen. Sie können jedoch weiterhin die Informationsdichte jedes Trainingsbatches verbessern und ihren Korpus auf bestimmte Fähigkeiten ausrichten.
Die Studie besagt jedoch nicht, dass jeder eng zugeschnittene Datensatz besser ist. The Pile schnitt in den berichteten Experimenten bei OLMES schlechter ab als OpenWebText. The Pile enthält vielfältiges Material aus Quellen wie wissenschaftlichen Arbeiten, Code, Patenten und Rechtstexten.
OLMES bewertet überwiegend englischsprachige Multiple-Choice-Aufgaben im Web-Stil. Spezialisiertes Material kann deshalb wenig Anerkennung erhalten, selbst wenn es andernorts wertvolle Fähigkeiten unterstützt. Datenqualität besitzt abseits eines Ziels keine universelle Definition.
Bessere Modelle ermöglichten weiterhin größere Trainingsläufe
Das 12-fache Datenergebnis misst Effizienz, doch die Modellforschung hat auch die Skalierung erweitert, bei der nützliches Training möglich bleibt.
Patel und Han weisen die einfachste Interpretation ihrer zentralen Aussage ausdrücklich zurück. Ihr Experiment zeigt nicht, dass sechs Jahre Modellforschung wenig beigetragen hätten. Es misst die Rechenleistung, die erforderlich ist, um bestimmte nachgelagerte Werte bei relativ kleinen Skalierungen zu erreichen.
Viele Modellinnovationen erfüllen einen anderen Zweck. Sie halten das Training stabil, wenn Parameterzahlen, Kontextfenster, Datenvolumen und Beschleunigercluster wachsen. Eine Verbesserung, die verhindert, dass ein massiver Trainingslauf kollabiert, dominiert möglicherweise kein Effizienzdiagramm bei kleiner Skalierung.
Ein größerer Trainingscluster schafft zahlreiche Fehlerquellen. Gradienten können explodieren oder verschwinden. Kommunikationsbandbreite kann zum Engpass werden. Speicherbedarf kann Sequenzlänge, Batch-Größe oder Optimizer-Zustand begrenzen.
Änderungen bei der Normalisierung können die Stabilität verbessern. Eine bessere Initialisierung kann frühes Auseinanderlaufen verhindern. Arbeiten auf Kernel-Ebene können Beschleuniger auslasten, statt sie auf Speicherbewegungen warten zu lassen.
FlashAttention liefert ein wichtiges historisches Beispiel. Es organisiert die exakte Attention-Berechnung rund um Speicherzugriffe neu und reduziert kostspielige Transfers zwischen verschiedenen Speicherebenen. Dadurch lassen sich mögliche Sequenzlängen erweitern, ohne das grundlegende Attention-Ergebnis zu verändern.
Mixture-of-experts-Modelle adressieren eine weitere Skalierungsbeschränkung. Sie aktivieren für jedes Token nur einen Teil des Netzwerks, sodass die gesamte Parameterkapazität wachsen kann, ohne dass der Rechenaufwand pro Token proportional steigt. Solche Designs erschweren Routing und verteiltes Training.
Grouped-query attention kann den für zwischengespeicherte Schlüssel und Werte während der Inferenz benötigten Speicher reduzieren. Das ist besonders wichtig, wenn ein Modell Millionen von Prompts bedient. Patel und Han weisen darauf hin, dass diese Art von Inferenzverbesserung nicht in ihrem Pretraining-Compute-Multiplikator erscheint.
Auch Verbesserungen bei Tokenizern bleiben außerhalb des Experiments. Ein Tokenizer bestimmt, wie Text in für das Modell lesbare Einheiten umgewandelt wird. Effizientere Tokenisierung kann die Sequenzlänge reduzieren oder die Repräsentation über Sprachen und Domänen hinweg verbessern.
Der zentrale Gegensatz lautet daher Dateneffizienz versus modellgestützte Skalierung, nicht Datenarbeiter versus Modellforscher. Bessere Korpora helfen einem System, aus einem festen Budget mehr zu lernen. Besseres Model Engineering ermöglicht es Laboren, größere Budgets ohne Instabilität oder unvertretbaren Overhead einzusetzen.
Die Chinchilla-Arbeit von Google DeepMind veranschaulicht, wie diese Variablen zusammenwirken. Frühere Skalierungspraxis vergrößerte häufig die Parameterzahl, ohne die Trainingsdaten proportional zu erhöhen. Die resultierenden Modelle verbrauchten erhebliche Inferenzressourcen, blieben jedoch untertrainiert.
DeepMind trainierte mehr als 400 Modelle, um die optimale Verteilung zwischen Parametern und Tokens zu schätzen. Die compute-optimale Forschung kam zu dem Schluss, dass Modellgröße und Tokenanzahl unter den getesteten Bedingungen gemeinsam steigen sollten.
Chinchilla verwendete 70 Milliarden Parameter und 1,4 Billionen Trainingstokens. Gopher verwendete 280 Milliarden Parameter bei einem vergleichbaren Compute-Budget. Das kleinere, umfassender trainierte Chinchilla übertraf Gopher in den meisten berichteten Evaluierungen.
Dieses Ergebnis verlagerte die Aufmerksamkeit von der Parameterzahl hin zu Trainingsdauer und Datensatzvolumen. Es machte Architekturforschung nicht überflüssig. Es zeigte, dass die Modellgröße allein nur unzureichend beschreibt, wie effektiv Rechenleistung genutzt wurde.
Patel und Han führen diese Diskussion fort, indem sie das Alter des Korpus vom Alter des Rezepts trennen. Chinchilla fragte, wie viele Parameter und Tokens mit einem Compute-Budget gekauft werden sollten. Die neue Studie fragt, ob Fortschritt stärker vom Behälter oder von dessen Inhalt kam.
Die Antwort spricht auf dieser Skala für den Inhalt. Doch der Behälter bestimmt, wie viel transportiert werden kann. Patel und Han vergleichen kleine Modelle mit Segelbooten und Frontier-Systeme mit Containerschiffen.
Eine sorgfältig ausgewählte Ladung ist auf einem Segelboot besonders wichtig, weil die Kapazität knapp ist. Ein Containerschiff kann weitaus mehr Material transportieren und rauere Bedingungen überstehen. Sein Wert zeigt sich durch Skalierung und Zuverlässigkeit, nicht allein durch Geschwindigkeit.
Für KI-Labore bleiben beide Fähigkeiten unverzichtbar. Ein sauberer Korpus kann ohne stabile Software und Hardware nicht trainiert werden. Eine effiziente Architektur verschwendet weiterhin Compute, wenn ihre Trainingsbatches dupliziertes oder geringwertiges Material enthalten.
Die nützliche Umkehrung der Studie ist enger gefasst. Architektur sollte nicht länger automatisch für jede generationelle Leistungssteigerung Anerkennung erhalten. Wenn sich sowohl Daten als auch Rezepte verbessern, müssen kontrollierte Ablationen bestimmen, welche Änderung den beobachteten Gewinn verursacht hat.
Was der 12-fache Befund nicht belegt
Die stärkste Schlussfolgerung ist zugleich eng begrenzt: Daten dominierten ein offenes Pretraining-Experiment im kleinen Maßstab für eine Capability-Suite.
Die Autoren betonen diese Grenzen wiederholt. Ihr maximales Budget lag bei 1e19 FLOPs, weit unter modernen Frontier-Trainingsläufen. Skalenabhängige Techniken können bei kleinen Modellen kaum sichtbare Vorteile liefern und erst viel später unverzichtbar werden.
Kleine Modelle haben begrenzte Kapazität. Geringwertige Tokens können wichtiges Material verdrängen, weil das Modell nicht alles aufnehmen kann. Aggressive Auswahl kann kleinen Modellen daher stärker helfen als Systemen mit deutlich größerer Repräsentationskapazität.
Große Modelle können von breiter Abdeckung profitieren, selbst wenn die durchschnittliche Dokumentqualität sinkt. Mehr Kapazität kann schwache Signale von Rauschen trennen. Übermäßige Filterung könnte seltene Fakten, ungewöhnliche Stile, Minderheitensprachen oder technische Nischeninhalte entfernen.
Aggressive Filterung verkleinert zudem den einzigartigen Korpus. Entwickler müssen das verbleibende Material dann über mehr Epochen hinweg wiederholen, also mehr Durchläufe durch dieselben Beispiele. Wiederholung kann abnehmende Erträge oder Overfitting erzeugen.
Forschung zu datengestützter Skalierung unter begrenzten Daten ergab, dass wiederholte Daten weiterhin nützlich bleiben, mit zusätzlichen Durchläufen jedoch an Wert verlieren. Dadurch entsteht ein Zielkonflikt zwischen durchschnittlicher Qualität, gesamter Vielfalt und Wiederholung.
Patel und Han weisen auf eine noch größere Unsicherheit hin. Frontier-Modelle werden häufig über klassische Chinchilla-optimale Tokenallokationen hinaus trainiert, weil kleinere Modelle spätere Inferenzkosten senken können. Ein kuratierter Datensatz könnte unter dieser Strategie umfangreiche Wiederholung erfordern.
Die OLMES-Evaluierung fügt eine weitere Einschränkung hinzu. Ihre zehn Aufgaben sind relativ zugänglich und basieren weitgehend auf Multiple-Choice-Fragebeantwortung. Andere Evaluierungen könnten die Rangfolge von Modellrezepten, Datensätzen oder beidem verändern.
Ein Coding-Benchmark könnte Repositories und technische Dokumentation belohnen. Ein wissenschaftlicher Benchmark könnte Papers und spezialisierte Erklärungen bevorzugen. Mehrsprachige Tests würden sprachliche Abdeckung würdigen, die eine englischzentrierte Suite möglicherweise übersieht.
Die Autoren beobachteten Anomalien, die mit diesem Messproblem vereinbar sind. NeoX schnitt bei 1e19 FLOPs auf OLMES schlechter ab als GPT-2, obwohl es bei niedrigeren getesteten Budgets besser abschnitt. NeoX erzielte außerdem einen besseren Loss auf zurückgehaltenem FineWeb-Edu.
Auch die breite Mischung von The Pile schnitt auf OLMES schlechter ab als OpenWebText. Das belegt nicht, dass vielfältige Quellen im Allgemeinen ineffizient sind. Es könnte zeigen, dass die Evaluierung ihrer spezialisierten Kenntnisse nur begrenzt Anerkennung zollt.
Einige berichtete Multiplikatoren erforderten Extrapolation. Die NeoX- und Pile-Kurven erreichten innerhalb des gemessenen Bereichs nicht immer die erforderliche Referenzleistung. Das Verlängern einer angepassten Kurve über beobachtete Ergebnisse hinaus führt zusätzliche Unsicherheit ein.
Hyperparameter-Tuning schafft eine weitere Fehlerquelle. Endfähigkeiten können sich mit maximaler Lernrate, Batch-Größe, Initialisierung und Zeitplan verändern. Die Forscher variierten Lernraten an ausgewählten Ankerpunkten, konnten jedoch nicht jede mögliche Konfiguration testen.
Sie gehen davon aus, dass die Unsicherheit bei Multiplikatoren für Modellrezepte die dargestellten statistischen Fehlerbalken übersteigt. Diese Balken erfassen die Variation ihrer Schätzpipeline. Sie erfassen nicht jede Folge begrenzter Hyperparameter-Optimierung.
Die berichteten jährlichen Effizienzraten unterstreichen die Notwendigkeit zur Vorsicht. Modelländerungen ergaben einen jährlichen Multiplikator von 1,24, Datenänderungen hingegen 1,51. Zusammen betrug der gemessene jährliche Gewinn das 1,57-Fache.
Diese Zahlen liegen unter einer früheren Schätzung von etwa einer dreifachen jährlichen Verbesserung der Softwareeffizienz. Patel und Han nennen mehrere Erklärungen, darunter skalenabhängige Gewinne, ausgeschlossene Inferenzoptimierungen, Tokenizer-Änderungen und die Auswahl repräsentativer Rezepte.
Die Studie schließt außerdem bedeutende Quellen moderner Capability-Fortschritte aus. Sie konzentriert sich auf Pretraining, die Phase, in der ein Modell allgemeine Muster aus breiten Korpora lernt. Sie zerlegt weder Reinforcement Learning noch Post-Training, Tool-Nutzung oder Testzeit-Compute.
Patel und Han merken an, dass Reinforcement Learning in den zwei Jahren vor der Veröffentlichung viele sichtbare Fortschritte vorantrieb. Ein Modell kann beim Schlussfolgern oder Befolgen von Anweisungen wesentlich besser werden, ohne seine grundlegende Pretraining-Effizienz zu verändern.
Synthetische Daten bleiben eine weitere große Lücke. Frontier-Labore nutzen Modelle, um Erklärungen, Code, Reasoning-Traces und Aufgabenbeispiele zu erzeugen. Das Experiment untersuchte öffentliche Korpora, die überwiegend Teilmengen von Common Crawl kuratieren.
Die Autoren testeten nicht, ob synthetische Generierung ein geringes Angebot hochwertiger Informationen erweitern kann. Sie verglichen außerdem keine synthetische Erweiterung mit der Wiederholung der ursprünglichen Dokumente über mehr Epochen.
Schließlich reproduziert die Studie keine geschlossenen Frontier-Pipelines. Große Labore legen vollständige Datensatzkompositionen, Filterklassifikatoren, Mischungsgewichte oder Kontaminationskontrollen nur selten offen. Ihre internen Systeme können sich stark von öffentlichen Rezepten unterscheiden.
Die angemessene Lesart ist vorsichtig, aber bedeutsam. Das Experiment liefert Hinweise darauf, dass Fortschritte bei Korpora mehr kausale Anerkennung verdienen. Es liefert kein universelles 12-faches Gesetz für jedes Modell, jede Skala, jeden Benchmark oder jedes Labor.
Datenqualität wird zu einer Scaling-Variable erster Klasse
Die Branche behandelt Datenqualität zunehmend als messbare Skalierungseingabe statt als informelle Eigenschaft eines Korpus.
Traditionelle Skalierungsgesetze verknüpfen Leistung mit Modellgröße, Trainingstokens und Compute. Sie gehen oft davon aus, dass ein Token mit einem anderen vergleichbar ist. Reale Datensätze verletzen diese Annahme durch Rauschen, Duplikate, Domänenunterschiede und ungleichmäßige Informationsdichte.
Aktuelle Forschung hat begonnen, Qualität direkt zu modellieren. Ein ICLR-2026-Paper führte einen dimensionslosen Qualitätsparameter ein und erweiterte Skalierungsgesetze im Chinchilla-Stil. Sein Ziel war, Loss gemeinsam aus Datenvolumen, Modellgröße und Datenqualität vorherzusagen.
Das qualitätsbewusste Modell verwendet Proxys auf Basis von Korruption und Datensatzdefiziten. Kontrollierte Experimente ergaben, dass höherwertige Daten die für einen Ziel-Loss erforderliche Modellgröße und Rechenleistung reduzieren können.
Dieser Ansatz bestätigt nicht den präzisen Multiplikator von Patel und Han. Er stützt den breiteren Mechanismus hinter ihrem Ergebnis. Zwei Korpora mit gleicher Tokenanzahl können sehr unterschiedliche effektive Lernmengen liefern.
Das verändert, wie Teams Skalierung beschreiben sollten. Die Tokenanzahl bleibt notwendig, kann jedoch nicht offenlegen, ob die Tokens einzigartig, relevant, korrekt oder lehrreich sind. Compute-Zahlen allein können nicht zeigen, ob Trainingsbatches nützliche Signale enthalten.
Dasselbe Prinzip ist auch unterhalb der Frontier relevant. Ein Unternehmen, das ein Modell an seine eigene Domäne anpasst, muss entscheiden, welche Dokumente vertrauenswürdiges Wissen darstellen. Jede verfügbare Datei in eine Pipeline einzuspeisen kann Duplikate, veraltete Richtlinien und widersprüchliche Anweisungen verstärken.
Gute Informationsinfrastruktur bewahrt Herkunftsinformationen und macht widersprüchliches Material sichtbar. Sie hilft Menschen auch dabei, die Quellen hinter modellgenerierten Antworten zu finden. Eine durchsuchbare Wissensbasis wendet ähnliche Disziplin im organisatorischen Maßstab an.
Entwickler sollten daher drei Fragen trennen. Erstens: Enthält der Korpus das Wissen, das für die Zielaufgaben benötigt wird? Zweitens: Kann die Pipeline dieses Wissen sauber extrahieren und repräsentieren? Drittens: Belohnt die Evaluierung die beabsichtigte Fähigkeit?
Unternehmenskäufer sollten bei der Bewertung spezialisierter Modelle verwandte Fragen stellen. Die Parameterzahl eines Anbieters sagt wenig über Domänenabdeckung oder Quellenaktualität aus. Benchmark-Ergebnisse können zudem enge Datenentscheidungen verschleiern, die in realen Arbeitsabläufen scheitern.
Wissensarbeiter stehen vor einer kleineren Version desselben Problems. Mehr gespeichertes Material führt nicht automatisch zu besserer Auffindbarkeit oder besserem Schlussfolgern. Der Wert hängt von Relevanz, Organisation, Aktualität und der Fähigkeit des Systems ab, Belege miteinander zu verknüpfen.
Für Spitzenforschungslabore könnten bessere Datenpipelines zu proprietären Vermögenswerten werden, die mit dem Modellcode vergleichbar sind. Öffentliche Architekturen werden häufig schnell nachgebaut. Hochwertige Mischungen erfordern fortlaufenden Zugang, rechtliche Prüfung, Experimente und Rückmeldungen aus Trainingsläufen.
Dadurch entsteht eine weniger sichtbare Wettbewerbsgrenze. Gut finanzierte Labore können für lizenzierte Sammlungen, von Spezialisten erstellte Beispiele, private Repositorien und synthetische Umgebungen zahlen. Kleinere Teams sind stärker auf öffentliche Webkorpora und reproduzierbare Filter angewiesen.
Der Wandel wirft auch Fragen der Governance auf. Stärkere Filterung erfordert eine Definition von Nützlichkeit. Diese Definition kann Dialekte, Perspektiven von Minderheiten, kontroverses Material oder Wissen unterdrücken, das von den bevorzugten Beispielen eines Klassifikators abweicht.
Optimierung kann außerdem zu direkt auf Benchmarks ausgerichtet sein. Ein auf Evaluierungsleistung trainierter Filter könnte Dokumente auswählen, die bekannten Tests ähneln. Ohne Kontaminationskontrollen kann scheinbare Datenqualität zu verdeckter Benchmark-Exposition werden.
Dataset Engineering benötigt daher dieselbe kritische Prüfung wie Modelldesign. Forschende benötigen Ablationen, dokumentierte Quellen, zurückgehaltene Evaluierungen, Kontaminationstests und Leistungsdaten über mehrere Domänen hinweg. Ein einzelner aggregierter Wert kann nicht alle Zielkonflikte erfassen.
Die Arbeit von Patel und Han hilft, indem sie das Alter der Daten zu einer unabhängigen experimentellen Achse macht. Künftige Studien können dieses Design auf Sprachen, Domänen, Modellgrößen und synthetische Mischungen ausweiten. Sie können außerdem Faktentreue, Programmierung, Schlussfolgern, Sicherheit und die Nutzung langer Kontexte messen.
Die wichtigste operative Veränderung ist einfach. Teams sollten Trainingsdaten nicht länger als statische Eingabe behandeln, die vor Beginn der eigentlichen Arbeit ausgewählt wird. Das Korpusdesign ist Teil des Modells, selbst wenn es außerhalb des Architekturdiagramms liegt.
Drei Signale werden die Data-First-These prüfen
Die nächsten Belege müssen zeigen, ob das Ergebnis bei Frontier-Skalierung, synthetischer Erweiterung und breiteren Fähigkeitstests Bestand hat.
Das erste Signal ist eine größere Replikation. Patel und Han erreichten 1e19 FLOPs und bezeichnen ihr Experiment als extrem klein. Eine Folgestudie muss dasselbe gekreuzte Design auf größere Modelle und deutlich höhere Rechenbudgets ausweiten.
Diese Replikation sollte die zentrale Trennung beibehalten. Forschende benötigen repräsentative Modellrezepte auf mehreren Korpusständen, nicht einen Vergleich, bei dem sich alle Variablen gleichzeitig ändern. Mehrere Seeds und ein vergleichbarer Aufwand bei Hyperparametern werden ebenfalls wichtig sein.
Bleibt der Datenmultiplikator bei höherer Skalierung größer, wird die zentrale These deutlich stärker. Spitzenlabore hätten dann belastbarere Belege dafür, dass Kuratierung weiterhin ein dominanter Hebel für Effizienz ist. Ein schrumpfender Multiplikator würde die Container-Schiff-Erklärung der Autoren stützen.
Das zweite Signal ist eine kontrollierte Studie zu synthetischen Daten. Forschende sollten mit einem begrenzten, hochwertigen Korpus beginnen und zwei Strategien vergleichen. Die eine wiederholt das ursprüngliche Material, während die andere es durch sorgfältig erzeugte synthetische Beispiele erweitert.
Die Evaluierung muss mehr als Benchmark-Genauigkeit prüfen. Sie sollte Neuartigkeit, faktische Zuverlässigkeit, Vielfalt, Memorierung und Leistung außerhalb der stärksten Domänen des Generators messen. Andernfalls könnte die synthetische Erweiterung lediglich vertraute Muster reproduzieren.
Ein starker Vorteil synthetischer Daten würde die Vorstellung einer sich nähernden Grenze fester Datenbestände schwächen. Labore könnten begrenztes, von Menschen geschaffenes Material in wesentlich größere Curricula überführen. Schwache Ergebnisse würden den strategischen Wert lizenzierter und von Experten erzeugter Daten erhöhen.
Das dritte Signal ist die Breite der Evaluierung. Künftige Replikationen sollten Programmierung, Mathematik, Mehrsprachigkeit, faktische Informationsgewinnung, wissenschaftliches Schlussfolgern und Aufgaben mit langen Kontexten testen. Sie sollten die Ergebnisse außerdem getrennt ausweisen, statt sie in einem einzigen Durchschnitt zu verbergen.
Konsistente Datenvorteile über diese Kategorien hinweg würden die Pretraining-Studie von Dwarkesh Patel stärken. Große Unterschiede zwischen den Kategorien würden zeigen, dass die Korpusqualität stark vom gewählten Ziel abhängt. Dieses Ergebnis würde spezialisierte Mischungen gegenüber einem universellen Ranking begünstigen.
Leser sollten auch die Offenlegungspraktiken beobachten. Wenn Entwickler offener Modelle bessere Dataset Cards, Details zu Mischungen und Filterexperimente veröffentlichen, können unabhängige Forschende die Behauptung strenger prüfen. Anhaltende Geheimhaltung wird die große Lücke zwischen öffentlichen Belegen und der Realität an der Frontier erhalten.
Für Entwickler lautet die unmittelbare Lehre nicht, Architekturarbeit aufzugeben. Sie besteht darin, die Datenpipeline mit derselben Ernsthaftigkeit zu messen. Verfolgen Sie Duplizierung, Quellenbeitrag, Mischungsgewichte, Aktualität und Leistungsänderungen aus jeder Filterentscheidung.
Für Unternehmensteams lautet die Lehre, zu fragen, woher das Wissen eines Modells stammt und wie es gepflegt wird. Ein größeres Modell kann keine aktuellen, relevanten oder nachvollziehbaren Antworten garantieren. Bessere Informationseingaben sind oft wichtiger als eine weitere Ebene an Modellkomplexität.
Für Wissensarbeiter ist die praktische Frage ähnlich: Welche Informationen verdienen begrenzte Aufmerksamkeit? Bessere Auswahl kann sowohl menschliches als auch maschinelles Schlussfolgern verbessern. Alles ohne Struktur zu sammeln verlagert das Filterproblem lediglich.
Die Datenbefunde von Dwarkesh Patel machen eine Schlussfolgerung schwer ignorierbar. Öffentliche Narrative haben sichtbare Modelländerungen überbetont, weil Architekturen leichter zu benennen sind als Korpuspipelines. Kontrollierte Evidenz gibt der weniger auffälligen Variable nun eine wesentlich größere Rolle.
Die nächsten drei Tests werden entscheiden, wie weit diese Rolle reicht. Achten Sie auf eine Replikation mit höherem Rechenaufwand, einen Vergleich von synthetischer Erweiterung und Wiederholung sowie vielfältige Fähigkeitsevaluierungen. Gemeinsam können sie die Behauptung bestätigen oder eingrenzen, dass Fortschritte beim Pretraining überwiegend aus Daten stammen.
Bis dahin sollte das 12-fache Ergebnis als starkes experimentelles Signal behandelt werden, nicht als universelle Konstante. Prüfen Sie die Informationen, die Ihre Systeme speisen, testen Sie Änderungen an realen Aufgaben und bewahren Sie die Quellen hinter jeder Schlussfolgerung. Bessere Modelle sind weiterhin wichtig, doch ihre Leistung beginnt mit dem, was sie lernen dürfen.
