L’étude de préentraînement de Dwarkesh Patel constate que les données ont surpassé les améliorations de modèles

Dwarkesh Patel a publié avec Jerry Han une étude de préentraînement qui a produit un résultat frappant : les améliorations apportées aux données ont permis des gains d’efficacité de calcul par 12. Les améliorations des recettes de modèles ont généré des gains par 3,7 dans le même cadre expérimental. L’étude de préentraînement de Dwarkesh Patel attribue donc aux données environ 3,24 fois plus de progrès en efficacité.

Cette conclusion remet en question une explication familière des progrès des modèles de langage. Les discussions publiques se concentrent souvent sur les architectures, les optimiseurs, les clusters plus vastes et les nouveaux mécanismes d’attention. Patel et Han ont plutôt constaté que de meilleurs corpus créaient l’avantage d’efficacité le plus important dans la plage qu’ils ont testée.

Les chercheurs ont reconstitué six années de progrès de préentraînement ouvert, des systèmes de l’ère GPT-2 aux recettes de l’ère OLMo-2. Ils ont combiné des conceptions de modèles représentatives avec des jeux de données représentatifs, puis ont entraîné ces combinaisons selon plusieurs budgets de calcul. Cela crée une confrontation directe entre deux explications : de meilleures machines et de meilleurs matériaux.

Le résultat n’établit pas ce qui s’est passé chez OpenAI, Anthropic, Google DeepMind ou Meta. Ces entreprises divulguent peu d’informations sur leurs données d’entraînement actuelles. Il modifie toutefois la charge de la preuve pour quiconque considère l’ingénierie des données comme une préoccupation secondaire.

L’étude de préentraînement de Dwarkesh Patel a reconstitué six années de progrès

Patel et Han ont tenté de séparer deux variables qui changent habituellement ensemble : la recette du modèle et le corpus d’entraînement.

Leur expérience de préentraînement a été publiée le 8 septembre 2026. Elle couvre des recettes de modèles ouverts représentatives et des jeux de données publics publiés entre 2019 et 2025. Les auteurs ont entraîné des combinaisons de ces ingrédients à partir de zéro.

Une recette de modèle comprend l’architecture, l’optimiseur, l’initialisation, le calendrier de taux d’apprentissage, la méthode de normalisation et d’autres choix d’entraînement. Un corpus est l’ensemble de textes convertis en tokens pour le préentraînement. La plupart des publications de modèles ouverts modifient simultanément ces deux composantes, ce qui rend difficile l’isolement de leurs contributions individuelles.

L’axe des modèles commence avec la recette GPT-2 et se termine avec OLMo-2. Les changements intermédiaires comprennent les embeddings de position rotatifs, RMSNorm, les activations SwiGLU, un placement révisé de la normalisation, la normalisation QK et des méthodes d’initialisation plus propres. Chaque amélioration modifie la façon dont un modèle représente l’information ou demeure stable durant l’entraînement.

L’axe des données commence avec OpenWebText. Ce corpus de 2019 contenait environ 9 milliards de tokens provenant de pages web liées par des publications Reddit suffisamment populaires. Les jeux de données ultérieurs ont utilisé des explorations du web plus larges, une extraction plus robuste, la déduplication et des filtres de qualité de plus en plus sélectifs.

Le point d’arrivée en 2025 était UltraFineWeb. Son pipeline applique un filtrage plus sophistiqué à un ensemble bien plus vaste de documents web. Certains filtres modernes utilisent des classificateurs entraînés pour prédire quels documents amélioreront les performances en aval du modèle.

Patel et Han ont testé cinq budgets de calcul nominaux. Ceux-ci allaient de 100 quadrillions de FLOPs à 10 quintillions de FLOPs, notés de 1e17 à 1e19 FLOPs. Les FLOPs mesurent les opérations arithmétiques consommées durant l’entraînement.

Pour chaque budget, les chercheurs ont fait varier la taille du modèle et le nombre de tokens. Ce processus leur a permis d’estimer la combinaison optimale en calcul pour chaque association modèle-corpus. Optimal en calcul signifie produire le résultat mesuré le plus fort avec une quantité fixe de calcul d’entraînement.

Ils ont contrôlé plusieurs autres choix dans l’ensemble des expériences. Chaque exécution utilisait le tokenizer GPT-2 BPE avec un vocabulaire de 50 257 tokens. Chacune utilisait également une longueur de contexte de 2 048 tokens et un batch contenant 262 144 tokens.

Les chercheurs ont évalué les capacités finales au moyen d’OLMES, une collection de dix benchmarks relativement accessibles. La plupart reposent sur des questions à choix multiple. Ils ont choisi l’évaluation des capacités, car comparer la perte d’entropie croisée entre différents jeux de données d’entraînement aurait créé un test inégal.

Ce choix est important. Un modèle évalué par rapport au même corpus utilisé pour définir sa distribution d’entraînement peut bénéficier d’un avantage artificiel. Les tâches en aval offrent une cible commune, bien qu’elles introduisent davantage de bruit statistique.

L’équipe a utilisé plusieurs seeds indépendantes pour les courbes de mise à l’échelle du calcul. Une seed modifie l’initialisation aléatoire et l’ordre des données, ce qui aide à révéler si un résultat persiste malgré les variations d’entraînement. La grille plus vaste de 7 par 7 à 3.16e18 FLOPs a utilisé une seed par combinaison.

Avec le budget de 1e19 FLOPs, les données plus récentes ont produit un multiplicateur de calcul par 12 par rapport à la référence de données de 2019. Les recettes de modèles plus récentes ont produit un multiplicateur par 3,7 par rapport à la recette GPT-2. Leur ratio a donné l’avantage de 3,24 fois en faveur des données mis en avant dans le titre.

Un multiplicateur de calcul décrit la quantité de calcul en moins dont un ingrédient plus récent a besoin pour atteindre les performances de l’ingrédient plus ancien. Cela ne signifie pas que le modèle est devenu douze fois plus intelligent. Il décrit l’efficacité à un niveau de performance et sur une suite d’évaluation donnés.

Les auteurs ont également constaté que les gains liés aux données et aux modèles étaient largement indépendants à 3.16e18 FLOPs. Un modèle statistique additif expliquait 88 pour cent de la variation des scores OLMES. Environ 12 pour cent seulement restaient attribuables aux interactions, aux effets d’ordre supérieur ou au bruit d’évaluation.

Ce résultat suggère que de meilleures données n’exigeaient pas une architecture particulière pour apporter leurs bénéfices. De même, les améliorations architecturales restaient généralement utiles à travers les corpus. Cette indépendance rend plus difficile de rejeter la contribution des données comme le résultat d’une seule association heureuse entre modèle et jeu de données.

L’ingénierie des données a remporté le concours d’efficacité

Dans le cadre de cette expérience, améliorer ce que le modèle lisait comptait davantage qu’améliorer le mécanisme qui le lisait.

Le résultat s’inscrit dans un ensemble croissant de recherches sur les modèles de langage centrées sur les données. Les corpus modernes ne sont pas de simples amas plus importants de texte issu d’internet. Leurs concepteurs extraient du contenu plus propre, éliminent les doublons, équilibrent les sources, filtrent les documents à faible valeur et contrôlent la contamination.

La déduplication élimine les contenus identiques ou quasi identiques. Sans elle, des pages fréquemment copiées peuvent dominer l’entraînement et réduire la diversité effective du corpus. L’extraction sépare le texte pertinent des menus, publicités, éléments récurrents et balisages corrompus.

Le filtrage décide ensuite quels documents méritent des ressources de calcul d’entraînement limitées. Les premiers filtres reposaient largement sur des règles concernant la langue, la longueur, la répétition et la ponctuation. Les pipelines plus récents appliquent de plus en plus des classificateurs entraînés à partir d’exemples de textes utiles et peu utiles.

DataComp-LM a rendu cette approche mesurable grâce à des compétitions contrôlées entre jeux de données. Ses chercheurs ont publié un ensemble Common Crawl de 240 trillions de tokens et fixé la recette d’entraînement pour les participants. Les équipes pouvaient alors concourir par leurs stratégies de filtrage et de mélange des données plutôt qu’en modifiant le modèle.

Les résultats de DataComp-LM ont montré que le filtrage fondé sur des modèles était central dans sa référence la plus performante. Son modèle de 7 milliards de paramètres a atteint 64 pour cent de précision en five-shot sur MMLU après un entraînement sur 2,6 trillions de tokens.

Ce modèle a affiché des performances comparables à celles de modèles ouverts plus grands sur les benchmarks rapportés. Les auteurs ont également signalé un avantage de 6,6 points de pourcentage sur MMLU par rapport à MAP-Neo tout en utilisant 40 pour cent de calcul d’entraînement en moins. Il s’agit d’expériences distinctes, mais leur orientation soutient le résultat de Patel et Han.

DataComp-LM a aussi révélé que la conception du filtre peut compter davantage que prévu. À une échelle testée, changer de modèle de filtrage faisait passer la précision MMLU en five-shot de 35 pour cent à 44 pour cent. L’ensemble web brut sous-jacent restait accessible à toutes les approches.

Fait surprenant, le meilleur filtre testé utilisait un classificateur bigramme relativement simple avec des exemples positifs et négatifs soigneusement sélectionnés. Les jugements humains sur la qualité des documents ont offert une valeur limitée dans ces expériences. Ce qui paraît soigné à un lecteur ne crée pas toujours un meilleur signal d’apprentissage.

Les recherches sur FineWeb sont arrivées à une conclusion similaire. Ses créateurs ont comparé les choix d’extraction, de filtrage linguistique, de déduplication et de sélection de qualité à travers de grands corpus web. Ces travaux ont traité la création de jeux de données comme une discipline d’ingénierie empirique plutôt que comme une étape de nettoyage.

Le jeu de données FineWeb a également produit un sous-ensemble orienté vers l’éducation, sélectionné par un classificateur entraîné. Cette stratégie mettait l’accent sur des pages ressemblant à des contenus éducatifs de qualité. De tels filtres visent à augmenter la densité de raisonnement utile et de faits par token.

Cette histoire explique les résultats de Dwarkesh Patel sur les données. OpenWebText filtrait déjà le web, mais utilisait la popularité sur Reddit comme signal de qualité général. Les pipelines ultérieurs ont testé des signaux plus directs par rapport aux performances réelles des modèles.

La différence ressemble au remplacement d’une liste générale de recommandations par un programme d’apprentissage mesuré. Les deux contiennent du contenu lisible. Seul le second optimise ce que l’apprenant tire de chaque heure.

Cette efficacité des données de préentraînement importe, car chaque token consomme du calcul. Les répétitions à faible valeur, les textes dégradés et les éléments récurrents non pertinents concurrencent les exemples utiles dans un budget fixe. Une meilleure sélection augmente la quantité d’apprentissage produite par le même temps d’accélérateur.

La conséquence économique s’étend au-delà d’une seule exécution d’entraînement. Un pipeline de jeux de données peut soutenir des expériences répétées, des générations de modèles et des variantes spécialisées. Les améliorations de ce pipeline peuvent se cumuler dans l’ensemble du programme de recherche d’une organisation.

Les données façonnent également les capacités qui émergent. Un corpus riche en code ne se comportera pas comme un corpus dominé par de la prose conversationnelle. Les articles scientifiques, textes juridiques, documents multilingues et traces de raisonnement synthétiques orientent chacun l’apprentissage dans des directions différentes.

Cela crée une pression pour les laboratoires à la frontière. Ils ne peuvent pas supposer qu’une nouvelle commande de matériel compensera une conception de corpus insuffisante. Ils ont besoin de systèmes plus solides pour la provenance, les licences, l’extraction, le filtrage, la conception des mélanges, l’évaluation et l’actualisation continue.

La pression atteint aussi les développeurs de modèles plus modestes. Les équipes disposant d’un accès limité aux accélérateurs ne peuvent pas gagner un concours direct de dépenses. Elles peuvent néanmoins améliorer la densité d’information de chaque batch d’entraînement et cibler leur corpus vers des capacités précises.

L’étude ne dit toutefois pas que tout jeu de données étroitement ciblé est meilleur. The Pile a obtenu des résultats inférieurs à OpenWebText sur OLMES dans les expériences rapportées. The Pile comprend des contenus divers issus notamment d’articles, de code, de brevets et de textes juridiques.

OLMES évalue principalement des tâches à choix multiple en anglais, de type web. Les contenus spécialisés peuvent donc recevoir peu de crédit, même lorsqu’ils soutiennent ailleurs des capacités précieuses. La qualité des données n’a pas de définition universelle indépendamment d’un objectif.

De meilleurs modèles ont tout de même rendu possibles des entraînements plus vastes

Le résultat par 12 pour les données mesure l’efficacité, mais la recherche sur les modèles a également élargi l’échelle à laquelle un entraînement utile reste possible.

Patel et Han rejettent explicitement l’interprétation la plus simple de leur résultat principal. Leur expérience ne montre pas que six années de recherche sur les modèles ont peu contribué. Elle mesure le calcul requis pour atteindre certains scores en aval à des échelles relativement modestes.

De nombreuses innovations de modèles servent un autre objectif. Elles maintiennent la stabilité de l’entraînement à mesure que les nombres de paramètres, les fenêtres de contexte, les volumes de données et les clusters d’accélérateurs augmentent. Une amélioration qui empêche l’effondrement d’une exécution massive peut ne pas dominer un graphique d’efficacité à petite échelle.

Un cluster d’entraînement plus grand crée de nombreux points de défaillance. Les gradients peuvent exploser ou s’évanouir. La bande passante de communication peut devenir un goulot d’étranglement. La pression sur la mémoire peut limiter la longueur des séquences, la taille des lots ou l’état de l’optimiseur.

Des modifications de normalisation peuvent améliorer la stabilité. Une meilleure initialisation peut empêcher une divergence précoce. Le travail au niveau des noyaux peut maintenir les accélérateurs occupés au lieu de les laisser attendre les transferts de mémoire.

FlashAttention fournit un exemple historique important. Il réorganise le calcul exact de l’attention autour des accès mémoire, réduisant les transferts coûteux entre différents niveaux de mémoire. Cela peut augmenter les longueurs de séquence réalisables sans modifier le résultat fondamental de l’attention.

Les modèles à mélange d’experts répondent à une autre contrainte de mise à l’échelle. Ils n’activent qu’une partie du réseau pour chaque token, ce qui permet d’accroître la capacité totale en paramètres sans augmenter proportionnellement le calcul par token. Ces conceptions compliquent le routage et l’entraînement distribué.

L’attention à requêtes groupées peut réduire la mémoire nécessaire aux clés et valeurs mises en cache lors de l’inférence. Cela compte énormément lorsqu’un modèle traite des millions de prompts. Patel et Han soulignent que ce type d’amélioration de l’inférence n’apparaît pas dans leur multiplicateur de calcul de préentraînement.

Les améliorations du tokenizer restent également hors du cadre de l’expérience. Un tokenizer détermine comment le texte devient des unités lisibles par le modèle. Une tokenisation plus efficace peut réduire la longueur des séquences ou améliorer la représentation entre les langues et les domaines.

L’opposition centrale est donc celle entre efficacité des données et échelle permise par les modèles, et non entre travailleurs des données et chercheurs sur les modèles. De meilleurs corpus aident un système à apprendre davantage avec un budget fixe. Une meilleure ingénierie des modèles permet aux laboratoires de mobiliser des budgets plus élevés sans instabilité ni surcoût prohibitif.

Les travaux de Google DeepMind sur Chinchilla illustrent la rencontre de ces variables. Les pratiques antérieures de mise à l’échelle augmentaient souvent le nombre de paramètres sans accroître proportionnellement les données d’entraînement. Les modèles qui en résultaient consommaient d’importantes ressources d’inférence tout en restant sous-entraînés.

DeepMind a entraîné plus de 400 modèles afin d’estimer l’allocation optimale entre paramètres et tokens. Ses recherches sur l’allocation optimale du calcul ont conclu que la taille du modèle et le nombre de tokens devaient augmenter de concert dans les conditions testées.

Chinchilla utilisait 70 milliards de paramètres et 1 400 milliards de tokens d’entraînement. Gopher utilisait 280 milliards de paramètres avec un budget de calcul comparable. Plus petit et entraîné plus longuement, Chinchilla a surpassé Gopher dans la plupart des évaluations rapportées.

Ce résultat a déplacé l’attention du nombre de paramètres vers la durée d’entraînement et le volume du jeu de données. Il n’a pas effacé la recherche sur les architectures. Il a montré que la taille du modèle seule décrivait mal l’efficacité avec laquelle le calcul était employé.

Patel et Han prolongent cette discussion en séparant l’ancienneté des corpus de celle des recettes d’entraînement. Chinchilla demandait combien de paramètres et de tokens acheter avec un budget de calcul. La nouvelle étude demande si les progrès venaient davantage du contenant ou de son contenu.

À cette échelle, la réponse favorise le contenu. Pourtant, le contenant détermine la quantité pouvant être transportée. Patel et Han comparent les petits modèles à des voiliers et les systèmes de pointe à des porte-conteneurs.

Une cargaison soigneusement choisie compte énormément sur un voilier, car sa capacité est limitée. Un porte-conteneurs peut transporter bien plus de matière et résister à des conditions plus difficiles. Sa valeur se manifeste par l’échelle et la fiabilité, plutôt que par la vitesse seule.

Pour les laboratoires d’IA, les deux capacités restent essentielles. Un corpus propre ne peut pas entraîner un modèle sans logiciels et matériels stables. Une architecture efficace gaspille néanmoins du calcul lorsque ses lots d’entraînement contiennent du contenu dupliqué ou de faible valeur.

Le renversement utile apporté par l’étude est plus circonscrit. L’architecture ne devrait plus recevoir automatiquement le mérite de chaque hausse générationnelle de performances. Lorsque les données et les recettes s’améliorent toutes deux, des ablations contrôlées doivent déterminer quel changement a causé le gain observé.

Ce que le résultat d’un facteur 12 n’établit pas

La conclusion la plus solide est aussi étroitement circonscrite : les données ont dominé une expérience ouverte de préentraînement à petite échelle sur une seule suite de capacités.

Les auteurs soulignent à plusieurs reprises ces limites. Leur budget maximal était de 1e19 FLOPs, très inférieur aux entraînements modernes de modèles de pointe. Les techniques dépendantes de l’échelle peuvent offrir peu de bénéfices visibles dans les petits modèles et ne devenir essentielles que bien plus tard.

Les petits modèles ont une capacité limitée. Les tokens de faible valeur peuvent évincer du contenu important, car le modèle ne peut pas tout absorber. Une sélection agressive peut donc aider davantage les petits modèles que les systèmes disposant d’une capacité de représentation bien plus grande.

Les grands modèles peuvent bénéficier d’une large couverture, même lorsque la qualité moyenne des documents baisse. Une capacité accrue peut séparer les signaux faibles du bruit. Un filtrage excessif pourrait supprimer des faits rares, des styles inhabituels, des langues minoritaires ou du contenu technique spécialisé.

Un filtrage agressif réduit aussi le corpus unique. Les développeurs doivent alors répéter le contenu restant sur davantage d’époques, c’est-à-dire effectuer davantage de passages sur les mêmes exemples. La répétition peut produire des rendements décroissants ou du surapprentissage.

Des recherches sur la mise à l’échelle sous contrainte de données ont montré que les données répétées restent utiles, mais perdent de leur valeur au fil des passages supplémentaires. Cela crée un compromis entre qualité moyenne, diversité totale et répétition.

Patel et Han soulèvent une incertitude encore plus grande. Les modèles de pointe sont souvent entraînés au-delà des allocations de tokens optimales selon le Chinchilla classique, car des modèles plus petits peuvent réduire les coûts d’inférence ultérieurs. Une base de données organisée avec soin peut exiger une répétition importante dans cette stratégie.

L’évaluation OLMES ajoute une autre limite. Ses dix tâches sont relativement accessibles et reposent largement sur des questions à choix multiples. D’autres évaluations pourraient modifier le classement des recettes de modèles, des jeux de données, ou des deux.

Un benchmark de programmation pourrait récompenser les dépôts et la documentation technique. Un benchmark scientifique pourrait favoriser les articles et les explications spécialisées. Des tests multilingues valoriseraient une couverture linguistique qu’une suite centrée sur l’anglais pourrait négliger.

Les auteurs ont observé des anomalies compatibles avec ce problème de mesure. NeoX a obtenu de moins bons résultats que GPT-2 à 1e19 FLOPs sur OLMES, bien qu’il l’ait surpassé avec des budgets testés plus faibles. NeoX a également obtenu de meilleurs résultats sur la perte FineWeb-Edu hors échantillon.

Le mélange très large de The Pile a lui aussi sous-performé OpenWebText sur OLMES. Cela n’établit pas que des sources diverses sont généralement inefficaces. Cela peut montrer que l’évaluation accorde un crédit limité à leurs connaissances spécialisées.

Certains multiplicateurs rapportés ont nécessité une extrapolation. Les courbes de NeoX et de The Pile n’atteignaient pas toujours la performance de référence nécessaire dans la plage mesurée. Prolonger une courbe ajustée au-delà des résultats observés introduit une incertitude supplémentaire.

L’optimisation des hyperparamètres crée une autre source d’erreur. Les capacités finales peuvent varier avec le taux d’apprentissage maximal, la taille des lots, l’initialisation et le calendrier d’entraînement. Les chercheurs ont balayé les taux d’apprentissage à certains points d’ancrage, mais n’ont pas pu tester toutes les configurations possibles.

Ils estiment que l’incertitude associée aux multiplicateurs des recettes de modèles dépasse les barres d’erreur statistiques affichées. Ces barres capturent les variations issues de leur pipeline d’estimation. Elles ne capturent pas toutes les conséquences d’une optimisation limitée des hyperparamètres.

Les taux annuels d’efficacité rapportés renforcent le besoin de prudence. Les changements de modèle ont produit un multiplicateur annuel de 1,24, tandis que les changements de données ont produit un multiplicateur de 1,51. Ensemble, le gain annuel mesuré était de 1,57.

Ces chiffres sont inférieurs à une estimation antérieure d’une amélioration annuelle approximative d’un facteur trois de l’efficacité logicielle. Patel et Han avancent plusieurs explications, notamment des gains dépendants de l’échelle, des optimisations d’inférence exclues, des changements de tokenizer et des choix de recettes représentatives.

L’étude exclut aussi des sources majeures des progrès modernes en capacités. Elle se concentre sur le préentraînement, la phase durant laquelle un modèle apprend des schémas généraux à partir de vastes corpus. Elle ne décompose pas l’apprentissage par renforcement, le post-entraînement, l’utilisation d’outils ou le calcul au moment du test.

Patel et Han notent que l’apprentissage par renforcement a entraîné de nombreux gains visibles au cours des deux années précédant la publication. Un modèle peut devenir bien meilleur en raisonnement ou en suivi d’instructions sans modifier l’efficacité de son préentraînement de base.

Les données synthétiques constituent une autre lacune importante. Les laboratoires de pointe utilisent des modèles pour générer des explications, du code, des traces de raisonnement et des exemples de tâches. L’expérience a examiné des corpus publics qui organisent principalement des sous-ensembles de Common Crawl.

Les auteurs n’ont pas testé si la génération synthétique peut étendre une offre limitée d’informations de haute qualité. Ils n’ont pas non plus comparé cette expansion synthétique à la répétition des documents originaux sur davantage d’époques.

Enfin, l’étude ne reproduit pas les pipelines fermés des modèles de pointe. Les grands laboratoires divulguent rarement la composition complète de leurs jeux de données, leurs classificateurs de filtrage, leurs pondérations de mélange ou leurs contrôles de contamination. Leurs systèmes internes peuvent différer fortement des recettes publiques.

L’interprétation appropriée est prudente mais significative. L’expérience apporte des éléments montrant que les progrès des corpus méritent davantage de crédit causal. Elle ne fournit pas une loi universelle d’un facteur 12 pour chaque modèle, chaque échelle, chaque benchmark ou chaque laboratoire.

La qualité des données devient une variable de mise à l’échelle de premier ordre

L’industrie traite de plus en plus la qualité des données comme un paramètre de mise à l’échelle mesurable plutôt que comme une propriété informelle d’un corpus.

Les lois traditionnelles de mise à l’échelle relient les performances à la taille du modèle, aux tokens d’entraînement et au calcul. Elles supposent souvent qu’un token est comparable à un autre. Les jeux de données réels contredisent cette hypothèse par le bruit, la duplication, les différences de domaines et la densité inégale de l’information.

Les recherches récentes ont commencé à modéliser directement la qualité. Un article de l’ICLR 2026 a introduit un paramètre de qualité sans dimension et étendu les lois de mise à l’échelle de type Chinchilla. Son objectif était de prédire la perte à partir du volume de données, de la taille du modèle et de la qualité des données réunis.

Le modèle tenant compte de la qualité utilise des proxys fondés sur la corruption et les insuffisances du jeu de données. Des expériences contrôlées ont montré que des données de meilleure qualité pouvaient réduire la taille du modèle et le calcul nécessaires pour atteindre une perte cible.

Cette approche ne valide pas le multiplicateur précis de Patel et Han. Elle étaye le mécanisme plus général qui sous-tend leur résultat. Deux corpus présentant le même nombre de tokens peuvent fournir des quantités effectives d’apprentissage très différentes.

Cela modifie la manière dont les équipes devraient décrire la mise à l’échelle. Le nombre de tokens reste nécessaire, mais il ne peut pas révéler si les tokens sont uniques, pertinents, exacts ou pédagogiques. Les chiffres de calcul seuls ne peuvent pas révéler si les lots d’entraînement transportent un signal utile.

Le même principe compte également en dehors de la frontière technologique. Une entreprise adaptant un modèle à son propre domaine doit décider quels documents représentent des connaissances fiables. Injecter tous les fichiers disponibles dans un pipeline peut amplifier la duplication, les politiques obsolètes et les instructions contradictoires.

Une bonne infrastructure d’information préserve la provenance et rend les contenus contradictoires visibles. Elle aide également les personnes à retrouver les sources derrière les réponses générées par le modèle. Une base de connaissances consultable applique une discipline similaire à l’échelle de l’organisation.

Les développeurs devraient donc séparer trois questions. Premièrement, le corpus contient-il les connaissances nécessaires aux tâches cibles ? Deuxièmement, le pipeline peut-il extraire et représenter ces connaissances proprement ? Troisièmement, l’évaluation récompense-t-elle la capacité visée ?

Les acheteurs d’entreprise devraient poser des questions connexes lorsqu’ils évaluent des modèles spécialisés. Le nombre de paramètres annoncé par un fournisseur dit peu de choses sur la couverture du domaine ou la fraîcheur des sources. Les scores de benchmark peuvent aussi masquer des choix de données étroits qui échouent dans des flux de travail réels.

Les travailleurs du savoir font face à une version réduite du même problème. Davantage de contenus sauvegardés ne produisent pas automatiquement une meilleure recherche ni un meilleur raisonnement. La valeur dépend de la pertinence, de l’organisation, de l’actualité et de la capacité du système à relier les éléments de preuve.

Pour les laboratoires de pointe, de meilleurs pipelines de données pourraient devenir des actifs propriétaires comparables au code des modèles. Les architectures publiques sont souvent reproduites rapidement. Les mélanges de haute qualité nécessitent un accès continu, une revue juridique, des expérimentations et des retours issus des entraînements.

Cela crée une fracture concurrentielle moins visible. Les laboratoires bien financés peuvent payer pour des collections sous licence, des exemples produits par des spécialistes, des dépôts privés et des environnements synthétiques. Les petites équipes dépendent davantage des corpus issus du web public et de filtres reproductibles.

Cette évolution soulève également des questions de gouvernance. Un filtrage plus rigoureux exige une définition de l’utilité. Cette définition peut écarter des dialectes, des perspectives minoritaires, des contenus controversés ou des connaissances qui diffèrent des exemples privilégiés par un classificateur.

L’optimisation peut aussi cibler les benchmarks de manière trop directe. Un filtre entraîné en fonction des performances d’évaluation peut sélectionner des documents qui ressemblent à des tests connus. Sans contrôles de contamination, une qualité de données apparente peut devenir une exposition cachée aux benchmarks.

L’ingénierie des jeux de données exige donc le même niveau d’examen que la conception des modèles. Les chercheurs ont besoin d’ablations, de sources documentées, d’évaluations sur des données retenues, de tests de contamination et de mesures de performance dans plusieurs domaines. Un score agrégé unique ne peut pas saisir tous les compromis.

Les travaux de Patel et Han contribuent en faisant de l’ancienneté des données un axe expérimental indépendant. Les études futures pourront étendre cette conception aux langues, domaines, tailles de modèles et mélanges synthétiques. Elles pourront aussi mesurer la factualité, le code, le raisonnement, la sûreté et l’usage de contextes longs.

Le changement opérationnel le plus important est simple. Les équipes devraient cesser de considérer les données d’entraînement comme une entrée statique choisie avant le début du travail sérieux. La conception du corpus fait partie du modèle, même lorsqu’elle ne figure pas dans le schéma de l’architecture.

Trois signaux mettront à l’épreuve la thèse du primat des données

Les prochains éléments devront montrer si le résultat résiste à l’échelle de pointe, à l’expansion synthétique et à des tests de capacités plus larges.

Le premier signal sera une réplication à plus grande échelle. Patel et Han ont atteint 1e19 FLOPs, et ils décrivent leur expérience comme extrêmement modeste. Un suivi devra étendre la même conception croisée à des modèles plus grands et à des budgets de calcul nettement supérieurs.

Cette réplication devrait préserver la séparation centrale. Les chercheurs ont besoin de recettes de modèles représentatives sur plusieurs générations de corpus, et non d’une comparaison où toutes les variables changent simultanément. Plusieurs graines aléatoires et un effort comparable sur les hyperparamètres compteront également.

Si le multiplicateur lié aux données demeure plus important à grande échelle, la thèse centrale gagnera fortement en crédibilité. Les laboratoires de pointe disposeraient de preuves plus solides que la curation reste un levier d’efficacité dominant. Un multiplicateur en diminution appuierait l’explication des auteurs fondée sur les porte-conteneurs.

Le deuxième signal sera une étude contrôlée sur les données synthétiques. Les chercheurs devraient partir d’un corpus limité et de haute qualité, puis comparer deux stratégies. L’une répète le matériel original, tandis que l’autre l’étend au moyen d’exemples synthétiques générés avec soin.

L’évaluation devra vérifier davantage que la précision aux benchmarks. Elle devrait mesurer la nouveauté, la fiabilité factuelle, la diversité, la mémorisation et les performances en dehors des domaines les plus solides du générateur. Sinon, l’expansion synthétique risque seulement de reproduire des schémas familiers.

Un fort avantage des données synthétiques affaiblirait l’idée d’un mur imminent des données fixes. Les laboratoires pourraient transformer des contenus limités créés par des humains en programmes d’apprentissage bien plus vastes. Des résultats faibles augmenteraient la valeur stratégique des données sous licence et générées par des experts.

Le troisième signal sera l’étendue des évaluations. Les futures réplications devraient tester le code, les mathématiques, les capacités multilingues, la récupération factuelle, le raisonnement scientifique et les tâches à contexte long. Elles devraient également présenter les résultats séparément plutôt que de les dissimuler dans une moyenne unique.

Des avantages constants des données dans ces catégories renforceraient l’étude de préentraînement de Dwarkesh Patel. De fortes différences entre catégories montreraient que la qualité du corpus dépend étroitement de l’objectif choisi. Ce résultat favoriserait des mélanges spécialisés plutôt qu’un classement universel unique.

Les lecteurs devraient également surveiller les pratiques de divulgation. Si les créateurs de modèles ouverts publient de meilleures fiches de jeux de données, des détails sur les mélanges et des expériences de filtrage, les chercheurs indépendants pourront tester l’affirmation plus rigoureusement. Le secret persistant maintiendra un grand écart entre les preuves publiques et la réalité des laboratoires de pointe.

Pour les développeurs, la leçon immédiate n’est pas d’abandonner le travail sur l’architecture. Elle consiste à mesurer le pipeline de données avec le même sérieux. Suivez la duplication, la contribution des sources, les poids des mélanges, l’actualité et les changements de performance issus de chaque décision de filtrage.

Pour les équipes en entreprise, la leçon est de se demander d’où proviennent les connaissances du modèle et comment elles sont maintenues. Un modèle plus grand ne peut garantir des réponses actuelles, pertinentes ou traçables. De meilleurs apports informationnels comptent souvent avant l’ajout d’une nouvelle couche de complexité du modèle.

Pour les travailleurs du savoir, la question pratique est similaire : quelles informations méritent une attention limitée ? Une meilleure sélection peut améliorer le raisonnement humain comme celui des machines. Tout collecter sans structure ne fait que déplacer le problème du filtrage.

Les conclusions de Dwarkesh Patel sur les données rendent une constatation difficile à ignorer. Les récits publics ont trop mis l’accent sur les changements visibles des modèles, car les architectures sont plus faciles à nommer que les pipelines de corpus. Les preuves contrôlées accordent désormais un rôle bien plus important à cette variable plus discrète.

Les trois prochains tests détermineront jusqu’où s’étend ce rôle. Recherchez une réplication à plus haut budget de calcul, une comparaison entre données synthétiques et répétition, ainsi que des évaluations de capacités diversifiées. Ensemble, ils pourront confirmer ou nuancer l’affirmation selon laquelle les progrès du préentraînement proviennent principalement des données.

D’ici là, considérez le résultat d’un facteur 12 comme un signal expérimental fort, et non comme une constante universelle. Auditez les informations qui alimentent vos systèmes, testez les changements sur des tâches réelles et préservez les sources à l’origine de chaque conclusion. De meilleurs modèles comptent toujours, mais leurs performances commencent par ce qu’ils sont autorisés à apprendre.