El estudio de preentrenamiento de Dwarkesh Patel concluye que los datos superaron las mejoras de modelo

Dwarkesh Patel publicó junto con Jerry Han un estudio de preentrenamiento que arrojó un resultado llamativo: las mejoras en los datos generaron ganancias de eficiencia computacional de 12 veces. Las mejoras en la receta del modelo produjeron ganancias de 3,7 veces bajo el mismo marco experimental. Por tanto, el estudio de preentrenamiento de Dwarkesh Patel atribuye a los datos aproximadamente 3,24 veces más progreso en eficiencia.

Este hallazgo cuestiona una explicación habitual del avance de los modelos de lenguaje. El debate público suele centrarse en arquitecturas, optimizadores, clústeres más grandes y nuevos mecanismos de atención. En cambio, Patel y Han hallaron que mejores corpus creaban la mayor ventaja de eficiencia dentro del rango que evaluaron.

Los investigadores reconstruyeron seis años de avances abiertos en preentrenamiento, desde sistemas de la era GPT-2 hasta recetas de la era OLMo-2. Combinaron diseños de modelos representativos con conjuntos de datos representativos y entrenaron esas combinaciones con varios presupuestos computacionales. Esto plantea una comparación directa entre dos explicaciones: mejor maquinaria y mejor materia prima.

El resultado no establece qué ocurrió dentro de OpenAI, Anthropic, Google DeepMind o Meta. Estas empresas divulgan información limitada sobre sus datos de entrenamiento actuales. Sin embargo, sí cambia la carga de la prueba para quienes consideran la ingeniería de datos una preocupación secundaria.

El estudio de preentrenamiento de Dwarkesh Patel reconstruyó seis años de progreso

Patel y Han intentaron separar dos variables que normalmente cambian a la vez: la receta del modelo y el corpus de entrenamiento.

Su experimento de preentrenamiento se publicó el 8 de septiembre de 2026. Abarca recetas representativas de modelos abiertos y conjuntos de datos públicos publicados entre 2019 y 2025. Los autores entrenaron desde cero combinaciones de esos ingredientes.

Una receta de modelo incluye la arquitectura, el optimizador, la inicialización, el calendario de tasa de aprendizaje, el método de normalización y otras decisiones de entrenamiento. Un corpus es la colección de texto convertida en tokens para el preentrenamiento. La mayoría de los lanzamientos de modelos públicos modifican ambos componentes simultáneamente, lo que dificulta aislar sus contribuciones individuales.

El eje de modelos comienza con la receta GPT-2 y termina con OLMo-2. Los cambios intermedios incluyen embeddings posicionales rotatorios, RMSNorm, activaciones SwiGLU, una ubicación revisada de la normalización, normalización QK y métodos de inicialización más limpios. Cada mejora cambia la forma en que un modelo representa información o se mantiene estable durante el entrenamiento.

El eje de datos comienza con OpenWebText. Ese corpus de 2019 contenía alrededor de 9.000 millones de tokens procedentes de páginas web enlazadas por publicaciones de Reddit con suficiente popularidad. Los conjuntos de datos posteriores utilizaron rastreos web más amplios, extracción más sólida, deduplicación y filtros de calidad cada vez más selectivos.

El punto final de 2025 fue UltraFineWeb. Su canalización aplica filtrado más sofisticado a un conjunto mucho mayor de documentos web. Algunos filtros modernos utilizan clasificadores entrenados para predecir qué documentos mejorarán el rendimiento posterior del modelo.

Patel y Han probaron cinco presupuestos computacionales nominales. Estos iban de 100 cuatrillones de FLOPs a 10 quintillones de FLOPs, expresados como 1e17 a 1e19 FLOPs. Los FLOPs miden las operaciones aritméticas consumidas durante el entrenamiento.

En cada presupuesto, los investigadores variaron el tamaño del modelo y el número de tokens. Ese proceso les permitió estimar la combinación óptima en términos de cómputo para cada pareja de modelo y corpus. Óptimo en términos de cómputo significa producir el mejor resultado medido dentro de una cantidad fija de computación de entrenamiento.

Controlaron varias otras decisiones en todos los experimentos. Cada ejecución utilizó el tokenizador GPT-2 BPE con un vocabulario de 50.257 tokens. También emplearon una longitud de contexto de 2.048 tokens y un lote con 262.144 tokens.

Los investigadores evaluaron las capacidades finales mediante OLMES, una colección de diez benchmarks relativamente accesibles. La mayoría utiliza preguntas de opción múltiple. Eligieron la evaluación de capacidades porque comparar la pérdida de entropía cruzada entre distintos conjuntos de datos de entrenamiento habría creado una prueba desigual.

Esta elección es importante. Un modelo evaluado frente al mismo corpus utilizado para definir su distribución de entrenamiento puede recibir una ventaja artificial. Las tareas posteriores ofrecen un objetivo compartido, aunque introducen más ruido estadístico.

El equipo ejecutó múltiples semillas independientes para las curvas de escalado computacional. Una semilla modifica la inicialización aleatoria y el ordenamiento de los datos, lo que ayuda a revelar si un resultado persiste ante variaciones del entrenamiento. La cuadrícula más grande de 7 por 7 a 3.16e18 FLOPs utilizó una semilla por combinación.

Con un presupuesto de 1e19 FLOPs, los datos más recientes produjeron un multiplicador computacional de 12 veces respecto a la línea base de datos de 2019. Las recetas de modelos más recientes produjeron un multiplicador de 3,7 veces respecto a la receta GPT-2. Su proporción generó la ventaja principal de 3,24 veces para los datos.

Un multiplicador computacional describe cuánta menos computación necesita un ingrediente más reciente para alcanzar el rendimiento del ingrediente anterior. No significa que el modelo se haya vuelto doce veces más inteligente. Describe la eficiencia en un nivel de rendimiento y una suite de evaluación determinados.

Los autores también descubrieron que las ganancias de datos y de modelos eran en gran medida independientes a 3.16e18 FLOPs. Un modelo estadístico aditivo explicó el 88 por ciento de la variación en las puntuaciones de OLMES. Solo alrededor del 12 por ciento quedó para interacciones, efectos de orden superior o ruido de evaluación.

Ese resultado sugiere que los mejores datos no requerían una arquitectura especial para aportar sus beneficios. Del mismo modo, las mejoras arquitectónicas siguieron siendo generalmente útiles entre distintos corpus. Esta independencia hace más difícil descartar la contribución de los datos como una combinación afortunada de modelo y conjunto de datos.

La ingeniería de datos ganó la competición de eficiencia

Dentro de este experimento, mejorar lo que leía el modelo importó más que mejorar el mecanismo con el que leía.

El resultado encaja con un creciente cuerpo de investigación sobre modelos de lenguaje centrada en los datos. Los corpus modernos no son simplemente montones más grandes de texto de internet. Sus creadores extraen contenido más limpio, eliminan duplicados, equilibran las fuentes, filtran documentos de bajo valor y controlan la contaminación.

La deduplicación elimina material idéntico o casi idéntico. Sin ella, las páginas copiadas con frecuencia pueden dominar el entrenamiento y reducir la diversidad efectiva del corpus. La extracción separa el texto significativo de menús, anuncios, texto repetitivo y marcado corrupto.

Después, el filtrado decide qué documentos merecen una computación de entrenamiento limitada. Los primeros filtros dependían en gran medida de reglas relacionadas con el idioma, la longitud, la repetición y la puntuación. Las canalizaciones más recientes aplican cada vez más clasificadores entrenados con ejemplos de texto útil y poco útil.

DataComp-LM hizo que este enfoque fuera medible mediante competiciones controladas de conjuntos de datos. Sus investigadores publicaron un conjunto de Common Crawl de 240 billones de tokens y fijaron la receta de entrenamiento para los participantes. Los equipos podían entonces competir mediante estrategias de filtrado y mezcla de datos, en lugar de modificar el modelo.

Los resultados de DataComp-LM encontraron que el filtrado basado en modelos era fundamental para su línea base más sólida. Su modelo de 7.000 millones de parámetros alcanzó un 64 por ciento de precisión de cinco ejemplos en MMLU tras entrenarse con 2,6 billones de tokens.

Ese modelo tuvo un rendimiento comparable al de modelos abiertos más grandes en los benchmarks reportados. Los autores también informaron de una ventaja de 6,6 puntos porcentuales en MMLU frente a MAP-Neo utilizando un 40 por ciento menos de computación de entrenamiento. Son experimentos independientes, pero su dirección respalda el resultado de Patel y Han.

DataComp-LM también reveló que el diseño del filtro puede importar más de lo esperado. En una escala evaluada, cambiar el modelo de filtrado llevó la precisión de cinco ejemplos en MMLU del 35 por ciento al 44 por ciento. El conjunto web bruto subyacente permaneció disponible para todos los enfoques.

Sorprendentemente, el mejor filtro evaluado utilizó un clasificador de bigramas relativamente simple con ejemplos positivos y negativos cuidadosamente seleccionados. Los juicios humanos sobre la calidad de los documentos ofrecieron un valor limitado en esos experimentos. Lo que parece pulido para un lector no siempre genera una mejor señal de aprendizaje.

La investigación de FineWeb llegó a una conclusión relacionada. Sus creadores compararon decisiones de extracción, filtrado lingüístico, deduplicación y selección de calidad entre grandes corpus web. El trabajo trató la creación de conjuntos de datos como una disciplina de ingeniería empírica, en lugar de como un paso de limpieza.

El conjunto de datos FineWeb también produjo un subconjunto orientado a la educación seleccionado por un clasificador entrenado. Esa estrategia enfatizaba páginas similares a material educativo sólido. Estos filtros buscan aumentar el razonamiento útil y la densidad factual por token.

Esta historia explica los hallazgos de datos de Dwarkesh Patel. OpenWebText ya filtraba la web, pero utilizaba la popularidad en Reddit como una señal amplia de calidad. Las canalizaciones posteriores probaron señales más directas frente al rendimiento real de los modelos.

La diferencia se parece a sustituir una lista general de recomendaciones por un plan de estudios medido. Ambos contienen material legible. Solo el segundo optimiza lo que el estudiante obtiene de cada hora.

Esta eficiencia de los datos de preentrenamiento importa porque cada token consume computación. La repetición de bajo valor, el texto defectuoso y el contenido repetitivo irrelevante compiten con ejemplos útiles dentro de un presupuesto fijo. Una mejor selección aumenta la cantidad de aprendizaje producida con el mismo tiempo de acelerador.

La consecuencia económica se extiende más allá de una sola ejecución de entrenamiento. Una canalización de conjuntos de datos puede respaldar experimentos repetidos, generaciones de modelos y variantes especializadas. Las mejoras en esa canalización pueden acumularse en todo el programa de investigación de una organización.

Los datos también determinan qué capacidades emergen. Un corpus rico en código no se comportará como uno dominado por prosa conversacional. Los artículos científicos, el texto jurídico, los documentos multilingües y los rastros de razonamiento sintético impulsan el aprendizaje en direcciones diferentes.

Esto genera presión para los laboratorios de frontera. No pueden asumir que otro pedido de hardware compensará un diseño deficiente del corpus. Necesitan sistemas más sólidos para la procedencia, las licencias, la extracción, el filtrado, el diseño de mezclas, la evaluación y la actualización continua.

La presión también alcanza a los desarrolladores de modelos más pequeños. Los equipos con acceso limitado a aceleradores no pueden ganar una competición directa de gasto. Aun así, pueden mejorar la densidad de información de cada lote de entrenamiento y orientar su corpus hacia capacidades específicas.

Sin embargo, el estudio no dice que todo conjunto de datos estrecho sea mejor. The Pile rindió peor que OpenWebText en OLMES en los experimentos reportados. The Pile incluye material diverso de fuentes como artículos, código, patentes y documentos jurídicos.

OLMES evalúa principalmente tareas de opción múltiple en inglés y de estilo web. Por tanto, el material especializado puede recibir poco crédito, incluso cuando respalda capacidades valiosas en otros contextos. La calidad de los datos no tiene una definición universal al margen de un objetivo.

Los mejores modelos siguieron haciendo posibles ejecuciones de entrenamiento más grandes

El resultado de datos de 12 veces mide eficiencia, pero la investigación de modelos también ha ampliado la escala en la que el entrenamiento útil sigue siendo posible.

Patel y Han rechazan explícitamente la interpretación más simple de su conclusión principal. Su experimento no demuestra que seis años de investigación de modelos hayan contribuido poco. Mide la computación necesaria para alcanzar determinadas puntuaciones posteriores a escalas relativamente pequeñas.

Muchas innovaciones de modelos tienen un propósito diferente. Mantienen estable el entrenamiento a medida que crecen los recuentos de parámetros, las ventanas de contexto, los volúmenes de datos y los clústeres de aceleradores. Una mejora que evita que una ejecución masiva colapse puede no dominar un gráfico de eficiencia a pequeña escala.

Un clúster de entrenamiento más grande crea numerosos puntos de fallo. Los gradientes pueden explotar o desaparecer. El ancho de banda de comunicación puede convertirse en un cuello de botella. La presión de memoria puede restringir la longitud de secuencia, el tamaño de lote o el estado del optimizador.

Los cambios en la normalización pueden mejorar la estabilidad. Una mejor inicialización puede evitar la divergencia temprana. El trabajo a nivel de kernel puede mantener ocupados a los aceleradores en lugar de esperar al movimiento de memoria.

FlashAttention proporciona un importante ejemplo histórico. Reorganiza el cálculo exacto de la atención en torno al acceso a memoria, reduciendo las costosas transferencias entre distintos niveles de memoria. Esto puede ampliar las longitudes de secuencia viables sin cambiar el resultado básico de la atención.

Los modelos de mezcla de expertos abordan otra restricción de escalamiento. Activan solo una parte de la red para cada token, lo que permite aumentar la capacidad total de parámetros sin incrementar proporcionalmente el cómputo por token. Estos diseños complican el enrutamiento y el entrenamiento distribuido.

La atención de consultas agrupadas puede reducir la memoria necesaria para las claves y valores almacenados en caché durante la inferencia. Esto importa mucho cuando un modelo atiende millones de prompts. Patel y Han señalan que este tipo de mejora de inferencia no aparece en su multiplicador de cómputo de preentrenamiento.

Las mejoras del tokenizador también quedan fuera del experimento. Un tokenizador determina cómo el texto se convierte en unidades legibles para el modelo. Una tokenización más eficiente puede reducir la longitud de secuencia o mejorar la representación entre idiomas y dominios.

Por tanto, la oposición central es entre eficiencia de datos y escala habilitada por el modelo, no entre trabajadores de datos e investigadores de modelos. Mejores corpus ayudan a un sistema a aprender más con un presupuesto fijo. Una mejor ingeniería de modelos permite a los laboratorios desplegar presupuestos mayores sin inestabilidad ni sobrecostes prohibitivos.

El trabajo Chinchilla de Google DeepMind ilustra cómo convergen estas variables. Las prácticas de escalamiento anteriores a menudo aumentaban el número de parámetros sin incrementar proporcionalmente los datos de entrenamiento. Los modelos resultantes consumían recursos sustanciales de inferencia mientras seguían insuficientemente entrenados.

DeepMind entrenó más de 400 modelos para estimar la asignación óptima entre parámetros y tokens. Su investigación sobre cómputo óptimo concluyó que el tamaño del modelo y el número de tokens debían crecer conjuntamente bajo las condiciones evaluadas.

Chinchilla utilizó 70 mil millones de parámetros y 1,4 billones de tokens de entrenamiento. Gopher utilizó 280 mil millones de parámetros con un presupuesto de cómputo comparable. El Chinchilla, más pequeño y entrenado más extensamente, superó a Gopher en la mayoría de las evaluaciones reportadas.

Ese resultado desplazó la atención desde el número de parámetros hacia la duración del entrenamiento y el volumen del conjunto de datos. No eliminó la investigación sobre arquitecturas. Mostró que el tamaño del modelo por sí solo describía mal la eficacia con la que se utilizaba el cómputo.

Patel y Han amplían esa conversación al separar la antigüedad del corpus de la antigüedad de la receta. Chinchilla preguntaba cuántos parámetros y tokens adquirir con un presupuesto de cómputo. El nuevo estudio pregunta si el progreso provino más del contenedor o de su contenido.

La respuesta, a esta escala, favorece al contenido. Sin embargo, el contenedor determina cuánto puede transportarse. Patel y Han comparan los modelos pequeños con veleros y los sistemas de frontera con buques portacontenedores.

Una carga cuidadosamente elegida importa mucho en un velero porque la capacidad es escasa. Un buque portacontenedores puede transportar muchísimo más material y resistir condiciones más duras. Su valor se manifiesta mediante la escala y la fiabilidad, no solo la velocidad.

Para los laboratorios de IA, ambas capacidades siguen siendo esenciales. Un corpus limpio no puede entrenarse sin software y hardware estables. Una arquitectura eficiente sigue desperdiciando cómputo cuando sus lotes de entrenamiento contienen material duplicado o de poco valor.

La útil inversión del estudio es más acotada. La arquitectura ya no debería recibir crédito automático por cada aumento generacional de rendimiento. Cuando tanto los datos como las recetas mejoran, las ablaciones controladas deben determinar qué cambio causó la mejora observada.

Lo que el hallazgo de 12 veces no establece

La conclusión más sólida también está estrechamente acotada: los datos dominaron un experimento abierto de preentrenamiento a pequeña escala sobre un conjunto de capacidades.

Los autores enfatizan repetidamente esos límites. Su presupuesto máximo fue de 1e19 FLOPs, muy por debajo de las ejecuciones modernas de entrenamiento de frontera. Las técnicas dependientes de la escala pueden aportar pocos beneficios visibles en modelos pequeños y volverse esenciales solo mucho después.

Los modelos pequeños tienen capacidad limitada. Los tokens de poco valor pueden desplazar material importante porque el modelo no puede absorberlo todo. Por tanto, una selección agresiva puede ayudar más a los modelos pequeños que a sistemas con una capacidad de representación mucho mayor.

Los modelos grandes pueden beneficiarse de una cobertura amplia, incluso cuando la calidad media de los documentos disminuye. Una mayor capacidad puede separar las señales débiles del ruido. Un filtrado excesivo podría eliminar hechos poco frecuentes, estilos inusuales, idiomas minoritarios o material técnico especializado.

El filtrado agresivo también reduce el corpus único. Los desarrolladores deben entonces repetir el material superviviente durante más épocas, lo que implica más pasadas por los mismos ejemplos. La repetición puede generar rendimientos decrecientes o sobreajuste.

La investigación sobre escalamiento limitado por datos concluyó que los datos repetidos siguen siendo útiles, pero pierden valor con pasadas adicionales. Esto crea una disyuntiva entre calidad media, diversidad total y repetición.

Patel y Han plantean una incertidumbre aún mayor. Los modelos de frontera suelen entrenarse más allá de las asignaciones de tokens óptimas según Chinchilla clásico porque los modelos más pequeños pueden reducir costes posteriores de inferencia. Un conjunto de datos curado podría requerir una repetición extensa bajo esa estrategia.

La evaluación OLMES añade otra limitación. Sus diez tareas son relativamente accesibles y se basan en gran medida en preguntas de opción múltiple. Evaluaciones diferentes podrían cambiar la clasificación de las recetas de modelo, los conjuntos de datos o ambos.

Un benchmark de programación podría premiar repositorios y documentación técnica. Un benchmark científico podría favorecer artículos y explicaciones especializadas. Las pruebas multilingües valorarían una cobertura lingüística que un conjunto centrado en inglés podría pasar por alto.

Los autores observaron anomalías coherentes con este problema de medición. NeoX rindió peor que GPT-2 a 1e19 FLOPs en OLMES, pese a superarlo con presupuestos evaluados inferiores. NeoX también obtuvo mejores resultados en la pérdida de FineWeb-Edu reservada para evaluación.

La mezcla amplia de The Pile también rindió peor que OpenWebText en OLMES. Eso no establece que las fuentes diversas sean generalmente ineficientes. Puede mostrar que la evaluación concede crédito limitado a su conocimiento especializado.

Algunos multiplicadores reportados requirieron extrapolación. Las curvas de NeoX y Pile no siempre alcanzaron el rendimiento de referencia necesario dentro del rango medido. Extender una curva ajustada más allá de los resultados observados introduce incertidumbre adicional.

El ajuste de hiperparámetros crea otra fuente de error. Las capacidades finales pueden cambiar con la tasa máxima de aprendizaje, el tamaño de lote, la inicialización y el calendario. Los investigadores exploraron tasas de aprendizaje en puntos de anclaje seleccionados, pero no pudieron probar todas las configuraciones posibles.

Creen que la incertidumbre de los multiplicadores de recetas de modelo supera las barras de error estadístico mostradas. Esas barras capturan la variación de su proceso de estimación. No recogen todas las consecuencias de una optimización limitada de hiperparámetros.

Las tasas anuales de eficiencia reportadas refuerzan la necesidad de cautela. Los cambios de modelo produjeron un multiplicador anual de 1,24 veces, mientras que los cambios en los datos produjeron 1,51 veces. En conjunto, la mejora anual medida fue de 1,57 veces.

Estas cifras quedan por debajo de una estimación anterior de aproximadamente una mejora anual de tres veces en eficiencia de software. Patel y Han ofrecen varias explicaciones, entre ellas las ganancias dependientes de la escala, optimizaciones de inferencia excluidas, cambios en los tokenizadores y elecciones de recetas representativas.

El estudio también excluye fuentes importantes del progreso moderno en capacidades. Se centra en el preentrenamiento, la fase en la que un modelo aprende patrones generales a partir de corpus amplios. No descompone el aprendizaje por refuerzo, el posentrenamiento, el uso de herramientas ni el cómputo en tiempo de prueba.

Patel y Han señalan que el aprendizaje por refuerzo impulsó muchas ganancias visibles durante los dos años previos a la publicación. Un modelo puede mejorar mucho en razonamiento o seguimiento de instrucciones sin cambiar su eficiencia base de preentrenamiento.

Los datos sintéticos siguen siendo otra gran laguna. Los laboratorios de frontera utilizan modelos para generar explicaciones, código, trazas de razonamiento y ejemplos de tareas. El experimento examinó corpus públicos que, en su mayoría, seleccionan subconjuntos de Common Crawl.

Los autores no evaluaron si la generación sintética puede ampliar una oferta limitada de información de alta calidad. Tampoco compararon la expansión sintética con repetir los documentos originales durante más épocas.

Por último, el estudio no reproduce los procesos cerrados de frontera. Los principales laboratorios rara vez divulgan composiciones completas de conjuntos de datos, clasificadores de filtrado, pesos de mezcla o controles de contaminación. Sus sistemas internos pueden diferir considerablemente de las recetas públicas.

La lectura apropiada es cauta, pero significativa. El experimento aporta evidencia de que el progreso de los corpus merece más crédito causal. No proporciona una ley universal de 12 veces para todos los modelos, escalas, benchmarks o laboratorios.

La calidad de los datos se está convirtiendo en una variable de escalamiento de primera clase

La industria trata cada vez más la calidad de los datos como una entrada de escalamiento medible, en lugar de una propiedad informal de un corpus.

Las leyes de escalamiento tradicionales vinculan el rendimiento con el tamaño del modelo, los tokens de entrenamiento y el cómputo. A menudo asumen que un token es comparable con otro. Los conjuntos de datos reales vulneran esa suposición mediante ruido, duplicación, diferencias de dominio y densidad desigual de información.

Investigaciones recientes han comenzado a modelar directamente la calidad. Un artículo de ICLR 2026 introdujo un parámetro de calidad adimensional y amplió las leyes de escalamiento de estilo Chinchilla. Su objetivo era predecir la pérdida a partir del volumen de datos, el tamaño del modelo y la calidad de los datos de forma conjunta.

El modelo consciente de la calidad utiliza proxies basados en la corrupción y la deficiencia del conjunto de datos. Experimentos controlados encontraron que datos de mayor calidad podían reducir el tamaño del modelo y el cómputo necesarios para una pérdida objetivo.

Ese enfoque no valida el multiplicador preciso de Patel y Han. Respald​a el mecanismo más amplio detrás de su resultado. Dos corpus con el mismo número de tokens pueden proporcionar cantidades efectivas de aprendizaje muy diferentes.

Esto cambia la forma en que los equipos deberían describir el escalamiento. El número de tokens sigue siendo necesario, pero no puede revelar si los tokens son únicos, relevantes, precisos o educativos. Las cifras de cómputo por sí solas no pueden revelar si los lotes de entrenamiento contienen una señal útil.

El mismo principio importa por debajo de la frontera. Una empresa que adapta un modelo a su propio dominio debe decidir qué documentos representan conocimiento fiable. Incorporar cada archivo disponible a un proceso puede amplificar la duplicación, las políticas obsoletas y las instrucciones contradictorias.

Una buena infraestructura de información preserva la procedencia y hace visible el material conflictivo. También ayuda a las personas a encontrar las fuentes detrás de las respuestas generadas por modelos. Una base de conocimiento consultable aplica una disciplina similar a escala organizativa.

Por tanto, los desarrolladores deberían separar tres preguntas. Primero, ¿contiene el corpus el conocimiento necesario para las tareas objetivo? Segundo, ¿puede el proceso extraer y representar ese conocimiento de forma limpia? Tercero, ¿premia la evaluación la capacidad prevista?

Los compradores empresariales deberían plantear preguntas relacionadas al evaluar modelos especializados. El número de parámetros de un proveedor dice poco sobre la cobertura del dominio o la actualidad de las fuentes. Las puntuaciones de benchmarks también pueden ocultar elecciones de datos limitadas que fracasan en flujos de trabajo reales.

Los trabajadores del conocimiento se enfrentan a una versión menor del mismo problema. Más material guardado no produce automáticamente una mejor recuperación de información ni un mejor razonamiento. El valor depende de la relevancia, la organización, la actualidad y la capacidad del sistema para conectar las evidencias.

Para los laboratorios de frontera, mejores canales de datos pueden convertirse en activos propietarios comparables al código de los modelos. Las arquitecturas públicas suelen replicarse con rapidez. Las mezclas de alta calidad requieren acceso continuo, revisión legal, experimentos y comentarios de las ejecuciones de entrenamiento.

Esto crea una brecha competitiva menos visible. Los laboratorios bien financiados pueden pagar colecciones con licencia, ejemplos producidos por especialistas, repositorios privados y entornos sintéticos. Los equipos más pequeños dependen en mayor medida de corpus de la web pública y filtros reproducibles.

El cambio también plantea cuestiones de gobernanza. Un filtrado más riguroso exige definir qué es útil. Esa definición puede suprimir dialectos, perspectivas minoritarias, material controvertido o conocimientos que difieren de los ejemplos preferidos por un clasificador.

La optimización también puede dirigirse de forma demasiado directa a los benchmarks. Un filtro entrenado para mejorar el rendimiento de evaluación puede seleccionar documentos que se asemejan a pruebas conocidas. Sin controles de contaminación, la aparente calidad de los datos puede convertirse en una exposición oculta a los benchmarks.

Por tanto, la ingeniería de conjuntos de datos necesita el mismo escrutinio que se aplica al diseño de modelos. Los investigadores necesitan estudios de ablación, fuentes documentadas, evaluaciones con datos reservados, pruebas de contaminación y rendimiento en múltiples dominios. Una única puntuación agregada no puede reflejar todas las compensaciones.

El trabajo de Patel y Han ayuda al convertir la antigüedad de los datos en un eje experimental independiente. Los estudios futuros pueden ampliar ese diseño a distintos idiomas, dominios, tamaños de modelo y mezclas sintéticas. También pueden medir factualidad, programación, razonamiento, seguridad y uso de contextos largos.

El cambio operativo más importante es sencillo. Los equipos deben dejar de tratar los datos de entrenamiento como una entrada estática elegida antes de que comience el trabajo serio. El diseño del corpus forma parte del modelo, incluso cuando está fuera del diagrama de arquitectura.

Tres señales pondrán a prueba la tesis de los datos primero

La próxima evidencia debe mostrar si el resultado se mantiene a escala de frontera, con expansión sintética y pruebas de capacidades más amplias.

La primera señal es una replicación más amplia. Patel y Han alcanzaron 1e19 FLOPs y describen su experimento como extremadamente pequeño. Un seguimiento debe extender el mismo diseño cruzado a modelos más grandes y presupuestos de cómputo sustancialmente superiores.

Esa replicación debería mantener intacta la separación fundamental. Los investigadores necesitan recetas de modelo representativas sobre múltiples generaciones de corpus, no una comparación en la que todas las variables cambien a la vez. También importarán múltiples semillas y un esfuerzo comparable de ajuste de hiperparámetros.

Si el multiplicador de los datos sigue siendo mayor a una escala superior, la tesis central se vuelve mucho más sólida. Los laboratorios de frontera tendrían evidencia más firme de que la curación sigue siendo una palanca dominante de eficiencia. Un multiplicador decreciente respaldaría la explicación del buque portacontenedores de los autores.

La segunda señal es un estudio controlado de datos sintéticos. Los investigadores deberían comenzar con un corpus limitado y de alta calidad, y comparar dos estrategias. Una repite el material original, mientras la otra lo amplía mediante ejemplos sintéticos generados cuidadosamente.

La evaluación debe comprobar más que la precisión en benchmarks. Debe medir novedad, fiabilidad factual, diversidad, memorización y rendimiento fuera de los dominios más sólidos del generador. De lo contrario, la expansión sintética podría limitarse a reproducir patrones conocidos.

Una ventaja sintética sólida debilitaría la idea de un inminente muro de datos fijos. Los laboratorios podrían transformar material limitado creado por humanos en currículos mucho más amplios. Los resultados débiles aumentarían el valor estratégico de los datos con licencia y generados por expertos.

La tercera señal es la amplitud de la evaluación. Las futuras replicaciones deberían probar programación, matemáticas, capacidad multilingüe, recuperación factual, razonamiento científico y tareas de contexto largo. También deberían informar los resultados por separado, en lugar de ocultarlos dentro de un único promedio.

Las ventajas consistentes de los datos en esas categorías reforzarían el estudio de preentrenamiento de Dwarkesh Patel. Grandes diferencias entre categorías mostrarían que la calidad del corpus depende en gran medida del objetivo elegido. Ese resultado favorecería las mezclas especializadas frente a una clasificación universal.

Los lectores también deberían observar las prácticas de divulgación. Si los desarrolladores de modelos abiertos publican mejores fichas de conjuntos de datos, detalles de las mezclas y experimentos de filtrado, los investigadores independientes podrán probar la afirmación con mayor rigor. El secretismo continuo mantendrá una gran brecha entre la evidencia pública y la realidad de frontera.

Para los desarrolladores, la lección inmediata no es abandonar el trabajo de arquitectura. Es medir el canal de datos con la misma seriedad. Realicen seguimiento de la duplicación, la contribución de las fuentes, los pesos de las mezclas, la actualidad y los cambios de rendimiento derivados de cada decisión de filtrado.

Para los equipos empresariales, la lección es preguntar de dónde procede el conocimiento del modelo y cómo se mantiene. Un modelo más grande no puede garantizar respuestas actuales, relevantes o trazables. Unas mejores entradas de información suelen importar antes de añadir otra capa de complejidad al modelo.

Para los trabajadores del conocimiento, la pregunta práctica es similar: ¿qué información merece una atención limitada? Una mejor selección puede mejorar tanto el razonamiento humano como el de las máquinas. Recopilarlo todo sin estructura simplemente desplaza el problema del filtrado.

Los hallazgos de datos de Dwarkesh Patel hacen difícil ignorar una conclusión. Las narrativas públicas han enfatizado en exceso los cambios visibles de los modelos porque las arquitecturas son más fáciles de nombrar que los canales de corpus. La evidencia controlada ahora concede un papel mucho mayor a la variable más silenciosa.

Las próximas tres pruebas decidirán hasta dónde se extiende ese papel. Busque una replicación con mayor cómputo, una comparación entre datos sintéticos y repetición, y evaluaciones diversas de capacidades. Juntas, pueden confirmar o acotar la afirmación de que el progreso del preentrenamiento provino principalmente de los datos.

Hasta entonces, considere el resultado de 12 veces como una señal experimental sólida, no como una constante universal. Audite la información que alimenta sus sistemas, pruebe los cambios frente a tareas reales y conserve las fuentes detrás de cada conclusión. Los mejores modelos siguen importando, pero su rendimiento comienza con aquello que se les permite aprender.