Dwarkesh Patelの事前学習研究、データがモデル改善を上回ると示す

Dwarkesh PatelはJerry Hanとともに事前学習研究を発表し、注目すべき結果を得た。データの改善により、計算効率は12倍向上した。一方、同じ実験枠組みでのモデルレシピの改善による向上は3.7倍だった。したがって、このDwarkesh Patelの事前学習研究は、データが効率向上に果たした寄与が約3.24倍大きいとしている。

この知見は、言語モデルの進歩に関する一般的な見方に疑問を投げかける。公開の議論では、アーキテクチャ、オプティマイザ、より大規模なクラスタ、新しいアテンション機構に焦点が当たりがちだ。しかしPatelとHanは、検証した範囲では、より良いコーパスのほうが大きな効率上の優位性を生んだと結論づけた。

研究者らは、GPT-2時代のシステムからOLMo-2時代のレシピまで、オープンな事前学習の進歩を6年にわたって再構築した。代表的なモデル設計と代表的なデータセットを組み合わせ、複数の計算予算で学習させた。これにより、より良い機構とより良い素材という2つの説明を直接比較できる。

この結果は、OpenAI、Anthropic、Google DeepMind、Metaの内部で何が起きたかを示すものではない。これらの企業は現在の学習データについて限定的な情報しか開示していない。ただし、データエンジニアリングを二次的な課題とみなす側には、より強い立証が求められることになる。

Dwarkesh Patelの事前学習研究、6年分の進歩を再構築

PatelとHanは、通常は同時に変化する2つの変数、すなわちモデルレシピと学習コーパスを切り分けようとした。

彼らの事前学習実験は2026年9月8日に公開された。2019年から2025年に公開された代表的なオープンモデルのレシピと公開データセットを対象としている。著者らは、これらの要素の組み合わせをゼロから学習させた。

モデルレシピには、アーキテクチャ、オプティマイザ、初期化、学習率スケジュール、正規化手法、その他の学習上の選択が含まれる。コーパスは、事前学習用にトークンへ変換されたテキストの集合だ。公開モデルの多くは両方の要素を同時に変更するため、それぞれの寄与を分離することは難しい。

モデル軸はGPT-2レシピから始まり、OLMo-2で終わる。中間的な変更には、回転位置埋め込み、RMSNorm、SwiGLU活性化、改訂された正規化配置、QK正規化、よりクリーンな初期化手法などが含まれる。各改善は、モデルによる情報表現の方法、あるいは学習中の安定性を変える。

データ軸はOpenWebTextから始まる。この2019年のコーパスには、十分に人気のあるReddit投稿からリンクされたウェブページ由来の約90億トークンが含まれていた。その後のデータセットでは、より広範なウェブクロール、より強力な抽出、重複除去、そして選別度を高めた品質フィルタが使われた。

2025年時点の到達点はUltraFineWebだった。そのパイプラインは、はるかに大きなウェブ文書プールに対して、より高度なフィルタリングを適用する。一部の現代的なフィルタは、どの文書が下流のモデル性能を向上させるかを予測するよう学習された分類器を用いる。

PatelとHanは、名目上5つの計算予算を検証した。範囲は100京FLOPsから1000京FLOPsで、1e17から1e19 FLOPsと表記される。FLOPsは、学習中に消費される算術演算の回数を測る単位だ。

各予算において、研究者らはモデル規模とトークン数を変化させた。この手順により、各モデル・コーパス組み合わせについて計算最適な組み合わせを推定できた。計算最適とは、固定された学習計算量の範囲で、測定上もっとも強い結果を生むことを意味する。

実験全体で、他の複数の選択も統制された。すべての実行で、語彙数50,257トークンのGPT-2 BPEトークナイザを使用した。また、コンテキスト長は2,048トークン、バッチは262,144トークンで統一された。

研究者らは、比較的アクセスしやすい10個のベンチマーク群であるOLMESを通じて、最終的な能力を評価した。その大半は多肢選択式の質問応答を用いる。異なる学習データセット間でクロスエントロピー損失を比較すると不均衡なテストになるため、能力評価を選んだ。

この選択は重要だ。学習分布を定義したものと同じコーパスに対して評価されたモデルは、人為的な優位性を得る可能性がある。下流タスクは共通の評価対象を提供するが、統計的ノイズはより大きくなる。

チームは、計算スケーリング曲線について複数の独立したシードで実行した。シードはランダム初期化とデータ順序を変え、結果が学習上のばらつきをまたいで持続するかを明らかにする助けとなる。3.16e18 FLOPsでのより大きな7×7グリッドでは、組み合わせごとに1つのシードを使用した。

1e19 FLOPsの予算では、新しいデータは2019年のデータベースラインに対して12倍の計算倍率をもたらした。新しいモデルレシピは、GPT-2レシピに対して3.7倍の倍率を生んだ。その比率から、データが3.24倍優位という見出しの数値が導かれた。

計算倍率は、新しい要素が古い要素と同じ性能に到達するまでに必要な計算量をどれだけ減らせるかを表す。モデルが12倍賢くなったという意味ではない。これは、選定された性能水準と評価スイートにおける効率を示すものだ。

著者らはまた、3.16e18 FLOPsにおいてデータとモデルによる利得はおおむね独立していることを見出した。加法的な統計モデルは、OLMESスコアの変動の88%を説明した。相互作用、高次効果、評価ノイズに残されたのは約12%だった。

この結果は、より良いデータがその恩恵をもたらすために特定のアーキテクチャを必要としなかったことを示唆する。同様に、アーキテクチャの改善は一般にコーパスをまたいで有用であり続けた。この独立性により、データの寄与を、たまたま相性の良かったモデルとデータセットの組み合わせとして片付けることは難しくなる。

データエンジニアリングが効率競争を制した

この実験の範囲では、モデルが何を読むかを改善することは、それを読む仕組みを改善することよりも重要だった。

この結果は、データ中心の言語モデル研究の蓄積と一致する。現代のコーパスは、単にインターネットテキストを大量に集めたものではない。構築者はよりクリーンなコンテンツを抽出し、重複を除去し、ソースのバランスを取り、価値の低い文書をフィルタリングし、汚染を制御している。

重複除去は、完全に同一またはほぼ同一の素材を取り除く。これがなければ、頻繁にコピーされるページが学習を支配し、コーパスの実効的な多様性を低下させかねない。抽出は、意味のあるテキストをメニュー、広告、定型文、破損したマークアップから切り離す。

次にフィルタリングは、限られた学習計算を投入する価値がある文書を決定する。初期のフィルタは、言語、長さ、反復、句読点に関するルールに大きく依存していた。新しいパイプラインでは、有用なテキストと有用でないテキストの事例で学習させた分類器の利用が増えている。

DataComp-LMは、統制されたデータセット競争を通じて、このアプローチを測定可能にした。研究者らは240兆トークンのCommon Crawlプールを公開し、参加者には固定された学習レシピを与えた。これによりチームは、モデルを変更するのではなく、フィルタリングとデータ混合の戦略で競うことができた。

DataComp-LMの結果では、最も強力なベースラインの中核にモデルベースのフィルタリングがあった。同研究の70億パラメータモデルは、2.6兆トークンで学習した後、MMLUの5ショット精度で64%に到達した。

このモデルは、報告されたベンチマークにおいて、より大きなオープンモデルに匹敵する性能を示した。著者らはまた、MAP-Neoを上回るMMLUで6.6ポイントの優位性を報告しており、学習計算量は40%少なかった。これらは別個の実験だが、その方向性はPatelとHanの結果を支持している。

DataComp-LMは、フィルタ設計が予想以上に重要になり得ることも明らかにした。ある検証規模では、フィルタリングモデルを変更することで、5ショットMMLU精度は35%から44%へ移動した。基礎となる生のウェブプールは、すべての手法で利用可能だった。

意外にも、最も優れた検証済みフィルタは、慎重に選んだ正例と負例を用いる比較的単純なバイグラム分類器だった。これらの実験では、文書品質に関する人間の判断は限定的な価値しか示さなかった。読者にとって洗練されて見えるものが、必ずしもより良い学習信号を生むわけではない。

FineWebの研究も関連する結論に達した。その作成者らは、大規模ウェブコーパスにおける抽出、言語フィルタリング、重複除去、品質選択の手法を比較した。この研究は、データセット作成を単なるクリーンアップ工程ではなく、実証的なエンジニアリング分野として扱った。

FineWebデータセットも、学習済み分類器で選別した教育重視のサブセットを生み出した。この戦略は、質の高い教育資料に似たページを重視する。こうしたフィルタは、トークン当たりの有用な推論と事実密度を高めることを狙っている。

この経緯は、Dwarkesh Patelのデータに関する知見を説明する。OpenWebTextもすでにウェブをフィルタリングしていたが、品質の大まかなシグナルとしてReddit上の人気度を用いていた。後続のパイプラインは、実際のモデル性能に照らして、より直接的なシグナルを検証した。

この差は、一般的な推薦リストを、効果が測定されたカリキュラムに置き換えることに似ている。どちらにも読める素材は含まれる。しかし、学習者が1時間ごとに得るものを最適化するのは後者だけだ。

事前学習データにおけるこの効率は、すべてのトークンが計算を消費するため重要である。価値の低い反復、壊れたテキスト、無関係な定型文は、固定予算の中で有用な事例と競合する。より良い選別は、同じアクセラレータ時間から得られる学習量を増やす。

経済的な影響は、1回の学習実行にとどまらない。データセットパイプラインは、繰り返し行う実験、複数世代のモデル、特化型バリアントを支えられる。そのパイプラインへの改善は、組織全体の研究プログラムにわたって複利的に積み上がる可能性がある。

データは、どの能力が出現するかも形づくる。コードが豊富なコーパスは、会話的な散文が支配的なコーパスと同じ振る舞いをするわけではない。科学論文、法的文書、多言語文書、合成された推論トレースはいずれも、異なる方向へ学習を促す。

これは最先端の研究所に圧力をかける。コーパス設計が弱くても、追加のハードウェア発注で補えると想定することはできない。出所、ライセンス、抽出、フィルタリング、混合設計、評価、継続的な更新に向けたより強力なシステムが必要になる。

この圧力は小規模なモデル開発者にも及ぶ。アクセラレータへのアクセスが限られるチームは、支出額だけの競争では勝てない。それでも、各学習バッチの情報密度を高め、特定の能力に向けてコーパスを最適化することはできる。

ただし、この研究は、あらゆる狭いデータセットが優れていると言っているわけではない。報告された実験では、The PileはOLMESにおいてOpenWebTextより低い性能を示した。The Pileには、論文、コード、特許、法的文書など、多様なソースの素材が含まれている。

OLMESは主に、英語のウェブ形式に近い多肢選択タスクを評価する。そのため、専門的な素材が他の場面で価値ある能力を支えていても、十分に評価されない可能性がある。データ品質に、目標から独立した普遍的な定義はない。

より良いモデルは、より大規模な学習実行も可能にした

12倍というデータの結果は効率を測定したものだが、モデル研究は有用な学習を維持できる規模も拡大してきた。

PatelとHanは、自らの見出しをもっとも単純に解釈することを明確に退けている。この実験は、6年にわたるモデル研究の寄与が小さかったことを示すものではない。比較的小規模な条件で、特定の下流スコアに到達するために必要な計算量を測定したものだ。

多くのモデル革新は、別の目的を果たしている。パラメータ数、コンテキストウィンドウ、データ量、アクセラレータクラスタが拡大しても、学習を安定させることだ。大規模な実行の破綻を防ぐ改善は、小規模な効率チャートでは支配的に現れないかもしれない。

より大規模なトレーニングクラスタは、多数の障害点を生み出す。勾配は爆発または消失しうる。通信帯域幅がボトルネックになることもある。メモリ圧迫により、シーケンス長、バッチサイズ、オプティマイザ状態が制限される場合もある。

正規化の変更は安定性を改善できる。より良い初期化は、初期段階での発散を防ぎうる。カーネルレベルの最適化は、アクセラレータがメモリ移動を待つのではなく、稼働し続けられるようにする。

FlashAttentionは、重要な歴史的事例の一つである。これは厳密なアテンション計算をメモリアクセスを軸に再構成し、異なるメモリ階層間で発生する高コストな転送を削減する。基本的なアテンションの結果を変えずに、実現可能なシーケンス長を拡大できる。

Mixture-of-expertsモデルは、別のスケーリング制約に対処する。各トークンでネットワークの一部だけを有効化するため、トークン当たりの計算量を比例的に増やすことなく、総パラメータ容量を拡大できる。このような設計は、ルーティングや分散トレーニングを複雑にする。

Grouped-query attentionは、推論時にキャッシュされるキーと値に必要なメモリを削減できる。モデルが数百万件のプロンプトを処理する際には、これは極めて重要となる。PatelとHanは、この種の推論改善は事前学習の計算倍率には含まれていないと指摘する。

トークナイザの改善も、この実験の対象外である。トークナイザは、テキストをモデルが読み取れる単位へ変換する。より効率的なトークン化は、シーケンス長を短縮したり、言語やドメインをまたぐ表現を改善したりできる。

したがって中心的な対立軸は、データ効率とモデルによって可能になるスケールであり、データ担当者とモデル研究者の対立ではない。より良いコーパスは、固定された予算からシステムがより多くを学ぶ助けとなる。より優れたモデルエンジニアリングは、研究所が不安定性や法外なオーバーヘッドなしに、より大きな予算を投入できるようにする。

Google DeepMindのChinchilla研究は、これらの変数が交わる様子を示している。従来のスケーリングでは、トレーニングデータを比例して増やさずにパラメータ数を拡大することが多かった。その結果、モデルは十分に学習されないまま、大量の推論リソースを消費していた。

DeepMindは、パラメータとトークンの最適な配分を推定するため、400以上のモデルをトレーニングした。その計算最適性に関する研究は、検証した条件下では、モデルサイズとトークン数をともに増やすべきだと結論付けた。

Chinchillaは700億パラメータと1.4兆のトレーニングトークンを使用した。Gopherは、同程度の計算予算で2,800億パラメータを用いた。より小さく、より広範にトレーニングされたChinchillaは、報告された評価の大半でGopherを上回った。

この結果は、パラメータ数からトレーニング期間とデータセット量へと注目を移した。アーキテクチャ研究の重要性を否定したわけではない。モデルサイズだけでは、計算がどれほど有効に使われているかを十分に説明できないことを示したのである。

PatelとHanは、コーパスの世代とレシピの世代を分けることで、この議論をさらに発展させた。Chinchillaは、計算予算でどれだけのパラメータとトークンを獲得すべきかを問うた。新たな研究は、進歩がより大きくもたらされたのは容器なのか、その中身なのかを問う。

この規模では、答えは中身を支持する。しかし、容器はどれだけ運べるかを決める。PatelとHanは小規模モデルを帆船に、最前線のシステムをコンテナ船になぞらえる。

帆船では容量が乏しいため、慎重に選ばれた積荷が大きな意味を持つ。コンテナ船は、はるかに多くの資材を運び、より厳しい条件にも耐えられる。その価値は、速度だけでなく、規模と信頼性によって現れる。

AI研究所にとっては、両方の能力が依然として不可欠である。クリーンなコーパスも、安定したソフトウェアとハードウェアなしにはトレーニングできない。効率的なアーキテクチャも、トレーニングバッチに重複した、あるいは価値の低い素材が含まれていれば、計算を浪費する。

この研究がもたらす有用な視点の転換は、より限定的である。世代ごとの性能向上すべてについて、アーキテクチャが自動的に功績を認められるべきではない。データとレシピの双方が改善される場合、観測された向上をどの変更がもたらしたのかは、統制されたアブレーションで判断しなければならない。

12倍という知見が示していないこと

最も強い結論も、適用範囲は厳密に限定される。データが優位だったのは、一つの能力スイートに対する、公開された小規模事前学習実験においてである。

著者らは、こうした限界を繰り返し強調している。最大予算は1e19 FLOPsであり、現代の最前線トレーニング実行と比べればはるかに小さい。スケール依存の技術は、小規模モデルではほとんど目に見える利点をもたらさず、かなり後の段階で初めて不可欠になる可能性がある。

小規模モデルの容量には限りがある。モデルがすべてを吸収できないため、低価値のトークンが重要な素材を押しのける可能性がある。そのため、積極的な選別は、より大きな表現能力を持つシステムよりも、小規模モデルに大きく寄与しうる。

大規模モデルは、平均的な文書品質が低下しても、幅広いカバレッジから恩恵を得る場合がある。より大きな容量は、弱いシグナルをノイズから分離できる。過度なフィルタリングは、希少な事実、珍しい文体、少数言語、あるいはニッチな技術資料を除外してしまうかもしれない。

積極的なフィルタリングは、ユニークなコーパスも縮小させる。開発者はその後、より多くのエポックにわたって残った素材を繰り返す必要があり、同じ事例を何度も通過させることになる。反復は、収穫逓減や過学習を招く可能性がある。

データ制約下のスケーリングに関する研究では、繰り返されたデータは依然として有用であるものの、追加のパスに伴って価値が低下することが示された。これは、平均品質、総多様性、反復の間にトレードオフを生み出す。

PatelとHanは、さらに大きな不確実性を提起している。最前線のモデルは、小規模モデルによって後の推論コストを抑えられるため、従来のChinchilla最適トークン配分を超えてトレーニングされることが多い。この戦略では、キュレーションされたデータセットに広範な反復が必要となる可能性がある。

OLMES評価も、もう一つの制約を加える。その10のタスクは比較的取り組みやすく、大半は多肢選択式の質問応答に基づいている。異なる評価では、モデルレシピ、データセット、あるいはその両方の順位が変わる可能性がある。

コーディングベンチマークでは、リポジトリや技術文書が有利になるかもしれない。科学ベンチマークでは、論文や専門的な解説が優位になりうる。多言語テストでは、英語中心のスイートが見落としうる言語カバレッジが重視されるだろう。

著者らは、この測定上の問題と整合する異常も観測した。NeoXは、より低い検証予算ではGPT-2を上回ったにもかかわらず、1e19 FLOPsではOLMESでGPT-2より低い性能を示した。NeoXは、ホールドアウトされたFineWeb-Edu損失では、より良い結果も示していた。

The Pileの幅広い混合も、OLMESではOpenWebTextを下回った。これは、多様なソースが一般に非効率だということを証明するものではない。評価が、その専門知識に対して限定的な評価しか与えていない可能性を示している。

報告された倍率の一部には外挿が必要だった。NeoXとPileの曲線は、測定範囲内で必要な参照性能に常に到達していたわけではない。適合した曲線を観測結果の外側まで延長すると、追加の不確実性が生じる。

ハイパーパラメータ調整も別の誤差要因となる。最終的な能力は、ピーク学習率、バッチサイズ、初期化、スケジュールによって変わりうる。研究者らは選択したアンカーポイントで学習率を探索したが、考えられるすべての構成を試すことはできなかった。

彼らは、モデルレシピ倍率の不確実性が、表示された統計的誤差バーを上回ると考えている。これらの誤差バーは推定パイプラインからの変動を捉えるが、限定的なハイパーパラメータ最適化のあらゆる影響を捉えるものではない。

報告された年次効率率も、慎重さの必要性を強調する。モデルの変更は年率1.24倍の倍率を生み、データの変更は1.51倍を生んだ。両者を合わせた測定上の年次向上は1.57倍だった。

これらの数値は、年間およそ3倍という、以前のソフトウェア効率改善の推定を下回る。PatelとHanは、スケール依存の利得、除外された推論最適化、トークナイザの変更、代表的なレシピ選択など、複数の説明を提示している。

この研究は、現代の能力進歩における主要な源泉も除外している。対象は、モデルが幅広いコーパスから一般的なパターンを学ぶ段階である事前学習である。強化学習、事後トレーニング、ツール利用、テスト時の計算を分解してはいない。

PatelとHanは、発表前の2年間における目に見える進歩の多くを、強化学習がもたらしたと指摘する。モデルは、基礎事前学習の効率を変えずとも、推論や指示追従において大幅に改善しうる。

合成データも、もう一つの大きな空白である。最前線の研究所は、モデルを使って説明、コード、推論トレース、タスク例を生成している。この実験が調べたのは、主にCommon Crawlのサブセットをキュレーションした公開コーパスだった。

著者らは、合成生成が高品質情報の限られた供給を拡大できるかどうかを検証していない。また、合成による拡張と、元の文書をより多くのエポックで繰り返すことも比較していない。

最後に、この研究はクローズドな最前線パイプラインを再現していない。主要研究所が、完全なデータセット構成、フィルタリング分類器、混合比、汚染制御を開示することはまれである。内部システムは、公開レシピと大きく異なる可能性がある。

適切な読み方は、慎重でありながら意味のあるものだ。この実験は、コーパスの進歩がより多くの因果的評価を受けるべきだという証拠を提供する。一方で、あらゆるモデル、規模、ベンチマーク、研究所に適用できる普遍的な12倍の法則を示すものではない。

データ品質は第一級のスケーリング変数になりつつある

業界は、データ品質をコーパスの非公式な性質ではなく、測定可能なスケーリング入力として扱うようになっている。

従来のスケーリング則は、性能をモデルサイズ、トレーニングトークン、計算量に結び付ける。多くの場合、あるトークンは別のトークンと同等だと仮定している。実際のデータセットは、ノイズ、重複、ドメイン差、情報密度の不均一性により、その仮定に反する。

近年の研究では、品質を直接モデル化し始めている。ICLR 2026の論文は、無次元の品質パラメータを導入し、Chinchilla型スケーリング則を拡張した。その目的は、データ量、モデルサイズ、データ品質を合わせて損失を予測することだった。

この品質認識モデルは、破損とデータセット不足に基づく代理指標を用いる。統制実験では、より高品質なデータによって、目標損失に必要なモデルサイズと計算量を削減できることが示された。

このアプローチは、PatelとHanによる正確な倍率を検証するものではない。しかし、彼らの結果を支えるより広いメカニズムを裏付けている。トークン数が等しい二つのコーパスでも、実効的な学習量は大きく異なりうる。

これは、チームがスケーリングをどう説明すべきかを変える。トークン数は引き続き必要だが、トークンがユニークか、関連性があるか、正確か、教育的かは明らかにできない。計算量だけでも、トレーニングバッチが有用なシグナルを含むかどうかは分からない。

この原則は、最前線より下の領域でも重要である。自社ドメインにモデルを適応させる企業は、どの文書が信頼できる知識を示すのかを決めなければならない。利用可能なすべてのファイルをパイプラインに投入すると、重複、古いポリシー、矛盾する指示が増幅されうる。

優れた情報インフラは、来歴を保持し、矛盾する資料を可視化する。また、モデル生成の回答の根拠となるソースを人々が見つける助けにもなる。検索可能なナレッジベースは、組織規模で同様の規律を適用する。

したがって開発者は、三つの問いを分けるべきである。第一に、コーパスには対象タスクに必要な知識が含まれているか。第二に、パイプラインはその知識を適切に抽出し、表現できるか。第三に、評価は意図した能力を評価しているか。

企業の購入担当者も、専門モデルを評価する際に関連する問いを投げかけるべきだ。ベンダーのパラメータ数は、ドメインカバレッジやソースの新しさについてほとんど語らない。ベンチマークスコアも、実際のワークフローでは機能しない狭いデータ選択を隠している可能性がある。

知識労働者も、同じ問題をより小さな規模で抱えている。保存する情報量を増やしても、検索や推論の質が自動的に向上するわけではない。価値を左右するのは、関連性、整理、鮮度、そして証拠同士を結び付けるシステムの能力だ。

最先端の研究所にとって、より優れたデータパイプラインはモデルコードに匹敵する独自資産になり得る。公開アーキテクチャはしばしば短期間で再現される。一方、高品質なデータ混合には、継続的なアクセス、法務レビュー、実験、学習実行からのフィードバックが必要となる。

これにより、目立ちにくい競争上の格差が生まれる。資金力のある研究所は、ライセンス済みコレクション、専門家が作成したサンプル、非公開リポジトリ、合成環境に資金を投じられる。小規模チームは、公開Webコーパスと再現可能なフィルターへの依存度がより高い。

この変化はガバナンス上の課題も提起する。より強力なフィルタリングには、「有用性」の定義が必要だ。その定義によって、方言、少数派の視点、論争的な資料、あるいは分類器が好むサンプルと異なる知識が排除される可能性がある。

最適化がベンチマークを過度に直接的に狙うこともある。評価性能に対して学習されたフィルターは、既知のテストに似た文書を選択しかねない。汚染を管理する仕組みがなければ、見かけ上のデータ品質は隠れたベンチマークへの露出となり得る。

したがって、データセットエンジニアリングにはモデル設計と同じ厳密な検証が必要だ。研究者には、アブレーション、文書化されたソース、ホールドアウト評価、汚染テスト、複数ドメインにまたがる性能評価が求められる。単一の総合スコアでは、すべてのトレードオフを捉えられない。

PatelとHanの研究は、データの世代を独立した実験軸として扱うことで、この議論を前進させた。今後の研究では、この設計を言語、ドメイン、モデル規模、合成データ混合へと拡張できる。また、事実性、コーディング、推論、安全性、長文コンテキストの利用も測定できる。

最も重要な運用上の変化は単純だ。チームは、学習データを本格的な作業が始まる前に選ばれる静的な入力として扱うべきではない。コーパス設計は、アーキテクチャ図の外側に存在していても、モデルの一部である。

データファースト仮説を検証する3つのシグナル

次に必要な証拠は、この結果が最先端規模、合成データの拡張、より広範な能力評価でも維持されるかを示すものだ。

第1のシグナルは、より大規模な再現実験である。PatelとHanは1e19 FLOPsまで到達し、自らの実験を非常に小規模だと説明している。追試では、同じ交差設計をより大きなモデルと大幅に高い計算予算へ拡張する必要がある。

この再現実験では、中心となる分離を維持すべきだ。必要なのは、複数のコーパス世代に対する代表的なモデルレシピであり、すべての変数が同時に変わる比較ではない。複数シードと、同程度のハイパーパラメータ調整の努力も重要になる。

データの倍率効果がより大きな規模でも維持されれば、中心仮説は大きく強化される。最先端の研究所は、キュレーションが依然として支配的な効率化レバーであることを、より確かな証拠で示せる。倍率効果が縮小すれば、著者らのコンテナ船に関する説明を支持することになる。

第2のシグナルは、統制された合成データ研究だ。研究者は、限定的ながら高品質なコーパスから始め、2つの戦略を比較すべきである。一方は元の資料を繰り返し使用し、もう一方は慎重に生成された合成サンプルによって拡張する。

評価では、ベンチマーク精度以上の検証が必要になる。新規性、事実の信頼性、多様性、記憶、生成器が最も得意とするドメイン以外での性能を測定すべきだ。そうでなければ、合成データの拡張は既知のパターンを再生産するだけかもしれない。

合成データが明確に優位であれば、固定的なデータ上限が近づいているという考えは弱まる。研究所は、限られた人間作成の資料をはるかに大規模なカリキュラムへ変換できる。結果が弱ければ、ライセンス済みデータや専門家生成データの戦略的価値は高まる。

第3のシグナルは、評価の広がりである。今後の再現実験では、コーディング、数学、多言語能力、事実検索、科学的推論、長文コンテキスト課題を検証すべきだ。また、結果を1つの平均値に隠すのではなく、個別に報告する必要がある。

これらのカテゴリー全体で一貫したデータ優位性が示されれば、Dwarkesh Patelの事前学習研究はより強固になる。カテゴリー間に大きな差があれば、コーパス品質が選択した目標に強く依存することが分かる。その結果は、万能の単一ランキングよりも専門特化したデータ混合を支持する。

読者は、開示慣行にも注目すべきだ。オープンモデルの開発者が、より優れたデータセットカード、混合の詳細、フィルタリング実験を公開すれば、独立研究者はこの主張をより厳密に検証できる。秘密主義が続けば、公開された証拠と最先端の実態との大きな隔たりは残る。

開発者にとって、当面の教訓はアーキテクチャの取り組みをやめることではない。データパイプラインを同じ真剣さで測定することだ。重複、ソースごとの寄与、混合比、鮮度、各フィルタリング判断による性能変化を追跡すべきである。

エンタープライズチームにとっての教訓は、モデルの知識がどこから来て、どのように維持されるかを問うことだ。より大きなモデルが、最新性、関連性、追跡可能性のある回答を保証するわけではない。多くの場合、情報入力を改善することは、モデルの複雑さをさらに1層増やすより先に重要になる。

知識労働者にとっても、実践的な問いは似ている。限られた注意を向けるに値する情報は何か。より良い選別は、人間と機械の両方の推論を改善できる。構造なしにすべてを収集しても、フィルタリングの問題を別の場所へ移すだけだ。

Dwarkesh Patelのデータに関する知見は、ひとつの結論を見過ごしにくくしている。公開された議論では、コーパスパイプラインよりも名前を挙げやすいアーキテクチャが過度に強調されてきた。統制された証拠は今、これまで静かだった変数に、はるかに大きな役割を与えている。

次の3つの検証が、その役割がどこまで及ぶかを決める。より高い計算量での再現実験、合成データと反復利用の比較、多様な能力評価に注目したい。これらを合わせることで、事前学習の進歩が主にデータによってもたらされたという主張を裏付ける、あるいは範囲を限定できる。

それまでは、この12倍という結果を普遍的な定数ではなく、強力な実験上のシグナルとして扱うべきだ。システムに入力される情報を監査し、実際のタスクに対して変更を検証し、各結論を支えるソースを保存する。より良いモデルは依然として重要だが、その性能は何を学ぶことを許されるかから始まる。