Dario Amodei、Scaling LawsとAGIについて："Country of Geniuses"への賭け
- Aisha Washington
- 6月6日
- 読了時間: 10分
更新日：6月17日
特定のフレーズ Dario Amodei は、人々を立ち止まらせる傾向があります。彼は人工知能の当面の未来を、より優れたチャットボットやより高速な検索エンジンではなく、「データセンターにいる天才たちの国」と表現しています。
それは印象的なイメージです。それは、AGI（汎用人工知能）への道は、未発見の魔法のアルゴリズムではなく、むしろブルートフォースのエンジニアリングと数学によって舗装されていることを示唆しています。AnthropicのCEOであるAmodeiによれば、そのメカニズムは単純です： Scaling Lawsです。
その前提は、モデルに十分なデータを与え、十分な計算能力を投入すれば、知性は自然な副産物として現れるということです。この見解は、業界を高リスクの軍拡競争に変えました。しかし、サンフランシスコの研究室の外では、実際のエンジニアが日々のワークフローについて議論するコメントスレッドでは、その受け止め方は様々です。
Amodei は近い将来を予測していますが、そこでは スケーリング則生物学とソフトウェアエンジニアリングを解決する一方で、Redditのようなプラットフォームのユーザーは、AIが役立つものの、まだ幻覚を見たり、つまずいたり、コードベースのより広い文脈を理解できなかったりする、より複雑な現実に苦しんでいます。
知能の物理学：スケーリング則が新しい福音である理由
Anthropicがこのコンセプトに会社全体と数十億ドルを賭けている理由を理解するには、スケーリング則をコンピュータサイエンスの物理学の一形態として見る必要があります。
長らく、AIの進歩は停滞するという仮定がありました。GPUやテキストデータを追加しても、より賢いモデルではなく、より高価なモデルしか得られない、収穫逓減の地点に到達するだろうと考えられていました。Amodeiの主張は、過去5年間のLLM開発によって裏付けられており、私たちはまだその天井に達していないということです。実際、私たちはまだしばらくの間、そこに到達しないかもしれません。
これは、Transformer Architectureがその原動力となっています。複雑さに苦しんでいた以前のアーキテクチャとは異なり、Transformerは情報を消化する方法で、大規模な並列処理を可能にします。単に記憶するのではなく、推論のパターンを学習します。これをスケールアップすると、文法が良くなるだけではありません。「創発」が得られます。
創発とは、システムが明示的にコード化されていない行動を示す瞬間です。インターネットのテキストでトレーニングされたモデルが、突然、言語の翻訳、Pythonスクリプトの作成、論理パズルの解決を学習します。
信じている人にとって、Scaling Laws、AGIは究極の創発特性にすぎません。曲線が上がり続け、右肩上がりに進むときに起こることです。その意味するところは、新しい発明は必要ないということです。必要なのは、より大きなデータセンターだけです。
「ステートレス」トランスフォーマーの問題
しかし、技術的な懐疑論は残っています。エンジニアリングコミュニティの相当な部分が、Transformer Architectureは本質的にステートレスであると指摘しています。静的な行列演算を実行します。生物学的な脳が経験に基づいて構造を変化させるような「記憶」を持っていません。
批判はしばしば、スケーリングが本質的に人間の知識の巨大なルックアップテーブルを構築するという考えに焦点を当てています。推論を模倣することはできますが、真に革新することはできるでしょうか？もしAGIがリセットなしで継続的に動作し、リアルタイムで学習する能力を必要とするなら、現在のScaling Lawsは最終的に厳しい壁にぶつかる可能性があります。
壁にぶつかる：AGI、データ不足、および合成データ
もし スケーリング則 が AGI への乗り物だとしたら、燃料が当面の課題です。
私たちはインターネットを使い果たしつつあります。高品質な人間のテキスト――書籍、科学論文、きれいなコード――は有限なリソースです。2020年代後半までに、モデルのトレーナーは公開ウェブを使い果たすだろうと推定されています。
そこで重要になるのが「合成データ」という概念です。人間が高品質なデータを十分に生成できないのであれば、獣は自らを養わなければなりません。その理論とは、非常に有能なモデル（Claude 3.5やGPT-4のような）が、人間のデータよりもクリーンで論理的な要素が多い教科書、コードサンプル、推論トレースを生成できるというものです。
「合成データ」を使用して次世代のモデルをトレーニングすることは、物議を醸すフィードバックループです。反対派はこれを「モデル崩壊」と呼び、世代を重ねるごとにコピーのコピーのようにエラーが増幅されると主張しています。
しかし、Anthropicなどは、厳格なフィルタリングを行えば、これが実際には解決策であると主張しています。「天才の国」は単に質問に答えるだけでなく、次期反復のトレーニンググラウンドとなる新しい知識を生成します。これにより、データボトルネックを効果的に回避し、「スケーリング則」が人間のデータを使い果たした後でも機能し続けることが可能になります。
現実検討：スケーリング則とAIコーディングの出会い
ソフトウェアエンジニアリングにおいて、現実は試される。これは、抽象的な約束がAGI日々のルーチンワークと衝突する。
Amodei氏は、AIが近い将来、コーディングタスクの大部分を処理すると予測しています。Claudeのようなツールを使用している開発者の間での議論を見ると、畏敬の念とフラストレーションの間で意見が二分されています。
生産性向上
一方では、シニアエンジニアがAIコーディングツールをフォース・マルチプライヤー（力の増幅器）と見なしています。彼らは生産性が2倍から5倍の範囲で向上したと報告しています。これらのユーザーにとって、AIは定型的なコード、単体テスト、初期の足場作りを処理します。
人間の役割は、構文を書くことから「アーキテクチャレビュー」とプロンプトエンジニアリングへとシフトします。この見方では、スケーリング則が機能しています。モデルは、複雑な指示に従い、コンテキストを管理する能力が向上しています。
「幻覚」の壁
一方で、懐疑論も根強くあります。多くの開発者は、AIはスクリプトや独立した関数には優れているものの、大規模なレガシーコードベースに導入すると破綻すると報告しています。
「天才の国」は、プロジェクト全体のコンテキスト管理に苦労しているようです。存在しない変数、幻覚のように生成されたライブラリ、一見正しく見えても実行時に失敗するロジックなど、微妙なバグを引き起こします。
これらのユーザーにとって、AGIが差し迫っているという考えは現実離れしていると感じられます。AIが生成したコードのデバッグは、ゼロから書くよりも時間がかかることが多いと彼らは主張します。これは、スケーリング則がテキスト生成を改善する一方で、高リスクなエンジニアリングに必要な信頼性と論理的一貫性という根本的な問題をまだ解決していないことを示唆しています。
AGI経済：限界収益とハイプサイクル
Dario AmodeiはCEOです。彼の仕事は、テストに必要なクラスターを構築するために必要な数十億ドルを正当化するビジョンを販売することです。スケーリング則。
コミュニティ分析における繰り返しのテーマは、限界収益への恐れです。GPT-3からGPT-4への移行には約1億ドルかかりました。次の飛躍には10億ドルかかるかもしれません。その次の飛躍には100億ドル、あるいは1000億ドルかかるかもしれません。
経済的な問題は、得られる知性がコストの指数関数的な増加に見合うかどうかです。1000億ドルのモデルが100億ドルのモデルよりも10%しか良くない場合、スケーリング則の経済的実行可能性は、技術的な実行可能性よりもずっと前に崩壊します。
懐疑論者は、ベンチャーキャピタルを継続的に流入させるために、業界のリーダーたちは「AGIは近い」という物語を維持するインセンティブがあると主張しています。もし曲線が平坦化すれば、これらの企業の評価額は暴落します。
しかし、アモデイはサム・アルトマンのような同業者とは異なる、ある程度の信頼を得ているようです。彼のトーンは、「冷静」または「エンジニア的」と評されることが多く、彼の予測に重みを与えています。彼はコストについて語るとき、それを、現在の経済では解決できない問題を解決するための必要な入場料として位置づけています。
コードを超えて：AGIと人間の寿命の延長
なぜコンピュータープログラムに1000億ドルも費やすのか？アモデイの答えは、ソフトウェアから生物学へと移行します。
最も説得力のある長期的な議論は、AGIはカスタマーサービスの自動化についてではありません。それは、人間の寿命の延長生物学は複雑で、混沌としており、データが豊富です。これは、大規模なパターン認識で繁栄するシステムに最適です。
AGIシステムは、人間の研究者が追いつけない速度で、生物学的相互作用、タンパク質フォールディング、および薬剤の効果をシミュレートできるというビジョンです。これは、数世紀にわたる医学研究を数年で効果的に圧縮します。
これは、がん、老化、および慢性疾患に適用された「天才の国」です。もしスケーリング則が当てはまるなら、価値提案は「より安価なコーディング」から「死の克服」へとシフトします。これはROIの計算を大幅にシフトさせます。テキスト生成における限界利益が減少したとしても、生物学的モデリングの1%の改善は、経済的価値と人間の福祉において数兆ドルの価値がある可能性があります。
展望：推論、思考時間、そして未来
私たちは、モデルを大きくするトレーニングのスケーリングが、推論のスケーリングによって補完されるフェーズに入っています。これが「思考時間」のアイデアです。
新しいシステムは、単に答えを口にするのではなく、話す前に「考え」、複数の推論パスを探求し、自己修正するように設計されています。これは、生の速度よりも信頼性を求めるコミュニティの願望に沿うものです。
もしスケーリング則がこの推論フェーズに適用されるなら、単に多くの事実を知っているだけでなく、それらをより深く熟考するモデルが見られるかもしれません。
緊張は残ります。一方では、経済と生物学のルールを書き換えることを約束するAGIの壮大な軌跡があります。他方では、幻覚を見たコードを修正し、自分の仕事が5年後にあるかどうかを疑問視しているエンジニアたちの厳しい現実があります。
Dario Amodei の賭けは明確です。スケールこそがすべてです。世界の残りの人々は、データセンターの「天才たち」が実際に明かりをつけ続けられるかどうかを見守っています。
FAQ
1. スケーリング則に関するDario Amodei氏の主な見解は何ですか？
Amodei氏は、コンピューティングパワーを増やすだけで、データ、およびモデルパラメータは、本質的に汎用人工知能（AGI）につながるでしょう。彼は、私たちはまだ収穫逓減点に達しておらず、現在の進歩を推進しているのと同じ数式が、推論や生物学的研究のような高度な能力を引き続き解き明かすだろうと信じています。
2. 「データウォール」の概念は、AGIの進歩をどのように脅かしますか？
「データウォール」とは、AIのトレーニングに利用可能な、インターネット上の質の高い人間生成テキストの差し迫った枯渇を指します。モデルが学習する新しい人間データがなくなると、開発者が将来のモデル世代をトレーニングするために合成データ（AI自体が生成したコンテンツ）をうまく利用しない限り、進歩は停滞する可能性があります。
3. AIコーディングと「天才の国」という主張をめぐる論争は何ですか？
Amodeiが複雑なタスクを自動化する「天才の国」を構想する一方で, 多くの開発者は、現在のモデルが依然として大規模で複雑なコードベースに苦労していると感じています。論争の的となっているのは、完全自動化されたソフトウェアエンジニアリングの誇大広告と、AIが頻繁に「幻覚」を見たり、人間の介入を必要とする微妙なバグを導入したりする現実との間のギャップです。
4. なぜ人間の寿命の延長はAGIスケーリングの主要な目標と見なされるのですか？
Amodei のような支持者は AGIのトレーニングにかかる高額なコストは、複雑な生物学的システムを解読するその潜在能力によって正当化されると信じています。. 大量のコンピューティング能力を生物学に応用することで、AGIは創薬や病気の治療を加速させ、人間の研究者だけでは達成できないほど効果的に人間の寿命を延ばす可能性があります。
5. スケーリング則は、より良いAIへの唯一の道でしょうか、それとも他の方法もありますか？
Amodei氏はトレーニングのスケーリング（モデルを大きくすること）に焦点を当てていますが、業界では「推論のスケーリング」も探求しています。これは、モデルが回答する前にクエリを処理するための「思考時間」を増やすことで、トレーニングデータセットのサイズを必ずしも増やさずに、推論と精度を向上させるものです。
