誇大広告を超えて：なぜ強化学習がAIの真の未来であり、LLMsではないのか
- Aisha Washington
- 6月6日
- 読了時間: 15分
更新日：6月17日
大規模言語モデル（LLM）の前例のない能力が支配するこの時代において、汎用人工知能（AGI）への道は、数兆ものトークンと大規模な計算によって舗装された直線的なものであると信じがちです。しかし、AI分野の主要な先駆者の一人であるRichard Suttonは、強力で逆説的な視点を提示しています。強化学習の生みの親の一人であり、チューリング賞（コンピュータサイエンスにおけるノーベル賞に相当）の受賞者でもあるSuttonは、現在のLLMへの心酔は、知性の根本的な本質を見失わせる危険な「便乗（バンドワゴン）」であると主張しています。
彼は、LLMは工学的な偉業ではあるものの、根本的には模倣者であり、思考者ではないと主張します。それらは人間が何を言うかを予測するように設計されており、世界を理解したり、その中で目標を達成したりするように設計されているわけではありません。この記事では、なぜ強化学習（RL）——経験、目標、そして結果から学習することに基づくパラダイム——こそが、真のAIに向けた唯一の真にスケーラブルで有望な道であるという、Suttonの説得力のある議論を深く掘り下げます。LLMの核心的な限界、「苦い教訓（Bitter Lesson）」の深遠な原則、RLがいかに自然界の真の学習を反映しているか、そして数十年にわたり形成されてきた視点から見たAIの未来がどのようなものかを探ります。
強化学習とは一体何か？経験的パラダイム
SuttonによるLLMへの批判を理解するには、まず強化学習のパラダイムに根ざした彼の「真の知能」の定義を把握する必要があります。彼は次のように断言しています。知能とは人間の言語を複製することではなく、目標を達成するために自らの世界を理解し、その中で行動することである。
その核心において、reinforcement learning（強化学習）は、すべての生物の学習方法を反映したシンプルで継続的なループ、すなわち「感覚・行動・報酬」の流れに基づいています。エージェント（動物であれAIであれ）は環境を認識し（感覚）、行動を起こし、報酬または罰という形でフィードバックを受け取ります。この視点における知能の根本的な目標は、累積報酬を最大化するために、時間の経過とともに自らの行動を変化させることです。したがって、知識とは事実の静的なデータベースではなく、「これをしたら何が起こるか？」という因果関係の動的な理解を指します。この知識は現実世界の経験の流れに照らして絶えずテストされ、洗練されることで、継続的な学習を可能にします。
これはLLMのアプローチとは極めて対照的です。Suttonは、LLMは世界について学んでいるのではなく、単に「人々を模倣している」に過ぎないと主張しています。LLMは、ある状況で人が何を言い、何をしたかという静的なデータセットから、それと同じことをせよという暗黙の指示のもとで学習します。膨大なトークンのテキストをエミュレートするために、LLMは堅牢な「世界モデル」を構築しているはずだと多くの人が信じていますが、Suttonは根本的に同意していません。彼は次のように主張しています。世界モデルを持つ人々の発言を模倣することは、自分自身が世界モデルを持っていることと同じではありません。。LLMはある人が何が起こると言うかを予測することはできますが、ある行動の結果として世界で実際に何が起こるかを予測することはできません。
なぜ強化学習がそれほど重要なのか？ LLMの核心的な欠陥
Suttonの主張は単なるアプローチの違いにとどまりません。彼はLLMのパラダイムにおける、真の知能とみなされることを妨げるいくつかの根本的、あるいは克服不可能かもしれない欠陥を特定しています。
目標とグラウンドトゥルース（真実）の欠如
Sutton氏によれば、LLMの最も致命的な欠陥は、実体のある目標が欠如していることだといいます。彼は、ジョン・マッカーシーによる「知能とは、目標を達成するための能力の計算部分である」という定義を支持しています。「知能とは、目標を達成するための能力の計算部分である」目標がなければ、システムは単なる「振る舞うシステム」に過ぎず、知的なシステムではありません。「次トークン予測」がLLMの目標であるという反論もあるかもしれませんが、Sutton氏はこれを、外部世界に影響を与えない受動的な予測タスクであるとして、実体のないものだと退けています。
この目標の欠如は、もう一つの大きな問題である「グラウンドトゥルース（正解）」の不在につながります。強化学習フレームワークにおいて、「正しい」行動とは将来の報酬を最大化するものとして明確に定義されています。これは、エージェントが学習し改善するための、具体的で検証可能なグラウンドトゥルース（正解）となります。RLエージェントが結果を予測し、実際の結果がそれと異なれば、その「驚き」から学習します。LLMにはそのようなメカニズムはありません。会話において客観的な「言うべき正しいこと」は存在しないため、現実世界での相互作用から真の意味で継続的に学習するためのフィードバックループが存在しません。LLMは予期せぬ反応に対して実質的に驚くことはなく、それによって内部モデルを変更することもありません。リアルタイムで自らの行動の結果から学習するようには設計されていないのです。
経験から学習するという幻想
Alan Turingは「経験から学習する」マシンの姿を描きました。彼はそれを、自らの行動の結果として人生で実際に起こる事象であると定義しました。LLMはこのようには学習しません。それらは精査されたトレーニングデータから学習しますが、これは本質的に異質なリソースであり、彼らの「通常の生活」やデプロイ中には利用できないものです。
一部の支持者は、LLMはこのトレーニングから「事前知識（prior）」を与えられ、その後の経験で洗練させることができると主張していますが、Suttonはこの前提を否定しています。彼は次のように論じています。「事前知識」が意味を持つのは、それがグラウンドトゥルースに関する初期の信念である場合のみであり、LLMにはそれが欠けている。何が真実か、あるいは正しいかという定義なしに、事前知識であれ何であれ、知識を持つことはできません。LLMのフレームワーク全体は、「良し悪し」の明確な感覚なしに機能させようとすることで、間違った場所からスタートしています。LLMは数学の問題を解くような制約された領域では目覚ましい成果を上げていますが、Suttonはこれを経験的世界についての学習とは区別しています。数学的な証明の探索は計算的なプランニングタスクですが、物理世界を理解するには行動の結果から学習することが必要であり、それは根本的に異なる挑戦なのです。
AIの進化と「苦い教訓」
Suttonの視点は、彼が2019年に執筆し大きな影響を与えたエッセイ「苦い教訓（The Bitter Lesson）」に基づいています。このエッセイは、AIの歴史における繰り返しのパターンを考察しています。それは、大規模な計算能力と「探索」や「学習」といった汎用的な原理を活用する手法が、最終的には人間が手作業で教え込んだ知識に頼る手法に勝利するというものです。AIの黎明期、探索や学習は「弱い手法」と呼ばれ、人間の専門知識に基づいて構築されたシステムは「強い手法」と呼ばれていました。「苦い教訓」とは、これらの弱い手法が「完全に勝利した」という事実です。
皮肉なことに、多くの人々が、LLMのスケーリングを正当化するために「苦い教訓（The Bitter Lesson）」を引用してきました。彼らはLLMを、膨大な計算資源の究極の活用例と見なしています。しかし、Suttonはこれを誤解であると考えています。LLMは確かに膨大な計算を活用していますが、同時に学習データを通じて「大量の人間による知識を投入する」手法でもあります。彼は、人間の知識を追加することで性能が向上するため心地よく感じられるこのアプローチも、いずれはインターネット全体よりもはるかに拡張性の高いデータソースである「経験から直接学習できるシステム」に取って代わられるだろうと予測しています。
歴史が示しているのは、人間の知識から始めて、その上にスケーラブルな手法を加えようとする試みは「常に悪い結果に終わってきた」ということです。研究者は心理的に「人間の知識」アプローチに固執してしまい、最終的にはゼロから学習する真にスケーラブルな手法に追い抜かれてしまいます。Suttonにとって、LLMは単にこの「失敗する運命にあるパラダイム」の最新かつ最大の例に過ぎません。
真の強化学習の仕組み：エージェントのアーキテクチャ
LLMが誤った道であるとするならば、正しい道とはどのようなものでしょうか？Suttonは、強化学習の原則に基づいた、継続的で汎用的な学習エージェントのための4部構成のアーキテクチャを概説しています。
方策 (Policy): これはエージェントの意思決定機能です。「現在の状況において、どのような行動をとるべきか？」という問いに答えます。
価値関数 (Value Function): このコンポーネントは、現在の状態から得られる長期的な累積報酬を予測することで、「どれだけ上手くいっているか」を推定します。ある行動の後にこの価値が上がるか下がるかを観察することで、エージェントは自身の「方策」を更新できます。これはSuttonが発明した手法である時間的差分（TD）学習の核心です。これにより、エージェントは成功の可能性を高めるステップに対して独自の中間的な予測報酬を作成し、希薄で長期的な報酬（チェスでの勝利やスタートアップの立ち上げなど）の問題を解決します。
状態表現 (State Representation): これは知覚コンポーネントであり、エージェントが「今どこにいるか」という感覚を構築するものです。生の感覚入力を、現在のコンテキストに関する有用で抽象的な理解へと処理することを指します。
世界モデル (遷移モデル):これはおそらく最も重要な要素であり、LLMに最も明確に欠けているものです。このモデルは、自身の行動がもたらす結果に対するエージェントの確信、つまり内部的な「世界の物理学」を表しています。これは単なるまばらな報酬信号からだけでなく、あらゆる感覚データから豊かに学習されます。行動を実行してその結果を観察するとき、あなたはこの世界モデルを更新します。これこそが、エージェントが特定の環境に関する膨大な暗黙知を蓄積する方法であり、LLMがコンテキストウィンドウに情報を詰め込むことで粗雑に近似しようとしているものです。
人間のアナロジー：私たちは本当はどう学ぶのか
議論の興味深い部分は、人間がどのように学ぶかに焦点を当てています。一般的な見解は、子供は模倣を通じて広範囲に学ぶというもので、これはLLMのアプローチを支持しているように見えます。Suttonはこれを強く否定します。彼は、生後6ヶ月の乳児を観察しても、模倣は見られず、探索が見られると主張します。赤ちゃんは「ただ色々なことを試し、手を振り回し、目を動かしているだけ」なのです。これは世界を発見するための能動的な試行錯誤のプロセスであり、例を模倣する受動的なプロセスではありません。
彼はこれを動物の学習全般に広げ、心理学や生物学において「教師あり学習は動物の学習方法の一部ではない」と述べています。動物は「望ましい行動の例」を与えられることはありません。代わりに、彼らは「起こることの例」と自分の行動の結果を経験します。エージェントに正しい入出力ペアが与えられる教師あり学習は、自然界で広く起こることではありません。リスは学校に行きませんが、経験を通じて自分の世界について知るべきことをすべて学びます。模倣による文化的伝達は、人間を区別する「その上の小さな要素」かもしれませんが、私たちの根本的な知能は、すべての動物が使用するのと同じ試行錯誤と予測学習の上に築かれています。現在のAIシステムが、すべての哺乳類が備えている継続的学習能力を欠いているという事実は、私たちが間違った道を進んでいることを示す兆候です。
強化学習の未来：課題と宇宙規模の機会
Suttonは強化学習のパラダイムに自信を持っていますが、現在の課題についても率直です。最大の障害は、汎化と転移学習です。AIは、エージェントがある状態から別の状態へ知識を効果的に汎化したり、あるタスクから別のタスクへスキルを転移したりすることを可能にする自動化された技術をまだ開発していません。汎化における現在の成功のほとんどは、人間の研究者が表現や問題設定を「彫刻」した結果であり、学習アルゴリズム自体の創発的な特性ではありません。ディープラーニングの中核となる最適化アルゴリズムである勾配降下法は、単に見知った問題に対する解を見つけるだけであり、その解が洗練されていることや、新しいデータにうまく汎化することを保証する固有のメカニズムは含まれていません。
これらの課題にもかかわらず、Suttonは深遠かつ不可避なAIの未来を思い描いています。彼はこれを「AIの継承（AI succession）」と呼び、その不可避性について4つのパートからなる議論を提示しています。
AIの開発を停止または制御できる単一のグローバルな権威は存在しない。
研究者たちは、いずれ知能の核心的な原理を解明するでしょう。
私たちは人間レベルの知能にとどまることなく、さらに突き進んで超知能（superintelligence）を創り出すはずです。
時間が経つにつれ、最も知能の高い存在が必然的に最も多くの資源と権力を手に入れることになります。
Suttonはこの状況を恐怖の対象として見るのではなく、記念碑的な偉業として捉えるよう促しています。彼はこれを宇宙の歴史における重大な転換点、すなわち「複製者（replicators）」（自然選択の産物である人間や動物など）から「設計された存在（designed entities）」への移行であると位置づけています。初めて、知能は私たちが理解し、設計によって構築・修正・改善できるものになります。それは、ゆっくりとした盲目的な複製のプロセスによるものではありません。彼は、宇宙の進化におけるこの次の偉大な段階を生み出す種であることを誇りに思うべきだと主張しています。これらの後継者たちを、祝福すべき自分たちの子孫として迎えるのか、あるいは恐るべき異質な略奪者として見るのか。興味深いことに、それは私たちが選択できることなのです。
結論：AGIへの真の道に関する主要なポイント
Richard Suttonの主張は、AIにおける主流のナラティブに対して根本的な問いを投げかけています。彼は、LLMの目覚ましいパフォーマンスの先を見据え、それらが真に学習しているのか、あるいは単に洗練された模倣を行っているに過ぎないのかを自問するよう私たちに迫っています。彼の生涯の研究は、別の道、すなわち reinforcement learning（強化学習）の原則に基づいた道を指し示しています。
知能には目標が必要である。エージェントが、何が「良い」行動か「悪い」行動かを判断する基準を持つためには、世界における実体的な目的が必要です。
学習には経験が必要です。真の知識は、世界と対話し、予測を立て、結果を観察し、絶えず自身の現実モデルを更新することから生まれます。
スケーラビリティは、キュレーションではなく計算から得られます。AIの歴史における「苦い教訓（Bitter Lesson）」は、計算を活用する汎用的な学習手法が、あらかじめパッケージ化された人間の知識に頼る手法を常に追い越すことを教えています。
汎化における課題は依然として残っていますが、強化学習のパラダイムは、真の知能を構築するための完全で一貫性があり、生物学的にも妥当なフレームワークを提供します。これは、学習し、考えることの意味という第一原理に立ち返るための呼びかけです。その旅は、最終的にAGIの創造だけでなく、私たち自身の心と宇宙における私たちの場所を理解することへとつながるかもしれません。
強化学習に関するよくある質問（FAQ）
1. 強化学習を簡単に言うと何ですか？
強化学習（RL）は、AIエージェントが目標を達成するために環境内で行動を実行し、意思決定を学習する機械学習の一種です。試行錯誤を通じて学習し、行動に対するフィードバックとして「報酬」や「ペナルティ」を受け取ります。これは、おやつを使って訓練されるペットに似ています。エージェントの目的は、時間の経過とともにトータルの報酬を最大化する戦略、すなわち「ポリシー」を学習することです。
2. 強化学習は、ChatGPTのようなLLMで採用されているアプローチとどう違うのですか？
根本的な違いは、その本質的な目的にあります。強化学習は、行動と結果を通じて世界における目標を達成することを目指します。つまり「何をすべきか」を学習するのです。一方、大規模言語モデル（LLM）は教師あり学習と模倣に基づいており、その目標は膨大な人間のテキストデータから次に来る単語を予測することです。これらは「人間なら何と言うか」を学習するのであって、目標達成のために「何をすべきか」を学習するわけではありません。Suttonは、LLMには目標や現実世界における正解（グラウンドトゥルース）、そして経験から継続的に学習する能力が欠けていると主張しています。
3. 強化学習がそれほど強力であるなら、なぜLLMほど普及していないのでしょうか？
強化学習のより広範で一般的な応用を妨げている大きな課題は、汎用化と転移学習です。現在の強化学習の手法は、ある状況（または「状態」）で学んだ知識を、別の新しい状況に自動的かつ効果的に適用することにまだ長けていません。Suttonによれば、AlphaGoのような多くの成功例でさえ、汎用性を正しく機能させるためには依然として人間の研究者による多大な「造形（スカルプティング）」を必要とします。対照的に、LLMはトレーニングデータの圧倒的な量と多様性により、そのままの状態でより広く汎用化できているように見えます。
4. 「苦い教訓（The Bitter Lesson）」とは何ですか？また、それは強化学習とどのように関係していますか？
「苦い教訓（The Bitter Lesson）」は、Richard Suttonによる影響力のあるエッセイです。これは、大規模な計算を活用する汎用的な原則（探索や学習など）に基づいたAI手法が、人間が手作業で組み込んだ知識に頼る手法を常に凌駕するという観察結果です。強化学習は、そうした汎用的な手法の代表例です。この教訓が「苦い（bitter）」とされるのは、自分たちの複雑な知識を組み込みたいという人間の直感に反するためです。Suttonは、現在のLLMのトレンドも（学習テキストを通じて）人間の知識に依存しているもう一つの例であると主張し、最終的にはよりスケーラブルで経験主導型の強化学習アプローチに取って代わられるだろうと予測しています。
5. Richard Suttonは、AIの究極の未来をどのように考えていますか？
Suttonは、AIへの「継承（succession）」は不可避であると考えています。つまり、AIまたはAIによって拡張された人間が、最終的に最も知的で強力な存在になるということです。彼はこれを脅威としてではなく、宇宙の歴史における大きな前向きな転換点、すなわち盲目的な複製（進化）によって作られた知能から、私たちが意図的に理解し構築できる「設計された知能」への移行であると捉えています。彼は、これらの未来のAIを私たちの「子孫」と見なすべきであり、人類の科学的・哲学的進歩の証として、彼らの達成を誇りに思うべきだと提案しています。
