Nvidia CEO Jensen Huang: AIスケーリングと原子力の未来の再定義

https://www.youtube.com/watch?v=3hptKYix4X8

最近のJoe Rogan Experience (JRE)でのNvidiaCEO Jensen Huang氏のインタビューは、原子力エネルギーに関するバイラルクリップを生成しただけではありませんでした。それは、今後10年間のコンピューティングの技術的および経済的なロードマップを示しました。一般大衆がエネルギーに関する短い発言に注目する一方で、業界にとってより深いシグナルとなったのは、Huang氏によるAIスケーリングの明確な再定義でした。.

私たちは、モデルをより賢くするために単一の方法に依存することはなくなりました。より大きなモデルにより多くのテキストを入力するだけの時代は終わりつつあります。その代わりに、Nvidia は、推論時のコンピューティング、合成データループ、そして全く新しいエネルギーインフラによって定義される未来のために最適化を進めています。

事前学習を超えて：NvidiaはAIスケーリングをどのように推進しているか

ここ数年、進歩の主な推進力は事前学習のスケーリングでした。より賢いモデルが欲しいなら、H100をさらに購入し、インターネットからさらに多くのデータを収集し、より大きなパラメータセットをトレーニングしていました。これがGPT-4の処方箋でした。

Huang氏は、この単一トラックのアプローチは時代遅れだと示唆しています。彼は現在並行して実行されている3つの異なるスケーリング則を概説しました。

スケーリングの進化

最初の2つは馴染みのあるものです。事前学習のスケーリングは、大量のデータ摂取を伴います。ポストトレーニングのスケーリング—ChatGPT時代—は、人間のフィードバックからの強化学習（RLHF）を導入し、モデルが人間の意図に沿うように教えました。

3番目の法則はゲームチェンジャーです：推論時間スケーリング。

これは、OpenAIのo1（Strawberry）のようなモデルが探求している最前線です。モデルが予測した最初のトークンをすぐに吐き出すのではなく、システムは一時停止します。「可能性のツリー」を生成し、さまざまな結果をシミュレートし、自身のロジックを批判し、回答する前に最良のパスを選択します。

Nvidiaは、この「思考時間」をサポートするためにハードウェアの再設計を行っています。計算負荷は、モデルを一度トレーニングするために必要な膨大なエネルギーのバーストから、モデルが複雑な質問に答えるたびに必要とされる持続的で集中的なコンピューティングへと移行します。

テスト時間コンピューティングによるAIスケーリング

推論時間スケーリング AI の経済性を変えます。これは、知能が単に訓練済みモデルの静的な特性ではないことを意味します。それは、モデルが問題を解決する間にどれだけの時間と計算能力を消費させるか、という関数なのです。

For Nvidia、これはトレーニングよりも明らかに儲かる。トレーニングはモデルバージョンごとに1回しか行われない。推論は1日に数十億回行われる。「思考モデル」が業界で採用されれば、効率的で高性能な推論チップの需要は、トレーニングクラスターの需要を上回るだろう。Huang confirmed that Nvidia この分岐や多段階のロジックを高速に処理するために、チップが特別に最適化されています。

Nvidiaを支えるもの：原子力だけが前進する道である理由

知能のスケーリングには電力が必要だ。JREインタビューで最も話題になったのは、黄氏の「小型モジュール炉（SMR）.

現在のデータセンターはギガワット規模に達しています。標準的な公共電力網にギガワット級の負荷をかけることは、多くの地域で物流的に不可能であり、ローカルインフラを破壊する可能性のある不安定さを生み出します。黄氏は、将来の「AIファクトリー」にとって唯一実行可能な解決策は、オフグリッド化するか、専用の発電を使用することだと主張しています。

SMRによるAIスケーリングエネルギー危機を解決する

黄氏は、6年から7年以内に、独自のSMRsこれらの原子炉は、数百メガワットを生成でき、風力や太陽光では24時間365日のコンピューティングクラスターに保証できない、一貫した無炭素のベースロード電力を提供します。

これは単なる総消費電力の問題ではありません。黄氏は、気候変動に関する議論でしばしば見落とされる重要な効率指標を強調しました。それは、トークンあたりのエネルギーコストです。

需要は飽くなきものであるため総エネルギー使用量は増加していますが、1つの知能トークンを生成するために必要なエネルギーは、過去10年間で10万倍も急落しました。これはエネルギーに適用されたムーアの法則です。もし AIのスケーリング が今日止まったとしても、現在のモデルを実行するのに電力の観点からは実質的に無料になります。エネルギー危機は、業界が現在の知能レベルに満足することを拒否し、モデルができることのフロンティアを常に押し広げているためにのみ存在します。

合成データとNvidiaの未来

生成AIに対する一般的な批判は、最終的に人間のトレーニングデータが枯渇するというものです。批評家は「モデル崩壊」を指摘しています。これは、AIが生成したコンテンツでトレーニングされたAIがナンセンスに劣化するという考え方です。

黄氏はこの前提を否定しています。彼は2〜3年以内に、世界の知識の90％がAIによって生成されると予測しています。しかし、彼は「偽のデータ」と彼が「蒸留された知性」と呼ぶものを区別しています。

インターネットスクレイピングから蒸留によるAIスケーリングまで

データの未来は、RedditやWikipediaをスクレイピングすることではなく、シミュレーションです。Huangは、AIが既存の科学的原理を読み取り、結果をシミュレートし（新しいデータを作成し）、それらのシミュレーションから学習するというループを説明しています。

物理エンジンを考えてみてください。AIは物理法則に基づいて10億回の物質相互作用をシミュレートできます。それらのシミュレーションの結果は「幻覚」ではなく、数学的に有効なデータポイントであり、以前は存在しなかったものです。この合成データでトレーニングすることにより、モデルは人間の言語のパターンだけでなく、宇宙の法則から効果的に知性を「蒸留」します。

これにより、Nvidiaとそのパートナーは、有限な人間のテキストのボトルネックを回避できます。AIスケーリングは、モデルが検証済みのグラウンドトゥルースに基づいて独自のカリキュラムを生成し始めるため、継続されます。

Nvidiaとロボット経済の台頭

会話は自然と物理的なAIへと移行した。黄氏は、労働力 displacement の物語に反論し、私たちは「ロボット経済」に入りつつあると示唆した。

その議論は、ロボットが既存の階層における人間の役割を単に置き換えるだけでなく、全く新しい産業を創出するというものだ。彼は、自律型エージェントのカスタマイズである「ロボットアパレル」を半ば真面目な例として挙げたが、より広範な点は依然として有効である。ロボット工学のサプライチェーンは広大になるだろう。

AIのスケールアップによる普遍的な高所得化

イーロン・マスクがしばしば議論する概念に言及し、黄氏は希少性から豊かさへの移行に触れた。もしAIスケーリングとロボット工学が労働コストをゼロに近づければ、理論的には商品やサービスのコストは崩壊するはずだ。

このシナリオでは、会話はユニバーサル・ベーシック・インカム（生存手当）からユニバーサル・ハイ・インカム（高品質リソースへのアクセス）へと移行します。生産性が大規模な余剰を生み出す場合、経済的な問題は生産ではなく分配になります。 remio Nvidia, これは、ロボティクスシミュレーション（Isaac Sim）およびエッジコンピューティング（Jetson）への同社の進出を裏付けるものです。彼らは物理的な労働力の神経系を構築しています。

Nvidiaエンジンの心理学

創業者や投資家にとって、インタビューで最も示唆に富んだ部分は技術的なものではなく、心理的なものでした。〜にもかかわらずNvidia時価総額3兆ドルのNvidiaについて、黄氏は毎朝「苦痛」の遺伝子を持って目覚めると認め、会社が倒産まであと30日だと感じていると述べた。

このパラノイアはバグではなく、機能である。黄氏は～を～に帰している。Nvidia's resilience to this perpetual fear of failure rather than blind ambition. 彼は、90年代のセガ時代に経験した経営破綻寸前の出来事が、会社を常に鋭敏に保つ基盤となったトラウマであると参照しました。

In an industry prone to hype, this mindset explains why Nvidia rarely rests on its lead. They treat every platform shift—from PC graphics to crypto mining to AI scaling—as an existential threat that must be dominated.

The Illusion of Walls

Huang氏の説明の全体的なテーマは、AIの進歩に対するエネルギー制限、データ不足、計算コストといった認識されている障壁は幻想であるということです。Nvidia は、これらを明確な解決策を持つエンジニアリングの問題と見なしています。

AIスケーリング は壁にぶつかっているのではなく、レーンを変更しています。私たちは、事前学習のブルートフォース時代から、原子力で強化され、合成データで供給される推論時代のニュアンスへと移行しています。「思考」チップはすでに設計されています。残された唯一の変数は、物理世界がデジタル世界にどれだけ速く追いつけるかということです。

FAQ

推論時間スケーリングとは何ですか、そしてなぜ重要ですか？

推論時間スケーリング は、計算リソースの使用を増やすことを指します。トレーニング中 だけでなく、回答の生成中にも行われます。これにより、モデルは応答する前に「思考」し、複数のパスをシミュレートし、エラーチェックを行うことができ、より大きなベースモデルを必要とせずに、複雑な推論タスクで大幅に高い精度が得られます。

Nvidiaは将来のAI工場のために公共電力網に依存するのか？

大規模な施設では、おそらくそうではないでしょう。ジェンスン・フアンは、今後10年間で主要なデータセンターはギガワットの電力を必要とし、公共の公益事業インフラをクラッシュさせないために、小型モジュール炉（SMR）のようなオフグリッドソリューションが必要になると予測しています。

合成データを使用するとAIモデルの崩壊を引き起こしますか？

方法によります。低品質のAI出力を盲目的にトレーニングすると崩壊します。しかし、Nvidiaは「蒸留された知性」を提唱しており、AIが強化学習や物理シミュレーション（検証可能なルールに基づいた）を通じてデータを生成し、それが実際にモデルの品質を向上させるのです。

ロボット経済は自動化とどのように異なりますか？

Automation typically refers to replacing specific tasks. The robot economy implies a systemic shift where physical AI agents perform broad labor categories, driving the cost of production near zero. Huang suggests this leads to resource abundance (Universal High Income) rather than just job loss.

Why does Jensen Huang believe Nvidia is always "30 days from going out of business"?

This mindset stems from Nvidia's early struggles and near-bankruptcy in the 1990s. Huang believes that maintaining a "paranoia of failure" prevents complacency and ensures the company adapts faster than competitors, regardless of its current market cap.