Miles Blackwell RL、Native MXFP8とNVFP4のためにBF16一律運用を見直す
Miles Blackwellのサポートには、ネイティブな低精度強化学習レシピが新たに2種類加わった。8基のNVIDIA B200 GPUで6構成を検証したもので、一方はロールアウトから学習までMXFP8で実行し、もう一方はMixture-of-Expertsの重みにトークン単位のNVFP4を適用しつつ、それ以外では高精度を維持する。
この結果は、強化学習、すなわちRLに関するよくある前提に疑問を投げかける。低精度化は、明らかに劣る学習曲線を受け入れることを必ずしも意味しない。MilesのQwen3-30B-A3Bアブレーションでは、5つの低精度構成すべてで、生の報酬がBF16ベースラインにほぼ沿って推移した。
ただし、この知見には重要な留保がある。この実験は制御されたレシピのアブレーションであり、完全にチューニングされた学習ベンチマークでも、汎用的な精度保証でもない。Milesは高感度な層でBF16を維持し、追加のBF16重みコピーも保持したほか、NVFP4では勾配スパイクが時折観測された。
したがって、本質的な競争は単純な4ビット対16ビットではない。一律のBF16パイプラインに対する、一貫性があり選択的な精度契約である。Milesは、学習、サンプリング、変換、ライブ重み更新が同じテンソルを同じ方法で量子化するとき、Blackwellネイティブ形式が有用になると主張する。
Miles BlackwellのサポートがRLループ全体をカバー
MilesはMXFP8とNVFP4を単独カーネルの枠から広げ、強化学習の完全な経路に接続した。
Milesチームは2026年7月29日にこれらのレシピを公開した。低精度の結果では、チェックポイント変換、Megatron学習、SGLangロールアウト、ライブ重みエクスポートを扱っている。実装はTransformerEngine、FlashInfer、cuDNN frontend、および関連プロジェクトにまたがるコンポーネントにも依存する。
最初のレシピは、主要な計算経路全体でMXFP8を使用する。MXFP8は8ビットのマイクロスケーリング形式で、32個のE4M3値からなる各ブロックがE8M0スケールを共有する。ロールアウト、順伝播、重み勾配の行列積、データ勾配の行列積はいずれもこれを使用できる。
この広範なカバレッジが重要なのは、RLシステムに密接に連動する2つのポリシーが存在するためだ。学習ポリシーが更新を計算し、ロールアウトポリシーが報酬計算に使う応答を生成する。両者で重みの量子化方法が異なれば、もはや完全に同じモデルを表してはいない。
Milesは以前、より大きなスケーリングブロックに基づくDeepSeek-V3スタイルのFP8設計をサポートしていた。この方式は、特にHopperハードウェアでは引き続き有効だ。ただし、Blackwellのネイティブなマイクロスケーリングハードウェアを使うのではなく、Tensor Core経路の周辺でソフトウェアによりスケーリングを適用する。
2つ目のレシピは、より選択的なアプローチを取る。Mixture-of-Experts、すなわちMoE層内でルーティングされるエキスパートの重みと活性化にNVFP4を適用する。NVFP4はE2M1値を4ビットで格納し、16値ブロックごとにE4M3スケールを使用する。
さらに大きな範囲をカバーする2つ目のFP32スケールもある。Milesはこのスケールをテンソルやバッチ全体で共有するのではなく、トークンごとに別々に計算する。この詳細は、あるトークンの表現がバッチ構成によって変化することを防ぐ狙いがある。
NVFP4モデルの残りの部分は、設定ルールで別の形式が選ばれない限りBF16のまま維持される。この設計は、MoEモデルが重みデータの多くを保持する箇所に4ビット計算を集中させる。また、attentionなど高感度なコンポーネントを利用可能な中で最も狭い表現に無理に押し込むことも避ける。
NVIDIAはNVFP4スケーリングを、Blackwell Tensor Cores向けに設計された2段階システムとして説明している。16値ブロックは、32値グループを使う形式よりも細かな局所適応を実現する。テンソルレベルのFP32スケールは、利用可能な範囲を広げる。
Milesは大きなスケールの適用範囲を、テンソル単位からトークン単位へ変更した。この選択により、そのRLレシピは単純な推論デプロイメントと異なるものになる。また、FP4データ型を追加するだけでは安定したRLシステムを作れない理由も示している。
両レシピは高精度バックワードと逆量子化バックワードをサポートする。高精度バックワードでは、バックワード行列積に元のBF16オペランドを使用する。一方、逆量子化バックワードでは、順伝播で実際に使用した低精度値からBF16オペランドを再構成する。
後者は数値的な詳細を一部犠牲にするが、順伝播ポリシーとの一致度をより高く保つ。どちらのNVFP4モードも、バックワード行列積をFP4で実行するわけではない。したがってMilesは、普遍的な4ビット学習ループを主張しているのではなく、選択的低精度を検証している。
報酬曲線が立証責任を変える
最も注目すべき結果はTensor Coreのピークスループットではなく、検証したワークロードで明白な報酬低下が見られなかったことだ。
Milesは、dapo-math-17kデータセット上で同期型のGRPOスタイルRLを用い、Qwen3-30B-A3Bを評価した。システムは8基のB200 GPUを使用し、ロールアウトと学習に均等に分割した。各プロンプトには8つのロールアウトサンプルを与え、応答は8,192トークンに制限した。
この研究では、1つのBF16ベースラインと5つの低精度構成を比較した。これにはエンドツーエンドのMXFP8と、各低精度形式における2種類のバックワードモードが含まれる。NVFP4の各バリアントでは、4ビット演算をMoEエキスパート経路に限定した。
5つの低精度構成はいずれも、生の報酬曲線がBF16曲線をほぼ追従した。これはタスク、シード、あるいはより長い学習実行をまたぐ同等性を確立するものではない。ただし、この特定の実験では低精度ロールアウトが学習シグナルを圧倒しなかったことを示唆する。
これはRLにとって意味のある閾値だ。教師あり学習では、比較的大きく安定したデータセットにまたがって最適化シグナルを平均化できる。RLはよりノイジーな報酬と小さなポリシー更新を扱うことが多く、追加の量子化誤差を本物の学習から切り分けにくい。
Milesは、MXFP8とNVFP4がBF16と比べてロールアウト時間を短縮したことも報告した。公開記事はこの比較をグラフで示しているが、普遍的な見出しに使える単一の割合は提示していない。結果の方向性は、その移植性より明確だ。
生成処理が強化学習ワークロードの多くを占めることが多いため、ロールアウトの改善は重要である。ポリシーは、報酬と更新を計算する前に完全な応答を生成しなければならない。長いコンテキストと複数サンプルにより、この段階は特に高コストになる。
測定した構成では、MXFP8はBF16に対して学習時間も改善した。NVFP4の学習側は反対の結果となった。NVFP4の両バックワードオーバーライドバリアントは、ロールアウトが高速化されたにもかかわらず、学習時にはBF16より遅かった。
Milesはこの差をBlackwellのFP4 Tensor Coresではなく、現在の統合に起因するとしている。測定したTransformerEngine経路では、トークン単位のFP32スケーリングを独立したPyTorch処理として実行する。融合済みのcuDNN frontendカーネルは存在するが、TransformerEngineとの統合はまだ保留中である。
この分かれた結果は、分析を現実に即したものに保つ。値が小さいからといって、NVFP4が自動的に高速になるわけではない。カーネル融合、データレイアウト、スケーリング処理、フレームワーク境界が、理論上のスループットがアプリケーション全体に届くかを左右する。
低精度構成では、BF16よりも大きな学習・ロールアウト間の不一致も示された。ポリシー分布を比較する参照KL測定では、NVFP4がより高い値から始まった。ただしMilesは、この診断指標をBF16のMegatron参照モデルに対して計算している。
したがって、この指標には開始時点から形式の違いが含まれている。その係数はゼロに設定されていたため、最適化ペナルティとしては機能しなかった。Milesは、この測定を単独で学習失敗の兆候と見なさないよう注意を促している。
報酬曲線は有用な逆転をもたらす。精度の不一致は増えたが、アブレーション期間中、観測された報酬はBF16から実質的に乖離しなかった。この組み合わせはさらなる検証を支持する一方で、長期安定性の問題は未解決のまま残す。
真の仕組みは共有量子化器にある
Milesは低精度RLを、単により小さな数値を求める問題ではなく、分散環境における整合性の問題として扱う。
RLスタックの各部分は、テンソルを独立して量子化できる。Megatronが学習を担い、SGLangとFlashInferがロールアウト処理を扱う。チェックポイント変換とライブ重み更新は、値やレイアウトが乖離する機会をさらに2つ増やす。
小さな違いであっても、ポリシー更新の反復を通じて蓄積する可能性がある。学習ワーカーはある量子化表現を最適化する一方、ロールアウトワーカーは別の表現からサンプルを生成するかもしれない。すると報酬は、オプティマイザが正確には見ていないポリシーの振る舞いを表すことになる。
Milesは、この問題にビット完全一致の量子化器契約で対処する。FlashInferのテストでは、その出力をTransformerEngineスタイルの参照実装とバイト単位で比較する。テスト入力には、ランダム値、境界ケース、ゼロテンソル、表現可能な最大値が含まれる。
チームは、該当するFP4量子化経路でFlashInferのfast-mathオプションも無効化している。将来の重みに小さな差異がフィードバックされない通常のサービングでは、近似演算は合理的になり得る。RLでは、それらの差異が学習ループの一部になる。
MXFP8には別のレイアウト上の課題がある。Blackwell Tensor Coresは、行列の縮約次元に沿ったマイクロスケーリングブロックを期待する。順伝播とバックワード演算では異なる向きを使用できるため、量子化済みコピー1つだけでは、両方の経路に常に正しく対応できるわけではない。
MXFP8ドキュメントでは、TransformerEngineが元の高精度入力から行方向と列方向のコピーを作成すると説明している。これはより多くのメモリを消費するが、既存の低精度コピーを逆量子化して再量子化する必要をなくす。
Milesは、完全なMXFP8経路でこのメモリコストを受け入れている。高精度バックワードと逆量子化バックワードの代替手段では、2つ目の量子化コピーを保持しない。選択は、数値的一致、メモリ使用量、逆量子化の処理、行列積速度の間のバランスとなる。
NVFP4は異なる整合性の問題をもたらす。複数トークンで1つの活性化スケールを共有すると、あるトークンの量子化値が隣接するトークンに依存する。するとロールアウトのスケジューリング、シーケンス長、バッチパッキングの変更がポリシー表現を変え得る。
Milesは、トークンごとに1つのFP32活性化スケールをオンラインで計算する。FlashInferはこの計算を、ロールアウトの活性化量子化カーネルに融合している。同じ処理が、パックされたFP4活性化、ブロックスケール、トークンスケールを出力する。
学習とロールアウトでは、エキスパートのテンソル並列パーティションも一致させる必要がある。そうでなければ、トークン単位スケールを計算する際に、各システムがテンソルの異なる部分を見ることになる。入力が異なれば、同一の式でも同一のポリシーは生成できない。
SwiGLUエキスパート層には、さらに特別なケースがある。ゲート投影とup投影は、チェックポイントでは別々に格納されていても、一般に1つの融合行列積に入力される。Milesは各ゲート・upのペアをまとめて量子化し、両者が一貫した1つの大きなスケールを受けるようにしている。
これらの実装上の詳細は、Miles Blackwellの取り組みが複数のリポジトリにまたがる理由を説明する。保存済みチェックポイントから生成されたロールアウトまでの各表現を、単一のライブラリで制御することはできない。精度契約は、各引き渡しを通じて維持されなければならない。
このシステム上の作業は、レシピを学習後量子化とも区別する。静的な推論用チェックポイントは一度キャリブレーションし、繰り返しサービングできる。強化学習では重みが継続的に変化するため、ライブエクスポートのたびに事実上新たな量子化イベントが生じる。
類似のシステムを評価するチームには、こうしたイベントに関する追跡可能な証拠が必要になる。社内のエンジニアリング・ナレッジベースは、構成、カーネルバージョン、評価曲線、インシデントメモを結び付けられる。この記録は、数回のアップデート後に数値的な回帰が発生した際に重要になる。
トークンごとのNVFP4が一律のBF16デフォルトに圧力をかける
Miles Blackwellのアプローチは、選択的なBF16を安定性のための手段として維持しつつ、あらゆる箇所でBF16を使う理由をチームに求める。
BF16は依然として、より単純なベースラインである。より広い数値範囲、少ない量子化契約、そして学習とロールアウトをまたいだ比較のしやすさを提供する。その弱点は、専門家ごとの重みと活性化が、より狭い形式であれば不要なほど多くのメモリ帯域を消費することだ。
MoEモデルでは、このトレードオフがより明確に現れる。多数のエキスパートパラメータを含む一方、各トークンが有効化するのはその一部に限られる。ロールアウト中にエキスパート重みをメモリ経由で移動させる処理は、生の演算能力以上に制約となり得る。
そのためMilesは、まずエキスパート経路を対象にしている。この戦略は、4ビット学習への理念的なコミットメントというより、財務予算に近い。安定性に最も影響しやすいテンソルに精度を配分し、最大規模で繰り返し現れる構造を圧縮する。
この実験では、すべての低精度構成でモデル層の最後の15パーセントをBF16に維持した。Milesによれば、この選択により学習と推論の不一致が減少し、勾配の安定性が改善した。初期層をBF16に維持しても、同様に有意義な低減は得られなかった。
共有エキスパートも高精度のまま維持された。ルーティングされるエキスパートとは異なり、共有エキスパートはすべてのトークンを処理する。そのため量子化誤差は、選択された経路だけでなく、すべてのMoEブロックに伝播する。
一部のマルチヘッド潜在注意の射影にもBF16の例外が適用された。その縮約軸は実行モードによって変化し得る一方、MXFP8は一次元のスケーリングブロックを使用する。軸が変わると、値が異なるスケールの下で再グループ化される可能性がある。
これらの例外は、付随的な後処理ではなく、レシピの中核である。完全なFP4モデルという見出しは、この作業を誤って伝えることになる。Milesは代わりに、変換、学習、ロールアウト、ライブ更新の各段階で例外を維持するためのきめ細かな制御を構築した。
これは従来のBF16パイプラインに二つの形で圧力をかける。第一に、報酬アブレーションは、Blackwellでより狭いロールアウト経路を評価する価値を示している。第二に、この構成システムは、すべての層に一つの形式を選ぶ方法に代わる選択肢を提供する。
また、Hopperを中心に設計された従来のFP8アプローチにも圧力をかける。DeepSeek-V3は、重みに128×128ブロック、活性化に1×128タイルを使用する。Milesはこの設計を有効だと説明しているが、Blackwellのマイクロスケーリングハードウェアを同じネイティブな形で利用することはできない。
この比較は、旧来の手法を時代遅れにするものではない。Hopperクラスタは依然として広く導入されており、ブロックスケーリングFP8にはより長い運用実績がある。Blackwellネイティブの形式は、GPU世代が混在する環境をサポートするチームにとって、互換性の境界も生み出す。
NVIDIAのTransformerEngineガイドは現在、最適化済みのビルディングブロックを通じてFP8、MXFP8、NVFP4をサポートしている。しかし、フレームワークのサポートだけで、どの層でどの形式を使うべきかは決まらない。最終的にはモデルアーキテクチャとワークロード形状がその判断を左右する。
最も直接的な恩恵を受けるのは、Blackwell上で大規模なMoE強化学習ジョブを実行する組織だ。すべての逆伝播演算を直ちに低精度へ移行せずとも、より高速なロールアウトを試せる。この段階的な経路は、証拠収集のコストを下げる。
小規模チームでは、異なる計算が必要になる。この構成を再現するには、8基のB200 GPU、複数の連携ライブラリ、そして慎重な構成の一致が必要だ。中程度の規模では、エンジニアリングの負担がロールアウトの節約を上回る可能性がある。
したがって、競争上の主要な論点は、選択的な一貫性と一律の単純さの対比である。Milesはより細かな制御と、メモリトラフィック削減への道筋を提供する。BF16は、見過ごされた不一致が学習プロセスに入り込むインターフェースを減らす。
Qwen3のアブレーションが立証していないこと
公開された実験は有望なレシピを裏付けるが、広範な品質同等性や完全な4ビット効率を立証するものではない。
最も直接的な制約は範囲にある。Milesがテストしたのは、一つのモデル、一つの数学指向データセット、一つのハードウェア構成、そして一つの主要なワークロード構成だけだった。そこで報酬が密接に追従したとしても、コーディング、ツール利用、対話、マルチエージェントタスクでの振る舞いを予測することはできない。
固定された構成では、同期RLと、ロールアウトおよび学習それぞれに4 GPUを分割する方式を使用した。非同期システムでは、データ生成と最適化の間により大きなポリシー遅延が生じる可能性がある。その遅延は、量子化不一致と異なる形で相互作用するかもしれない。
公開された報酬プロットも、完全にチューニングされた学習実行ではなく、レシピのアブレーションを対象としている。Miles自身が明確にそのように説明している。読者はこのグラフを、最適化済みBF16システムに対するベンチマーク上の勝利と解釈すべきではない。
生の報酬は行動上の変化を隠し得る。二つのポリシーが似たスコアに到達しても、異なる推論パターン、応答長、または失敗モードを示す可能性がある。より強力な検証には、ホールドアウト評価、複数のランダムシード、タスク固有のエラー分析が含まれる。
NVFP4で時折発生する勾配スパイクも、依然として懸念材料である。高精度逆伝播のバリアントでは、報告された実行中にスパイクが見られた。逆量子化された逆伝播は最大の事例を抑えたが、完全には取り除かなかった。
これは4ビット学習を巡るより広範な懸念と整合する。NVFP4の外れ値に関する研究では、特定のアーキテクチャコンポーネントに持続的な感度があることが示されている。この研究はMilesのRLレシピではなく事前学習を対象としているが、層レベルの監視が必要であることを補強している。
現在のメモリに関する説明も不完全である。Megatronは、低精度レシピを通じて学習とロールアウトを実行しているにもかかわらず、追加のBF16重みコピーを保持している。このコピーにより、システムが実際に回収できるモデルメモリ量は制限される。
Blackwellネイティブの低精度パラメータ収集は、なお成熟途上にある。Milesによれば、関連するNVFP4パラメータ収集経路は、同社の一次元1×16重みレイアウトをまだサポートしていない。BF16コピーの削除は、このインフラの整備にも一部依存する。
NVFP4の学習性能も、二つ目の未解決領域を示している。ロールアウトは改善したが、テストされた実装では学習が遅くなった。保留中のfused TransformerEngine統合が、NVFP4がより明確なエンドツーエンドの利点を主張できる前に、この差を埋める必要がある。
ライブでの重み移動も依然として複雑だ。サービングバックエンドは、多くの場合、特定のカーネル向けに最適化されたレイアウトへと重みをパディング、シャッフル、またはスウィズルする。学習システムは通常、異なる正準テンソル表現を維持する。
こうした変換は、低レイテンシの更新やリモート直接メモリアクセスを妨げる可能性がある。バックエンド固有のレイアウトごとに、検証可能な状態を保たなければならない工程が一つ増える。ポリシー更新のたびに高コストな再パッキングが発生するなら、高速なカーネルの価値は限定的だ。
ハードウェア固有性は商業上のリスクを生む。MXFP8とNVFP4はBlackwellでネイティブアクセラレーションを受けるが、多くの組織は依然としてHopperハードウェアを運用している。新しいレシピの採用は、複数の精度経路にまたがってインフラサポートを分断する可能性がある。
公開された証拠には、独立した再現実験もない。結果は、レシピを設計・実装したチームから提示されている。初期のエンジニアリング報告としては適切だが、第三者による再現があれば信頼性は高まる。
これらの制約はいずれも、観測された結果を無効にするものではない。むしろ、その結果が何を意味するかを定義する。Milesは、慎重に制御された低精度が、ロールアウト時間を短縮しながら、一つの厳しい構成においてBF16の報酬に追従できることを示した。
次の基準はより厳しい。レシピは、より長い実行、多様なタスク、非同期更新、より大きなモデル、異なる並列化レイアウトでも安定を維持しなければならない。また、すべてのフレームワークオーバーヘッドを測定に含めた後も、その利得を維持する必要がある。
レシピが広がるかを決める三つのシグナル
次に注目すべき三つのシグナルは、fused NVFP4学習、独立した報酬再現、そして追加BF16重みコピーの削除である。
第一に、トークンごとのNVFP4スケーリングに向けた保留中のTransformerEngine統合に注目したい。MilesはすでにFlashInferのロールアウト経路でfusedスケーリングを使用しているが、測定対象となった学習経路では別個の演算を行っている。この統合により、NVFP4がロールアウト時間だけでなく学習時間も改善できるかが明らかになるはずだ。
より高速なエンドツーエンドの結果が得られれば、この形式の正当性は強まる。学習の減速が続けば、その魅力はロールアウト主体のワークロードに限定される。どちらの結果でも、4ビット演算が実用的な価値を生む場所を明確にできる。
第二に、異なるモデルやタスクにまたがる独立した再現実験に注目したい。最も価値の高いテストには、コーディング、長文脈推論、ツール利用、非同期RLが含まれる。複数のシードは、形式の挙動と通常の報酬変動を切り分ける助けになる。
これらのワークロードで同様の報酬曲線が得られれば、Milesの一貫性に関する主張を支持することになる。特定の層やタスクで乖離が生じれば、BF16例外をどこまで拡大すべきかが明らかになる。いずれの結果も、単一の普遍的な精度ルールより有用だ。
第三に、Megatronがレシピの重みレイアウトをサポートしながら、追加のBF16重みコピーを削除できるかを注視したい。この変更により、互換性要件によって現在隠されているメモリ上の利点が明らかになる。また、低精度ポリシーがシステムの主要な保存表現になれるかどうかも検証される。
Miles Blackwellの取り組みは、重要なエンジニアリング上の境界を越えた。MXFP8とトークンごとのNVFP4は、孤立した推論または学習テストにのみ登場するのではなく、現在では一つの接続されたRLループに参加している。
より鋭い問いは、もはやBlackwellが4ビットおよび8ビット演算を実行できるかどうかではない。こうした値に触れるあらゆるシステムで、チームが一つのポリシーを維持できるかどうかである。Qwen3の曲線を一般的な結果として扱う前に、統合、再現実験、メモリの変化を追跡すべきだ。
