Microsoft MAI-Base-2、4〜12倍の学習効率を主張しDeepSeekに挑む
Microsoft MAI-Base-2は、総パラメータ数2.8兆で事前学習を完了し、各トークンでは800億パラメータを活性化する。Microsoftは、4つのホールドアウト評価において、その学習レシピがDeepSeek-V4-Pro-Baseより4.2〜12.3倍FLOPs効率に優れると述べている。
この比較はMicrosoftにとって印象的な見出しとなるが、MAI-Base-2が完成したアシスタントとして優れていることを証明するものではない。同モデルは依然として事後学習段階にあり、公開エンドポイントはなく、独立したベンチマーク結果も欠いている。Microsoftは、同等条件の2つの学習実行ではなく、フィッティングしたスケーリング曲線を用いて効率の範囲を算出した。
それでも今回の発表は、MicrosoftのAI戦略における重要な変化を示す。Microsoftはもはや社内実験や、別の研究所から提供されたモデルの単なるラッパーについて説明しているのではない。自社開発のフロンティアモデルを支えるアーキテクチャ、データパイプライン、大規模インフラを示している。
DeepSeekが中心的な比較対象となるのは、オープンウェイトのベースチェックポイントがMicrosoftにとって目に見える外部ベースラインとなるためだ。この比較は、この話の主要な緊張関係も浮き彫りにする。Microsoftは、開発者が完成した製品を評価できるようになる前に、まず市場に自社の学習レシピを評価してほしいと考えている。
Microsoft MAI-Base-2は学習完了モデルであり、製品リリースではない
Microsoftは異例の大規模事前学習を完了したが、顧客が試せる完成モデルはまだ公開していない。
Microsoftは2026年10月15日、詳細な事前学習レポートを通じてMAI-Base-2を公開した。同社はこれを、各トークンを専門化されたパラメータ群の限定的なサブセットに振り分けるMixture-of-Experts、すなわちMoEモデルと説明している。
同モデルは総計2.8兆パラメータを含み、各トークンで800億を活性化する。この疎な設計により、Microsoftは各フォワードパスですべてのパラメータを使わずに、全体の容量を拡大できる。
Microsoftは2026年8月から9月にかけて、16,000基のNvidia GB200 GPUで38日間モデルを学習した。平均モデルFLOPs利用率は21%、goodputは89%だったと報告している。
モデルFLOPs利用率は、理論上のプロセッサ能力のうち、報告された学習計算にどれだけ寄与したかを測る。Goodputは、経過時間のうち実際に学習が進行している時間の割合を測る。これらの数値はシステム効率の異なる側面を表す。
Microsoftは利用率の数値を、GPUあたり2.5ペタフロップスの高密度BF16性能に対して正規化した。報告したFLOPs計算からは、オプティマイザと再マテリアライゼーションの処理を除外している。こうした選択は、研究機関間で利用率を比較する際に重要となる。
基盤となるハードウェアは、NvidiaのラックスケールBlackwellプラットフォームに属する。公開されたGB200仕様は、緊密に接続されたGPUドメインが大規模な学習および推論ワークロードをどのように支えるかを示している。
Microsoftによれば、現在は事後学習が進行中だ。この後段の工程では通常、ベースモデルが一般的な統計パターンを学習した後、指示追従、推論能力、安全制御、対話品質を形作る。
この区別により、発表に対するよくある誤読を防げる。MicrosoftはMAI-Base-2に基づくチャットボット、ダウンロード可能なチェックポイント、汎用APIを公開したわけではない。公開したのは、こうした将来的な製品の基盤に関する証拠である。
この基盤には、ネイティブな視覚学習も含まれる。Microsoftはエンコーダフリーの視覚言語アーキテクチャを採用しており、これは別個に事前学習された画像エンコーダを主たるフロントエンドとして介さず、画像情報をモデルに入力することを意味する。
同社は、4.5兆のユニークトークンから成る視覚言語コーパスを報告している。重複データを含めると、視覚素材はモデルの50兆トークンの学習混合データにおける18%を占めた。
Microsoftによれば、より広範なコーパスのユニークトークン数は、MAI-Base-1と比べて約36%増加した。Webデータの知識カットオフは2026年3月である。
こうした詳細から、MAI-Base-2は単なるパラメータ数の発表にとどまらない。Microsoftは、データ選定、マルチモーダル入力、モデルルーティング、最適化、GPU利用率にまたがる完全な学習システムを文書化している。
ただし、現時点で利用できる証拠は事前学習の境界で止まっている。開発者は依然として、応答品質、レイテンシー、信頼性、導入要件を測定できない。エンタープライズ購入者も、利用可能なFoundryモデルと運用上の挙動を比較することはまだできない。
したがって、直近の出来事は明確だ。Microsoftは事前学習を完了し、その実行方法を明らかにした。商用およびユーザー向けのリリースは今後に残されている。
Microsoft MAI-Base-2の効率性主張が重要な理由
この効率性主張が重要なのは、Microsoftが拡大する自社モデルプログラムを正当化する要因は、パラメータ数だけでなく優れた学習手法だと主張しているためだ。
Microsoftによれば、そのレシピは、選定した4つの評価でDeepSeek-V4-Pro-Baseと同等の損失に到達するために必要な学習FLOPsを4.2〜12.3分の1に抑える。FLOPsは浮動小数点演算回数を測る指標で、計算作業量の一般的な近似値である。
この発言は、MicrosoftがMAI-Base-2に12分の1の費用しか投じなかったという意味よりも限定的だ。同社も、最終モデルがDeepSeekのチェックポイントより大幅に多くの学習計算量を使用したことを認めている。
Microsoftが提示するのは、仮定に基づく問いだ。Microsoftのレシピを使うモデルが、DeepSeekのbits-per-byteスコアに匹敵するには、どれだけの計算量が必要になるのか。
Bytes per byte、すなわちBPBは、トークナイザに依存せず、モデルがホールドアウトデータをどれだけ効率的に予測するかを測る。BPBが低いほど、テスト素材に対する予測圧縮性能が高いことを示す。
Microsoftは、コード、科学、数学、質問応答データについて、それぞれ別のスケーリング曲線をフィッティングした。そのうえで、各曲線がDeepSeek-V4-Pro-Baseに一致する計算量の地点を求めた。
得られた比率が4.2〜12.3という範囲を構成する。Microsoftによれば、これらの一致地点は観測済みのスケーリングラダー内に収まり、測定実験を大きく超えて予測することに伴うリスクを抑えている。
この手法は、計算量を考慮せず最終損失だけを比較するよりも多くの情報を提供する。単により大きなモデルを構築した効果と、学習レシピ自体の寄与を分離しようとするものだ。
しかし、それは依然としてMicrosoftの評価フレームワークから構築されたモデルベースの推定である。同一のハードウェア、データ、ソフトウェア、計算ルールを用いてDeepSeekの実行を直接再現したものではない。
また、これらの評価はベースモデルの予測品質を測定する。指示追従、ツール利用、事実の信頼性、安全性、エンタープライズアプリケーションを動かす際の体験を直接測るものではない。
この違いは購入者にとって極めて重要だ。学習計算量あたりの損失をより優れた形で実現するレシピでも、レイテンシーが不便だったり、タスク性能にばらつきのある製品を生む可能性がある。
Microsoftは、MAI-Base-1に対しても6.3〜12.7倍のFLOPs効率改善を報告している。この社内比較は2つ目の参照点を提供するが、依然としてMicrosoftの手法と選定した評価に依存している。
同社は、こうした効率向上をより大規模な学習実行に再投資したと述べている。この選択は戦略的な目的を明らかにする。Microsoftは効率性を、単に総資源消費を削減するためではなく、計算予算内で能力を拡張するために使っている。
このアプローチは、発表が事前学習エンジニアリングに焦点を当てる理由も説明する。Microsoftは、インフラと研究の変化を、より優れたスケーリング挙動へと繰り返し転換できることを示す必要がある。
モデルの規模はそのメッセージを強める。2.8兆パラメータのうち各トークンで活性化するのは800億にすぎず、総容量とトークンあたりの計算量は異なる軌跡をたどる。
それでも、活性パラメータ数は推論コストへ直接換算されない。メモリ移動、エキスパート間通信、バッチ処理、コンテキスト長、精度、サービングソフトウェアはいずれも実際の導入性能に影響する。
したがって、4.2〜12.3という数値は意味を持つ一方で、範囲は限定される。これはMicrosoftのレシピが改善したという主張を支えるが、どのモデルが本番環境でより安価か、より高速か、より有用かを決着させるものではない。
真の競争は、Microsoftの学習レシピとDeepSeekのオープンなベースラインの間にある
MicrosoftがDeepSeekを対抗相手に選んだのは、アクセス可能なベースチェックポイントが、他社のクローズドな実運用アシスタントより明確な参照点を提供するためだ。
DeepSeek-V4-Pro-Baseは、公開されているモデル資料によれば、総パラメータ数1.6兆、活性パラメータ数490億を備える。その利用可能性により、アクセスできないベースモデルとの比較に比べ、アーキテクチャと評価の検証をより実践的に行える。
MicrosoftはDeepSeek-V4-Pro-Baseを、利用可能なオープンウェイトのベースモデルとして最強だと呼んでいる。また、Microsoftが比較を組み立てた時点で、1兆パラメータを超える唯一の公開済みベースチェックポイントだったとも述べている。
これは比較が完全に対称的であることを意味しない。MAI-Base-2は総パラメータ数と活性パラメータ数がより多く、より多くの計算量を消費し、Microsoft独自の学習コーパスを使用している。
両モデルは異なる戦略的立場も反映している。DeepSeekは、研究者や運用者がその条件下で検証または導入できるウェイトを公開している。MicrosoftはMAI-Base-2に同等の公開アクセスを提供していない。
Microsoftは、最終的にはFoundryを通じて信頼できるパートナーにウェイトをライセンスする計画だと述べている。この経路では、無制限のオープンウェイト公開ではなく、管理された商業関係の中にアクセスが置かれることになる。
現在のFoundryカタログにはすでに、Microsoft、OpenAI、Anthropic、DeepSeek、Meta、Mistralなどのモデルが掲載されている。自社のフロンティアモデルは、この多様化されたカタログの中でMicrosoftにもう一つの手段を与えることになる。
したがってDeepSeekとの比較には2つの目的がある。Microsoftに要求水準の高い技術的参照点を与えるとともに、自社のモデルパイプラインを管理するという、より広範な主張を支えることだ。
Microsoftはすでに、クラウドプラットフォームを通じてサードパーティモデルを配布できる。社内のフロンティアプログラムなしに欠けるのは、学習データ、アーキテクチャの決定、リリース時期、モデル固有の最適化を完全に管理することだ。
MAI-Base-2は、この依存関係を基盤レベルで扱う。Microsoftは、すべての学習トークンを社内で処理し、他モデルからの蒸留を回避したと述べている。
この主張が重要なのは、モデル蒸留によって、より強力な教師モデルの挙動をより小規模または新しいシステムへ移せるためだ。Microsoftは自社の進展が、自社のデータおよび最適化パイプラインによるものだと位置付けたい。
同社はまた、責任あるAIポリシーに照らしてソースを審査し、米国通商代表部の悪名高い市場リストに掲載されているサイトを除外したと述べている。こうした管理は、エンタープライズ顧客に向けたデータ来歴の訴求を支える。
ただし、コーパスのより完全な開示がなければ、外部者が来歴を監査することは依然として困難だ。Microsoftが提供しているのは、学習ソースの完全な一覧ではなく、原則、処理の説明、集計値である。
DeepSeekにも独自の検証上の限界がある。公開ウェイトはより広範な評価を可能にするが、データセット構築やインフラ計算の背後にあるすべての決定を明らかにするわけではない。
その結果、この競争は明快な研究室レースではない。異なるハードウェア構成、データセット、アーキテクチャ、開示慣行、配布戦略を用いる2つの組織を比較している。
Microsoftの優位性は、統合されたインフラと幅広い顧客基盤にある。DeepSeekのオープンなチェックポイントは、独立系開発者に対し、今すぐ検証・テストできるモデルを提供している。
MAI-Base-2は、まだその実用上の優位性を主張できない。利用範囲が拡大するまでは、Microsoftのより強い根拠はモデルの実世界での有用性ではなく、トレーニングプロセスに関するものだ。
Microsoftが全レイヤーMoEトレーニングをより実用的にした方法
Microsoftは、モデルアーキテクチャとインフラを一つの最適化問題として扱うことで、最大の改善を達成したとしている。
MAI-Base-1では、Microsoftの従来実装で実時間のオーバーヘッドが大きすぎたため、MoEレイヤーの使用頻度を抑えていた。スパース計算は理論上は効率的に見えても、必ずしもトレーニングの高速化には結び付かなかった。
MAI-Base-2では、MicrosoftはすべてのtransformerレイヤーにMoE計算を配置した。同社によると、ルーティングとメモリーの非効率性に対処した後、MoEレイヤーの利用率は24％から35％へ上昇した。
動的なエキスパートルーティングでは、異なるトークンが異なるエキスパートを選ぶため、ワークロードが不均一になる。まれなスパイクによって特定のエキスパートが過負荷になる一方、他の場所の容量は十分に活用されないことがある。
単純な解決策は、各エキスパートに固定のトークン上限を設け、超過した割り当てを破棄することだ。Microsoftは、そうしたトークンの削除がモデル品質を低下させることを実験で確認したとしている。
想定される最悪の不均衡に対応できるだけのメモリーを割り当てれば、トークンの破棄は避けられる。しかし、通常のステップではメモリーが無駄になる。この無駄により再計算が増えたり、有効なバッチサイズが制限されたりする可能性がある。
Microsoftは代わりに、予測可能なメモリー割り当てを備えた、トークンを破棄しないシステムを開発した。この実装は、あらゆる極端なケースのためにメモリーを予約せずに、ルーティングの不均衡に対応することを目指している。
同社はまた、多数の小規模エキスパートに伴うオーバーヘッドも削減した。より小さなエキスパートグループはルーティングの粒度を高められる一方で、通信コストやカーネル起動コストを増やす。
これらの変更は、効率性という主張に直接つながる。通信、メモリー断片化、またはアイドル状態のハードウェアが理論上の節約分を消費するなら、スパースアーキテクチャは実用上ほとんど利点をもたらさない。
Microsoftは変更を、関連する二つの指標で評価した。FLOPs効率は、目標損失に到達するために必要な計算作業量を測る。時間効率は、実際のシステム上で同じ改善にどれだけの時間がかかるかを測る。
ある技術は、最初の指標を改善する一方で、二つ目を悪化させることがある。Microsoftは、このような不一致が、アーキテクチャ上の改善を大規模に有用なものにする前に、インフラ作業が必要な箇所を特定するとしている。
トレーニングチームは、学習率とweight decayについても共同スイープを実施した。これらのハイパーパラメーターは相互に作用するため、独立して最適化すると、大規模実行では性能の低い組み合わせを選んでしまう可能性がある。
スケーリングラダーは、さらに別の制御層を提供した。Microsoftは、大規模モデルの挙動を予測する前に、異なるモデル規模、データ規模、ソース規模で小規模な実験を実施した。
特に重要だったのはソーススケーリングだ。限定されたデータ構成では強力に見えるトレーニングレシピでも、ソースの数と多様性が増すと正則化が不十分になる可能性がある。
Microsoftは、この変動を組み込むことで、小規模実験がMAI-Base-2の最終性能を予測するのに役立ったとしている。最終結果は、DeepSeekとの比較に用いられた公開済みの曲線フィットにも含まれている。
このモデルはMuonも使用している。これは、選択したパラメーターに行列指向の更新を適用するオプティマイザーだ。オプティマイザーは、計算された誤差に応じてトレーニングが重みをどのように調整するかを決定する。
Muonは、行列形状のパラメーターにおける収束を改善できることから、大規模モデルプロジェクトで関心を集めている。Microsoftは、トレーニングを安定化させるため、Muonの実装作業をactivation-gradient clippingと組み合わせたとしている。
Activation-gradient clippingは、中間活性化の周辺で生じる異常に大きな勾配信号を制限する。Microsoftはこの技術を、非常に大規模なトレーニング実行を安定させたシステムの一部として提示している。
これらの構成要素のいずれも、単独で決定的な手法を表すものではない。報告された改善は、データ、ルーティング、メモリー、最適化、実験的予測にわたる変更の積み重ねによるものだ。
そのため、競合他社が短い技術説明から結果を再現するのは難しい。また、外部者はMicrosoftの完全なスタックを再現できないため、独立した要因分析も困難になる。
したがって、最も信頼できる解釈はシステム全体に関するものだ。Microsoftは、アルゴリズムの理論上の利点と、数千基のGPU上での実際の挙動との間に生じる損失を減らすことで、より効率的なトレーニングパイプラインを構築した。
MAI-Base-2の数値が依然として示していないこと
Microsoftは相当なエンジニアリング上の根拠を公開しているが、中心的な性能主張は依然として同社報告に基づくものであり、不完全だ。
第一の制約は、評価の主体に関するものだ。Microsoftは、一部のホールドアウト済み科学・数学・質問応答セットについて外部ベンダーに委託する一方、コード評価には自社のコードベースを使用した。
同社は、すべての評価セットをトレーニングデータとの照合により汚染除去したとしている。重複は真の汎化を測定せずにモデルを強く見せかける可能性があるため、これは重要な保護策だ。
しかし、Microsoftは完全な評価データ、フィッティング済みモデル、または再現用パッケージを公開していない。そのため、独立研究者は4.2倍から12.3倍の効率性の範囲を完全には再現できない。
最終的なMAI-Base-2の結果も、スケーリングフィットに含まれている。Microsoftは、推定された対応点はフィッティング範囲内にとどまっており、遠距離の外挿より優れているとしている。
それでも、この手法が推定するのはレシピの効率性であり、同一条件での直接対決を測定するものではない。トークン選択、精度、FLOPsの算定、チェックポイント構築の違いが比率に影響する可能性がある。
第二の制約はベンチマークの範囲だ。ホールドアウト済みテキストにおけるBPBは、ポストトレーニング前の予測品質を測定する。完成したモデルが複雑な指示に従えるか、ツールを確実に使用できるかには答えない。
損失の低いベースモデルは、より強力な出発点になり得る。それでも、ポストトレーニングの判断は、モデルの表面上の強み、弱み、安全性の挙動を大きく変える可能性がある。
Microsoftの以前の推論モデルであるMAI-Thinking-1は、MAI-Base-1からポストトレーニングされた。読者が事前トレーニングの改善を推論性能に結び付けるには、MAI-Base-2独自の下流評価の根拠が必要になる。
第三の制約は製品の提供状況だ。公開API、ダウンロード可能なチェックポイント、レイテンシープロファイル、デプロイメントガイドはいずれもなく、開発者は発表を検証できない。
Microsoftはまた、ポストトレーニング済みモデルがいつ顧客に届くのかも明示していない。信頼できるFoundryパートナーに重みをライセンスする計画には、公開された適格性の詳細がない。
この隔たりにより、エンタープライズ価値は未測定のままだ。顧客は、モデルが検索システム、エージェント、プライベートデータ、ガバナンス制御、継続的な本番トラフィックとともにどのように動作するかを知る必要がある。
第四の制約は推論に関するものだ。トレーニング時のFLOPs効率は提供時の効率性と同じではない。MoEモデルは、実際に活性化するよりはるかに大きなパラメータープールを保存・調整しなければならないためだ。
800億のアクティブパラメーターをルーティングする場合でも、相当なメモリー容量と相互接続帯域幅が必要になる。実際のコストは、量子化、バッチ処理、コンテキスト長、ハードウェア、Microsoftの提供ソフトウェアに左右される。
第五の制約は、幅広い第三者比較が存在しないことだ。Microsoftは、テストしたすべてのオープンウェイトモデルより低いBPBを報告しているが、これらの結果はMicrosoft独自の評価環境から得られたものだ。
独立したベンチマークは、その順位を確認するか、差を縮めるか、あるいは別のモデルが優れる領域を明らかにする可能性がある。どの結果でも、読者が効率性という見出しをどう解釈するかは変わる。
慎重な結論は、数値に価値がないということではない。Microsoftは、主張を単なる宣伝ではなく分析可能なものにするのに十分な方法論を開示している。
数値が示すのは、Microsoftが選定した事前トレーニングタスク全体で自社レシピは効率的にスケールすると考えていることだ。MAI-Base-2が開発者、企業、エンドユーザーにとって最良のモデルであることを証明するものではない。
MAI-Base-2が市場を変えるかを決める三つのシグナル
次の段階は、独立した結果、具体的なアクセス条件、そして事前トレーニング効率が本番ワークロードに耐えることを示す根拠にかかっている。
第一のシグナルは、ポストトレーニング済みモデルの評価パッケージだ。Microsoftは、推論、コーディング、マルチモーダル理解、指示追従、ツール使用、事実性、安全性に関する結果を公開する必要がある。
これらのテストには、比較可能な公開ベンチマークと詳細な評価設定を含めるべきだ。独立したアクセスがあれば、研究者が異なるハーネスで結果を再現できるようになり、根拠はさらに強化される。
強力なポストトレーニングのスコアは、より低い予測損失がより良い基盤を生んだというMicrosoftの主張を支持する。弱い、または不均一な結果であれば、事前トレーニングの効率性が自動的に有力なアシスタントを生んだわけではないことを示す。
第二のシグナルは、実際のFoundryでの提供状況だ。Microsoftは信頼できるパートナーに重みをライセンスする計画を示しているが、開発者には依然として日程、アクセスルール、デプロイメント形式、運用要件が必要だ。
少数のパートナーを対象とする限定プレビューでは、限られた有用性しか検証できない。より広いアクセス、明確なドキュメント、安定したエンドポイントがあれば、研究発表は商用の選択肢となる。
重みへのアクセスは特に重要な判断材料となる。パートナーがデプロイメントを深くカスタマイズできるのか、それともMicrosoft管理下のサービスに依存しなければならないのかを決定するからだ。
その時点で、DeepSeekとの比較はより意味を持つ。DeepSeekのベースウェイトはすでに、外部チームに対して、適用可能な条件の下でテスト、変更、デプロイできる直接的な対象を提供している。
Microsoftが実用的な重みへのアクセスを提供すれば、クラウドプラットフォームのガバナンスと統合の利点を加えながら、その隔たりを縮められる。アクセスが狭いままであれば、DeepSeekは大きなオープン性の優位性を維持する。
第三のシグナルは本番効率だ。Microsoftは、MAI-Base-2がポストトレーニング後に競争力のあるレイテンシー、スループット、信頼性、ハードウェア利用率を実現できるかを示さなければならない。
トレーニング効率だけでは、これらの疑問は解決しない。MoEモデルはトークン当たりの演算量を削減できる一方、推論時には通信、ストレージ、ルーティング上の制約をもたらす可能性がある。
顧客ワークロードは、制御されたベンチマークを超えてモデルを試すことにもなる。長文ドキュメント、画像とテキストの混合入力、繰り返されるツール呼び出し、高い同時実行性は、BPBでは予測できないボトルネックを明らかにする可能性がある。
モデルを評価するチームは、リリースノート、ベンチマーク定義、内部テスト、デプロイメント観察を、検索可能な技術ナレッジベースに保存すべきだ。この記録は、見出し上の比較がワークロード固有の根拠に取って代わることを防ぐ助けになる。
MAI-Base-3のタイミングは、副次的な手掛かりとなる。Microsoftは次世代モデルの作業がすでに始まっているとしており、MAI-Base-2が次のスケーリングサイクルのためのプラットフォームでもあることを示唆している。
迅速な反復は、Microsoftの内製プログラムが持つ戦略的重要性を強めるだろう。それは同社が一度きりの例外的な実行を完了したのではなく、再現可能なパイプラインを構築したことを示すことになる。
現時点では、Microsoft MAI-Base-2は、製品としての評価が未解決である一方、信頼できるエンジニアリング上の節目として理解するのが最適だ。同社は大規模なトレーニング実行と、具体的な効率性の方法論を文書化している。
しかし、市場での勝利に必要なアクセスや独立した根拠は、まだ提供していない。次の問いは明快だ。Microsoftは、スケーリング曲線が予測するのと同じ優位性を、外部の開発者にテストさせるのだろうか。
