Meta AI推論容量、アイドル状態のコンピューティングを広告面での優位性に転換
Metaは、新たな2つの弾力性レバーを本番環境に投入し、追加の容量を発注せずに遊休コンピューティングを広告ランキングの追加処理へ転換した。Meta AI推論容量システムは、プロセッサが利用可能なときに拡張し、その容量が失われるとオプション処理を取り除く。課題は明快だ。Metaは変動するリソースから予測精度を高めたいが、基盤となる広告サービスの速度や信頼性を損なうことはできない。
このシステムは、余剰インフラが同社の広告運用にどう貢献するかを変える。アイドル状態のプロセッサは、価値を生むために恒常的なワークロードを抱える必要がなくなる。Metaは一時的により多くの広告候補を評価したり、選定されたリクエストをより高性能なモデルに振り分けたりできる。どちらの経路もレコメンデーションの改善を目指すが、CPUとAIアクセラレータに求める条件は異なる。
これは従来型の利用率向上プロジェクトにとどまらない。Googleの Borg cluster managerは、スケジューリング、オーバーコミット、ワークロード分離を通じて共有インフラの利用率を高める方法を確立した。Metaはこの幅広い原則を、レイテンシに敏感なレコメンデーション推論へ適用している。そこでは、一時的な容量変更のすべてが、リアルタイムの広告表示判断に影響し得る。
Meta AI推論容量が広告ランキングのリソースに
Metaは、分散した一時的なコンピューティング余力を、ライブ広告レコメンデーションの共有リソースへと転換した。
推論フリートは、レイテンシと信頼性の目標を満たしながら需要ピークを処理できるだけの容量を確保する必要がある。実際の需要は、時間、季節、地域、ハードウェア構成によって変動する。そのため、フリート全体が制約を受けている場合でも、局所的にはアイドル容量が残る。
Metaは、この不一致の原因をいくつか挙げている。ピークトラフィック向けに確保された容量は、ピーク時間外では十分に使われない。想定されたモデルの準備が整う前にハードウェアが到着することもある。ある地域ではアクセラレータが空いていても、それを支えるCPU容量が不足している可能性がある。
ハードウェアの多様性も問題を複雑にする。Metaは異なる世代やベンダーのアクセラレータに加え、自社の専用シリコンも運用している。ある構成向けに設計されたワークロードが、利用可能なすべてのデバイスを自動的に使えるわけではない。その結果、過負荷のサービスの隣で容量が取り残されることがある。
Metaのcapacity systemは、利用可能な断片をオポチュニスティックなプールへ集約する。「オポチュニスティック」とは、これらのリソースに継続利用の保証がなく、本来の所有者のために回収される可能性があることを意味する。Metaはこのプールを信頼できる基盤容量としては扱わない。
その代わり、基本的なサービス保証を変えることなく拡張・縮小できる処理を割り当てる。広告ランキングは、システムがすでに数百万件の候補を複数段階で絞り込んでいるため、この条件に適している。コンピューティングが増えれば探索を深められ、減れば通常の運用水準へ戻せる。
このプールは、幅広い容量水準にわたって持続的な改善も支えなければならない。すぐに品質上限へ達するワークロードでは、より大きな利用可能コンピューティングの急増分を無駄にしてしまう。Metaによれば、広告レコメンデーションは、より多くの候補を評価したり、より強力なモデルを選択的に適用したりすることで、継続して改善するという。
Metaはプールの規模、平均利用率、あるいはそれに帰属する財務的価値を公表していない。したがって、この発表が示すのは完全な経済的成果ではなく、アーキテクチャである。広告主にとっての価値に関する主張は、同社が統制された測定結果を公開しない限り、Meta自身の見解にとどまる。
それでも、運用面での変化は具体的だ。余剰容量には、収益関連の推論へつながる明確な経路が与えられた。これにより一時的な余力は、エンジニアが削減を試みる単なるインフラ指標ではなく、広告システムの意思決定プロセスの一部となる。
2つのレバーが異なる種類の遊休コンピューティングに対応
Metaの主要な設計判断は、余剰容量を単に消費することではなく、それぞれのリソース構成に適したオプション処理を対応付けることにある。
第1のレバーは、Rank More Ads、すなわちRMAだ。十分な容量がある場合、ランキング時に評価する候補数を増やす。候補が増えることで、ユーザーと現在のコンテキストにより適した広告を見つける機会が増える。
Metaのレコメンデーションファネルは、数百万件の潜在的な広告から始まり、段階的に絞り込まれる。初期段階では幅広い候補を取得・処理する。後段では、システムが表示する広告を選ぶ前に、より計算負荷の高いモデルを少数の候補に適用する。
RMAはこのファネルの一部を広げる。追加候補は、検索、特徴量処理、モデル推論にまたがる処理を生む。つまりRMAには通常、余剰のCPUリソースとアクセラレータ容量が同時に必要になる。
この要件は、RMAを実行できる場所を制限する。未使用のアクセラレータがあってもCPUが飽和している地域では、完全なランキング経路を安全に拡張できない。そこで候補数を増やせば、ボトルネックが上流へ移り、レイテンシを脅かすことになる。
第2のレバーであるServe Better Models、すなわちSBMは、別のリソース問題を解決する。候補数は安定させたまま、対象となるリクエストの一部をより計算能力の高いモデルへ振り分ける。これによりMetaは、同程度の追加CPU処理を発生させずにアクセラレータの余力を消費できる。
SBMはすべてのリクエストを無差別にアップグレードするわけではない。モデルルーターは、リクエスト価値のシグナルを用いて、最も恩恵を受けると予測されるリクエストを判断する。Metaはリクエストをセグメントに分け、より強いモデルによる増分成果を測定し、探索と活用を通じて配分を調整する。
探索が重要なのは、最も価値の高いリクエストが、追加モデリングによって最も改善するリクエストとは限らないためだ。ベースラインモデルが、ある価値の高いセグメントをすでに適切に処理している場合もある。一方で、初期エンゲージメントが低い別のセグメントが、より強いモデルで評価されることで大きく改善する可能性がある。
Metaは、ルーターが古い判断に固定されないよう、セグメント全体で一定の探索トラフィックを維持する。また、地域ごとの構成が変化しても、実際のトラフィックをコントローラーの意図したカバレッジに近づけるキャリブレーションループも備える。
このアプローチは、MetaのAdaptive Ranking Modelですでに見られる考え方を拡張したものだ。同システムは、1つのモデルを一律に適用する代わりに、計算要件が異なるモデル間でリクエストを振り分ける。オポチュニスティックなシステムは、変動する容量を別のルーティング制約として加える。
2つのレバーは、遊休リソースがバランスの取れた組み合わせで現れることが稀であるため、補完関係にある。RMAはCPUとアクセラレータを組み合わせた余剰を消費できる。SBMは、RMAが安全に利用できないアクセラレータのみの余力を吸収できる。
Metaは、両経路の測定された価値とリソース要件を定期的に比較する。次に利用可能になるコンピューティングの単位は、より広い候補探索か、より優れた予測モデルのいずれかを支援できる。この判断は、トラフィック、モデルのカバレッジ、現在のリソース構成に左右される。
これがMetaの広告レコメンデーションシステムの中核的な仕組みだ。余剰コンピューティングは1つの固定タスクに割り当てられない。プラットフォームは複数のオプション処理を維持し、利用可能なリソースと期待収益に適合するものを拡張する。
本当の課題は容量を返却すること
オポチュニスティックな処理が、容量を所有するサービスに損害を与える前に消える場合にのみ、このシステムは成功する。
遊休容量は、定義上、一時的なものだ。地域トラフィックの増加、予定されたローンチ、モデルのデプロイによって、それまで空いていたプロセッサが再び必要になる可能性がある。Metaは、追加のランキング処理がベースライン割り当てへ流れ込むことを許さずに、それらのリソースを返却しなければならない。
SBMは物理的な分離によってベースライントラフィックを保護する。ベースラインモデルとより強力なモデルは、別々のルーティング先を使う。専用レプリカは通常のリクエスト向けに確保され、オポチュニスティックなレプリカが選択された強力モデルの経路を処理する。
余剰アクセラレータがなくなると、コントローラーはより強力なモデルのカバレッジを縮小する。その経路から外れたリクエストは、ベースラインモデルへ戻る。これらのリクエストは、Metaが専用ベースラインレプリカをプロビジョニングする際にすでに織り込み済みだった。
RMAは、より多くを論理的な分離に依存する。そのレプリカは、ベースライン処理と追加の候補ランキング処理を混在させて受け取れる。グローバル予算が、オポチュニスティック容量上のレプリカが支えられる範囲に増分処理を制限する。
プールが縮小すると、RMAは目標候補数を減らす。より広い探索を取り除くのであって、その処理を専用ベースライン容量に回すわけではない。ユーザーは引き続き広告の選定を受けるが、ランキング処理で評価されるオプション候補は減る。
両レバーはフィードバックループを通じて動作する。RMAは、一般にPIDコントローラーと呼ばれる中央の比例・積分・微分コントローラーを使用する。このコントローラーは、観測された性能を目標値と比較し、現在および蓄積された誤差に応答することで出力を調整する。
MetaのRMAコントローラーは、テールレイテンシを監視し、持続可能な候補数目標を算出する。クライアントはこの目標を新しいリクエストに適用する。レイテンシが閾値を下回っていれば候補数は増やせる。レイテンシが上昇すれば、コントローラーはそれを減らす。
SBMは、より強力なモデルのカバレッジに対して同様の制御経路を使用する。そのコントローラーが目標シェアを選択し、クライアント側のルーティングが対象リクエストのうちどれをその経路に入れるかを決める。キャリブレーション機構は、目標トラフィックと実際のトラフィックの差を補正する。
中央制御だけでは、急なプリエンプションへの対応が遅すぎる。Metaによれば、これらのループは数分単位で動作する一方、更新された目標がすべてのクライアントに届く前に容量が消える可能性がある。この遅延は、ベースラインサービスにとって最も危険な期間を生む。
そのためプラットフォームは、サーバー側とクライアント側のロードシェディングを追加している。ロードシェディングとは、システムが過負荷に近づいた際に、オプション処理を意図的に切り捨てることを指す。Metaは価値シグナルを適用し、価値が最も低い増分処理から先に消えるようにする。
サーバーは、ボトルネックに近い場所で応答する。RMAでは、個々のリクエスト内で処理する追加候補数を減らせる。SBMサーバーは、より強力なモデルへ送られるリクエストに対して同等のポリシーを適用する。
クライアントも、最新の中央目標だけに依存せず、サーバーの健全性を観測する。過負荷のサーバーが検出されると、RMAクライアントは追加候補をより少なく要求する。SBMクライアントは、ベースラインモデルから振り分けるリクエストを減らす。
Metaによると、これらのローカル防御は数ミリ秒以内に反応する。中央コントローラーが新しい目標を算出し、フリート全体へ配布するまでの長い時間を補う役割を果たす。
分散システムが完全に最新の単一ビューを共有することはほとんどないため、この階層的な応答は重要だ。中央コントローラーはグローバルに最適化できるが、応答は遅い。ローカルサーバーは即座に圧力を検知できるが、フリート全体を調整することはできない。Metaは、1つの仕組みですべての障害モードを解決しようとせず、両方の時間スケールを用いている。
このパターンは、Metaが以前に取り組んだtail-utilization workも踏まえている。Metaによれば、このプロジェクトは追加リソースなしで処理出力を35％増加させた。また、タイムアウトエラーを3分の2削減し、p99レイテンシを半減させた。
新しい設計は目標そのものを変える。テール利用率の改善は、既存リソースからより予測可能な出力を得ることを目指していた。オポチュニスティック推論は、意図的に変動性の高い供給を導入し、そこから生じる任意需要を制約する。
より良い広告は、単に計算量を増やすことではなく、より多くをランキングすることにかかっている
追加の計算資源が価値を生むのは、Metaがそれを広告推薦を実質的に改善する判断に割り当てた場合に限られる。
RMAは、よく知られた検索の原則に基づいている。ランキングシステムは、前段階で除外された有望な候補を選択できない。より幅広い候補群を評価すれば、特に初期の検索スコアが不完全な場合、後段のモデルが関連性の高い広告を見る可能性が高まる。
ただし、候補を増やしても、結果が比例して改善する保証はない。ファネルが広がるほど、追加される項目の有望度は低下する。また、各拡張では、アクセラレータ推論が始まる前に、検索と特徴量処理のためのCPU時間が消費される。
そのためMetaは、候補をさらに1件追加することによる期待利益が、そのリソースコストを上回る変動的な地点を見つけなければならない。その地点は、ユーザー、利用可能な広告、地域インフラ、現在デプロイされているモデルによって変化する。
SBMも関連する問題に直面している。より強力なモデルはより多くのアクセラレータ容量を消費するが、その増分効果はリクエストごとに異なる。すべてのリクエストをそのモデルに通せば、任意の容量が恒常的な要件へと変わってしまう。
代わりにルーターは、予測を変えるケースのために高コストな推論を確保しようとする。このため、Metaのモデル選択戦略は、大規模モデルそのものと同じくらい重要になる。ルーティングが不適切であれば、ベースラインの判断が変わらないリクエストに希少なアクセラレータを使ってしまう可能性がある。
Metaは、自社のAndromeda retrieval engine内でも同様の弾力性を適用している。同社は、モデルの弾力性を階層型ニューラルネットワークと組み合わせることで、推論効率を10倍改善したと報告している。また、エンドツーエンドの推論スループットは3倍超に達したとしている。
これらの数値はAndromedaについてのものであり、新たに発表されたオポチュニスティックプールについてのものではない。RMAやSBMの性能測定値として扱うべきではない。Metaは新システムについて、比較可能な改善幅を公表していない。
この欠落は重要である。なぜなら、計算資源の利用率と広告価値は別の指標だからだ。プロセッサは、より多くの作業を実行しても、より良い推薦を生み出すとは限らない。推薦はオフラインスコアを改善しても、広告主の成果やユーザー満足度を高めるとは限らない。
このシステムの価値認識型割り当ては、これらの層を接続しようとしている。RMAは、より広い検索によってより良い候補が見つかるかを問う。SBMは、追加のモデル複雑性が特定セグメントに対する予測を改善するかを問う。次に割り当てプロセスが、それらの増分リターンを比較する。
これは、インフラ健全性を超えたフィードバックの問題を生み出す。Metaには、追加作業がなかった場合に何が起きていたかを推定する安定した実験が必要だ。トラフィック構成、オークション条件、キャンペーン変更、季節的な行動はいずれも、観測結果に影響し得る。
探索は、こうした推定を最新の状態に保つ助けとなる。セグメント全体にトラフィックを残すことで、システムはより強力なモデルが有効な場所を継続的に検証する。探索がなければ、初期のルーティング選択が一部セグメントからデータを奪い、その選択を自己強化する可能性がある。
同じ論理は、最終的にはRMAとSBMの選択も支配するはずだ。Metaは、弾力性レバー全体にわたって容量を自動配分する最適化システムを開発していると述べている。目標は、地域、ハードウェア、持続性の制約内で、ユーザーと広告主の利益を最大化することだ。
その将来のコントローラーは、オポチュニスティックプールを推論のための内部市場へと変えるだろう。異なるワークロードは、測定された限界価値に基づき、次に利用可能になるユニットを競い合うことになる。難しさは、異なるメカニズムと時間軸を通じて生じる利益を比較する点にある。
より広い候補検索は、発見を即座に改善できる。より良いモデルは、コンバージョン推定やオークション判断を洗練できる。事前計算された特徴量は、ライブリクエスト経路の外側で、後から価値を生む可能性がある。運用リスクを隠すことなく、これらのリターンを比較可能にする単一のスコアが必要となる。
Metaの主張が依然として示していないこと
Metaはベースラインサービスを保護する方法を説明しているが、システム全体の事業インパクトを判断するには十分なデータを提供していない。
発表では割合、実験期間、信頼区間を公表せずに「広告主にとって大きな価値」があると説明している。また、取り込まれたアイドル容量の平均量も省略している。公開情報から、読者はシステムの利用率向上やリターンを計算できない。
Metaは、拡張ランキング経路を受けるプラットフォーム、地域、広告主セグメントを特定していない。同社はまた、オポチュニスティック容量がどの頻度で回収されるのか、ローカルな負荷遮断がどの程度の頻度で作動するのかも開示していない。
こうした詳細の欠落は、アーキテクチャを無効にするものではない。エンジニアリング発表は、商業的な報告よりもメカニズムに焦点を当てることが多い。ただし、他の推薦システムとの比較を制限し、Metaの価値に関する主張を独立して検証することを妨げる。
ベースライン保護も慎重に解釈する必要がある。Metaは、物理的・論理的な分離によって、任意の作業が通常のレイテンシーと信頼性を損なわないようにすると述べている。この設計には説得力があるが、このデプロイメントにおける導入前後のレイテンシー分布は公表されていない。
ローカルでミリ秒単位の反応があっても、すべての遷移リスクを排除できるわけではない。地域的な急増は、CPU、アクセラレータ、ネットワーク、依存サービスにそれぞれ異なる影響を与え得る。あるリソースが制約を受ける一方で別のリソースには余裕が残り、コントローラーは実際のボトルネックを特定しなければならない場合がある。
論理的分離は、特に計測精度に敏感である。RMAは一部のレプリカでベースライン作業と任意作業を混在させる。そのグローバル予算は、変化するトラフィック条件下でオポチュニスティックレプリカが実際に支えられる増分作業量を反映しなければならない。
価値認識型の遮断は、別の疑問も提起する。リクエスト価値シグナルが、負荷圧力下でどの任意作業を維持するかを決める。Metaは適応的なプロセスを説明しているが、そのシグナルに関連する特徴量、公平性テスト、ガードレールは明らかにしていない。
予測エンゲージメントを軸に最適化されたシステムは、反応を測定しやすいリクエストを優遇する可能性がある。だからといって、ユーザーにとってより有用な広告が表示されることを自動的に意味するわけではない。エンゲージメント、コンバージョン、広告主のリターン、長期的なユーザー体験は関連しているが、異なる目標である。
発表では、より強力なモデル自体についてもほとんど詳しく説明されていない。Metaはその規模、計算コスト、ベースラインモデルに対する改善幅を示していない。読者は、ルーティングが価値を持つまでにSBMがどれほどのアクセラレータ余剰を必要とするかを判断できない。
競争も別の圧力を加える。大手広告プラットフォームは、検索、ランキング、自動クリエイティブ、独自の推論インフラに投資している。Metaの優位性は、単に余剰アクセラレータを保有することではなく、これらの構成要素をどれだけ迅速に接続できるかに左右される。
Googleのworkload autoscalingに関する経験は、より広い機会を示している。同社のAutopilot研究では、自動管理ジョブのリソース余裕は23パーセントであり、手動管理ジョブの46パーセントと比較された。また、深刻なメモリ不足の影響を10分の1に削減したとしている。
Autopilotはジョブ全体のリソース構成を扱う一方、Metaのシステムは推薦経路内の任意作業を制御する。それでもこの比較は、自動化された弾力性が重要である理由を示している。大規模フリートは相当な容量を回収できるが、それは安全メカニズムによって本番チームが自動化を信頼できる場合に限られる。
Metaのシステムも、社内で同じ信頼を得なければならない。広告チームは、借用した容量が問題なく消えることを確信する必要がある。インフラ所有者は、アイドルリソースの共有が需要急増時に自らのサービスを弱めないと確信する必要がある。
発表が提供しているのは、その信頼のためのアーキテクチャであって、最終的な証明ではない。分離、フィードバック、負荷遮断の各層は、システムがどう振る舞うべきかを定義している。本番環境の測定値は、これらの防御策がハードウェア、地域、トラフィックサイクルをまたいでどれほど一貫して機能するかを示す必要がある。
この戦略が拡張するかを示す3つのシグナル
次の段階は、単により多くのアイドル計算資源を見つけることではない。Metaが変動性の高い容量を自動的かつ収益性を伴って割り当てられることを証明することだ。
第一のシグナルは、定量化された本番結果である。Metaは、回収された容量の割合、プリエンプションの頻度、広告主成果の測定された改善を開示すべきだ。対照された結果は、Meta AIの推論容量が、プロセッサ利用率の向上以上のものを生み出すという主張を強化するだろう。
有用な開示では、RMAとSBMを分けて示すべきだ。この区別により、候補評価の拡大と強力モデルへのルーティングのどちらがより良い限界リターンを生むかが分かる。また、フリートがCPUとアクセラレータの余力をどの程度の頻度で両立させているかも明らかになる。
第二のシグナルは、より広範なワークロード弾力性である。Metaは、候補数の増加、より高性能なモデルの利用、事前計算の弾力性の開発を計画していると述べている。事前計算はライブリクエスト前に作業を実行し、トラフィックがどこでいつ到着するかへの依存を減らす。
事前計算は、同期ランキングには遠すぎる、または不安定すぎる容量を吸収できる可能性がある。一方で、保存済みの結果が古くなる可能性があるため、新たな正確性の問題も生む。Metaには、有効期限ルールと、事前計算出力が実際にいつ使用されるかを考慮した価値推定が必要になる。
モデルの可搬性も同じシグナルの一部となる。互換性のあるモデルを実行できなければ、余剰ハードウェアの価値はほとんどない。Metaは、より多くの断片を利用可能なプールに組み込めるよう、地域やアクセラレータ種別をまたいで取り組んでいる。
より幅広いハードウェア範囲は、このプラットフォームが異種性を柔軟性へ変えられることを裏付けるだろう。この範囲を広げられなければ、理論上のプールの大部分は、モデル形式、メモリ制限、不足する補助リソースによって利用できないままとなる。
第三のシグナルは、Metaが構築中だとする自動アロケーターである。現在、同社は測定された性能とリソース需要に応じて、RMAとSBMの間の容量を定期的に調整している。本番用の最適化機構は、より多くのレバーにわたり、その選択を継続的に行うことになる。
その最適化機構は、期待利益、ハードウェア互換性、地域制約、利用可能な容量の持続性を考慮しなければならない。短いバーストは即時の候補拡張に適している可能性がある。より長いウィンドウであれば、大規模モデルのロードや事前計算を正当化できるかもしれない。
信頼できるアロケーターは、その障害境界も明らかにすべきだ。エンジニアは、システムがいつフォールバックするのか、不確実な価値推定をどう扱うのか、そして高スコアの1つのワークロードが余剰アクセラレータをすべて独占することを何が防ぐのかを知る必要がある。
成功すれば、Metaは他の推論製品に再利用できるパターンを手にすることになる。推薦フィード、整合性システム、生成機能にも、異なるレイテンシー要件を持つ任意作業が含まれている。同社はこうしたデプロイメントを発表していないため、現時点では能力ではなく可能性にとどまる。
戦略的な教訓はすでに見えている。AIインフラ競争は、より多くのチップを獲得するだけの競争ではない。すでに導入されたハードウェアから、より有用な判断を引き出す競争でもある。
Metaのアプローチは、容量計画をライブの製品変数へと変える。ランキングの深さとモデルの強さは、フリートで利用可能なリソースに応じて変動する。ベースラインサービスは固定的な約束として維持される一方、推薦品質はその基準線を超えて弾力的に変化する。
次の問いは測定可能だ。Metaは、こうした一時的な改善が広告主とユーザーに持続的な価値をもたらすことを示す証拠を公表するのか。RMAとSBMを分けた結果、より幅広いハードウェアのサポート、そして借用した計算リソースの各単位を正当化できる本番用アロケーターに注目したい。
