AT&T、モデルルーティングとオープンモデルでAIコストを90%削減

AT&Tは、1日平均450億トークンを処理しながら、一部の人工知能コストを最大90%削減したと述べている。Google Newsの読者に届くこの主張は目を引くが、見出しの割合以上に、その仕組みが重要だ。

同社は、あらゆる高性能システムを置き換えられる単一の低コストモデルを見つけたわけではない。各リクエストで予想される難易度、速度、品質、コストに応じて異なるモデルを選択するゲートウェイを構築した。

このアプローチは、企業がOpenAI、Anthropic、Google、または他の主要プロバイダーのフロンティアモデル1つに標準化すべきだという前提に異議を唱える。AT&Tは代わりに、商用システムと、通信業務向けに学習させた小規模なオープンモデルを組み合わせている。

この戦略には明確なトレードオフがある。モデルの選択によって推論コストを抑え、単一サプライヤーへの依存を減らせる一方、多数のシステムにまたがって品質、セキュリティ、レイテンシー、障害を評価しなければならない複雑な運用レイヤーが生まれる。

AT&Tの結果は引き続き同社による報告であり、公表されている証拠は完全な独立監査を示すものではない。それでも、その規模を考えれば、単なる企業のAI実験以上の意味を持つ。

AT&T、モデルルーターを本番環境に導入

AT&Tにとって重要な変化は、単にオープンモデルを採用したことではない。従業員やアプリケーションと、リクエストに応答するモデルの間にモデル選択の仕組みを配置したことだ。

AT&TのChief Data and AI OfficerであるAndy Markusは、7月23日の同社によるAI経済性に関する投稿で、この戦略を説明した。同社は1日平均450億トークンを処理していると、そのAIコスト更新で述べている。

トークンとは、モデルが処理するテキストまたはデータの小さな単位だ。大半のホスト型AIサービスは入力と出力の消費量に応じて課金するため、トークン量は有用な運用指標となる。

すべてのトークンを最も高性能なモデルに送れば、仕組みは単純になる。しかし、定型的な抽出、分類、要約、データ準備のタスクにまで高価な推論能力を使うことになり、無駄も大きい。

AT&T独自のAI Gatewayは、その無駄を防ごうとしている。このゲートウェイは、モデルを選ぶ前に再利用可能な情報がすでに存在するかを考慮する、キャッシュ認識型ルーティングを使用する。

各ターンで、システムは期待される回答品質を速度とコストに照らして評価する。また、会話全体を1つのプロバイダーに固定するのではなく、複数ターンの会話の途中でモデルを変更することもできる。

このセッション途中での切り替え機能は重要だ。会話は基本的な検索から始まり、専門的なネットワーク分析へ進み、複雑な推奨で終わる場合がある。

静的な割り当てでは、こうしたステップを1つのワークロードとして扱う。動的ルーティングなら、要件に応じて別々のシステムへ送ることができる。

AT&Tによれば、このプロセスにより関連するAIコストを最大90%削減し、すでに数百万ドル規模の節約につながっている。これらは研究室のベンチマークではなく、本番利用についての説明だ。

ただし、AT&Tは90%という数値の分母を公表していない。最大削減を受けるトラフィックの割合や、詳細な品質比較も開示していない。

したがって、この主張は企業が得た上限値の結果として読むべきだ。すべてのアプリケーションや企業に保証される節約額として扱うべきではない。

その制約があっても、開示された処理量は結果に重みを与える。企業が毎日数百億トークンを処理する場合、小さなルーティング改善でも効果は積み重なる。

このシステムは、AT&Tの以前からのアーキテクチャ上の選択も反映している。Ask AT&Tは当初OpenAIの技術に依存していたが、同社は他社のアルゴリズムもサポートできるよう設計していた。

その柔軟性は、2023年にAsk AT&Tが開始された際にも明らかだった。この社内アシスタントは、コーディング、カスタマーサービス、翻訳、文書検索、ネットワーク最適化、レガシーソフトウェア対応を支援した。

AT&Tの現在のゲートウェイは、その選択肢を運用ポリシーへと変えている。アプリケーションは、すべてのモデル判断を個別に下す必要がなくなる。

ゲートウェイは、ルーティング、キャッシュ、計測、ガバナンスの制御点となる。プロバイダーが新しいモデルをリリースしたり、サービス条件を変更したりしても、一貫したルールを適用できる。

だからこそ、Google Newsを通じて伝わるこの話は、単なるコスト削減の発表より大きな意味を持つ。AT&Tはモデル選択をアプリケーション設定ではなく、企業インフラとして扱っている。

モデルルーティングが企業AIの経済性を変える理由

ルーターは競争の焦点を、普遍的に優れた1つのモデルを見つけることから、各タスクの要件を満たす最も低コストなモデルを見つけることへ移す。

企業におけるAI導入は、しばしば単純なパターンから始まる。チームが有力なホスト型モデルを選び、社内情報を接続し、パイロットが成功した後にアクセスを拡大するという流れだ。

従業員が時折質問する段階を超えると、コスト予測は難しくなる。自動化ワークフローでは、繰り返しのプロンプト、長いコンテキスト、ツール呼び出し、再試行、中間出力が発生しうる。

エージェントは、1つのユーザーリクエストで多数のモデル呼び出しを引き起こしうるため、その負荷を高める。ワークフローは、レコード取得、文書分類、計画作成、ソフトウェアツールの呼び出し、結果確認、回答の修正を行う場合がある。

ユーザーに見えるのは、完了した1つのタスクだ。企業はそれを生み出すために必要なすべてのステップに対して支払う。

AT&Tのルーターは、消費が起きる前にこの問題へ対処する。請求書が届いてから過剰支出を分析するのではなく、各ターンで適切なモデルを選ぼうとする。

これは、混成チームに仕事を割り振ることに似ている。定型的な依頼に常に最も専門性の高い専門家が必要とは限らない一方、難しい判断ではエスカレーションが正当化される。

ただし、この例えには限界がある。ルーターはその判断を自動的に下さなければならない。判断を誤れば、より高性能なモデルが必要だったと誰かが気づく前に、質の低い回答が生成される可能性がある。

AT&Tによると、そのゲートウェイはコストと速度とともに予想出力品質を見積もる。この品質しきい値こそ、節約率の方が注目を集めるとしても、中心的な要素だ。

コストだけに基づくルーティングでは、一貫して利用可能な最小モデルが選ばれる。本番環境のルーティングでは、特定のタスクに対して許容可能な品質を維持する最も低コストの選択肢を特定する必要がある。

その結果として生まれるシステムは、企業により大きな交渉力を与えうる。プロバイダー間でワークロードを移行できる企業は、1社のベンダーの技術的制約や商業条件を受け入れる圧力が小さくなる。

この戦略は、アプリケーションの構築方法も変える。開発者は、すべての機能を恒久的に1つのモデルへ結び付けることなく、能力やサービスレベルを要求できる。

この抽象化は、将来の移行を短縮できる。また、新しいモデルをより広範に利用可能にする前に、実稼働ワークロードのカテゴリに対して評価することも可能にする。

AT&Tのアプローチでは、フロンティアモデルの役割がより限定される。すべてのインタラクションのデフォルトエンジンではなく、推論負荷の高いリクエストに対するエスカレーション先となる。

これは、フロンティアシステムの価値が失われるという意味ではない。小規模なモデルでは信頼性高く完了できない業務と、その価値を対応させる必要があるという意味だ。

独立した観察者も、このアプローチをより広い企業パターンの一部と見ている。AvidThinkのプリンシパルであるRoy ChuaはMobile World Liveに対し、有力企業はコスト、セキュリティ、キャッシュ、監査の管理のためにルーティングゲートウェイを使用していると語った。

Futuriom創設者のScott Raynovichは、オープンモデルによって、企業が最も高価なフロンティアシステムに依存せずに独自の企業データを活用できると主張した。

これらのコメントはアーキテクチャを支持するが、AT&Tが報告した節約額を独立して検証するものではない。アーキテクチャと測定された事業成果は別の問題であるため、この区別は重要だ。

ルーターは権限も集中させる。ゲートウェイを制御する者が、どのモデルにトラフィックを送るか、どの品質しきい値を適用するか、障害をどう処理するかを決める。

この位置付けは、戦略的な価値を増している。モデルプロバイダーは知能を競う一方、ルーティングレイヤーはアプリケーションやプロバイダーを横断して需要を観測する。

ルーターは、コーディング、カスタマーサポート、通信規格、不正分析、文書抽出において、どのモデルが高い性能を発揮するかを学習できる。その性能履歴は有用な運用データとなる。

企業の購入担当者にとって、教訓は実践的だ。モデルのベンチマークだけでは、本番AIプログラムの経済性を説明できない。

ワークロードの構成も同じくらい重要だ。組織は、どのタスクが一般的か、どれが高コストか、どれが本当にフロンティアレベルの推論を必要とするかを把握する必要がある。

チームには、追跡可能な評価基準も必要だ。それがなければ、ルーティングは回答品質をひそかに低い消費量と引き換えにする不透明な仕組みになりうる。

検索可能なAIワークフローは、チームが意思決定、根拠、出力を保持するのに役立つ。複数のモデルが1つのプロセスに関与する場合、この記録はより重要になる。

Google Newsの報道では、90%という数値が単一の技術的ブレークスルーのように見えるかもしれない。AT&Tの実際の手法は、分類、評価、キャッシュ、ワークロード測定を伴う継続的な取り組みだ。

オープンな通信業界向けモデルがAT&Tに別のコスト削減手段をもたらす

ルーティングは不要な消費を削減し、ドメイン特化型のオープンモデルは、通信の専門用語と運用を理解する低コストな選択肢をルーターに与える。

AT&Tはゲートウェイに、通信向けに適応したオープンモデルファミリーであるOTel 2.0を組み合わせた。同社は、業界データと複数のコンピューティングプラットフォームを用いてモデルを開発した。

ドメイン特化型モデルは、一般的な会話ではなく、限定された分野向けに学習または適応されたモデルだ。より狭い焦点により、専門用語、文書、運用上の質問に対する性能を向上させられる可能性がある。

通信業界は難しい試験場となる。モデルは技術標準、ネットワークトポロジー、機器テレメトリー、無線設定、マルチベンダーのシステムを解釈する必要がある場合がある。

汎用モデルでも、こうしたテーマを広く論じることはできる。それでも、もっともらしいが誤った回答が深刻な結果を生みかねないネットワーク運用では、必要な精度に欠ける可能性がある。

GSMA Intelligenceは、ドメイン適応型モデルは通信タスクでの競争力を維持しながら小型化できると主張している。そのOTel分析は、AT&Tの戦略を、すべてのリクエストを汎用フロンティアモデル経由でルーティングすることに代わる選択肢として位置付けている。

AT&Tによれば、AMD GPU上で4,000億トークン超を使用し、OTel 2.0のポストトレーニングを実施した。より広範な開発ワークフローでは、およそ1兆トークンを処理した。

Microsoftによると、AT&TはFoundry Managed Computeを通じて約530基のGPUを使用した。この総数には、430基のAMD Instinct MI300X GPUと複数のハードウェアアーキテクチャが含まれていた。

モデル開発パイプラインも、複数のオープンモデルに作業を分散した。MicrosoftのPhi-4はデータ準備と合成データ生成を担い、月間7,000億トークン超を処理した。

他のモデルは推論と開発のタスクを支援した。これは本番ゲートウェイの思想を反映している。すべての段階で、1つのモデルが支配的である必要はない。

Microsoftによれば、オープンモデルによるデータ生成は、同じ開発作業にフロンティアモデルを使用する場合と比べて数千万ドルを節約した。これはパートナーによる報告上の比較であり、中立的な財務監査ではない。

それでも、Microsoft accountは、AT&Tの短い発表を超える技術的な詳細を提供している。そこからは、モデルの選択とハードウェアの選択が相互に関連する判断として扱われていたことが分かる。

オープンモデルは、ベンダーが管理するアプリケーション・プログラミング・インターフェース経由だけでなく、専用インフラ上で実行できる。したがって企業は、モデル、アクセラレーター、クラウド、オンプレミスシステムのさまざまな組み合わせを評価できる。

その柔軟性は、AT&Tが表明するソブリンティへの関心を支える。この文脈でのソブリンティとは、データフロー、導入の選択肢、サプライヤーへの依存関係を自ら管理することを意味する。

これは、AT&Tが外部技術を排除したという意味ではない。このプロジェクトはMicrosoftのインフラ、AMDのハードウェア、GSMAのデータ、そして外部で開発された基盤モデルを利用している。

この戦略は、依存先の分散として理解するのが適切だ。AT&Tは、特定のモデル、チップ供給元、クラウド、開発環境が代替不可能になることを防ごうとしている。

この立場は交渉力を高める可能性がある。複数のプラットフォームで同等の成果を示せれば、調達交渉における切り替えの現実性が高まる。

オープンモデルは、より深いドメイン適応も可能にする。AT&Tは、承認済みの通信関連資料を用いて学習させ、ネットワーク固有のタスクに合わせて評価を調整できる。

GSMAによると、初期のソース資料には標準文書や業界文書が含まれていた。貢献者には、無線ネットワーク、インターフェース、API、通信事業運用を扱う団体やプロジェクトが含まれる。

このモデル群は、より広い業界での利用も想定している。成果物を他者が利用可能にすることで、共同テスト、拡張、専門的なアプリケーションの促進につながる可能性がある。

ただし、AIにおける「オープンソース」は慎重に解釈する必要がある。公開には重みや利用権が含まれていても、すべての学習記録、フィルタリング判断、開発手法が開示されるとは限らない。

OTel 2.0を評価する組織は、実際のライセンス、ドキュメント、データ開示、導入要件を精査しなければならない。ラベルだけではガバナンス上の疑問に答えられない。

学習ワークフローの規模は、オープンであることが無料を意味しないことも示している。専用GPU、エンジニアリング人材、セキュリティ統制、評価、継続的な推論にはすべてコストがかかる。

AT&Tは異例の規模で事業を展開しているため、こうした投資を正当化できる。小規模企業では、ルーティングによる節約額よりも、モデルポートフォリオの構築・管理費用の方が大きくなる可能性がある。

この規模の差は、直接的な模倣を難しくする。移転可能な考え方は、すべての企業が通信モデルを学習すべきだということではない。

より広い教訓は、モデルの選択をワークロード固有の根拠と組み合わせることだ。企業は、ドメイン性能、制御性、運用経済性が追加の責任を正当化する場合に、オープンモデルを活用すべきである。

90%の削減には依然として品質監査が必要

AT&Tは信頼できる仕組みと大規模な運用規模を明らかにしているが、見出しの結果を独立して検証するには十分な証拠を公開していない。

最初の不確実性は対象範囲にある。「最大90%」は報告された中で最も大きい削減を示すものであり、AT&TのAI基盤全体における平均値とは限らない。

公開情報では、基準となるモデル構成は特定されていない。また、小型モデルに移行したトラフィック量、ルーターが上位モデルへエスカレーションした頻度、アプリケーションごとの削減額の違いも示されていない。

2つ目の不確実性は品質に関するものだ。AT&Tはルーティングが品質を損なわないとしているが、読者はタスク単位の受け入れ基準や評価結果を確認できない。

これは重要な欠落である。品質は単一の尺度ではないためだ。顧客サービスの要約、ネットワークの推奨、ソフトウェアパッチ、不正検知アラートには、それぞれ異なる基準が求められる。

ルーターは、より多くのトラフィックを小型モデルに送ることで平均支出を下げられる。その結果に価値があるのは、それらのモデルが割り当てられた業務で信頼性を維持する場合に限られる。

評価では、まれな失敗も検出しなければならない。平均スコアは、ネットワーク運用や規制対象のワークフローにおける少数の高コストなミスを隠してしまう可能性がある。

人によるレビューも引き続き重要である。Ask AT&Tの立ち上げ時、Markusは、生成されたコードやその他の重要な出力を専門家が依然として検証する必要があると述べた。

ルーティングはその要件をなくすものではない。選択されるモデルが変わるとアプリケーションの挙動も変わり得るため、チームが監視すべき判断をさらに1つ加えることになる。

キャッシュを意識した運用にも関連する懸念がある。過去の計算結果を再利用すれば消費量を削減できるが、キャッシュされた情報は最新であり、適切にスコープ設定され、保護されなければならない。

ある従業員や顧客に適した応答を、別の相手に自動的に再利用することはできない。アイデンティティ、権限、地域、データ保持ポリシーはリクエストに従う必要がある。

セキュリティチームは、接続されるすべてのプロバイダーとモデルも評価しなければならない。マルチモデルシステムでは、統合、認証情報、ログ、ポリシー境界、潜在的な障害モードが増える。

ゲートウェイはこれらの統制を一元化でき、それは利点である。しかし一元化は同時に、ゲートウェイを高価値の標的かつ重要な依存先にもする。

分類ロジックが失敗すれば、機密性の高いタスクが未承認のモデルに送られる恐れがある。サービスが利用不能になれば、多くの下流アプリケーションが同時に障害を起こす可能性がある。

レイテンシーも別のトレードオフとなる。ルーターはモデルを選ぶために十分な情報を確認する必要があり、複雑な評価は回答を遅らせる可能性がある。

キャッシュは一部の遅延を相殺でき、小型モデルはより速く応答する場合がある。最終的な結果は、ルーティングのオーバーヘッド、アプリケーション設計、選択されたモデルに左右される。

ベンダーの多様化も運用負荷を生む。プロバイダーごとに、インターフェース、コンテキスト上限、ツール呼び出しの形式、安全性統制、更新スケジュールが異なる。

ゲートウェイは、その差異の一部を正規化できる。しかし、2つのモデルがあらゆる指示や構造化出力形式を同じように解釈する保証はない。

モデルの更新により、この問題は継続的なものとなる。先月は良好に機能したルートが、プロバイダーによる挙動変更や後継モデルのリリース後には劣るものになる可能性がある。

したがってAT&Tは、各ルートを一度認定するだけでなく、評価を継続的に維持しなければならない。本番トレースでは、ワークロード別の失敗率、エスカレーション、レイテンシー、人による修正が明らかになるべきだ。

オープンモデルの導入では、サプライチェーン上の考慮も加わる。チームは、提供スタック全体で重み、ライブラリ、ライセンス、モデルの来歴、脆弱性を追跡する必要がある。

データ品質も別の制約だ。標準文書や合成データで学習された通信モデルでも、欠落、古い前提、特殊な機器に対する不十分なカバレッジを引き継ぐ可能性がある。

リーダーボードの結果は有用な証拠になるが、すべての実運用ネットワーク条件を再現するものではない。本番評価には、AT&T自身のデータ、ツール、運用上の影響を反映させる必要がある。

最後の不確実性は組織に関するものだ。技術的に健全なルーターでも、不明確なワークフローや責任者が定まっていないアプリケーションを修復することはできない。

AT&Tの経営陣は、個別のAIタスクではなく、エンドツーエンドのワークフローを重視してきた。この区別は重要だ。従業員が後で低品質な出力を修正しなければならなければ、局所的な節約は消えてしまう可能性がある。

同様のシステムを検討する企業は、プロセス全体のコストを算出すべきだ。その会計には、モデル消費、インフラ、評価、エンジニアリング、セキュリティ、レビュー、障害復旧を含める必要がある。

比較すべきなのはトークンだけでなく、完了した成果である。別の問い合わせ、別のモデル実行、あるいは手作業によるやり直しを招くなら、より安価な回答は経済的とはいえない。

こうしたリスクのいずれもAT&Tの結果を否定するものではない。報告された割合が、デューデリジェンスの終点ではなく出発点であるべき理由を説明している。

Google Newsの読者にとって、責任ある解釈は限定的である。AT&Tによれば、そのゲートウェイは最大90%の削減を実現したが、より広い適用可能性は依然として検証されていない。

AT&TのAIコスト削減主張の後に注目すべき点

AT&Tが再現可能なエンタープライズアーキテクチャを構築したのか、それとも特に好条件のワークロード群を記録しただけなのかを示すシグナルは3つある。

第1のシグナルは、より詳細な本番スコアカードである。AT&Tは最大の削減額だけでなく、ワークロードのカテゴリー別に平均削減額を開示すべきだ。

有用な報告では、カスタマーケア、コーディング、文書検索、ネットワーク分析、不正検知、自律型ワークフローを分けることになる。各カテゴリーには異なる品質基準とモデルプロファイルがある。

強力なスコアカードには、エスカレーション率、レイテンシー、エラー率、人による修正が含まれる。また、単位コストが低下した後も消費量が増え続けているかどうかも示すべきだ。

平均コストが抑制されたまま利用量が拡大するなら、AT&Tのモデルルーティングの主張は強まる。削減が単純なタスクの小規模なグループに集中するなら、その主張の移転可能性は低くなる。

第2のシグナルは、OTel 2.0の独立評価である。業界リーダーボードは出発点となるが、通信事業者には実際のネットワーク判断に結び付いたテストが必要だ。

評価者は、このモデルをより大規模な汎用システムと比較し、標準の解釈、トポロジー分析、テレメトリーに基づく推論、トラブルシューティング、ツール利用を評価すべきである。

また、小型モデルが失敗する領域も記録すべきだ。信頼できるドメインモデルには、高い総合スコアだけでなく、明確なエスカレーション境界が必要である。

AT&T以外でのOTel 2.0の採用も、別の証拠となる。他の通信事業者は、報告された利点が異なるネットワーク、ベンダー、言語、規制の下でも維持されるかを検証できる。

意味のある外部導入は、専門化されたオープンモデルが業界に貢献できるというAT&Tの主張を支えるだろう。採用が限定的なら、その経済性がAT&Tの規模と内部データに大きく依存していることを示唆する。

第3のシグナルは、最先端モデルとインフラの供給者がどう対応するかである。AT&Tの戦略は、あらゆるワークロードに対してプレミアムな消費コストを正当化するよう、彼らに圧力をかける。

プロバイダーは、小型モデル、低レイテンシーのシステム、より強力なキャッシュ、自動ルーティング、より予測可能なエンタープライズ契約で対応できる。ドメイン適応やプライベート導入の選択肢を改善することも可能だ。

ルーティング層における競争には特に注目すべきだ。クラウド企業、モデルプロバイダー、独立系ゲートウェイ、エンタープライズソフトウェアベンダーはいずれも、モデル選択に影響を与えようとしている。

ルーティングが標準化されれば、企業はワークロードをより自由に移動できる。各プラットフォームが独自のルーターを開発するなら、サプライヤーへの依存は単に上位層へ移るだけかもしれない。

ハードウェアの多様性も重要になる。AT&TによるAMDなどのアーキテクチャの利用は、企業がAIの経済性を単一のアクセラレーターロードマップに縛られずに済むかを試すものだ。

ハードウェア間で一貫した性能が得られれば、ソブリンティの主張は強まる。移行の難しさや不均一なソフトウェア対応は、その柔軟性を維持するコストを露呈させるだろう。

AT&Tの経験は、エンタープライズ購入者に実用的なチェックリストも提供する。まず、タスク、リスク、レイテンシー、品質、完了したビジネス成果に応じてリクエストを測定できる。

次に、より小型のモデルが狭く定義されたワークロードを満たすかを検証できる。承認済みの選択肢間で自動ルーティングを導入すべきなのは、その後である。

ガバナンスは広範なトラフィック投入より先に整備しなければならない。チームには、すべての本番ルートに対するアクセス制御、ログ、評価ゲート、フォールバックルール、インシデント手順、明確な責任者が必要だ。

目的は、安価に処理されるリクエストの割合を最大化することではない。許容可能で完了した業務のコストを最小化することである。

この区別により、ルーターをビジネス成果と整合させられる。また、コスト目標が顧客サービス、ネットワーク信頼性、従業員の信頼を知らないうちに損なうことも防げる。

AT&Tは、このアーキテクチャに関する大企業の最も明確な事例の1つを提示した。1日当たり450億トークン、動的ルーティング、ドメイン特化モデルの組み合わせは注目に値する。

同社は、すべての組織が90%の削減を再現できることを示したわけではない。1つのモデルにすべてのタスクを処理させることが、本番規模ではなぜ難しくなるのかを示したのである。

次の局面は、さらなる見出しではなく、エビデンスによって左右される。平均的なコスト削減額、外部によるOTel 2.0の検証、そしてマルチモデル購入に対するサプライヤーの反応に注目したい。

これらのシグナルによって、Google Newsの主張が業界のプレイブックとなるのか、それともAT&Tという特異な規模に左右された印象的な成果にとどまるのかが決まる。企業チームは、ルーターを選定したり別のモデルを学習させたりする前に、今すぐ自社のワークロード構成の測定を始めるべきだ。