Datadog Scout SREモデル、インシデントコストでフロンティアAIに挑む
Datadogは、高コストなフロンティアAIに真っ向から挑む、同社初の本番インシデント特化モデル「Scout 1.0」を発表した。Datadog Scout SREモデルは、選定された調査において主要な汎用システムと同等の性能を示しながら、推論支出を3分の1から19分の1に抑えられるという。この主張が重要なのは、AIレスポンダーには管理されたデモで印象的な回答を一度生成するだけでなく、頻繁に調査を実行する能力が求められるためだ。
Scoutは、アラートを調査して有力な根本原因を特定するDatadogのエージェント「Bits Investigation」を支えている。DatadogはオープンウェイトのGLM-5.3 Flashモデルを基盤に、強化学習でこれを特化させた。同社によると、Scoutは顧客データを直接学習に使わず、実際のインシデントパターンから導いたシミュレーションで訓練している。
これは単なるモデル発表ではない。Datadogは、すべてのアラートで最大手モデルプロバイダーから知能を購入するよりも、運用に特化することで優位に立てると賭けている。OpenAIやAnthropicの汎用システムは依然として比較対象だが、その幅広い能力にはより高い推論コストが伴う。Scoutは代わりに、テレメトリーの読解、仮説検証、本番障害の説明へと役割を絞り込む。
ここに中心的な緊張関係がある。特化モデルは、自動調査をより多くのアラートで実行できるほど手頃なものにできる。一方で、Datadogの最も強い根拠の多くは同社管理下のベンチマークに由来し、Scoutは依然としてクローズドプレビュー段階にある。報告されたテストの範囲ではコスト優位性は具体的だが、信頼性の優位性には、より広範な本番環境での証拠がなお必要だ。
Scout 1.0でDatadogが実際に変えたこと
Datadogは、AIインシデントレスポンダーのモデル層を、交換可能な依存関係から、自社の運用データとツールに合わせて訓練できる製品へと移行させた。
同社は2026年10月15日にScout 1.0を発表した。Scoutを、本番環境の問題調査に特化した初のAIモデルと位置付けている。このモデルは現在、Datadogのエンジニアリングチームと少数のプレビュー顧客向けにBits Investigationを支えている。
Bits InvestigationはScout以前から存在していた。Datadogはこのエージェントを、アラートの調査、関連テレメトリーの収集、考えられる説明の構築、そして有力な原因のエンジニアへの提示のために立ち上げた。初期版では、メトリクス、ログ、トレース、デプロイ変更、ソースコード、インフラストラクチャの関係性へのアクセスが重視されていた。
Scoutは、このエージェント内部の経済性と挙動を変える。Scout launchによると、Datadogは調査をより早く開始し、より頻繁に実行できるほど低コストにするためにモデルを訓練した。この違いが製品価値の中核を成す。
インシデントエージェントがモデル呼び出しを一度だけ行うことは稀だ。モニターを確認し、複数のメトリクスをクエリし、ログを検索し、トレースを追い、デプロイを比較し、複数の仮説を棄却するかもしれない。各アクションは追加のリクエストと、より長いコンテキストを生み出し得る。そのため、高性能でも高価なモデルでは、幅広いアラートカバレッジを経済的に実現しにくい。
Datadogによると、Scout 1.0 mediumは、社内のAlertEvalベンチマークでGPT-6.1 Sol highおよびClaude Opus 5.5 highと同等の性能を示す。同社は、Scoutが推論コストを3分の1から8分の1に抑えてそれを実現すると見積もっている。また、Fable 5.1 mediumおよびGPT-6 Astra mediumと同等の性能を、それぞれ12分の1および19分の1のコストで達成すると報告している。
Scout 1.0 xhighは、難しい調査においてより多くの計算を費やす。Datadogによれば、この設定はClaude Fable 5.1 xhighと同等であり、推定コストは4分の1だ。これらの比較は独立監査ではなく、Datadog自身による測定である。
同社はまた、AlertEvalのスコアをインシデント解決率として解釈しないよう注意を促している。このベンチマークは、専門家による参照説明との一致度を0から100の尺度で測る。スコア60は、モデルがインシデントの60％を解決したことを意味しない。
Scoutは現在もクローズドプレビューにとどまる。Datadogは、広範な提供開始、独立した顧客成果、またはモデルに紐づく本番サービスレベルの約束を発表していない。したがってこれは、市場で決着した結果ではなく、技術的に詳細な製品への賭けといえる。
AIインシデント対応が抱えるコスト問題
Scoutにおける重要な主張は、小型モデルがSREの質問に一度答えられることではなく、多数のアラートにまたがる長い調査を手頃なコストで継続できることだ。
サイト信頼性エンジニアリング、すなわちSREは、信頼性の高い本番システムを運用するためにソフトウェアエンジニアリングの実践を適用する分野だ。SRE調査は症状から始まるが、有用な答えは、サービス、データベース、ネットワーク、デプロイ、時間にまたがって隠れた関係性に左右されることが多い。
高レイテンシーのアラートは、過負荷のデータベース、失敗したキャッシュ、ネットワーク経路、あるいは直近の設定変更に起因する可能性がある。最初にもっともらしく見える説明が、必ずしも根本原因とは限らない。エージェントは証拠を集め、初期仮説に疑問を投げかけ、障害を複数のシステム層にわたって追跡する必要がある。
Datadogは、この反復的なプロセスを中心にBits Investigationを設計した。そのエージェントは仮説を立て、テレメトリーをクエリし、返された証拠を評価し、次に何を調べるべきかを決定する。同社の2026年3月のBits updateでは、メトリクス、ログ、トレース、ダッシュボード、ソースコード、イベント、データベース監視、ネットワーク経路、プロファイラーデータへのアクセスが説明されている。
この広さはモデルの負荷を増大させる。有用なエージェントは、適切なツールを選び、有効なクエリを構築し、空またはノイズの多い結果を解釈し、多数のステップにわたって推論を維持しなければならない。大量の推論を消費した末にしか正しい結論へ到達できないモデルでは、日常的なアラートへの利用はなお現実的でない可能性がある。
チームがAIレスポンダーの自動開始を望む場合、この問題はさらに深刻になる。人間なら、大規模な障害に対して高価な調査を限定できる。常時稼働のエージェントは、深刻度が完全に把握される前にその判断を下さなければならない。すべてのアラートが高コストな推論ループを開始するなら、システムは高価になるか、対象を狭いインシデント群に限定することになる。
Datadogの答えは特化だ。Scoutは、最高の汎用ライター、コーダー、リサーチアシスタントである必要はない。Datadogの調査インターフェースを操作し、本番シグナルを解釈し、証拠によって因果的な結論を裏付けることが求められる。
この焦点により、Datadogはモデルと周辺ソフトウェアの両方を最適化できる。同社はテレメトリースキーマ、エージェントツール、クエリ応答、評価プロセス、最終的なユーザー体験を管理している。実運用エージェントが使う正確なツール名と応答構造をScoutに教えられる。
この統合を、汎用モデルプロバイダーがあらゆるオブザーバビリティプラットフォームで再現するのは難しい。OpenAIとAnthropicは、多数の領域でより強力な基盤推論を提供できる。Datadogは、顧客が繰り返し必要とする、より狭い挙動の訓練に集中できる。
その代償はDatadog環境への依存だ。Scoutの報告された優位性は、エージェントが訓練時に用いられたインターフェース、テレメトリー、タスク分布を受け取る場合に最も強く現れるかもしれない。ある運用ハーネス向けに最適化されたモデルが、混在したオブザーバビリティスタックにおいて自動的に最良の選択肢になるわけではない。
Datadog Scout SREモデルはどのように調査を学んだのか
Scoutの主な技術的優位性は、インシデント文書から個別の回答を学ぶのではなく、完全な調査を実践することに由来する。
Datadogは、オープンウェイトの基盤モデルであるGLM-5.3 Flashから始めた。その後、反復試行における有用な結果へ報酬を与えることで挙動を改善する手法、強化学習を通じてモデルを事後訓練した。
同社は、解決済みチケットのコレクションをScoutに単に与えたわけではない。実際のインシデントパターンを、対話的な調査演習に変換するシミュレーションシステム「GenSim」を構築した。各演習には、アラート、クエリ可能なテレメトリー、既知の根本原因が含まれる。
Datadogは、22ページのtechnical reportで、これらの環境を構築する二つの方法を説明している。CausalGenは、動作する分散アプリケーションを作成・実行し、障害を注入し、その挙動からテレメトリーを生成する。SynthTelは、基盤となるアプリケーションを実行せずに、一貫性のあるメトリクス、ログ、トレースを生成する。
実コンポーネントが証拠を生成するため、CausalGenはより高い忠実度を提供する。一方で、より多くの計算資源と実時間を消費する。SynthTelはシナリオをより速く生成するが、生成されるテレメトリーは現実性に欠ける場合がある。Datadogによると、Scoutは両方を厳選して組み合わせたデータで訓練されている。
実際のインシデントとアラートテレメトリーは、シミュレーションの定義に役立つ。ただしDatadogによると、訓練シナリオには顧客データは含まれない。このシステムは有用な因果構造を保持しながら、管理された環境内で新しいテレメトリーを生成する。
このアプローチは扱いにくいデータ問題に対処する。過去のインシデントレポートは正しい原因を特定していることが多いが、エージェントが遭遇するすべてのメトリクス、ログ、トレース、失敗したクエリを保持しているわけではない。生の本番テレメトリーには機微な情報が含まれる可能性もあり、明確な正解ラベルを欠いている。
制御可能なシミュレーションは、証拠と検証可能な答えの両方を提供する。Datadogは、無関係なテレメトリーの量、重要な手掛かりの欠落、調査の難易度も変化させられる。こうした変動により、Scoutが因果的な証拠と通常の本番ノイズを区別できるかを検証する。
Scoutは、Bits Investigationインターフェースをモデルにしたツールを通じて訓練する。メトリクスのクエリ、ログ検索、トレースの調査、依存関係の追跡、デプロイ変更の確認、コードレビューが可能だ。Datadogは、正確な診断、証拠への根拠付け、有用な探索に報酬を与える。
同社は訓練中に利用可能なツールとインタラクション予算も変化させる。レポートで「harness fuzzing」と呼ばれるこのプロセスは、モデルが一つの固定されたインターフェース手順を記憶するのを防ぐことを目的としている。その代わり、環境に中程度の変化があっても維持される調査行動を学ぶべきだとする。
Datadogは、Ray上で動作するSkyRLのフォークを含むオープンソースコンポーネントを基盤に、強化学習スタックを構築した。その訓練システムは、モデル推論、シミュレーション環境、スコアリング、重み更新を分離している。このアーキテクチャにより、訓練を非同期で継続しながら、多数の調査試行を進められる。
より大きな戦略は垂直統合に似ている。Datadogは、オブザーバビリティプラットフォーム、エージェントインターフェース、シミュレーションによる演習環境、評価データ、そして現在は特化モデルも所有している。一つの層における改善が、他の層の変更に反映され得る。
このループが価値を持つのは、インシデント対応が通常のモデル訓練ではほとんど捉えられない文脈に依存するためだ。チームはその文脈を、ランブック、ポストモーテム、technical knowledge baseにも残す必要がある。Scoutの優位性は、Bitsがそれらの記録をライブテレメトリーとどれだけ効果的に組み合わせられるかにも一部左右される。
ベンチマークでの勝利には重要な限界がある
Scoutの数値は真剣な注目に値するが、顧客環境全体でこのモデルがより安全、またはより正確なレスポンダーであることを、まだ証明してはいない。
AlertEvalはDatadogの社内ベンチマークです。実際のアラート、アーカイブされたテレメトリー、エンジニアが作成した根本原因の説明を組み合わせています。Datadogによると、同社のエンジニアは社内のインシデント対応ワークフローを通じて、数千件の評価ポイントをキュレーションしました。
このベンチマークでは、モデルの調査結果を専門家の参照説明と比較するLLMベースの評価器、DeepJudgeを使用しています。直接的な原因とより深い原因の特定に対して加点し、矛盾や根拠のない調査結果には減点します。
この設計は、単純な完全一致テストよりも多くのニュアンスを捉えます。実際の調査では、エンジニアの表現をそのまま再現しなくても、有用な部分的説明に至ることがあります。ただし、LLMを判定者に用いることで、そのモデル固有の選好や誤りの可能性も測定プロセスに持ち込まれます。
Datadogは、AlertEvalのインシデント、ラベル、判定者、モデル設定、コスト見積もりを管理しています。このベンチマークは有用なエンジニアリング上のフィードバックを提供し得ますが、外部の読者が主要な比較結果を完全に再現することはできません。公開されたローンチ資料でも、すべての生のAlertEvalスコアは開示されていません。
コストの数値にも同様の注意が必要です。Datadogは、Scout 1.0 mediumを基準とした調査1件あたりの推定推論コストを報告しています。これにより一貫した社内比較は可能になりますが、顧客への請求額でも、本番環境で保証されるコストでもありません。
実際の支出は、トークン量、デプロイ用ハードウェア、バッチ処理、モデル利用率、プロバイダーとの契約、ツール呼び出し回数に左右されます。オープンウェイトモデルを自社ホストする場合、コストの一部はAPI利用からインフラと運用へ移ります。Datadogは、すべてのベンチマーク比率を顧客の節約額へ換算できるほどの商業的詳細を公開していません。
同社は、90件の障害を含む公開ベンチマークSREGymでもScoutをテストしました。技術レポートによると、Scout 1.0 mediumは71件の障害を解決し、GLM-5.3 Flashの66件、GLM-5.3の68件を上回りました。
より多くの計算資源を使うScout設定は、より良い成績を示しました。Scout 1.0 highは79件、Scout 1.0 xhighは80件の障害を解決しました。レポートでは、GPT-6.1 Sol xhighは82件、GPT-6 Astra xhighは80件、Claude Opus 5.5 xhighは79件とされています。
これらの結果は、専門化によってベースモデルが改善したというDatadogの主張を裏付けます。同時に、Scoutがすべての比較で優位だったわけではないことも示しています。報告されたSREGymの実行では、GPT-6.1 Sol xhighがScout xhighを2タスク上回りました。
ベンチマークのハーネスにも違いがあります。DatadogはScoutと複数の最近のモデルに提供されたStratusハーネスを使用しましたが、一部のリーダーボード結果は各モデルにとって最適なエージェントハーネスを反映しています。レポートではその区別を明示していますが、直接的な順位比較を複雑にしています。
最も重要なのは、ベンチマークの障害には既知の答えがあり、環境も限定されていることです。実際のインシデントでは、複数の障害、不完全な計測、文書化されていない依存関係、誤解を招くアラート、変化するシステム状態が重なり得ます。自信を持った誤診のコストは、追加のモデル呼び出しにかかるコストを上回る可能性があります。
元の記事は、未解決の論点を明確に捉えていました。DatadogはBitsに人間のSREより迅速かつ断固として対応させたいと考えていますが、企業はエージェントにインシデント対応の単独責任を委ねる前に、さらなる検証を求めるでしょう。
特化型AIが汎用モデルとSREベンダーに圧力をかける
Scoutは、幅広い知能を販売する最先端モデルプロバイダーと、それらのモデル上にAIレスポンダーを構築する可観測性ベンダーという、2つのグループに同時に圧力をかけています。
汎用モデルは急速に改善し、多様なタスクを処理できるため、依然として魅力的です。ベンダーは独自の追加学習プログラムに資金を投じずとも、新しい機能を追加できます。インシデントワークフローにコード分析、自然言語でのコミュニケーション、未知の技術が含まれる場合、この柔軟性は重要です。
その欠点は制御にあります。外部モデルに完全に依存する可観測性企業は、プロバイダーの価格、レイテンシー、リリーススケジュール、振る舞いの変化を引き継ぐことになります。また、より多くの運用コンテキストを公開せずに、独自ツール向けにモデルを最適化することも難しい場合があります。
ScoutはDatadogに異なるレバーを与えます。同社は、各アラートにどれだけの計算を割り当てるかを決定できます。定型的なケースでは低負荷設定を使い、難しいインシデントには、回答を探索・検証するための追加推論である、より多くのテスト時計算を割り当てられます。
この可変計算設計は、コストをインシデントの難易度に直接結び付けます。また、Scoutが稼働する同じ製品からのフィードバックを使って、Datadogがモデルを改善することも可能にします。エージェントとモデルは、一つのシステムとして進化できます。
競合するSRE製品は現在、戦略的な選択に直面しています。最先端モデルのオーケストレーションを続けるか、オープンモデルを特化させるか、あるいは複数のモデルをサポートしてタスクを振り分けるかです。どの道筋にも運用上の影響があります。
最先端モデルを採用するアプローチは、上流での急速な進歩の恩恵を受けます。狭いインシデント分布の外では、より強力な汎用推論を提供できる可能性もあります。しかし、ツールの反復利用は高コストになり得るうえ、ベンダーが基盤モデルを制御できる範囲は限られます。
特化型アプローチでは、推論コストを下げ、製品が望む調査行動をモデルに組み込めます。一方で、学習インフラ、現実的な環境、評価データ、モデル運用が必要です。小規模なベンダーには、同等のシミュレーションを構築するために必要なインシデント履歴やテレメトリーのカバレッジが不足している可能性があります。
マルチモデルのアプローチでは、通常のアラートを安価な特化モデルへ送り、より困難なケースを最先端モデルへエスカレーションできます。この構成は経済的に合理的に見えますが、ルーティングの誤りが新たなリスク要因になります。不十分なモデルが時間を費やしたり誤った結論に至ったりする前に、システムは難しいインシデントを認識しなければなりません。
Datadogには、独立系のAI SREスタートアップが対抗しにくい利点もあります。同社のプラットフォームには、調査に必要なテレメトリー、サービス間の関係、モニター、デプロイ記録、ワークフロー統合がすでに含まれています。モデルは新たなデータレイヤーを通じて、そのコンテキストを再構築する必要がありません。
顧客が異種混在の環境を運用する場合、この利点は制約にもなり得ます。Datadogによると、BitsはGitHub、ServiceNow、Grafana、Splunk、Dynatrace、Sentryなどの外部システムと接続できます。これらの統合のうち複数は、2026年3月時点でプレビュー機能として説明されていました。
運用上の信頼は、モデル品質だけにとどまりません。チームには、権限、監査証跡、データ管理、エスカレーション規則、明確な責任範囲が必要です。ログを読み、診断を提案することは、デプロイのロールバックやインフラの変更よりもリスクが低くなります。
Datadogはすでに、ツール呼び出しと中間分析を確認するためのAgent Traceビューを提供しています。Bitsは人間のレビューを伴うトリアージアクションにも対応し、修復を実行するワークフローを起動できます。市場における次の競争は、ベンチマーク精度だけでなく、統治可能なアクションをめぐるものになるため、こうした制御は重要です。
Scoutへの賭けが成功するかを決める3つのシグナル
Scoutが戦略的に重要になるのは、Datadogがベンチマーク上の優位性を、広範で信頼でき、測定可能な本番利用へ転換できた場合に限られます。
第1のシグナルは、顧客による証拠を伴う提供範囲の拡大です。Scoutは現在、Datadogのチームと、クローズドプレビュー顧客の小規模グループで利用されています。一般提供は、同社がより幅広い環境でモデルを利用可能な状態にあると判断していることを示すでしょう。
顧客の証拠は、推薦文を超えるべきです。有用な指標には、調査結果の受容率、裏付けのある診断に至るまでの時間、エスカレーション頻度、エンジニアがScoutの結論を却下するアラートの割合などがあります。異なるアーキテクチャにまたがる結果は、Datadogの主張を強めます。狭いプレビューへの依存が続けば、その主張は弱まるでしょう。
第2のシグナルは、独立した、または再現可能な評価です。SREGymはScoutに公開された参照点を提供しますが、Datadogの最も強力な価格性能の主張の多くはAlertEvalに基づいています。より多くの評価アーティファクトの公開、より完全な結果の開示、または第三者テストの実現により、比較の信頼性は高まるでしょう。
実際のインシデントデータは内部システムや顧客情報を露出させる可能性があるため、再現性の確保は困難です。Datadogが機密性の高いテレメトリーを公開する必要はありません。それでも、匿名化されたシナリオ、評価手順、判定プロンプト、コスト前提、反復実行の統計を提供することはできます。
これは、エージェントの性能が試行ごとに変動し得るため重要です。公開されたSREGym比較では、Datadogの実行において各障害につき1回の試行が使われました。反復試験により、Scoutが一貫して有効なのか、それとも時折正解に到達するだけなのかが明らかになります。
第3のシグナルは、調査から制御された修復への移行です。Datadogは、Bitsを常時稼働する第一応答者から、インシデント中の唯一の応答者へ発展させたいと述べています。これは、もっともらしい根本原因を特定することよりもはるかに大きな主張です。
自律的なレスポンダーは、是正措置を選択し、その範囲を確認し、権限を尊重し、証拠を保存し、復旧を検証しなければなりません。不確実性が高い場合には停止する必要もあります。90件のベンチマーク障害のうち80件を診断するモデルが、レビューなしに本番システムを変更する準備が自動的に整っているわけではありません。
Datadogの既存の人間参加型アクションは、実用的な中間段階を提供します。エンジニアは証拠を確認し、チケットやページを承認し、ロールバックを起動するかどうかを判断できます。これらの監督付きワークフローの採用は、完全な自律性が受け入れられる前にScoutが価値を生むことを示すでしょう。
第4の展開は、これら3つのシグナルすべての背後にあります。それは競合他社の反応です。可観測性ベンダーが独自の特化モデルを導入すれば、Datadogはより広範なアーキテクチャ転換を実証したことになります。競合が最先端システムを使い続けながらScoutの本番経済性に匹敵すれば、カスタムモデルの優位性は持続しにくく見えるでしょう。
SREチームにとって、当面の問いはより限定的です。Scoutは、エンジニアが単独で調査するよりも速く検証できる証拠を生み出すのでしょうか。コスト削減が重要になるのは、その答えが運用成果を改善する場合だけです。
Datadog Scout SREモデルは、ドメイン特化に説得力のある事例を提示しています。Datadogは、ベースモデル、学習アプローチ、ベンチマーク設計、公開テスト結果、主な制約を開示しました。これによりScoutは、単なるマーケティング上の名称を超えた存在になります。
しかし、最先端モデルの時代が終わったと宣言するには不十分です。Scoutのプライベートプレビューという状態、社内ベンチマークへの依存、自律的な修復に至る未完成の道筋を考えると、決定的な証拠はまだ先にあります。AIによるインシデント対応を評価するチームは、プレビューの拡大、再現可能なテスト、監督付き修復の結果を注視すべきです。システムが証拠を明示するか、エスカレーションすべき時を判断できるか、運用リスクを増やさずに実際の応答時間を短縮できるかを問うべきです。
