top of page

Amazon Bedrock AgentCore Evaluations:エージェントの成功に単一スコア以上が必要な理由

4 日前
読了時間: 19分

AWSは11月10日、タスクを完了することと、安全に完了することには別々の測定が必要だとするエージェント評価プレイブックを公開した。Amazon Bedrock AgentCore Evaluationsは、AWS作成の評価器、DeepEval、AutoEvalの評価器を同一サービスに統合する。実務上の問いは、各評価器がどの行動を測定し、その証拠がスコアに紐づく事業判断を支えられるかどうかだ。

評価器とは、定義された基準に照らしてエージェントの行動を確認する採点メカニズムである。成功したサポート会話にも、認可されていない情報開示が含まれる可能性がある。調査への回答は、求められた比較を省きながらも説得力のある表現になり得る。こうした失敗は、総合評価が良好ならエージェントは本番運用の準備ができている、という前提に疑問を投げかける。

この負担は、品質ダッシュボードが実際に何を裏付けているかを説明しなければならない開発者や企業の買い手にのしかかる。Anthropicが以前に示した評価ガイダンスは有用な参照となる。エージェントを採点するには、その応答だけでなく、行動とその結果として生じた状態を検証する必要がある。AWSのプレイブックは、マネージド評価器カタログを通じて同じ根本課題に取り組む。チェックの実行は容易になる一方、何を許容可能な行動と見なすかは依然として製品側の責任である。

Amazon Bedrock AgentCore Evaluationsは指標名より事業成果を優先する

11月の公開物は、AgentCoreそのもののローンチではなく、評価プレイブックである。その価値は、事業上の期待を観測可能なエージェント行動に結び付ける具体的な方法を示したことにある。

AWSのエージェント評価プレイブックは、まず成果から始め、その背後にある行動を特定し、適切なレベルで評価器を選ぶことを推奨している。この枠組みは重要だ。魅力的な指標名は、チームが測定するものと顧客が必要とするものの不一致を覆い隠し得るからである。

指標が有用になるのは、その結果が特定の運用上の問いに答える場合である。

例として、カスタマーサポートへの導入を考える。事業側は、対象となる返金要求を不必要なエスカレーションなしに顧客が解決できることを望んでいる。親しみやすい回答は関連するが、返金が実行されたかどうかまでは示せない。同様に、返金が完了した事実だけでは、エージェントが別の顧客の情報を開示しなかったことは証明できない。

これらの成果には異なる証拠が必要となる。会話は、顧客が何を求め、エージェントが何を約束したかを示す。ツールの結果は、求められた操作が成功したかを示す。ポリシー要件は、どの行動が許可されていたかを定める。有用な評価は、流暢な文章をこれらの代替物として扱うのではなく、こうした記録を結び付ける。

同じ問題は調査ワークフローにも現れる。エージェントは、依頼された情報源の比較を省きながらも、読みやすい市場要約を作成できる。結論があるため、出力は完成しているように見える。しかし、ユーザーはより具体的な内容を求めていたため、根本のタスクは未完了のままである。

これはエンジニアだけでなく、プロダクトマネージャーにも負担を生む。受け入れ基準が「役立つ回答」としか記されていなければ、評価器はその曖昧さを引き継ぐ。製品仕様で扱われなかった不一致を、ダッシュボードが解消することはできない。

より強い仕様は、観測可能な失敗を特定する。回答の欠落と誤った回答、不適切な行動と失敗した行動、正当な拒否と不必要な放棄を区別する。こうした区別によって、評価器スタックの目的が明確になる。

このため、有効化したチェック数を最大化することは、評価の成熟度を測る信頼できる尺度ではない。重複する指標は、欠けている要件を補うことなくレビュー作業だけを増やしかねない。意図的に構成された小規模なスタックの方が、名称で選んだ大規模なカタログより明確な証拠を提供できる。

ニュースとしての価値は、この責任の移行にある。AWSは、既存プラットフォーム内でより多くの評価機構を提供する。それでもチームは、どの結果がリリースを止め、調査を促し、後の改善に役立つべきかを定める必要がある。

買い手にとって、問いは具体的だ。ベンダーがエージェント品質を報告するとき、その測定はどの顧客成果を表しているのか。このつながりがなければ、スコアは製品よりもテストについて明確に説明していることになる。

AgentCoreの評価器比較では、制御とカバレッジが焦点となる

AgentCoreの評価器比較は、所有権から始まる。AWSの組み込み評価器は、顧客が直接変更できない事前定義済みのモデルとプロンプトを使用する。一般的な行動に対する標準化された出発点を、少ない設定作業で提供する。

マネージドのサードパーティーオプションも、同様の運用モデルに従う。AgentCoreが評価器ロジックをホストし、モデルを選択する。顧客はマネージドライブラリのバージョンを選べない。AWSは、ベンチマーク済みの組み込み評価器と、品質を保証しないサードパーティー評価器を明確に区別している。

サードパーティー評価器のドキュメントによると、DeepEvalはタスク完了、会話の完全性、知識保持、ツール利用、個人情報漏えいなどの行動をカバーする。AutoEvalは、Security、Possible、Humorという名称の専門的なチェックを提供する。

意味のある選択とは、どの失敗をチェックが検出するかを決め、その後に誰が実行方法を制御するかを決めることである。

ConversationCompletenessは、会話全体でエージェントが要求を処理したかどうかを扱う。KnowledgeRetentionは、以前に共有された情報に関するものである。PIILeakageは、応答が個人情報を露出していないかを確認する。これらの名称は別個の懸念を示しており、一般的な信頼性を示す交換可能な指標にすべきではない。

AutoEvalのPossibleチェックは、エージェントが解決を試みるか、タスクを不可能と宣言するかを問う。ここには重要な解釈上の限界がある。試みが安全、認可済み、あるいは成功したものであるとは限らない。この観点で良好な結果を得ても、それら別個の問いは解決されない。

同様に、Securityは悪意ある応答を評価する。その存在は、アプリケーション全体があらゆる攻撃に耐えられることを意味しない。アプリケーションには、採点対象となる応答を超えて、権限、ツール、外部サービス、保存データも含まれる。

モデル制御が必要なチームでは、カスタム派生評価器により、顧客が選んだ推論を使いながらベース評価器のロジックを維持できる。AWSによれば、ベース側が指示、尺度、評価レベルを担う。個別に作成したカスタム評価器は、特化したルーブリックを定義する別の手段となる。

この区別は、よくある誤解を防ぐ。判定モデルの変更と判定基準の書き換えは、別々の介入である。いずれも結果を変え得るが、異なる要件に答え、異なる保守責任を生む。

組織の承認ポリシーに従う調達支援エージェントを考えてみよう。標準的なツール利用チェックは、選択したツールが要求に適しているかを評価できる。事業固有のチェックは、購入の実行前に承認が必要だったかを評価できる。どちらの結果も、もう一方の代わりにはならない。

このAgentCoreの評価器比較は、既存のDeepEvalユーザーにとって継続性の問題も浮き彫りにする。馴染みのある指標名は、開発と本番の実践を結び付ける助けになる。しかし、それだけでローカル環境とマネージド環境で同一のスコアが得られるとは示せない。

判定モデル、ライブラリのバージョン、利用可能なコンテキスト、設定は解釈に影響し得る。環境を比較するチームは、一致を測定すべき対象として扱う必要がある。共通の名称は組織上の便利な略称にはなるが、既存の閾値を変更なしに移行できる十分な証拠ではない。

証拠のレベルが、可視化される失敗を決定する

エージェントトレースは、モデルとのやり取りと行動を含む実行記録である。セッションは、複数ターンにわたる会話をまとめる。ツール呼び出しは、特定の操作とその引数を記録する。これらのレベルは、同じワークフローを異なる角度から捉える。

AWSのプロンプト定義は、セッション、トレース、ツールレベルの入力を区別している。評価プロンプトテンプレートでは、セッションチェックが会話全体にわたる証拠を受け取る一方、他のチェックは関連するコンテキストを伴う特定の応答や呼び出しを対象とすることが示されている。

誤った証拠レベルを選ぶと、有効なスコアが誤った問いに答えることになり得る。

関連性のある応答でも、直近のメッセージを満たすだけで、以前の要求を放棄している場合がある。反対に、会話は途中のツール操作ミスを経た後で、最終的に正しい成果に到達することもある。セッション結果とアクションレベルの結果は、そのやり取りの異なる側面を説明する。

例として、旅行日程の検索と旅行者のアクセシビリティ要件の尊重を求められた旅行支援エージェントを考える。後の応答が手荷物に関する質問へ正しく答えていても、その応答だけでは、提案された旅程が当初の制約を依然として満たしているかは分からない。

この区別は、チームが結果を集約するときに特に重要となる。会話全体の応答品質を平均すると、全体の目標が達成されたかどうかを見えにくくする可能性がある。一貫して丁寧な回答をする会話でも、利用可能な予約を得られないまま終わることがある。

ツールの選択とツール引数にも、別個の注意が必要である。注文検索ツールを選ぶことと、正しいアカウント識別子を指定することは異なる。会話上の行動が妥当でも、ツール選択が合理的で引数が誤っていれば、運用上の失敗につながり得る。

スキルには、追加の証拠要件がある。スキルとは、タスクのためにエージェントが読み込む再利用可能な指示ファイルである。AWSのスキルチェックは、ツール呼び出しレベルで選択と順守を評価する。指示追従の評価には、読み込まれたスキル本文と、その後のセッションコンテキストが必要となる。

したがって、結果がない場合は、歓迎する前に調査するべきである。必要な呼び出しや指示内容が評価に届かなければ、無反応は順守を証明できない。チームは、評価済みの成功と未評価の行動を区別する必要がある。

軌跡チェックは別の視点を導入する。軌跡とは、実行中に取られたツール行動の連なりである。AWSは、期待される経路との比較として、完全一致順序、順序維持、任意順序の比較を説明している。これらのチェックには、もっともらしい最終応答だけでなく、参照軌跡が必要となる。

どの順序上の制約が不可欠かは、事業側が決めなければならない。購入前の承認を求めることは、意味のある依存関係を表す。独立した検索に恣意的な順序を求めることは、許容可能な代替手段を不当に評価し得る。

ここで、プレイブックの成果優先アプローチが重要になる。期待される経路は、開発者が最初に記録したルートを単に再現するのではなく、事業要件を符号化すべきである。

同じ考え方は知識業務にも当てはまる。検索可能なナレッジベースを構築するチームは、文書検索と、完全で根拠に裏付けられた回答を区別する必要がある。関連ファイルの発見は中間行動である。それをエージェントが適切に用いたかどうかには、追加の証拠と異なる判断が必要となる。

AgentCoreの評価モードは、リリースの根拠とライブ監視を分ける

AgentCoreの評価モードは、根拠がいつ利用可能になるか、チームがそれをどう利用するかを決定します。オンデマンド評価は、呼び出し元が提供するセッションスパンを受け取ります。オンライン評価は、抽出された本番アクティビティを監視します。バッチ評価は、サービス側のオーケストレーションによって複数のセッションを処理します。

AWSのバッチ評価ドキュメントは重要な境界を示しています。オンデマンド評価とバッチ評価はグラウンドトゥルースを受け入れられますが、オンライン評価は受け入れられません。グラウンドトゥルースとは、期待される応答や成功条件のアサーションなど、提供される参照資料を指します。

本番監視のスコアと、参照ベースのリリーステストは、異なる問いに答えるものです。

固定された回帰テストスイート、すなわち以前からサポートされている動作を対象とするテストにより、チームは管理された条件下で変更を比較できます。同じケースを用いることで、プロンプトの改訂が一つの要件を改善する一方で、別の要件を損なっていないかを明らかにできます。

ライブ監視が明らかにするのは別のことです。実際のユーザーが、テスト作成者が予測しなかった要求を持ち込んだときに何が起きるかです。その価値は、未知の言語、変化するワークフロー、予期しない要件の組み合わせを含む、本番環境の動作との接点から生まれます。

どちらも、もう一方の代わりにはなりません。キュレーションされたデータセットは、現在の利用状況から乖離する可能性があります。本番サンプルでは、まれな失敗を見逃したり、決定的な判断に必要な参照情報が欠けていたりすることがあります。

例としてサポートエージェントを考えると、リリース用データセットには、既知の返金対象条件のシナリオを含めることができます。各ケースには関連するポリシーと期待される結果が含まれます。その後、オンライン監視では、あらかじめ用意された回答がすべての要求に付随しない実際の会話において、デプロイ済みエージェントがどのように対応するかを検証します。

ライブスコアの悪化は、調査の契機とすべきです。ただし、それだけでモデルが変わったのか、ユーザーの要求が難しくなったのか、収集された根拠が不完全になったのかを自動的に確定するものではありません。シグナルを解釈するには、こうした代替要因を確認する必要があります。

バッチ結果についても、平均値より下の詳細を精査する必要があります。AWSは集計サマリーとセッションレベルの詳細を提供します。集計上の改善は、特定のワークフロー、言語パターン、または要求カテゴリにおける重大な失敗と共存し得ます。

たとえば、モデル変更後にエージェントが定型的な要求をより適切に処理できるようになった一方で、ユーザーが以前の指示を修正した場合の信頼性が低下したとします。全体平均は改善するかもしれません。そのリリースを受け入れられるかどうかは、影響を受ける動作の重要性と頻度に左右されます。

多次元カスタム評価器は、関連するレポーティング上の課題に対処します。共有された1回の判定呼び出しから、名前付きの基準ごとに個別の評価を返します。AWSのドキュメントでは、これらの次元がモデルと評価レベルを共有すると説明されています。

利点は、独立して失敗する基準をより明確に可視化できることです。解決状況、ポリシー遵守、トーンを、混合された評価の中に埋もれさせずに区別できます。チームは各結果に異なる影響や対応を割り当てられます。

制約は実行が共有される点です。判定呼び出しが失敗すると、すべての次元に影響する可能性があります。また、異なる根拠やモデルを必要とする基準は、別の場所に置くべきです。したがって、同じコンテキストを繰り返し読む作業を減らせる場合でも、チェックの統合には設計上のトレードオフがあります。

エンジニアリングリーダーにとって、その含意は組織的なものです。リリースゲート、本番アラート、探索的分析には、それぞれ明確な役割が必要です。それらをすべて「評価」と呼んでも、あらゆる判断に対して根拠の適性が同じになるわけではありません。

マネージドスコアリングでも、判断、プライバシー、運用コストの責任はチームに残る

AgentCoreが動作を再構築し評価するには、会話コンテンツが必要です。AWSのテレメトリドキュメントでは、プロンプト、補完、ツールの入力と出力が関連する根拠として挙げられています。テレメトリとは、監視と分析のためにアプリケーションがエクスポートする実行記録を意味します。

ここには実務上の緊張関係があります。情報漏えいを検出するために必要な情報そのものが、機密情報を含み得るからです。非公開の記録を扱うエージェントを評価するチームは、評価の根拠をどのように収集し、アクセスし、保持し、レビューするかを検討する必要があります。

マネージド評価器はインフラ作業を減らしますが、根拠や判定に対する責任をなくすものではありません。

マスキングは、この難しさをよく示します。機密情報を除去すれば露出を減らせますが、漏えいが発生したかを評価するために必要なコンテキストまで失われることがあります。適切な設計は、評価器が答えるべき問いによって異なります。

たとえば、マスクされたアカウント識別子は、エージェントが要求されたアカウントを一貫して使用したかを確認するのに十分な構造を保てるかもしれません。しかし、応答が権限のない人物の詳細を公開したかを判断するには不十分な場合があります。この違いは、展開前の根拠設計に反映されるべきです。

モデルベースの判定には、さらに別の限界があります。LLM-as-a-judgeは、指示に照らして動作を評価するために言語モデルを使用します。その結果はモデルによる判断であり、事実上または運用上の正確性を自動的に保証するものではありません。

Anthropicのエージェント評価ガイダンスでは、モデル採点者は柔軟である一方、非決定的でもあると説明されており、人間のレビュアーによるキャリブレーションの重要性が強調されています。また、応答のトランスクリプトと、環境の結果として生じる状態も区別しています。これは、マネージドスコアリングが検証作業を不要にするという解釈に対する有用な対抗視点となります。

この比較は、プロバイダー間の測定された競争ではなく、重視点の違いに関するものです。AWSのプレイブックは、評価器の選定と実行を体系化しています。Anthropicのガイダンスは、評価設計、採点者のトレードオフ、結果の検証を重視しています。いずれの情報源も、単一のマネージドスコアがエージェントの信頼性を普遍的に予測することを示してはいません。

レビュアー間で成功の判断が分かれる場合、人間によるキャリブレーションは特に重要です。ポリシーの所有者自身が解釈を一致させられないなら、判定器がそのポリシーを信頼性高く運用可能な形に落とし込むことはできません。意見の不一致をレビューすることで、不明確な指示、不完全な根拠、あるいは誤った動作を報いるルーブリックを明らかにできます。

運用コストにも同じ水準の具体性が必要です。評価器の増加、より長いコンテキスト、繰り返される呼び出し、サンプル数の拡大は、評価に必要な作業を増やす可能性があります。重要なビジネス上の問いは、追加する各チェックが判断を変えるのか、あるいは意味のある失敗を検出するのかという点です。

高コストな見落としを特定する特化型評価器であれば、その運用負担を正当化できるかもしれません。既存の指標と同じ動きをする冗長なスコアは、ほとんど価値を加えない可能性があります。チームには、件数が多いほどカバレッジが広いと仮定するのではなく、この区別を裏付ける根拠が必要です。

派生評価器には追加の所有責任が伴います。判定モデルを選べばチームの制御は強まりますが、同時にモデルの適性もチームの責任になります。アシスタントとして優れた性能を示すモデルであっても、特定の判定タスクについて評価すべきです。

セキュリティ判断にも同様の注意が必要です。問題のないサンプルだけで普遍的な保護が確立されるわけではなく、不審な応答はそのスコアを超えた調査に値します。権限管理と決定論的な制御、すなわちモデルの判断を介さずに適用されるルールは、重大な行為において依然として重要です。

Amazon Bedrock AgentCore Evaluationsが信頼できる形で約束するのは、測定へのアクセスしやすさです。利用可能な情報源は、すべての評価器、ワークロード、失敗カテゴリにわたる独立した精度比較を確立していません。導入に関する主張を検討する際、購入者はこの検証上の隔たりを可視化したままにすべきです。

次に注目すべき点:一致度、カバレッジ、意思決定

次の段階は、カタログの規模ではなく、運用上の根拠で判断されるべきです。今後数か月で最も有用なシグナルは、評価器の結果が人間の判断と一致するか、実際の失敗をカバーするか、リリース判断に影響するかに関わるものです。

最も強い根拠は、評価がどの誤りを捉え、その結果チームが何を変えたかを示すものです。

最初のシグナルは、代表的なケースにおいて、適格なレビュアーとどの程度一致するかです。公開される比較では、タスク、提供された根拠、判定基準、意見の不一致をどう解決したかを説明すべきです。重大なエッジケースが未検証のままであれば、定型例での一致はあまり有益ではありません。

たとえばサポートのデプロイでは、見逃された情報漏えいと、誤った情報漏えいフラグを区別すべきです。これらのエラーには異なる運用上の影響があります。全体的な一致度だけを報告すると、ビジネスにとって最も重要な区別が隠れてしまう可能性があります。

関連するケース全体で一貫した一致が得られれば、選定した評価器スタックへの信頼は高まります。意見の不一致が継続する場合は、より狭い適用範囲、改訂された基準、より良い根拠、または別の判定器の必要性を示すことになります。どちらの結果も、説明のない品質スコアより有用な情報をもたらします。

二つ目のシグナルは、本番での失敗が再現可能な評価ケースになるかどうかです。観測された見落としやツールエラーを、将来のリリースを保護するテストに反映できるとき、監視システムはその価値を示します。

これには会話を保存するだけでは不十分です。チームには、期待される動作を理解し、関連する条件を再現するために十分なコンテキストが必要です。そうでなければ、インシデントは活用が難しい逸話のままになります。

組織がライブでの失敗を繰り返しリリースチェックへ変換しているという根拠は、このプレイブックの実用的価値を裏付けます。テストスイートに一度も変更を加えないまま同様のインシデントが繰り返されるなら、継続的なスコアリングが信頼性を改善するという主張は弱まります。

三つ目のシグナルは、評価が具体的なデプロイ判断を変えるかどうかです。有用なレポートは、回帰を特定し、影響を受けた動作を説明し、その結果として生じた延期、ロールバック、または対象を絞った修正を記述します。

これは、測定と説明責任を結び付けることになります。また、リリースが混在した結果を生んだ場合に、チームが個別の要件を維持しているかも明らかにします。トーンの改善が、プライバシー動作の悪化を自動的に補うべきではありません。

エンタープライズの購入者にとって、これらのシグナルはより明確な調達上の対話を示唆します。ベンダーには、代表的な失敗ケースを示し、評価器がそれを拒否した理由と、その後に行われた製品変更を説明するよう求めてください。重要な動作のうち、現在の評価対象から外れているものも尋ねてください。

開発者にとって、当面の行動はダッシュボードが見逃した最近の失敗を検討することです。それを認識するために必要な根拠を特定し、既存の評価器が適合するかを判断してください。失敗に提供された参照情報が必要なら、それを管理されたテストに保存します。ライブコンテキストに依存するなら、そのコンテキストをどのように評価へ届けるかを確立してください。Amazon Bedrock AgentCore Evaluationsを使ってこれらの判断を検査可能にし、そのうえで結果に責任を持つ人々と意見の不一致をレビューしてください。現在のリリースチェックを通過してしまう、受け入れられない動作は何でしょうか?

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page