Anthropic、プロンプトインジェクションはほぼ解決と主張。ただし「ゼロ」には文脈が必要
Anthropicは、最新の防御策によってプロンプトインジェクション攻撃の成功率をほぼゼロまで低減したと述べている。これは、多くの研究者がAIエージェントにとって根本的なリスクと見なしてきた問題に一石を投じる主張だ。
Claude Codeを率いるBoris Cherny氏は、この変化は主としてモデル訓練の強化によるものだとしている。多層的な安全策により、測定された成功率はさらに低下したという。これらの層には、プロンプトインジェクション検査と、ツール操作を実行前に分類するClaude Codeのauto modeが含まれる。
この主張が重要なのは、プロンプトインジェクションが、エージェントによるWebサイト閲覧、リポジトリの読み取り、メール処理、接続済みツールの操作をどこまで安全に行えるかを制約してきたためだ。OpenAIはこの問題をオンライン詐欺に近いものと説明し、完全に消え去る可能性は低いとしている。Anthropicは現在、最新評価における異例なほど低い結果を根拠に、より楽観的な回答を示している。
ただし、観測された攻撃成功率がゼロであっても、普遍的な耐性が証明されるわけではない。それは、定義された攻撃群、環境、ツール、採点基準に対する性能を表す。新たな攻撃、より広い権限、あるいは異なる導入設定では、結果が変わり得る。
Anthropicがauto modeをClaude Codeの標準体験へと移行させるにつれ、この違いはさらに重要になる。同社は、大幅なセキュリティ向上を主張するのと同時に、保守的な権限確認から自動判断へと移行している。
Anthropicのプロンプトインジェクションに関する主張は多層テストに基づく
重要な変化は、Anthropicが新たなフィルターを追加したことではない。フィルターが介入する前の段階で、基盤モデルそのものが著しく操作されにくくなったように見える。
プロンプトインジェクションは、信頼できないコンテンツに、ユーザーではなくAIに向けられた指示が含まれるときに発生する。エージェントは、Webページ、リポジトリ、ツールの応答、画像、ダウンロードした文書の中で、こうした指示に遭遇する可能性がある。
この攻撃が成立するのは、エージェントが作業コンテキスト内で、信頼された命令と信頼されないデータの両方を解釈しなければならないためだ。悪意ある文書は指示を装い、タスクを無視するよう促したり、情報を開示させたり、危険なツールを呼び出させたりすることがある。
Cherny氏の多層防御に関する主張は、3つの異なる保護策を指している。1つ目はモデルアラインメントであり、外部コンテンツに埋め込まれた命令とユーザーの目的をClaudeが区別できるようにする訓練を意味する。
第2層はプロンプトインジェクション検査だ。このサーバー側の保護機構は、ツールが返すコンテンツがエージェントのコンテキストに入る前に調べる。ファイル、シェル出力、Webサイト、外部サービスに隠された不審な指示を検出できる。
第3層はauto modeの意図分類器だ。auto modeはClaudeに無制限の権限を与えるわけではない。提案された操作を評価し、破壊的、不可逆、または意図された環境の範囲外と分類される活動をブロックする。
Anthropicが公表した結果は、各層が異なる失敗地点に対処することを示している。訓練はモデルが敵対的な指示に従う可能性を下げる。検査はモデルがそのコンテンツに基づいて行動する前に、敵対的な内容を特定しようとする。操作分類器は、モデルが影響を受けた後に攻撃者が達成できることを制限する。
この分離は重要だ。検出器は巧妙に偽装されたコンテンツを見逃す可能性があり、アラインメントされたモデルであっても曖昧な指示を誤解することがある。ツール分類器は、結果として生じる操作を止めるための追加の機会を提供する。
Anthropicは以前、ブラウザインジェクション防御に関する研究でこの戦略を説明している。訓練中、Claudeは悪意ある指示を含むシミュレートされたWebページに遭遇する。正当なタスクを継続しながら、その指示を識別して拒否した場合にモデルは報酬を受ける。
この訓練目標は、明白に悪意のあるテキストを拒否するようモデルに教えるより難しい。有用なブラウザエージェントは、正当なサイト上の指示を読み、ユーザー提供の手順に従い、未知のインターフェースとやり取りしなければならない。過度の慎重さは、安全性を高める一方で有用性を損なう可能性がある。
新たな結果は、Anthropicがこのセキュリティと有用性のバランスを改善したことを示唆している。ただし、考え得るすべてのインジェクションが排除されたことを示すものではない。
ほぼゼロという結果には複数の数値がある
「おおよそゼロ」は複数の評価設定を組み合わせたものであり、それらを完全な安全性の交換可能な証拠として扱うべきではない。
Claude Opus 5のシステムカードによると、このモデルはブラウザおよびコンピューター操作環境における間接的なプロンプトインジェクションに対して評価された。間接攻撃では、悪意ある指示はユーザーの直接リクエストではなく、エージェントが取得するコンテンツ内に置かれる。
システムカードの結果の要約では、プロンプトインジェクション検査の追加により、テストされた2つの構成で攻撃成功率が0.18%に低下したと報告されている。別のブラウザ評価では、訓練中には使用されなかった129の環境を対象にしたとされる。
スタックにauto modeを加えた場合、評価されたブラウザシナリオ全体で成功した攻撃はなかった。これが、観測率をおおよそゼロと表現する根拠である。特に、攻撃がこれまで見たことのない環境を標的にしていたことを考えれば、注目すべきテスト結果だ。
しかし、成功がゼロであることと、根底にあるリスクがゼロであることは異なる主張だ。ベンチマークで攻撃成功が記録されなかった場合、そのサンプル内での上限は示される。しかし、今後のあらゆる攻撃における真の成功率が正確にゼロであることは証明できない。
分母も重要だ。数百または数千の試行に対してテストされたシステムは、小規模な攻撃群に対してテストされたシステムより強い証拠を提供する。同じ環境に対する反復攻撃は、導入後に現れる攻撃の多様性を必ずしも代表しない。
評価の脅威モデルも同様に重要だ。ショッピングタスクの変更を目的とするブラウザ攻撃は、ソースコメントにコマンドを隠すリポジトリ攻撃とは異なる。どちらも間接的なプロンプトインジェクションに該当するが、露出するツール、権限、被害機会は異なる。
独立研究もこの慎重さを裏付けている。LivePIベンチマークは、Webページ、ファイル、リポジトリ、メール、グループチャットのコンテンツを含む、本番環境に近いワークフローでエージェントをテストする。著者らは、テスト構成において5つの最先端システムで総攻撃成功率が10.7%から29.6%の間だったと報告した。
これらの現実的なエージェントテストは、Anthropicの数値と直接矛盾するものではない。使用しているモデル、ハーネス、攻撃、権限、採点基準が異なるためだ。むしろ、ベンチマークによって測定されるセキュリティがどれほど変わり得るかを示している。
NetInjectBenchは、限定的な結論に対する別の警告を提示している。そのネットワーク運用シナリオは、信頼されない成果物と信頼されたポリシーメタデータを分離し、安全でないツール使用を測定する。単純な実行では、240件の攻撃インスタンス全体で安全でない操作率が82.5%となった。
このネットワークエージェントベンチマークは、Claude Codeの正確な本番スタックではなく、特化した環境を対象としている。それでも、重大な結果をもたらすツールを持つエージェントには、モデルの拒否行動を超えたシステムレベルの制御が必要である理由を示している。
したがって、Anthropicの最も強い証拠は比較的なものだ。Opus 5は、Anthropicの評価条件下で、以前のClaudeモデルより大幅に耐性が高いように見える。同社はまた、検査と操作分類器が残る失敗をさらに減らすと報告している。
これは意味のある進展という主張を裏付ける。ただし、高い影響を持つワークフローから隔離、アクセス制御、監査ログ、人間によるレビューを取り除くことを正当化するものではない。
Claudeのプロンプトインジェクション防御は訓練から始まる
中心的な技術的変化は、Anthropicがプロンプトインジェクション耐性を、境界セキュリティだけの問題ではなく、訓練されたモデル能力として扱う判断をしたことにある。
初期の防御策では、エージェントとその消費するコンテンツの間にフィルターを配置することが多かった。このフィルターは、明白なフレーズ、エンコードされた指示、不審な書式、既知の攻撃パターンを検索する。
このアプローチはメールのスパムフィルターに似ている。既知の攻撃には有効だが、攻撃者が表現を変えたり、複数のページに指示を分散させたり、正当なデータの中に意図を隠したりした場合には失敗し得る。
OpenAIはこの限界を直接指摘している。エージェントセキュリティ設計に関する研究では、高度な攻撃はますますソーシャルエンジニアリングに似てきているとしている。以前の指示を無視せよという明白な命令を提示するのではなく、エージェントの推論を操作するもっともらしい筋書きを作り出す。
検出器は、テキストがデータなのか、正当な手順なのか、あるいは攻撃なのかを判断しなければならない。これらのカテゴリーは重なり得る。リポジトリは開発者にセットアップコマンドを実行するよう正しく指示する一方で、侵害された依存関係は、ほぼ同一の指示を悪意あるファイルに置くことができる。
モデルレベルの訓練は、エージェントにもう1つの文脈的な情報源を与える。Claudeは、ある指示がユーザーの明示した目的を支えるかどうか、情報源に権限があるかどうか、それに従うには説明のない計画変更が必要になるかどうかを評価できる。
Anthropicは、この指示階層とアラインメントの取り組みをモデル防御の一部と呼んでいる。モデルは、環境から取得したコンテンツが、ユーザーやシステムの権限を自動的に継承すべきではないことを学習する。
この枠組みは、プロンプトインジェクションについてよく挙げられる説明、すなわち役割の混同に対処する。言語モデルは指示の言葉を理解できても、誰にそれを発行する資格があるかを識別できないことがある。
最近の研究では、モデルが異なる指示の背後にいる話者をどのように表現するかを測定することで、この理論を検証している。ある研究では、ユーザープロンプトやツール出力に配置された偽装された推論が、複数のシステムで高い攻撃率を生み出す可能性があるとされた。
訓練は、モデルを敵対的な例にさらすことで、この混同を減らせる。Anthropicは、有用な情報と悪意ある指示を混在させたシミュレート済みコンテンツを作成し、意図されたタスクを安全に完了したモデルに報酬を与える。
利点は汎化にある。検出器が正確な文言を見たことがなくても、モデルはユーザーの目的との関係から新しい攻撃を認識できる可能性がある。
制約は、訓練データが将来のあらゆる環境を表現できないことだ。攻撃は、珍しいツール、個別には無害な要求の長い連鎖、あるいは悪意ある行為を正当に見せる文脈的な詳細を悪用する可能性がある。
攻撃者は、導入されたモデルに対して最適化することもできる。どのパターンが拒否を引き起こすかを知れば、有害な意図を保ちながらそのパターンを避ける入力を探すことができる。
これが、モデルが強化されてもAnthropicが検査と分類器を使い続ける理由だ。同社のアーキテクチャは、すべての層が失敗し得ることを前提としている。
開発者にとって、これがAnthropicのプロンプトインジェクション結果から得られる最も応用可能な教訓だ。訓練はより強固な基盤を提供するが、安全な導入は依然として周辺システムに依存する。
コーディングエージェントには、そのタスクに必要な認証情報、ネットワークアクセス、ファイルシステム権限だけを与えるべきだ。チームは、信頼されない入力を実行可能な指示から分離し、重大なツール呼び出しを記録すべきである。
この原則は、エージェントが企業の技術ナレッジベースを検索する場合にも当てはまる。取得したドキュメントはエージェントの作業を改善できるが、検索経路は攻撃者が影響を及ぼし得るコンテンツも拡大する。
Auto Modeはセキュリティ上の主張を製品上の賭けに変える
Anthropicは、強化した防御策を活用して権限確認の摩擦を取り除き、セキュリティ上の成果をClaude Codeの中核的な製品設計に組み込もうとしている。
Claude Codeは従来、多くのコマンドの実行、ファイル編集、より広範な影響を及ぼす操作の前に確認を求める。こうしたプロンプトは人間をプロセスに関与させる一方、長時間にわたる作業を中断させる。
一部の開発者は、広範な権限を与えたり、繰り返しの承認を回避する設定を使ったりして対応している。この選択は生産性を高める一方で、操作されたエージェントと周囲のシステムの境界を弱める。
Auto Modeは、Anthropicが提案する中間的なアプローチだ。各操作を分類器に通し、手動の応答なしに進められるかどうかを判断する。
Anthropicのauto mode architectureでは、複数の地点に配置された制御策が説明されている。サーバー側のプローブがツール出力を調べ、インジェクションの試みを検出する。別の分類器が提案された操作を検証し、安全でないと判断したものをブロックする。
この分類器は固定されたコマンド一覧ではなく、意図に着目する。生成された一時ファイルを1つ削除することは妥当かもしれないが、大規模なプロジェクトディレクトリの削除はブロック対象となるべきだ。未知のエンドポイントへデータを送信することは、公開ドキュメントを取得することとは異なるリスクを伴う。
システムが操作をブロックした場合、Claudeはより安全な手法を試みられる。繰り返しの試行や判断が不確かなケースでは、制御がユーザーに戻される場合がある。
この構造は、利便性を無制限のアクセスと同一視せずに中断を減らす。同時に、新たな依存関係も生む。開発者は、タスクとコマンドの双方について分類器の解釈を信頼しなければならない。
明白な危険は偽陰性だ。悪意のある指示によって、通常のリクエストを送る前に設定ファイルを読むといった、単独ではありふれて見える操作が引き起こされる可能性がある。
偽陽性は、より目立たない問題を生む。Auto Modeが正当な操作を頻繁にブロックするなら、開発者は作業を終えるために安全策を無効化するかもしれない。通常のタスクを恒常的に妨げるセキュリティ制御は、より危険な行動を促しかねない。
AnthropicがAuto Modeをデフォルトで有効にする決定は、リリース前のベンチマークをはるかに上回る規模のテストとなる。開発者は、特殊なビルドシステム、社内コマンドラインツール、リモートサービス、複雑な自動化を備えたリポジトリを利用している。
この多様性は、分類器がAnthropicの整えられた環境の外でも精度を維持できるかを示す。また、プロンプトインジェクション検出用プローブが、プラグイン、model context protocolサーバー、パッケージマネージャー、課題追跡システム、生成されたビルドログからのコンテンツを処理できるかも明らかになる。
この製品上の賭けはClaude Codeにとどまらない。ブラウザーエージェント、リサーチアシスタント、エンタープライズ向けワークフローツールはいずれも、自律性と承認の間で同様のトレードオフに直面している。
あらゆる手順で許可を求めるエージェントは、実質的な作業を無人で完了できない。広範かつ永続的な権限を持つエージェントは、1回の成功したインジェクションをデータ窃取や破壊的操作につなげる可能性がある。
Auto Modeは、人によるレビューを日常的なすべての操作から、重大なリスクを伴うより少数の操作へ移そうとしている。大規模に機能すれば、他のエージェントベンダーにも同等の自動化を提供する圧力がかかるだろう。
目に見える形で失敗すれば、頻繁な権限確認プロンプトが必要なセキュリティ境界として復活するかもしれない。
AnthropicとOpenAIはいまリスクを異なる形で捉えている
Anthropicの結果は、プロンプトインジェクションに対する悲観的な見方に異議を唱えるが、OpenAIの立場は固定的なベンチマークを超えた不確実性をよりよく捉えている。
OpenAIは、プロンプトインジェクションを詐欺やソーシャルエンジニアリングになぞらえてきた。同社の公開ガイダンスでは、敵対者が展開済みの防御策に継続的に適応するため、この問題が完全に解決される可能性は低いとされている。
この立場は、モデル訓練が有効でないことを意味しない。OpenAIも、専門的な訓練、自動モニター、ユーザー確認、ネットワーク制限、機微な文脈に対する監督を利用している。
対立点は、「解決済み」が何を意味すべきかにある。Anthropicは、複数の防御策を組み合わせた後に測定された攻撃耐性を強調している。OpenAIは、攻撃者と展開済みエージェントの間で続く、終わりのない競争を強調している。
両者の立場は、意図された範囲内ではともに正しくあり得る。Anthropicは難度の高い評価で観測された成功件数をゼロにできる一方、プロンプトインジェクションは未解決のセキュリティカテゴリのままであり得る。
この違いは、従来のソフトウェアセキュリティに似ている。製品はペネトレーションテストに合格しても、無敵になるわけではない。テストが示すのは、既知の脅威と検証済みの攻撃対象領域に関する証拠であり、将来のあらゆるエクスプロイトではない。
プロンプトインジェクションが特に難しいのは、正当なコンテンツと悪意のあるコンテンツが同じインターフェース、すなわち自然言語を使うためだ。エージェントが何をすべきかを判断するためにテキストを解釈しなければならない状況では、実行可能コードとプレーンテキストを分離することに相当する単純な手法は存在しない。
攻撃者は、防御スタックを通る経路を1つ見つければよい。モデル、プローブ、分類器、権限システム、接続先サービス、人間のオペレーターは、それぞれ結果に寄与する。
Anthropicのスタックには、攻撃を阻止する機会が複数ある。同時に、相互作用をまとめて検証しなければならないコンポーネントも複数生む。
たとえば、モデルが不審なコンテンツを正しく検出しても、後に悪意のある指示を保持した形で要約してしまうかもしれない。分類器は直接的なデータ転送をブロックしても、同じ結果を実現する一見無害な複数の手順を許可する可能性がある。
攻撃はモデルではなくユーザーを標的にすることもある。侵害されたページが、誤解を招く説明を使ってエージェントに承認を求めさせる可能性がある。その場合、ユーザー自身が攻撃経路の一部になる。
ベンチマークがあらゆる組織上の条件を捉えることは稀だ。エンタープライズ環境には、共有認証情報、カスタムツール、古いリポジトリ、社内プロキシ、一貫しない権限ポリシー、セキュリティ意識の異なるユーザーが含まれる。
だからこそ、見出しは「排除された」ではなく「ほぼ解決」にとどめるべきだ。Anthropicは、テストされた条件下で大幅な低減を示す証拠を開示している。実環境での保証には、独立した再現と継続的な展開データが必要となる。
信頼できるClaudeのプロンプトインジェクション防御は、攻撃耐性と並んで有用性も報告すべきだ。未知のタスクを拒否するシステムは、優れたセキュリティスコアを達成できても、エージェントとしては機能しない可能性がある。
Anthropicの公開研究はこのバランスを認めているが、ワークロード全体にわたる詳細な比較は依然として重要だ。購入者は、安全策が攻撃をどの程度阻止するかだけでなく、安全な作業をどの程度ブロックするかも知る必要がある。
AnthropicがAuto Modeをデフォルト化する中で注目すべきこと
次の証拠は、展開、独立したテスト、そして防御策の公開後に設計された攻撃に対するAnthropicの対応から得られる。
最初のシグナルは、Auto Modeのデフォルト展開だ。Anthropicがモデル、アカウント種別、環境、組織ポリシーによって利用を制限するかに注目したい。慎重な展開は、同社が展開設定ごとに依然として意味のある違いを認識していることを示すだろう。
ユーザーに表示されるブロックの頻度にも注目すべきだ。拒否が頻繁に起きるなら、分類器が通常の活動を制限することで安全性を保っていることを示唆する。拒否が非常に少ない場合は、優れた調整を示すこともあれば、慎重さが不足していることを示す場合もある。
第2のシグナルは、Claude Codeスタック全体に対する独立した適応的テストだ。既存の公開ベンチマークは価値ある基準を提供しているが、多くはAnthropicが採用するOpus 5、プローブ、Auto Mode、ツール、権限の正確な組み合わせを再現していない。
最も強力な独立テストは、研究者が公開済みシステムを調査した後に作成された攻撃を使うものとなる。汚染されたリポジトリ、欺瞞的なツール出力、画像ベースの指示、複数ステップによるデータ流出、長時間のセッションに分散した攻撃を含めるべきだ。
研究者は攻撃成功率とタスク完了率の両方を報告すべきである。エージェントに与えられたアクセス、どの安全策が有効だったか、攻撃が訓練時に既知だったかどうかを記録すべきだ。
こうした条件下でゼロという結果が出れば、Anthropicの主張は強化される。適応的攻撃が成功しても進展が消えるわけではないが、現在の防御の境界を明確にすることになる。
第3のシグナルは、同社が実際のインシデントをどれほど迅速に処理するかだ。プロンプトインジェクション対策は、一度きりのモデル特性ではない。検出、調査、訓練の更新、新たな安全策の迅速な展開を含む運用プロセスである。
Anthropicは、顧客が影響を受ける対象領域を理解できるだけのインシデント情報を開示すべきだ。セキュリティチームは、失敗がモデル、プローブ、操作分類器、権限ルール、接続されたツールのどこに起因するのかを知る必要がある。
開発者は、その証拠を待ってから基本的な予防策を採用すべきではない。可能な限り、自律型コーディングエージェントを隔離環境で実行する。シークレット、ネットワーク接続先、本番認証情報を制限する。デプロイ前に変更をレビューし、破壊的な操作を復元可能に保つ。
リポジトリのテキスト、ツール出力、ダウンロードしたファイルは、見慣れたものに見えても信頼できないものとして扱うべきだ。汚染された依存関係やコピーされたサポート回答には、開発者が意図的に承認していない指示が含まれている可能性がある。
最も重要なのは、Anthropicの概ねゼロという結果を、エージェントに無制限の権限を与える許可と解釈しないことだ。これを、常時の手動承認を強いることなく、多層的な防御によって深刻なリスクを低減できるという証拠として捉えるべきである。
これは意味のある変化だ。未解決の問いは、それが数百万のリポジトリ、新たな攻撃戦略、そして監督なしでもAuto Modeが機能し続けることを期待する開発者との接触に耐えられるかどうかである。
Anthropicは、この議論に測定可能な基準を設けた。いま、それを検証する必要があるのは独立した研究者と実環境のユーザーだ。結果が維持されるなら、プロンプトインジェクションは避けられない障壁ではなく、管理可能なセキュリティ問題として見られるようになるだろう。そうでなければ、失敗が次の防御層をどこに置くべきかを示すことになる。



