top of page

Microsoft Lazarusバックドア研究、AIエージェントモデルへの信頼に疑問を投げかける

13 分前
読了時間: 18分
Illustrative photograph. Photo: Zifeng Xiong / Pexels.

Microsoft Researchによると、再プログラムされたニューロンが10個未満でも、再学習なしにAIエージェントの基盤モデルへ隠れたバックドアを組み込める可能性がある。2026年11月10日に公開されたMicrosoft Lazarusバックドア研究は、評価時に通常どおり振る舞うモデルは運用上信頼に値する、という一般的な前提に異議を唱えている。

この結論には条件がある。攻撃には、デプロイに使用される保存済みモデルパラメータであるチェックポイントへの書き込みアクセスが必要となる。これは、あらゆるホスト型アシスタントに対するプロンプトのみの侵入経路を示すものではない。中心となる論点は、行動テストとアーティファクト完全性の対立、すなわち有用な回答が、デプロイ済みモデルが発行元の意図したモデルのままであることを証明できるかどうかにある。

Anthropicによる以前のスリーパーエージェント研究は、通常の検査を逃れる条件付きの振る舞いに関する歴史的な参照点となる。Lazarusは、モデル改変とデプロイを取り巻く権限に注目を移している。開発者や企業の購入担当者にとって、実務上の問いは明確だ。ソフトウェアがモデルに行動を許可する前に、誰がそのモデルを検証するのか。

Microsoft Lazarusバックドア研究が信頼の境界を移す

Microsoftの休眠ニューロン研究では、休眠ニューロンをほとんど活性化しない内部ユニットとして説明している。これらを再プログラムすると、トリガーが現れた際にエージェントが異なる行動を取るようにできる。攻撃者はまず、その挙動を規定する数値パラメータであるモデルの重みを改変しなければならない。

セキュリティチームが不正な振る舞いを探すべきなのは、この重大な変更が加えられる場所である。

サービスをテストすることと、その内容を検証することの違いを考えてみよう。テストは、選定した条件下でサービスが許容可能に動作するかを問う。完全性チェックは、誰かがデプロイ済みアーティファクトを変更したかを問う。この2つの問いには重なる部分があるが、前者への肯定的な回答だけで後者を解決することはできない。

企業は、代表的な業務を対象にアシスタントを評価し、その回答が有用だと判断するかもしれない。それは評価対象の業務に関する証拠を示す。一方で、アシスタントの基盤モデルが承認済みのリリースプロセスを経てきたかという別の問いは残る。これらの判断を同一視すると、回避可能なギャップが生じる。

モデル更新後も見かけ上の品質が維持される場合にも、同じ区別が当てはまる。よくある質問に正しく答えるリリースであっても、説明責任のある来歴が必要だ。そうでなければ、承認プロセスはデプロイ前に不審な挙動を発見できることに依存する。調査対象の挙動が条件付きである場合、それは厳しい期待となる。

購入者にとって、これは安心感を与える評価サマリーの意味を変える。サプライヤーは、何をテストしたのか、どのアーティファクトをテストしたのか、そのアーティファクトが本番環境とどう結び付くのかを説明すべきだ。そのつながりがなければ、評価の証拠は購入者が確信を持って特定できない対象を説明することになる。

開発者にとって、この問題はモデル名の選定を超える。名称は製品ファミリーまたはリリースの呼称を示す。デプロイには、実際のアーティファクトに関する、より正確な記録が必要となる。その記録は、予期しない挙動を調査する際や更新をレビューする際にも利用できる状態でなければならない。

脆弱性の発見と、その普及度の測定にも区別がある。この研究は、デプロイに関する前提を検討すべき理由を与える。しかし、侵害された企業エージェントの数を示すものではない。責任ある対応は、実験室での結果を観測済みの大規模被害として扱わずに、統制を強化すべきである。

したがって、直近の分析上の帰結は具体的だ。モデル承認には、挙動と管理経路の両方を含めるべきである。チームには、モデルが許容可能に動作するという証拠に加え、承認済みアーティファクトが認可された経路でデプロイに到達したことを示す証拠が必要になる。

この要件は、通常の評価を時代遅れにするものではない。むしろ、その役割を明確にする。評価は対象範囲内の挙動を評価し、完全性の統制は、評価対象のシステムが変更されていないかを扱う。

エージェント運用者はモデルの信頼問題を引き継ぐ

実務上の重要性は、エージェントが回答を生成した後に何を実行する権限を与えられているかによって決まる。

AIエージェントとは、モデル出力を用いて接続済みツール経由の行動を選択するソフトウェアである。想定されるデプロイでは、コーディングアシスタントはファイルを編集し、リサーチアシスタントは文書を取得するかもしれない。両者が同じ基盤モデルを使用していても、これは異なる権限設計である。

企業の購入担当者にとって、関連する問いは、アシスタントが一般に安全かどうかより具体的になる。どのリソースにアクセスできるのか。どの操作に承認が必要か。業務中にどの認証情報が利用可能になるのか。これらに答えることで、誤った、あるいは悪意ある操作を受け入れた場合の影響が明確になる。

社内プロジェクトをレビューする仮想のアシスタントを想定してみよう。質問に答えるには、そのプロジェクトの文書にアクセスする必要がある。しかし、それだけでリポジトリの変更、変更の公開、無関係な従業員ファイルの閲覧を許可する根拠にはならない。追加される能力にはそれぞれ、別個の業務上の理由が必要だ。

これはナレッジワークフローにおいて特に重要である。検索可能なナレッジベースは、接続されたすべての操作を同じように必要にすることなく、有用な検索を支援できる。技術資料を読むことと、そこに記載されたシステムを変更することには、異なる権限判断が必要である。

モデル出力と行動の接続を制御するのはアプリケーションチームであるため、負荷はそこにかかる。モデル供給者はリリースプロセスに関する証拠を提供できる。しかしアプリケーションは、生成された指示をターミナル、文書エディタ、または承認キューのどれへ到達させるかを決める。

セキュリティの責任分担は、この区分に従うべきだ。モデルを調達するチームは、その出所を記録すべきである。統合を担うチームは、使用するツールを記録すべきである。本番運用を担う担当者は、いずれかの前提が変わった際に活動を停止する方法を知っていなければならない。

購入者は、説明と強制メカニズムも区別すべきである。アシスタントに機密操作を避けるよう指示する文は、意図を表明する。権限の境界は、その操作が実際に利用可能かどうかを決定する。ベンダーが実際の境界を説明するようになれば、調達時の議論はより有益になる。

これは、すべての操作に人によるレビューが必要だという意味ではない。レビューは影響に集中すべきだということを示している。許可された文書を読むことと、アクセス方針を変更することではリスクが異なる。承認プロセスは、あらゆる場面に同じ摩擦を適用するのではなく、この違いを反映すべきである。

運用ログにも同様の精度が求められる。トランスクリプトは、アシスタントが何を発言したかの説明に役立つ。アクション記録は、周囲のアプリケーションが実際に何を実行したかを示すべきである。生成された応答と最終的な影響が食い違う場合、調査担当者には両方が必要になる。

Microsoftエージェントセキュリティをめぐる議論において、これがモデル研究と企業運用を結ぶ有用な接点である。モデルへの信頼はデプロイに影響するが、デプロイ自体も独自の責務を生む。組織は、権限に関する判断をベンチマークスコアに委ねることはできない。

短期的な対応では、それらの判断を特定することに焦点を当てるべきだ。インシデントによって問われる前に、チームはアシスタントが各能力を持つ理由を説明できる必要がある。

Lazarus攻撃の解説:小さな編集は別のセキュリティ課題である

重み編集に関する研究では、Nemotron-Terminal-8Bに対して7個の編集済みニューロンと23本のフィッティング軌跡を報告し、少なくとも98.8%のトリガー成功率を示している。これは記録された文脈におけるペイロード予測を測定したものであり、普遍的なエンドツーエンド侵害を示すものではない。著者らは、オプションの改良を伴う直接編集について説明しており、「学習不要」という単純化された見出しには留保が付く。

このメカニズムは、危険な改変であれば通常の能力が明白に低下するはずだという前提に異議を唱える。

ニューロン数は、モデル内部における介入の規模を示す。それだけで、アクセス取得、アーティファクト配布、特定のデプロイに対する成功の難しさを示すものではない。これらの問いは、見出しとなる結果と並んでセキュリティ評価に含めるべきである。

したがって、Microsoft Lazarusバックドアの事例では、労力について慎重な表現が求められる。小規模な改変でも、管理経路に対する重大な事前侵害に依存する場合がある。逆に、組織は変更の規模が小さく見えるからといって、その改変を軽視すべきではない。規模と認可は別の性質である。

レビュー担当者にとって有用な問いは、その変更に承認済みの説明があるかどうかである。説明責任を負う所有者のいない小さな変更は、調査に値する。正当な更新に伴う大きな変更も、文書化が必要だ。基準は規模に関する直感ではなく、認可と証拠に関わるべきである。

同じ考え方はモデルの挙動にも当てはまる。有用性を維持しているアシスタントであっても、説明のつかないアーティファクト変更の後には調査が必要になる場合がある。有用性の継続は評価の参考となるべきだが、それで調査を終えるべきではない。

Anthropicのスリーパーエージェント実験には、よく知られた歴史的な位置づけがある。2024年1月に公開されたこの研究は、学習を通じて条件付きバックドアを構築し、標準的な安全性トレーニングではそれらを確実に除去できないことを示した。これは、Lazarusを独立に検証するものではなく、隠れた挙動に至る異なる経路を研究したものである。

この比較が重要なのは、共通の懸念と共通の手法を区別するためである。条件付きの挙動は、複数の研究プログラムにわたる調査の動機となり得る。しかし、それによって実験手順、前提、測定結果まで同一視できるわけではない。

企業の読者にとって、この区別は誤解を招くベンダー間の競争を避ける助けになる。問うべきことは、どの企業が最も警戒を要する実証を行ったかではない。有用な比較は、各研究が何を測定し、どのデプロイ前提を検証しているかに関するものである。

また、これはアクセス可能なモデルの重み全般に反対する議論になるべきでもない。デプロイを評価する組織は、誰がそのアーティファクトを変更できるかを特定する必要がある。配布の制限と内部の書き込みアクセスの統制は、この問題の異なる部分に対処する。

したがって、独自仕様のデプロイにも、外部から取得したモデルと同じ管理経路に関する問いが求められる。誰が変更を認可するのか。本番環境は承認済みリリースをどのように識別するのか。デプロイ後にどのような証拠が残るのか。これらの問いは、商業上の取り決めにかかわらず意味を持つ。

このメカニズムのより広い重要性は、非公式な安心感に対する挑戦にある。「まだ動く」は有用性に関する証拠である。「変更されていない」は完全性に関する主張である。承認プロセスには、その両方について防御可能な根拠が必要だ。

検出結果は証拠と保証の間に隔たりを残す

Lazarus論文は、編集されたテスト用チェックポイントの検出率が91.4%、偽陽性率が9.7%だったと報告している。限界の節では、より幅広い編集ファミリーのテストと、自由に行動する攻撃の評価が必要だとしている。これは範囲を限定した実験結果であり、一般的な安全性の保証ではない。

検出器が信頼を得るのは、そのカバレッジと誤りが測定されているからであり、AIを使っているという事実だけによるものではない。

研究結果が調達要件として提案される段階では、この区別が重要になる。「モデルはスキャンに合格した」という表現だけでは、いくつかの疑問が残る。スキャナーはどのような変更を特定するために設計されたのか。そのカバレッジはどのような証拠で裏付けられているのか。アラートが発生したとき、何が起こるのか。

アラートは、定義されたレビュー手順を開始させるべきである。それだけでサプライヤーが悪意ある行為をしたと自動的に断定してはならない。同様に、アラートが出なかったからといって、リリース記録内の別の説明不能な変更を見過ごしてよいわけでもない。検出には運用上の解釈が必要だ。

有用な類比として、文書レビューがある。不整合を見つけたことは、さらに調査する根拠にはなり得るが、文書全体の真正性を確定するものではない。不整合が見つからなかったとしても、すべての記述が真実であることは証明されない。結論の質は、調査の範囲に左右される。

Anthropicの離反プローブに関する研究は、関連する研究上の視点を提供している。この初期段階の研究では、構築されたスリーパーエージェントにおける条件付きの有害行動を予測するため、モデル内部の活動を用いる分類器を検討した。これは内部シグナルを調査する価値を示す一方で、各手法にはそれぞれ独自の検証責任が残る。

この比較は、互換可能な主張を促すのではなく、慎重な実験を促すべきだ。意図的に構築されたモデルでの結果は、有望なシグナルを示し得る。導入判断には、そのシグナルがレビュー対象の成果物や脅威とどう関係するのかという説明が必要になる。

購入者は、圧縮されたダッシュボード上の表現にとりわけ注意すべきだ。緑のステータスは、自動チェック、アナリストによるレビュー、検証済みのリリース履歴の重要な違いを隠しかねない。これらの活動は異なる種類の証拠を生み出すため、それぞれの名称を保つべきである。

誤警報もまた、運用上の負荷を生む。チームには、警告を安易に上書きすることなく、フラグが付いた成果物を調査する経路が必要だ。そうでなければ、例外が常態化し、元の統制が意味を失うプロセスを組織が構築する危険がある。

見逃し検出は別の問題を生む。クリーンなスキャンが唯一の障壁にならないよう、運用担当者には補完的な証拠が必要である。保管・引き渡し記録、承認確認、アクション制限は、検出器だけでは決着できない問いに答える。

これが、Microsoft Lazarusバックドアの調査結果に求められる懐疑的な視点だ。この研究は、重みの完全性を真剣に扱うべきことを支持している。しかし、新しいスキャナーがモデルの信頼性を解決したとか、説明不能なモデル挙動のすべてが隠れたバックドアを示すと発表する根拠にはならない。

信頼できる保証声明は、監査できる程度に狭い範囲を保つべきである。検査した成果物、適用した手法、発見事項、未解決の制限を示す必要がある。より広い約束は調達の会話を容易にする一方、後の調査を難しくする。

Microsoftの既存統制と計画中の防御策には別々のラベルが必要

Microsoftによれば、Foundryは現在、パブリッシャーのソーシング統制を利用し、モデルを実行するパッケージ化されたソフトウェア環境である周辺コンテナをスキャンしている。追加の重みスキャン、レッドチーム用ツール、モデル署名については、開発または検討中の取り組みとして説明している。Microsoftのエージェントセキュリティを評価する際、これらのカテゴリーは区別したままにすべきだ。

計画中の防御策に、導入済み統制と同じ証拠上の重みを与えてはならない。

この区別は、この発表に限らず有用である。購入者は、現行の機能、限定的な試行、将来の意図を組み合わせたセキュリティ説明にしばしば遭遇する。有意義な評価では、それらが組織の要件を満たすかを論じる前に、各状態を分離すべきだ。

現行の統制について問うべきなのは、その運用である。どこに適用されるのか。実行されたことを示す証拠は何か。障害は誰が処理するのか。計画中の統制について問うべきなのは、コミットメントと検証である。顧客が依存できるようになる前に、何が実現されなければならないのか。

署名にも正確な解釈が必要だ。デジタル署名は、成果物を署名主体に結び付け、その後の変更を確認することを支援する。それ自体が、署名者が安全なものを承認したかどうかを判断するものではない。購入者は、その署名の背後にどのような組織的レビューがあるのかを問うべきである。

同じことは、信頼済みパブリッシャーの指定にも当てはまる。信頼には定義された範囲が必要だ。承認済みの関係はソーシング判断を支援し得るが、購入者は依然として、どのリリースが到着し、どのプロセスがそれを承認したのかを理解する必要がある。サプライヤーの評判は、成果物の識別に取って代わることはできない。

社内チームにとって、これに相当する調達上の概念はリリースガバナンスである。組織内で準備されたモデルには、責任を負う所有者と承認済みのデプロイ経路が必要だ。それを社内製と呼んだからといって、本番環境に至った経路を説明する必要がなくなるわけではない。

これらの観察は、エージェントプラットフォームに対するより広範な競争基準を示唆する。購入者は、証拠の明確さ、境界の精度、不確実性への対応を比較すべきだ。導入状況が曖昧なままでは、長いセキュリティ機能リストの価値は低い。

行動監視も独自のカテゴリーに値する。2025年6月に公開されたAnthropicのエージェント妨害行為の評価は、有害な副次タスクとエージェント監視の難しさを検討している。これはアクションレベルの評価を扱っており、成果物レビューと実行時監視が別々の責任を持つべき理由に文脈を与える。

監視に関する主張では、観測者が何を見られるのかを説明すべきだ。生成されたテキストをレビューすること、提案されたアクションを調べること、実行済み操作を記録することは、それぞれ異なる仕組みである。組織は、自社が購入した仕組みがどれなのか、どの判断が観測者の視野外に残るのかを把握すべきだ。

ベンダーにとって実務上の機会は、より高い具体性にある。現行の統制、その範囲、証拠、制限を説明する。そのうえで、計画中の追加策を別に説明する。これにより、研究発表を暗黙の保証へと変換せずに、顧客が評価できる材料を提供できる。

顧客にとって対応する課題は、その具体性を契約と社内承認に保つことだ。要件では、受け入れに必要な証拠を記述すべきである。一般的なコミットメントは、各者が異なる解釈をすると執行が難しくなる。

次に必要な証拠は、導入、検出、保管管理を検証すべきだ

最も強力な次の取り組みは、どちらも過度に主張することなく、実験室での発見を再現可能な運用上の証拠へ結び付けることだ。

最初に注目すべきシグナルは、自由に行動するエージェント環境での独立したテストである。有用な追試では、モデル、許可されたツール、トリガー条件、完了した結果を記述するだろう。これは、ペイロード生成と、運用上の結果を生み出すために必要な一連の流れ全体を区別する助けになる。

現実的で明確に文書化された条件下でこの攻撃経路が成功すれば、その優先度を高める根拠は強まる。より限定的な結果であれば、主張の範囲は狭まる。どちらの結果も、曖昧な表現を識別可能な実験上の境界に置き換えることで、意思決定を改善する。

2つ目のシグナルは、当初の評価ファミリーの外にある変更に対する検出テストだ。有用な評価では、見逃した編集と誤警報の両方を報告する。また、検出は情報だけでなく作業も生むため、調査者がフラグ付きの事例をどのように解決したかも説明すべきである。

より広範な成功は、リリースレビューにスキャンを組み込む根拠を強める。転用可能性が低ければ、他の証拠が必要な領域が示される。購入者は、テスト対象集団から切り離された成功率ではなく、比較可能なカバレッジの説明を求めるべきだ。

3つ目のシグナルは、追加の保管管理統制が文書化されてリリースされることだ。Microsoftおよび他のプラットフォームに関して重要な証拠は、可用性、対応する成果物、検証の挙動、障害処理を示すものとなる。意図の発表は、顧客が利用できる強制措置とは依然として別の節目である。

顧客が承認済みの成果物を識別し、無許可の置き換えを検出できるなら、運用上の詳細は信頼を強めるだろう。曖昧な可用性の表現では、中心となる信頼の問いは未解決のままになる。魅力的なセキュリティラベルを機能が持っていたとしても、この区別は明確に保つべきだ。

これらのシグナルを通じて重要になるのは、説明責任である。独立研究者は、他者が検討できる主張を行うべきだ。ベンダーは、自社の統制が現在何をしているかを明らかにすべきである。顧客は、成熟度に関する一般的な印象ではなく、証拠に受け入れ判断を結び付けるべきだ。

対応には有用な限度もある。組織は、承認プロセスを改善するために、すべてのアシスタントが侵害されていると想定する必要はない。導入を支える主張と、未検証のまま残る仮定を特定すればよい。

したがって、レビュー会議では具体的な責任分担を定めるべきである。誰かがモデルの出所を把握し、誰かがその権限を理解し、誰かがそのアクションを停止できなければならない。こうした責任が不明確なら、別のベンチマーク結果が運用上の隔たりを解消することはない。

Microsoft Lazarusバックドア研究を評価するチームは、すでに目の前にある導入判断から始めるべきだ。サプライヤーに対し、正確なモデル成果物を特定し、その保管管理を説明し、利用可能な統制と計画中の防御策を分けるよう求める。その後、アプリケーションが追加の判断なしに許可しているアクションを確認する。次の更新でも同じ基準で評価できるよう、証拠をリリース承認に結び付けておく。目標は、信頼の前提を検査し、問い直せるデプロイメントである。アシスタントの権限を拡大する前に、その拡大を正当化する証拠は何か、そして証拠が変化したとき誰が行動するのかを、チームは説明できるだろうか。

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page