FBIのAIテロ警告が突きつける、攻撃計画をめぐる難題
当局がAI支援によるサイバー作戦、監視、兵器研究、過激派プロパガンダを記録するなか、FBIのAIテロ警告への切迫感は高まっている。敵対的な主体がAIを利用するかどうかは、もはや争点ではない。問題は、こうしたツールが経験の浅い個人を有能な攻撃者へと変え得るのか、という点だ。
国土安全保障省の元情報当局者であるJohn Cohen氏は、AIによって攻撃計画に要する期間が数年から数分へ短縮され得ると述べる。ABC7 Chicagoが報じた同氏の警告は、サイバー攻撃、作戦手順書、兵器研究、標的分析に及ぶ。
最近の事例は、この懸念に事実上の根拠を与えている。Anthropicは、Claudeを攻撃的サイバー作戦、監視、影響工作、兵器開発に利用していた主体を妨害したと述べている。連邦機関も別途、産業設備を標的とするAI生成の悪用スクリプトを報告している。
ただし、証拠は慎重さも求めている。記録されたAIの悪用は、AIが計画したテロ攻撃が確認されたことと同義ではない。安全保障上の中心的な問いは、AIが既存の作業を加速するだけなのか、それとも能力の低い主体をかつて阻んでいた障壁を取り除くのか、ということだ。
FBIのAIテロ警告の背景で何が変わったのか
この警告が重要なのは、AIが情報源から敵対的活動の作戦レイヤーへと移行しつつあるためだ。
FBIは数年前から、犯罪におけるAIの利用について警告してきた。初期の警告は、フィッシング、なりすまし、詐欺、合成メディアに大きく焦点を当てていた。これらの活動は、まったく新しい攻撃カテゴリーを生むのではなく、既存の犯罪手法をAIで改善するものだった。
現在、同機関はより広範な脅威環境を説明している。同機関の公開されたAI脅威の概要によれば、悪意ある主体は、以前はより多くの時間、人手、専門知識を要した作業を自動化できる。さらに、サイバー犯罪、暴力犯罪、詐欺、国家安全保障上の脅威を懸念領域として挙げている。
直近の公開議論では、攻撃計画がより中心的な位置を占めている。Cohen氏はABC7に対し、テロ組織や犯罪組織がすでにAIを利用してサイバー能力を向上させ、詳細な作戦手順書を作成していると語った。また、兵器の構造を理解しようとする試みについても言及した。
これは強調点の重要な変化だ。チャットボットは、調査を整理し、技術文書を翻訳し、コードを書き、標的を比較し、繰り返しの対話を通じて計画を修正できる。エージェント型システムは、ソフトウェアツールを利用し、セッションをまたいで文脈を保持することもできる。
エージェント型AIとは、ツール、ファイル、フィードバックループを通じて、多段階の目標を追求できるモデルを指す。単発の質問に答えるだけではない。この機能は正当な業務を効率化し得る一方、悪意ある自動化の機会も生み出す。
この区別が重要なのは、計画には摩擦が伴うからだ。攻撃者は情報を収集し、依存関係を特定し、前提を検証し、誤りから立ち直らなければならない。AIは、そのプロセスの一部を対話型ワークフローへと圧縮できる。
システムは、主体が公開記録を要約したり、公開状態のサービスを調査したり、複数の言語の資料を翻訳したりするのを支援できる。また、作戦を整理するためのチェックリストを作成することもある。こうした機能が成功を保証するわけではないが、混乱や遅延を減らすことはできる。
したがって、この警告は仮想的な超知能だけを根拠としているわけではない。汎用モデルですでに利用可能な通常の能力に関するものだ。検索、コーディング、要約、翻訳、画像分析、ワークフロー自動化はいずれも二面性を持ち得る。
ただし、報じられた警告には正確な位置付けが必要だ。ABC7の記事は、Cohen氏の評価と、政府および業界による最近の複数の開示を組み合わせている。AI支援テロだけを扱う新たな連邦共同通達が出されたとは示していない。
だからといって、根底にあるリスクが架空になるわけではない。読者は証拠を3つの層に分けるべきだ。確認された犯罪利用、記録された国家関与型の作戦、そしてテロリストがこうした手法にどう適応し得るかという予測がある。
最初の2層は、ますます十分な裏付けを得ている。3番目は、なお発展途上の脅威評価だ。すべての層が同程度に実証されているかのように扱えば、この警告は有用性ではなく信頼性を損なう。
この区別は、影響を受ける対象も明確にする。この問題は情報機関やモデル開発者だけに限られない。クラウドプロバイダー、重要インフラの運営者、ソフトウェアチーム、地域の緊急対応計画担当者はすべて、同じリスク連鎖の中にいる。
敵対的な主体は、あるサービスを調査に、別のサービスをコード作成に、侵害したインフラを実行に利用できる。単独の企業が作戦全体を見渡すことはできない。この分断により、防御側は別々のシグナルが結び付くまで不完全な全体像しか得られない。
AIによる攻撃計画はワークフローになりつつある
攻撃者にとってAIがもたらす最も直接的な利点は、兵器やテロ行為を即座に習得することではなく、多数の小さな作業を横断して調整できることにある。
従来の攻撃計画には、調査、技術作業、物流、安全確保、反復的な検証が組み合わさる。各段階で、経験の浅い主体の限界が露呈し得る。生成AIツールは現在、個別の専門家を必要とせずに複数の段階を支援できる。
最も明確な証拠はサイバー作戦から得られる。Anthropicの2026年9月の悪用調査は、主体がClaudeを偵察、マルウェア開発、エクスプロイト調査、フィッシング基盤、情報収集に利用したと説明している。
調査対象となったある主体は、ドメインの調査、登録、インフラ設定、フィッシングメッセージの送信、コマンドチャネルの監視を行う自動化ワークフローを開発した。Anthropicによれば、人間のオペレーターは主に、それらのワークフローを制御するClaude Codeのスキルを変更していた。
別の作戦では、並列AIエージェントが偵察と侵害後の作業に用いられた。主導エージェントがサブエージェントへ作業を分割し、永続ファイルが標的、認証情報、指示、キャンペーンの進捗を保存していた。
永続的なキャンペーン記憶は特に重要だ。これにより、作戦は過去の調査結果を保ったまま再開できる。かつては規律ある人間の記録管理に依存していた組織的負担を軽減するためだ。
この報告書は、政府機関、外交使節団、防衛組織、ドローン関連のサプライチェーンを標的とした活動についても説明している。ある主体は、盗まれたドローン視覚システムをリバースエンジニアリングし、そのアーキテクチャやサプライヤーの詳細を復元したとされる。
これらの事例は、テロリストによる利用を立証するものではない。しかし、AI支援による作戦ワークフローが敵対的な主体の間ですでに存在することを示している。テロネットワークが同じ構造を偵察、調達、プロパガンダ、サイバー妨害に転用しようとする可能性はある。
AIは専門的な言語へのアクセスも容易にする。主体は、なじみのないコード、ハードウェア、文書について追加質問できる。モデルは、利用者が作業を継続できる程度に理解するまで説明を組み替えられる。
この個別指導機能は、単一の有害な回答よりも重大な意味を持つ。静的なマニュアルは情報を提供するが、理解の混乱を診断することはできない。対話型モデルは不足を特定し、次の段階を提案できる。
攻撃計画には標的選定も含まれる。モデルは、公開スケジュール、地図、画像、施設情報、ソーシャルメディア投稿を整理できる。利用者が選んだ基準に照らして場所を比較することも可能だ。
これは、すべての出力が正しいことを意味しない。モデルは詳細を捏造し、文脈を読み違え、脆弱なコードを生成する。それでも、決意した利用者は修正を求めたり、出力を比較したり、モデルを外部ツールに接続したりできる。
Cohen氏の最も強い主張は、AIが計画サイクルを劇的に短縮するというものだ。この結論は、調査や管理業務に関しては妥当である。一方、物理的攻撃全体にわたって立証することはより難しい。
実際の作戦では、テキスト生成では取り除けない制約に直面する。攻撃者には依然として、アクセス、資材、資金、秘匿性、検証、物理的な実行が必要だ。モデルは、模擬環境の外で部品が連携して機能することを保証できない。
AIが実システムに接続されると危険性は増す。孤立したチャットボットはコードを提案できる。シェル、ブラウザ、認証情報、クラウドアカウントにアクセスできるエージェントは、行動を試み、その結果を使って手法を修正できる。
このフィードバックループは、防御上の課題を変える。セキュリティ対策は、悪意あるコンテンツだけでなく、個別には通常に見える一連の行動も検知しなければならない。ドメイン検索、文書要約、コードテストは、まとめて見たときに初めて疑わしくなり得る。
このため、プロバイダーは個々のプロンプトではなく、行動を精査する傾向を強めている。単発のリクエストは無害に見えるかもしれない。長時間のセッションでは、偵察、標的の具体化、調達、保護措置を回避しようとする試みが明らかになることがある。
ワークフローの視点は、扇情主義を避けるうえでも役立つ。AIは、独力で政治的標的を選定する自律的な黒幕ではない。人間の主体の意図と持続力を増幅し得る、柔軟な調整システムである。
その増幅は一様ではない。熟練したオペレーターは速度と規模を得る。初心者は指示と構造を得る。組織は複数の作業系統を同時に動かす能力を得る。
防御側にとって、これらの利得はそれぞれ異なる問題を生む。危険な回答を遮断しても、初心者への指示にしか対応できない。連携したエージェントを検知するには、より長期にわたるアカウント、インフラ、行動のインテリジェンスが必要となる。
能力の向上は、攻撃成功の証拠より速い
中心的な緊張関係は、有害なAI能力は測定可能である一方、完遂されたテロ攻撃への寄与はなお証明が難しいことにある。
警告はしばしば、能力、意図、影響を一括りにする。これらの要素は別々に評価すべきだ。テロ組織がその能力を成功裏に利用していない場合でも、モデルが能力を持つことはあり得る。
意図は観察しやすい。過激派の主体は、合成メディア、翻訳、プロパガンダ、勧誘、技術的指導を試してきた。これらの利用は既存のコミュニケーション戦略に適合し、専門的なインフラをほとんど必要としない。
2026年9月のテロリスト・プロパガンダ評価は、勧誘、多言語での働きかけ、個別最適化されたメッセージ、資金調達におけるAI利用の拡大を確認した。国連は、プロパガンダを独立した広報活動ではなく、作戦インフラの一部として位置付けた。
この証拠は、規模に関する懸念を裏付ける。小規模な集団でも、より多くの素材を生成し、異なる対象者向けにローカライズし、変種を迅速に試せる。合成人格は、潜在的な勧誘対象との対話を継続することもできる。
作戦上の影響を測ることはより難しい。プロパガンダの出力量は、誰かが勧誘、訓練、資金提供を受けたのか、あるいは暴力へと誘導されたのかを示さない。大量のコンテンツは、現実世界での能力を生まずに可視性だけを高めることがある。
同じ不確実性は攻撃計画にも見られる。モデルは、技術的前提が誤っているために失敗する、もっともらしい計画を生成するかもしれない。また、経験豊富な主体が実行可能な作戦へ取り込む有用な断片を提供する可能性もある。
研究者はそのため、限界的なリスクに注目している。重要なのは、危険な情報がオンライン上に存在するかどうかではない。AIが、検索エンジン、フォーラム、マニュアル、あるいは人間の専門家がすでに提供してきたもの以上に、有害な結果を生み出す可能性を高めるかどうかである。
NISTの生成AIプロファイルは以前、一部の生物学的リスク評価において、従来のインターネット検索を超える支援は最小限だったと指摘した。また、モデルの性能向上や専門ツールへのアクセスによって、結果が変わり得るとも警告している。
この注意は、兵器やサイバー能力にも当てはまる。テキストモデルは概念を説明できるが、実践的な実行にはしばしば暗黙知が必要となる。暗黙知には、訓練、試験、身体的な経験を通じて培われる判断力が含まれる。
不正確な技術的回答は、初心者の作業を止める可能性がある。また、意図しない危険を生むこともある。いずれの場合も、AIが攻撃の成功確率を確実に高めるという主張を複雑にする。
サイバー作戦では、環境が迅速なフィードバックを可能にするため、より強い証拠が得られる。コードは実行でき、エラーはモデルに戻して入力でき、修正はすぐにテストできる。物理システムでは、フィードバックのサイクルがより遅く、コストも高い。
この違いは、高度な物理攻撃より先にAI対応のサイバー脅威が現れている理由を説明する。ソフトウェア作業はすでにテキスト、ファイル、コマンドインターフェースを通じて行われている。現在のモデルが最も得意とするのは、こうした環境である。
リスクはすべての利用者に均等に分布しているわけではない。能力のある攻撃者は、悪い出力を見抜き、有用な提案を活かせる。初心者は重大な誤りに気付かないまま、危険または無意味な指示に従うおそれがある。
ツールへのアクセスも、別の分岐点を生む。脆弱性スキャナー、コード実行環境、盗まれた認証情報に接続されたモデルは、厳格な制御下にある公開チャットボットより大きなリスクをもたらす。能力は、モデルを取り巻くシステム全体に依存する。
FBIのAIテロリズム警告は、このシステムレベルの変化を指摘する場合に最も説得力を持つ。AIがすでに成功した完全自動のテロ作戦を生み出した証拠と解釈されるなら、その説得力は弱まる。
公開されている証拠は、そのような広範な結論を支持していない。Anthropic自身も、公表した事例は典型的な活動ではなく、注目すべき新規性のある悪用事例だと述べている。同社が検出した一部の影響工作は、本物のエンゲージメントがほとんどなかった。
同じ報告書には、プロバイダー自身による帰属評価と影響評価も含まれている。Anthropicは自社サービス上の活動を調査できるが、外部者はそうした判断の背後にあるすべての機密または非公開のシグナルを独自に再構築することはできない。
これは事例を退ける理由ではない。一貫した開示方法を求める理由である。プロバイダーは、再現を可能にする詳細を明かさない範囲で、信頼度、観測された行為、介入ポイント、判明している結果を説明すべきだ。
政府も同じ課題に直面している。政府当局は公表できない機密証拠を保有している場合がある。その結果、観測された事象とモデル化されたシナリオを区別するのに十分な詳細がないまま、幅広い警告が一般に届くことになる。
信頼できるリスク評価は、その区別を維持すべきである。能力は進化している。悪意ある実験は記録されている。AI支援によるテロ攻撃計画の頻度と有効性は、なお不確実である。
圧力はAIプロバイダーとインフラ防御側に及ぶ
モデル企業とインフラ事業者は、通常とは異なる技術的要求のすべてをテロの証拠とみなすことなく、悪意あるキャンペーンを検出しなければならない。
最初の圧力点はモデルプロバイダーである。企業は、アカウントの挙動、ツール呼び出し、プロンプトの連続、セーフガードを回避しようとする試みを観測できる。その可視性により、作戦が標的に到達する前に活動を明らかにできる可能性がある。
Anthropicは、アカウントを停止し、分類器を改善し、必要に応じて当局や業界パートナーとインテリジェンスを共有したとしている。こうした介入は、ホステッドモデルがリスクと並んで防御上の機会も提供する理由を示している。
ホステッドシステムでは、セーフガードを中央で更新できる。また、関連するアカウント、支払い方法、ネットワークインフラ、行動パターンを結び付けることもできる。公開配布されたモデルウェイトでは、公開後にプロバイダーが介入できる機会はより少ない。
ただし、モデル層での監視は、それ自体のリスクも生む。セキュリティチームは、機密性の高い会話、文書、コードを調査する可能性がある。誤検知は、研究者、ジャーナリスト、防御担当者、論争のあるテーマを研究する利用者に影響を及ぼし得る。
したがって、文脈が重要である。サイバーセキュリティアナリストは、ネットワークを保護するためにエクスプロイトコードをテストすることがある。歴史家は過激主義の資料を研究するかもしれない。化学者は、悪用の兆候に似た技術的質問をする可能性がある。
信頼できる審査には、キーワードによる遮断以上のものが必要だ。プロバイダーは、意図を示すシグナル、ツールへのアクセス、反復的な行動、作戦上の進展を検討しなければならない。影響の大きい判断には、依然として人間によるエスカレーションが必要である。
政府機関も同様の圧力に直面する。民間プロバイダーからのインテリジェンスを必要とする一方、法的手続きと市民的自由も守らなければならない。曖昧な情報共有の取り決めは、監視に関する責任の所在をぼかし得る。
第二の圧力点は重要インフラである。AI支援を受けた攻撃者であっても、公開状態または防御の不十分なシステムを必要とする。基本的な弱点は、モデルの高度さより重要になる場合がある。
2026年7月の連邦警告は、少なくとも7州の水道施設で、インターネットに接続されたプログラマブルロジックコントローラーを標的とする攻撃が報告されたと伝えた。インフラ警告によれば、一部の事案では圧力低下や浸水が発生した。
これらの事案は、防御の現実を示している。インターネットへの直接公開をなくし、脆弱なパスワードを変更し、ネットワークアクセスを制限し、ログを保存し、手動制御をテストすることは、引き続き不可欠である。AIによって、こうした対策が不要になるわけではない。
むしろ、自動化によって単純な弱点がより速く発見されると、危険性は増す。悪意あるシステムは、多数の標的をスキャンし、構成を比較し、個別に最適化された指示を生成できる。防御側は、目立たなければ公開デバイスを隠せると考えるべきではない。
第三の圧力点は、より広い技術サプライチェーンである。攻撃者は、商用モデル、盗用アカウント、プロキシサービス、オープンソースツール、侵害されたホスティングを組み合わせられる。1つのアカウントを停止しても、作戦全体を止められない可能性がある。
国家安全保障局とパートナー組織も、米国のフロンティアモデルから能力を抽出しようとする産業規模の試みについて警告している。2026年9月の蒸留に関する警告は異なる脅威を扱っているが、同じ管理上の問題を浮き彫りにしている。
モデル蒸留は、生成された例を通じて、あるモデルの振る舞いを別のモデルに移す手法である。無許可の蒸留は、元のプロバイダーのセーフガードやアクセス制御の外で、選択的な能力を再現し得る。
能力が管理の緩いシステムへ移ると、アカウント停止の有効性は下がる。脅威アクターはモデルを非公開で実行し、制限を変更し、攻撃ツールと統合できる。その場合、検知はインフラと標的ネットワークへと移行する。
これにより、本稿の中心的な対立構造が生まれる。すなわち、拡大する能力と、実効性のあるセーフガードとの対立である。プロバイダーは自社プラットフォームを制限できるが、複製されたすべての能力や接続されたすべてのツールを管理することはできない。
答えを単一のコンテンツフィルターに依存させることはできない。防御側には、モデル、アイデンティティ、クラウドサービス、ネットワーク、デバイス、インシデント報告にまたがる多層的な制御が必要だ。1つの層での失敗が、作戦全体の露出につながるべきではない。
組織は証拠も保存すべきである。アイデンティティシステム、エンドポイント、ネットワークゲートウェイ、AIサービスのログは、調査担当者がキャンペーンを再構築する助けになる。それらがなければ、防御側には最終的な侵入しか見えないかもしれない。
したがって、企業の購入者にとってモデル安全性は運用上の要件である。調達レビューでは、ログ記録、アカウント制御、ツール権限、エスカレーション手順、インシデント開示の実務を検討すべきだ。
チームはAIエージェントに最小権限を適用すべきである。最小権限とは、システムに割り当てられたタスクに必要なアクセスだけを与えることを意味する。文書を要約するアシスタントに、デプロイメント認証情報は必要ない。
影響の大きい行為には、明示的な承認を必要とすべきである。セキュリティチームはまた、実験的なエージェントを本番ネットワークや機密インフラから隔離すべきだ。こうした実務は、悪意ある悪用と偶発的な損害の双方を減らす。
警告にはなお検証上の隔たりがある
懸念を裏付ける公開上の根拠は十分にあるが、最も強い主張は、独立した読者が利用できる証拠を超えている。
コーエンによる、9月11日同時多発テロの背後にあった長年の準備との比較は印象的である。それはAIアシスタントがどれほど迅速に情報を集約できるかを伝える。しかし、現在のモデルが複雑な作戦を支える人間のネットワークを置き換えられることを立証するものではない。
大規模な攻撃には、資金調達、勧誘、移動、調達、標的へのアクセス、通信の安全確保、実行が必要となる。こうした活動の多くは、物理的または金銭的な痕跡を残す。迅速に作成された計画文書が、それらをなくすわけではない。
この比較は、情報不足の役割を過大評価している可能性もある。一部の攻撃手法には、すでに広範な公開文書が存在する。より重要な論点は、AIがその情報を特定の人物、標的、制約に合わせて適応できるかどうかである。
そのような適応的支援は、精査に値する。AIは追加質問に答え、失敗した試みを診断できる。また、初心者には見つけることも理解することも難しい情報源を組み合わせられる。
それでも、流暢さは信頼性ではない。モデルは、でっち上げの詳細を自信に満ちた言葉で提示することがある。高リスクの技術的環境では、小さな誤りが計画全体を無効にする可能性がある。
プロバイダー報告書は、別の不確実性ももたらす。企業は検出した悪意ある作戦を公表するが、ローカルモデルや競合プラットフォームを通じて行われる活動を見ることはできない。報告書は価値があるが、不完全な標本である。
検知能力の改善によって、悪用が増えているように見える場合もある。より多くのキャンペーンを発見するプロバイダーは、敵対的活動が増えたのではなく、監視能力が向上しただけかもしれない。公開報告では、比較のための安定した分母が示されることはほとんどない。
政府の警告にも同様の限界がある。当局は捜査を守るため、作戦上の詳細を避ける場合がある。そのため外部者は、AIが不可欠だったのか、有用だったのか、付随的だったのか、あるいは単に試みられただけなのかを判断しにくい。
「AI支援攻撃」という表現は、まったく異なる現実を含み得る。プロパガンダの翻訳、マルウェアのデバッグ、標的の特定、自律型ハードウェアの制御を意味する場合がある。これらを1つのラベルにまとめると、リスクの水準が見えにくくなる。
有用な脅威分類は、コンテンツ生成、対話型チュータリング、ワークフロー自動化、自律的行動、物理的制御を分けるべきである。各カテゴリーには異なるセーフガードと証拠が必要となる。
コンテンツ生成は規模を生む。対話型チュータリングは知識の障壁を下げ得る。ワークフロー自動化は作戦のテンポを高める。自律的行動は直接的な人間の関与を減らす。物理的制御は、ソフトウェア上の判断を現実世界の結果へと結び付ける。
最も警戒を要する公開主張は、しばしば最初のカテゴリーから最後のカテゴリーへ飛躍する。現在の証拠は、中間領域における意味のある進展を示している。しかし、完全自律型のテロ作戦が一般的であることは証明していない。
過剰な主張には実務上のコストが伴う。広範な監視、標的設定の不十分な規制、劇的なシナリオに左右されたセキュリティ支出を促すおそれがある。また、予測が実現しなかった場合には、社会の信頼を損なう可能性もある。
過小評価にも別の代償がある。検知手法の開発を成功した攻撃の発生後まで待てば、予防の機会を失うことになる。セキュリティ計画は、結果データが十分に蓄積される前に始めなければならない場合が多い。
バランスの取れた立場は、安心論でもパニックでもない。防御側はAIを、既存の脅威システムを加速させるレイヤーとして扱うべきだ。AIがコスト、速度、規模、アクセスをどこで変えるのかを測定する必要がある。
この枠組みは人間の意図を見失わせない。モデル自体が政治的目的や不満を生み出すわけではない。何を標的にするか、どのリスクを受け入れるか、行動に移すかどうかを決めるのは、人や組織である。
また、従来型のセキュリティ対策の重要性も維持される。強力な認証、ネットワークの分離、ツールへのアクセス制御、検証済みの復旧計画、人によるレビューは、AI支援を受けたキャンペーンを阻止し得る。帰属が不確かなままであっても、こうした対策は機能する。
脅威がエスカレートしているかを示す3つのシグナル
次の段階は、検証済みの運用上の証拠、より強力な能力テスト、測定可能な防御介入を通じて判断すべきである。
第1のシグナルは、捜査当局がAIを実質的な計画要素として特定した、文書化済みの攻撃である。「実質的」とは、従来の調査では容易に得られない支援に作戦が依存していたことを意味すべきだ。
捜査当局は、モデルが何を行ったのか、どこで計画を変えたのか、その出力が実行を改善したのかを示す必要がある。容疑者の端末からチャットボットの履歴が見つかっただけでは、この基準を満たさない。
そのような証拠があれば、FBIのAIテロ警告は大幅に裏付けられる。議論は能力や悪用の試みから、実証された運用上の影響へと移ることになる。
こうした事例がないからといって、安全性が証明されるわけではない。法執行機関が詳細を非公開にする場合もあり、一部の作戦は発見されないまま残る。それでも、公的な主張は確認済みの事例と情報評価を区別すべきだ。
第2のシグナルは、サイバー、兵器、生物学、戦術情報のタスクに関する独立評価の進展である。評価では、個別の質問ではなく、完全なワークフローをテストすべきだ。
概念を説明できるモデルと、計画を立て、テストし、失敗から回復し、ツールを利用できるモデルは異なる。評価ではこれらの段階を個別に測定し、人間のベースラインと比較すべきである。
結果はモデル提供者の外部でも再現される必要がある。独立した評価者は、好ましい安全性の結果や劇的な脅威の主張を強調するインセンティブを抑えられる。また、一貫した条件下で安全対策を検証することもできる。
研究者は、AIが初心者、専門家、またはその両方を支援するかを報告すべきだ。主に専門家を加速させるシステムと、初心者にまったく新しい能力を与えるシステムでは、政策上の課題が異なる。
第3のシグナルは、連携した介入が実際にキャンペーンを妨害できているかどうかである。行為者がプロキシ、盗まれた認証情報、ローカルでホストされたモデルを通じてすぐに戻ってくるなら、アカウント停止だけではほとんど示唆を与えない。
提供者と政府機関は、繰り返し使われるインフラ、関連アカウント、キャンペーンの継続期間、サービス間の移動を追跡すべきだ。集計報告により、防御策がコストを引き上げているのか、それとも短い遅延を生み出すだけなのかを示せる可能性がある。
重要インフラの運営者も、侵入前にAIに関連する偵察活動が見られるかどうかを報告すべきだ。その証拠は、モデルプラットフォーム上の活動と、標的ネットワークで観測される行動を結び付ける。
これらのシグナルは、政府機関だけでなく、開発者や企業の購入担当者にとっても重要である。組織はモデルをリポジトリ、ブラウザ、ターミナル、業務システムへと接続する機会を増やしている。新しいツールが増えるたびに、アカウント侵害の影響も拡大する。
チームは、コードを実行できるエージェント、外部サービスに接続できるエージェント、シークレットを取得できるエージェント、本番リソースを変更できるエージェントを棚卸しすべきだ。承認ルールは、インターフェースの会話的な見た目ではなく、能力に応じて定めるべきである。
セキュリティ責任者は、障害時の経路もテストすべきだ。エージェントを停止し、認証情報を無効化し、ログを保存し、影響を受けたシステムを復旧する方法を把握しておく必要がある。これらの対策は、モデルの協力がなくても機能すべきだ。
ナレッジワーカーにも小さいながら現実的な役割がある。機密の認証情報、インフラの詳細、社内文書を、承認されていないツールに貼り付けてはならない。侵害されたアカウントやルーティングサービスによって、そうしたやり取りが漏えいする可能性がある。
FBIのAIテロ警告が最終的に示しているのは、非対称性である。攻撃者は多くのシステムで低コストに実験できる一方、防御側はすべての重要な依存関係を守らなければならない。AIはその実験の速度を高める。
答えは、すべてのモデル利用者を容疑者として扱うことではない。影響の大きい活動を隠しにくく、自動化しにくく、阻止しやすくすることだ。
読者は、モデルの能力と実際の運用成果を結び付ける証拠に注目すべきだ。また、提案される安全対策が実際のワークフローに対応しているのか、それとも不安をあおる言葉を遮断しているだけなのかを問うべきである。
この問いが、有用なセキュリティ政策と見せかけを分けることになる。AI支援による攻撃計画は、すでに信頼できるリスクとして認識されている。その規模、信頼性、テロの成功に与える影響は、政府と提供者が今後確立すべき事実である。
