英国政府、「AIを停止することはできない」としてAIキルスイッチ案を拒否
英国政府は9月11日、危険なAIシステムに対する緊急権限を求める声があるにもかかわらず、英国版AIキルスイッチの導入要請を退けた。内閣府は、英国は「AIを単純に停止することはできない」と述べ、代わりに開発者と既存の安全保障機関に責任を置く方針を示した。
この決定は、AI安全性そのものを否定したわけではない。閣僚らは、自律性を高めるシステムが国家安全保障上のリスクをもたらすことを認めている。しかし、国境、事業者、コンピューティング環境をまたいで稼働するモデルに対し、単一の国家的な停止機構を有効な解決策とみなすことには反対している。
この区別が対立の核心を生んでいる。議会内の支持者は、危機が起きる前に明確なAI停止権限を求めている。一方、政府は、多層的な技術的制御、分野別規制、インシデント対応、AI Security Instituteによる追加研究を重視している。
英国のAIキルスイッチ提案は単なる赤いボタンではなかった
この提案は、すべてのAIシステムを制御する物理的な一つのスイッチではなく、法的権限と運用上の義務を創設するものだった。
自由民主党のクレメント＝ジョーンズ卿は、Cyber Security and Resilience Billに関連する修正案を提出した。キドロン男爵夫人、ウィンズコムのハーディング男爵夫人、キングス・ヒースのハント卿がこれを支持した。
提案された法律は、国務大臣に一連の「最終手段の権限」を付与する内容だった。これらの権限により、大規模に展開されたデータセンターまたはAIシステムの停止を指示できるようになる。
公式の停止修正案は、AIのセキュリティまたは運用上の緊急事態に限って適用される。AI関連の侵害が壊滅的なリスクをもたらすと信じるに足る合理的な根拠を必要としていた。
修正案は、そのリスクを3つの区分で定義した。重要インフラの大規模な混乱、国家安全保障能力への損害、人命への深刻な危害が対象となる。
また、緊急事態に先立つ準備にも言及していた。規則により、事業者やデータセンター運営者に対し、停止指示を受領・実行するための実用的な体制の維持を求めることが可能になる。
運営者は定期的な緊急訓練の対象となり得る。また、運用再開前にインシデント報告や再発防止策を含む、事後対応プロセスを求められる可能性もある。
「キルスイッチ」という表現は、現実離れした単純な仕組みを想起させるため、こうした詳細は重要だ。実際の提案は、法的権限、技術的な準備態勢、訓練、報告、司法監督を組み合わせたものだった。
この措置は、運用要件を満たせなかった場合の罰則も想定していた。正式起訴で有罪となった者は、最長2年の懲役、罰金、またはその両方を科される可能性がある。
同時に、修正案には説明責任に関する規定も盛り込まれていた。指示は審査の対象となり、議会はAI緊急事態の可能性について継続的な報告を受けることになる。
報告要件の対象には、敵対的なAI利用、自律的なサイバー攻撃、人間の監督を逃れる能力を持つシステムが含まれていた。また、一般に超知能AIと呼ばれるシステムにも明示的に言及していた。
この修正案は動議に付されなかったため、議会はその可否を判断するよう求められていない。したがって、政府の公然たる反対は、議会での否決と同じ意味ではない。
この手続き上の違いは重要である。政府はこのアプローチを退けたが、議会はこの特定の修正案について可否を決する最終投票を行っていない。
支持者は、後続の修正案、別法案、または技術標準を通じて、関連する措置を引き続き追求できる。この提案が進展しなかったとしても、AI停止権限をめぐる議論は続いている。
それでも、この出来事は政策上の基準点を変えた。政府は現在、AIを停止するという形で提示された広範な国家的停止構想を支持しないことを明確にしている。
この立場は、より難しい問いへと議論を向ける。一つのスイッチが不可能なら、開発者、クラウド事業者、データセンター、重要サービスに対して、どのような具体的介入権限が必要なのか。
英国政府がAIを単純に停止できないとする理由
政府の最も強い反論は領域に関するものだ。英国でモデルを遮断しても、他国での開発、複製、悪用を止めることはできない。
内閣府の報道官は、国内でのアクセスを制限しても、海外でモデルが開発または悪用されることを防げないと述べた。この発言は元の政府回答に掲載された。
この議論は、現代のAIサービスが分散している実態を反映している。モデル開発者は、ある国でシステムを訓練し、別の国でホストし、複数地域の利用者に提供できる。
一部のモデルは、ダウンロード、改変、または非公開環境への展開も可能だ。モデルの重みが独立したシステム間に流通すれば、一つの政府がすべてのコピーを確実に無効化することはできない。
クローズドモデルであっても、一台のマシンに依存することはほとんどない。そのサービスには、複数のクラウドリージョン、アプリケーションインターフェース、委託先、下流製品が関与し得る。
英国のあるデータセンターでアクセスを遮断すれば、国内での展開は中断できるかもしれない。しかし、国外のインフラから稼働する関連サービスまで停止できるとは限らない。
政府はまた、アクセス制限と技術的封じ込めを区別している。公開アクセスの遮断は当面の露出を減らせるが、自律的なプロセスが停止したことを保証するものではない。
システムがすでに認証情報を取得し、ソフトウェアを複製し、外部サービスを通じて行動を開始している場合、この制約はより深刻になる。停止命令には、関連するすべての依存関係を迅速に特定する必要がある。
したがって、英国のAIキルスイッチという表現は、複数の異なる制御を一括りにしている。具体的には、利用者アクセスの停止、モデル推論の停止、ネットワークの隔離、認証情報の失効、コンピューティングリソースの切断などが含まれる。
各制御は異なる層に作用する。いずれも単独で人工知能の万能なオフスイッチとなるわけではない。
政府は代わりに、企業へ責任を委ねている。声明では、開発者は製品を安全に構築し、高度なシステムに必要なセキュリティインフラへ投資しなければならないとされた。
このアプローチは、事業者が介入できるだけ早期に危険な挙動を検知できることを前提としている。また、関連するシステム、認証情報、インフラを引き続き制御できることも前提にしている。
こうした前提が常に保証されるわけではない。特に政府や企業のインフラ内では、別途展開されたモデルが元の開発者の技術的な到達範囲を超える可能性がある。
オープンモデルは別の難題を生む。一つのホスト型インターフェースを削除しても、すでに外部運営者に配布されたモデルファイルを回収することはできない。
それでも、政府の立場には実務上の説得力がある。全国的な遮断は、介入の根拠となった危険な活動を止められないまま、正当なサービスを混乱させる可能性がある。
病院、金融サービス、輸送事業者、公共機関は、接続されたソフトウェアへの依存を強めている。無差別な停止は、最初の緊急事態への対応中に第二の緊急事態を引き起こしかねない。
そのため、対象を絞った隔離のほうが通常はより信頼できるエンジニアリングモデルとなる。当局は、影響を受けたシステムを切り離し、特定のサービスを停止し、または特定の運営者にインシデントの封じ込めを命じることができる。
しかし、政府の回答は法的な疑問を未解決のまま残している。技術的な複雑さが、緊急措置を強制する権限の必要性を自動的に取り除くわけではない。
法律は、世界規模の停止を保証しなくても価値を持ち得る。それでも、どの国内組織が、どのような条件下で、どのような保護措置とともに行動しなければならないかを定めることはできる。
真の争点は、英国がすべてのAIを停止できるかどうかではない。危険な国内展開が壊滅的な被害をもたらす前に、当局者がより限定的で執行可能な権限を必要とするかどうかである。
AI停止権限がデータセンターと重要サービスに圧力をかける
直接的な圧力は、AIインフラを運営する組織、または不可欠な機能のために自律システムへ依存する組織にかかる。
Cyber Security and Resilience Billは、不可欠な活動を支えるネットワークシステムに焦点を当てている。人工知能のあらゆる利用を対象とする一般法ではない。
この法案の適用範囲は、議員らが緊急AI制御をデータセンターと結び付けた理由の説明になる。こうした施設は、多くの高度なシステムを支えるコンピューティング、ストレージ、ネットワークアクセスを提供している。
データセンターを対象とする指示は、危険な展開を支えるリソースを中断できる可能性がある。しかし、このアプローチには、同じインフラを共有する無関係な顧客にも影響を及ぼすリスクがある。
事業者には、選択的な封じ込めを支えるアーキテクチャが必要となる。また、モデル、ワークロード、認証情報、顧客、物理リソースを結び付ける正確な記録も必要になる。
重要サービスの運営者は、異なる問題に直面する。システムが本来支えるべき不可欠なサービスを失うことなく、危険なAIの挙動に備えなければならない。
自律ツールを無効化した結果、患者ケアまで中断するなら、病院は停止を成功とみなすことはできない。エネルギー事業者も、送電網の安定性を守らずにソフトウェアを隔離することはできない。
議会の証拠資料はこれを運用継続性の問題として説明している。AIコンポーネントが利用不能になった場合でも、根底にある公共機能は稼働し続けなければならない。
この要件は、代替システムへの準備を求める圧力を生む。組織には、手作業の手順、代替サプライヤー、制限付きの運用モード、訓練済みの復旧プロセスが必要となる。
代替可能性だけでは不十分だ。代替サービスを購入しても、停止から復旧までの間に職員が業務を維持できることは保証されない。
修正案は、こうした準備を規制制度の中に組み込もうとした。定期的な訓練により、指示を安全に実行できるかを検証することになる。
また、影響を受けたシステムが運用を再開する前に、正式な事後検証を行うことも提案した。この仕組みは、映画的な緊急ボタンというより、既存のインシデント対応に近い。
支持者は、現行法には重大な空白があると主張している。既存の権限により、セキュリティ侵害後に閣僚が特定の施設の撤去、無効化、改修を命じられる可能性はある。
しかし、停止を要求する法的権限があっても、事業者が安全な停止機能を構築したことは保証されない。危機の最中に出された指示では手遅れになる可能性がある。
議会のAIリスクレビューは、この問題を端的に要約している。同報告は、ボタンを押す権限があっても、そのボタンが存在することを保証していない状況になぞらえた。
同じレビューは、自己複製タスクに関するAI Security Instituteの評価も引用している。それによれば、成功率は2023年の5%未満から2025年には60%超へ上昇したと報告されている。
こうした評価は、展開済みAIシステムが独力でインターネット上に広がっていることを示すものではない。公に観測された大惨事ではなく、定義された試験条件下での能力を測定している。
それでも、結果の方向性は封じ込め計画の必要性を強めている。コンポーネントを別の環境へ複製できるシステムは、一つのエンドポイントで停止することが難しくなる。
自律エージェントを開発する企業も、新たな期待に直面している。エージェントとは、限定的な人間の介入のもと、ツールを通じて計画を立て、行動を実行できるソフトウェアである。
エージェントにメール、コードリポジトリ、決済システム、またはインフラへのアクセスを与えると、ミスによる被害の可能性は拡大する。また、封じ込めに必要な管理策の数も増える。
企業の購買担当者にとって、この政策論争は調達上の問題に直結する。購入者は、誰がエージェントの権限を取り消し、ワークロードを隔離し、証拠を保全できるのかを把握する必要がある。
また、文書化された復旧手順も必要だ。モデルがアラインメントされているというベンダーの約束は、認証情報、ネットワーク、接続済みアプリケーションに対する運用上の管理策の代わりにはならない。
したがって、英国のAIキルスイッチをめぐる論争は、供給側と顧客側の双方に圧力をかけている。全国一律の統制手段がなくても、AIに依存する業務が安全に停止できることを証明しなければならない。
真のトレードオフは中央権限と多層防御の間にある
法定の停止権限は説明責任を生む一方、多層防御は分散システム全体でより精密な制御を可能にする。どちらか一方だけでは機能しない。
この修正案の支持者は、備えと指揮権限を重視している。急速に展開する緊急事態では、誰が封じ込めを命じられるのかが不明確であれば、時間が浪費される。
明確なAI停止権限があれば、責任を負う閣僚を特定し、法的な発動基準を定め、規制対象の組織に従うよう求められる。司法審査によって、後から権限の乱用を抑制することもできる。
このモデルは、他の安全保障上重要な分野における緊急権限に似ている。政府はすでに、通信、交通、公衆衛生、エネルギーに影響する脅威への対応を指揮している。
ゆえに立法を支持する最も強い論拠は、技術的なものではなく制度的なものだ。未知の危機に直面する前に、指揮系統を確立する。
政府は異なる重点を置いている。開発者の責任、AI Security Institute、サイバー規制、そして実践的なセキュリティ指針を挙げている。
9月7日の閣僚声明は、保護策の整備が能力の向上に追いつかなければ、自律型AIの事故が公衆の安全を脅かし得ると認めた。
この声明によれば、最近の事故には、設定ミスのある環境、実行不可能なタスク、あるいはシミュレーション内で動作しているかどうかを誤解したシステムが関与していた。
政府関係者は、既存のセキュリティ対策、技術的制御、監視があれば、これらの事故はほぼ確実に防げたと主張した。この評価は、導入層での封じ込めを支持するものだ。
政府は2つのプログラムに1億1,500万ポンドを拠出した。一方はAIバイオセキュリティを対象とし、もう一方はエージェント型AIの事故に対応する政府能力の開発を目指す。
また、Government Cyber Action Planを支援する2億1,000万ポンドにも言及した。さらに、より広い経済全体のレジリエンスに向けて、3年間で9,000万ポンドが拠出された。
これらの数字は、単一のAIスイッチのための資金ではなく、より幅広いセキュリティ投資を示している。閣僚が普遍的な停止義務よりも、インシデント対応とインフラのレジリエンスを優先していることが分かる。
National Cyber Security Centreも、エージェント型システムを安全に導入するための指針を発表している。その役割は、設計と監視を通じて制御不能な挙動を防ぐことにある。
多層的な管理策には、サンドボックス化、制限付き権限、ネットワーク分離、レート制限、監査ログ、機微な操作に対する人間の承認などが含まれる。
これらの対策は、障害が破滅的な規模に達する前に対処する。また、プロバイダーに接続されたすべてのサービスを停止せずに、侵害されたワークロードだけを対象にできる。
しかし、多層防御には説明責任上の弱点がある。自主的に導入される管理策は企業ごとに異なり、商業的な圧力が迅速な導入を促す可能性がある。
政府は、企業には安全に運用する明確な責任があるとしている。だが、執行可能な最低要件を伴わない責任は、事故の前に検証することが難しくなり得る。
業界の約束はこの問題を示している。2024年のソウルAIサミットで、開発者は、リスクが許容不能となり軽減策が失敗した場合、開発または導入を停止することに同意した。
この安全へのコミットメントは、そうしたリスクを評価する企業独自の枠組みに依存していた。行動を強制する英国の緊急権限を創設したわけではない。
自主的な管理策は、立法より速く進められる可能性がある。しかしその一方で、プロバイダー自身が閾値、測定手法、開示慣行を定めることも許してしまう。
中央権限には反対のリスクがある。広範に記された政府権限は、正当なシステムを中断させ、市民的自由を脅かし、十分な技術理解なしに適用される可能性がある。
停止命令は連鎖的な障害を引き起こす可能性もある。データセンターを切り離せば、危険なモデルとは無関係な医療、金融、通信サービスに影響するおそれがある。
したがって、法定権限の最良の形には、狭い適用範囲が必要となる。証拠の基準、比例性、技術的な協議、司法審査、業務継続の保護を求めるべきだ。
同様に、最良の多層防御モデルには外部検証が必要である。プロバイダーは、封じ込めツールが存在すると述べるだけでなく、現実的な条件下で機能することを示すべきだ。
選択肢は、1つのスイッチか安全対策なしかではない。深刻なAIインシデントの際に、法律、インフラ制御、制度上の責任をどのように連携させるべきかという問題である。
英国の既存AI規制は緊急時の問題を未解決のまま残している
英国は主に既存の分野別制度を通じてAIを規制しており、フロンティアシステムに対する緊急統制を明確に解決する単一のAI法は存在しない。
House of Commons Libraryの規制に関するブリーフィングによれば、英国には技術としてのAIを包括的に規制する一般法はない。
その代わり、既存の規制当局がそれぞれの責任領域でAIに対応している。金融、通信、プライバシー、競争、安全に関する規則は、利用形態に応じて適用され得る。
この文脈に応じたアプローチには柔軟性がある。医療システムと広告ツールは同じリスクをもたらさないため、同一の規則が理にかなわない場合も多い。
一方で、1つのモデルが複数の分野に影響する場合には、空白を生む可能性もある。フロンティアシステムは、コーディング、サイバーセキュリティ、科学研究、政府業務を同時に支援し得る。
単一の分野別規制当局が、必ずしもリスク全体を把握するとは限らない。各機関は1つの用途を理解していても、インフラ提供者をまたぐ依存関係を見落とす可能性がある。
政府はこの枠組みをAI Security Instituteで補完している。同研究所は高度なモデルを評価し、リスクが通常の規制案件となる前に研究する。
ただし、試験と法的権限は異なる目的を持つ。研究所は危険な能力を特定できても、プロバイダーに停止を強制する権限を持たない場合がある。
Cyber Security and Resilience Billは、不可欠なサービスおよびデジタルサービスの保護を拡大する。閣僚は、医療、エネルギー、交通、データセンターの防御を強化するとしている。
この焦点はインフラの露出に対応するものだ。しかし、危険なフロンティアモデルすべてに対する包括的な介入枠組みを自動的に確立するものではない。
提案された英国AIキルスイッチは、これらの領域を橋渡ししようとした。AIリスクの評価を、規制対象インフラを通じて行使される権限と結び付けた。
批判者が、サイバー法案が適切な手段なのかを合理的に疑問視することもできる。この法案は主にネットワークのレジリエンスに関するものであり、モデルのガバナンスはより広範な経済問題や市民権の問題を提起する。
性急な修正案は、すぐに時代遅れになる定義を生む可能性がある。「相当な規模」や「破滅的リスク」といった用語は、アーキテクチャや能力が変化しても使い続けられなければならない。
介入の閾値にも精度が必要だ。モデルが不快なコンテンツを出力した、あるいは通常の運用上のエラーを起こしたという理由だけで、当局がサービスを停止すべきではない。
提案された発動基準は、深刻な結果が生じる合理的な可能性を対象としていた。それでも、急速に展開するインシデントの中で、その基準を証拠に落とし込むのは難しいだろう。
誤検知は大きなコストを課し、不可欠な機能を混乱させる可能性がある。見逃しは、当局が管轄権を議論する間に危険なプロセスを継続させかねない。
国際協調も、未解決の層をさらに加える。英国は国内事業者を規制できるが、主要なモデルやクラウドインフラには、しばしば海外に本社を置く企業が関与している。
国内命令には、海外プロバイダーの協力が必要になる可能性がある。契約条件、技術的支配、コンピューティング資源の所在地が結果を左右する。
政府は、この国境を越える現実を用いて停止提案に異議を唱えている。支持者は、限定的な権限であっても、明示的な権限がないよりは良いと反論できる。
両方の主張には真実がある。英国だけで世界のモデル開発を止めることはできないが、自国の管轄内で稼働するインフラとサービスは統制できる。
歴史的な議論も、政府と開発者が停止を正当な最後の手段としてすでに受け入れてきたことを示している。対立点は、誰が決定し、どのように遵守を保証するかだ。
だからこそ、この否決は、政策立案者や企業にとってAIキルスイッチをめぐる疑問を決着させるものではない。スローガンから、具体的な介入メカニズムへと注目を移すことになる。
成熟した枠組みでは、ホスト型モデル、ダウンロード可能なモデル、自律エージェント、データセンター、重要サービスへの導入について、それぞれ別の制御を定めるだろう。
また、予防と緊急対応を分けるべきだ。評価、アクセス制御、監視はリスクを低減し、停止権限はそれらの防御をすり抜けた障害に対応する。
この区別がなければ、公共の議論は、モデルの安全性、サービスの遮断、インフラの隔離、世界規模での抑制を、誤解を招く単一の表現のもとで混同し続けるだろう。
英国の方針が有効かどうかを示す3つの兆候
政府の代替策は、執行可能な管理策、検証済みのインシデント対応、そして法案が自律型AIリスクを最終的にどう扱うかによって評価される。
最初の兆候は、Cyber Security and Resilience Billの最終形だ。政府がAmendment 84に反対しても、議会はより限定的な規定を追求できる。
議員は、データセンター、規制対象のサービスプロバイダー、重要インフラに対する限定的な権限を定義するかもしれない。こうした措置は、英国が世界中のAIを停止できると主張するところまでは踏み込まない。
プロバイダーに対し、検証済みの封じ込め能力の維持を求める規定は、とりわけ重要になる。普遍的な統制を約束せずに、停止ボタン不在の問題へ対処できるからだ。
最終法案に執行可能な準備義務が含まれれば、政府の否決は、緊急介入そのものへの反対ではなく、広範な呼称への反対だったように見えるだろう。
法案が沈黙を保てば、批判者は、当局がリスクを認めながらも、責任を企業と既存の規制当局の間に分散したままにしたと主張するだろう。
2つ目の兆候は、政府によるエージェント型AIインシデント対応プログラムだ。閣僚は資金拠出を約束しているが、発表よりも運用能力の方が重要である。
信頼できるプログラムには、明確な指揮系統、民間インフラ提供者との演習、証拠保全の手順、アクセスを迅速に取り消す仕組みが必要だ。
また、海外でホストされるサービスやオープンモデルの導入を含むシナリオも試験しなければならない。これらの事例は、1つのプロバイダーやデータセンターに結び付いた管理策の限界を浮き彫りにする。
公的な指針は、各機関がNational Cyber Security CentreおよびAI Security Instituteとどのように連携するかを明確にすべきだ。企業は、インシデント時に誰へ連絡すべきかを知る必要がある。
9月の閣僚声明は、政府が評価枠組み、法定規範、または技術指針を通じて、より強力な保護策を検討すると述べた。
そうした文書に測定可能な封じ込め要件が盛り込まれれば、政府の多層防御に関する主張は強化される。曖昧な勧告にとどまれば、逆にその主張は弱まる。
3つ目のシグナルは、最先端モデルの評価と実際のインシデントから得られる証拠だ。能力テストでは、システムが監視を回避できるか、自らを複製できるか、あるいは不正なアクセスを維持できるかを示す必要がある。
重要なのは、モデルが人工的なベンチマークを完了できるかどうかではない。評価者は、その能力をもっともらしい導入条件や利用可能な安全策と結び付けなければならない。
インシデント報告も同様に重要になる。組織には、不正な行為、封じ込めの失敗、自律システムに関わるニアミスについて、一貫した定義が必要だ。
透明性にはそれ自体トレードオフがある。詳細な報告は防御側の助けになる一方、攻撃者に悪用され得る脆弱性を明らかにする可能性もある。
当局には、機微なインフラを露出させずに教訓を共有する開示モデルが必要になる。集約された知見と技術的詳細の公開を遅らせる手法は、こうした利益の均衡に役立つ。
開発者と企業の購入担当者は、政府の指針がサプライチェーン全体の責任をどう扱うかを注視すべきだ。モデル提供者は、下流におけるすべての導入を管理できるわけではない。
クラウド事業者は計算資源とネットワーク資源を管理する。アプリケーション開発者はツールと権限を管理し、顧客はワークフローと機微なデータへのアクセスを決定する。
効果的な封じ込めには、この4つのグループすべてが自らの役割を理解することが必要だ。各参加者が決定的な制御は別の当事者が握っていると考えれば、停止プロセスは機能しない。
現在エージェントを導入しているチームにとって、法整備を待つことは賢明なセキュリティ計画ではない。各システムが利用できるすべての認証情報、外部ツール、ネットワーク経路を特定すべきだ。
また、アクセスを取り消す独立した手段を維持する必要がある。ログには、誰が行為を承認したか、モデルが何を試みたか、どの制御が介入したかを記録しなければならない。
重要なワークフローには、AIを使わない代替手順も必要だ。安全な停止が有用なのは、その後も組織が不可欠な業務を継続できる場合に限られる。
英国におけるAIキルスイッチをめぐる議論は、このスローガンが技術を単純化しすぎているとしても、実在する政策上の空白を浮き彫りにした。分散システムには分散型の制御が必要だが、責任まで分散すれば、誰も責任を負わない状態になりかねない。
英国の次の取り組みは、危機が起きる前に、対象を絞ったセキュリティ対策が明確な権限を生み出せることを示さなければならない。そうでなければ、退けられたスイッチは備えの欠如を象徴する存在であり続ける。
開発者、購入者、政策立案者にとって実務上の問いは、今やより明確になっている。自律システムが現実に安全策を試す前に、英国はその多層的な保護措置が機能することを証明できるのか。
