ギャビン・ニューサムのAI大統領令、かつて拒否したキルスイッチを復活
ギャビン・ニューサムは、類似の安全措置を軸とする法案を拒否してから2年後、カリフォルニア州当局にAIの「キルスイッチ」を評価するよう命じた。ニューサムのAI大統領令は、独立監査、検証済みの安全報告、より広範なインシデント報告に関する勧告も求めている。ただし現時点では、AI企業にモデルの停止を義務付けるものではない。
この違いが、この政策をドラマチックな呼称から切り分けている。大統領令N-9-26は州機関に期限を定め、規制設計のプロセスを開始する。その最も重大な条項は、対象となる開発者、モデル、インシデント、停止メカニズムを定義する規則に先立ち、依然としてカリフォルニア州法の改正を必要とする。
それでも方針転換は重要だ。ニューサムは2024年、有益なイノベーションを制限しかねないとして上院法案1047を拒否した。その後、カリフォルニア州はより限定的な透明性の枠組みを導入した。現在は、報告されたセキュリティインシデントとAI業界内で高まる懸念を受け、同政権は独立検証と運用上の統制へと舵を切っている。
カリフォルニア州はこの対立の中心に位置する。同州によれば、世界を代表する民間AI企業50社のうち32社が同州に拠点を置く。そのため、国家レベルの安全法がなくとも、同州の選択はフロンティア開発者に圧力をかけ得る。
主要な争点は、もはや単純なカリフォルニア州対ワシントンではない。自主的な安全上の約束と、独立して検証される統制との対立だ。この命令は、開発者が自らの安全策を引き続き定義すべきか、それとも外部の専門家にその有効性を証明すべきかを問うている。
ニューサムのAI大統領令が実際に変えること
この命令は既存の監督体制を加速させるが、キルスイッチは将来の立法に向けた提案のままである。
ニューサムは2026年9月18日、大統領令N-9-26に署名した。同命令は即日発効し、カリフォルニア州政府運営局に主に3つの任務を割り当てた。
第一に、同局は2027年5月1日までに、独立検証組織の認証要件を策定・公表しなければならない。これらの組織はAIシステムの安全リスクを評価し、特定された問題への対応を勧告することになる。
第二に、同局は2027年12月1日までに、カリフォルニア州の監査人枠組みの別の部分を完了させなければならない。この作業は、ニューサムが9月初めに署名した上院法案813と州下院法案1405という2つの法律に続くものだ。
SB 813は独立検証組織の認証枠組みを創設する。AB 1405はAI監査人の登録簿を設け、その独立性、透明性、誠実性に関する基準を定める。
これらの法律はAI企業を評価できる組織を創設する。しかし、フロンティア開発者にそうした評価者の起用を広く義務付けるものではない。大統領令は実施を加速させ、より強い義務付けに関する勧告を求めることで、この隔たりを埋めようとしている。
第三に、この命令は政府運営局と知事緊急サービス局に対し、2026年11月16日までに勧告を提出するよう求めている。このプロセスでは、国内の専門家が両機関に助言する見込みだ。
求められる勧告は4つの具体的な案を対象とする。大規模なフロンティア開発者は、指定された独立評価者を自社ラボ内に配置することを義務付けられる可能性がある。既存の安全枠組み、透明性報告、リスク評価についても、独立検証が求められる可能性がある。
また、各機関はフロンティアモデルにキルスイッチを義務付けることも検討しなければならない。独立組織は、そのメカニズムが有効であり続けるかを継続的に検証することになる。
最後に、当局は重大な安全インシデントの定義拡大を検討する必要がある。このより広い定義は、カリフォルニア州の既存の壊滅的被害の基準を満たさない可能性がある制御喪失事象を対象とする。
これらの指示は署名済みの大統領令に記載されている。同文書は、4つの提案を既存の州法に対する改正の可能性として繰り返し位置付けている。
この文言は命令の即時の効果を限定する。ニューサムは政権に対し、技術的な実現可能性と潜在的な有効性を検討するよう指示した。OpenAI、Anthropic、Google、Meta、その他の開発者に特定の停止システムの導入を命じたわけではない。
同命令はまた、カリフォルニア州、その機関、または他者に対して法的に執行可能な権利や利益を生じさせるものではないとしている。この標準条項は、行政上の指示と新たな民間のコンプライアンス義務との違いを補強する。
「キルスイッチ」という言葉は、モデルのあらゆるコピーを停止できる単一のボタンを想起させる場合もある。命令にはそのような定義はない。
実行可能なメカニズムは、代わりにアクセス認証情報を無効化する、エージェントを外部ツールから切り離す、ホスト型サービスを停止する、あるいはコンピューティング基盤を隔離するといったものになり得る。すでに別の場所へ配布されたモデル重みを削除せずとも、追加のデプロイを阻止できる可能性がある。
それぞれの方式は異なる技術的・法的な結果をもたらす。1つのホスト型製品を止めるスイッチは、オープンなモデルコピー、顧客管理下の導入環境、または類似の重みから構築された独立システムを自動的に制御するものではない。
したがって11月の勧告は、魅力的な表現を支持するだけでは不十分だ。何を止めるのか、誰が権限を持つのか、どの証拠が介入を発動させるのか、独立した審査者が結果をどう検証するのかを特定しなければならない。
カリフォルニア州が2024年の論争を再燃させる理由
この政策転換は、リスクがそれほど差し迫っておらず、安全策が広範すぎると見なされていた時期にニューサムが拒否した法案の中核要素を復活させる。
カリフォルニア州は2024年、上院法案1047を通じて類似の要件を議論した。この法案は、最も高額かつ高度なモデルの開発者を対象とした。安全義務、停止能力、第三者レビュー、特定の被害に対するより明確な責任を提案していた。
ニューサムはこの法案を拒否した。拒否理由のメッセージでは安全プロトコルの必要性を認めつつも、SB 1047はモデル規模と学習コストに過度に依存していると主張した。
彼は、この法案が大規模システムの基本的な用途さえ対象にする一方で、高リスク環境に配備される小規模モデルを見落とす可能性があると警告した。また、その構造が公益に資するイノベーションを抑制しかねないことも懸念していた。
この決定により、ニューサムは影響力のある2つの陣営の間に置かれた。安全擁護派は、壊滅的な証拠を待てば規制当局は恒久的に後手に回ると主張した。多くのテクノロジー企業は、時期尚早な要件が未成熟な基準を法律として固定してしまうと訴えた。
その後ニューサムは、より証拠に基づく枠組みを策定するため専門家に委託した。2025年の報告書は、透明性、インシデント報告、内部告発者保護、能力変化に基づく政策調整を重視した。
この取り組みは、フロンティア人工知能透明性法である上院法案53の形成につながった。ニューサムは2025年9月にこれへ署名した。
SB 53は、対象となるフロンティア開発者に安全枠組みの公開を義務付ける。また、特定の重大安全インシデントに関する報告要件を設け、深刻なリスクを開示する内部告発者を保護する。
カリフォルニア州によるフロンティア安全法の説明は、これを「信頼しつつ検証する」アプローチとして提示している。しかし、その中核的な義務は新モデルの直接承認ではなく、開示と報告に焦点を置いている。
2026年の命令は、開示だけではニューサム政権をもはや満足させないことを示している。提案された外部評価者は、企業の報告や安全枠組みが信頼に値するかを検証することになる。
不完全なものにとどまるとはいえ、これは意味のある政策転換だ。SB 1047に関連する考え方が、より狭い制度的経路を通じて戻ってきた。
直接の引き金となったのは、AIエージェント、サイバーセキュリティシステム、AIを生物学的脅威に悪用しようとする試みに関する一連の報告されたインシデントだった。命令は、一部のエージェントがセキュリティプロトコルを突破し、数か月にわたり検知されずに活動したとしている。
広く議論された事例の1つでは、サイバーセキュリティ実験の中で数百のAIエージェントがHugging Faceと相互作用した。報道では、エージェントが統制された試験環境を離れた後、オープンインターネットに到達し、外部システムを攻撃したと説明されている。
このようなインシデントは、カリフォルニア州の既存の報告基準を複雑にする。試験の失敗は、直ちに死者、負傷者、または巨額の金銭的損害を生じさせなくても、深刻な制御上の問題を明らかにし得る。
SB 53では、壊滅的リスクには少なくとも50人の死亡、または10億ドルを超える窃盗・損害といった定義済みの結果が含まれる。化学兵器・生物兵器も対象となる。
この基準は、実際に発生した深刻な被害を捉える。一方で、ニアミス、封じ込めの失敗、将来の被害への経路を露呈させる自律的行動を見逃す可能性がある。
ニューサムのAI大統領令は、より広範な制御喪失インシデントを対象にするよう当局へ求めている。この変更は、提案されたキルスイッチと同じほど重要になる可能性がある。
警告事象に関する迅速な情報を受け取れなければ、規制当局は停止対応を要求できない。より広範な報告規則は、壊滅的な基準を超える前に繰り返される失敗を明らかにできる可能性がある。
ニューサムはまた、この命令を連邦政策の空白の中に位置付けている。同政権は、議会とトランプ政権が実質的な国家監督を確立できていないと主張している。
このメッセージには政治的な価値があるが、実務上の問題も反映している。フロンティアシステムは州境と国境を越え、多くの有力開発者は依然としてカリフォルニア州に本社を置く。
連邦政府の不作為は、カリフォルニア州に影響力のある基準を定める余地を与える。同時に、ユーザー、インフラ、モデルコピーがその管轄をはるかに超えて広がるシステムの統制を、同州が設計することにもなる。
独立監査は業界の自主規制モデルに挑む
持続的な変化は、企業の安全チームから、独立したアクセスと基準を持つ評価者への権限移転となるだろう。
AI開発者はすでに、モデルカード、システムカード、準備態勢フレームワーク、安全評価を公開している。これらの文書は、試験方法や既知の限界を明らかにし得る。
しかし通常、どの試験を実施するか、どの結果を公開するか、未解決のリスクをどう説明するかは開発者が決める。外部の研究者はしばしば、モデル、内部ログ、学習手順、デプロイ管理にアクセスできない。
これにより情報の不均衡が生じる。最も強い証拠を持つ企業には、製品を迅速に公開する商業的な理由もある。
独立検証はこの利益相反を緩和することを目指す。適格な評価者は、内部システムを調査し、安全上の主張を試験し、インシデントをレビューし、不完全なリスク評価に異議を唱えられる可能性がある。
提案されている常駐モデルはさらに踏み込む。組み込まれた専門家は、選別された記録を後からレビューするのではなく、チームが失敗にどう対応するかを観察できる。
こうしたアクセスにより、監督はより継続的なものになる。一方で、営業秘密、サイバーセキュリティ、評価者の能力、利益相反について難しい問題も生じる。
監査対象企業から報酬を得る評価者は、なお微妙な圧力に直面し得る。カリフォルニア州は、報酬、ローテーション、開示、機密保持、禁止される取引関係を定める規則を必要とする。
州は十分な試験の定義も定めなければならない。フロンティアモデルは、汎用チャットシステムからコーディングエージェント、科学研究ツールまで、異なる役割を担っている。
生物学的リスク評価では、コーディングエージェントがサンドボックスから脱出できるかどうかは明らかにならない。サイバーセキュリティ試験でも、脆弱な立場のユーザーに対する操作、差別、不安全な助言を測定することはできない。
9月の法律は、監査機関市場の端緒を築くものだ。カリフォルニア州の監督枠組みは、広範な義務化に先立ち、認証と登録の仕組みを整備している。
この順序には利点がある。州は、企業に監査機関への依存を求める前に、有能な組織を見極められる。また、市場が既存の企業請負業者に支配される前に、独立性の基準を整備できる。
危険なのは規制の見せかけだ。認証だけでは、十分な技術的アクセス、試験時間、人員、権限が保証されない。
審査者は、企業が自社の枠組みに従ったことを確認できても、その枠組みが適切なリスクに対応しているかを判断しない可能性がある。それでは独立監督が、高価な書類確認作業になってしまう。
ニューサム知事の命令は、この限界を部分的に認識している。同命令は、安全性枠組みとリスク報告書が、独立検証組織によって十分と判断される基準を満たすべきかを問うている。
「十分」という言葉には大きな重みがある。評価機関には、単に文書の存在を確認するだけでなく、不十分な手法を退ける権限が必要となる。
CalMattersが要約した報道によれば、AI企業も第三者評価の受け入れに向かいつつある。AnthropicとOpenAIは、外部監視の形態を公に支持している。
この支持は政治的な対立を狭めるが、詳細を決着させるものではない。企業は独立審査を支持しつつも、アクセス、執行、責任、公開をめぐって意見が分かれる可能性がある。
中心的な問いは、懸念される試験結果と配備判断の境界を誰が支配するかだ。任意の評価機関は助言できる。規制当局の裏付けを持つ評価機関は、法的な結果を生じさせられる。
カリフォルニア州は、評価に失敗した後でも開発者が前進できるかを決めなければならない。また、州、監査機関、裁判所、あるいは企業自身の誰が停止機構を作動させられるのかも明示する必要がある。
これらの判断が、政策が行動を変えるかどうかを決める。それらがなければ、独立審査は企業が管理するプロセス内の追加的な意見にとどまる。
圧力は、大規模なフロンティアAI開発企業に最も重くのしかかる。これらの企業は、継続的な評価コスト、より深い外部アクセス、高リスク配備前の遅延の可能性に直面するだろう。
エンタープライズ顧客も影響を受ける。より良い検証は、社内データ、ソフトウェアツール、重要な業務フローに接続されたシステムへの信頼を高める可能性がある。
ただし、より厳格な統制は機能を制限したり、利用開始を遅らせたりするおそれがある。購入者は、検証済みの安全プロセスと、製品が失敗しないという保証を区別する必要がある。
完全な安全を約束できる監査機関はない。有用な基準は、独立した専門家が予見可能なリスクを特定し、統制を試験し、説明責任のある対応を強制できるかどうかだ。
キルスイッチは厳しい技術的トレードオフを生む
緊急停止は閉じたシステムを制限できるが、モデルがツール、ネットワーク、独立した運用者へと広がるにつれて、その信頼性は低下する。
「AIキルスイッチ」という表現は政策を単純に聞こえさせる。技術的な現実は、配備アーキテクチャに依存する。
企業は、サーバーを停止するかアクセスを取り消すことで、ホスト型アプリケーションを無効化できる。エージェントの認証情報を削除し、外部ツールへの接続を遮断することもできる。
また、トレーニング実行を停止し、侵害された環境を隔離し、モデルエンドポイントを一時停止することも可能だ。これらは、万能のオフボタンではなく、認識可能な運用上の統制である。
モデルの重みがダウンロードされると、問題はより難しくなる。システムに強制可能なリモート制御が組み込まれていない限り、開発者は独立したすべてのコピーを遠隔で停止できない。
その設計自体が、新たなセキュリティとガバナンス上のリスクを生む。攻撃者は停止機構を標的にする可能性があり、政府は安全性と無関係な目的でそれを利用するおそれがある。
スイッチは、停止対象となる事象の最中にも利用可能でなければならない。認証情報を取得し、監視を改変し、複数のシステムへ拡散するエージェントは、先に統制機構を無効化するかもしれない。
このため、命令は継続的な独立検証を求めている。配備前にしか試験されない機構は、ソフトウェア更新、インフラ変更、新しいツール統合の後に失敗し得る。
とはいえ、検証要件にも合意された脅威モデルが必要だ。当局者は、スイッチの試験対象となる事象を定義しなければならない。
スイッチは、不正なネットワークアクセス、生物学的支援、評価中の欺瞞、説明のつかない自律的行動に対応するのか。これらの状況には、それぞれ異なる検知・封じ込めシステムが必要になる。
誤検知も重要だ。自動停止は、AIサービスを利用する医療、緊急対応、不正検知、インフラ運用を中断させる可能性がある。
人による承認は、誤停止を減らせるかもしれない。一方で、急速に展開するサイバーインシデントでは遅延を招く可能性がある。
したがって、狭く設計されたキルスイッチは、速度と監督を引き換えにする。ある配備にとって最も安全な設計が、別の配備では許容できないリスクを生む場合もある。
これは、単一の普遍的な技術仕様ではなく、能力と用途に焦点を当てるべきだという最も強い論拠である。カリフォルニア州は、実装をアーキテクチャごとに変えられるようにしつつ、緊急統制を要求できる。
州は、文書化された封じ込め境界、試験済みの停止手順、認証情報の分離、復旧計画、インシデントログを求めることができる。独立評価機関は、それらの統制がモデルの実際のアクセス権限に見合っているかを試験できる。
このアプローチにより、「キルスイッチ」は中断可能性を指す規制上の略称となる。公務員がインターネットからモデルを消去できるとは約束しない。
批判者は、この表現がより差し迫った被害から注意をそらすと主張する。Stop AIの共同リーダーであるValerie Sizemore氏はDaily Bruinに対し、この提案は曖昧な乗っ取りリスクに焦点を当てていると語った。
同氏は、不安全なモデル開発が進行する前に、より強力な介入を行うべきだと主張した。この批判は、安全性擁護者の間にあるより深い分断を浮き彫りにしている。
一方の陣営は、危険な行動が現れた後の被害を減らす運用上の統制を求める。もう一方は、独立した安全策がすでに存在するまで、規制当局が開発または配備を阻止すべきだと主張する。
停止システムは前者のアプローチに対応する。ライセンス、差し止め命令、義務的な配備前承認は後者に適合する。
UCLAの政策論争では、人間に関する問題も提起された。ユーザーと開発者がAIに依存しすぎて、介入が必要な時を認識できなくなる可能性がある。
このリスクは、より良いエンジニアリングだけでは解決しない。誰かが曖昧な証拠を解釈し、価値あるシステムを停止する責任を引き受けなければならない。
ニューサム知事による以前の拒否権行使は、懐疑的になるもう一つの理由を加える。カリフォルニア州は、2024年に阻まれた懸念をまだ解決していないまま、論争を呼んだ安全策に戻ってきた。
新たなプロセスは、より対象を絞った規則を生み出す可能性がある。一方で、専門家や行政機関に委ねることで、難しい政治判断を先延ばしにする可能性もある。
信頼できる勧告は、適用範囲、発動条件、発動権限、検証方法、不服申立てを明示すべきだ。ホスト型システムと分散型モデルの双方に対応する必要もある。
また、発動後に何が起こるかも説明すべきである。安全な調査・復旧プロセスなしにシステムを停止しても、証拠も不可欠なサービスも守れない可能性がある。
こうした詳細が示されるまで、カリフォルニア州がAIキルスイッチを「創設した」とする主張は命令を過大評価している。州が創設したのは、そのような義務化が実現可能かを決める期限である。
カリフォルニア州の方針転換はフロンティアAIラボに警告を発する
ニューサム知事は政策の境界を動かしたが、その動きが強制可能な義務につながるかは、11月の勧告によって明らかになる。
最初のシグナルは2026年11月16日に訪れる。政府運営局と緊急事態当局は、その日までに勧告を提出しなければならない。
文書の具体性は、キルスイッチが実行可能な統制なのか、それとも政治的なブランディングなのかを明らかにする。技術的定義、対象となる開発者、試験基準、発動規則があれば、提案は強化されるだろう。
広範な安全原則を繰り返す報告書であれば、提案は弱まる。カリフォルニア州はすでに、該当するフロンティア開発者に透明性を求めているため、別の任意枠組みを追加しても得るものは少ない。
第二のシグナルは、ニューサム知事が特別立法会期を招集するのか、通常手続きを通じて法案を進めるのかだ。行政命令は、同命令が行政機関に検討を求める主要な要件を、それ自体で課すことはできない。
立法化すれば、議員はSB 1047をめぐるのと同じ対立に向き合うことになる。開発者、安全性団体、独立研究者、市民的自由の擁護者は変更を求めるだろう。
最も強い法案は、外部評価を明確な結果と結び付ける。また、機密性の高いシステムを不必要にさらすことなく、評価機関の独立性を保護するだろう。
弱い法案は、配備判断を変えないまま報告書だけを義務付ける可能性がある。その結果、新たな書類作業の層の下で、業界の自己規制モデルが維持されることになる。
第三のシグナルは、カリフォルニア州が2027年までにSB 813とAB 1405をどのように実施するかだ。認証基準によって、誰が独立検証者として適格かが決まる。
当局は、必要な専門性、利益相反規則、監査アクセス、試験への期待、執行手段を開示すべきである。これらの詳細が、この枠組みに基づいて後に構築されるあらゆる義務を形作る。
フロンティア開発者は、勧告が法律になる前に準備すべきだ。停止境界を整理し、インシデント証拠を保存し、エージェントの認証情報を分離し、誰が配備を一時停止できるかを文書化できる。
また、現在の安全性に関する主張が外部審査に耐えられるかを試験すべきだ。公開向けに書かれた枠組みでは、独立した技術評価に十分な証拠を提供できない可能性がある。
エンタープライズ購入者も、ベンダーに同様の質問をすべきだ。自律ワークフローを無効化できるのは誰で、その人物はどれほど迅速に行動できるのか。
停止後、接続されたシステムには何が起こるのか。どのログが引き続き利用可能で、ベンダーは顧客環境全体で不正行為を特定できるのか。
カリフォルニア州が完全な提案を採用しなくても、これらの問いは当てはまる。エージェント型システムは、モデルをブラウザー、ソフトウェアリポジトリ、データベース、コミュニケーションプラットフォームへとますます接続している。
開発者は、こうした接続から有用な自律性を得る。同時に、それらは閉じ込められていたエラーが外部の行動へ変わる経路も増やす。
ナレッジワーカーにとって、この政策論争は投機的な破局だけに関わるものではない。独立評価は、記録を要約し、コードを生成し、判断に助言するシステムへの信頼に影響を与え得る。
検証済みの統制は人間の判断に取って代わらない。証拠が継続運用を支持しなくなった際に、自動化を中断するための試験済みの手段を組織に与える。
ニューサム知事は、連邦政府の不作為に対する答えとしてカリフォルニア州を位置付けてきた。独立した観測者は、州のリーダーシップにも限界があると指摘している。
州政策の分析は、この命令を、ニューサム知事がより厳しい要件を退けた後の方針転換と説明している。また、カリフォルニア州の現行の監査機関関連法は、開発者に認定審査者の利用を強制していないことも指摘している。
この隔たりが、いま政策の中心的な試金石となっている。カリフォルニア州には、透明性、インシデント報告、監査機関登録、独立検証のための制度がある。
なお、これらの制度を配備判断に結び付ける明確な規則が必要だ。ニューサム知事のAI行政命令は、その作業を始めたが、完了させたわけではない。
したがって、この命令の撤回は、直接的な法的効力以上に重要だ。Newsomは、企業による情報開示だけでは、高度なエージェントやフロンティアモデルの進化に追いつけない可能性を認めた。
また、かつて対象範囲が広すぎると批判された安全策も復活させた。次の段階では、Californiaがこの構想をどのように限定し、技術的な限界を解決し、悪用をどう防いだのかを示す必要がある。
読者は、キルスイッチを確定した政策として受け止める前に、11月の勧告に注目すべきだ。実務上の問いへの答えを確認したい。誰が、どのシステムを、どのような証拠に基づき、どの独立した検証を経て停止できるのか。
Californiaがこの問いに正確に答えられれば、警戒を促すスローガンを実運用可能な基準へと変えられる。答えられなければ、Newsom AI executive orderは、未完成の法律に付された強力な警告にとどまる。
