AltmanとAmodeiによるAI安全性の訴えが国連へ、しかし各国は単一のルールブックをなお拒否

Sam AltmanとDario Amodeiは、高度なモデルを誰が統治すべきかを巡る深い対立があるにもかかわらず、AI安全性を訴える活動を安全保障理事会の15理事国の前に持ち込んだ。9月23日の会合により、OpenAIとAnthropicは国際平和と安全保障を担う国連機関の議論の場に加わった。同時に、AltmanとAmodeiによるAI安全性の訴えが直面する障壁も明らかになった。リスクが国境を越える点では各国が一致している一方、共通の権限機関は受け入れていない。

両経営者が外交官に規制を求めたのは、一般的なチャットボットではない。焦点は、開発中の最も高性能な汎用システムを指すフロンティアAIにあった。彼らが懸念するのは、生物兵器の開発を支援し、サイバー攻撃を実行し、あるいは効果的な人間の監督を超えてAI研究を加速させるモデルだ。

この区別は、開発企業、事業者、行政機関にとって重大な意味を持つ。グローバルな安全基準は、モデルの試験、公開、監視、機微なシステムとの接続方法を変え得る。しかし会合では拘束力のある合意には至らず、米国は中央集権的な国際統制に明確に反対した。

AltmanとAmodeiによるAI安全性の警告が安全保障理事会へ

この会合はAI安全性を議論する場を変えたが、それを統治するルールはまだ変えていない。

OpenAIの最高経営責任者であるAltmanは、ニューヨークで開かれた安全保障理事会の会合に出席した。Anthropicの最高経営責任者であるAmodeiは、リモートで理事会に演説した。Hugging Face CEOのClément Delangueとコンピューター科学者のYoshua Bengioも参加した。

安全保障理事会は通常、戦争、制裁、核拡散、国家間の脅威に集中するため、この出席は異例だった。その関与は、高度なAIを単なるテクノロジー政策の問題ではなく、国際安全保障上の問題となり得るものとして位置付けた。

国連のブリーフィングは、この懸念を、どの国も単独では封じ込められない危険として説明した。国連のAI独立科学パネルで共同議長を務めるBengioは、人間の制御を超えたシステムは国境を尊重しないと警告した。

Amodeiは、主なリスクを二つに分けて示した。一つ目は意図的な悪用であり、バイオテロリストが高度なモデルを使って生物兵器の開発を支援する可能性などが含まれる。二つ目は、開発者が理解・抑制できる速度を超えてモデルの能力が進歩することで生じる制御喪失だ。

AP通信によると、Amodeiは理事会に対し、「管理を誤れば、AIは人類全体にとってリスクになり得るとさえ私は考えている」と述べた。Altmanも同様に直接的な警告を発した。「私たちはAIに未来の制御を奪われるかもしれない」。

これらの発言が重要なのは、両社がより高性能なシステムの開発・公開を続けているためだ。両社のリーダーが語ったのは、正体不明の競合他社が遠い将来に構築する技術ではない。自らの組織も先導する、同じフロンティア開発競争に結び付いたリスクである。

両社はまた、国際標準を実務的な出発点として挙げた。共有された評価基準により、公開前に危険な能力を測定できる。共通のインシデント報告制度により、モデルが予期せぬ挙動を示した場合や、悪意ある主体がシステムを侵害した場合に各国政府へ警告できる。

自動化されたAI研究に対する人間の監督も、もう一つの焦点だった。自動化AI研究とは、他のモデルの設計、訓練、改善に必要な作業の一部をモデルが担うことを指す。このプロセスは、人間によるレビューに使える時間を減らしながら、開発を加速させる可能性がある。

OpenAIは、AI支援による研究が進歩の大きな原動力になると予想している。同社は協調計画で、主要なAI開発の調整と破局的リスクの低減を支援する国際組織が必要だと主張した。また、安全対策と社会的な防御が能力向上に遅れを取る場合には、協調して開発を減速させることも支持している。

この提案では、誰が減速を発動するのか、どのモデルが対象となるのか、各国がどのように遵守を検証するのかは定められていない。こうした未解決の詳細が、広範な懸念表明と執行可能な国際制度を隔てている。

したがって安全保障理事会の会合は、規制上の決着ではなく制度的な認知を意味した。AI企業の経営者は、通常は地政学的な影響を伴う脅威のために用意される場を得た。各国政府は、その警告にどう対応するかについて完全な裁量を保持した。

グローバルなAI安全協力が急に重要になった理由

差し迫った懸念は、AIの開発サイクルが、外交機関が共通の安全策を交渉・執行する速度を上回っていることだ。

この会合に先立ち、フロンティア開発のペースを抑えるよう求める声が相次いでいた。Amodeiは最近、安全対策が追い付かない場合には企業と政府が能力向上を減速させるべきだと主張した。Altmanをはじめとする業界リーダーも、より大きな協調への支持を表明している。

ペース調整は、必ずしもAI研究を終えることを意味しない。定められたリスク条件の下で、能力向上の速度を抑えることを意味する。信頼できる政策には、測定可能な閾値、外部評価、そしてそれを無視する開発者への結果が必要になる。

Anthropicは、現行モデルは既存の安全対策で管理可能だとしている。しかし、システムの性能向上に伴い、より深刻なリスクが生じると同社は見込んでいる。そのアプローチは、公開前の試験、外部評価、能力別の制御、自主的なResponsible Scaling Policyを組み合わせるものだ。

この方針では、モデルが危険な能力を持つことを示す証拠に応じて、より強力な保護策を結び付けている。Anthropicはまた、評価だけでは導入前にすべての失敗を確実に検知できないことも認めている。モデルは試験条件を認識する場合があり、管理された評価が実際の挙動を十分に代表しない可能性がある。

Claude Opus 5.5の公開は、この緊張関係を例示した。Anthropicは、サイバーセキュリティと生物学に関する行動テストと安全対策を拡充したと説明した。しかし同社は同時に、すべての失敗を確実に検知することは依然として未解決の問題だと、その安全性評価で述べた。

OpenAIも同じ根本的な課題に直面している。より高性能なシステムは安全性研究者を支援できる一方、開発スケジュールを圧縮することもある。研究を自動化するモデルは、アラインメント技術の発見に役立つかもしれないが、同時に次の訓練サイクルも加速させ得る。

このフィードバックループが政策立案者を懸念させるのは、通常の製品規制が比較的安定した技術を前提としているためだ。立法者は製品カテゴリーを研究し、基準を定め、遵守状況を検査できる。自動化研究では、そのプロセスが終わる前に基礎となる能力そのものが変わり得る。

リスクは研究所の外にも及ぶ。企業はAIエージェントを、コードリポジトリ、社内文書、ブラウザ、業務ソフトウェアへ接続するケースを増やしている。システムがテキストを生成するだけでなく、行動を実行できるようになると、モデルの失敗はより重大な結果をもたらす。

組織のインフラにアクセスできるエージェントは、コードを変更し、機密記録を取得し、取引を開始する可能性がある。こうしたシステムには、権限制御、監査記録、信頼できる人間へのエスカレーションが必要だ。また、意思決定と根拠となる証拠を検証するために、チームが正確なAIナレッジベースを維持することも必要になる。

一つのモデルが多くの法域のユーザーに提供されると、国際的な側面が現れる。ある国で見つかった深刻な脆弱性は、他地域の顧客にも影響し得る。盗まれたモデルは、元の開発者による安全対策の外で改変・再展開されることもある。

生物学的な悪用は、さらに難しい協調上の問題をもたらす。ある市場でのアクセス制限は、同等のシステムが別の場所で無制限に利用できるなら価値が限られる。有効な統制には、評価、信頼できる利用者、報告義務についての合意が必要だ。

サイバーセキュリティでも同様のデュアルユースの対立が生じる。高度なシステムは、防御側がソフトウェアの脆弱性を見つけ、より速く修復する助けとなる。同じ能力が、攻撃者による標的の発見、エクスプロイトの生成、侵入キャンペーンの自動化にも利用され得る。

そのため各国は二方向から圧力を受ける。対応が遅すぎれば危険な能力が管理されないままになる。単独で行動すれば、国内企業が不利になったり、統制の弱い法域へ開発が移ったりする可能性がある。

この圧力こそ、AltmanとAmodeiが孤立した国家レベルの禁止ではなく協力を強調した理由を説明する。両者の主張は、政府が経済・軍事面で競争していても、フロンティアリスクは共有されるというものだ。

協力に機微な情報の開示が必要となると、この提案ははるかに難しくなる。政府はサイバー作戦、生物学的防衛、軍事システムに関する情報の共有に抵抗するだろう。企業も、独自技術を明らかにするモデルの詳細を開示することには抵抗するだろう。

実用的な制度は、より危険なモデルを構築するために必要な知識を拡散させずに、安全性を協調させなければならない。この均衡には確立された設計がなく、安全保障理事会の会合もそれを示さなかった。

本当の争点はグローバル基準と国家統制の対立

中心的な対立は、高度なAIにリスクがあるかどうかではない。各国政府が、それらのリスクを共同で管理するために十分な統制を手放すかどうかだ。

米国は会合で、中央集権的なグローバル統治構造を拒否した。ホワイトハウスの科学顧問Michael Kratsiosは、統制に関する懸念は開発を停止したり、新たな国際機関を設置したりする理由にはならないと述べた。

この立場は、最終的な権限を国連に委ねることなく、国家の責任と技術協力を支持するものだ。また、ワシントンが米国のAI分野での主導権に戦略的価値を置いていることも反映している。

中国は国連により大きな役割を求め、高度な能力が少数の国や企業に集中することに警鐘を鳴らしてきた。ただし、国連の関与への支持が、査察、モデルへのアクセス、執行に関する合意を保証するわけではない。

この対立は難しい非対称性を生む。各国政府は、人間による統制、透明性、インシデント報告といった広範な原則を支持できる。それらの原則が外部の検査官や国家研究所への制限を必要とする段階になると、より慎重になる。

共有された技術用語は、可能性のある橋渡しとなる。各国は単一の規制当局に合意しなくても、高リスク能力を定義できる。また、執行を国内制度に残したまま、互換性のある試験手法を確立することもできる。

フロンティア評価では、モデルが高度なサイバー作戦、生物学研究、自律的な複製、AI開発を支援できるかを試験する。開発者は、指定された国内当局に標準化された形式で結果を報告できる。

インシデント通知は、もう一つの限定的な協力形態となる。米国と中国は、国家安全保障に影響するAI事象のための仕組みについて協議したと報じられている。このようなチャネルは、グローバルなライセンス機関を設けずに、既存の危機通信に似た役割を果たす可能性がある。

ただし、こうした措置にも大きな未解決の問題が残る。各国政府は、どのインシデントに通知が必要か、企業がどれだけ迅速に報告しなければならないかを定義する必要がある。また、虚偽報告、戦略的な隠蔽、政治的動機に基づく非難への対策も必要となる。

検証は最も難しい問題だ。ある国が、自国の開発者は安全性のしきい値を守ると約束しても、競争相手にはその証拠が必要になる。トレーニングシステムへの完全なアクセスは、営業秘密や国家安全保障上の情報を露出させることになる。

すべての当事者が信頼するなら、第三者の評価機関はその緊張を和らげられる。独立した試験組織は、安全な条件下で特定の能力を検査できる。モデルの重みや危険な技術的詳細を公開せずに、リスクに関する所見を公表することも可能だ。

しかし、評価機関への信頼自体が政治的な問題となる。米国に受け入れられる研究所が、中国やロシアにも受け入れられるとは限らない。国連と連携する試験機関は、中央集権的な監督を拒む政府から反発を受ける可能性がある。

安全保障理事会にも構造的な制約がある。5つの常任理事国は拒否権を持ち、軍事的・技術的影響力をめぐって直接競争している。拘束力のあるAI体制には、武力紛争、制裁、サイバー作戦をめぐってすでに対立している国家間の協力が必要になる。

だからといって、外交が無意味になるわけではない。核リスクの低減は、段階的な合意、査察制度、対話チャネルを通じて発展してきた。AIガバナンスも、核軍備管理をそのまま模倣せずとも、似た道筋をたどることはできる。

AIが異なるのは、その基盤技術の多くが商用かつソフトウェアベースである点だ。モデルは複製、改変でき、クラウドサービス経由でアクセスすることもできる。トレーニング基盤は大規模になるほど可視化しやすい一方、配備済みソフトウェアは核物質より速く広がり得る。

オープンウェイトモデルは別の対立も生む。そのパラメータはダウンロードして改変でき、研究と幅広いアクセスを支える。同じ開放性ゆえに、一度公開された後の中央集権的な撤回や継続的な監視は難しくなる。

Delangueの参加は、この問題をクローズドモデルの安全性アジェンダと並べて提示した。Hugging Faceは、アクセス、研究、分散型開発を重視するエコシステムを代表している。その存在は、いくつかの大手研究所に管理を集中させることが自動的に最も安全な結果を生む、という考えに疑問を投げかけた。

結果として問われる政策選択は、単純なオープンAI対クローズドAIではない。政府は、広く利用可能なモデルの悪用リスクと、少数の民間ゲートキーパーが生む集中リスクを比較しなければならない。

だからこそ、AltmanとAmodeiによるAI安全性提案は、政府と開発者の双方に圧力をかける。国家は、協調のためにどこまで主権を譲るのかを決める必要がある。企業は、製品、スケジュール、競争戦略を制約し得る監督を受け入れなければならない。

ルールを求める企業自身が競争を支配している

OpenAIとAnthropicが、その制約が商業的に不都合になった場合にも適用を受け入れるのでなければ、公的監督を求める主張の信頼性は限られる。

両社は、より高性能なモデルの開発に多額の投資を行ってきた。企業顧客、開発者、研究者、計算能力、そして戦略的な政府との関係をめぐって競争している。どちらか一方が競合相手は開発を継続すると考えれば、自発的な減速は成り立たなくなる可能性がある。

このインセンティブの問題は、OpenAIとAnthropicにとどまらない。Google DeepMind、Meta、xAI、中国の研究所、新興開発者は、それぞれ異なる構造の下で活動している。モデルの重みを公開する組織もあれば、ホスト型製品を通じてアクセスを制限する組織もある。

したがって、2社だけを対象とする安全合意では影響範囲が限られる。その慣行を改善できても、枠組みの外にいる企業へ優位性を移すことになりかねない。信頼できる枠組みには、企業の身元にかかわらず適用される能力ベースのルールが必要だ。

独占禁止法は、別の複雑さをもたらす。主要な競合企業同士による直接の協調は、談合への懸念を招き得る。企業が開発の制限やリリース時期を協議するには、政府の監督や正式な法的免除が必要になるかもしれない。

それでも、安全性をめぐる協調が既存企業を競争から守る可能性はある。大規模な研究所は、小規模開発者よりも評価、セキュリティ、報告のコストを容易に負担できる。既存企業が書いたルールは、市場での地位を守る障壁になり得る。

そのため批判者は、フロンティア企業が自らの監督制度の設計に関与すべきか疑問視している。技術的な専門知識は必要だが、財務上の利害も避けられない。政府は、独立した科学者、市民社会団体、セキュリティ専門家、小規模開発者をプロセスに参加させる必要がある。

企業自身の安全性に関する主張も、慎重に扱う必要がある。Anthropicは、同社の試験が多くの深刻なリスクを捉えているとする一方で、全体像は不完全だと認めている。OpenAIは、世界で最も影響力の大きいモデルプラットフォームの一つを運営しながら、幅広いアクセスと利益の分配を支持している。

外部評価は特定の主張を検証できるが、いかなるベンチマークも、システムがあらゆる環境で安全であり続けることを証明できない。実際の配備には、予期しないプロンプト、ツールへのアクセス、ユーザーの行動、他のソフトウェアとの相互作用が伴う。

長時間稼働するエージェントでは、この困難はさらに大きくなる。短時間の研究所評価では、モデルが数日にわたるタスクの中でどう振る舞うかは明らかにならないかもしれない。エージェントがコードを書き、外部サービスを呼び出し、作業を委任する際には、小さな誤りが蓄積し得る。

したがって組織は、モデル評価を安全性証明書ではなく、一つの統制層として扱うべきだ。権限境界、人によるレビュー、監視、停止手順は引き続き不可欠である。チームには、エージェントが何を試み、どのデータにアクセスしたかを示す記録も必要になる。

軍事利用をめぐる争いも、もう一つの試金石となる。政府は、情報分析、サイバー作戦、計画立案、自律システムのために高度なモデルを求めている。企業は、防衛当局が運用上の必要性と両立しないと考える制限を課すかもしれない。

Anthropicは、大規模な国内監視や、十分な安全策のない完全自律型兵器に自社モデルを使用することに公然と反対している。同社は、現在のフロンティアシステムは、意味のある人間の統制なしに標的を選定して攻撃するほど信頼できるものではないとしている。

この立場は、安全原則が政府調達とどう衝突し得るかを示している。国家安全保障機関は広範な合法的利用を求めるかもしれない一方、開発者は一部の用途は受け入れられないと主張する。

国際基準はこうした不一致をさらに増幅させる。各国は、合法的な監視、正当な軍事行動、十分な人間の監督について、単一の定義を共有していない。ある法域で市民的自由を守るルールが、別の場所では外国からの干渉として拒絶される可能性がある。

企業はまた、減速が運用上何を意味するのかを説明しなければならない。トレーニングの実行を遅らせるのか、配備を延期するのか、ツールを制限するのか、それとも完成済みモデルへのアクセスを限定するのか。選択肢ごとにリスクへの影響は異なる。

公開リリースを遅らせても、必ずしも社内開発が遅くなるわけではない。ホスト型製品を制限しても、窃取や独自の再現を防げるとは限らない。一つの能力を停止しても、似た結果をもたらす別の経路へ研究が向かう可能性がある。

意味のあるコミットメントには、発動条件、測定可能な対応、独立した検証が必要だ。また、いつ開発を再開できるのかを説明する終了条件も必要になる。これらの要素がなければ、ペース調整は実施可能な安全メカニズムではなく、原則にとどまる。

したがって、懐疑論には根拠があるが、それによって警告が無効になるわけではない。企業は金銭的なインセンティブを持ちながらも、本物の技術的リスクを特定することができる。政策上の課題は、内部者の知識を、内部者だけでは支配できないルールへ変換することだ。

AI安全協力を機能させるために必要なもの

実務的な合意は、普遍的なAI規制機関を設けずとも政府が検証できる、限定的な技術的義務から始めるべきだ。

第一の義務は、標準化された能力評価であるべきだ。高度なサイバー攻撃、生物学的悪用、自動化されたAI研究をモデルが支援できるかどうかを検証するために、各国が同一の政治制度を持つ必要はない。

試験では共通の定義と安全な手順を用いるべきだ。結果は、悪用を可能にする手順を公開せずにリスク水準を示す必要がある。独立した評価者には、開発者の主張に異議を唱えられるだけのアクセスを与えるべきだ。

第二の義務は、インシデント報告の義務化であるべきだ。開発者は、重大なモデル窃取、無許可の複製、封じ込めの失敗、危険な挙動を、定められた期間内に開示すべきである。

報告ルールは、通常の製品エラーと国際安全保障上の影響を伴う事象を区別しなければならない。消費者向けチャットボットによる誤答は、インフラを自律的に侵害するシステムと同列ではない。

共通のインシデント分類体系があれば、規制当局は企業や国をまたいで事象を比較しやすくなる。重大度、影響を受けた能力、モデルへのアクセス、人間の介入、国境を越える被害の可能性を記述できる。

第三の義務は、自動化されたAI研究を対象にすべきだ。開発者は、モデルがモデル設計、評価生成、トレーニングコード、研究計画に寄与する場合を文書化すべきである。フロンティア能力を実質的に加速させる行為には、人間の承認を必須とすべきだ。

この要件は、AltmanとAmodeiが懸念するフィードバックループに対応する。AI支援研究を禁止するものではない。企業が人間によって十分に監査できないプロセスに依存する前に、その加速を可視化するものだ。

第四の義務は、モデルインフラを保護することだ。攻撃者が重みを盗み、配備システムを侵害し、大規模なクエリを通じて能力を抽出できるなら、安全政策の価値はほとんどない。

セキュリティ要件は、従業員アクセス、認証情報管理、計算環境、外部テスト、対応計画を対象にできる。最も厳格な統制は、定義された能力しきい値を超えるモデルに適用すべきだ。

第五の義務は、主要国間に信頼できる通信チャネルを設けることだ。政府には、機微な運用上の詳細を公に開示せずに、重大なAIインシデントを互いに通知する手段が必要である。

こうしたチャネルは政治的な対立を解消するものではない。それでも、AIを利用したサイバー事象やモデルの失敗が、意図的な国家による攻撃と誤解されることを防げる可能性がある。

これらの義務を軸にした限定的な合意は、ワシントンが拒む世界的権限とは異なるものになる。各国の規制当局は、共通の技術基準を用いながら国内の遵守を執行できる。

この連邦型モデルにも、依然として回避の余地がある。開発者は規制の弱い法域でトレーニングを行ったり、関連会社間で作業を分割したりするかもしれない。クラウドプロバイダーは、大規模トレーニング顧客にセキュリティおよび報告要件を適用することで支援できる。

フロンティアトレーニングには大規模なインフラが必要なため、コンピュートガバナンスには影響力がある。しかし、アルゴリズムが進歩すれば、コンピュートのしきい値は時代遅れになる可能性がある。ルールはハードウェア利用だけに頼らず、能力を考慮しなければならない。

オープンモデルには別途の扱いが必要だ。すべてのオープン開発を制限すれば、正当な研究を抑圧し、権力を集中させることになる。高能力モデルの公開を放置すれば、配布後に安全策を更新することは不可能になる。

段階的なアプローチでは、広く有用なモデルと、実証された危険な能力を持つシステムを区別できる。負担は、開発者の規模やビジネスモデルではなく、リスクの証拠に応じて高まるべきだ。

この原則は小規模企業も保護する。遵守要件は、深刻な外部リスクを生み出す行為に焦点を当てるべきだ。通常のソフトウェア製品に、フロンティア研究所と同じ義務を負わせるべきではない。

グローバルな代表性も重要である。多くの国は、主要モデルや大規模な計算インフラを管理せずにAIサービスを利用している。それでも、雇用の混乱、情報操作、サイバーリスク、外国プロバイダーへの依存に直面している。

それらの国々も、フロンティア研究所を運営していなくても、標準をめぐる議論に参加する必要がある。さもなければAIガバナンスは、誰もが影響を受けるシステムを持つ、いくつかの企業と強大な国家だけの合意になってしまう。

国際連合は、唯一の規制当局になることなく、そのための場を提供できる。科学パネルは証拠を統合し、外交機関はコミュニケーションの規範を確立できる。執行権限は各国の機関が維持すればよい。

この枠組みは、世界的なライセンス機関ほど劇的ではない。しかし短期的には、より実現可能性が高い。安全保障理事会の会合は、各国政府が共同統制を受け入れる前に、共有リスクについて議論する意思があることを示した。

国連への訴えが意味を持つかを示す3つのシグナル

次の焦点は、演説が検証可能なコミットメントにつながるのか、それとも警告の後にモデルのリリースがさらに加速するサイクルを繰り返すのかだ。

第1のシグナルは、最先端研究所の間で交わされる書面による合意である。そこでは能力のしきい値、独立した評価、そしてモデルがそのしきい値を超えた場合に求められる対応を定義すべきだ。

責任あるAIを支持する声明だけでは、ほとんど意味がない。有用な協定であれば、企業が学習を延期するのか、展開を制限するのか、外部テストを拡大するのかを明記する。また、遵守状況を誰が検証するのかも示す必要がある。

OpenAI、Anthropic、Google DeepMind、xAI、Meta、そして主要な中国の開発企業が整合性のあるコミットメントを採用すれば、安全保障理事会の訴えは信頼性を得る。自主的な表現に限定された合意であれば、業界が自律的に協調できるという主張は弱まる。

第2のシグナルは、インシデント報告と評価基準に関する政府の行動である。米国は、国内の研究所に高重大度の事象の報告を求めるために、世界的な規制当局を支持する必要はない。

中国、欧州連合、英国、その他のAI拠点も、整合性のある要件を採用できる。それぞれの制度をまたぐ足並みがそろえば、中央集権的な単一機関なしに、実務的な国際標準が生まれる。

互換性のない国家規則は、逆の結果を招く。開発者はより制約の少ない法域へ業務を移すことができ、各国政府は類似するリスクについて異なる情報を受け取ることになる。

第3のシグナルは、米中間の正式な安全性対話チャネルである。世界を主導する2つのAI大国は、半導体、人材、モデル、軍事利用をめぐって競争している。国境を越える最先端リスクに対処するいかなる制度にも、両国の参加は不可欠だ。

深刻なAIインシデントに関する通知メカニズムは、控えめながらも意味のある出発点となる。それは、戦略的な競争相手であっても、より広範な技術競争から一部の共通の危険を切り分けられることを示すだろう。

このチャネルを設けられなければ、AltmanとAmodeiによるAI安全性キャンペーンの限界が露呈する。企業は内部の安全策を改善できても、地政学的な協調の問題を自ら解決することはできない。

読者は、企業が警告の後にどう行動するかにも注目すべきだ。より明確なしきい値がないまま能力リリースが相次げば、懐疑論は深まる。外部評価の拡充と透明性の高いインシデント報告は、企業側の主張を後押しする。

企業は条約を待つ必要はない。エージェントの権限を棚卸しし、意思決定ログを保存し、影響の大きい行為には人間によるレビューを求め、障害からの復旧をテストできる。世界的な政策が未確定な状況でも、こうした措置はリスクへのさらされ方を減らす。

開発者は、評価基準と報告に関する提案を追うべきだ。これらは製品設計を変える可能性があるためだ。最先端研究所向けに導入された要件は、しばしばクラウドプラットフォーム、企業調達、保険、顧客監査にも影響を及ぼす。

ナレッジワーカーにとっても重要だ。安全性ルールは、AIシステムが何にアクセスし、何を実行できるかを決める。強力な統制は一部のタスクを制限し得る一方、機密性の高い職場情報にエージェントを接続する際の安全性も高められる。

国連での登場は、AI安全性の政治的な注目度を引き上げた。しかし、誰がルールを書くのか、誰がモデルを検査するのか、誰が減速を命じられるのかという問題は解決していない。

この未解決の権限問題こそが、物語の中心的な緊張である。AltmanとAmodeiは、高度なシステムが既存の統制を追い越す前に、各国政府へ協力を求めた。各国政府は危険を認めつつも、自らの権限を守る姿勢で応じた。

今後1〜3か月で、この隔たりが縮まるかが明らかになるはずだ。研究所間の協定、整合性のある各国の報告規則、そして米中間のインシデント対話チャネルに注目したい。いずれも現れなければ、演説は行動への合意を欠く機関に向けて発せられた警告のままになる。