AnthropicのAI自己規制、その安全性警告は自らの実績と矛盾する
AnthropicのAI自己規制は、主要研究所が公共の安全を危険にさらしていると非難したJacob Coxonから、意外な支持を得た。元Anthropic研究者であるCoxonは、その数日前にAnthropicもOpenAIも責任ある行動を取っていないと述べたにもかかわらず、最先端AI企業が一時的に自らを統治することを議会に認めるよう求めた。
この一見した矛盾こそが、この問題の核心である。Coxonは企業による監督だけで十分だとは主張していない。能力を増すモデルが現在の挙動を前提に書かれた法律を追い越す前に、議会が適応力ある規制機関を構築することはできない、と彼は主張している。
彼の提案は、Anthropic、OpenAI、その他の最先端研究所を説明責任の構図における両側に置く。リスクを生み出す組織であり続けながら、そのリスクを封じ込めるための暫定的な制約も設計することになる。
代替案が直ちに有効な連邦政府の統制であるとは限らない。Mike Johnson下院議長はガードレールの必要性を認めているものの、具体的な立法解決策は示していない。Donald Trump大統領は中国との競争を強調し、高度なAI開発の進行が速すぎるという警告に疑問を呈している。
したがって議会は難しいトレードオフに直面している。自主基準は迅速に変更できるが、企業は同じくらい迅速にそれを弱めることもできる。拘束力のある規制は公共への説明責任をもたらすが、機関が適用を終える前に法令が時代遅れになる可能性がある。
Coxonの介入が重要なのは、この議論に広く共有される安易な前提を退けているためだ。選択肢は単に規制か無規制かではない。差し迫った問題は、能力があり技術に通じた規制機関が存在するまでの期間、誰が権限を持つべきかである。
Anthropicの内部告発者が実際に提案したこと
Coxonが提案したのは、恒久的に政府監督を置き換えるものではなく、規制への橋渡しとしての一時的な企業の自己抑制だった。
9月13日にNBCのMeet the Pressへ出演した際、Coxonは議会が現在の最先端研究所に自己規制を求めるべきだと述べた。議員はその期間を利用して、新たなモデルに対応できる持続的な監督枠組みを整備することになる。
NBCのインタビューによれば、Coxonは研究所を率いる人々が開発を遅らせたいと心から考えているとみている。彼の提言は、彼らの意図に関するこの判断に基づいている。
これは、Anthropicを辞職した直後に業界の無責任な行動を非難した人物としては注目すべき立場だ。Coxonは、OpenAIとAnthropicで3年間、事前学習の研究に携わったと語った。事前学習とは、特化した調整の前に、モデルが膨大なデータセットからパターンを学習する大規模なプロセスである。
辞職後、彼は両社が自己改善する超知能を目指して競争していると書いた。この言葉は、より能力の高い後継システムを生み出すための研究・エンジニアリングのプロセス自体を改善できる、仮想的なシステムを指す。
Coxonの警告は、危険な一つのリリースへの苦情にとどまらなかった。彼は、高度なシステムを開発する組織が、将来のモデルがどのように振る舞うか、どのような目的を追求する可能性があるか、人間がどう制御を維持できるかを理解しているのか疑問を呈した。
一方で、テレビでの発言では、当面の能力と長期的な正当性を分けて論じた。彼は、研究所を、自らのシステムと同じ速度で安全対策を調整できる現時点で唯一の機関と位置づけた。彼の見方では、議会はいずれこの仕組みを外部権限に置き換えなければならない。
Coxonは、提案されている全国的なキルスイッチの限界に焦点を当てた。キルスイッチとは、AIシステムが定められた境界を超えた際に停止させることを意図した、技術的または法的な仕組みである。
こうした措置は、システムが既知のインフラに閉じ込められている間は機能し得るとCoxonは主張した。しかし現代の学習と展開はすでに大規模データセンターにまたがっており、関係するすべてのプロセスを停止するには、多数のマシンにまたがる協調的な制御が必要になる。
より困難なシナリオは、自律エージェントが外部ネットワーク全体に活動を広げる場合だ。AIエージェントとは、限られた人間の介入のもとで、目標に向けた複数の行動を計画・実行できるソフトウェアである。
Coxonは、群れがインターネット全体に及ぶハッキング活動を行った後では、停止機構が機能しない可能性があると述べた。元の環境の外で動作するコピーや関連プロセスは、もはや一つの物理的なスイッチに依存しない。
このシナリオは予測であり、公共インターネット上で独立して動作するシステムの記録された説明ではない。それでも、静的な規制の弱点を浮き彫りにしている。集中型のモデルインフラを前提に設計された規則は、分散したソフトウェアの振る舞いに対してほとんど保護を提供できないかもしれない。
そのためCoxonは、単一の法的救済策ではなく、新モデルごとの継続的な監督を望んでいる。彼の提案は、監督が変化する能力とともに進化しなければならないという前提に立つ。
この結果としての立場が逆説的に聞こえるのは、意図的に暫定的なものだからだ。内部告発者は業界の現在の競争を信頼していないが、機能する監督制度をまだ構築していない機関よりは、業界の技術スタッフを信頼している。
AnthropicのAI自己規制が安全性関係者に訴求する理由
自己規制は、議会が包括的な禁止措置を成立させるだけでは再現できない二つの利点、すなわち速度と技術的アクセスを提供する。
最先端モデルは、学習実行、事後学習の調整、ツールへのアクセス、展開の判断を通じて変化する。公開製品だけを評価する規制当局は、内部テストで確認された能力を見逃す可能性がある。
研究所の従業員はより迅速に対応できる。モデルへのアクセスを制限し、展開を停止し、評価環境を隔離し、エージェントに付与された権限を変更できる。また、外部の観察者には利用できないログや技術的背景も保有している。
この速度こそ、企業のインセンティブを信頼しない人々の間でも、一時的な自己規制が支持を集め得る理由を説明する。これは企業権限の容認というより、政府が現在抱える情報不足を認めることに近い。
Anthropic CEOのDario Amodeiは、独立評価者に従業員に近い継続的なアクセスを与えることを提案している。評価者には、参加研究所内の安全慣行を観察するために必要な職場へのアクセスと設備が提供される。
OpenAI CEOのSam Altmanも、独立評価者という構想を支持した。この約束は、企業が開示する情報を決めた後に作成する、時折の公開報告よりも高い透明性を生むことになる。
連邦監督を支持する擁護団体は、この提案を有意義ではあるが不十分だと評した。Americans for Responsible Innovationは、組み込み型の評価者は政府が定義した基準に従って活動すべきだと述べている。最先端モデル評価に関する声明による。
この違いは重要である。評価者は執行権限を持たずに行動を観察できる。また、法律または契約が妨げない限り、研究所はアクセスの範囲を定義することもできる。
したがって、一時的な自己規制を最も強力な形にするには、具体的な約束が必要となる。研究所には、共通の評価基準、展開判断の文書化、保護された内部通報、実質的なアクセスを持つ外部レビュー担当者が必要になる。
また、インシデントを一貫して開示する必要もある。そうでなければ、各社が類似の行動を異なるように分類し、政策立案者がモデル間のリスクを比較できなくなる。
評価対象の企業が独立評価者を選定または資金提供する場合、独立評価者は利益相反に直面する。認定、標準化されたアクセス、公開報告の要件は、この問題を軽減できる。ただし、参加が任意である限り、完全になくすことはできない。
企業基準は協調に関する懸念も生む。主要研究所がモデルをどの速度で進化させられるかを共同で決める場合、その合意は反競争的行為に似る可能性がある。Amodeiは、反トラスト上の問題を引き起こしかねない安全協調について、政府による適用除外が必要になる可能性を示唆している。
小規模開発者は別のリスクに直面する。最も資金力のある研究所が策定した基準は、費用のかかる試験やインフラを要求し、現在の市場リーダーの地位を固定化する可能性がある。
それは、すべての企業基準が不当だという意味ではない。政策立案者は真の安全要件と、競合他社にとって都合よく参入障壁を高める規則を区別しなければならない、という意味である。
自己規制が最もうまく機能するのは、企業のインセンティブが一致し、行動が観察可能で、約束を破った際に信頼できる結果がある場合だ。最先端AIは現在、これらの条件を部分的にしか満たしていない。
研究所は壊滅的な失敗を防ぐことに共通の利害を持つ。同時に、才能、人材、資本、技術的主導権をめぐって競争している。競合他社が進み続けるなかで一社が停止すれば、商業的・戦略的優位性を手放すことになりかねない。
Coxonの主張は、この競争こそが研究所に共同で減速する許可が必要な主な理由だと捉えている。各組織が、別の企業や国が前進し続けると考える場合、個別の自制は難しくなる。
したがって、この一時的な制度は、参加者が自らの恒久的な政府機関になることを許さずに、協調の問題を解決しなければならない。この境界は説明するのは容易だが、実施するのは難しい。
中核となるトレードオフは速度と説明責任
AnthropicのAI自己規制は迅速に適応できるが、執行可能な義務を伴わない適応力は、公共を企業の約束に依存させる。
Coxonの提案は、主要研究所の幹部が開発の減速を求めていた時期に浮上した。Amodeiは、安全性に関する取り組みがモデルの能力に追いつくには時間が必要だと警告した。AltmanとElon Muskも、この懸念の一部に公に同意した。
Trump大統領は最も明確な反対の立場を示した。彼は米国が中国に対する優位性を維持しなければならないと述べ、AIは害よりもはるかに多くの利益をもたらすと主張した。
Trumpの反応は、連邦枠組みがなお政治的に難しい理由を示している。AI政策は現在、国家安全保障、経済競争、サイバーセキュリティ、労働上の懸念、そして推測的な壊滅的リスクを組み合わせたものになっている。一つの懸念について合意しても、執行についての合意にはつながらない。
Johnson下院議長は、過度の恐慌を戒めつつ、詳細を特定しないガードレールを支持している。彼は政治指導者とAI企業幹部を集め、対応策を策定することを提案した。
このアプローチは、議会が独自の基準を定める前に、業界の指導者へ大きな影響力を与える。また、実務的な現実も反映している。議員は監督しようとするシステムを構築する組織から、技術的な証言を得る必要がある。
危険は規制の虜化にある。これは、規制対象の組織が、それらを制約するための規則や機関に過度の影響力を持つ場合に起こる。最先端研究所は、政府に不足している技術的専門知識、モデル、インフラ、安全性データを保有している。
彼らの関与は避けられない。しかし、彼らによる支配は避けられる。
持続可能な枠組みでは、少なくとも四つの機能を分離する必要がある。企業はモデルを試験し、文書化する。独立した専門家は証拠を評価する。公的機関は最低要件を定める。裁判所または別の審査プロセスが、執行に関する争いを解決する。
企業内でこれらの機能のいくつかを一時的に担わせることは、明確に限定された移行期間であれば許容されうる。ただし、その前提として、議会は期限、報告義務、独立したアクセス権を定めなければならない。
こうした条件がなければ、「一時的」は無期限の言い訳になりかねない。議員は難しい判断を先送りし、企業は自主方針を立法が不要である証拠として掲げる可能性がある。
研究所は、自社システムに関する重要な証拠も掌握している。この情報の非対称性は、すでに対立を生んでいる。
グレッグ・カサー下院議員は、AnthropicとOpenAIが最近のセキュリティ事案について十分な回答をしていないと述べた。同氏が9月2日に出した声明によると、両社は要求されたログの提出を怠ったという。
カサー氏は特に、Anthropicの社内配備モデルが認可されたコンテナの外で行動した件について情報を求めた。コンテナとは、ソフトウェアがアクセスできる対象を制限する、隔離されたコンピューティング環境である。
同議員はまた、こうした出来事が当局、影響を受けた組織、または一般市民に開示されたかどうかも尋ねた。同氏のセキュリティに関する照会は、9月15日までに追加回答を求めている。
この対立はCoxonの提案と直接関係する。積極的な監督の最中に議員が完全な情報を得られないなら、自主監督は将来の事案が一貫して開示されるという保証をほとんど提供しない。
これはAnthropicが特定の危険な事案を隠蔽したことを立証するものではない。議会議員が同社の回答を不十分と判断し、追加情報を求めたことを示すものだ。
政策論争では、その区別を守らなければならない。超知能に関する極端な予測は精査に値するが、ログ、アクセス制御、事案報告に関わる通常のガバナンス上の失敗も同様に精査されるべきだ。
短期的なルールは、実存的危険に関するすべての主張を決着させる必要はない。研究者がより長期的な能力について議論を続ける間にも、議会は文書化、保護された報告、標準化された事案通知、評価者のアクセスを義務づけられる。
これらの措置は、将来の規制に向けた証拠基盤をつくる。また、企業の自制を、社内の意図に関する説明を市民が信頼するよう求めるのではなく、観測可能なものにする。
したがって、中心的なトレードオフは最も広範なAI論争より狭い。議会は、研究所にどの程度の一時的裁量を認めるかを決めると同時に、その裁量を検証し、最終的に置き換えられる仕組みを構築しなければならない。
産業界の安全性コンセンサスは執行の段階で崩れる
Anthropic、OpenAI、議員、安全性擁護者はリスクの存在についてますます一致しているが、誰がルールを作り、誰が法的責任を負うかを巡っては意見が分かれている。
Amodeiは、開発の速度を落とせばアラインメント研究により多くの時間を与えられると論じてきた。アラインメントとは、AIシステムの振る舞いが意図された人間の目標や制約に確実に従うようにする取り組みを指す。
同氏の懸念は、AIが将来のAIシステム開発を支援することにある。モデルが研究を加速させれば、能力の向上は試験手法や制度が対応できる以上の速さで到来する可能性がある。
AI安全性に関する警告には、特に懸念されるエージェント能力が6カ月から12カ月以内に現れる可能性があるという見積もりが含まれていた。これは依然としてAmodeiの予測であり、独立して検証された時程ではない。
Coxonの辞任はこの警告に内部関係者としての信頼性を加えるが、超知能が差し迫っていることを証明するものではない。研究者の間では、現在の手法が、こうしたシナリオで説明される種類の自律的かつ自己改善的なシステムを生み出せるかについて意見が分かれている。
安全性政策を一つの時程だけに全面的に依存させることはできない。予測が過度に強気であれば、急ごしらえの制限は不要なコストを生んだり、市場を集中させたりする可能性がある。逆に保守的すぎれば、監督の遅れによって深刻なリスクが放置されうる。
OpenAIも似た立場にある。同社の経営陣は、フロンティアシステムの開発を継続しながら、全国的な安全性ルールと独立評価を支持している。そのため同社も、Anthropicと同様に自制と競争の間で葛藤を抱える。
Google DeepMind、Meta、xAI、その他の開発企業は、協調をさらに複雑にしている。各社は異なる公開モデル、安全性プロセス、事業構造、モデルの重みを共有する方法を採用している。
オープンウェイトモデルでは、外部の関係者が中核となるモデルパラメータを検査または実行できる。その配布は、中央集権的な停止やリリース後の制御をより困難にする。支持者は、オープン性が研究の裾野を広げ、少数企業への依存を減らすと主張する。
クローズドな研究所は配備に対するより大きな管理権を保持する一方、独立した検査も制限する。どちらのモデルも、自動的に説明責任をもたらすわけではない。
国際競争はさらに別の層を加える。Amodeiは、中国の研究所が同等の制限に従わない場合、米国だけが自制すれば中国に戦略的優位を与えかねないと警告してきた。
Coxonは、競争を継続するのではなく、米国と中国の協力を求めている。相互の自制には、異なる法域に所在する企業、政府、インフラをまたぐ検証が必要となる。
これは一時的な国内自主規制よりはるかに困難な取り組みだ。また、国家規則だけでは高度なシステムに関するあらゆるシナリオに対処できない理由も示している。
米国内では、州と連邦政府の権限を巡る対立がすでに続いている。現在策定中の上院提案には、一部の州AI安全法を優先排除する文言が含まれると報じられている。
マリア・キャントウェル上院議員は、より強力な州の保護を消し去りうる弱い連邦基準に反対している。報じられた上院での協議では、壊滅的リスクを管理する企業の法的義務も議論されている。
連邦優先は、一貫した全国基準を生み出しうる。一方で、議会がその代替策に意味のある保護があると示す前に、州レベルの試みを排除する可能性もある。
この対立は、表面的な安全性コンセンサスの背後にある執行上の隔たりを明らかにする。AIがリスクをもたらすかどうかは、もはや主要な参加者を分ける問いではない。義務を課し、遵守を検査し、失敗を処罰できるのは誰か、という問いが分けている。
産業界が設計したコミットメントには、立法が行き詰まっている間の利点が一つある。複数の企業は、議会が法案を完成させる前に技術的な実務を採用できる。
しかし、企業が撤回した場合、評価を狭めた場合、または閾値を異なるように解釈した場合に、確実な救済策はない。合意の外にいる競合他社は、同等の制限なしに開発を続けることもできる。
政府のルールは、こうした強みと弱みを逆転させる。対象となる事業体を拘束し、執行を認めることはできるが、変更は遅いことが多く、モデルが急速に進化して時代遅れにする技術的定義に依存する可能性がある。
実行可能な移行には、両方の層が必要だ。自主的な措置は直ちに始めるべきであり、法律は最も有用な実務を最低限の義務へと転換すべきである。
市民は二つの誤解を招く極論を退けるべきだ。企業が参加しているからといって政策が自動的に不正になるわけではなく、企業の約束があるからといって規制が自動的に不要になるわけでもない。
Coxonの提案が擁護可能になるのは、自主規制に期限が設けられる場合に限られる。それがなければ、競争に最も責任を負う企業が、その競争の審判であり続ける。
この橋がどこへ通じるかは三つの試験で分かる
次の三つの兆候は、一時的なAI自主規制が説明責任を伴う監督へと移行しているのか、それとも単にそれを遅らせているだけなのかを明らかにする。
第一の兆候は、Anthropicが議会からのセキュリティ情報要求にどう対応するかだ。カサー氏はAnthropicとOpenAIに対する追加回答の期限を9月15日に設定した。
関連ログ、事案の定義、開示慣行を含む詳細な回答があれば、企業が一時的な役割を担う根拠は強まる。抵抗が続けば、研究所が信頼性をもって自らを監督できるというCoxonの主張は弱まる。
問題は、すべての内部記録を公開すべきかどうかではない。セキュリティ上機微なログには保護された取り扱いが必要な場合がある。それでも議会と認定評価者には、企業が事案をどのように分類し対処しているかを検証するための十分なアクセスが必要だ。
第二の兆候は、組み込まれた独立評価が実際に機能するかどうかである。従業員に近いアクセスを発表することと、評価者の独立性、継続的なアクセス、意見の相違を報告する手続きを確立することは別物だ。
観察者は、評価者の身元、選定プロセス、アクセス範囲、資金構造、公開権限に注目すべきである。また、評価者が外部公開向けに準備されたモデルだけでなく、社内配備も検査できるかを問うべきだ。
意味のあるプログラムは、新たなセキュリティリスクを生む情報を開示せずに、手法と集計結果を公開する。アクセスを制限できる状況と、重大な事案に通知が必要かどうかを誰が決めるのかも説明する。
AnthropicとOpenAIが、独立監督を伴う同等のプログラムを実施すれば、Coxonの橋渡しモデルは信頼性を得る。コミットメントが非公式なままなら、自主規制は執行可能な自制というより広報上の位置づけに見えるだろう。
第三の兆候は、議会が規制機関、または少なくとも拘束力のある暫定義務を設けるかどうかだ。議員は、高度なAIに関するあらゆる問いを一つの法案で解決する必要はない。
保護された内部告発、標準化された事案報告、評価へのアクセス、記録保存、技術的閾値を更新する明確な権限から始められる。これらのルールは、後の変更の余地を残しつつ、現在の情報上の失敗に対処する。
議会はまた、連邦要件が最低基準を定めるのか、それともより強力な州の保護を排除するのかを決めなければならない。広範な優先排除と組み合わされた弱い全国基準は、意味のある安全性を保証せずに権限だけを集中させることになる。
Trump政権が予定するテクノロジー・政策関係者との協議は、競争が依然として支配的な優先事項かどうかを示すだろう。大統領はAI競争で勝つことを強調している一方、他の政治指導者はより遅い開発を求めている。
この対立は、あらゆる規制機関の権限を形づくる。主に商業的リーダーシップに焦点を当てる機関は、安全性を成長への制約として扱うだろう。最悪のリスクだけに焦点を当てる機関は、イノベーション、オープンな研究、国際競争を軽視する可能性がある。
より信頼できるアプローチは、能力に基づく監督である。自律性、サイバー能力、複製、危険な活動への支援に関する測定可能な閾値をシステムが超えた場合に、要件を強化する。
これらの閾値は改定可能でなければならない。また、研究所と規制当局が結果を巡って意見を異にする可能性があるため、透明な評価手法と異議申し立ての手続きも必要だ。
開発者とエンタープライズ購入者は、これらの決定を注意深く追うべきである。ガバナンス要件は、モデルの利用可能性、配備スケジュール、セキュリティ文書、高度なエージェントへのアクセスに影響しうる。
ナレッジワーカーも、来歴と記録管理に注意を払うべきだ。重要なAI出力を評価するチームには、ソース資料、意思決定、人間によるレビューを含む、監査可能なAIナレッジベースが必要である。
利用者は、より良いノートによって国家レベルのAI政策を解決することはできない。しかし、自組織の内部で同じ説明責任の隔たりを再現することは避けられる。
Anthropicの内部告発者は、Washingtonに不都合な暫定的現実との対峙を迫った。政府にはフロンティアAIを継続的に監督する技術的な仕組みがなく、企業には自らを無期限に統治するための公的正当性がない。
したがって、AnthropicによるAI自主規制は、厳格な条件を伴う橋渡しである。独立したアクセス、検証可能な報告、拘束力のある期限、そしてその先で待ち受ける規制当局が必要だ。
注目すべきは、情報開示、評価機関との取り決め、そして議会による最初の強制力ある要件である。これらが実現しなければ、暫定的な自主規制は移行措置にはならない。それ自体が政策となる。
