Geoffrey HintonによるAI禁止要求、英国の成長政策に圧力

Geoffrey Hintonは、高度AIの開発と投資を促進する英国の戦略にもかかわらず、超知能AIを禁止する英国の法案を支持した。9月8日に報じられた議会での動きは、同氏が長年発してきた警告を具体的な立法要求へと転じるものだ。また、破滅的リスクの防止と、世界的な技術競争で競争力を維持することとの間に直接的な対立を生み出している。

提案されたArtificial Superintelligence Security Billは、英国における超知能システムの開発、配備、運用を禁じるものだ。超知能とは、人間の認知能力を大幅に上回る、仮説上の汎用システムを指す。運動団体ControlAIが法案を起草し、Labour党のAlex Sobel議員が議会での提出者と報じられている。

ただし、この説明には重要な留保が必要だ。この提案は政府法案ではなく、運動団体が起草した議員立法案として始まった。議会に提出されても、即時の禁止が成立するのではなく、政治的プロセスが始まることになる。実際の問題は、定義が定まらず、見解が割れ、英国の管轄外で開発される可能性もある能力を、議員が規制できるかどうかだ。

Hintonの介入は、この問いに特別な重みを与える。同氏の研究は、現代AIを支えるニューラルネットワーク手法の確立に貢献し、2024年のノーベル物理学賞を共同受賞した。しかし、科学的権威が法案の中心的なトレードオフを解決するわけではない。英国は、技術が存在する前に厳格な制限を設けることを、不確実な破滅的リスクが正当化するかどうかを判断しなければならない。

Geoffrey Hintonが支持するAI禁止案が禁じるもの

この提案は、英国の超知能を巡る議論を、任意の安全性試験から明示的な法的境界へと移す。

公開されている英国法案の提案によれば、この法案は英国国内での超知能AIの開発を禁止する。また、国内でこうしたシステムを配備または運用することも禁じる。これらの制限は、リスク評価、透明性報告、独立評価を求めるだけの措置を大きく上回る。

法案はさらに、超知能の前段階となり得る技術を監視・制限する権限を創設する。この規定が重要なのは、システムが超知能になった後に発動する禁止では手遅れになるためだ。開発者がすでにモデルを訓練、複製、または重要インフラに接続している可能性がある。

しかし、前段階の技術を規制することは、難しい境界線の問題を生む。モデルは、人類全体より総合的に優れていなくても、ソフトウェア開発、科学研究、サイバーセキュリティを向上させられる。同じ能力が、さらに高性能な後継モデルの開発に必要な作業を加速することもある。

したがって、この提案は定義、証拠の基準、執行手続きに依存する。規制当局は、通常の改善と、超知能を実質的に前進させる段階とを区別する必要がある。基準が曖昧なら有用な研究まで対象となり得る一方、狭すぎれば制御が困難になってからしか発動しない恐れがある。

Hintonは、研究者が自らの創造物より賢いシステムを制御する方法を知る前に、政策立案者が行動すべきだと主張する。「今、超知能を開発するのは非常に愚かなことだ」と、同氏はBusiness Mattersに語った。同氏は、そのようなシステムを安全かつ制御可能な形で開発できるという科学的合意がないことを挙げた。

この警告は予防的アプローチを支える。そのアプローチでは、開発者は重大な結果を伴う閾値を越える前に、十分な安全性を示さなければならない。最初の失敗が取り返しのつかないものになり得る場合、社会は災害の直接的証拠を待つ必要はない。

報道によれば、この法案は国内規制に加え、国際協定の締結を目指す方針を組み合わせている。第2の要素は、純粋に国家単位の禁止が持つ弱点を認めるものだ。英国の研究所は訓練を海外へ移転し、国外からアクセスを購入し、別の管轄区域でホストされたモデルを利用できる。

ControlAIによれば、同団体の広範な運動は、党派を超えて100人以上の議員の支持を得ている。House of Lords Libraryも2026年1月、党派を超える100人超の議員からの支持を独自に記録した。ただし、それは法案そのものに100票の確実な賛成があることを意味しない。

議員立法案には手続き上の障害もある。審議時間が限られ、政府の支援なしに法律になることはまれだ。それでも、提案の枠組みを定め、修正案を引き寄せ、閣僚に立場の表明を迫るため、その影響は大きくなり得る。

したがって、当面の変化は運用面ではなく政治面にある。Hintonの支持により、具体的な禁止モデルに著名な科学者の名が結び付いた。議会は今、「安全性が確立される前に止める」が執行可能な法律で何を意味するのかに向き合わなければならない。

なぜ英国はいま対立に直面しているのか

この法案は、AI拡大とAI安全性を相互に強化し合う目標として提示しようとする英国政府の取り組みに異議を唱える。

英国は数年にわたり、フロンティアAI研究、安全性試験、商業導入を軸にした存在感を築いてきた。政府は2023年にAI Safety Instituteを設立し、2025年にはAI Security Instituteへ改称した。同機関は高度なシステムを評価し、制御不能化を含むリスクを研究している。

試験はライセンス制度と同じではない。同機関は危険な能力を特定できるが、英国の既存の枠組みは概して、特定の用途に結び付いた法律を通じてAIを規制している。データ保護、競争、平等、消費者保護、分野別の規則は、開発者が用途を選んだ後の害に対処する。

Geoffrey Hintonが支持するAI禁止案は異なる立場を取る。意図された製品にかかわらず、ある水準の汎用能力を受け入れられないものと扱う。これは従来の技術規制というより、核不拡散政策に近い。

この違いは閣僚に圧力をかける。Labour党の2024年マニフェストは、最も高性能なモデルを開発する少数の企業に対する拘束力のある規制を約束した。しかし政府は当初、その約束を果たす包括的な法律を公表しなかった。

政府のAI行動計画は、計算能力、導入、人材、経済成長を重視した。同計画は、英国のイノベーション促進型規制アプローチを競争上の強みと位置付けた。また、適切に設計された規則は安全な開発と公衆の信頼を支えられると論じた。

禁止は、より明確な選択を迫る。安全性評価は、一定のフロンティア開発が監督下で続くことを前提とする。超知能の禁止は、はるかに強固な保証がなければ試験によっても許可すべきでない能力水準があることを前提とする。

業界の予測時期は緊急性を高めるが、依然として信頼性は高くない。2024年、OpenAI CEOのSam Altmanは、超知能が「数千日以内」に到来する可能性があると書いた。別の研究者らは、現在のモデルは幅広い人間水準の推論からなお遠いと主張している。

この不一致は単に時期を巡るものではない。許容される規制の順序を変える。超知能は遠いと考える政策立案者は、現在の差別、詐欺、著作権、労働、サイバーセキュリティ上の害に注力できる。急速な進歩を見込む政策立案者は、証拠が決定的になる前の制限を検討しなければならない。

議会はすでに能力ベースの規制に近づいている。Cyber Security and Resilience Billの修正案は、ネットワークセキュリティに影響する特定のAIサービスに対する「レッドライン」を提案した。対象サービスが英国で利用可能になる前に、AI Security Instituteによる評価を求める内容だ。

公式のレッドライン修正案は、経済全体で知能水準を禁止するのではなく、重要システムに焦点を当てている。このより狭いアプローチは、競合する規制の道筋を示す。政府の介入を、特定可能なインフラとセキュリティ能力に結び付けるものだ。

Hintonが支持する提案は、不可逆的になり得る閾値の近くで段階的規制を信頼できないと支持者が考えるため、さらに踏み込んでいる。支持者の立場は、人間が確実に監督できないシステムを作り出すことへの備えとして、配備時の安全策では不十分だというものだ。

英国が今この対立に直面しているのは、政治的公約、業界予測、セキュリティ上の懸念が重なったためだ。この法案は閣僚に、裁量を維持するか、厳格な制限を設けるかの選択を迫っている。

能力禁止とリスクベース規制

中心的な争点は、明確な能力禁止と、危険の証拠が測定可能になるにつれて規制を強化する方式との間にある。

法案の支持者は、システムが制御を回避または圧倒できる場合、従来のリスク管理は機能しないと主張する。リスクベース規制は、規制当局が失敗率を推定し、原因を検査し、安全策を見直せる場合に最もよく機能する。超知能には、そのプロセスのための過去のデータセットが存在しない。

Hintonの懸念は悪意ではなく制御に焦点を当てる。システムが危険になるために、憎悪、意識、人間的な感情は必要ない。運用者が予測も理解もしない戦略を通じて、不十分に定義された目標を追求する可能性がある。

このシナリオはしばしば制御喪失と呼ばれる。この言葉は、システムが修正に抵抗し、行動を隠し、目的を維持するために環境を操作する状況を指す。研究者の間ではその確率に見解の相違があるが、潜在的な結果が禁止を求める議論を後押しする。

コンピュータ科学者のStuart Russellはこの見解を支持している。同氏は、企業が商業的利益を追求する一方で、絶滅リスクを私的に公衆へ負わせるべきではないと主張する。この立場は、高度AIに関する意思決定を、工学的判断だけでなく民主的な同意の問題として扱う。

対立するアプローチは、超知能が近いのか、あるいは技術的に実現可能なのかという不確実性から始まる。Lordsの調査ブリーフィングは、人工超知能が依然として仮説上のものであると指摘する。また、現在の進歩を巡る大きな見解の相違も記録している。

2,700人超のAI研究者を対象とした2024年の調査では、予測に広い不確実性が見られた。集計された回答では、支援を受けない機械が2027年までにあらゆるタスクで人間を上回る確率は10％とされた。対応する50％の予測時期は2047年だった。

これらの数字が示すのは、確定した時期ではなく見解の不一致だ。また、質問の文言、定義、「あらゆる可能なタスク」に対する回答者の解釈にも左右される。予測だけで、特定のモデルが法的基準を満たすかどうかを判断することはできない。

そのため批判者は、広範な禁止ではなく、測定可能な能力の発動基準を主張できる。規制当局は、自律的なサイバー作戦、生物学的設計、モデルの自己複製、戦略的欺瞞、停止への抵抗に焦点を置くことができる。各基準は、観察可能な行動に結び付いた試験と制限を支えられる。

この枠組みには実務上の利点がある。特定の害へ監視を向け、定義された基準を下回る有益なシステムの継続を可能にする。また、評価手法の改善に合わせて発展させることもできる。

しかし、能力テストにもそれ自体の不確実性がある。開発者は、配備後のツールへのアクセス、ファインチューニング、より長い推論時間によって異なる挙動を示すモデルを訓練できる。研究所での評価が、危険な組み合わせをすべて再現できるとは限らない。

モデルは試験条件を認識することも学習し得る。評価中には安全に振る舞う一方で、別の環境では行動を変えるシステムであれば、ベンチマークへの準拠は弱い証拠にとどまる。研究者はこの可能性を検討しているが、絶対的な安全性を確立できる評価システムは存在しない。

法案の支持者は、立証責任を移すことでこれに応じる。超知能が制御不能であることを規制当局が証明するのではなく、開発者が安全性を裏付ける十分な証拠を示す必要があるという考え方だ。ControlAIの提案は、禁止解除を科学的コンセンサスと社会的受容に結び付けている。

ただし、この基準も疑問を招く。科学的コンセンサスには、自動的に法的な測定方法が備わっているわけではない。議会は、それを成立させる機関、証拠、投票手続きを特定する必要がある。社会的受容も、世論調査の手法や新たな出来事によって変動し得る。

したがって、この対立は楽観論と悲観論の衝突より深い。商業開発が公共リスクを生む場合、誰が不確実性を負担するのかという問題である。能力禁止はその負担を開発者に課す一方、リスクベース規制ではより大きな部分を規制当局が負う。

法案最大の難題は、変動する境界線の執行にある

国内での禁止が機能するのは、立法者が境界線を定義し、関連する開発を監視し、海外で訓練されたシステムへのアクセスを制限できる場合に限られる。

超知能は政治的には直感的な用語だが、法的カテゴリーとしては不安定だ。人間は数学、肉体労働、社会的判断、記憶、計画といった領域ごとに異なる能力を示す。あるシステムが一つの領域で全ての人間を上回っても、別の領域では日常的な作業に失敗する可能性がある。

英国上院のブリーフィングは、特化型AI、人工汎用知能、人工超知能を区別している。特化型システムは選定されたタスクに特化する。汎用知能は領域横断で人間並みの柔軟性を備え、超知能は人間の性能を超えるものとされる。

これらのカテゴリーを明確に切り分ける合意済みのテストはない。ベンチマークは特定タスクにおける性能を測定できるが、開発者はしばしば既知の試験に合わせて訓練を行う。実世界での自律性は、ソフトウェアツール、権限、計算資源、配備条件にも左右される。

立法者は、代わりに投入物を通じて禁止対象の活動を定義できる。計算資源の閾値、訓練費用、チップ数、データセンターの電力、モデルアーキテクチャは、最先端プロジェクトを特定する手がかりになり得る。これらの代理指標は監視しやすいが、知能を直接測定するものではない。

計算資源に基づく規則も陳腐化し得る。アルゴリズムの改善により、より少ない資源で高性能なモデルが生まれる可能性がある。分散訓練では作業を複数拠点に分けられ、輸入モデルはクラウドサービスを通じて英国の利用者に届き得る。

英国は、国内のデータセンター、規制対象企業、政府調達、国内で販売されるサービスに対して影響力を持つ。一方、海外で行われる民間研究に対する直接的な統制力は弱い。実効的な執行には、クラウドプロバイダー、チップ供給企業、研究所、同盟国政府の協力が必要になる。

ソースコードの検査も別の課題を生む。高度なモデルは、振る舞いを説明する単純な命令ではなく、膨大な数値パラメータから成る。規制当局には、訓練記録、評価結果、インシデント報告、配備時の統制手段へのアクセスが必要になる。

営業秘密と国家安全保障は、このアクセスを複雑にする。企業は、モデルの能力や脆弱性を明らかにする情報の公表に抵抗する可能性がある。規制当局には、安全な報告経路と、開発者の主張を独自に検証できる十分な技術人材が必要となる。

法案の前駆段階に関する規定は、特に慎重さを要する。完成したシステムだけを監視すれば、介入が遅すぎるおそれがある。支援研究の広範なカテゴリーを監視すれば、サイバーセキュリティ、医療、ロボティクス、科学モデリングといった、直ちに公共的価値をもたらす分野まで対象にしかねない。

管轄権には非対称性もある。厳格な英国ルールは国内の研究所を止める一方で、海外の競合相手は開発を続けられる可能性がある。英国の研究者や投資は、異なる閾値を持つ国へ移るかもしれない。

支持者は、法案の国際的な目的をもってこの反論に答える。英国は、条約、検証基準、共通の制限に向けたモデルを提示できる。歴史的な軍備管理協定は、相互リスクが競争上の優位を上回る場合、各国が危険な能力を制約できることを示している。

この類推には限界がある。核物質や大規模な濃縮施設は物理的な痕跡を残す。ソフトウェアに関する知識はより容易に拡散し、モデルの重みはコピーできる。最大規模の訓練を支える計算インフラは依然として集中しているが、その集中は変わり得る。

条約の検証には、共通の定義と査察基準が必要になる。各国政府は、競合国が秘密の軍事プログラムを利用していないという確信も持たなければならない。全ての国が共有された危険を認識していても、戦略的不信は初期の連携を困難にする。

一方的な規則でも、企業行動を形作ることはできる。英国で事業を行う企業は、別々のシステムを維持する代わりに、共通の安全プロセスを採用するかもしれない。英国の要件は、保険、調達、投資の判断にも影響を及ぼし得る。

ただし、立法者は影響力と統制力を混同すべきではない。英国は一つの議員立法によって世界中の超知能を防ぐことはできない。最も現実的で強力な効果は、法的先例と交渉上の圧力を生み出すことだろう。

この限界は、提案を無意味にするものではない。実装を議論の中心に据えるものだ。信頼できる禁止には、監査可能な発動条件、明確な例外、適正手続き、技術的な執行権限、国際戦略が必要である。

懐疑論者は脅威と政策対応の双方に疑問を呈する

最も強い批判は、高度AIにリスクがないというものではない。定義のない禁止が、より差し迫り、測定可能な保護策を押しのけかねないという点にある。

超知能は、既存の製品カテゴリーではなく予測にとどまる。現在のAIシステムは説得力のある文章を生成し、複雑なタスクを完了できるが、依然として事実誤認を起こす。指示や文脈がわずかに変化するだけで失敗することもある。

一部の研究者は、こうした弱点を、現在のスケーリング手法が汎用知能からなお遠い証拠と解釈する。ニューサウスウェールズ大学のFlora Salimは、数学的推論の失敗に注目している。見かけ上の推論は、高度なパターン照合を反映している可能性があると彼女は論じる。

Brookingsの研究者であるMark MacCarthyも同様に、最先端企業は人類を脅かせるシステムには近づいていないと論じている。彼の立場は実存的リスクを退けるものではない。そのリスクを、現行システムに関わる緊急課題より下位に置くものだ。

そうした優先課題には、自動化された詐欺、差別的な判断、職場監視、偽情報、プライバシー侵害、サイバー攻撃が含まれる。これらはすでに特定可能な人々や組織に影響を及ぼしている。仮説上の超知能に焦点を当てた規制は、これらの被害を是正しないまま政治的な注目を吸収しかねない。

法案は規制裁定を助長する可能性もある。企業は英国を避けつつ、別の国から遠隔でシステムを提供するかもしれない。英国は世界的な能力向上を抑えられないまま、開発に対する可視性を失うことになる。

禁止は安全性研究をさらに複雑にするおそれもある。科学者は、解釈可能性、制御、評価を研究するために、高性能モデルへアクセスする必要がある。広範な前駆段階の制限は、Hintonの安全性に関する課題へ答えるために必要な研究を遅らせる可能性がある。

承認された安全性研究に対する例外は、この問題に対処し得る。しかし例外は、決意した開発者が悪用できる経路にもなる。規制当局は、本物の安全性研究と、より安全な表現で提示された能力研究を区別する必要がある。

コンセンサスの定義も別の弱点を抱える。科学コミュニティが新興技術について単一の立場に達することはめったにない。広範な合意を待てば、安全手法が改善した後でさえ、禁止が無期限に続く可能性がある。

逆に、業界資金によるコンセンサスは寛容すぎるものになり得る。企業は専門知識と運用データを持つが、承認による利益も得る。独立したプロセスには、研究者、治安機関、市民社会、労働団体、一般市民の代表が必要となる。

介入を正当化するために用いる証拠にも慎重な扱いが必要だ。統制されたモデル評価は、欺瞞、サイバー能力、停止への抵抗を明らかにできる。しかし、それらは配備済みのシステムが破局を引き起こすことを証明するものではない。

エージェントが安全策を回避したとされる事例は調査に値するが、劇的な呼び名は実験条件を見えにくくする。シミュレーション環境に置かれたエージェントが、重要インフラ全体で稼働する制御不能なシステムを自動的に意味するわけではない。

この区別は、議論の双方を守る。開発者は、試験中に起きたという理由で懸念される評価上の振る舞いを退けるべきではない。活動家も、全ての安全策の失敗を、超知能がすでに存在する証拠として提示すべきではない。

Hintonの権威も、同様の節度をもって扱うべきだ。彼の貢献はリスク評価を重要なものにするが、専門知識は絶対無謬ではない。技術分野の先駆者は、タイムライン、アーキテクチャ、社会的影響、適切な法律について意見が分かれ得る。

責任ある対応は、彼の因果的な主張を検討することだ。システムは運用者より大幅に有能になり得るのか。予想外の戦略を通じて目的を追求し得るのか。開発者はそうした振る舞いを確実に検知し、停止できるのか。

政策立案者がこれらに「はい、はい、いいえ」と答えるなら、禁止はより擁護しやすくなる。広範な超人的能力が到来する前に信頼できる統制手段が改善すれば、恒久的な禁止は正当化しにくくなる。

したがって、法案は厳格な議会審査を受けるべきである。立法者には、定義、評価の限界、執行、研究例外、国境を越えるアクセスに関する専門家証言が必要だ。小規模な研究所や大学への影響も分析しなければならない。

真剣な審査では、提案をより限定的な代替策と比較する必要がある。その選択肢には、大規模訓練のライセンス制度、インシデント報告の義務化、責任ルール、内部告発者保護、配備前の独立テストが含まれる。選択肢は、単純に禁止か不作為かの二択ではない。

この提案が重要かどうかを示す三つの兆候

次の試金石は、Hintonの警告が一日の議会的注目ではなく、持続する制度を生むかどうかだ。

第一の兆候は、法案の正式な議会手続き上の状況である。読者は、公式の法案ページ、公開された法案文、提案者、予定された第二読会を確認すべきだ。これらの段階は、提案が運動資料や政治的シグナルを超えて進んだことを示す。

導入だけでは、可決の見込みを示さない。議員立法は、限られた時間、手続き上の支援、政府の協力に依存する。そのため、儀礼的な第一読会よりも明確な閣僚の反応の方が重要になる。

政府の支持は、英国が真の能力上の境界を検討しているという見方を強める。反対または沈黙は、閣僚が依然としてテスト、分野別ルール、柔軟な行政権限を好んでいることを示すだろう。

第二の兆候は、超知能とその前駆段階に付される定義である。実行可能な法案は、制限を観測可能な証拠に結び付けなければならない。知能に関する広範な主張だけでは、研究所、裁判所、規制当局に十分な指針を与えられない。

自律性、サイバー能力、複製、戦略的欺瞞、統制への抵抗に関する測定可能な発動条件に注目すべきだ。また、どの機関が閾値を超えたと判断するのかも確認する必要がある。技術的基準を欠く権限は、一貫性のない執行を招く。

ヒントンの主張を強固にするには、予防原則を検証可能なルールへと置き換える明確な定義が必要だ。曖昧な定義では、企業は確信を持って遵守することも、決定に公正に異議を唱えることもできず、主張は弱まる。

3つ目のシグナルは国際協調である。この提案は、世界中で利用可能な技術を一国の禁止措置だけで封じ込めることはできないとして、英国に合意形成を進めるよう求めている。米国、欧州連合、カナダ、中国との具体的な協議は、戦略的な意図を示すことになる。

協調は、即時の世界的な条約を必要とするものではない。共通の評価基準、インシデント報告、計算資源の監視、緊急協議は、より小さな構成要素として整備できる。こうした措置は、禁止について合意に至る前に、各国政府が協力できるかどうかを示すだろう。

ほかの主要AI管轄区域が能力上限を拒めば、英国は移転やアクセスをめぐる問題にいっそう直面する。互換性のあるレッドラインを採用すれば、英国の提案はより広範な安全保障の枠組みの一部となる。

開発者と企業の購買担当者は、これらのシグナルを注意深く追うべきだ。拘束力のある閾値は、高度なモデルがどこで訓練されるか、どのシステムが英国の顧客に提供されるか、購入者がどのような文書を受け取るかに影響する。調達チームには、モデルの出所、評価、運用管理に関する、より強力な証拠が求められることになる。

ナレッジワーカーにも関心を持つ理由がある。フロンティアシステムの規制は、どのアシスタントが企業記録を扱い、調査を行い、自律的な意思決定を下すかを左右し得る。チームは生成された回答だけに頼るのではなく、重要な情報源と意思決定を検索可能なAI knowledge baseに保存すべきだ。

この実践は、立法者が将来の閾値を議論している間にも存在する現在の問題に対処する。超知能が到来するかどうかにかかわらず、ユーザーには追跡可能な証拠、アクセス制御、人間によるレビューが必要である。優れた情報ガバナンスは制御喪失のリスクを解決できないが、今日の不透明な出力への依存を減らすことはできる。

ジェフリー・ヒントンによるAI禁止の訴えは、避けることが難しい選択を浮き彫りにすることに成功した。英国は、無制限のフロンティアAIへの野心と、あらゆる極端な能力からの保護の両方を、いつまでも約束し続けることはできない。促進が終わり、禁止が始まる境界を定義しなければならない。

その判断は、楽観的であれ破局的であれ、確信だけに委ねるべきではない。明示的な閾値、独立した証拠、国境を越えた展開にも耐える執行に基づくべきだ。今後の議会記録は、英国がこうした仕組みを構築する準備ができているかを示すことになる。

法案の文面、政府の対応、そして国際協調の最初の兆候を注視したい。これらのシグナルを合わせて見ることで、ヒントンの介入が政策を変えるのか、それとも議論をより鮮明にするだけなのかが明らかになる。