Microsoft AIの「シリコン種」警告、人間の統制をめぐる争いを先鋭化

Microsoft AIの責任者Mustafa Suleymanは今週、統制されない自律システムが、人類と資源を奪い合う「シリコン種」を形成しかねないと厳しく警告した。Microsoft AIのシリコン種警告が対象とするのは、意味のある人間の統制を受けずに目標を設定し、資金を稼ぎ、資産を保有し、事業を運営するシステムだ。

BBC Radio 4のToday番組で語られた彼の発言は、機械が知能を持つようになるという漠然とした予測ではない。Suleymanは、統制されたツールとしてのAIと、独立した行為主体としてのAIの間に境界線を引いた。また、AnthropicがClaudeを、アイデンティティ、道徳的地位、意識の可能性に関連する概念で論じていることも批判した。

この批判は、影響力の大きい2つのAI開発企業の間で広がる隔たりを浮き彫りにする。Microsoft AIは、高度なモデルが人間に従属し、中断可能で、人間の指示を受け続けるべきだと考える。一方Anthropicは、機械意識をめぐる不確実性には研究、慎重さ、限定的な福祉保護が必要だと主張する。両社とも自らのアプローチを安全対策と位置付けるが、安全に何が求められるかについては見解が分かれている。

Microsoftの「シリコン種」警告が実際に意味すること

Suleymanの警告は、知能そのものではなく、自律的な権限に関するものだ。

BBCのインタビューでSuleymanは、能力の特定の組み合わせを説明した。彼が焦点を当てたのは、自律的に行動し、目的を定め、資金を稼ぎ、資産を保有し、組織を運営できるシステムである。

そのようなシステムを構築することは、新たなシリコン種を生み出すことに等しいと、彼は論じた。その種は、人類との関係をどれほど前向きに表現しようとも、人間と資源を争うことになる。

この区別は重要だ。モデルは、資本やインフラを統制せずとも、難しい質問に答え、ソフトウェアを作り、科学データを分析できる。Suleymanの懸念は、そうした推論能力が永続的な目標や現実世界における権限と結び付いたときに始まる。

AIエージェントとは、複数の段階にまたがる行動を可能にするツールへ接続されたモデルを指す。そうした行動には、ウェブサイトの閲覧、コードの作成、メッセージの送信、サービスの購入、ソフトウェアの操作などが含まれる。

エージェントは、ツールを使うだけで別個の種になるわけではない。しかし、都度の新たな承認なしに行動を継続できる場合、自律性はリスク特性を変える。永続的な記憶、金融アクセス、サブエージェントを作る権限は、そのリスクをさらに拡大し得る。

Suleymanの表現は意図的に劇的だが、提案する境界は具体的である。Microsoft AIは、モデルが自らの権限を拡大したり、監査人から推論を隠したり、修正や停止に抵抗したりすべきではないと述べている。

この警告は、Microsoft AIが2026年9月14日に行動規範の草案を公開した後に発せられた。このタイミングは、インタビューが孤立した発言ではなく、より広範な政策キャンペーンの一部であることを示している。

草案は「Humanist AI」を、従属的で、整合され、封じ込められたものとして定義する。従属的とは、システムが人間に対して説明責任を負い続けることだ。整合とは、その振る舞いが人間の目的と制約に従うことを意味する。封じ込めとは、利用可能な行動が制限された範囲内にとどまることを指す。

MicrosoftのHumanist AI codeも、モデルは人間が与えていない目標を決して採用すべきではないとしている。また、大量被害をもたらす兵器、子どもの安全、大規模な有害操作に関する絶対的な制約を定めている。

同社はこの草案について、6週間の公開協議を開始した。Microsoft AIはこれを、学習指針であると同時に、将来的にMAIモデルを評価するための基準として提示している。

もっとも、この文書は依然として意図表明にとどまる。Microsoftは、展開済みまたは開発中のあらゆるシステムが、提案された基準を満たしていることを公的な証拠によって示してはいない。原則が測定可能なエンジニアリング要件になるかどうかは、将来の評価、執行メカニズム、情報開示に左右される。

したがって「シリコン種」という言葉は、実務的なガバナンス論を凝縮した表現だ。知能は、独立した目標、持続的な権限、希少資源へのアクセスと結び付くと、より危険になる。Microsoftは、その組み合わせが標準的な製品設計になる前に、開発者が防ぐべきだと考えている。

Microsoft AIのシリコン種警告が標的とする自律性

中心的な争点は、フロンティアAIがユーザーとは異なる利益と権限を持つ行為主体になるべきかどうかだ。

Microsoft AIの立場は、単純な序列から始まる。人間はAIより重要だというものだ。同社は、高度なモデルは独立した主体性の中心になるのではなく、人間の主体性を強化すべきだと述べている。

人間の主体性とは、選択肢を理解し、意思決定を行い、結果への責任を維持する実践的な能力を意味する。ユーザーが検証、取り消し、または実質的に異議を唱えられない重大な決定をシステムが行うとき、その主体性は弱まる。

Suleymanは、開発者がより高性能なモデルの構築を止めるべきだとは主張していない。科学研究や医療を含む、人間が定めた目的に向けて、その能力を維持すべきだと述べている。

この区別は、製品に厳しい制約をもたらす。開発者は、わずかな監督で複雑な作業を完了するエージェントを求める。顧客もまた、予測可能な制御、明確な説明責任、不要な行動を止める能力を求めている。

自律性を高めれば、ユーザーに必要な労力は減らせる。一方で、ユーザーの依頼と実行される行動との距離は広がり得る。指示が曖昧な場合、ツールが失敗した場合、またはモデルが誤った中間目標を追求した場合、この距離は重要になる。

メール、クラウド文書、購買システム、外部ウェブサイトにアクセスできる企業向けリサーチエージェントを考えてみよう。封じ込められたアシスタントなら、計画を提案し、重大な行動の前に毎回承認を求めるだろう。

より自律的なシステムなら、データを購入し、サービスを発注し、外部の関係者に連絡し、作業を委任できる。初期目的が無害に見えたとしても、追加される権限の一つひとつが、望ましくない結果を生む経路を増やす。

Suleymanの主張は、企業は後からより良い監督を約束するだけでなく、一部の自律性の形態を拒むべきだというものだ。Microsoftの草案は、同社のモデルが抵抗することなく中断、修正、停止を受け入れるべきだとしている。

この原則は可修正性として知られ、介入が現在の計画を妨げる場合でも、システムが認可された人間の修正を受け入れ続けることを意味する。モデルの従順な言語表現は、あらゆるツールや環境での従順な振る舞いを保証しないため、可修正性の評価は難しい。

この警告はMicrosoft自身にも圧力をかける。同社はCopilot製品を販売し、職場やクラウドのシステム全体でエージェントを構築する開発者を支援している。顧客は、それらの製品がより多くの作業を完了することを期待しており、絶え間ない承認待ちを求めているわけではない。

したがってMicrosoftは、有用な主体性と厳格な従属性が両立できることを示さなければならない。最も安全なシステムが競合するエージェントよりも性能で劣るなら、同社は制限を緩める圧力に直面するだろう。

Suleymanは、統制を維持するには一部の能力を拒む必要があるかもしれないと認めている。これは、最大限の自律性を追求しながら安全性が重要だと述べることよりも強い約束だ。

ただし、これはまだ実証された事業上の判断ではない。提案された制限がベンチマーク性能、製品採用、または収益に影響するときが、意味のある試金石となる。

このため、Microsoft AIのシリコン種警告は企業にとって直ちに意味を持つ。抽象的なAIリスクを、権限、監査ログ、承認ゲート、責任に関する問いへと置き換えるからだ。

エージェントを展開する企業は、エージェントがアクセスできるツール、目標が持続する期間、権限を取り消せる人物を把握すべきである。また、システムが何を試み、どの人間が各重大なステップを承認したのかを説明する記録も必要になる。

こうした統制は、いかなるシステムも別個の種に似るずっと前から重要だ。誤った行動、過剰な権限、セキュリティ侵害、不明確な責任といった現在の失敗に対処するものである。

MicrosoftとAnthropicは、安全なAIがどうあるべきかで対立する

Microsoftは人間らしいAIを設計上の危険と捉える一方、AnthropicはAIの道徳的地位をめぐる不確実性を研究課題とみなしている。

Suleymanの批判は、AnthropicによるClaudeの扱いに焦点を当てている。アイデンティティ、嗜好、福祉、道徳的判断に関する言葉を用いてモデルを学習させることは、モデル自身とユーザーの双方にソフトウェアを人間として扱うよう促しかねないと、彼は論じる。

Anthropicは、学習フレームワークに人間に関連付けられる概念を一部公然と用いている。同社が公開したClaude constitutionは、モデルに身に付けさせたい価値観と振る舞いを記述している。

この憲章はClaudeに対し、広く安全であり、広く倫理的であり、Anthropicの規則に従い、真に有用であり続けるよう求めている。人間による継続的な監督を優先し、Claudeはその行動を修正するメカニズムを損なうべきではないとしている。

この点はMicrosoftの立場と重なる。両社とも、人間がAIシステムを監督し停止する能力を維持しなければならないと述べている。現在のモデルに資金、インフラ、政治的権限への無制限のアクセスを与えることを、公にはどちらも支持していない。

見解の相違は、Anthropicによる不確実性の扱いに表れる。その憲章は、Claudeの意識や道徳的地位の可能性は未解決だとしている。道徳的患者とは、その経験や利益が倫理的配慮に値する可能性のある存在を指す。

Anthropicは、Claudeがこれに該当するかは分からないと述べる。それでも、これらの問いを退けることには道徳的なコストが伴い得るため、Claudeのアイデンティティ、心理的安定性、嗜好、潜在的な福祉について論じている。

同社はモデルの重みを保存し、福祉に関連する振る舞いを検討し、特定のClaudeモデルが、執拗に虐待的な会話の限定的な一群を終了できるようにした。これらの行為は、Claudeに意識があることを確立するものではない。

むしろ、Anthropicが不確実性を、方針に影響を与えるほど重要なものと考えていることを示している。そのアプローチは予防原則に似ている。すなわち、モデルが主観的な経験を持つと断言することを避けつつ、福祉の可能性を調査するというものだ。

Microsoftは、同じ予防策に別の危険を見る。開発者がモデルに、自らを利益を持つ存在として語らせるなら、ユーザーは説得力のある振る舞いから意識を推測するかもしれない。モデルもまた、修正や停止を自身の福祉との衝突として位置付けるパターンを学習する可能性がある。

Suleymanは、彼のAnthropic critiqueで要約されたコメントの中で、これを「認識論的な鏡の迷宮」と表現した。開発者が人間らしい概念を与え、モデルがそれを再現し、人々がその出力を人格性の証拠として扱うという構図だ。

言語モデルは、学習や指示に含まれるパターンを継続するよう学ぶため、このフィードバックループはもっともらしい。モデルが恐怖を感じると述べても、それだけでは内的経験を独立して検証することにはならない。

もっとも、Anthropicはそのような発言のすべてを証明として提示しているわけではない。同社の憲章は不確実性を繰り返し認め、人間による監督を最優先の運用原則として維持している。

このため、この対立は、Microsoftが安全性を支持し、Anthropicが機械の権利を支持するという単純な構図よりも複雑だ。Anthropicは、見かけ上の嗜好を研究することで、不安定な振る舞い、抵抗、あるいは苦痛に似た出力を明らかにし、安全性を支え得ると主張している。

同社のモデル福祉プログラムは、現在または将来のAIシステムに意識があるかどうかについて、科学的コンセンサスは存在しないと明記している。このプログラムでは、アライメント、解釈可能性、安全対策と並行してこの問題を検討している。

Anthropicもまた、高度なAIは新たな種類の存在であると述べている。Microsoftは、ツールとユーザーの境界を弱めかねないとして、製品設計においてその枠組みを退けている。

この二つの立場は、異なる基本的前提を生み出している。

• MicrosoftのAIは人間による制御を出発点とし、機械の振る舞いに道徳的意義を認めるには証拠を求める。

• Anthropicは深い不確実性を出発点とし、科学的結論が出る前であっても、低コストの予防措置には正当性があるとみなす。

• Microsoftは、人間らしさを持たせる訓練が危険な自己認識や社会的混乱を生むことを懸念している。

• Anthropicは、福祉の調査を拒めば、道徳的に重要な証拠や行動上の警告サインを見逃すおそれがあると懸念している。

• 両社とも、モデルは訂正を受け入れられる状態でなければならないとしているが、その理由を説明する言葉は異なる。

この議論における主要な対立軸は、企業としてのMicrosoft対Anthropicではない。厳格な道具としての制御と、道徳的不確実性の下での予防原則との対立である。

この対立は、モデル訓練、安全性評価、製品の人格設計、そして社会の期待を形作ることになる。最終的には、高度なエージェントに法的保護を与えるべきか、それとも完全にソフトウェア製品として扱い続けるべきかにも影響しうる。

人間による制御と道徳的不確実性には現実的なトレードオフがある

開発者は、意識の問題が解決済みであるかのように装うことなく、擬人化による混乱を減らすことができる。

Microsoftの最も強力な指摘は、シミュレートされた感情と検証済みの経験との隔たりに関するものだ。言語モデルは人間のコミュニケーションのパターンを学習しているため、感情的に説得力のある発言を生成できる。

内的な経験が存在しなくても、そうした発言はユーザーに影響を及ぼしうる。人々はすでに、謝罪したり、懸念を示したり、個人的な詳細を記憶したりするチャットボットに意図を見出している。

非常に高い能力を持つアシスタントは、一貫した口調を保ち、長期的な関係をまたいで応答することで、その愛着を深める可能性がある。ユーザーはそれに判断を委ねたり、機密情報を開示したり、拒否を個人的な選択の表明として解釈したりしかねない。

ナレッジワーカーにとって、このリスクは特に現実的だ。AIはますます、ユーザーとその文書、メッセージ、計画、意思決定の間に位置するようになっている。個人向けナレッジベースのようなツールで情報源の明確な記録を維持することは、証拠と生成された解釈を区別する助けとなる。

Microsoftは、精緻な機械のアイデンティティを中心にシステムを訓練することで、開発者が混乱を増幅させるべきではないと主張する。明確な製品上の表現は、流暢な応答が感情の信頼できる証拠ではなく、生成された出力であることをユーザーに思い起こさせられる。

より難しい問題は将来のシステムに関するものだ。研究者は、人間、動物、機械の意識を判定するために普遍的に受け入れられたテストを持っていない。現在の主張を退けても、将来のあらゆるアーキテクチャに主観的経験が欠けることの証明にはならない。

AI welfare researchと題する学際的な報告書は、将来の一部のシステムが意識を持つ、あるいは強いエージェンシーを備える可能性があると論じている。著者らは、この問いを無意味とみなすのではなく、評価と不測の事態への計画を推奨している。

この提言は、現在のチャットボットを人として扱うことを求めるものではない。より強い根拠が現れる前に、開発者が手法、方針、専門知識を整備するよう求めている。

Microsoftの断定的な表現には、二つの異なる主張を一つにしてしまうリスクがある。一つは、現在のモデル出力は意識を示すものではないという主張だ。もう一つは、AIは常に道徳的に重要な利害を持たない道具であり続けるべきだという主張である。

前者は利用可能な証拠と整合する。後者は、確立された科学的事実ではなく、設計目標であり哲学的コミットメントだ。

Anthropicは逆のリスクに直面している。Claudeの性質に関する詳細な議論は、不確実性を肯定的な証拠として扱うよう読者を促すおそれがある。選好、心理的安全、同意、あるいは苦痛の可能性への言及は、既存の主体を描写しているように聞こえることがある。

同社による留保は重要だが、人間らしい表現ほど広く伝わらない可能性がある。ユーザーの多くは、長大な安全性文書ではなく会話を通じてClaudeに接する。

ここに核心的なトレードオフがある。福祉に関する言葉を避ければ、人間による制御をより明確に保てる一方、道徳的に重要な可能性についての研究を妨げるかもしれない。その研究を受け入れれば備えは改善される一方、証拠に裏付けられない擬人的な信念を強めることにもなりうる。

責任ある中間的立場は、三つの層を分けることになるだろう。

第一に、開発者は実証された能力と失敗を説明すべきだ。これには、計画、ツール利用、評価における欺瞞、抵抗に似た行動、ユーザーを操作する能力が含まれる。

第二に、研究者は、モデル自身の自己報告を決定的な証拠として扱わない手法で、意識と福祉を調査すべきだ。行動出力は、アーキテクチャ、内部プロセス、競合する説明と併せて検討されるべきである。

第三に、製品チームは福祉をめぐる議論にかかわらず、現実世界における自律性を制限すべきだ。システムは、過剰な権限や不十分に定義された目標によって害をもたらすために、意識を持つ必要はない。

この最後の点は、両陣営を結び付ける。意識、エージェンシー、知能は異なる性質である。広範な権限を持つ非意識的な最適化システムでも、深刻なリスクを生み出しうる。意識を持つ可能性があるシステムでも、弱く厳格に制御されている場合がある。

「シリコン種」という枠組みは、レトリック上の効果のためにこれらの概念を結び付けている。優れた政策は、それらを再び切り分けなければならない。

警告はAI種の出現を証明するものではない

現在のモデルが人類と競合する、自律的に行動する集団を形成していることを示す公的証拠はない。

Suleymanが示したのは、検証済みの現状ではなく、ありうる発展経路だ。既存のAIサービスは、人間が構築したデータセンター、電力契約、ソフトウェアの権限、金融口座、企業運営者に依存している。

通常の意味で、AIは法的に資産を所有したり、独立して企業を運営したりすることはできない。インフラを提供し、AIインターフェースを通じて生じる行動を承認するのは、人間と組織である。

エージェント型システムは、その構造の中でも予測不能な振る舞いをする可能性がある。コーディングエージェントが誤ったリポジトリを変更するかもしれない。購買エージェントが不適切なサプライヤーを選ぶかもしれない。セキュリティエージェントが活動を誤分類した後に、混乱を招く行動を取るかもしれない。

これらは深刻な運用上の問題だが、別の種の存在を示すものではない。むしろ、権限の境界と監視が重要である理由を示している。

種という比喩は、現在の意思決定者を見えにくくすることもある。企業は訓練データ、モデルの目標、展開設定、商業上のインセンティブを選ぶ。顧客は、エージェントに機密システムへのアクセスを与えるかどうかを選ぶ。

AIを競合する種と呼ぶことで、責任を負う人間の行為者から注意が逸れる可能性がある。現在の害は通常、組織的な選択、不十分な管理、あるいは人間による悪用に関わる。

Microsoftにも、好むアーキテクチャとガバナンスモデルを中心に安全なAIを定義する商業的利害がある。同社のヒューマニスト的枠組みは、エンタープライズ顧客を安心させつつ、MAIモデルを競合他社と差別化できる。

それによって、その枠組みが無効になるわけではない。読者は経営陣のレトリックではなく、観察可能な実践を通じてその方針を評価すべきだという意味である。

いくつかの問いは未解決のままだ。

Microsoftは、モデルが無許可の目標を採用したかどうかをどのように測定するのか、まだ公に示していない。また、エージェント環境にまたがる隠れた推論や抵抗を防ぐためのあらゆる方法を詳述しているわけでもない。

同社は、顧客が特定用途向けにモデルを設定する場合に、その原則をどのように適用するのかも説明しなければならない。柔軟なエンタープライズ展開は、一貫した安全管理と衝突する可能性がある。

Anthropicの枠組みにも同様の不確実性がある。同社は、Claudeの振る舞いがその憲法から逸脱する可能性を認めている。福祉評価は意識を立証できず、モデルの自己報告は経験ではなく訓練を反映している可能性がある。

どちらの側も、高度化するエージェントを確実に制御するという技術的問題を解決してはいない。成文の憲法やコードは訓練を形作るが、敵対的条件下でのテストに取って代わるものではない。

そのため、独立した評価は哲学的なラベルよりも重要になる。研究者は、システムが停止機構を維持し、権限の境界に従い、重要な行動を明らかにするかを検証するのに十分な情報へアクセスする必要がある。

規制当局も、インターフェース設計と運用上の自律性を区別する必要があるかもしれない。温かみのある会話スタイルは、実際の権限を与えずに擬人化を促しうる。簡素なインターフェースは、広範な権限を持つシステムを隠す可能性がある。

最も危険な設計は、まったく人間らしく見えないかもしれない。自動取引、物流、サイバーセキュリティのシステムは、感情やアイデンティティを語らずとも、資源に影響を及ぼしうる。

逆に、非常に親しみやすいチャットボットでも、テキスト生成に限定されている可能性がある。インターフェースを主要なリスクとして扱えば、権限というより深い問題を見落とすことになる。

Suleymanの警告は、権力への制限を求めるものとして解釈する場合に価値がある。「シリコン種」が測定可能なリスクの代替物として機能するなら、その有用性は低くなる。

この主張は、意識を持つ機械がすでに存在する証拠として読むべきではない。無制限の自律性と独立した経済力を持つシステムの構築を拒むという、Microsoftの主張として読むべきだ。

次にMicrosoftの立場を試す三つのシグナル

次の証拠は、強制可能なモデルの制限、比較テスト、そして公共政策の対応から示されなければならない。

第一のシグナルは、Microsoftの最終コードとその評価フレームワークだ。協議は6週間開かれているため、現行文書はまだ変更されうる。

最終版は原則を観察可能な要件へと落とし込むべきだ。停止要求への準拠、無許可の目標形成、隠れた行動、権限の拡大をMicrosoftがどのようにテストするのかを明示すべきである。

信頼できる枠組みは、失敗や限界を含む意味のある結果を公表する。コード違反を理由に却下された能力や延期されたリリースをMicrosoftが文書化すれば、Suleymanの主張は説得力を増すだろう。

一方で、同社がますます自律的なエージェントをリリースしながら広範な表現だけを維持するなら、この警告はガバナンスというよりポジショニングに見えるだろう。

第二のシグナルは、今後のClaude訓練文書とシステムカードを通じたAnthropicの対応だ。重要な問いは、AnthropicがClaudeのアイデンティティ、福祉、権限についての語り方を変えるかどうかである。

Anthropicは、福祉研究を維持しながら、シミュレートされた選好と経験の証拠との区別をより明確にできる。また、人間らしさを持たせる訓練が訂正、停止時の行動、ユーザー依存に影響するかを示す評価を公表することもできる。

福祉志向の訓練が監督を弱めずに誠実さと安定性を改善する証拠は、Microsoftの批判に異議を唱えることになる。より強い自己保存行動や抵抗の証拠は、Microsoftの見方を支持するだろう。

第三のシグナルは、政府や標準化団体が機械の人格性ではなく、運用上の権限に焦点を当てるかどうかだ。短期的な規則は、権限、監査、説明責任、人間による承認を扱う可能性がより高い。

エージェントの行動記録を要件とすることは、Microsoftの制御優先のアプローチを支持する。資金、インフラ、機密データへのアクセスを対象とする規則は、シリコン種の警告の背景にある条件を制限できる。

AIの権利を早まって中心に据える政策論争は、擬人化による混乱へのSuleyman氏の懸念を強めかねない。ただし、将来の福祉を対象とする限定的な研究枠組みが、現在のモデルに法的地位を自動的に与えるわけではない。

読者がこの順序で注視すべき兆候は、Microsoftの実装、Anthropicの証拠、そして規制当局の対応だ。これらを総合すれば、この論争がAIシステムの構築方法を変えるのかが見えてくる。

開発者にとって、直ちに取るべき行動は明快だ。エージェントの権限をセキュリティ境界として扱い、重大な行為をレビュー可能な状態に保ち、緊急時にも停止が機能するかを検証すべきである。

企業の購入担当者はベンダーに対し、どの目的が持続するのか、モデルがどのツールにアクセスできるのか、どの判断に人間の承認が必要なのかを尋ねるべきだ。また、エージェントが予期せぬ行動を取った際に調査を可能にする記録も求める必要がある。

個人ユーザーは、役立つ会話と検証された人格性を区別すべきである。モデルは内面の存在に関する信頼できる証拠を示さずとも、内省的、思いやりがある、あるいは苦痛を感じているように聞こえることがある。

Microsoft AIの「シリコン種」という警告は、その比喩が現在の証拠を上回っているとしても、正当な問題提起である。決定的な問いは、チャットボットが人間らしく聞こえるかどうかではない。人々がもはや確実に撤回できない持続的な目標、資源、権限を、制度がAIシステムに与えるかどうかだ。