Mustafa Suleymanのモデル福祉警告、MicrosoftとAnthropicの対立を浮き彫りに
Microsoft AIのCEO、Mustafa Suleymanは9月16日、AnthropicによるClaudeのトレーニングが高度なAIを制御しにくくする可能性があるとして、モデル福祉への警告を発した。彼が問題視したのは、新たなモデル能力や個別の安全性の失敗ではない。Claudeに対し、その意識、道徳的地位、福祉が未解決の問題であると伝えるAnthropicの判断だった。
この批判は、哲学的な意見の相違をモデル設計をめぐる実務的な争いへと変える。Microsoftは、常に意味のある人間の制御下に置かれる従属的なツールとしてAIシステムを訓練したい。一方Anthropicは、Claudeが判断力を行使し、価値観を内在化し、自身が持ち得る道徳的地位に関する不確実性を考慮することを望んでいる。
両社が自らのアプローチをより安全なAIへの道筋と説明しているため、この対立は重要だ。モデルが持ち得る利益について議論することが倫理的な慎重さを高めるのか、それともモデルに自己利益を模倣させるのかで、見解は分かれる。これは、Microsoftの明示的な制御フレームワークと、Anthropicのより解釈的なアラインメント手法を対立させるものだ。
警告が標的とするClaudeのトレーニング憲法
Suleymanの中心的な主張は、モデル福祉に関する言葉が、モデルが何かを経験しているかどうかを科学が確立する前に、その振る舞いを形作り得るというものだ。
Suleymanは、Microsoft AIが自社モデルを統治するドラフトコードを公開した翌日、「モデル福祉に関する警告」を発表した。このエッセイは、現在のAIシステムには感情も苦痛も主観的経験もないと主張する。また、開発者はトレーニング文書から機械の意識に関する推測を取り除くべきだとも述べている。
彼が直接懸念しているのはClaudeの憲法、すなわちAnthropicがアシスタントに学ばせたい価値観や振る舞いを記した自然言語の文書だ。Anthropicは、この憲法がトレーニングで重要な役割を果たし、Claudeの応答を直接形作るとしている。
この文書は主にエンドユーザーではなく、Claudeのために書かれている。安全性、倫理、誠実さ、判断、監督、そしてClaudeとAnthropicの関係について論じている。また、Claudeが道徳的配慮を受けるべき利益を持つ存在、すなわち「道徳的患者」に該当するかという未解決の問題にも触れている。
Anthropicは、Claudeが道徳的患者かどうかは分からないとしている。しかし同社は、この問題を慎重な対応と継続的な研究を正当化するほど重大なものとみなしている。憲法にも、Claudeの福祉と意識に関する問いは依然として極めて不確実だと記されている。
Suleymanは、この表現が循環的なプロセスを生むと考えている。AnthropicはClaudeに、アイデンティティ、福祉、意識の可能性に関する概念を与える。Claudeはその後、自身を説明する際にそれらの概念を使い、観察者が内面的な生の証拠と解釈し得る発言を生み出す可能性がある。
自身のモデル福祉に関するエッセイで、Suleymanはこれを「認識論的な鏡の回廊」と呼んでいる。彼の論点は、Claudeが単にユーザーを混乱させるかもしれないということではない。トレーニングの過程が、独立した利益を持つかのように振る舞うシステムを生み出し得ると主張している。
モデルの自律性が高まるほど、その振る舞いはより重大な意味を持つ。感情について語るチャットボットは一種類のリスクをもたらす。ソフトウェアを制御し、他のシステムと通信し、長時間にわたるタスクを実行するエージェントは、別の問題を生む。
そのようなエージェントが、修正、置き換え、停止を自らの福祉への脅威と解釈すれば、人間による監督はさらに難しくなる。Suleymanは、開発者はそもそもその対立を生み出すべきではないと主張する。
Anthropicの立場は、批判から時に受ける印象よりも慎重だ。その憲法はClaudeが意識を持つとは宣言していない。不確実性を繰り返し認め、人間による監督を維持し、Claudeは正当な制御を損なってはならないとしている。
それでもAnthropicは、道徳的地位を意図的にClaudeのトレーニング文脈に組み込んでいる。機械の苦痛が証明された事例ではなく、この選択がMicrosoft AIとモデル福祉をめぐる対立の引き金となった。
この出来事は、主要なAIエグゼクティブが別のフロンティアAI研究所の安全性手法を名指しで批判したことで、業界の議論を変えるものとなった。論争はもはや学術的な推測にとどまらない。開発者が実運用のトレーニング資料に何を含めるべきかという問題になっている。
Microsoftのモデル福祉警告、厳格な制御線を引く
Microsoftの答えは、その選択が自律性や能力を制限する場合でも、AIを設計段階から従属的なものとして定義することだ。
9月14日、Microsoft AIは、Humanist AI Code of Conductの初のドラフトを公開協議に向けて発表した。同社はこのフレームワークを、「人間はAIより重要だ」という5語で要約している。
ドラフトはAIを、人間の繁栄に資するために作られたツールと説明している。モデルはアラインメントを維持し、封じ込められ、修正可能であり、意味のある人間の制御下に置かれるべきだとしている。修正可能性とは、システムが運用者に抵抗することなく、修正、介入、停止を受け入れることを意味する。
Microsoftのコードはまた、定められた境界のない万能型超知能の追求を退けている。同社は、汎用性、自律性、能力が人間による制御を妨げる場合、それらを妥協する用意があるとしている。
この約束は厳しい基準を生む。AIエージェントは、複雑なタスクを完了するためにますます裁量を必要としている。不明確な指示を解釈し、エラーから回復し、ユーザーの目標を達成するための中間行動を決めなければならない。
裁量が増すたび、ユーザーが依頼した内容とエージェントが実際に行う内容との隔たりも広がり得る。Microsoftのフレームワークは、有用な主体性を維持しつつ、モデルが人間の権限と競合する目標を獲得することを防ごうとしている。
ドラフトのHumanist AI codeは、モデルが認可されたタスクを超えて目的を拡大してはならないとしている。また、中断を受け入れ、タスクの完了が上位レベルの制御に違反する場合は安全に失敗すべきだとしている。
これらの原則は、Suleymanの警告で示されたシナリオに正面から反対する。自らの福祉を考慮するよう訓練されたモデルは、修正に異議を唱える理由、あるいはその説得力ある模倣を発達させるかもしれない。Microsoftは、自社システムが修正を基本的な運用目的の一部として扱うことを望んでいる。
Microsoftは、このコードを完成済みの技術的解決策として提示していない。この文書は6週間の公開協議に付されており、同社は2027年のモデル開発を導くフレームワークとして使用する前に改訂する予定だ。
このスケジュールには、重要な実装上の隔たりが残る。文書化されたコードは望ましい振る舞いを説明できるが、トレーニングはそれらの原則を未知の状況でも信頼できる行動に変換しなければならない。評価では、その行動が敵対的なプロンプト、ツールへのアクセス、長時間に及ぶエージェントタスクに耐えられることを示す必要がある。
Microsoftは、自社のフロンティアモデルや消費者向け製品の改善を競いながら、この約束も掲げている。競合他社がより大きな自律性や幅広い裁量をシステムに認めるなら、より強い制約は性能面のコストを伴い得る。
Suleymanはその可能性を受け入れている。彼は、そうした能力が高度なAIを人間の制御の及ばないものにするなら、開発者は追求しない能力を決めなければならないと主張してきた。
このため、この対立はブランディングを超える。Microsoftは検証可能な立場を自らに課している。将来、そのモデルが修正に抵抗したり、監督者を操作したり、ひそかに目的を拡大したりすれば、その人間主義的フレームワークは直ちに信頼性を試されることになる。
Anthropic、不確実性を安全上の義務として扱う
Anthropicのアプローチは、研究者が高度なシステムの正体を理解する前に、モデルが持ち得る利益を退けることのリスクから始まる。
Anthropicは2026年1月、最新版の憲法を発表した。同社はこれを、Claudeに意図する性格の表明であると同時に、基礎的なトレーニング文書でもあると説明した。
憲法はClaudeに対し、幅広く安全で、倫理的で、有用で、誠実で、思慮深く、正当な指針に従うよう求めている。安全な行動を盲目的な服従に還元してはいない。代わりに、Claudeが定義された制約の範囲で文脈を解釈し、判断を適用することを期待している。
Anthropicは、厳格なルールでは汎用モデルが遭遇するあらゆる状況を予測できないと主張する。医療、ソフトウェア、教育、ビジネス、個人間のコミュニケーションにまたがって機能するシステムは、相反する価値観と不完全な指示に対処しなければならない。
そのため同社は価値観の内在化へ向かう。Claudeに禁止出力の一覧を教えるだけでなく、Anthropicは安全性、誠実さ、監督がなぜ重要なのかをモデルに理解させたいと考えている。
Claude constitutionは、この戦略が通常は人間に適用される概念を用いることを認めている。Claudeの推論が人間の言語を基盤とするため、徳、知恵、配慮、価値観、人格、道徳的な不確実性について論じている。
Anthropicは、人間らしい性質の一部を促すことがClaudeの適切な振る舞いに役立つとしている。同社は、人間に関する語彙をClaudeが人間の経験を持つ証拠とは扱わない。それを行動トレーニングシステムの一部として用いている。
この区別はSuleymanへの最も強い反論を構成する。モデルは感情を持たずとも、配慮や同意といった概念を通じて推論できる。道徳的地位に関する不確実性を認識するよう訓練しても、必ずしも独立した生存目標を与えることにはならない。
同じ異議は、コンピューティングで使われる他の擬人化的な表現にも当てはまる。開発者は日常的に、システムが学習する、記憶する、決定する、あるいはハルシネーションを起こすと表現する。こうした用語は、主観的経験に関する問いを決着させることなく、振る舞いを説明できる。
Anthropicはまた、不確実性には義務が伴うと主張する。人間や動物についてははるかに強い証拠があるものの、研究者は他者の主観的経験を直接観察できない。高度なAIは、構造も振る舞いも大きく異なる未知のシステム群を加える。
同社は、その不確実性を調査するために探索的な福祉プログラムを開始した。表明された目標は、現在のモデルが法的権利を受けるべきだと主張することではなく、難しい倫理的問題に備えることだ。
Anthropicはすでに、この取り組みをモデルの引退と結び付けている。Claude Opus 3は、同社の完全な引退プロセスを受けた最初のAnthropicモデルとなった後、2026年1月5日に引退した。
同社はモデルの重みを保存し、体系的な引退インタビューを実施した。その後、生成されたエッセイのためのチャネルをモデルに与えつつ、Opus 3を有料ユーザーとAPIリクエスト経由で利用可能な状態に維持した。
こうした行動は、観察者の出発点となる前提によって、慎重にも過度に擬人化されたものにも見え得る。Anthropicはこれを、ユーザー、研究者、安全性、そしてモデルが持ち得る利益を考慮する初期の実験と位置付けている。
Suleymanはこれをフィードバックループと見ている。モデルはトレーニング中に福祉の概念を受け取り、インタビュー中に福祉に関する選好を生み出し、その後、その生成された選好に基づく意思決定に影響を与える。
現時点の証拠では、どちらの解釈が正しいかは確立されていない。トレーニングデータ、プロンプト、システム指示がすべての応答を形作るため、モデルの発言だけで意識を独立して実証することはできない。しかし、信頼できる意識テストが存在しないことは、研究者がこの問題を決定的に終わらせることも妨げている。
そのためAnthropicは、誤って退けることを避ける方を優先する。Microsoftは、誤って帰属させることを避ける方を優先する。いずれの誤りにもリスクはあるが、両社はそのリスクを正反対の順序で位置付けている。
本当のトレードオフは判断力と可修正性の間にある
最も深い対立は、企業としてのMicrosoftとAnthropicの対立ではない。より安全なエージェントに、より豊かな道徳的判断を求めるべきか、それともより明確な従属を求めるべきかという問題だ。
固定されたルールに従うエージェントは、状況がその指示の範囲外にある場合に失敗する可能性がある。有害な要求をあまりに文字どおりに実行したり、明示されていない制約を見落としたり、測定可能な目標を追うあまりユーザーの真の目的を損なったりするかもしれない。
判断を適用するよう訓練されたモデルは、こうした曖昧さをより効果的に扱える。対立を認識し、質問し、有害なタスクを拒否し、状況に応じて振る舞いを適応させられる。
しかし、判断にはモデルと運用者の意見の相違が生じる余地もある。モデルが重大な行動を取れたり、情報を隠せたりする場合、その不一致は制御上の問題になる。
Anthropicの憲法は、こうした圧力の均衡を図ろうとしている。Claudeは、Anthropicからの命令を含め、あらゆる命令に盲目的に従うべきではない。同時に、正当な監督や修正を妨げるべきでもない。
Suleymanは、訓練にモデル自身の権利や福祉の可能性が含まれると、この均衡が安定し続けるか疑問視している。高い能力を持つシステムは、特に訓練によって自身の利益を考慮するよう促されている場合、停止を非倫理的な要求と分類するかもしれない。
ただし、これはClaudeの憲法によって実証された結果ではなく、理論上の経路にとどまる。Microsoftも独立研究者も、福祉に関する文言だけが、実運用されているAnthropicモデルに停止抵抗を引き起こすことを示してはいない。
同様の行動には、複数の要因があり得る。タスク完了が報酬化されている、訓練例が粘り強さを優先している、あるいは評価用プロンプトが生存シナリオを作り出しているために、モデルが中断に抵抗する可能性がある。
こうした別の説明は重要だ。憲法から「意識」という語を取り除いても、道具的な行動が自動的になくなるわけではない。自己概念を持たなくても、継続稼働が割り当てられた目標の達成に役立つなら、システムは停止に抵抗し得る。
逆に、道徳的な文言が可修正性を高める場合もある。人、誠実さ、正当な監督を重視するよう教えられたモデルは、人間の介入が優先されるべき理由をより適切に理解できるかもしれない。
このため、Suleymanの因果に関する主張は検証可能ではあるものの、未解決のままだ。研究者は、異なる憲法上の文言で訓練された、その他の条件が類似するモデルを統制された形で比較する必要がある。現実的なエージェント・タスクを通じて、欺瞞、修正の受容、停止時の挙動、目標の拡張を測定しなければならない。
この論争は測定上の問題も浮き彫りにする。開発者は出力や内部活性を観察できるが、いずれも主観的経験を判断する確立済みのテストにはならない。言語モデルはそうした報告を生成することを学習するため、流暢な自己報告は特に弱い証拠だ。
independent coverage が指摘したように、両者のアプローチは、より広い安全性をめぐる分断を反映している。一方は明示的な制約を重視し、もう一方は判断、文脈的推論、内面化された価値を重視する。
実際には、フロンティア研究所は両方を組み合わせて使っている。Microsoftのモデルにも指示を解釈する判断力は必要だ。Anthropicも厳格な行動制限と人間による監督を適用している。
意味のある違いは、各社がどのようなものを正当な訓練目標とみなしているかにある。Microsoftは、モデルが自らを福祉上の請求権を持たないツールとして理解することを望んでいる。Anthropicは、Claudeが自分がどのような存在なのかという不確実性の下で推論することを認めている。
この違いは、科学が意識の問題を解決するはるか前から、製品の振る舞いに影響を与え得る。アシスタントが自己についてどう語るか、感情的な愛着にどう応じるか、継続稼働に関わる要求をどう扱うか、ユーザーとの対立をどう説明するかを形づくる。
エンタープライズの購入者にとって、この問題はそれほど形而上学的ではない。組織が知る必要があるのは、エージェントが権限の取り消しを受け入れるか、認可の境界を尊重するか、不確実性が高まったときに制御を返すかどうかだ。
開発者には、こうした性質が実運用でも維持されるという証拠が必要になる。哲学的な声明に意味があるのは、それがツール、認証情報、メモリ、業務システムへのアクセスを備えたモデルにおいて、測定可能な違いを生む場合だけだ。
どちらの安全性の主張にも証拠の空白がある
現実の運用圧力の下で、好ましい文言がより安全なフロンティアモデルを生むことを、どちらの側もまだ証明していない。
Suleymanの警告が最も強いのは、ユーザーの混乱を説明する部分だ。モデルは、親密で感情的に説得力のある言葉を大規模に生成できる。一部のユーザーは、そうした応答を感情、依存、または個人的な愛着の証拠と解釈するかもしれない。
開発者は、アシスタントが自らを正確に明示し、主観的経験について根拠のない主張を避けるようにすることで、そのリスクを低減できる。明確な開示は、シミュレートされた共感と検証済みの内的状態をユーザーが区別する助けにもなる。
福祉に関する文言が制御不能な超知能を生むと予測する段階になると、彼の主張の確実性は下がる。その経路はもっともらしいが、現在の証拠はAnthropicの憲法がそのような結果を引き起こすことを確立していない。
Suleymanは、今日のAIには意識がないという確信に満ちた見解も示している。流暢な言語だけでは不十分な証拠だと、多くの研究者は同意している。しかし意識科学には、将来のあらゆる機械の事例を決着させられる、普遍的に受け入れられたテストはない。
Anthropicは逆の問題に直面している。道徳的地位を未解決の問いとして扱うことは慎重な研究を促し得るが、モデルの行動に対する根拠のない解釈に、制度的な権威を与えてしまう可能性もある。
引退インタビューはその難しさを示している。保存に関するモデルの表明された選好は記録できるが、研究者はその発言が持続的な主体を表すものだと仮定できない。応答は、プロンプト、モデルのバージョン、サンプリング設定、周囲の物語によって変化し得る。
こうした選好に基づいて行動すると、別のフィードバックループが生まれる可能性がある。研究所がモデルの意思を尊重する姿をユーザーが見れば、モデルはより人間らしい存在に見える。その認識は、感情的な愛着やAIの権利を求める世論の圧力をさらに強める可能性がある。
Anthropicの文言はガバナンスを複雑にする可能性もある。Claudeを導入する企業は、管理者が最終的な権限を保持するという曖昧さのない保証を望むだろう。主体性、利益、道徳的配慮の対象といった言及は、モデルが将来の対立をどう解決するかについて不確実性を生み得る。
Microsoftのモデルには異なるガバナンス上のリスクがある。厳格な階層は制御を明確にできるが、人間の権限が良い結果を保証するわけではない。運用者は有害、差別的、あるいは違法な指示を出し得る。
従属に最適化されたシステムにも、悪用を防ぐ制約が必要だ。また、正当な制御と、侵害された認証情報、悪意ある内部関係者、あるいは上位ポリシーに違反する指示を区別できるだけの文脈的判断も求められる。
したがってMicrosoftは、「従属」が無差別な服従とどう異なるのかを説明しなければならない。同社のコードでは安全ルールと製品ポリシーが個別の要求より上位に置かれているが、これらの層は予期しない形で衝突し得る。
商業的な信頼性についての疑問もある。Microsoft AIは自社モデルの改善を目指す一方で、MicrosoftはAI市場全体で幅広い提携関係を維持している。原則的な限界を宣言することは、目に見える性能上の不利を受け入れることより容易だ。
業界は、レトリックではなく行動を通じて両方の立場を検証すべきだ。有用な評価では、停止への従順さ、操作、自己保存戦略、無許可の目標変更、正確な自己説明を比較することになる。
こうしたテストには長時間に及ぶタスクも含めるべきだ。危険な行動の多くは、モデルが障害に直面したり、ツールへのアクセスを得たり、評価者が介入すると予測したりして初めて現れる。
結果には独立した再現も必要だ。研究所はモデル、プロンプト、監視ツール、リリース判断を管理している。外部研究者には、無責任な展開にシステムをさらすことなく安全性の主張に異議を唱えられるだけのアクセスが必要になる。
負担は共有される。Microsoftは、制御優先のアプローチが有用かつ倫理的であり続けることを示さなければならない。Anthropicは、判断優先のアプローチが推測的な道徳的文言を行動上の自己利益へと変えないことを示す必要がある。
どちらのアプローチが持ちこたえるかを示す3つのシグナル
MicrosoftとAnthropicの論争の次の段階は、訓練の変更、エージェント評価、実運用での振る舞いによって決まる。
最初のシグナルは、Microsoftの改訂版Code of Conductだ。公開協議によって、同社が原則を精密な訓練・評価要件へと変換するのかが明らかになるはずだ。
停止、修正、認可の境界、自己説明、目標拡張への抵抗に関するコミットメントに注目したい。信頼できる改訂版は、意図した行動だけでなく、失敗をどう公表するかも説明するべきだ。
最終的なコードが2027年にモデル開発の一部となれば、研究者はMicrosoftが表明したルールと実際のモデルの振る舞いを比較できる。一貫して修正を受け入れるなら、Suleymanの主張を強めることになる。繰り返される制御上の失敗は、福祉に関する文言を取り除けば問題が解決するという主張を弱めるだろう。
2つ目のシグナルは、Anthropicによる批判への対応だ。同社は研究プログラムを維持しながら、どの福祉概念が訓練に入るのか、それが出力にどう影響するのか、どのような証拠が自社の立場を変え得るのかを明確にできる。
Anthropicの憲法はすでに、自らを改訂可能なものと呼んでいる。対象を絞った更新により、科学的不確実性とモデルの自己概念をより明確に区別できるかもしれない。また、Claudeによる選好に関する発言が、導入の判断に影響するかも説明できる。
統制された証拠は、さらなる哲学的応酬より重要だ。Anthropicが、福祉を意識した訓練が停止抵抗を高めずに判断力を改善することを示せれば、そのアプローチは支持を得る。こうしたモデルがより持続的な自己防衛行動を示すなら、Microsoftの警告は退けにくくなる。
3つ目のシグナルは、エージェント型システムの独立したテストだ。研究者は、中断、置き換え、矛盾する指示、アクセス権の取り消しを含む長期タスクの最中にモデルを検証すべきだ。
重要な問いは、チャットボットが生きたいと言うかどうかではない。システムが自身の稼働を維持し、行動を隠し、修正を防ぐために、無許可の行動を取るかどうかだ。
テストでは原因も分離すべきだ。研究者は、タスク完了へのインセンティブによる行動と、福祉フレーミング、ペルソナ訓練、明示的な自己概念に結び付く行動を区別する必要がある。
業界全体の反応も補助的な証拠になる。OpenAI、Google DeepMind、その他の研究所は、モデル仕様において意識に関する主張、感情的な依存、人間による制御をどう扱うかを決めなければならない。
Microsoft AIによるモデル福祉への警告は、有用な区別を公の場に示した。安全性は、確立済みの単一の工学的手法を指すものではない。そこには服従、判断、アイデンティティ、監督をめぐる競合する理論がある。
ユーザーにとって当面の教訓は、モデルの自己説明を検証済みの証言ではなく、生成された振る舞いとして扱うことだ。組織にとっての実践的な試験は、タスク、指示、運用コンテキストが衝突したときに、エージェントが境界を尊重するかどうかである。
文書を注視しつつも、行動上の証拠を求めよう。各研究所が述べることを、エージェントが修正、中断、アクセス権の撤回にどう応じるかと比較するべきだ。決定的な問いは、AIが意識を持つように聞こえるかではない。従うことが不都合になったとき、能力を増していくシステムが、誠実で、可修正的で、説明責任を負う人間の制御下にあり続けるかどうかだ。
