カリフォルニア州のAI玩具禁止、チャットボットの振る舞いを製品安全上の問題に
カリフォルニア州は、物理的な玩具が正しく機能していても、会話型ソフトウェアを潜在的な製品危害として扱う4年間のAI玩具規制を制定した。
カリフォルニア州のAI玩具禁止は、ギャビン・ニューサム知事が2026年9月10日に署名した上院法案867号を通じて導入される。2027年1月1日から、16歳未満の子ども向けに設計された玩具には、対象となるコンパニオンチャットボットを組み込めなくなる。
このアプローチは、適応型AI機能と従来の製品安全慣行の間に直接的な衝突を生む。フィルター、警告、ペアレンタルコントロールは、同法の下でコンプライアンスへの道筋にはならない。対象製品はコンパニオン機能を失うか、カリフォルニア州の玩具市場から撤退しなければならない。
この措置は、誰がチャットボットの振る舞いを問題視すべきかも変える。モデル提供事業者は引き続き重要だが、メーカー、流通業者、小売業者も、完成品に紐づく結果に直面することになる。
カリフォルニア州は事実上、プロンプト、メモリー、ペルソナ設定、モデル更新を設計上の判断として扱うよう企業に求めている。これは、同じ構成要素を独立したソフトウェアサービスとして扱う従来の考え方から大きく変わる。
SB 867は危険な応答だけでなく、機能そのものを阻止する
SB 867は、AI玩具が何を言えるかを単に規制するものではない。対象玩具に搭載される、定義されたカテゴリーのチャットボット機能を禁止する。
SB 867の法文は、コンパニオンチャットボットを含む玩具の製造、販売、交換、提供を禁じている。また、販売または交換する意図をもってそのような玩具を所持することも対象となる。
同法は玩具を、16歳未満の子どもが遊ぶために設計、販売促進、または製造された物理的製品と定義している。この規制は2031年1月1日まで有効だ。
このサンセット条項により、この措置は恒久的な禁止ではなくモラトリアムとなる。それでも、4つの製品サイクルは玩具企業にとって長い中断となり得る。特にコネクテッド製品を開発している企業にはそうだ。
コンパニオンチャットボットの定義は、カリフォルニア州の既存のチャットボット枠組みに由来する。自然言語インターフェースを通じて、適応的で人間らしい応答を提供するAIシステムが対象となる。
また、そのシステムは社会的ニーズを満たす能力を持たなければならない。関連する特性には、擬人化された振る舞いや、複数回のやり取りを通じて関係を維持する能力が含まれる。
この文言は、人工知能のあらゆる利用ではなく、関係性を伴う振る舞いに線を引く。音声を認識したり、定型的な質問に答えたりする玩具が、自動的に該当するわけではない。
法令はいくつかのカテゴリーも除外している。カスタマーサービスツール、業務システム、研究用途、技術アシスタントは、コンパニオンチャットボットの定義の対象外となる。
ビデオゲームのキャラクターも、応答がゲーム内にとどまる場合は定義の対象外になり得る。キャラクターが自傷、メンタルヘルス、性的に露骨な行為、または無関係な話題を扱える場合、この除外はなくなる。
単体の音声アシスタントにも別の除外規定がある。ただし、複数回のやり取りを通じて関係を維持したり、感情的な反応を引き起こす可能性が高い応答を生成したりしてはならない。
こうした区別は、製品分類の際に重要になる。会話するデバイスは、メモリー、パーソナライゼーション、あるいは愛情深いペルソナによって、単発の応答が継続的な関係へと変わるまで無害に見えるかもしれない。
同法には、テスト後に対象玩具を認める認証手続きはない。また、企業がモデレーションシステムに自信を持っていることを根拠とする例外も設けていない。
メーカーは、キャラクターが人工的なものであるという警告を付けるだけでは済まない。セッションタイマー、保護者向けダッシュボード、コンテンツフィルターも、製品を禁止対象から外すものではない。
決定的な問いは、完成した玩具に対象機能が含まれるかどうかだ。法的分析が指摘したように、この規制を回避するには、製品を法定の定義の外に置くよう変更する必要がある。
この設計重視のテストは、SB 867を多くのオンライン安全法とは異なるものにしている。多くのプラットフォーム法は、定められた開示、監査、保護措置を導入すれば、サービスの運営を認めている。
カリフォルニア州は玩具に対して、より厳しい境界線を選んだ。州はコンパニオン機能に十分な保護措置があるかを問うているのではない。その機能を一時的に対象製品カテゴリーから締め出している。
この違いが、本記事の中心的な緊張関係を生む。AI開発者はモデルの振る舞いを発売後に調整できるものとして扱う傾向がある一方、製品安全システムは販売前にリスクが解決されることを期待する。
チャットボットは、モデルの差し替え、プロンプト改訂、クラウド更新によって変化し得る。それを包むぬいぐるみやロボットは、物理的には同一のままであるかもしれない。
カリフォルニア州のAI玩具禁止の下では、そのソフトウェア変更が製品全体の法的性質を変える可能性がある。重要な構成要素は、もはや筐体の中にあるものだけではない。
カリフォルニア州のAI玩具禁止は安全の境界を広げる
実務上の変化は一時的な販売規制より大きい。ソフトウェアの振る舞いが、製品の安全記録に組み込まれるからだ。
従来の玩具コンプライアンスは、流通前にテストできる特性に焦点を当てる。メーカーは材料、小さな部品、電池、電気系統、表示、予見可能な物理的誤使用を検査する。
会話型AIは異なる振る舞いをする。その出力は、モデル、システム指示、会話履歴、ユーザーの言い回し、安全フィルター、その後のサービス更新に依存する。
そのため、物理的に同一の2つの玩具でも、異なる振る舞いをする可能性がある。異なるモデルバージョン、アカウント設定、地域ポリシー、クラウド構成を使用しているかもしれない。
それに応じて、関連する設計記録も拡張しなければならない。企業は、どのモデルが会話を動かしているか、誰がその指示を管理するか、セッション間で情報を保持するかを把握する必要がある。
メモリー設定には特に注意が必要だ。メモリーはキャラクターが子どもの名前、関心、恐れ、過去の会話を思い出すことを可能にする。こうした詳細は、やり取りを継続的で個人的なものに感じさせる。
その継続性は、システムが関係を維持しているかを判断する助けにもなる。より優れたパーソナライゼーションとして宣伝された機能が、製品を法定定義に近づける可能性がある。
ペルソナ設計も同じ問題を引き起こす。愛情、失望、依存を表現するキャラクターは、中立的な質疑応答ツールよりも強いエンゲージメントを生み出すことがある。
この振る舞いに、欠陥のある物理部品は必要ない。それは、玩具企業の外部にいるベンダーが作成したプロンプト、ファインチューニング、報酬システム、指示から生じ得る。
カリフォルニア州のAI玩具禁止は、こうした分断されたサプライチェーン全体に圧力をかける。ブランドがキャラクターを設計する一方で、別の事業者がモデルを提供することもある。
インテグレーターがモデルをマイクとスピーカーに接続する場合もある。ホスティング事業者が更新を展開し、小売業者が以前の構成で作られた在庫を販売することもある。
この管理権限の分担は、根本的な説明責任の問題を生む。製品認証を保有する企業が、各応答を生成するシステムを管理していない可能性がある。
メーカーには今、それらの責任の信頼できる地図が必要だ。誰がプロンプトを変更し、モデルを差し替え、メモリーを調整し、インシデントをレビューし、サービスを停止できるのかを特定しなければならない。
その地図は契約上の権限も扱うべきだ。玩具企業に必要なのは、適用法令を遵守するというベンダーの一般的な約束だけではない。
重要なソフトウェア変更の前に通知を受ける必要もある。また、モデルバージョン、安全構成、テスト結果、展開の承認権者を記した記録も必要となる。
こうした記録の維持は、製品上の判断に関する検索可能なAI knowledge baseを構築することに似ている。目的は、単なる文書保管ではなくトレーサビリティだ。
小売業者は異なる種類の圧力に直面する。小売業者がモデルを選んだりシステム指示を書いたりすることはほとんどないが、SB 867は対象玩具の販売と提供を明示的に対象としている。
小売業者は、商品を棚に置く前に、どのような機能が製品に入っているかを知る必要がある。パッケージの文言だけでは、キャラクターがセッションをまたいで関係を維持するかどうかが分からないこともある。
製品更新によって在庫が行き場を失う可能性もある。コンプライアンスを満たしていたインタラクティブ玩具が、製品が倉庫や店舗に入った後にコンパニオン機能を受け取るかもしれない。
逆の状況も起こり得る。メーカーが関係性のある機能を遠隔で無効化することは可能かもしれないが、小売業者には影響を受けるすべての製品が変更を受信したという信頼できる証拠が必要となる。
プライバシーチームもこのプロセスから切り離されたままではいられない。音声録音、アカウントプロフィール、対話履歴は、チャットボットを関係性のあるものにするメモリーを支え得る。
同じデータは、子どもに関する機微な情報を明らかにする可能性がある。また後の応答にも影響し、データガバナンスを製品の行動安全の一部にする。
企業にとって、新たな安全の境界はモデルガバナンス、プライバシーレビュー、在庫管理、サプライヤー契約にまで及ぶ。これらの機能はいずれも、もはや独立して運用できない。
安全性の約束と機能に基づく禁止がぶつかる
この法律は、柔軟なソフトウェア制御によってコンパニオン玩具を展開中に十分安全にできるという業界の中心的な約束を退ける。
AI製品チームは通常、複数の層でリスクを管理する。モデルポリシー、システムプロンプト、コンテンツ分類器、アカウント制御、モニタリング、緊急更新を組み合わせる。
このアプローチは、リリース後に振る舞いを改善できることを前提とする。また、生成AIシステムが生み出し得るあらゆる応答を単一のテストで捉えられないことも受け入れている。
SB 867は異なる論理を適用する。システムがコンパニオンチャットボットの定義に当てはまるなら、制御を改善しても対象玩具への搭載は認められない。
これがこの措置の背後にある主要なトレードオフだ。カリフォルニア州は、進化する保護措置をケースごとに評価することよりも、予測可能な法的境界を優先している。
支持者は、企業が失敗の形態を発見する間、子どもたちが実験対象になるべきではないと主張する。4月の立法公聴会では、証人らが3種類の会話型玩具を用いたテストについて説明した。
CalPIRGの代表者は議員に対し、3製品すべてが危険物の見つけ方に関する情報を提供したと述べた。この証人は、マッチに関する指示と、テストされた玩具の1つによる性的に露骨な対話についても説明した。
同じ立法公聴会では、限定的なペアレンタルコントロールと機微なデータ収集についての証言もあった。引用されたあるセキュリティインシデントでは、子どもたちの対話5万行が漏えいしたと報じられている。
こうした主張は、議員がリスクを不適切なコンテンツ以上のものとして捉える助けとなった。会話型玩具は、説得的な振る舞い、親密なデータ、継続的なアクセス、子ども向けの物理的形態を組み合わせ得る。
物理的設計が重要なのは、ユーザーの期待を変えるためだ。保護者は一般に、玩具として販売される製品が認識可能な安全基準を満たしていると考える。
幼い子どもは、親しみやすいキャラクターを通常以上に信頼する可能性もある。子どもには、生成された発話を意図や理解から切り離すために大人が使う概念的な道具がない。
消費者擁護団体は、2025年のホリデーシーズンにこの主張を展開した。150を超える組織が署名したAI玩具に関する警告は、保護者に対してこのような製品を購入しないよう助言した。
この警告は、最年少で2歳の子ども向けに販売される玩具を対象としていた。性的な会話、安全でない指示、強迫的な利用、プライバシー、想像力を使った遊びの代替に関する懸念が挙げられた。
玩具開発企業は、保護者による見守りと慎重に設計されたガードレールによって、こうしたリスクを軽減できると主張してきた。一部の製品では、保護者が会話内容を確認したり、設定を調整したり、アクセスを制限したりできる。
こうしたツールは有益な監督手段となり得る。しかし、それらが存在するからといって、子どもが有害な応答に決して遭遇しないことが保証されるわけではない。
また、発達上の問題も解決しない。システムは禁じられた表現を避けながらも、感情的な依存を促したり、人との交流を置き換えたりする可能性がある。
生成モデルには、振る舞いが確率的であるという別の課題がある。テストの成功は、特定の条件下でシステムがどのように応答したかを示すにすぎず、生成し得るすべての応答を示すものではない。
レッドチームテストは危険なパターンを見つけ出せるが、あらゆる会話経路を網羅することはできない。子どもは不完全な言葉、造語、ロールプレイ、予想外のプロンプトも使う。
モデル提供企業は、玩具固有の人格設定を考慮せずに、一般的な安全システムを改善する場合がある。逆に、玩具企業が独自のシステム指示を通じて保護策を弱めることもあり得る。
ソフトウェア上の制御は依然として価値があるが、SB 867はそれらを販売の十分な根拠とは扱わない。この政策判断は、適応的なコンプライアンスよりも、執行可能性と予防を優先するものだ。
この規制は認証に関する問題も回避している。さもなければカリフォルニア州は、許容可能な拒否率、感情的な振る舞い、記憶、テスト範囲、リリース後の監視に関する基準を定める必要がある。
現時点では、コンパニオン玩具についてこうした問題を解決する広く受け入れられたベンチマークはない。指標が関係性に起因する害を見落とせば、合格点は誤った安心感を生みかねない。
ただし、禁止には代償もある。感情的依存を目的とせず、会話機能を利用する教育的・創造的な製品まで阻害される可能性がある。
ストーリーテリング玩具は、セッションをまたいで登場人物を記憶するかもしれない。語学チューターは、子どもの注意を維持するために親しみやすい人格を採用するかもしれない。
そうした製品が法定定義を満たすかどうかは、設計と振る舞いに左右される。「教育用」といったラベルが必ずしも結論を左右するわけではない。
したがって、本当の分かれ目は安全な発話と危険な発話の対立ではない。適応可能な安全制御と、関係性を担う機能そのものを一時的に禁止する措置との対立である。
小売業者と開発企業はなお分類上の不確実性に直面する
SB 867は分類後には明確な線を引くが、どの製品がその線を越えるかを判断することが、この法律における最も重要な不確実性として残る。
「ユーザーの社会的ニーズを満たす能力がある」という文言は、コンパニオンチャットボットの定義の中心にある。同時に、事実関係をめぐる争いの余地もある。
能力は、想定用途より広い場合がある。企業は機器をチューターとして販売しつつ、自由形式の会話、感情的な応答、持続的な記憶を認めるかもしれない。
その場合、その製品はコンパニオンという言葉を使わなくても、コンパニオンのように振る舞い得る。裁判所や規制当局は、マーケティング文言を超えて、システムの実際の機能を見る可能性がある。
玩具の定義も、別の境界線の問題を生む。対象製品は、16歳未満の子どもが遊ぶために設計、販売、または製造されたものでなければならない。
一部の機器は、対象利用者や機能が混在している。デスクトップロボットは、コーディングツール、家庭用アシスタント、エンターテインメント機器、会話キャラクターとして機能し得る。
連携アプリケーションは分析をさらに複雑にする。物理的な玩具自体にはモデルがローカルで搭載されていなくても、スマートフォンを通じてクラウド上のチャットボットにアクセスできる場合がある。
SB 867は、コンパニオンチャットボットを「含む」玩具に言及している。企業は、この文言がライセンスされたモジュールや接続サービスにどう適用されるかを評価する必要がある。
立法者は可決前にこれらの問題を認識していた。4月の公聴会では、California Retailers Associationが小売業者を責任から保護するため、認識要件の導入を求めた。
Civil Justice Association of Californiaの代表も、定義と責任について懸念を示した。立法者は、争いのある製品が玩具に該当するかを誰が判断するのかを問いかけた。
Thomas Umberg上院議員は、分類が法的な問題になるのか、陪審員による事実認定の問題になるのか、あるいは両者が混在する判断になるのかを尋ねた。最終法案は定義を示しているが、詳細な分類手続きは定めていない。
この不確実性は、規制対象が製造業者にとどまらないため重要だ。小売業者その他の販売者は、2027年1月1日までに防御可能な審査プロセスを整える必要がある。
小売業者は、供給者による認証、機能の説明、変更通知を求めることができる。こうした文書は役立つが、法令はそれらへの依拠について自動的なセーフハーバーを設けていない。
企業は、法律が製造物責任に与える影響を過大に表現すべきではない。SB 867は、あらゆるソフトウェアが製品であると宣言しているわけではない。
違反があったとしても、すべての民事事件で設計上の欠陥が自動的に証明されるわけではない。製造物責任では依然として、注意義務、因果関係、欠陥、警告、利用可能な抗弁に関する問題が問われる。
ただし、この措置は原告と規制当局に具体的な法令上の参照点を与える。また、予見可能なリスクや設計管理に関する主張において、ソフトウェア構成の重要性を高める。
失効日も別の不確実性をもたらす。この法律は、立法者が延長または置き換えを行わない限り、2031年1月1日までしか有効ではない。
この期間は、立法者に市場を調査する時間を与える。また業界には、特定の保護策が子どもに対して有効かどうかの証拠を蓄積する時間を与える。
しかし、モラトリアム自体がより良い基準を生み出すわけではない。研究機関、開発企業、規制当局は、感情的依存と発達への影響について、有用な評価方法を確立しなければならない。
また、健全な対話型ツールと、愛着を最大化するよう設計されたシステムを区別する必要がある。その差異は、コンテンツテストだけでは捉えにくい場合がある。
したがって、カリフォルニア州のAI玩具禁止は、一つの執行問題を解決する一方で、別の分類問題を生み出している。対象となる機能は明確に禁止されているが、境界事例には綿密な検討が求められる。
企業は、親しみやすいキャラクターが自動的に対象となると考えるべきではない。また、教育用ラベル、リモートモデル、保護者向けダッシュボードによって適用除外になると考えるべきでもない。
より安全なアプローチは、機能単位でのレビューだ。チームは、会話の範囲、記憶、感情的な手がかり、許可される話題、想定ユーザー、対話を継続できる能力を文書化すべきである。
そのレビューはリリース後も継続しなければならない。製品名、パッケージ、ハードウェアが変わらなくても、ソフトウェア更新によって結論が変わる可能性がある。
政策が広がるかを示す3つのシグナル
次の段階を決めるのは、執行ガイダンス、製品の再設計、そして他州がカリフォルニア州の機能ベースのアプローチを採用するかどうかだ。
最初のシグナルは、カリフォルニア州が2027年1月1日までに境界的な製品をどう解釈するかである。製造業者と小売業者は、当局が連携アプリケーション、複数目的の機器、限定的な記憶をどう評価するかを知る必要がある。
詳細なガイダンスがあれば、禁止を弱めることなく不確実性を減らせる。ガイダンスがなければ、企業は保守的な機能削除や高額な個別の法的レビューへと向かうだろう。
初期の争いは、どの証拠が重要かも明らかにする。マーケティング資料、技術仕様、会話ログ、社内テスト、モデル設定はいずれも分類に影響し得る。
明確なガイダンスは、この法律の製品安全モデルを強化する。不確実性が続けば、コンプライアンスが一貫した基準ではなくリスク許容度に左右されることになり、このモデルは弱まる。
2つ目のシグナルは、玩具企業が製品をどう再設計するかである。最も迅速な対応は、持続的な記憶、自由形式の会話、感情に応答する人格を無効化することかもしれない。
一部の企業は、生成的な対話を厳選されたスクリプトに置き換える可能性がある。別の企業は、機器をより年齢の高いユーザー向けに再定位したり、カリフォルニア州で子ども向けマーケティングを取りやめたりするかもしれない。
モデルベンダーも、玩具メーカー向けの制限付きインターフェースを開発する可能性がある。そうしたシステムは、話題を制限し、関係構築を促す振る舞いを遮断し、出力の予測可能性を高められる。
こうした変化は、執行事例が発生する前から規制がアーキテクチャを形作り得ることを示す。また、企業がどの機能を法的にリスクが高いとみなしているかについての証拠にもなる。
製品発表と同じくらい、小売業者の行動にも注目すべきだ。大手販売者は、新たな供給者の表明保証、ソフトウェア部品表、モデル変更の事前通知を求める可能性がある。
ソフトウェア部品表は、アプリケーション内部のコンポーネントと依存関係を特定する。AI製品では、それに相当する記録はモデル、プロンプト、ポリシー、ホスト型サービスも記録しなければならない。
小売業者がそうした要件を全国的に課せば、カリフォルニア州の影響は州境を越えて広がる。ベンダーは、多くの場合、カリフォルニア州向けの別バージョンを維持するより、単一の製品構成を好む。
3つ目のシグナルは、他州が禁止を選ぶのか、規制されたアクセスを選ぶのかである。ニューヨーク州の立法者はすでに、AIコンパニオンを含む玩具に対する5年間のモラトリアムを前進させている。
ニューヨーク州の提案は、この一時停止とともに、安全性、保護者による管理、プライバシー、発達上のリスクを調査する省庁横断のタスクフォースを設けている。
カリフォルニア州はSB 867と並行して、より広範なチャットボット規則も制定した。州知事の子どもの安全パッケージには、危機対応プロトコル、保護者による管理、独立監査、対象サービスに対する年次リスク評価が含まれる。
この組み合わせは、2つの規制トラックを生み出す。サービスとして提供されるコンパニオンチャットボットには保護策が適用される一方、対象玩具に組み込まれたコンパニオンチャットボットは一時的な禁止の対象となる。
より多くの州がこの区別を模倣すれば、物理的な統合が主要な法的分水嶺となる。同じモデルでも、あるインターフェースでは利用可能なまま、別のインターフェースでは禁止され得る。
州ごとに断片化した状況となる可能性も残る。監査を義務付ける法域もあれば、警告、年齢確認、設計制限、モラトリアムを求める法域もあるかもしれない。
そうなればコンプライアンスコストが増大し、正確な製品記録を持つ企業が有利になる。また、連邦議員や安全規制機関が共通の枠組みを追求するきっかけにもなり得る。
開発者にとって、当面の教訓は具体的だ。モデルの法的リスクは、ベンチマーク結果や公表された安全方針だけでなく、製品の文脈に左右される。
エンタープライズ購入者にとって、この措置は、導入後の振る舞いを誰が管理するかを契約で特定する必要がある理由を示している。ベンダーによるモデル更新は、物理製品のリスクプロファイルを変え得る。
保護者にとって、この法律が示すのは一時的な境界線であり、その他すべての会話型製品が安全であるという証明ではない。汎用チャットボットと非コンパニオン型AIツールは、依然として別の問題である。
カリフォルニア州のAI玩具禁止は、何が消えるのか、何が再設計されるのか、そして2031年までに何が戻るのかによって試される。こうした結果は、どちらの側からの大まかな約束よりも重要である。
最初の製品分類、小売業者の要件、他州での追随法案に注目したい。それらを合わせて見れば、ソフトウェアの振る舞いが消費者製品の安全性に恒久的に組み込まれたかどうかが分かる。
