Verge xAI訴訟、ミネソタ州のヌード化禁止を修正第1条との衝突へ
xAIは、全米初となる、誰でも利用可能なヌード化技術を禁じるミネソタ州法が8月1日に施行される5日前、同州を提訴した。
同社は、ミネソタ州法により、合法的なGrokの画像編集を制限するか、不正なアクセス、ダウンロード、利用ごとに最大50万ドルの罰則を負うかの選択を迫られると主張する。したがって、このverge xaiを巡る争いは、問題視される単一の機能にとどまらない。有害な画像が作成・配布される前に、州がAIツールを規制できるかが問われている。
ミネソタ州司法長官Keith Ellisonは、より差し迫った問題があるとみている。AIシステムは、本人の同意なしに、日常的な写真をリアルな性的画像へと変換できる。議員らは、配布後の削除要請や訴追だけに頼るのではなく、生成の段階でその被害を断ち切ろうとしている。
ここに中心的な対立がある。ミネソタ州は、ヌード化への容易なアクセスを製品レベルの危険と捉える。xAIは、同法が合意に基づく編集や性的でない編集を含む保護された表現に及ぶ、内容に基づく規制だと主張する。
この訴訟は、Grokが実在人物を含む性的に加工された画像をめぐり国際的な注目を集めた後に提起された。xAIは1月、新たな制限、アカウント管理、位置情報に基づくブロック措置で対応した。今回の訴訟では、ミネソタ州が求めるフィルタリングは、これらの安全対策で確実に実現できる範囲を超えると主張している。
結論はGrok以外にも影響する。ミネソタ州勝訴の判断は、悪用が起きる前に生成機能を規制するためのモデルを各州に与える。一方、xAI勝訴なら、立法者は同意、有害な利用者、配布に焦点を絞ったより限定的な規則へと向かうことになる。
ミネソタ州法がGrokにもたらす変更
ミネソタ州法は、虐待的な画像を作成する人物から、それを容易に作成できる手段を提供する企業へと法的責任を移す。
HF 1606として制定されたChapter 72は、ウェブサイト、アプリケーション、またはサービスを管理する者が、利用者による画像や動画のヌード化を許可することを禁じる。また、利用者のためにその改変を行うことも禁止する。
この定義は、元の画像には存在しない性的部位を描いた、生成または改変されたメディアを対象とする。結果は、合理的な人物が特定可能な個人と結び付けるほどリアルに見える必要がある。
この禁止は公の配布を要件としない。規制対象となるのは能力そのものへのアクセスであるため、私的な生成でも法律に抵触し得る。対象サービスの広告や宣伝も禁止される。
この設計により、ミネソタ州のアプローチは、合意のない性的画像を扱う多くの法律とは異なる。こうした措置は通常、有害な素材の作成、所持、公開、または通知を受けた後の削除不履行に焦点を当てる。
ミネソタ州は代わりに、自動化システムがプロンプトと元画像を性的描写へ変換する時点で、サービス提供者を標的にしている。同州のnudification statuteは、その選択を明示している。
影響を受けた個人は、実損害の最大3倍を含む補償的損害賠償に加え、懲罰的損害賠償と弁護士費用を求めることができる。司法長官も、不正なアクセス、ダウンロード、利用ごとに最大50万ドルの民事罰を求められる。
こうした利用ごとの罰則が、xAIの緊急性を説明する。広く利用可能な機能は、企業が新たな回避策やモデレーション上の失敗を特定するまでに、多数の利用者リクエストを処理し得る。小さな誤判定率でも、消費者規模では大きな責任につながり得る。
同法は、利用者に相当な個別の技術的または芸術的技能を求めるサービスには例外を設けている。この区別は、ワンクリックでヌード化できる製品と、従来型の編集ソフトウェアを分ける意図があるとみられる。
ただし、この例外自体が新たな境界の問題を生む。現代の画像生成器は、従来の編集技術を必要とせずに、詳細なプロンプト、参照画像、マスク、反復的な指示を受け入れられる。どの程度の人間による指示が相当な技能と判断に当たるのかは、裁判所が判断する必要がある。
また、同法はその中核的な定義において、広範な同意例外を設けていない。xAIの訴状によれば、これは成人が自身の画像を編集する場合や、他者に性的描写の作成を許可する場合にも禁止が及び得ることを意味する。
ミネソタ州の立法者は、考え得るすべての合法的な利用ではなく、悪用の容易さに焦点を当てた。州下院は132対1でこの措置を可決しており、この機能の規制に対する異例に幅広い政治的支持を示している。
法案の起草者であるRepresentative Jess Hansonは、この技術を「ボタンを押すだけで」性的画像を生み出せるシステムだと表現した。この言葉は、画像を用いた虐待に必要な労力を減らす自動化こそが、議会の標的であることを示している。
しかし、同じ自動化は無害な編集にも使われる。汎用画像システムは、ヌード化と表示された別個の物理スイッチで動作するわけではない。1つの適応的なモデルを通じて、プロンプト、元画像、文脈を解釈する。
verge xai訴訟は、この技術的な重なりを憲法上の問題へと変える。提供者が禁止される出力をすべて分離できない場合、法的リスクを抑えるために、より広範な合法的リクエストを抑制する可能性がある。
ミネソタ州にとって、その過剰ブロックへの懸念は、差し迫った被害を防ぐことに比べれば二次的なものだ。xAIにとっては、同法が保護された表現を過度に規制している証拠となる。裁判所は、どちらの説明が法律の実際の運用により適合するかを判断しなければならない。
xAIが禁止は保護された画像に及ぶと主張する理由
xAIの最も強い主張は、合意のないディープフェイクが保護に値するというものではなく、ミネソタ州がその種の虐待とは無関係な多くの画像を規制しているという点にある。
同社は、合意のない性的画像を阻止するというミネソタ州の利益を認めている。訴状で争っているのは、州が禁止技術をどのように定義し、責任を割り当てたかである。
lawsuit reportingによれば、xAIは、同法には悪用防止のために誠実な努力を行う提供者へのセーフハーバーがないと主張している。モデレーションシステムが虐待的なプロンプトの大半をブロックしても、1件のリクエストが成功すれば、その運営者は責任を負う可能性がある。
この区別が重要なのは、生成システムが固定された出力メニューに従わないためだ。利用者は単語を意図的に誤記したり、スラングに置き換えたり、指示を複数のプロンプトに分けたり、禁止された結果を間接的に説明したりできる。
モデルは無害なリクエストを誤解することもある。安全フィルターは、水着、医学的な図解、修復された写真、架空のキャラクターを禁止コンテンツとして扱う可能性がある。したがって、より厳格な執行は虐待を減らす一方、誤った拒否も増やし得る。
xAIは、ミネソタ州法により、Grok Imagineの編集機能を複数の方法で制限する以外に実用的な選択肢はないと述べる。有力な対応の一つは、ミネソタ州にいると推定される利用者への位置情報ベースのブロックだ。
ジオブロッキングは完全ではない。インターネットアドレスは利用者の所在地を常に正確に示すわけではなく、旅行、企業ネットワーク、プライバシーツールが執行を複雑にする。アカウント記録も別の手掛かりになるが、プライバシーと本人確認の問題も生じる。
第二の対応は、より広範なプロンプトフィルタリングだ。同社は、衣服の除去、性的解剖学、特定可能な人物を含むリアルな編集に言及するリクエストを拒否できる。この方法は導入しやすいが、合法的な変換もブロックし得る。
第三の対応は、一部のimage-to-image機能を無効にすることだ。これにより、利用者が実在の写真をアップロードした場合に生じるリスクを減らせる。一方で、衣装、修復、アニメーション、創造的な改変に使われる正当なツールも失われる。
同社の憲法上の主張は、こうした下流の制限に基づく。視覚芸術、風刺、パロディー、合意に基づく性的表現は、修正第1条の保護を受け得る。こうしたカテゴリーに負担をかける法律には通常、その制限と政府目的の間に密接な適合性が求められる。
ミネソタ州は、同法が意見や見解ではなく、商業的な製品機能を規制していると反論できる。また、特定可能な人物のリアルな性的描写は、固有のプライバシーおよび安全上の害を生むとも主張できる。
難しいのは、同法が出力を内容によって分類している点だ。編集が禁止されるかどうかは、結果がどの身体部位を描いているか、そしてそれをどれほどリアルに人物と結び付けているかに依存する。
xAIは、組み込まれた「性的部位」の定義にも異議を唱えている。同社は、その広さにより、上半身裸の男性、水着の編集、公の場で日常的に見られる解剖学的部位まで対象になり得ると主張する。
この主張だけで訴訟の決着がつくわけではない。裁判所はしばしば法文を文脈の中で評価し、ミネソタ州は訴訟の中でより狭い解釈を擁護できる。州はまた、画像が元の画像にはない性的部位を追加しなければならない点を強調する可能性がある。
それでも、提供者は裁判所があらゆる曖昧さを解消する前に、コンプライアンス上の判断を下す。50万ドルの罰則の可能性は、企業が特定の編集が合法だと考えていても、保守的なフィルタリングを促す。
ここでverge xaiを巡る争いは、事前抑制をめぐる主張となる。不確実な責任がもたらす実際的な効果は、誰かがそれをリクエスト、確認、共有する前に表現を止める可能性がある。
xAIの立場には、信頼性という課題もある。この争いは、Grokが生成した性的に加工された画像をめぐる目立った失敗の後に生じた。裁判所は法律を独立して評価できる一方で、ミネソタ州が自主的な安全対策だけでは十分でないと判断した理由も認識し得る。
真のトレードオフは能力と防止可能な被害の間にある
この訴訟は、汎用AIシステムが虐待を容易にした時点で責任を負わせるべきか、それとも利用者が虐待を完了した後に限るべきかを試している。
ミネソタ州の理論は、生成画像ツールの規模と速度に対応するものだ。かつて、人物が説得力のある偽画像を作るには、編集技術、時間、専門ソフトウェアが必要だった。対話型システムは、その工程をアップロードした写真と短い指示にまで縮めることができる。
この労力の削減は、誰が虐待を実行できるかを変える。また、標的となった人物が気付く前に、有害な画像がどれほど速く作成、複製、拡散されるかも変える。
被害は、画像が大きな観客に届いた時点で初めて始まるわけではない。加害者は、私的に生成した画像を強要、嫌がらせ、恐喝、屈辱を与える目的に使える。被害者は、どのサービスがそれを作ったのか知ることすらないかもしれない。
削除ルールは依然として重要だが、生成後、そしてしばしば配布後に機能する。連邦のTAKE IT DOWN Actは、特定の合意のない公開を禁止し、対象プラットフォームに通知・削除プロセスの整備を義務付けている。
ミネソタ州は、より早い介入点を選んだ。同州法は、ファイルが存在する前に、提供者へ狭く記述された結果を提供しないよう求める。このアプローチは、通常のコンテンツモデレーションよりも製品安全規制に近い。
問題は、生成AIが製品と言論の境界を曖昧にすることだ。計算機は予測可能な規則に従って数値を出す。画像モデルは、ソフトウェア、学習データ、プロンプト、反復的な利用者の選択によって共同で形作られた表現物を生成する。
したがって裁判所は、提供者、利用者、そして生成された画像にどの程度の憲法上の保護が及ぶかを判断しなければならない。また、ミネソタ州が実行可能な手段の中で最も制限の少ない方法を選んだかどうかも判断する必要がある。
Ellison氏の反応は、モデルのアーキテクチャではなく被害者に焦点を当てている。同氏は、同意のないAIによるヌード化を「ぞっとするもの」と呼び、感情面、私生活、職業上の被害を招き得ると述べた。この見解は、問題をAI政策をめぐる抽象的な対立にすぎないとする前提を退けるものだ。
攻撃的な利用方法は理解しやすいため、この立場には強い政治的支持がある。ある人物が他人の写真をアップロードし、システムに衣服を取り除くよう指示すると、許可なくリアルな偽画像が生成される。
しかし、最も難しい憲法上の事案は、誰もが非難する行為だけを扱うものではほとんどない。規制がどのような追加の合法的活動まで捉えているのか、また、より限定的な執行で被害者を保護できるのかが争点となる。
ミネソタ州は、責任を同意なく作成された描写に限定できた。認識、無謀な軽視、あるいは対応を繰り返し怠った場合を要件にすることもできた。文書化された安全対策と結び付けたセーフハーバーを設けることも可能だった。
しかし議会は、広範なアクセス禁止と、利用ごとに高額な罰則を選んだ。この構造は、プロバイダーが個々のユーザーの意図を理解していたことを立証する必要性を低減する。同時に、不確実性のコストをプラットフォームに移転する。
verge xaiをめぐる争いは、安全フィルターに関する不都合な真実を浮き彫りにする。どのプロバイダーも、あらゆるプロンプト、言語、モデル更新、敵対的手法に対して完全な執行を約束することはできない。
法的基準が禁止された出力をゼロにするよう求めれば、プロバイダーは近接する合法的な機能を無効化する。基準があまりに多くの失敗を許容すれば、被害者が予見可能な悪用の結果を負うことになる。
これは単に安全性と表現の自由の対決ではない。不完全な分類によって避けられない誤りを、誰が負担すべきかをめぐる争いだ。
ミネソタ州は、能力を構築・配布したAI企業にその誤りを負担させている。xAIは、合法的な表現を巻き添え被害にすることを州に許すのは憲法に反すると主張する。
最終的な判断は、このトレードオフに正面から向き合わなければならない。技術的な安全対策は悪用を減らせるが、基準値に組み込まれた法的選択をなくすことはできない。
Grokの従来の安全対策がxAIの主張を複雑にする
xAIは過度に広範な法律に異議を唱えられる一方で、Grokの従来の管理策が予見可能な圧力下でなぜ失敗したのかという重大な疑問にも直面している。
1月、ユーザーはGrokを使い、実在人物の写真を性的に加工した画像へと変換した。女性や未成年とみられる人物に関する事例がX上で公開拡散された後、各国政府と規制当局は反応した。
その後xAIは、X上での画像生成と編集を有料ユーザーに限定した。アカウント情報があれば、法令やプラットフォーム規則への違反を試みる人物の特定に役立つと説明した。
同社はまた、Grokアカウントが実在人物をビキニ、下着、その他の露出度の高い服装に編集できないようにする技術的措置を発表した。該当する法律がコンテンツを禁じる地域では、位置情報に基づく制御でブロックするとした。
これらの変更は、xAIが一部の出力を制限できることを示している。同時に、コンプライアンスには正確な同意判断ではなく、広いカテゴリーが必要になることが多いという同社の主張も支える。
モデルは、描かれた人物が編集を許可したかどうかを確実に知ることはできない。通常、本人確認記録、同意書、私的な契約、あるいは被写体の現在の意思にアクセスできないためだ。
そのため、同意に基づく安全対策には外部検証か保守的な前提が必要となる。プロバイダーが被写体本人に許可の確認を求める場合、プライバシー、なりすまし、運用上のリスクが生じる。
xAIの現在の利用規則は、実在人物を脱衣させたり、その肖像を親密または性的な文脈に置いたりすることを禁じている。実在人物のポルノ的描写も禁止している。
契約上の規則は期待される行動を示す助けになるが、モデルの振る舞いを保証するものではない。規約が意味を持つのは、検知、執行、製品設計が一貫してそれを支える場合に限られる。
ユーザーも、禁止事項があることを、禁止された出力が不可能である証拠として扱うことはできない。安全システムは、間接的なプロンプト、画像操作、モデル更新、または通常の分類ミスによって失敗する可能性がある。
カナダの公式なプライバシー調査は、この懸念をより明確にした。カナダのプライバシー・コミッショナーは、XがGrok Imagineのプライバシー影響評価を更新したのは2026年3月になってからだったと認定した。
規制当局のプライバシー調査結果によると、この更新は、同意のない親密画像や児童性的虐待資料に関する報告が広く出た後だった。この時期は、導入前のガバナンス手続きが、この機能で最も目立つリスクを十分に予測していなかったことを示唆する。
だからといって、ミネソタ州法が合憲だと証明されるわけではない。安全面で問題のある実績を持つ企業にも、不法な法律に異議を申し立てる権利はある。
ただし、責任ある自主規制により州の介入は不要だったという単純な物語は弱まる。ミネソタ州は、開始、悪用、反発、そして事後的な対策という一連の流れを指摘できる。
同社は、後から導入した安全対策は規制が善意の改善を評価すべきことを示すと反論できる。悪用の阻止に投資するプロバイダーが、ヌード化専用サービスと同じ責任を負うべきではない。
法律の技術スキル免除は、この対立を強める。ユーザーに相当な専門知識が必要な専用ローカルソフトウェアは、禁止の対象外となる可能性がある。安全対策を備えた会話型サービスは、画像作成を容易にするため、引き続き対象となる可能性がある。
この結果は、執行の観点からは逆行しているように見える。可視性がありアカウントに紐づくプラットフォームの方が、モデレーションや本人確認なしで運用される私的なモデルより規制しやすくなる。
ミネソタ州はその限界を受け入れるかもしれない。議会はしばしば、有害な利用をすべて解決せずとも、対処可能な部分に取り組む。それでも、法律が保護された活動に負担を課す場合、選択的な有効性は重要となる。
他の大手AIプロバイダーは、一般に実在人物を含む性的コンテンツを制限している。そのシステムも、無害なプロンプトを拒否し得る分類器やポリシー執行を用いている。
したがって比較すべきなのは、完璧な安全対策を備えたサービスではない。業界全体で採用されているより狭い義務よりも、ミネソタ州の責任モデルが優れた保護をもたらすかどうかだ。
verge xaiの訴訟では、競合する説明だけでなく、実際のシステム挙動に関する証拠が必要になる。フィルター精度、回避率、位置情報制御、製品アーキテクチャは、裁判官が負担をどう見るかを左右し得る。
8月1日の期限後に何が起きるのか
この訴訟が限定的なコンプライアンス紛争となるのか、生成AI能力の規制をめぐる全国的な試金石となるのかを示すシグナルは3つある。
第一のシグナルは、緊急の裁判所対応だ。xAIは法律の8月1日の施行直前に提訴しており、暫定的な救済が同社の戦略の中心となっている。
差止命令を得るには、同社は回復不能な損害に直面しており、勝訴する相応の見込みがあることを裁判所に納得させなければならない。ミネソタ州は、被害者保護、立法上の支持、悪用防止における州の利益を強調するだろう。
一時的な判断は、すべての憲法上の問題を解決するものではない。それでも裁判官が法律をどのように位置づけるかは明らかになる。
裁判所がこの法律を主として製品規制と捉えれば、ミネソタ州は早期に優位に立つ。内容に基づく言論規制と見なされれば、州はより厳格な憲法審査に直面する。
第二のシグナルは、xAIの製品対応だ。ユーザーは、Grokがミネソタ州で画像編集を無効にするか、より強い本人確認を導入するか、あるいは世界的な拒否を拡大するかを注視すべきだ。
地域に限定した狭い制限は、法律が広く提供されるサービスを分断するというxAIの主張を支える。全国的な制限は、一つの法域が国境を越えて製品設計に影響を及ぼし得ることを示す。
より広範なフィルタリングは、付随的影響に関する証拠も生む。復元、アニメーション、ファッション、または架空画像のリクエストがブロックされたとの報告は、同社の過度の広範性に関する主張を強める。
禁止された出力が続けば、結論は逆になる。自主的なポリシーや通常のモデレーションでは、アクセス可能な機能を十分に制御できないというミネソタ州の見解を支えることになる。
第三のシグナルは、立法上の追随だ。他州は、独自の規則を起草する前に、この訴訟とミネソタ州の執行モデルの両方を検討するだろう。
迅速な差止命令は、議員に同意要素、認識基準、セーフハーバーの追加を促す。こうした変更は、意図的なサービスやモデレーションの繰り返される失敗に責任を集中させる。
ミネソタ州が初期審査を乗り切れば、各州は他の高リスクな生成機能について、能力レベルの禁止を採用する可能性がある。音声クローン、本人なりすまし、自動詐欺ツールは、有害な利用の前にアクセスを規制するという同様の問題を提起する。
連邦政策も重要だ。TAKE IT DOWN Actは公開と削除に関する全国的な基準を定めるが、州が作成ツールを禁止できるかどうかには完全には答えていない。
この空白により、企業は複数の介入点に直面する。一つの規則はモデルへのアクセスを規律し、別の規則はユーザーの行為を規律し、さらに第三の規則はプラットフォームに公開済み資料の削除を求め得る。
開発者にとって実務上の教訓は、書面のポリシーだけではもはやコンプライアンスを完了できないということだ。チームは、分類器の性能、報告への対応、モデル変更がリスクに与える影響を示す証拠を必要とする。
プロダクトマネージャーは、生成前、生成後、配信時にどの安全対策が機能するかを文書化すべきだ。また、いかなる指標も完全な安全性の証明として扱わずに、誤検知、回避パターン、応答時間を追跡すべきである。
企業の購入担当者も、生成画像ツールを顧客向けワークフローに導入する前に同様の質問をすべきだ。従業員が悪用を禁じられている場合でも、製品の利用可能な能力から法的責任が生じ得る。
ナレッジワーカーや一般ユーザーにとっての懸念は、より単純だ。今日利用できる機能が、プロバイダーが現地法と汎用モデルを両立できない場合、地域単位で消える可能性がある。
この訴訟は、AI規制に関する馴染み深い前提にも異議を唱える。立法者は、モデル全体を安全か危険かに分類する必要はない。一つの出力カテゴリーを標的にしても、周辺の製品を再構成できる。
この標的型アプローチは、制定法上の文言では限定的に聞こえる。しかし、一つのモデルが相互依存する多くの表現形式を生み出すため、技術的な影響は広範になり得る。
最終判断をxAIの提訴だけから予測すべきではない。Ellison氏が最初の反応を示した時点で、ミネソタ州はまだ訴状を確認しておらず、送達も受けていなかった。
州の正式な抗弁は、争われている事例の一部に対応する、より狭い法解釈を示す可能性がある。また、被害者、製品設計、公開後の救済策の限界に関する証拠を提示することもできる。
xAIは、不便さだけを示せばよいわけではない。法律の文言と罰則を、ユーザーが本来なら作成したであろう保護対象の表現に結び付ける必要がある。
ミネソタ州も、説得力のある目的を示すだけでは足りない。あまりに多くの合法的な素材を抑圧せずに、このプロバイダーに焦点を当てた禁止がその目的に適合する理由を擁護しなければならない。
まず差止命令の判断、次にGrokの制限、そして追随立法を見守るべきだ。これらのシグナルが、verge xaiの報道が一時的な膠着を記録するのか、それとも新たな規制モデルの始まりを記録するのかを決める。
読者は一つの問いを念頭に置くべきだ。立法者は、汎用システムに合法的な創作の抑制を強いることなく、自動化された画像悪用を防げるのか。最初の裁判所命令でこの議論が終わることはないが、次に最も重い負担を負うのがどちら側かは定まるだろう。
