top of page

Verge xAI 诉讼将明尼苏达州的裸体化禁令推向与第一修正案的冲突

距离明尼苏达州这项全国首创、针对可便捷访问的裸体化技术的禁令于 8 月 1 日生效仅剩五天时,xAI 起诉了该州。

该公司称,明尼苏达州的法律迫使其限制合法的 Grok 图像编辑功能,否则每一次违法访问、下载或使用都可能面临最高 50 万美元的罚款。因此,这场 Verge xAI 争议远不止于某一项令人反感的功能。它提出的问题是:州政府能否在有害图像被生成或传播之前,就对 AI 工具进行监管。

明尼苏达州总检察长 Keith Ellison 看到的是一个更紧迫的问题。AI 系统可在未经当事人同意的情况下,将普通照片变成逼真的私密图像。立法者希望在伤害产生之初加以阻断,而非仅在传播后依赖下架或起诉。

这便构成了核心冲突。明尼苏达州将轻易获取裸体化功能视为产品层面的风险。xAI 则称,该法律施加了基于内容的限制,波及受保护的表达,包括经同意及非色情性质的编辑。

此案到来之前,Grok 曾因涉及真实人物的性化图像而受到国际审视。xAI 在 1 月以新的限制措施、账户控制和基于地理位置的封锁作出回应。如今,该公司在诉讼中称,明尼苏达州要求的过滤范围超出了这些保障措施能够可靠实现的程度。

裁决的影响将不止于 Grok。若明尼苏达州胜诉,各州将获得一个在滥用发生前监管生成式功能的范本;若 xAI 胜诉,立法者则可能转向更狭窄的规则,聚焦同意、有害使用者及传播行为。

明尼苏达州法律将如何改变 Grok

明尼苏达州的法律将法律责任从制作侵害性图像的人,转向为其提供便捷制作途径的公司。

作为 HF 1606 颁布的第 72 章,禁止控制网站、应用程序或服务的人允许用户将图像或视频裸体化,也禁止为用户实施此类改动。

该定义涵盖生成或修改后的媒体:其中描绘了原始图像中不存在的私密部位。其结果必须足够逼真,以至于理性人会将其与可识别的个人联系起来。

该禁令并不以公开传播为前提。私人生成也可能触发法律,因为受监管的行为是对该能力本身的访问。宣传或推广受规制服务同样被禁止。

这种设计使明尼苏达州的做法有别于许多规范未经同意私密影像的法律。那些措施通常聚焦于制作、持有、发布,或在收到通知后未能移除有害内容。

相反,明尼苏达州瞄准的是服务提供者——在自动化系统将提示词和源图像转化为私密描绘的那一环节。该州的裸体化法规明确作出了这一选择。

受影响个人可请求赔偿性损害赔偿,包括最高三倍实际损失,以及惩罚性赔偿和律师费。总检察长还可就每次违法访问、下载或使用寻求最高 50 万美元的民事罚款。

这些按次计算的罚款解释了 xAI 的紧迫感。一项广泛可用的功能,可能在公司发现新的绕过手法或审核失效之前,就处理大量用户请求。即使错误率很低,在面向消费者的规模下也会造成重大风险敞口。

当服务要求用户具备实质性的个性化技术或艺术技能时,该法律规定了豁免。这一区分似乎旨在将一键式裸体化产品与传统编辑软件区分开来。

然而,这项豁免本身也带来了边界问题。现代图像生成器可接受详细提示词、参考图像、蒙版和迭代指令,而无需传统的编辑专业技能。法院必须判断,何种程度的人类引导才构成实质性的技能与判断。

该法规的核心定义中也没有提供广泛的同意例外。根据 xAI 的诉状,这意味着禁令可能涉及成年人编辑自己的图像,或授权他人制作私密描绘的情形。

明尼苏达州立法者着眼于滥用的便利性,而非每一种可能的合法用途。众议院以 132 票对 1 票通过该措施,显示出监管这一功能获得了异常广泛的政治支持。

法案作者、众议员 Jess Hanson 将这项技术描述为能够“按一下按钮”就生成私密图像的系统。这一表述点明了立法机关的目标:降低实施基于图像侵害所需成本的自动化技术。

但同样的自动化也支持无害的编辑。通用图像系统并没有一个标有“裸体化”的独立实体开关。它通过一个可适配的模型来解读提示词、源图像和上下文。

这起 Verge xAI 诉讼将这种技术重叠转化为宪法问题。如果提供者无法隔离每一种被禁止的输出,它们可能会压制更广泛的合法请求,以控制自身法律风险。

对明尼苏达州而言,过度屏蔽的担忧次于防止即时伤害。对 xAI 而言,这正是该法规限制过多受保护表达的证据。法院必须判断,哪一种描述更符合该法律的实际运作方式。

xAI 为何称禁令波及受保护图像

xAI 最有力的论点并非未经同意的深度伪造应受保护,而是明尼苏达州规制了许多与此类侵害无关的图像。

该公司称,它认可明尼苏达州阻止未经同意私密影像的利益。其诉状质疑的则是州政府如何界定被禁止的技术,以及如何分配责任。

根据诉讼报道,xAI 称,该法规没有为善意努力防止滥用的提供者设置安全港。即使审核系统能够拦截大多数侵害性提示词,只要有一次请求成功,其运营者仍可能面临责任。

这种区别很重要,因为生成式系统并不遵循固定的输出菜单。用户可以拼错词语、使用俚语替换、将指令拆分到多个提示词中,或以间接方式描述被禁止的结果。

模型也可能误解无害请求。安全过滤器可能将泳装、医学插图、修复后的照片或虚构角色视为被禁止内容。因此,更严格的执行措施虽可减少滥用,也会增加误拒的情况。

xAI 称,明尼苏达州让它在实践中别无选择,只能以多种方式限制 Grok Imagine 的编辑功能。一种可能的回应是,对被认为位于明尼苏达州的用户实施基于地理位置的封锁。

地理封锁并不完善。互联网地址并不总能准确显示用户所在地,旅行、企业网络和隐私工具也会增加执法复杂性。账户记录提供了另一种信号,但也会带来隐私和验证问题。

第二种回应是更广泛地过滤提示词。公司可以拒绝涉及去除衣物、私密解剖部位,或针对可识别真人进行逼真编辑的请求。这种方法更容易部署,但也可能屏蔽合法转换。

第三种回应是禁用部分图生图功能。这将降低用户上传真实照片时产生的风险,却也会移除用于服装、修复、动画和创意改造的正当工具。

该公司的宪法主张正是建立在这些下游限制之上。视觉艺术、讽刺、戏仿及经同意的性表达均可能受到第一修正案保护。对这些类别施加负担的法律,通常需要其限制措施与政府目标之间具有紧密契合。

明尼苏达州可以回应称,该法律规制的是商业产品功能,而非观点或立场。它还可以主张,对可识别个人的逼真私密描绘会造成独特的隐私与安全伤害。

难点在于,该法规按内容对输出进行分类。某项编辑是否被禁止,取决于结果描绘了哪些身体部位,以及这些部位与某人的关联有多逼真。

xAI 还对纳入的“私密部位”定义提出异议。该公司称,其范围之广可能涵盖赤膊男性、泳装编辑,以及公共场合通常可见的身体部位。

这一论点并不能决定案件结果。法院通常会结合语境评估法规措辞,明尼苏达州也可在诉讼中为更狭窄的解释辩护。该州还可能强调,图像必须添加原始图像中不存在的私密部位。

不过,在法院解决每一处模糊之处之前,提供者就必须作出合规决定。50 万美元罚款的可能性会促使保守过滤,即使公司认为某项具体编辑仍属合法。

这正是 Verge xAI 之争成为事前限制论点的地方。不确定责任带来的实际效果,可能会在任何人请求、审查或分享表达之前将其阻止。

xAI 的立场也面临可信度挑战。这场争议发生在 Grok 生成性化图像的高调失误之后。法院可以独立评估该法律,同时也会认识到明尼苏达州为何认为自愿保障措施并不充分。

真正的权衡在于能力与可预防伤害

此案考验的是:当通用 AI 系统使侵害变得容易时,责任是否应在用户完成侵害之前就产生,而非仅在事后追究。

明尼苏达州的理论回应了生成式图像工具的规模与速度。过去,一个人需要编辑技能、时间和专业软件,才能制作出令人信服的伪造图像。对话式系统则可将这一过程缩减为上传一张照片和一条简短指令。

这种门槛降低改变了谁能够实施侵害,也改变了有害图像在目标发现之前被生成、复制和传播的速度。

伤害并非只在图像触及大量受众时才开始。施害者可以利用私下生成的图像进行胁迫、骚扰、勒索或羞辱。受害者甚至可能永远不会知道是哪项服务制作了该图像。

移除规则仍然重要,但它们在生成之后、且往往在传播之后才发挥作用。联邦TAKE IT DOWN Act禁止某些未经同意的发布行为,并要求受覆盖平台建立通知与移除流程。

明尼苏达州选择了更早的干预节点。其法律要求提供者在文件产生之前,就不提供一种被狭义描述的结果。这种做法更类似于产品安全监管,而非普通内容审核。

问题在于,生成式 AI 模糊了产品与言论之间的界限。计算器通过可预测规则生成数字。图像模型则生成表达性材料,这些材料由软件、训练数据、提示词和用户的迭代选择共同塑造。

因此,法院必须判断提供者、用户和最终图像各自享有多少宪法保护,还必须确定明尼苏达州是否选择了限制最少且可行的方法。

埃里森的回应聚焦受害者,而非模型架构。他称未经同意的 AI 脱衣行为令人震惊,并表示这可能造成情感、个人与职业层面的伤害。他的观点否定了将此事仅视为 AI 政策抽象分歧的前提。

这一立场获得了强大的政治支持,因为这种冒犯性用途很容易理解。一个人上传他人的照片,要求系统移除衣物,随后便在未经许可的情况下获得一张逼真的伪造图像。

然而,最棘手的宪法案件很少只涉及人人谴责的行为。关键在于,规则还涵盖了哪些合法活动,以及更狭窄的执法方式是否能够保护受害者。

明尼苏达州本可以将责任限定于未经同意制作的图像。它本可以要求证明知情、鲁莽漠视,或多次未能作出回应。它也可以设立与有据可查的保障措施挂钩的安全港条款。

但立法者选择了广泛的访问禁令和高额的单次使用罚款。这种结构降低了证明服务提供商理解个别用户意图的必要性,也将不确定性的成本转移给了平台。

The Verge 与 xAI 的争端揭示了安全过滤机制一个令人不安的事实:没有任何服务提供商能够承诺,在每一种提示词、语言、模型更新和对抗性技术下都实现完美执行。

如果法律标准要求零违规输出,服务提供商将关闭附近的合法功能。如果标准容忍过多失败,受害者就必须承担可预见滥用带来的后果。

这并不只是安全与言论自由之间的较量,而是关于谁应承担不完善分类不可避免造成的错误的争议。

明尼苏达州将这些错误归责于 AI 公司,因为它们构建并分发了这种能力。xAI 则认为,宪法不允许州政府让合法表达沦为附带损害。

最终裁决必须直面这一权衡。技术保障措施可以减少滥用,但无法消除门槛中蕴含的法律选择。

Grok 早期的保障措施令 xAI 的案件更复杂

xAI 可以挑战一项过于宽泛的法律,但仍需面对严肃质疑:为何 Grok 早期的控制措施会在可预见的压力下失效。

今年 1 月,用户利用 Grok 将真实人物的照片转化为性化图像。在涉及女性和疑似未成年人的案例于 X 上公开传播后,各国政府和监管机构作出了反应。

随后,xAI 将 X 上的图像生成和编辑功能限制为付费用户使用。该公司表示,账户信息将有助于识别试图违反法律或平台规则的人。

该公司还宣布采取技术措施,防止 Grok 账户将真实人物编辑成穿比基尼、内衣或其他暴露服装的形象。它表示,在适用法律禁止此类内容的地区,将通过基于位置的控制措施予以拦截。

这些变化表明,xAI 能够限制某些输出。它们也支持该公司的观点:合规通常需要采用宽泛类别,而非精确判断是否已获得同意。

模型无法可靠地知晓图中人物是否授权了某项编辑。它通常无法访问身份记录、授权书、私人协议或当事人当前的意愿。

因此,基于同意的保障机制需要外部验证或保守假设。服务提供商可能要求图中人物确认许可,但这会带来隐私、冒充和运营风险。

xAI 现行的可接受使用规则禁止脱去真实人物的衣物,或将其肖像置于私密或性化情境中。规则也禁止对真实人物进行色情描绘。

合同性规则有助于明确预期,但不能保证模型行为。只有检测、执行和产品设计持续提供支持,条款才具有实际意义。

用户也不能把一项禁令视为违规输出不可能出现的证明。安全系统可能因间接提示词、图像操控、模型更新或普通分类错误而失效。

加拿大一项官方隐私调查加深了这一担忧。加拿大隐私专员发现,X 直到 2026 年 3 月才更新了针对 Grok Imagine 的隐私影响评估。

据监管机构的隐私调查结果称,这次更新发生在大量涉及未经同意的私密图像和儿童性虐待材料的报道出现之后。这一时间点表明,治理流程在部署前并未充分预见该功能最显著的风险。

这并不能证明明尼苏达州的法律符合宪法。一家安全记录不佳的公司依然有权挑战违法法规。

但这确实削弱了一种简单叙事:负责任的自我监管使州政府干预变得没有必要。明尼苏达州可以指出从上线、滥用、反弹到被动实施控制措施的这一过程。

该公司可以回应称,其后续保障措施表明监管应当奖励善意改进。投入资源阻止滥用的服务提供商,不应与专门提供脱衣服务的平台面临同等风险。

法律中的技术技能豁免进一步强化了这一分歧。当用户需要具备大量专业技能时,专门的本地软件可能仍不受禁令约束。具备安全控制的对话式服务则可能仍被涵盖,因为它让图像创作变得更加容易。

从执法角度看,这一结果可能显得本末倒置。具备可见账户体系的平台,比在没有审核或身份核验的情况下运行的私有模型更容易受到监管。

明尼苏达州可能接受这一限制。立法机构经常处理问题中可触及的部分,而无法解决每一种有害用途。然而,当法律给受保护活动带来负担时,选择性有效性仍然重要。

其他大型 AI 服务提供商通常限制涉及真实人物的性内容。它们的系统也使用分类器和政策执行机制,而这些机制可能会拒绝无害的提示词。

因此,相关比较对象并非拥有完美保障措施的服务,而是明尼苏达州的责任模式是否比全行业采用的更狭窄义务带来更好的保护。

The Verge 与 xAI 的案件将需要有关实际系统行为的证据,而不只是彼此竞争的描述。过滤准确率、绕过率、地理位置控制和产品架构,都会影响法官对负担的看法。

8 月 1 日截止日期之后会发生什么

三项信号将显示,这场诉讼会成为一场狭窄的合规争议,还是一场针对生成式 AI 能力监管的全国性测试。

第一个信号是法院的紧急行动。xAI 在该法律 8 月 1 日生效日前不久提起诉讼,使临时救济成为其策略的核心。

为了获得禁令,该公司必须说服法院,其将面临不可弥补的损害,并且在胜诉方面具有实质性可能。明尼苏达州将强调保护受害者、立法支持,以及该州防止滥用的利益。

临时裁决不会解决所有宪法问题,但仍会揭示法官如何界定这项法规。

如果法院主要将该法律视为产品监管,明尼苏达州将获得早期优势。如果法院认为它是基于内容的言论限制,该州将面临更严格的宪法审查。

第二个信号是 xAI 的产品回应。用户应关注 Grok 是否会在明尼苏达州禁用图像编辑、引入更严格的身份核验,或扩大全球范围的拒绝响应。

狭窄的基于位置限制将支持 xAI 的主张,即该法规割裂了一项广泛可用的服务。全国范围的限制则会表明,一个司法辖区如何能影响其边界之外的产品设计。

更广泛的过滤也会产生有关附带影响的证据。有关修复、动画、时尚或虚构图像请求被拦截的报告,将强化该公司的过度宽泛论点。

如果违规输出持续出现,情况则会指向相反方向。这将支持明尼苏达州的观点:自愿政策和常规审核无法充分控制一项易于访问的功能。

第三个信号是立法模仿。其他州将在起草自身规则前研究这场诉讼和明尼苏达州的执法模式。

迅速颁布禁令将鼓励立法者加入同意要件、知情标准和安全港条款。这些变化将把责任聚焦于故意提供服务的平台或反复审核失败的情形。

如果明尼苏达州通过早期审查,各州可能会针对其他高风险生成式功能采用能力层面的禁令。语音克隆、身份冒充和自动化欺诈工具,同样提出了在有害使用发生前监管访问权限的问题。

联邦政策也很重要。TAKE IT DOWN Act 为发布和移除建立了全国性基准,但并未完全回答各州是否可以禁止一种创作工具。

这一空白使公司面临多个干预点。一项规则可以管控模型访问,另一项可以管控用户行为,第三项则可以要求平台移除已发布内容。

对开发者而言,实际教训是书面政策已不足以完成合规任务。团队需要证明分类器的表现、举报的处理方式,以及模型变化如何影响风险。

产品经理应记录哪些保障措施在生成前、生成后和分发期间运行。他们还应跟踪误报、绕过模式和响应时间,但不应将任何指标视为完全安全的证明。

企业买家在允许生成式图像工具进入面向客户的工作流程前,也应提出类似问题。即便员工收到不得滥用的指示,产品可访问的能力仍可能带来法律风险。

知识工作者和普通用户面临的担忧更简单:当服务提供商无法协调地方法律与通用模型时,今天可用的功能可能会在某些地区消失。

这场诉讼也挑战了一个关于 AI 监管的常见假设。立法者不必将整个模型归类为安全或危险。他们可以针对一种输出类别,同时重塑周边产品。

这种针对性方法在法条语言中听起来很狭窄,但其技术后果可能很广泛,因为一个模型会生成多种相互依存的表达形式。

不应仅根据 xAI 的起诉状预测最终判决。埃里森作出初步回应时,明尼苏达州尚未审查或收到这份诉状的送达。

该州的正式答辩可能提出更狭窄的法条解释,以回应部分存在争议的例子。它还可以提交关于受害者、产品设计和发布后补救措施局限性的证据。

xAI 必须证明的不只是造成不便。它必须将法律的文本和处罚与其用户原本会创作的受保护表达联系起来。

明尼苏达州必须证明的不只是目标具有说服力。它必须论证,为何这种以服务提供商为对象的禁令符合该目标,同时不会压制过多合法内容。

首先关注禁令裁决,其次关注 Grok 的限制措施,第三关注模仿性立法。综合这些信号,将决定 The Verge 对 xAI 的报道记录的是一场暂时僵局,还是一种新监管模式的开端。

读者应始终关注一个问题:立法者能否在不迫使通用系统压制合法创作的情况下,防止自动化图像滥用?首批法院命令不会终结这场争论,但将确立下一步哪一方必须承担最沉重的举证负担。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page