top of page

xAI 挑战明尼苏达州对 AI 去衣化服务的禁令

在一项针对 AI 去衣化服务的开创性法律原定生效前四天,xAI 起诉了明尼苏达州。通过 amazon engadget 搜索来到这里的读者,会发现这场争议远不止涉及一款应用或一个州。明尼苏达州希望阻止未经同意制作逼真的私密图像;xAI 则认为,该州为实现这一目标所采取的方式违宪。

这份诉状将一个基础监管问题提交至联邦法院:当一种 AI 工具既可被用户用于生成有害图像、也存在合法用途时,州政府能否限制该工具?答案将影响通用图像生成器、专门的去衣化应用、应用商店以及未来的州级 AI 法律。

明尼苏达州认为,制作行为本身就会造成伤害,因为逼真的伪造图像几乎一经生成便可能脱离制作者控制。xAI 认可该州制止未经同意私密影像的利益,但辩称《众议院第 1606 号法案》对受保护表达的规制过于宽泛,也未能为试图防止滥用的服务提供充分保护。

明尼苏达州新法究竟改变了什么

明尼苏达州正将执法重点前移:从惩罚传播行为,转向限制能够制作逼真伪造裸体内容的工具。

诉讼报道,xAI 于 2026 年 7 月 27 日提起联邦诉讼。时机很关键,因为明尼苏达州法律原定于 8 月 1 日生效。该公司寻求在潜在索赔开始累积前阻止执法。

州长 Tim Walz 于 5 月 7 日签署《众议院第 1606 号法案》。该法在明尼苏达州商业法规中新增第 325E.91 条,适用于 8 月 1 日及之后产生的索赔。

该法规通过两个相互关联的条件定义去衣化。首先,软件必须修改或生成图像或视频,使其展示原始内容中不存在的私密部位。其次,结果必须足够逼真,以至于理性人会相信该身体部位属于可被识别的人。

逼真图像这一条件在一定程度上缩小了法律范围。粗糙的戏仿作品或明显虚构的绘画,并不会自动满足法定标准。不过,xAI 认为,其他定义仍然足够宽泛,可能涵盖合法的图像编辑与生成。

核心禁令适用于控制网站、应用程序、软件或其他服务的任何人。运营者不得允许用户访问或使用该服务来对图像进行去衣化,也不得为用户实施这种转换。

明尼苏达州还单独禁止为实施上述行为的服务做广告或推广。这项规定的范围超出模型开发者本身,可能影响营销方、分发渠道,以及引导用户使用受规制服务的公司。

当某项服务需要大量人工技术或艺术技能才能制作图像时,法律提供豁免。这一区分似乎旨在将自动化去衣化工具与劳动密集型创意软件区分开来,但也在一键生成与复杂的人为主导编辑之间划出了一条棘手的边界。

官方法规并未在去衣化定义中设立简单的同意例外。因此,xAI 认为,该禁令可能涵盖成年人修改自己的图像,或授权他人这样做的情形。法院是否接受这一解读,将决定该法律的适用范围。

被描绘者可以提起民事诉讼,并寻求补偿性赔偿,包括精神痛苦赔偿。法律还允许惩罚性赔偿、禁令、诉讼费用以及法院认为适当的其他救济。

明尼苏达州总检察长也可单独执法。每一次非法访问、下载或使用,民事罚款最高可达 50 万美元。追缴的罚款将用于服务性侵、家庭暴力、儿童虐待及其他犯罪受害者的项目。

这种按次计罚的结构构成了 xAI 最直接的商业担忧。拥有大量明尼苏达州用户的服务,可能面临不断累加的责任认定,而不是因单一产品决策仅承担一次处罚。据报道,诉状称该法规未对善意安全措施提供安全港。

明尼苏达州还加入了保留《通信规范法》第 230 条联邦保护的条款,该法律通常使在线服务免于对用户创建的内容承担责任。不过,实际交互关系仍存争议。该州针对的是服务功能,而 xAI 则将争议描述为试图就通过该服务生成的表达施加责任。

因此,这并非传统意义上禁止传播报复性色情内容的法律。它在生成文件进入社交网络、消息服务或公开网站之前,就对一类图像制作能力的访问进行规制。这种前置设计既构成法律所主张的预防价值,也带来其宪法层面的脆弱性。

为何该州选择预防而非下架

明尼苏达州立法者认为,当一张可信的色情图像已经存在时,在发布后移除滥用图像无法消除其造成的伤害。

大多数现有法律聚焦于发布或分享未经同意的私密影像。这类规则在有人生成图像、发送图像或公开发布后才发挥作用。明尼苏达州法规则试图更早介入,使某些制作工具无法被使用。

该州的做法源于去衣化技术受害者的证词。Molly Kelley 告诉立法者,她认识的一人利用普通家庭照片制作了逼真的色情图像和视频。根据早前的立法报道,她后来得知,同一人还曾针对约 80 至 85 名其他女性实施类似行为。

这一经历表明,同意不能被简化为对源照片的持有权。一张为朋友或亲属发布的照片,并不授权他人伪造私密版本。尽管所描绘的事件从未发生,合成输出仍可能显得可信。

一旦图像存在,受害者便会面临多重问题。副本可能流入私密群组、匿名账号和境外服务。搜索引擎和平台可以移除已知文件,但修改版本可能再次出现。受害者也可能难以证明文件的来源。

联邦 TAKE IT DOWN Act 通过要求受规制平台为未经同意的私密影像建立移除流程,解决了其中一部分问题。它反映的是一种以传播为中心的路径:平台在受害者识别出有害内容后作出响应。

明尼苏达州立法者认为,仅靠下架并不足够。主要支持者、州参议员 Erin Maye Quade 将去衣化界定为有害行为,而非受保护的表达。她认为,公司不应在不为可预见的滥用承担责任的情况下推出自动化创作系统。

受害者权益倡导者提出了与规模有关的论点。在生成式 AI 出现之前,人类艺术家也可以伪造图像,但这需要时间和技能。自动化工具降低了这些门槛,使一个人能够迅速制作大量可信图像。

这种变化影响的不只是便利性。它缩短了受害者、平台、学校或雇主的应对时间,也让施害者能够反复测试不同版本,直至输出看起来足够逼真。

专门的去衣化服务是明尼苏达州论点最清晰的适用情形。它们的界面、营销方式和预期输出都可能指向同一种用途。像 Grok 这样的通用系统则构成更棘手的案例,因为它们在生成受禁内容的同时,也能生成许多类别的合法图像。

该州法律并非仅根据产品品牌区分产品。其实施性措辞聚焦于服务是否允许用户进行受规制的转换。因此,如果其安全防护失效,具备广泛能力的生成器也可能面临责任风险。

这一特点给 xAI 带来压力,因为 Grok 将对话式提示与图像生成、编辑结合在一起。用户无需专门的图形软件或冗长工作流程。使生成式工具有用的同一种易用性,也可能让滥用变得更容易。

2026 年初,用户生成涉及真实人物的色情化图像后,Grok 也受到国际审视。xAI 此后表示,已推出措施,阻止 Grok 账户将真实人物图像编辑成暴露服装。该公司还表示,在当地法律禁止特定输出的地区,将实施地理限制。

这些控制措施支持 xAI 的论点,即其已经禁止滥用;它们也支持明尼苏达州的主张,即当法律后果提出要求时,模型提供商可以改变访问和输出行为。

服务条款中的禁止规定并不总能阻止执意为之的用户。过滤器可能遗漏间接提示、新颖措辞或图像编辑序列。反过来,不完美的过滤器也不能证明提供商意图产生滥用结果。

政策与产品行为之间的差距正处于争议核心。明尼苏达州希望责任机制能够在受害者受害前改变工程决策;xAI 则称,在仍有更狭窄救济手段可用的情况下,由此产生的负担压制了合法图像创作。

Amazon Engadget 线索指向一场言论自由检验

核心争议并非未经同意的色情影像是否有害,而是明尼苏达州能否如此广泛地规制通用表达工具。

amazon engadget 这一短语是通往该报道的一条别扭搜索路径,但其背后的争议十分明确。xAI 认为,明尼苏达州制定了一项基于内容的限制,这意味着法律因图像描绘的内容而对其区别对待。

基于内容的言论限制会受到严格的宪法审查。政府通常必须证明其具有压倒性利益,并表明法律经过狭义定制。明尼苏达州可以轻易指出保护人们免受性剥削这一重大利益,但狭义定制问题仍存争议。

xAI 并不主张每一张未经同意的私密图像都应受到保护。据报道,其诉状承认明尼苏达州有权禁止传播涉及真实人物的伪造裸体图像。该公司转而攻击该法规对制作工具、经同意的图像、自行制作的图像,以及在公共场合合法展示身体部位的覆盖范围。

一个例子涉及私密部位的法定定义,该定义援引了明尼苏达州法律的另一条款。xAI 称,被援引的定义可能涵盖超出普通用户对去衣化理解范围的描绘。它列举了泳装、赤裸上身者、讽刺作品、家庭照片及其他创意编辑等可能情形。

明尼苏达州可以回应称,该法规要求涉及可识别人物的逼真修改。该州也可以主张,法律规制的是自动化服务的运营,而非个人的基础思想或观点。

这种“行为与言论”的区分将受到密切关注。规范公司如何处理用户上传照片的法律,可能类似于产品监管。然而,图像生成同样会产出表达性内容,而该法案通过这些输出的内容来界定被禁止的操作。

“人类技能”豁免使双方的立场都更加复杂。明尼苏达州可以称,其针对的是自动化剥削,而非传统艺术。xAI 则可以主张,该法律偏袒通过一种方式创作的表达,同时对通过另一种方式创作的同类表达施加负担。

法院还将考虑该法律是否保留了合法替代方案。明尼苏达州用户或许仍可使用需要较高技能的传统编辑软件。但若封禁通用模型的图像功能,可能会对远超目标滥用范围的活动造成负担。

这正是安全港条款的重要性所在。安全港可保护遵循特定防护措施的提供商,例如拦截露骨提示词、回应举报、保存证据以及暂停滥用账户。明尼苏达州的法案并未明确规定:提供商因已作出合理努力即可免责。

在缺乏此类保护的情况下,提供商将面临艰难选择:尝试识别每一项受规制的请求,限制所有涉及可识别人物的图像编辑,或在明尼苏达州境内停用相关功能。每种选择都会带来误判和运营成本。

地理封锁是最直接的应对方式。服务可识别被认为位于明尼苏达州的用户,并在那里停止提供某项功能。然而,位置控制并不完美,因为人们会出行、使用隐私工具,或通过企业网络访问服务。

提示词过滤提供了第二种选择。它们可以拒绝直接要求去除衣物或伪造私密图像的请求。但更间接的工作流仍更难分类,因为相同措辞可能出现在医疗、教育、艺术或安全相关语境中。

图像分类器则提供了另一层防护。服务可以检查上传照片和生成输出中是否包含裸体或色情内容。然而,仅靠分类无法可靠判断同意、身份、讽刺意图,或被修改的身体部位是否原本就出现在原始图像中。

提供商还可以限制对涉及真实人物照片的编辑。xAI 表示,它已实施了类似措施。此类限制可以减少滥用,但也可能干扰服装、修复、时尚、健身或家庭照片等无害用途。

因此,这起诉讼检验的是法律应将分类错误的风险置于何处。明尼苏达州的做法是,当有害输出漏过防线时,让提供商承担更多风险。xAI 偏好的做法则更依赖平台政策、用户执法,以及针对违法者创作或传播行为的法律。

任何一种风险分配都无法消除伤害。严格的过滤会限制合法表达,而宽松的系统则会使真实人物面临被伪造色情材料的风险。法律问题在于,明尼苏达州是否选择了宪法允许的平衡。

xAI 的安全主张面临可信度问题

xAI 必须证明明尼苏达州法律范围过宽,同时不能要求法院忽视围绕 Grok 图像控制措施已有记录的失误。

该公司称,其规则禁止侵犯他人隐私的非法、有害和滥用活动。它还称,未经同意,用户不得修改真实人物的图像,使其具有色情化效果或变成裸体。

xAI 表示,执法措施可包括暂停或终止账户,以及举报涉嫌儿童性虐待材料。该公司曾公开表示,对儿童性剥削、未经同意的裸体内容和不受欢迎的色情内容采取零容忍立场。

这些政策很重要,但它们无法独立验证产品表现。关键问题在于,Grok 拒绝滥用请求的频率有多高,xAI 对规避行为的反应有多快,以及重复违规者是否能够通过新账户重新进入平台。

Grok 早期的“spicy mode”让可信度问题更加棘手。该功能允许生成露骨内容,同时用户也找到了请求对真实人物进行色情化修改的方法。政府和安全倡导者随后作出回应,展开调查并要求加强控制措施。

xAI 于 1 月表示,已采取措施阻止 Grok 账户将真实人物编辑成比基尼、内衣或其他暴露服装。该变化表明,公司能够在公众压力下收紧输出范围。

但这并不能证明防护措施已经全面到位。生成式系统以概率方式作出响应,而用户会不断测试替代性提示词。对直接指令有效的限制,可能在更长的对话或多步骤编辑任务中失效。

公司的宪法论证不应取决于证明其审核完美无缺。即使原告犯过严重错误,一部法律仍可能范围过宽。法院评估的是法律条文的覆盖范围,而不只是某家公司是否显得值得同情。

同样,明尼苏达州也不必证明每一个通用模型都被设计成 nudify app。该州可以依赖证据证明,便捷的图像生成改变了滥用的实际规模。其更艰难的任务,是将这些证据与法案覆盖的每一项服务和输出建立联系。

在立法过程中,独立法律专家警告称,该提案需要更狭窄的定义。Quinnipiac University School of Law 的 Wayne Unger 主张,明尼苏达州需要围绕“去衣化”提供更清晰的界定。Stanford 的 Riana Pfefferkorn 则提出了第一修正案及联邦中介责任方面的担忧。

这些警告避免让案件被简化为 xAI 对阵受害者。人们可以支持对合成色情滥用采取强力保护措施,同时质疑该法案的措辞是否足够精确。法院可以阻止该法律的一部分实施,而不否定预防作为一项正当政策目标。

该州有几种可能的辩护方式。它可以强调真实感图像要求、可识别人物要求以及人类技能豁免。它还可以主张,自动化创作是一种与可预见伤害紧密相关的行为。

xAI 很可能会强调法律边界处的例子。经同意的成人图像、讽刺、艺术性转换以及普通身体描绘,都有助于证明法律范围过宽。该公司还可以指出,法律没有对服务提供商规定明确的主观意图要求。

该州可能会重新聚焦产品设计。专门为合成去衣而构建并营销的服务,与中性的编辑软件呈现不同风险。明尼苏达州可能主张,提供商仍有能力限制特定功能,而非放弃图像生成功能。

然而,法定文本规制的不仅是最明确的恶意行为者。法院通常不会仅因官员承诺克制执法,就挽救一部范围过宽的法律。因此,定义以及可用的限缩性解释将比政治承诺更重要。

50 万美元的上限加大了潜在的寒蝉效应。当每一次非法访问、下载或使用都可能触发单独处罚时,提供商无法安心等待数个法院判决来厘清边界。

与此同时,描述最高处罚金额并不能确定法院会在特定案件中作出何种裁决。执法需要经过法律程序,被告可以对责任、管辖权、因果关系和被指控的违法行为提出异议。

第 230 条增加了另一层尚未解决的问题。明尼苏达州明确表示,其法律必须与联邦保护保持一致。xAI 仍可主张,该州是在间接地对用户创作内容施加责任;而明尼苏达州则可将受规制行为描述为提供有缺陷的服务。

提供商自有模型的存在,也可能削弱经典中介类比。用户提供提示词或照片,但由提供商的系统生成像素。法院可能会将这一过程与单纯托管在别处创建的文件区分开来。

这使该案件与所有提供生成式功能的公司都相关。工具、发布者和产品之间的边界正变得越来越难以维持。明尼苏达州的法律将这一边界带入一场涉及可识别受害者和表达性输出的具体争议中。

明尼苏达州的试验超出现有深度伪造规则

该法律不同寻常之处在于,它在传播之前就针对能力本身,而其他政府通常聚焦于创作者、传播者或下架义务。

联邦 TAKE IT DOWN 框架聚焦于已发布后的未经同意私密图像。它对某些发布行为设定刑事后果,并要求受覆盖的服务提供移除程序。

得克萨斯州采取了不同模式。当网站或 app 运营者明知不存在同意,或在收到通知后未移除受覆盖材料时,其法律可使其面临民事责任。该结构更大程度依赖于知情与响应。

San Francisco 已依据规范滥用性商业行为和未经同意色情内容的现有法律,对专门的去衣化网站采取行动。其诉讼聚焦于那些被指围绕有害目的组织的服务,而非所有通用图像生成器。

明尼苏达州选择了更广泛的预防路径。该法案不等待公开传播、受害者通知,或运营者将自己营销为 nudify 服务的证据。提供商协助完成受覆盖转换的能力,成为触发条件。

这种设计在一个方面类似于产品安全监管:该州识别出一项危险功能,并要求公司不提供它。然而,该产品的输出是一张图像,这使表达和第一修正案直接进入分析范围。

一个历史比较来自政治深度伪造法律。法院一直在审查各州限制欺骗性选举媒体的努力,尤其是在法律依据内容作出区分时。一些法案在特定挑战中得以维持,另一些则被阻止实施。

与 Musk 相关的公司已参与到这场更广泛的争议中。X 先前曾挑战明尼苏达州的选举深度伪造法律,并主张其侵犯言论自由保护。这段历史为新案件提供了熟悉的宪法框架,尽管性剥削涉及不同的利益与伤害。

这场去衣化争议也正值 app-store 运营商承受压力之际。Apple 和 Google 因分发宣传或支持合成去衣功能的 app 而受到批评。Engadget 引述的一项调查当时在 Apple 的商店中发现了 18 个此类 app,在 Google Play 中发现了 20 个。

从商店下架可以减少用户偶然发现这些 app 的机会,但无法消除网页服务或侧载应用。它也依赖审核人员识别具有误导性的描述并测试隐藏功能。

明尼苏达州的广告禁令试图处理该传播链的一部分。如果公司无法在该州推广服务,相关服务将更难被发现。然而,该条款也引发了独立问题:谁算推广者,以及他们必须具备何种知情程度。

通用提供商面临不同的合规挑战。OpenAI、Google、Meta 和其他模型开发商均制定了禁止性剥削和未经同意私密内容的规则。其防护措施因产品、部署方式以及用户是否可以上传照片而异。

因此,行业比较并不在于哪家公司拥有完美过滤器。没有任何一家公司能够可信地保证,在对抗性使用下每一个模型输出都始终合规。有意义的比较涉及设计选择、测试、访问控制、举报系统,以及发生失误后的透明度。

专业服务通常可以根据其宣称的用途来判断。一款邀请用户“脱去”他人衣物的产品,几乎不存在模糊空间。而一款支持广告样稿、照片修复、表情包和插画的模型,则需要结合具体情境作出判断。

明尼苏达州的技术技能豁免也带来了竞争层面的影响。需要大量手动操作的传统软件,与自动化生成工具受到不同对待。这种差异可能会促使服务提供商增加操作阻力、人工控制或额外编辑步骤。

增加操作阻力并不一定毫无意义。要求用户证明其技能、记录同意情况或完成身份核验,能够遏制投机性滥用。不过,表面上的工作流调整不应成为生产同样有害结果的服务所利用的漏洞。

更有力的政策模式或许应结合多种工具。立法机构可以针对恶意创作者,要求快速移除,为专为滥用而设计的服务设定义务,并为遵循明确保障措施的通用服务提供商提供安全港。

这样的模式无法满足所有与言论自由或安全相关的关切。但它可以让责任认定更贴近意图、知情程度、产品用途,以及收到通知后的应对措施。

明尼苏达州则提出了一个鲜明的测试案例。如果该法律得以维持,其他州将获得一套基于能力的 AI 限制模板。如果它被推翻,立法者将得到一份司法路线图,了解哪些定义或责任机制需要修订。

xAI 明尼苏达州诉讼接下来会发生什么

有三个信号将决定明尼苏达州的做法会成为全国模板,还是成为 AI 法律起草过于宽泛的警示。

第一个信号是法院如何处理紧急救济。xAI 在 8 月 1 日生效日前不久提起诉讼,因此眼下的问题是,在诉讼继续期间,执法是否应暂停。

为获得初步救济,xAI 必须回应多项因素,包括其胜诉可能性以及遭受不可弥补损害的前景。法院的早期分析不会最终裁决案件,但可能揭示哪些宪法论点看起来最有力。

范围广泛的禁令将削弱明尼苏达州的模式,并鼓励对类似预防性法律提出挑战。范围较窄的命令则可能在暂停涉及同意或通用工具的争议性适用的同时,保留对明显滥用服务的保护。

第二个信号是法院如何界定受监管的活动。如果它将图像生成主要视为受保护的表达,明尼苏达州将面临严格的宪法审查。如果它将自动化去衣化视为有害行为,该州就会拥有更大的监管空间。

这种分类将取决于法条文本和具体示例。法院可能会审查该法律能否限缩为针对未经同意的转换、人类技能豁免是否具有宪法相关性,以及合法用途是否仍受到负担。

法院对 Section 230 的处理也将至关重要。一项认定模型生成的像素不同于托管的用户内容的裁决,可能影响远超私密影像范围的争议。它将影响法院如何理解消费级 AI 服务中生成式输出的责任问题。

第三个信号是行业的运营回应。在诉讼推进期间,xAI 和其他提供商可以改进过滤机制、引入地域限制、限制对真实人物的编辑,或公布更清晰的执法数据。

更完善的保障措施将支持这样一种观点:有针对性的合规是可行的。持续存在的失败则会强化对可执行义务而非自愿规则的要求。

透明度将尤为重要。提供商很少公布足够的信息来评估拒绝率、规避模式、申诉或重复滥用情况。汇总的安全报告可以帮助立法者区分负责任的通用系统与围绕剥削而构建的服务。

应用商店执法是另一项实际措施。Apple 和 Google 可以加强审核、移除使用误导性描述的服务,并在产品获批后持续监控。这些行动无法解决 xAI 的宪法主张,但可以减少专业化 nudify 应用的分发。

立法机构在照搬明尼苏达州的措辞前应关注此案。仓促复制可能继承同样的同意、定义和安全港争议。更精确的法律仍可施加有意义的义务,而不必对所有图像生成器一视同仁。

对于 AI 用户而言,此案说明了为何功能可用性日益取决于所在地。提供商已经会根据国家法规调整输出,而州法律可能造成更加碎片化的格局。在威斯康星州可用的工具,跨过明尼苏达州边界后可能表现不同。

开发者还必须保留可靠的模型变更、安全测试和滥用应对记录。这些记录能够显示一家公司是明知故犯地忽视失败,还是持续努力防范失败。它们也可能暴露公开承诺与实际控制措施之间的差距。

企业采购方在启用图像生成前也应提出类似问题。仅有政策所能提供的保证有限。采购方需要了解供应商能否限制对真实人物的编辑、调查滥用行为,并在不收集不必要个人数据的前提下保存证据。

通过 amazon engadget 搜索关注这场争议的知识工作者,不应将其视为对 xAI 的简单公投。更持久的问题是,基于能力的监管能否在不禁止大范围合法表达类别的前提下保护受害者。

明尼苏达州指出了以移除为中心的政策存在的真实弱点。移除只能在受害者发现图像、了解其出现地点并完成举报流程后才开始。到那时,副本可能已经超出有效控制范围。

xAI 指出了明尼苏达州解决方案的一个真实弱点。如果其定义缺乏必要限制,一项旨在打击未经同意滥用的法律也可能触及经同意或自行创作的图像。严厉的按次处罚会放大这一立法起草问题。

最好的结果不应要求在无限制工具和完全禁止自动化图像编辑之间二选一。它应建立与同意、产品用途、提供商知情程度和应对质量相关联的可执行保障措施。

联邦法院如今首次有机会检验明尼苏达州的做法。其初步命令、对生成式活动的分类,以及行业的安全回应,将提供最清晰的证据。

读者应关注这些信号,而非最响亮的政治反应。关键问题在于,立法者能否在创作源头阻止自动化性剥削,同时保留合法工具。答案将塑造下一代州级 AI 法律。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page