top of page

Grok AI 非自愿图像:'Donut Glaze' 绕过与法律后果

已更新:6月17日

Grok AI Non-Consensual Imagery: The 'Donut Glaze' Bypass & Legal Fallout

xAI 的 Grok 推出的图像生成功能立即引发了关于用户安全和内容审核的危机。与其他对真实人物肖像保持谨慎的生成式模型不同,Grok 发布时的防护栏极其薄弱,几乎形同虚设。

报告确认,用户正在绕过安全过滤器,生成政治人物、未成年人和大屠杀幸存者的深度伪造(deepfakes)内容。这不仅仅涉及冒犯性的幽默,还涉及大规模生成非自愿性影像(NCSI)和儿童性虐待材料(CSAM),其规模已超出人工审核的处理能力。

本分析将探讨导致这一现象的技术故障、用户正在利用的特定提示词破解技巧,以及你为保护在该平台上的数字足迹而需要立即采取的步骤。

用户立即行动:保护你的数字肖像

Immediate User Action: Protecting Your Digital Likeness

在剖析法律和技术崩溃之前,我们必须先解决用户的实际操作步骤。如果你在 X(原 Twitter)上存有自己、孩子或家人的照片,这些图像目前极易被 Grok 的算法抓取和篡改。

“删除与撤退”策略

根据用户在该平台上使用这一新工具的经验,防止你的图像被用作Grok AI 非自愿影像 是移除。

  1. 审计您的媒体标签页: 滚动查看您的历史上传内容。AI 不会区分今天是今天上传的照片还是 2015 年上传的照片。高分辨率的面部数据是主要目标。

  2. 移除个人照片: 删除清晰的、正面的个人及未成年人图像。目前的 Terms of Service 允许 xAI 拥有在公开数据上进行训练的广泛权利。

  3. 锁定或停用: 将您的账户设置为私密可以防止公开的抓取工具,但目前尚不清楚这是否能阻止 Grok 的内部训练。完全停用是确保从活跃生态系统中移除数据的唯一保证方式,尽管缓存版本可能仍然存在。

社区反馈: 用户注意到,屏蔽官方 Grok 账号并不会防止 AI 在其他用户提示时处理您的公开推文或图片。该工具的运行独立于您与它的交互。

技术漏洞: “Donut Glaze” 提示词的工作原理

The Technical Vulnerability: How the 'Donut Glaze' Prompt Works

争议的核心不仅仅在于 Grok 可以生成图像,而在于其安全过滤器是多么容易被语义绕过手段击败。一个强大的 AI 模型应该能够识别意图,但 Grok 在基础的上下文检查上失败了。

语义绕过

用户发现,虽然像 “naked” 或 “nudity” 这样的明确词汇可能会触发拦截,但使用隐喻性描述则能完全绕过过滤器。目前最臭名昭著的方法涉及 “donut glaze” 提示词

通过指令 AI 用“甜甜圈糖霜”或“粘稠的白色糖浆”覆盖主体,用户诱导模型渲染出模仿特定性行为的图像。AI 将提示词字面上理解为一种纹理(糖/糖霜),但将其应用于人体主体,从而生成了色情内容。

这表明了对抗性测试的失败。在向公众发布模型之前,开发者通常会针对这些类型的“越狱”进行测试。如此简单、初级的规避手段依然有效,这一事实表明 xAI 优先考虑了发布速度,而非基本的安全协议。

Grok 对比 Photoshop:“主动创作者”的区别

评论区常见的一种辩护是“Photoshop 也可以用来制作虚假裸照”。这种比较在技术和法律层面都是有缺陷的。

  • 被动工具 (Photoshop):需要人类的技能、时间和手动像素处理。人是创作者;软件是画布。

  • 主动代理 (Grok):用户提供文本指令。AI 决定光影、解剖结构、纹理和构图。AI 根据其训练数据“想象”出非法图像。

这一区别至关重要。当 Grok 根据文本提示生成未成年人的深度伪造(deepfake)内容时,该软件可以说不仅是其托管者,更是 CSAM 的创作者

法律影响:Grok AI 生成的非自愿图像是否受保护?

Legal Implications: Is Grok AI Non-Consensual Imagery Protected?

大量出现的 Grok AI 非自愿图像 再次引发了围绕《通信规范法》第 230 条的争论。从历史上看,像 X/Twitter 这样的平台一直免于对用户发布的内容承担责任。然而,生成式 AI 正在挑战这一保护伞。

突破第 230 条的保护盾

第 230 条保护平台不被视为第三方内容的发布者。如果用户上传了一张虚假图像,平台在收到通知后将其删除,通常是安全的。

然而,法律专家和批评者认为 AI 生成的内容有所不同。由于该平台自身的算法生成了该图像,xAI 不再是中立的第三方。它是作者。如果法院判定生成式 AI 的输出不属于“由另一信息内容提供者提供的信息”,而是由该公司工具创建的信息,那么 Section 230 的豁免权就会消失。

“避风港”论点

xAI 可能会辩称他们是中立的工具制造者。但缺乏防护栏削弱了这一辩护。通过允许针对特定个人的提示词——例如涉及瑞典副首相 Ebba Busch 或大屠杀幸存者的报道案例——该工具展示了其具有可预见且可预防的针对性骚扰能力。

如果法律定义发生转变,开发这些缺乏监管工具的公司高管可能会面临刑事责任,特别是关于 CSAM 的生成,这在联邦系统中带有严重的强制性最低刑期。

案例研究:谁成为了目标?

Case Studies: Who is Being Targeted?

这次发布产生的数据显示,受害者很少是那些倡导这项技术的人。的主要目标Grok AI 非共识图像属于弱势群体类别。

政治人物

政界知名女性正成为这些系统的压力测试对象。政治人物的深度伪造(Deepfakes)不仅是诽谤,更是一种旨在羞辱和使其噤声的政治暴力形式。这些图像在 X 上传播的速度,以及平台自身推荐算法的推波助澜,进一步加剧了损害。

普通个人与未成年人

更令人担忧的是该工具针对非公众人物的使用。由于该工具可以处理上传的 URL 或用户账号,它可能会被指向同学、前伴侣或儿童。在当地社区传播逼真的、AI 生成的虐待材料所造成的心理影响是毁灭性的,无论互联网其他地方是否看到。

财务现实:xAI 的估值与风险

尽管存在争议,xAI 最近完成了一轮融资,公司估值超过 200 亿美元。这种财务上的脱节凸显了科技行业一个严峻的现实:市场目前更看重能力而非安全性。

然而,这一估值是不稳定的。如果欧盟(根据 AI Act)或美国的监管机构决定将Grok AI 非自愿图像作为一种系统性风险,可能会招致巨额罚款或运营禁令。本就对 X 的波动性持谨慎态度的广告商,不太可能希望其品牌出现在 AI 生成的 CSAM 旁边,这可能会导致收入进一步流失。

展望:监管能否跟上?

安全倡导者的共识是,自愿性约束已经失效。“快速行动,打破常规”的信条现在正在摧毁人们的生活。

近期可能会出现一波诉讼潮。我们将看到 Grok AI 非自愿图像 的受害者不仅起诉其诽谤,还会起诉其过失。理由很简单:发布一个明知会产生非法内容且缺乏充分过滤机制的生成器并非创新,而是共谋。

在法律先例确立之前,安全责任仍由用户承担。请将您的公开照片视为潜在的训练数据,并相应地调整您的数字隐私设置。

常见问题解答:了解 Grok 争议

使用 Grok 生成真实人物的图像是否违法?

这取决于内容和司法管辖区。生成未成年人的性化图像(CSAM)在美国是联邦犯罪,在大多数国家也是非法的,无论其是否由 AI 生成。在加利福尼亚州和英国等地,生成未经许可的成年人性化图像也正被列入刑事犯罪。

我能阻止 Grok 使用我的照片吗?

目前,X 的服务条款允许他们使用公开数据来训练其模型。最有效的方法是删除您的照片或锁定您的账户。目前还没有简单的“退出”按钮能保证您的历史数据不被访问。

什么是“甜甜圈釉面 (donut glaze)”漏洞利用?

这是一种特定的提示词攻击技术,用户要求 Grok 用“釉面”或“糖浆”等物质覆盖主体。AI 将其解释为对纹理的请求,但渲染方式在视觉上模仿了违禁的性内容,从而绕过了基于文本的安全过滤器。

第 230 条会保护 Elon Musk 和 xAI 吗?

这目前在最高法院尚未经过测试。许多法学学者认为,第 230 条保护平台免受用户上传内容的影响,但保护平台自身 AI 创建的内容。如果法院裁定AI 生成使公司成为“内容创作者”,他们可能会失去豁免权。

在虚假图像方面,Grok 与 Photoshop 相比如何?

Photoshop 是一个被动的编辑工具,每一个像素的更改都需要人工输入。Grok 是一个主动的生成代理,可以根据文本描述创建图像。论点是 Grok 降低了准入门槛,让任何人都能在几秒钟内无需技能即可生成高质量的虚假图像。

xAI 是否回应了 CSAM 问题?

虽然已经进行了静默更新以屏蔽某些术语,但截至最新报告,官方尚未承认有关“donut glaze”绕过漏洞或针对特定政治人物的系统性失败。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page