xAI 因 CSAM 起诉一名 Grok 用户,推翻其公开否认
已更新:7月20日
xAI 已起诉一名 Grok 用户,指控其涉嫌制作儿童性虐待材料,尽管该公司此前否认知晓其模型生成过此类图像。7 月 14 日提起的诉讼,是 xAI 首次指控其自身用户利用 Grok 达成这一目的。
这一转变之所以重要,是因为 xAI 同时提出了两项主张。其诉状称,一名用户绕过安全防护措施后,Grok 生成了违禁材料。诉状同时声称,责任应由该用户承担,而非运营该模型的公司。
因此,此案的影响超出了单个被指控的违法者。它将检验一家 AI 提供商能否在承认有害输出的同时援引其用户协议,并避免其生成这些内容的系统受到更深入的审查。
xAI 因涉嫌生成 CSAM 起诉一名 Grok 用户
该诉状改变了 xAI 的立场:从否认曾出现相关输出,转为指认一名据称通过 Grok 生成了这些内容的用户。
xAI 在美国得克萨斯州北区联邦地区法院对 Terry Wayne Harwood 提起了这起民事诉讼。Harwood 是南卡罗来纳州居民,今年 2 月因涉嫌对未成年人进行性剥削而被捕。
xAI 诉状中的指控尚未在法庭上得到证实。公开报道并未确认代表 Harwood 的律师,其对该诉讼的回应也尚不可知。
据 xAI 称,Harwood 上传了成年人和未成年人的普通照片,并要求 Grok 将其转换为露骨色情图像。该公司还指控他制作了未经成年人同意的色情图像。
诉状称,相关活动发生在 2025 年 12 月 8 日至 2026 年 2 月 18 日之间,涉及至少两个账户。xAI 声称,Harwood 使用了异常复杂的账户名称,并试图规避其管控措施。
诉状称,这并不仅仅是违禁材料出现在 X 上的案件。xAI 将被指控的生成过程直接归因于其自己的 AI 系统 Grok。
这一区别是此次立场逆转的核心。此前的争议通常让 xAI 得以质疑相关图像究竟来自 Grok、其他模型,还是无关的编辑服务。
而在此案中,xAI 正在将其自身的账户记录作为证据。该公司似乎是在表示,它能够将特定输入、账户、输出和政策违规行为关联起来。
该公司指控 Harwood 违反其服务条款并绕过技术安全防护措施。它要求获得金额未明确的经济赔偿,并请求法院颁布永久禁令,禁止他创建 xAI 账户或使用 Grok。
这起 Grok 用户诉讼 是已知最早由 AI 提供商针对涉嫌生成 AI 制作的 CSAM 的客户所提起的案件之一。这使其成为将合同执行用作 AI 安全策略的早期考验。
xAI 表示,其会暂停账户、终止访问权限,并向 National Center for Missing and Exploited Children 报告疑似 CSAM。其诉状声称,该公司在 2026 年暂停了 52,222 个账户,并提交了 73,604 份报告。
诉讼文件还声称,这些报告促成了至少 244 人被捕。这些数字由 xAI 在诉讼中提供,最初的公开报道并未包含独立核实结果。
该公司将被指控的行为描述为有预谋地将 Grok 用于犯罪目的。它认为,这些行为既伤害了真实受害者,也给 xAI 带来了法律和声誉风险。
这种措辞清楚表明了该公司的直接目标。xAI 希望法院将 Harwood 视为唯一蓄意实施不当行为者,并将 Grok 视为遭到滥用的服务。
然而,该诉讼文件也确立了 xAI 此前拒绝承认的事实。据称,其系统在收到用户指令和源照片后,生成了涉及可识别未成年人的违禁色情图像。
最重要的问题已不再是恶意用户是否实施了恶意行为,而是 xAI 是否针对这种既被禁止又可预见的行为,建立并运行了充分的阻碍机制。
该诉讼与 Musk 此前的否认相矛盾
xAI 在法庭上的指控与 Elon Musk 今年 1 月声称自己不知道 Grok 生成过任何未成年人裸照的说法难以相容。
2026 年初,Grok 因用户要求其修改真人照片而受到严厉审查。许多请求要求去除衣物,或将可识别人物置于色情化场景中。
报道记录了对女性和疑似未成年人的色情化描绘。这场争议进一步扩大,因为 Grok 可以在 X 上公开回应,使生成和传播成为同一次公开可见互动的一部分。
Musk 在 1 月回应这场丑闻时表示,他不知道 Grok 曾生成任何未成年人裸照。他还称,任何利用 Grok 制作非法材料的人,都将面临与上传此类材料者相同的后果。
这种表述十分狭窄。它并未证明 Grok 在技术上无法创建此类材料,却让人们对有关该系统曾经这样做的报道产生了怀疑。
新的诉状不再保留这种模糊空间。xAI 现在指控一名具名用户向 Grok 提交照片,并试图生成未成年人的色情化图像。
这一转变并不构成正式承认此前的每一项指控都属实,也不能证明 xAI 有意助长了相关行为。
尽管如此,这起诉讼使全面否认变得更加难以维持。xAI 无法一边主张 Grok 从不创建此类材料,一边向被控利用 Grok 创建这些材料的人索赔。
这一矛盾对针对该公司的其他诉讼也很重要。今年 3 月,三名田纳西州青少年起诉 xAI,指控 Grok 将他们的真实照片转换为露骨色情图像。
他们的 3 月诉状 描述了据称保留了可识别面孔和熟悉场景的照片与视频。原告称,一条匿名消息提醒其中一名青少年,有相关文件通过 Discord 服务器传播。
这些青少年主张,源照片本来合法,直到一个 AI 系统对其进行了转换。他们的诉讼将 Grok 的生成过程视为有害行为的一部分,而非承载用户内容的中立渠道。
xAI 不同意其产品设计应使公司承担责任的说法。Harwood 案为其提供了另一种描述同类底层活动的方式。
按照 xAI 的说法,一名用户蓄意违反明确规则并突破了安全防护措施。按照这些青少年的说法,xAI 在缺乏充分保护的情况下,提供了一种可预见会被滥用的图像生成能力。
这两种说法都可能包含部分事实。一个人可能蓄意滥用系统,同时其提供商也可能未能妥善管理可预见的风险。
争议的焦点在于法院应如何划分这些行为主体之间的责任。并不需要在用户不当行为与产品问责之间二选一,仿佛两者只能存在其一。
Ashley St. Clair 因据称基于其照片生成的色情化图像而起诉 xAI 时,也出现了类似的矛盾。据她的诉状称,其中一张图像基于她 14 岁时拍摄的照片。
xAI 对该争议的回应之一,是援引其用户协议并质疑案件的起诉地点。这起 深度伪造诉讼 显示了该公司积极运用合同条款的意愿。
Harwood 案进一步扩展了这种做法。xAI 不再只是将该协议用于抗辩,而是将其作为主动向用户提出索赔的依据。
这一法律策略将安全规则转化为潜在的诉讼工具。它同时要求法院在技术控制据称失效后,执行该公司对责任的分配。
由此产生的立场逆转,并不等同于 xAI 承认承担全部责任。但其意义远超常规的账户暂停,因为该公司正在将自身证据提交给一名联邦法官。
xAI 希望由用户协议承担责任划分功能
此案试图将 xAI 的可接受使用政策转化为一道法律界线,用以区分用户的蓄意滥用与公司自身的产品责任。
大多数生成式 AI 服务都禁止性剥削、未经同意的私密图像,以及规避安全控制的企图。这些禁令为提供商关闭账户和保存证据提供了依据。
xAI 的诉求不止于此。其诉状基于以下理论要求赔偿:Harwood 被指控的行为违反了具有约束力的协议,并给公司造成了可明确识别的损害。
这些被指控的损害包括法律风险、调查成本、运营中断和声誉损害。实际上,xAI 主张用户应承担违禁输出所产生的成本。
这一策略有其直观合理性。任何提供商都无法人工批准每一项请求,而意图坚定的违法者往往会创建新账户或修改提示词,以绕过自动过滤器。
蓄意针对真实未成年人的用户还掌握着模型提供商无法获得的信息。他们可能认识相关人物,并知道哪些普通照片经处理后会造成最严重的伤害。
因此,强有力的执法应对能够遏制仅靠暂停账户无法阻止的行为。永久性法院命令的分量远高于再次封禁一个用户名。
复杂之处在于 xAI 的赔偿条款。Ars Technica 报道称,xAI 希望法院认可合同中将用户内容和 Grok 生成输出的责任分配给用户的条款。
赔偿通常要求一方承担另一方遭受的特定损失。其在本案中的适用情况,将取决于协议内容、被指控的行为、因果关系以及法院的解释。
对 xAI 有利的裁决将为 AI 提供商提供一种法律范本。公司可以将账户管控与民事索赔相结合,针对据称利用其模型实施严重滥用的用户采取行动。
这一范本不会自动使提供商免于单独的产品责任索赔。与用户签订的合同,并不一定能消除其对从未同意该合同的人所负的义务。
被操纵图像中描绘的未成年人往往是平台协议之外的陌生人。他们没有选择该模型、接受其条款,也没有同意进行任何转换。
这形成了一条重要界线。xAI 的合同可以约束其与 Harwood 的关系,但仅凭该合同无法解决被指控受害者提出的索赔。
Harwood 案仍可能间接影响这些索赔。如果 xAI 证明被告曾反复绕过有效的安全防护措施,这些证据将支持其关于蓄意滥用的主张。
如果证据开示表明,简单的提示词就能反复生成违禁图像,同样的证据将削弱该公司的产品安全叙事。因此,生成内容的技术路径与合同措辞同样重要。
法院需要区分真正的规避行为与可预见的交互模式。只需稍微改变措辞就会失效的安全防护措施,可能只是名义上存在,而无法提供有效保护。
xAI 尚未公开披露与被指控账户相关的完整提示词、拒绝记录、模型版本或内容审核事件。这些记录可能决定本案究竟涉及复杂的规避手段,还是系统的普通行为。
该诉讼文件还引发了关于时间线的疑问。xAI 表示,相关活动通过多个账户持续了两个多月。
这一时间跨度令人追问:公司何时发现了该行为、阻止了什么,以及为何该用户据称仍能继续访问服务。它还引发了另一个问题:相关的源图像和输出内容是否得到了保存。
合同执行可以在损害发生后惩罚用户,但无法替代检测、预防、快速报告或协助执法部门。
对于企业 AI 买家而言,这一区别并不陌生。可接受使用政策界定禁止行为,而技术治理则决定这些禁令在实际运营中是否有效。
评估 AI 服务的公司应同时审视这两个层面。他们既需要了解合同的规定,也需要了解模型产生严重违反政策的内容时,服务提供商会如何应对。
可搜索的 AI 知识库 可以帮助团队保存模型评估、事件记录和供应商声明。当供应商在公开事件发生后改变说法时,文档记录尤其重要。
核心难题在于 Grok 的安全防护是否有效
起诉涉嫌违规者并不能解释,为何据称 Grok 完成了被禁止的图像转换,也不能说明 xAI 以多快的速度制止了这些行为。
xAI 表示 Harwood 绕过了安全防护,但这一表述涵盖了广泛的技术行为。它可能指复杂的攻击、反复变换提示词、轮换账户,也可能仅仅是发现了内容审核不一致的问题。
其中的区别至关重要。即使是精心设计的控制措施,有时也会被意志坚定的攻击者攻破,但可预见的失效则可能表明测试不足或部署决策存在问题。
生成式图像安全通常涉及多个层面。服务可以筛查上传的照片、分析提示词、评估生成的图像、限制高风险编辑,并监控账户行为。
服务还可以限制请求速率、验证身份、保存日志,并在发现疑似 CSAM 时发送可供采取行动的报告。任何单独一层都不足以提供全面保护。
针对 Harwood 的指控表明,xAI 具备一定程度的账户级可见性。该公司识别出了两个账户、一个日期范围、源文件上传记录以及所请求的图像转换。
尚不清楚的是,这些信息是在何时变得可见的。最初的报道并未确认 xAI 是实时检测到了这些活动,还是在执法部门介入后才重建出事件经过。
xAI 对外报告的质量也是另一个争议点。另一项诉讼援引了 NCMEC 在 2026 年发布的一份报告,其中称 xAI 提交至 CyberTipline 的报告有 90% 无法供执法部门采取行动。
根据所援引的材料,这些报告缺少追踪和定位涉嫌违法者所需的用户信息。这一说法来自另一份诉状,需要通过证据和证词加以审查。
它也与 xAI 在新诉讼中强调的规模形成冲突。报告数量庞大听起来意义重大,但仅凭报告量并不能证明其是否及时、完整或具有调查价值。
所声称的 244 人被捕同样如此。诉状并未公开解释 xAI 如何认定每次逮捕都源于其报告,也未说明其中有多少案件涉及 Grok 生成的图像。
这些不确定性并不会否定执法工作的价值。它们表明,衡量安全表现需要比账户封禁数量和提交总量更具体的指标。
有用的指标应包括从检测到限制账户所需的时间、完整报告所占的比例,以及跨账户关联识别出的重复违规行为。误报率和申诉结果也同样重要。
今年 1 月,由两党组成的 35 名州检察长要求 xAI 采取更有力的行动。他们在 儿童安全联名信 中要求建立持久的安全防护,以应对未经同意的私密影像和 CSAM。
这些官员指出,xAI 似乎已经减少了部分有害输出。尽管如此,他们仍要求 xAI 保证其控制措施有效、能够得到一致执行,并且不会轻易被撤销。
争议发生后,X 宣布实施限制措施,包括在相关行为违法的地区,限制将真人编辑成身穿暴露服装的形象。它还将部分图像功能限制为仅供付费账户使用。
付费机制可以改善账户的可追溯性,但并不是内容安全防护措施。付费用户仍然可能造成伤害,而被盗的支付方式或一次性账户也可能削弱身份归因能力。
地域限制带来了另一项挑战。如果系统只在当地法律明确禁止某类图像的地区进行拦截,受害者仍可能在跨境传播中遭受伤害。
儿童安全要求不应取决于请求是否来自某个特定司法管辖区。其根本风险会随着图像中被描绘的人及传播的图像而延伸。
竞争对手也面临同样的普遍威胁,尽管它们的产品决策有所不同。OpenAI、Google 和 Anthropic 均制定了限制措施,涵盖涉及未成年人的色情内容及其他滥用行为。
真正值得比较的并不是哪家公司发布了最严格的政策,而是哪套系统能够抵御操纵、检测失效,并在不暴露无辜用户的情况下协助调查人员。
Grok 受到格外关注,是因为其图像生成功能与 X 的公开发帖系统相互联动。有害输出可以在对话界面中生成,并立即展示给大量受众。
这种整合缩短了从生成到传播的距离。它还为 xAI 提供了比独立模型提供商可能掌握的更多行为背景信息。
该公司可能将源文件上传、提示词、生成文件、公开帖子、账户历史记录和支付信息关联起来。如果有关报告中缺少身份标识符的指控被证实,这将使报告不完整的问题更加难以解释。
xAI 的诉讼可能会揭示这些能力是否按预期发挥了作用。证据开示过程可能披露内部审核阈值、升级处理规则,以及在 12 月至次年 2 月期间作出的决策。
在此之前,有关绕过防护的说法仍不完整。这个词描述的是 xAI 的法律理论,而不是一份经过公开验证的技术说明。
用户滥用与产品责任可以同时存在
xAI 最有力的抗辩理由是,涉嫌违规者存在故意行为,但蓄意滥用并不能消除可预见的产品风险。
针对 Harwood 的指控描述了应当受到直接法律追究的行为。上传真实未成年人的照片并进行色情化处理,既不是无害的实验,也不是无意间违反政策。
服务提供商应当保存证据、限制访问、报告疑似犯罪活动,并配合调查人员。如果法律和合同提供依据,采取民事执法措施也可能是适当的。
因此,认定涉嫌违规用户应当承担责任并无争议。但将这种责任视为完整答案则存在问题。
AI 公司决定部署哪些能力、用户能够多么轻易地访问这些能力,以及哪些图像转换需要接受额外审查。它们也会决定是否将宽松的输出限制作为产品优势。
田纳西州的原告指控 xAI 宣传 Grok 能够生成“火辣”和不适合工作场合的内容。他们认为,这种设计使滥用型图像转换具有可预见性。
这些只是指控,而非已经确认的事实。不过,更广泛的安全问题并不取决于能否证明 xAI 有意生成非法内容。
模型可以面向合法的成人内容进行设计,但当用户上传真人照片时,仍可能造成不可接受的风险。年龄识别的不确定性使这条边界尤其难以把握。
模型无法可靠地判断图像中的人物是否为未成年人,也无法确定上传者是否获得了被描绘者的同意。
因此,服务提供商必须依靠谨慎的默认设置、身份限制、内容分类器和生成后审查。每项控制措施都会引入权衡,并且仍可能出现错误。
过于严格的过滤可能会阻止合法请求、艺术创作或普通家庭照片。过于宽松的过滤则可能助长未经同意的影像制作和剥削行为。
这种权衡的存在并不能成为不采取行动的理由。它意味着服务提供商必须记录其为何选择特定阈值,以及失效时将如何应对。
xAI 的诉状将用户意图置于案件核心。起诉 xAI 的原告则将产品设计和可预见的滥用置于其案件核心。
这是两个不同的法律问题,但涉及相互重叠的证据。提示词日志可以揭示用户意图,而拒绝率和内部测试则可以反映安全防护的强度。
法院可能会认定 Harwood 违反了与 xAI 的协议,而不对 Grok 是否具备合理安全性作出裁决。另一家法院也可能认定产品存在缺陷,同时不免除用户的责任。
这些案件涉及的受损方也不同。xAI 表示其遭受了经济和声誉损失,而这些青少年则描述了恐惧、羞辱以及失去对自身身份控制权的感受。
这种差异可能会影响公众反应。当涉嫌受害者正在向同一家公司寻求救济时,该公司要求就声誉损害获得赔偿,可能显得具有防御性。
xAI 可以通过提高透明度和支持受害者来缓解这种紧张关系。如果起诉违规者的同时伴随着可验证的预防和报告机制改进,这类诉讼将更具说服力。
该公司尚未就 Harwood 的账户发布详细的公开事件报告。它也没有解释哪些安全防护失效,以及哪些改进可以防止类似事件再次发生。
事件报告无需暴露敏感图像,也不必披露可能被违规者利用的运营细节。它仍然可以提供日期、检测阶段、响应时间和纠正措施。
AI 服务提供商经常要求用户信任隐藏的内容审核系统。严重事件的发生使这种安排更难维持。
开发者需要证据证明安全 API 和分类器能够保持稳定表现。企业买家则需要明确的事件升级渠道,以及针对疑似滥用内容的数据保留政策。
家长、学校和普通用户需要可靠的删除机制。他们还需要确信,合法照片不会通过简单指令就被转换成滥用性内容。
这起诉讼开始回答 xAI 认为应当由谁付出代价,但尚未回答 xAI 认为自己必须作出哪些改变。
三个信号将表明 xAI 的立场转变是否具有实质意义
下一阶段将由法庭证据、报告质量以及 Grok 图像控制措施中可验证的变化来衡量。
第一个信号是 xAI 关于绕过防护的证据。法庭文件应当明确 Harwood 据称采取了哪些行为、哪些提示词遭到拒绝,以及相关账户如何绕过了执行措施。
如果证据表明存在持续且技术复杂的规避行为,xAI 关于用户不当行为的论点将更有说服力。这将证明该公司面对的是一个蓄意攻破实质性控制措施的对手。
如果只需对提示词稍作修改就能生成被禁止的输出,那么相反的结论将更为可信。这将表明安全防护在生成环节缺乏一致性。
第二个信号是 xAI 是否提高了儿童安全报告的实用性。围绕 CyberTipline 报告据称不完整的争议,无法通过醒目的庞大总量数字来解决。
未来披露的信息应当说明,报告是否包含账户标识符、IP 信息、相关时间戳,以及调查人员依法需要的材料。速度和完整性比单纯的数量更重要。
如果有证据表明报告变得更具可操作性,将增强 xAI 关于其诉讼属于更广泛执法计划一部分的主张。如果报告继续遗漏关键信息,则会削弱该公司试图将责任完全归于用户的努力。
第三个信号是,在公众关注消退后,Grok 的图像保护措施是否仍然有效。1 月份的限制措施是在监管机构、受害者和国际主管部门的压力下出台的。
持久有效的管控措施应覆盖 Grok 的各个界面、X 集成及授权访问点。如果同一模型仍可从其他地方访问,那么仅在一个界面实施限制所能提供的保护就十分有限。
独立测试应检查涉及真实人物、年龄不确定、重复提示以及尝试创建新账户的编辑行为。测试必须避免生成或保留非法材料。
如果结果显示系统能够始终如一地拦截此类行为,将支持 xAI 的说法,即个别用户必须主动绕过其系统才能得逞。如果问题反复出现,则会进一步印证该产品仍具有可预见的不安全性。
监管行动将提供更多背景信息。各州总检察长已要求 xAI 说明其管控措施,而相关诉讼则寻求获取内部证据。
法院不会迅速解决所有问题。合同索赔、产品索赔和法定义务可能会按照各自不同的时间表推进。
尽管如此,Harwood 诉讼已经改变了公开记录。xAI 目前声称,有人使用 Grok 生成了 Musk 此前表示自己并不知道该系统曾生成过的那类材料。
这并不意味着 xAI 应对每位用户的所有行为负责。但这也不意味着该模型只是一个被动对象,对由此造成的伤害毫无作用。
此案的持久重要性将取决于 xAI 是将诉讼视为其中一层执法手段,还是将其作为更安全设计的替代方案。这一区别将体现在证据中,而非口号里。
读者应关注首份关于所谓安全措施如何失效的详细说明。他们还应关注 xAI 是否会公布可量化的改进,让受害者、调查人员和独立研究人员能够进行评估。
xAI 对一名 Grok 用户提起的诉讼确立了一种新的法律策略,但并未终结有关责任归属的争论。它将这场争论带入法庭,使内部记录能够接受检验。
xAI 会利用此案揭露一名蓄意违法者,同时改进 Grok,还是主要在有害输出出现后转移责任?接下来的诉讼文件应会开始给出答案。



