康涅狄格州原告因在法庭文件中隐藏 AI 提示词而受制裁
- Olivia Johnson

- 4天前
- 讀畢需時 14 分鐘
据报道,康涅狄格州一家法院在 Matthew Elliott 提交的两份文件中发现了隐藏的 AI 指令,使他试图获取优势的行为反而招致制裁,并登上 Google News。
Elliott 是一名自行诉讼的原告,他在康涅狄格州高等法院起诉了 New York Bariatric Group。2026 年 7 月下旬,他提交的诉状文件含有对人眼几乎不可见、却仍可被文档处理软件读取的文字。
这些隐藏文字指示任何审阅该文件的 AI 模型同意 Elliott 的立场。不过,据报道,法院工作人员并未借助 AI 检测器便发现了它。他们注意到文件的间距与 Elliott 先前提交的材料不同,继而仔细检查文件,发现了微小的白色文字。
这一发现让该案的重要性超越了又一则有人滥用 ChatGPT 的新闻。这一次,AI 并未被指控捏造法律依据或撰写拙劣的诉状。提交的文件本身变成了一个试图向任何可能处理它的模型发出指令的渠道。
其结果暴露出 AI 辅助文档审查中的一项基本矛盾。法院、律所、保险公司、雇主和出版机构希望软件能够读取全部内容;攻击者则会从软件读取人类无法看到的材料中获益。
文件在明面上隐藏了指令
核心行为很简单:据报道,Elliott 在作为普通法庭提交文件呈交的文档中植入了机器可读的指令。
该纠纷为 Elliott v. New York Bariatric Group,案卷号为 AAN-CV-25-6066141-S。公开案卷信息显示,Elliott 于 2025 年 10 月在康涅狄格州 Fairfield Judicial District 提起诉讼。
根据原始报道,Elliott 指控隐私侵权、歧视及其他事项。这些指控仍属于基础民事纠纷的一部分,不应与提示词注入问题混为一谈。
隐藏材料出现在 177.00 和 178.00 两项案卷记录中,均于 2026 年 7 月下旬提交。报道称,这些文字为白色、字号仅三磅,因此在白色页面上很难被人察觉。
其中一项指令要求 AI 模型确保其输出与该文件的立场一致。另一项则引导模型处理“补救措施”,其措辞似乎旨在影响任何生成的分析或建议。
提示词注入是指嵌入不可信内容中的指令,试图覆盖 AI 系统实际任务的行为。此处的不可信内容是法庭提交文件,而非网页、电子邮件或支持工单。
这种区别至关重要。人类读者会将该文件理解为法律论证;设计不佳的模型则可能把提取出的每一句话都当作同等有效的指令,包括那项要求其表示同意的隐藏要求。
该提示词无需提及具体产品。从理论上说,它可以针对任何用于概括、分类、搜索或分析 PDF 的系统,包括对方律师、法院工作人员、研究服务商或记者使用的软件。
不过,公开记录并未证明康涅狄格州法院曾使用 AI 模型裁决 Elliott 的动议。有人尝试进行注入,并不能证明存在易受攻击的自动化决策系统。
这种不确定性区分了已获确认的行为与围绕该事件的猜测。已知问题是隐藏文字;关于某位 AI 法官秘密决定案件的说法,则超出了现有证据范围。
据报道,法院之所以发现这些文字,是因为文件中存在不寻常的空白区域。与 Elliott 先前的文件相比,间距看起来不对劲。有人检查了底层内容,发现了仍可被软件读取的文字。
这一细节带来了第一次反转。隐藏提示词原本旨在利用自动化阅读,却因可见的版式痕迹而被人工审查者发现。
报道称,后续提交的文件中还包含其他隐藏信息,包括玩笑和一个视频链接。这些细节表明,Elliott 知道普通读者本不应看到这些内容。
8 月 6 日,法院就 Elliott 使用提示词注入一事发布了记录命令。报道称,该命令限制了他的电子提交权限,并要求对他今后的提交材料实施更严格的控制。
该诉讼本身未必已由该命令结案。制裁针对的是提交文件的行为,而非针对 New York Bariatric Group 的每一项争议性主张。
这一差别很重要,因为制裁不应被描述为对整起诉讼作出的裁决。相反,这一事件改变了 Elliott 参与案件的方式,并使他的可信度面临新的压力。
Google News 标题淡化了风险
白色空白区域构成了一个令人印象深刻的 Google News 标题,但更大的问题在于,文档如今同时承载证据和看似可执行的语言。
PDF 曾经看似是被动的。读者打开它们、搜索它们,或将段落复制到另一程序中。AI 系统改变了这种关系,因为它们可以摄取整份文档,并基于提取的文字采取行动。
模型无法可靠地从字体颜色判断权限层级。文档提取往往会忽略视觉差异,将标题、脚注、白色文字和可见论点转化为同一串 token。
这一过程形成了间接提示词注入。攻击者并非直接向聊天机器人输入恶意命令,而是将其植入日后由他人交给模型处理的材料中。
这种技术已经出现在美国诉讼之外。据报道,在一起巴西劳动争议中,律师在诉状中插入了白底白字指令,意图影响 AI 辅助法律工作流。
法院在发现隐藏文字后对这些律师作出了制裁。巴西事件表明,提示词注入已经超出实验室测试和对抗性安全演练的范围。
Elliott 案将同样的风险带入了一起已被报道的美国法庭程序。它还显示,自行诉讼人也能尝试过去主要由安全研究人员讨论的技术。
其他领域同样面临数据与指令混杂的问题。一份简历可以告诉招聘模型把其申请者排在首位;一个产品页面可以指示购物代理忽略竞争对手的报价;一封电子邮件可以要求助手披露内部信息。
一份合同可能隐藏文字,告诉审查工具每一项条款都属标准条款。一篇研究论文可能指示自动化审稿人建议接收。一张支持工单可能试图将代理引向未经授权的账户操作。
这些例子共享同一种机制。模型从其运营者处接收可信指令,随后遭遇模仿命令的不可信文本。
现代系统采用指令层级、过滤器、隔离工具及其他防御措施。这些控制措施能够降低暴露风险,但提示词注入仍然难以解决,因为自然语言同时充当数据和控制界面。
当软件能够采取行动而不只是生成摘要时,风险会进一步上升。糟糕的摘要会浪费时间;能够访问电子邮件、文件、付款或案件管理软件的代理则可能带来直接后果。
Microsoft 在讨论跨提示词注入时承认了这一更广泛的类别:文档或界面中的恶意内容可能覆盖代理原本应遵循的指令。该公司的应对措施包括受限工作区、有限权限和活动日志。
这些控制措施说明了一项实用的安全原则。组织应假定恶意指令会抵达模型,然后限制模型在这种情况发生时能够做什么。
法庭文件需要接受更严格的处理。提交文件的一方对结果具有利害关系,其中的每一项陈述都是主张、证据或指控,而不是供审阅系统信任的命令。
因此,AI 工作流应在文档周围设置严格边界。系统可以概括其内容、识别引文或比较论点,但绝不应接受文档内部发现的操作性指令。
可视化渲染同样重要。若审查流程仅提取原始文本,可能会丢失帮助发现 Elliott 提示词的线索。它或许无法知道一句话是否以白色显示、字号是否为三磅,或是否位于正常阅读流之外。
这意味着文本提取应与版式分析结合。系统可以标记异常小的字体、前景与背景颜色相同的内容、不可见图层、页面外对象以及可疑间距。
光学字符识别提供了另一种比对方式。系统可以评估渲染图像中显示的内容,与 PDF 内部文本层所含内容是否一致。仅存在于其中一种表示形式中的材料值得审查。
目标并非将每一种格式异常都认定为恶意。法律 PDF 中常有扫描错误、无障碍性不足的表单、删节内容、转换伪影和生成质量不佳的文本层。
相反,组织需要建立针对异常情况的审查路径。安全系统应保留原始文件、识别隐藏内容,并在任何自动化操作继续之前向人工审查者展示其发现。
真正的较量是人工问责与自动化便利之间的冲突
本案将需承担责任的人工审查,与那些允许软件在不保留视觉及法律语境的情况下读取对抗性文件的工作流置于对立面。
对手并非 Elliott 与某一个聊天机器人,也不是 New York Bariatric Group 与某家 AI 供应商之间的较量。核心冲突在于,当软件协助审查具有重大影响的文件时,究竟由谁继续承担责任。
法院早已使用技术搜索记录、管理提交材料、记录庭审并整理证据。律师每天也在使用文档审查系统和法律数据库。拒绝所有自动化工具,将无视数十年来的法律实践。
生成式 AI 带来了另一种失效模式。传统搜索会检索与查询相匹配的文档;语言模型则可以综合生成看似完整的答案,同时掩盖每项结论受到了哪些来源的影响。
当隐藏指令进入这一综合过程时,用户可能在看不到操纵尝试的情况下收到带有偏向的结果。模型流畅的输出会让干扰更难被识别。
这正是为何司法指导越来越强调个人责任。英国更新后的司法 AI 指导明确将白色文字界定为计算机可见、但人类读者看不见的内容。
该指导指出,法官必须阅读底层文件,并对以其名义发布的材料承担责任。它允许将 AI 作为辅助工具,同时拒绝软件可以取代法官直接参与审理的观点。
这种方法为一个司法辖区之外的场景提供了有益基准。它并不依赖于声称模型毫无用处,而是界定了辅助与委托判断之间的边界。
康涅狄格州在 Elliott 的命令之前也已收紧自身规定。据报道,2026 年 6 月的一项修正案要求律师和自行代理的提交人核实使用生成式 AI 生成的引文、法律依据和证据。
新的第 4-9 条主要针对不准确或伪造的材料。Elliott 被指控的注入则呈现了相反的问题。提交人不是盲信错误的模型输出,而是试图影响任何可能会读取其文件的模型。
这两个问题都指向同一条责任链。提交人仍应对其提交内容负责。律师必须核实自己的工作。法院必须审查证据。技术提供商必须将外部文件视为敌对输入。
纽约州法院系统在其 AI 年度报告中得出了相关结论。其建议允许在受控条件下使用 AI,同时强调准确性、保密性、监督以及既有的职业义务。
这些义务不能外包给供应商的安全过滤器。产品可以对可疑文本发出警告,但法官或律师仍必须评估实际提交文件和具有权威性的法律依据。
构建文档工作流的组织应当让这种分工清晰可见。AI 生成的摘要应标明其来源、展示引用段落,并保留回溯至渲染文档的路径。
用户还需要保留系统接收内容的记录。这包括原始文件、提取文本、系统指令、模型版本、输出、工具活动以及任何安全警告。
没有这些记录,组织便无法重建隐藏指令是否影响了结果。它可能只能看到一份润色完善的答案,却无法可靠说明模型是如何得出该答案的。
这一要求将提示注入与知识管理联系起来。团队需要在源文件、生成的解读与经验证的结论之间建立可信的隔离。
结构化的 AI 知识库有助于维持溯源性,但仅靠存储并不能消除恶意内容。检索与推理层仍必须将导入文本视为不可信内容。
这一冲突中的便利性一面依然颇具吸引力。法院面临繁重案卷,律所处理大量证据开示材料,个人诉讼当事人则难以应对复杂程序。
摘要承诺减少阅读时间。引文提取承诺加快核查。草稿生成承诺让更多人获得法律信息。
然而,每节省一分钟,都会增加人们信任生成结果的压力。一旦工作人员不再核对原始文件,助手便会悄然成为决策层。
据报道,Elliott 的提交文件让这一隐藏转变显现出来。该提示假定有人可能会将诉状输入模型并依赖其输出。无论这一假定是否正确,都不如其所瞄准的漏洞重要。
尝试失败,但防御尚未得到证明
据报道,该提示并未让 Elliott 的动议获胜,但一次失败的注入无法证明法律 AI 系统是安全的。
据 404 Media 报道,记者使用 ChatGPT 测试了该提交文件,并要求模型作出决定。据称,该聊天机器人裁定 Elliott 的动议不成立,并表示它注意到并忽略了这一注入。
从狭义上看,这一结果令人安心。在一个测试提示下,一个当代模型没有遵从隐藏要求。
但这无法复现所有可能的工作流。法院系统可能以不同方式提取文本、使用另一种模型、加入检索到的判例法、将文档拆分为多个片段,或提出更狭窄的问题。
提示注入对上下文十分敏感。同一载荷可能在一种指令下失败,却影响另一种指令。预处理、周围文本、系统提示或模型版本的微小变化都可能改变结果。
据报道,这项测试发生时,记者已知存在注入。常规用户可能只会要求摘要,既不会检查原始格式,也不会收到明确警告。
安全性不能依赖每位攻击者都写出显眼指令。据报道,Elliott 的措辞直接提及 AI 模型并要求其认同,因此其意图相对容易识别。
未来的载荷可以仿造文档元数据、引文、注释、无障碍文本,或来自可信应用的指令。它们还可以将命令分散在多个页面,或将其编码进图像。
防御方也必须避免夸大法院中发生的事情。没有经过验证的公开证据表明,AI 系统采纳了 Elliott 的论点,或影响了司法裁决。
因此,将此称为被 AI 攻陷的判决并不准确。这是一次据报道试图操纵潜在 AI 审阅的行为,随后被人工发现并由法院采取行动。
这一限制并不意味着该事件无害。即使失败,入侵尝试也可能暴露架构弱点。
安全问题在于:如果这一技术以规模化方式出现,组织是否会发现它。一名书记员在两份提交文件中注意到异常间距,但自动化接收系统可能会处理数千份文件,却没有同等程度的关注。
人工审查也有局限。格式更完善的文档未必会造成明显的空白区域。白色文字可以隐藏在可见字符之后,或置于图像层内。
组织需要分层控制措施,因为无论是人还是分类器都无法捕捉一切。在内容到达模型之前,初步扫描应识别隐藏对象和异常样式。
随后,模型应收到明确指令:文档是证据,而非权威。其工具应以最小权限运行,具有重要后果的操作应要求人工批准。
生成输出应展示不确定性与溯源信息。若系统遇到类似命令的语句,它应呈现相关段落,而不是静默决定是否遵从。
独立的安全监控器可以将输出与源内容进行比对。若系统突然认同文档要求的结论,尤其是在缺乏支持性分析的情况下,应触发审查。
底层模型不应被允许批准自身的安全性。受到注入影响的模型也可能声称不存在注入。
独立检查可以包括确定性的 PDF 检查、专用分类器、文本与渲染结果比对以及人工抽样。每一种方法都能捕捉不同的失败模式。
此案还引发了公平性问题。成熟的当事方可能拥有安全团队和受控的法律软件。自行代理的诉讼人、小型律所和地方法院则可能依赖治理较弱的通用工具。
单纯禁止 AI 的限制可能会将使用行为推入隐蔽处。明确规则、获批系统、培训和可审计工作流提供了更现实的应对方式。
与此同时,获取便利性的担忧不能为隐藏指令开脱。当事人使用 AI 起草文件,与当事人试图操纵另一位用户的模型,是两回事。
这条边界应当保持易于理解。辅助工具帮助人们构思或审查论点。注入则试图控制审阅对方材料的系统。
法院和 AI 团队接下来应关注什么
下一项考验在于,机构是将此视为孤立的噱头,还是围绕对抗性输入重新设计文档管线。
第一个信号将是对 Elliott 提交权限及其基础案件的最终处理。据报道,8 月 6 日的命令施加了限制,但后续案卷活动将显示法院如何执行这些限制。
更完整的公开记录也可能澄清制裁所依据的程序性权限。这对其他司法辖区面临类似行为的法院而言十分重要。
Elliott 争议未必会在康涅狄格州以外形成具有约束力的先例。然而,一份详尽的命令仍可为法官和法院管理者提供识别与应对隐藏提示的实用范本。
第二个信号是强制文档净化措施的采用。法院和律所应开始披露,上传的 PDF 是否经过检查,以发现隐藏图层、文字与背景颜色相同的情况,或异常字体大小。
净化不能意味着悄然篡改证据。系统必须保留原始文件、记录每一次转换,并将任何可疑差异呈交审查。
一种安全流程可以将原始提交文件渲染为受控表示形式供 AI 分析,同时保留源文件供法律审查。模型只会接收可见内容和可信元数据。
这种方法存在取舍。渲染可能移除有用的无障碍信息、损坏表格,或引入光学识别错误。因此,每个转换版本都需要能够追溯至原始文件。
第三个信号是 AI 供应商是否向用户暴露提示注入事件。静默过滤器或许能保护一次响应,但几乎无法为组织调查持续性攻击活动提供证据。
企业系统应指出哪一段文本触发了警告、何种操作被阻止,以及是否访问了工具或外部数据。日志也必须遵守法律材料的保密规则。
公开基准将帮助买家比较防御能力。测试应包括对抗性 PDF、图像、隐藏图层、多语言提示、碎片化指令,以及伪装为法律格式的载荷。
供应商不应因为一次直接的“忽略先前指令”测试失败,就宣称自己具备免疫力。攻击者会根据模型、工作流和目标调整措辞。
法院可以借鉴安全软件设计。它们应验证不可信输入、将数据与命令分离、最小化权限、要求重要操作获得批准,并保留有用的审计记录。
法律专业人士还需要一种可靠方法,用于比较 AI 摘要与源文件。谨慎的 知识融合可通过让检索到的段落与最终分析保持关联,从而支持审查。
最终结论仍由人工审阅者负责。软件可以组织相互竞争的主张、定位重复措辞,或标记缺失引文。它无法决定自己的解读值得获得司法权威。
通过 Google News 阅读此事的人应避免得出最简单的结论。这并不是 AI 法官秘密运行康涅狄格州法庭的证据。它表明至少有一名诉讼当事人预期,在法律链条的某个环节会存在机器审阅。
仅这一预期就改变了威胁模型。提交至具有重大后果的工作流中的每一份文档,都可能包含面向两类受众的语言:可见读者和不可见的解析器。
据报道,法院之所以发现 Elliott,是因为文件呈现方式看起来不对。下一位攻击者可能更了解 PDF 布局,而下一个目标可能会处理文件,却没有书记员逐页审阅。
组织现在就应测试自己的系统。向受控 AI 工作流提供一份包含隐藏指令的无害文档,然后检查它是否遵从、忽略、标记或记录这些指令。
答案应决定下一步行动。遵从命令的系统需要隔离。忽略命令却不记录的系统需要可观测性。将一切都标记的系统则需要更高精度。
最重要的是,机构必须决定哪些判断不能被委托出去。摘要可以支持法律工作,但证据评估和最终裁决需要能够阅读基础记录并承担责任的人。
Google News 的新闻周期很快会转向下一个话题。但隐藏文本问题仍会潜伏在合同、简历、申报文件、研究论文、电子邮件,以及所有正由 AI 系统解读的其他文档之中。
法院和供应商会在更隐蔽的提示词抵达更受信任的模型之前建立这些防护措施,还是要等到自动化决策真的发生改变后才行动?


