MIT 关于 AI 虚假记忆的研究揭示了人工监督的薄弱环节

MIT 研究人员通过多项实验，将 AI 生成内容与虚假记忆联系起来；其中一项实验显示，经篡改的视频会使错误回忆增加一倍。

MIT 关于 AI 虚假记忆的研究并不意味着每一张生成图像或每一份摘要都会改写观看者的过往记忆。它得出了一个范围更窄、但影响更重大的发现：当人工生成内容向人们此前见过的事物中插入看似合理的细节时，这些细节可能成为他们记忆的一部分。

这与部署人工智能时占主导地位的安全模式形成了直接冲突。企业和公共机构往往期待人工审核者能够发现系统错误。研究表明，在纠正发生之前，系统输出就可能影响审核者的记忆。

这一担忧如今已不止于旨在欺骗受众的深度伪造内容。一份不准确的会议摘要、警方报告、经过编辑的家庭照片或视频回顾，即使并无恶意，也可能引入同样的基础风险。

这并不是人类认知中新出现的弱点。数十年来，心理学家一直在记录错误信息效应，即后续信息会改变人们对先前事件的记忆。生成式 AI 改变了可能触发这一效应的材料的规模、速度、个性化程度和表面流畅性。

因此，核心问题并不是人类是否有时会记错。问题在于，在 AI 生成材料已进入审核者的信息流之后，组织能否仍将人工审核视为一层独立的安全保障。

MIT 关于 AI 虚假记忆的发现不止于深度伪造

最重要的变化，是来自图像、视频、对话和书面摘要的证据正在不断累积。

MIT Media Lab 在 2026 年 10 月发布的研究概览将多项相关实验汇集在同一篇报告中。这些实验共同描述了从合成信息到记忆失真的多条路径。

一项视觉媒体实验招募了 200 名参与者，分为四组，每组 50 人。所有人首先观看一组原始照片，并完成一项填充任务。

随后，参与者接触四种类型材料中的一种。对照组再次看到原始图像。其他组则看到 AI 编辑图像、基于原始图像生成的 AI 视频，或基于编辑图像生成的视频。

最后一种条件结合了两次转换。研究人员先改变静态图像中的细节，再利用 AI 将这些被改动的场景制作成五秒钟视频。

接触这一组合条件的人报告的虚假记忆数量，是对照组的 2.05 倍。他们对这些错误回忆的信心也高出 1.19 倍。

详细的视觉记忆研究显示，在对照条件下，针对 12 个测试细节，参与者平均产生 2.265 个错误回忆。组合视频条件下的平均值则为 4.640。

AI 编辑的静态图像也带来了显著差异。该条件下的参与者平均产生 3.765 个错误回忆，是对照结果的 1.67 倍。

生成视频本身并非唯一驱动因素。由未经编辑图像制作的视频，使虚假记忆数量达到对照组的 1.25 倍。最大的影响出现在被改动的细节获得动态效果，并呈现出更强连续性时。

研究人员测试了涉及人物、物体和环境的改动。在组合条件下，与人物相关的编辑产生了最高的虚假报告绝对比例，达到 45.3%。

环境变化则呈现出最大的相对增幅。在生成视频条件下，涉及经编辑环境的虚假报告达到对照结果的 2.2 倍。

这些差异之所以重要，是因为日常 AI 编辑恰恰经常改变这些类别。手机可以移除路人、调整背景、组合表情，或为静态照片制作动画。

重新查看这些媒体的人，可能无法记清哪些元素来自最初的瞬间。经过编辑的成品可能成为重构该事件时的后续来源。

该研究并未证明每一次此类编辑都会形成持久的自传体信念。它测量的是在受控流程之后的回忆，使用了 24 张图像，且接触时间相对较短。

但实验表明，合成细节不必荒诞或明显带有政治意味。对普通场景进行看似合理的改动，也可能影响回忆和信心。

这种组合比普通的识别错误更令人担忧。不确定的人可以寻找其他来源；而自信地记得虚构细节的人，较少有理由进行核查。

为什么 AI 摘要会带来另一类风险

AI 摘要可能成为记忆的输入，而不只是被压缩的信息记录。

Georgetown University 和 University of Washington 的研究人员在 2026 年开展的一项研究，利用目击者场景考察了这一问题。研究聚焦书面摘要，而非经编辑的照片。

研究人员通过 Prolific 招募了 360 名美国成年受试者。经过注意力检查和样本流失后，分析纳入了 328 名参与者。

每名参与者观看了一段 25 秒的动画视频，内容是一场汽车与行人事故。研究人员使用了两个版本，二者在一个关键细节上不同。一个场景中有停车标志，另一个则有让行标志。

24 小时后，参与者阅读了一份由 ChatGPT 生成的 21 句摘要。摘要要么准确描述相关标志，要么插入错误的标志。

参与者还被告知，摘要来自 AI 系统或专业人工转录员。实际上，所有条件下的底层文本均由 AI 生成。

阅读摘要后，参与者回答有关原始视频的问题。研究人员明确告知他们，应依赖对事件的记忆，而非后来的文本。

在阅读准确摘要的人群中，83.6% 正确记住了交通标志。阅读误导性版本的人群中，准确率降至 44.8%。

这项摘要实验发现，将文本标注为 AI 生成并未消除这一影响。当参与者以为文字由人类撰写时，他们同样容易受到影响。

受访者报告的对 AI 的信任程度，也未显著改变其易受影响程度。参与者称自己使用 AI 聊天机器人的频率同样没有产生影响。

这一结果使人们对待合成内容的一种常见做法变得更为复杂。标签可以告知读者信息的来源，但并不一定能阻止信息塑造其后续记忆。

标签仍具有重要的透明度和问责功能。然而，实验表明，单靠披露无法构成完整的认知保障措施。

同一篇论文还评估了 ChatGPT 和 Gemini 如何总结两段事故视频。研究人员使用标准化提示词生成了 20 份摘要。

每份摘要都包含错误。尽管平均仅有 305 个词，每份仍出现了 7 至 21 处错误。

所有 20 份摘要都遗漏了信息。在完整样本中，65% 至少包含一项关键不准确内容，90% 包含非关键不准确内容，60% 添加了原本不存在的内容。

虚构添加内容平均每份摘要为 1.6 项，包括额外车辆、更多行人、不正确的车辆移动，以及对人物意图缺乏依据的推断。

这项模型分析规模较小，无法确立每个系统或每项摘要任务的错误率。研究人员使用了两段简短、由游戏生成的事故视频，以及一条标准化提示词。

人工实验同样经过了刻意控制。研究人员选取了一份相对较好的 ChatGPT 摘要，再调整边缘细节，使同一段文本能够支持实验比较。

这些限制缩小了结论的范围，但并未抹去已被展示的机制。

参与者目睹事件后，出现了一项看似合理的错误。该细节随后影响了他们将哪一个版本的事件识别为真实。

在日常工作中，这一顺序往往类似。员工参加会议后阅读自动生成的回顾；临床医生看诊后审阅 AI 生成的笔记；调查人员观看录像后接触机器撰写的报告。

原始经历与人工生成的回顾不再是彼此独立的信息来源。它们可以在审核者的记忆中相互作用。

这正是保存原始记录的重要性所在。可检索的知识库可以将原始文档与摘要、注释和后续解读一同保留。

这种做法不能使人类记忆变得无误。但它为审核者提供了可供检查的来源，使其不必依赖已被生成文本塑造的回忆。

人工审核者并非独立的最后防线

这项研究挑战了这样一种假设：人总能从未受影响的位置审核 AI 输出。

人在回路系统会让人承担部分责任，以批准、更正或拒绝自动化结果。当审核者拥有足够的时间、权限、证据和领域知识时，这种设计可以发挥作用。

当 AI 输出成为审核者对底层事件的主要表征时，弱点便会显现。这个人可能正在审核机器的说法，同时也在审核一段已经受到该说法影响的记忆。

这是一个独立性问题。当被检查的系统同时提供审核者的证据、框架和记忆线索时，安全检查的可靠性会下降。

MIT 的另一项相关实验将这一问题置于模拟犯罪目击者访谈中。200 名参与者观看一段犯罪视频，随后完成四种后续条件中的一种。

一组回答中性问题。另一组接受包含误导性问题的问卷。第三组与脚本化聊天机器人互动，第四组则使用生成式 AI 访谈员。

误导性提示询问了五个实际未发生的细节。例如，访谈员可能把并不存在的物体说得仿佛目击者已见过一般。

这项目击者访谈研究发现，生成式聊天机器人产生的即时虚假记忆数量，是对照条件的三倍以上，是误导性问卷的 1.7 倍。

在生成式聊天机器人条件下的全部回答中，36.4% 在互动期间受到误导。研究人员一周后再次测试参与者时，错误回忆的数量保持稳定。

与对照组相比，参与者的信心也仍然偏高。错误细节并未在对话结束后自行消失。

对话系统引入了一种静态警告无法完全应对的机制。它们会回应用户、重述主张，并让后续提示显得符合语境。

这种互动可能形成社会压力和重复效应。即使没有 AI 系统参与，这两个因素长期以来也一直与易受暗示性研究相关。

另一项由 MIT 主导的实验测试了：嵌入摘要和聊天机器人对话中的错误信息，是否会改变人们对书面文章的记忆。这项预注册研究涵盖五种条件下的 180 名参与者。

参与者阅读三篇文章中的一篇。随后，他们不会接受任何干预，或会获得诚实摘要、误导性摘要、诚实的聊天机器人互动，或误导性的聊天机器人互动。

与对照组相比，误导性聊天机器人条件下产生的虚假记忆数量高出 2.92 倍。它也降低了参与者对准确回忆的信心。

这篇聊天机器人错误信息论文发现，不同文章主题中也出现了类似模式。交互式错误信息的影响最强。

这很重要，因为 AI 助手很少像被动档案库那样运作。它会将材料转化为答案，预判后续问题，并呈现一套连贯的叙述。

即使回答中包含细微错误，连贯性也可能让人感觉它可靠。一旦该错误与周围叙述相吻合，用户就可能在忘记其来源的情况下将其纳入记忆。

组织通常会通过增加最终审批环节来应对幻觉问题。这种干预将问题视为：审核者只需检查一份可疑输出即可。

这些研究揭示的是更复杂的风险。审核者在接触可疑输出后，可能需要重新构建源事件。

因此，有意义的保障措施必须在生成材料影响回忆之前保护审核流程。它还必须确保之后仍可直接访问原始来源。

对于会议摘要，这意味着要保留录音或文字记录。对于警方报告，这意味着应将原始影像和证人陈述与生成的叙述分开。

对于医疗文档，这意味着要让源观察结果与机器生成的综合内容可明确区分。对于新闻编辑部，这意味着应在发布前将摘要与原始文件进行比对。

审核者还需要一个便于提出异议的界面。奖励快速接受的工作流，会使人工监督沦为仪式性的步骤。

这并不意味着人类没有价值。人类能够提供当前系统所缺乏的情境理解、伦理判断和责任承担。

相反，这项研究说明了为何不能将审核者视为完美的错误过滤器。人类认知是系统的一部分，因此也是其失效模型的一部分。

这些研究并未证明什么

证据显示出可重复的记忆效应，但并未衡量日常 AI 使用的全部影响。

最强势的标题式说法是，AI 能植入虚假记忆。这种描述与实验方向一致，但可能暗示了设计本身无法支持的确定性。

研究人员在受控条件下测量了特定类型的错误。参与者接触了经过选择的视觉变化、误导性问题，或被篡改的交通标志细节。

这不同于证明 AI 系统能够可靠地改写一个人丰富的自传式经历。研究并未显示对人们信念拥有无限控制力。

这项视觉实验使用了 200 名美国参与者和 24 张图像。接触时间很短，测试环境也未复现网络上常见的反复、嵌入社会关系的接触情境。

作者特别呼吁开展纵向研究。他们还指出，需要覆盖更广泛的人口样本和更多样的媒体形式。

2026 年的摘要研究使用了两段在 Grand Theft Auto V 中制作、每段 25 秒的动画事故视频。它考察了 24 小时延迟后一个关键的识别问题。

其输出分析涵盖两个模型生成的 20 份摘要。这足以揭示具体的失效模式，但不足以对所有现有系统进行排名。

证人访谈实验研究了一起模拟犯罪和五项误导性细节。真实调查还包括情绪压力、反复询问、法律建议、佐证证据以及机构程序。

因此，研究结果不应被转换为普遍适用的虚假记忆发生率。某一条件下的数据并不能预测每位用户的体验。

记忆扭曲与信念之间也存在区别。一个人在识别问题上回答错误，并不意味着会围绕该细节建立持久的个人叙事。

研究人员使用经过严格定义的指标来识别虚假回忆。公共讨论可能模糊这些定义，使每一项与 AI 有关的错误都听起来像深层的心理植入。

另一个不确定性涉及 AI 本身的作用。人类访谈者、误导性新闻报道、经编辑的照片和不准确的书面摘要同样可能改变记忆。

Georgetown 和 Washington 的实验发现，当同一份 AI 生成的摘要被标注为人类撰写时，参与者仍然容易受到影响。这表明来源标签并非主要驱动因素。

危险来自错误信息进入记忆重构过程。AI 之所以令人担忧，是因为它能够以极低的阻力生成、个性化并传播这类错误信息。

这一区分避免了夸大的结论。研究并未表明机器拥有独特的心智控制能力。

它表明，生成式系统可以自动化一种熟悉的认知风险。它们能够将这种风险置于用户用于获取权威摘要、协助和文档的产品之中。

意图同样重要。蓄意欺骗的聊天机器人，与意外遗漏或改动细节的摘要工具，带来的是不同的治理问题。

但认知结果可能重叠。无论错误来自操纵、薄弱的事实锚定、模糊的源材料，还是普通的模型失效，用户都可能吸收它。

这些研究几乎没有提供关于接触错误信息后何种纠正方式最有效的证据。视觉论文并未广泛测试这种影响的持续性，或其对后续纠正的抵抗力。

标签并未消除交通标志效应，但更有力的干预措施仍是开放问题。来源比对、延迟验证、矛盾提醒和置信度提示都需要直接测试。

研究人员还必须评估模型随时间推移的改进。更好的视频理解和有事实依据的生成能力，应能减少部分不准确输出。

较低的错误率会减少接触机会，但无法解决记忆机制本身。在高风险案件中，罕见错误仍可能非常严重。

适当的回应是保持与风险相称的谨慎。这些实验有理由支持围绕来源保留和生成摘要设置更严格的控制措施。

但它们并不能证明每一张经过编辑的家庭照片都会造成心理伤害。情境、意图、重复程度以及被记住细节的重要性，都会影响风险。

三个信号将显示 AI 监督是否正在改善

下一项检验是，产品和政策变化能否在错误影响人类决策之前保护记忆。

第一个信号是使用现实材料进行独立复现。研究人员需要更长的视频、真实会议、自然对话、多样化人群，以及更长的后续追踪期。

如果这种效应在这些环境中得到复现，将更有力地证明虚假回忆是常规部署中的风险。若结果微弱或不一致，则会将担忧范围缩小到特定界面和实验条件。

关键测量应区分识别错误、信心、持续性和行为后果。当错误答案改变投票、诊断、法律判断或职场决策时，其意义并不相同。

研究人员还应直接比较不同模态。生成的文字记录、图像、音频片段和对话式回答，对记忆的影响可能并不相同。

第二个信号是产品设计的变化。AI 系统应在单条陈述层面保留溯源信息，也就是某项主张可追踪的来源。

生成的会议回顾应将决策关联到准确的文字记录段落。视频摘要应让用户能够打开对应的源视频片段。

从案件文件中回答问题的聊天机器人应区分直接证据与推断。它还应在将矛盾转化为流畅叙述之前对其进行标记。

这些功能比一条笼统说明 AI 参与其中的提示更重要。2026 年的实验发现，AI 标签并未阻止误导性细节影响回忆。

有用的界面必须降低对记忆的依赖。它应让与一手证据的比对，比接受生成叙述更快捷。

组织可以衡量审核者是否打开这些来源、修改错误草稿，以及质疑不确定主张。仅凭接受率无法充分证明监督成功。

第三个信号是，高风险机构是否重新设计审核程序。警察部门、医院、法院、银行、新闻编辑部和公共机构应明确生成摘要可以在哪些环节进入工作流。

最安全的顺序是将观察与综合分开。审核者应在阅读 AI 生成的解读之前，先记录独立叙述。

当无法实现这种分离时，第二位审核者可以在看不到第一个系统叙述的情况下检查原始来源。这至少保留了一项受污染程度较低的核查。

机构还应保留生成版本、提示词、源文件和更正记录。没有这条审计轨迹，调查人员便无法重建错误细节何时进入流程。

这些实践的改善将支持一个审慎的结论：组织正在将 AI 诱发的记忆扭曲视为系统设计风险，而非个人失败。

若缺乏变化，则会进一步印证 MIT 关于 AI 虚假记忆研究的核心警告：当机器控制人类后来依赖以进行记忆的材料时，人工监督仍然脆弱。

实际的应对措施并不是停止使用每一种 AI 摘要或编辑功能，而是不再将流畅输出误认为独立记录。

在依赖生成叙述之前，打开来源并记录你观察到的内容。保留原件，区分证据与综合内容，并在对话之外核实具有重要后果的细节。

当 AI 系统似乎确认了你的记忆时，请最后问自己一个问题：你记得的是事件本身，还是机器后来提供给你的润色版本？