什么是 AI 幻觉？为什么语言模型会弄错事实

AI幻觉发生在语言模型生成听起来自信但包含事实错误或虚构细节的文本时。输出遵循训练期间学到的模式，而不是经过验证的真相。

这种行为直接源于模型预测下一个令牌的方式。该过程最大化统计可能性，而不是准确性。

关键要点

• 令牌预测构成了每个响应的核心机制。

• 幻觉主要以三种形式出现：事实虚构、来源混淆和推理缺口。

• 简单的验证步骤能以低成本捕获大多数错误。

• Grounding技术和来源检查降低了日常使用中的风险。

准备好在下一个查询上测试这些检查。

AI幻觉定义

AI幻觉是看似连贯但包含训练数据或输入不支持的信息的输出。模型为现实中从未存在的序列分配高概率。

四个属性标志着这种行为。首先，即使事实错误，文本仍保持内部一致性。其次，它引用不存在的来源或事件。第三，它将真实模式与虚构元素混合。第四，无论准确性如何，置信度始终保持高位。

AI幻觉如何运作

模型一次生成一个令牌的文本。每一步都根据先前的令牌选择最可能的下一个词。

令牌预测步骤

模型在其词汇表中计算概率。所选令牌成为下一轮的输入。此循环中不进行外部事实检查。

训练数据影响

训练中经常重复的模式会获得更高概率。罕见或不存在的事实会获得较低权重或完全没有。空白处会产生看似合理的填充，而不是沉默。

上下文窗口限制

只有当前窗口内的令牌会影响下一次预测。较早的上下文或检索到的文档一旦窗口填满可能会被忽略。

AI幻觉的类型

三种模式最常出现。

事实虚构会创造从未存在的事件、名称或数字（例如，GPT-4声称2026年物理学诺贝尔奖得主，但此人并不存在）。来源混淆将真实信息归因于错误的文档或个人（例如，ChatGPT将2023年路透社气候统计数据归功于一份不存在的布鲁金斯报告）。推理缺口会产生跳过或颠倒必要条件的逻辑步骤（例如，模型在正确指出企鹅是鸟类后得出“所有鸟类都会飞”的结论）。

每种类型可以单独或一起出现在单个响应中。

检测AI幻觉的策略

在使用前对照主要来源核实每个声明。将长输出分解为单独的语句进行单独检查。将日期、名称和数字与已知记录进行比较。

要求模型为每个声明列出支持证据。检查列表中是否存在循环引用或缺失链接。这些步骤只需几分钟，就能防止大多数下游错误。

减少AI幻觉的策略

在提示中提供明确的来源材料。在最终答案前要求逐步推理。将输出长度限制为仅包含必要事实。

用不同措辞重复查询以发现不一致之处。将已验证的事实存储在个人知识库中，以便后续查询从确认的条目而非原始模型权重中提取。

AI幻觉实践

一位大学研究助理在使用GPT-4生成文献综述时，发现了三篇虚构的论文标题。她对照PubMed和Google Scholar逐一核对每条引用，用已验证来源替换虚构内容，并在后续提示中添加明确的“仅引用PubMed收录的论文”指令；修改后的输出不再包含虚构引用。

关于AI幻觉的常见问题解答

Q: 仅靠温度设置能否阻止AI幻觉？

A: 降低温度可减少随机性，但不会添加外部验证。事实检查仍然必要。

Q: AI幻觉与简单错误有何不同？

A: 简单错误源于不正确的数据。幻觉源于模型虚构符合统计模式的数据。

Q: 检索系统能否消除AI幻觉？

A: 当来源最新且完整时，检索可减少虚构。它不会移除底层的令牌预测过程。

Q: 使用实施 grounding 技术的工具时，我的数据是否安全？

A: 保持检索本地化并加密的工具可维持对存储材料的控制。使用前请查看每个工具的隐私文档。