什么是检索增强生成（RAG）？通俗英语指南

检索增强生成 RAG 将语言模型与外部知识源配对。模型在查询时接收相关段落，而不是仅依赖训练期间学习的权重。这使答案与提供的文档或文件保持一致。

该方法之所以重要，是因为企业和个人数据每天都在变化。静态模型无法反映新的报告、会议记录或政策更新，除非进行全新训练。检索增强生成 RAG 通过每次获取最新上下文来解决这一差距。

关键要点

• 检索增强生成 RAG 在模型生成文本前添加搜索步骤。

• 该过程将源材料拆分为块、创建嵌入、检索匹配项，然后生成答案。

• 该方法避免在知识更新时进行完整再训练。

• 本地实现将每一步都保留在用户设备上。

检索增强生成 RAG 定义

检索增强生成 RAG 是一种在受控文档集合中搜索并在文本生成开始前将顶部结果提供给语言模型的技术。因此，模型既使用其训练参数，也使用检索到的段落。

该方法由三个核心部分定义。首先，索引存储源材料的向量表示。其次，检索器根据该索引对传入查询进行评分。第三，语言模型在接收原始问题的同时接收检索到的文本。

结果是输出始终可追溯到提供的语料库。当语料库发生变化时，只需更新索引。无需对模型本身进行任何更改。

检索增强生成 RAG 的工作原理

工作流程遵循四个可重复的阶段。每个阶段都将原始材料转换为模型可用的上下文。

阶段 1：分块 - 将文档拆分为小而连贯的段落

源文件以多种格式和长度到达。第一步将它们划分为每段几百个 token 的片段。较短的段落可提高检索精度，因为模型仅接收最相关的切片，而不是整页内容。

阶段 2：嵌入 - 将每个块转换为数值向量

嵌入模型将每个块映射到密集向量。这些向量捕捉语义含义，使相似想法在向量空间中靠近。嵌入存储在支持快速相似性搜索的专用索引中。

阶段 3：检索 - 将查询与最接近的存储向量匹配

当问题到达时，它会获得自己的嵌入。系统将该向量与存储索引进行比较，并返回顶部匹配项。只有这些匹配项会传递给语言模型，使提示保持简短且聚焦。

阶段 4：生成 - 根据查询和检索到的文本生成最终答案

语言模型在单个提示中接收原始问题和检索到的段落。它综合生成引用所提供材料的答案。由于段落可见于提示中，输出可以包含引用或直接引文。

每个阶段独立运行。对语料库的更新仅影响分块和嵌入步骤。语言模型保持不变。

检索增强生成 RAG 与微调的比较

检索增强生成 RAG 和微调都能使模型适应新知识，但它们在成本、速度和范围上存在差异。

更新速度

• 检索增强生成 RAG：索引重建只需几分钟到几小时。

• 微调：完整训练运行需要几天或几周。

知识新鲜度

• 检索增强生成 RAG：新文档在查询时出现。

• 微调：模型权重在下一次训练周期前保持固定。

数据控制

• 检索增强生成 RAG：原始文本保留在模型之外。

• 微调：知识被固化到权重中，更难审计。

成本概况

• 检索增强生成 RAG：主要开销是存储和嵌入计算。

• 微调：主要开销是重复的 GPU 训练。

当文档经常变化时，团队选择检索增强生成 RAG。当狭窄任务需要对相同事实进行重复推理时，团队选择微调。

实际应用

法律团队将判例法加载到 RAG 索引中。律师询问先例问题，并收到指向具体裁决的答案。

工程团队索引内部设计文档和事件报告。开发人员可以查询类似过往问题，并收到早期项目的代码片段或决策日志。

研究分析师将财报电话会议记录和监管文件放入索引。关于金融趋势的日常问题返回最新文件中的段落，而非过时的模型知识。

检索增强生成 RAG 的实践应用 - remio 的实现方式

remio 将捕获的每一页、会议记录和本地文件存储在用户设备上。当问题到达时，系统在本地环境中运行相同的分块、嵌入、检索和生成步骤。

由于索引从不离开设备，外部服务无法看到源材料。随着新内容被捕获，更新自动进行。结果是一个始终最新的个人知识库，能在用户自己的上下文中回答问题。

关于检索增强生成 RAG 的常见问题

Q: 单个检索增强生成 RAG 索引能容纳多少文本？

A: 实际限制取决于存储和搜索速度。目前大多数个人索引可良好支持数万个块。

Q: 检索增强生成 RAG 是否取代了阅读源文档的需要？

A: 否。该方法能快速呈现相关段落，但最终验证仍需检查原始文本以获取完整上下文。

Q: 检索增强生成 RAG 是否可以在没有互联网连接的情况下运行？

A: 是的，一旦索引存在于本地。嵌入模型和语言模型均可离线运行。

Q: 索引应多久重建一次？

A: 每当底层语料库发生重大变化时重建。对于大多数个人或团队集合，每日或每周更新一次即可。

Q: 检索增强生成 RAG 是否仅限于文本文件？

A: 该核心技术适用于任何可转换为文本的数据。会议记录、PDF 提取和代码仓库均可作为有效来源。