什么是上下文工程及其对现代人工智能的影响
已更新：6月18日
上下文工程（Context engineering）帮助 AI 系统更好地理解和使用信息。它通过从数据和实时操作中筛选并组织上下文来实现这一点。这有助于 AI 提供符合用户需求和要求的回答。上下文工程使 AI 更可靠、性能更佳。例如，研究表明，添加诸如症状数据之类的上下文 有助于机器学习模型做出更好的预测。这些模型比传统方法表现更好，尤其是在处理不平衡数据和复杂问题时。通过使用上下文工程，开发者可以构建出提供更准确答案并在现实场景中保持值得信赖的 AI。
核心要点
上下文感知系统帮助 AI 筛选正确的信息。这让 AI 能够提供更好、更准确的回答。它同时利用固定事实和新数据。它还利用记忆和工具集成来辅助长对话。上下文工程使 AI 更加稳定和诚实。它帮助 AI 处理医疗和金融等领域的实际工作。
优秀的上下文工程使 AI 的使用变得更简单。它减少了错误并有助于建立人们对 AI 的信任。团队应该从简单的步骤开始并进行大量测试。他们可以使用 像 LangChain 这样的工具 通过优秀的上下文策略来构建强大且可扩展的 AI。
上下文工程基础
定义
Context engineering 意味着设置和改进大语言模型及先进 AI 系统所使用的信息。这有助于它们出色地完成工作。它包括处理静态和动态上下文。静态信息是基础知识、任务指令和一些变化不大的示例。动态信息则来自实时数据、用户行为、会话历史以及 API 或数据库等外部来源。当这些信息结合在一起时，上下文策略能为 AI agent 提供针对每项任务的最佳且最新的信息。
这一领域的从业者所做的不不仅仅是制作 prompt。他们处理多个层面的上下文。这包括基础训练、使用实时数据以及跟踪正在发生的对话。他们还使用诸如 Retrieval-Augmented Generation 等特殊方法，在需要时获取额外知识。这有助于大语言模型更好地思考、处理新问题并提供正确的答案。安全性和保持稳定性也至关重要。因此，context engineering 还会移除不需要或可能不安全的信息。
“相比 ‘prompt engineering’，我更喜欢 ‘context engineering’ 这个术语。 它更好地描述了核心技能：为任务提供所有上下文一致性的艺术……” —— Andrej Karpathy
关键要素
有几个主要部分可以让 context engineering 高效运作：
为大语言模型制作并改进指令和正确的上下文。
处理提示词链，以协助需要深入思考的步骤。
调整系统提示词和指令，确保其清晰且准确。
处理动态变化的内容，如用户输入、日期和时间。
利用检索增强生成（RAG）等技术查找并获取正确的知识。
优化查询语句，以帮助寻找更准确的信息。
为 AI 代理设置在执行任务时使用的工具和指令。
获取并改进少量示例（few-shot），以引导模型生成。
组织输入和结构化输出，例如使用特殊标记或 JSON schema。
管理短期记忆（最近的对话）和长期记忆（从数据库获取事实）。
剔除无用或离题的信息，以优化上下文环境。
通过测试和检查，逐步优化流程。
尽可能利用机器来处理上下文。
所有这些部分协同工作，为 AI agent 提供强大的上下文窗口管理。通过仔细挑选和排序上下文，工程师可以帮助 AI 提供更准确、更可靠且更符合每个人的回答。
上下文工程 vs. Prompt Engineering
维度 | Prompt Engineering | 上下文工程 |
目的 | 为单次响应编写特定的指令 | 确保模型在不同会话和用户之间保持一致的性能 |
范围 | 单个输入-输出对 | 包含记忆、工具、系统提示词和检索知识在内的整个上下文窗口 |
使用场景 | 文案写作、单次代码生成、演示 Demo | 多轮对话流、具备记忆的 AI Agent、需要可预测性的生产系统 |
关系 | 上下文工程的子集 | 构建支持提示词清晰度、可扩展性和可靠性的更大框架 |
思维方式 | 专注于编写清晰的指令 | 设计模型思维过程的完整流程与架构 |
可扩展性 | 有限，在处理大量用户和边缘情况时表现不佳 | 从一开始就为规模化而设计 |
调试 | 重写提示词并猜测问题所在 | 检查完整上下文窗口、内存插槽和 Token 流 |
涉及工具 | 简单的提示词框或 ChatGPT | 内存模块、检索增强生成 (RAG)、API 链、后端协调 |
持久性 | 适用于短期任务或创意爆发 | 支持长期运行的工作流和复杂的对话 |
投入类型 | 创意写作或文案微调 | 针对大语言模型的系统设计或软件架构 |
提示工程 (Prompt engineering) 旨在为单一任务制定清晰的指令。它最适合简单的、一次性的任务。但随着 AI 变得越来越先进，仅靠提示工程无法处理长对话、记忆或外部工具的使用。上下文工程 (Context engineering) 通过以下方式解决这些问题：管理整个上下文窗口。这包括系统提示词、用户发言、聊天历史、检索到的知识以及工具执行结果。上下文工程是构建大型、稳定且具备上下文感知能力系统的基础。
现实世界的案例展示了工作流工程的强大威力。例如，remio 收集并整理用户在工作和生活中的言行。通过将这些详细的上下文提供给大语言模型，Remio 帮助 AI 智能体给出符合用户意图和需求的回答。其他领域在多步流程中使用上下文共享来整合多方数据。例如，财务顾问利用它来结合客户数据和市场新闻。医疗系统利用它来整合医疗记录和环境事实。这些例子表明，上下文工程正将 AI 从简单的辅助工具转变为智能、灵活的助手。
为什么它很重要
AI 性能
上下文工程有助于 AI 系统表现得更好。它确保每个回答都使用了正确的上下文。工程师挑选并组织静态和动态上下文，这有助于模型理解用户意图，使回答更准确，减少错误。例如，医疗 AI 系统使用患者病史作为上下文，这有助于降低诊断错误。在金融领域，上下文工程帮助 AI 提供匹配实时市场数据和客户需求的建议。这些变化表明，上下文工程不仅仅是编写更好的提示词，它还有助于构建更智能、更灵活的 AI。
可靠性与用户体验
上下文工程让 AI 对用户而言更可靠、更有趣。具备良好上下文工程的系统表现更稳定，错误更少。它们能更好地处理意外情况，这在现实场景中至关重要。研究表明，用户更喜欢应用了上下文工程的 AI 产品。用户会接受更多 AI 答案而无需修改。他们还会要求 AI 继续执行，这显示了信任。这些系统需要的修复更少，从而为团队节省了时间和金钱。快速更新和强大的反馈机制有助于工程师提升 用户体验。
注：上下文工程有助于 AI 长期保持可靠。它让 AI 能够随用户需求的变化而演进。这使系统在长时间运行中始终保持实用并值得信赖。
现实世界的影响
许多工作利用用户上下文工程来获得更好的结果。在客户支持中，机器人会记住用户历史记录，从而更快地解决问题。金融公司在使用检索增强上下文时，发现建议质量提升了 30%。医疗工作者通过使用患者上下文减少了错误。下表展示了一些真实世界的案例结果：
公司 / 行业 | 上下文工程 AI 应用 | 影响 / 成果 |
Five Sigma Insurance | AI 使用保单数据、理赔历史和法规 | 减少 80% 的错误；理赔员效率提升 25% |
Block (Square) | 将 AI 与支付及商户上下文相结合 | 实时业务数据访问，优化运营 |
金融科技公司 | 用于财务建议的检索增强生成 (RAG) | 建议准确率提升 30% |
医疗保健提供商 | 利用患者病史进行诊断 | 减少诊断错误 |
这些示例展示了上下文工程如何将 AI 转化为智能且值得信赖的助手。
上下文工程技术
记忆管理
良好的记忆管理有助于 AI 在需要时使用正确的上下文。工程师使用不同的方法来保存、筛选和压缩信息。他们通常将重要事实保存在主上下文窗口之外。Scratchpads 就像是会话中的短期笔记或计划。记忆则长期保存事实、经验和指令。例如，AI 助手可能会将用户的旅行偏好保存在 scratchpad 中，并在稍后使用。从这些存储中挑选最有用的细节有助于 AI 专注于重要事项。LangChain 和 LangGraph 等工具可帮助跟踪聊天记录和知识条目。总结或裁剪旧数据可以保持系统运行速度。 高级记忆系统使用工作记忆、情景记忆、语义记忆和程序记忆。这些系统通过仅保留所需内容，改善了用户体验并节省了成本。
信息检索
信息检索将正确的知识引入 AI 的上下文窗口。工程师使用流水线处理文档、提取元数据并生成 embeddings。Vector databases 存储这些 embeddings，以便快速找到相似内容。混合搜索结合了关键词和语义搜索以获得更好的结果。查询重构（Query reformulation）帮助系统理解用户意图。重排序（Reranking）步骤对答案进行评分以选出最佳答案。一些系统使用多跳检索（multi-hop retrieval）来关联来自不同地方的事实。另一些则使用代理检索（agentic retrieval），由 AI 自行规划搜索步骤。多模态检索将图片或声音添加到上下文中。结构化数据检索则连接到数据库和 API。这些方法确保 AI 始终拥有完成每项任务的最佳知识。
上下文组织
在大规模 AI 项目中组织上下文始于明确的业务目标。团队将大问题拆解为小任务，并为其匹配合适的 AI 工具。数据必须准备就绪，因此工程师首先要进行数据清洗和管理。一个强大的知识库存储了事实、规则和示例以提供帮助。公司通常会制定 AI 剧本（playbook）来指导工作并设定规则。培训和团队协作有助于每个人充分利用知识库。新的语言模型和机器学习使上下文组织变得更加强大。这些模型从海量文本中学习，可以轻松处理复杂的上下文。通过执行这些步骤，团队可以保持其上下文清晰、有用，并为任何任务做好准备。
挑战与最佳实践
常见陷阱
许多团队在高级系统的上下文处理中会遇到相同的问题。
提示工程（Prompt engineering）在大型项目中效果不佳。这可能导致解决方案变得脆弱且难以重复。
当系统使用旧的或错误的信息时，就会发生模型漂移（Model drift）。
来自多个渠道的过多变化数据可能会使系统感到困惑。
一些团队不知道如何组织复杂信息。这可能导致他们触及上下文限制（context limit）。
将专家知识转化为清晰且有用的上下文是很困难的。
如果私有数据进入上下文窗口，可能会发生安全和合规问题。
很难平衡要使用的信息量。过多会降低速度，而过少则会遗漏重要部分。
在用户更改或修复信息时保持一致性需要周密的规划。
系统设计过于复杂会使其难以使用，而投入不足则容易导致系统崩溃。
提示：从简单的方案开始，仅在必要时增加复杂度。始终检查上下文漂移和安全问题。
最佳实践
优秀的团队将上下文视为其系统的核心部分。
从一开始就为系统添加上下文管理。
使用 prompt caching以保持上下文稳定并节省成本。
工具遮罩（Tool masking）有助于系统使用多种工具而不产生混淆。
将大上下文放在外部，仅在需要时引入。
将任务规划为简单的步骤，并使用 'todo.md' 之类的文件进行跟踪。
留意错误并从中学习，以改进工作。
向系统展示不同的示例，以免其陷入困境。
实践 | 获益 |
Prompt caching | 保持上下文稳定并节省成本 |
外部存储 | 有助于解决 Token 限制问题 |
失败追踪 | 帮助系统学习并不断改进 |
实施步骤
团队可以参考以下步骤将上下文工程引入工作流：
审视当前流程，找出缺失的上下文。
先进行小规模测试 以观察实际效果。
缓慢添加新功能，随着时间的推移逐步扩大系统规模。
建立有效的方法来检查上下文的使用效果。
经常进行测试并利用反馈进行改进。
询问用户上下文是否符合他们的需求。
构建系统时，确保以后可以轻松添加新的上下文。
确保技术目标与用户最核心的需求相匹配。
注意：像 LangChain 和 LangGraph 之类的工具 有助于管理上下文、内存和工作流图。这些工具有助于团队构建强大且易于扩展的系统。
上下文工程已使 AI 系统以全新的方式运作。
现在，现代系统使用动态变化的信息，而不仅仅是固定的提示词。这有助于它们解决难题。
当团队使用正确的上下文时，他们犯的错误更少，帮助用户的速度也更快。
下表显示了一些改进情况：
改进项 | 结果 |
幻觉减少 | |
更高的用户信任度 | 更好的净推荐值 (NPS) |
更快的支持响应速度 | 更短的问题修复时间 |
专家认为未来的 AI 将使用特殊数据、更强的记忆力和更智能的代理。任何 AI 开发者现在都可以利用这些想法来构建更智能、更有用的工具。
常见问题
AI 上下文工程的主要目标是什么？
上下文工程帮助 AI 在正确的时间获取正确的信息。这让 AI 能够理解该做什么并提供更好的答案。用户可以获得符合其需求的回复。
上下文工程与提示工程有何不同？
提示工程侧重于为 AI 编写指令。而上下文工程则处理所有相关信息，例如记忆和外部数据。这有助于 AI 在处理多项任务和长期运行中表现出色。
为什么现代 AI 助手需要上下文工程？
现代 AI 助手需要执行复杂的任务并与人交流。上下文工程帮助它们记住用户的偏好以及之前的对话历史。它还能利用实时数据来提供更智能的回答。
哪些工具有助于上下文工程？
工程师使用诸如 LangChain 之类的工具、LangGraph 和向量数据库。这些工具可以帮助组织记忆、管理任务，并为每项工作检索最合适的信息。
上下文工程能否提高用户对 AI 的信任？
是的。当 AI 应用上下文工程时，其回答会更加准确且有用。这有助于用户信任 AI，并将其用于重大决策。
