top of page

什么是上下文工程?将AI演示与能工作的AI区分开来的技能

6月5日
讀畢需時 7 分鐘

2025年6月,Andrej Karpathy发布了一个定义,此后成为新兴学科的标准框架:上下文工程是“the delicate art and science of filling the context window with just the right information for the next step”。

这一框架之所以重要,是因为它为从业者一直在做却缺乏标签的事情命名了。每个严肃的AI应用、每个生产级代理、每个真正能持续交付结果的工作流,都涉及关于模型运行时应看到哪些信息的深思熟虑的决策。这些决策合在一起,就是上下文工程。

相比之下,提示工程是大多数人想到“与AI合作”时所想到的内容。你写出更好的指令。你把事情表述清楚。你添加示例。提示工程是真实且有用的。但它只解决了问题的一个层面,而且往往是生产系统中最不重要的那个层面。

上下文工程是更广泛的学科。它不仅涵盖你向模型提出的问题,还涵盖模型回答时所知道的一切:它所遵循的指令、它可以调用的工具、对话历史、为支持任务而检索的文档,以及关于你是谁以及你一直在做什么的记忆。以正确的组合、在正确的时刻正确处理这些元素,决定了AI应用是成功还是失败。

上下文工程与提示工程:实际区别是什么

这种区别并非学术性的。它对任何使用AI构建或试图可靠使用AI的人都有实际影响。

提示工程关注查询。你如何表述问题?你包含哪些示例?你如何构建指令以获得想要的输出格式?提示工程假设一个相对静态的设置:一个模型、一个用户、一个请求。

上下文工程关注环境。在用户输入任何内容之前,模型知道什么?哪些信息会被检索并注入?对话历史如何管理?有哪些工具可用?哪些约束嵌入在系统中?上下文工程将模型的上下文窗口视为一个主动的设计表面,而不是空白 slate。

LangChain对上下文工程的分解以这种方式描述区别:提示工程是提出正确的问题;上下文工程是创建模型识别和执行正确解决方案的最佳环境,通常无需用户提出任何问题。

在 casual AI 使用中,提示工程通常就足够了。你打开ChatGPT,提出问题,如果答案不对就改进措辞。很好。

在生产级AI系统中,提示工程是基本要求。2026年部署的中位数应用涉及检索、工具调用、对话历史管理、结构化状态、条件路由,有时还涉及跨多个模型的协调。每个都是上下文决策。这些决策的质量决定了系统产生的每个输出的质量。

上下文窗口的组成部分

上下文窗口不仅仅是你输入的文本。在任何精心设计的AI应用中,为给定模型调用组装的上下文通常包含几个不同的层:

系统提示

定义模型角色、约束和行为的持久指令。模型是谁?它能做什么?它绝不应该做什么?设计良好的系统提示不是一段模糊的指导。它是一套精心维护的规则和角色,塑造每个响应。

对话历史

迄今为止所说内容的记录。保留多少历史、如何在历史变长时压缩它、哪些内容总结而哪些逐字保留,都是主动的工程决策。太多历史会浪费上下文空间。太少则会丢失复杂多步任务的线索。

检索的文档

从外部知识源获取的信息,在推理时注入到上下文中。这就是检索增强生成(RAG),它是上下文工程最重要的原语之一。检索质量、块大小、相关性排序以及检索内容的顺序都会影响输出质量。

工具定义

允许模型执行操作的接口:调用API、运行代码、搜索网络、写入数据库。如何描述工具、它们暴露哪些参数以及在给定上下文中哪些工具可用,都是上下文工程决策。

记忆

关于用户、项目或过去交互的持久信息。短期记忆可能是最近几次交流。长期记忆可能包括用户偏好、先前决策以及关于正在进行的工作的累积知识。Weaviate对上下文工程的分析将记忆描述为允许AI系统随着时间真正个性化而不是每次会话都从头开始的层。

状态和结构化数据

对于跨越多个步骤的代理工作流,任务的当前状态、前一步的输出以及模型需要推理的任何结构化数据,都是需要仔细管理的上下文的一部分。

上下文工程的艺术是为每个特定调用正确组装这些层:选择包含什么、压缩什么、检索什么以及省略什么,以便模型拥有它所需要的精确信息,而没有任何稀释信号的内容。

为什么上下文工程已成为关键技能

三种转变使上下文工程对大多数严肃的AI工作比提示工程更重要。

代理式AI的兴起。当模型针对单个问题运行一次时,提示工程最重要。当模型在循环中运行、采取行动、接收结果并决定下一步做什么时,上下文会随着每一步而演变。代理的质量几乎完全取决于每一步的上下文是否包含做出正确决策的正确信息。Deepset的分析将其确定为核心驱动因素:随着AI系统变得更加自主,上下文设计成为主导的工程挑战。

更长的上下文窗口,同样的稀缺问题。模型现在支持100万token的上下文窗口。这似乎解决了问题。但它没有。一个充满无关信息的100万token窗口产生的结果比一个充满精确正确信息的10万token窗口更差。更多容量并不能消除选择的需求。它提高了 stakes。 careless上下文工程在规模上意味着更多噪音,而不是更少。

演示与生产之间的差距。制作一个令人印象深刻的AI演示很容易。你手工制作上下文,精选输入,然后运行一次。制作一个能为数千用户跨数千不同输入和状态一致工作的AI系统很难。差异几乎总是可以追溯到上下文工程。演示之所以有效,是因为有人手动做出了良好的上下文选择。生产系统之所以失败,是因为这些选择从未系统化。

个人上下文问题

有一个上下文工程层,大多数工具和框架几乎完全忽略:你的个人上下文。

系统提示、工具定义和检索的文档都是团队可以在应用层面解决的工程问题。但有一类上下文是特定于你的:你过去六个月一直在做的研究、你与客户的会议、你的团队上个季度做出的决策、你特定工作情况的累积知识。没有AI应用附带该上下文。它不能。它是你的。

这使得大多数AI工具对于严肃的知识工作令人沮丧。模型有能力。基础设施是稳固的。但每次会话都从零开始,“模型对世界的了解”与“模型对你的工作的了解”之间的距离是限制你收到的每个输出的差距。

remio 3.0直接解决了这个上下文差距。remio从每个来源被动构建你的个人上下文层:本地记录的会议(无机器人)、通过Podcast+来自1000+平台的播客、浏览和本地文档。当rOS生成幻灯片、Excel分析或Word文档时,它会自动注入该个人上下文——无需手动提示工程。这是针对业务任务相对于ChatGPT或Manus的核心优势:它们产生相同的输出格式,但它们基于你当时告诉它们的内容工作。remio基于你实际经历、讨论和随时间捕获的内容工作,使每个生成的输出都特定于你的情况,而不是泛泛正确。

当你需要向AI模型(无论是Claude、GPT-5、本地部署的DeepSeek还是任何其他工具)提供上下文时,remio的rOS代理层会自动处理上下文工程步骤。它搜索你的个人知识库,选择最相关的先前上下文,并将其注入到你的AI会话中。这是应用于个人知识的上下文工程:系统化、可检索且基于你的实际工作历史。

这就是knowledge blending的实践:将模型的广泛世界知识与你特定的个人工作上下文相结合,以产生真正有用的输出,而不是泛泛正确。

如何开始实践上下文工程

对大多数人来说,从提示工程到上下文工程的转变分为三个阶段。

阶段1:深思熟虑的系统设计。

不要将系统提示视为事后想法。清楚定义模型是什么、不是什么、它应该始终做什么以及它绝不应该做什么。将系统提示视为代码:版本控制、测试更改、维护它。

阶段2:检索优于记忆。

不要试图记住所有相关内容并在每个提示中手动包含它,而是将检索构建到你的工作流中。无论是RAG管道、知识库还是像remio这样的个人上下文工具,目标都是一样的:相关信息根据当前任务的要求自动到达上下文。

阶段3:多步任务的状态管理。

当任务跨越多个步骤或多个模型调用时,明确跟踪状态。已经决定了什么?已经产生了什么?还需要发生什么?有意识地将该状态传递下去,而不是希望模型仅从对话历史中重建它。

所有三个阶段的基本原则相同:模型的输出质量是其输入上下文质量的函数。工程化该上下文就是工作。

常见问题

上下文工程只针对开发者吗?

不是。该术语来自软件工程,但该实践适用于任何定期使用AI工具的人。在向AI助手提问之前决定包含哪些信息、构建一个相关文档文件夹以粘贴到会话中,或使用知识库积累工作笔记,都是上下文工程的形式,即使不写一行代码。

RAG与上下文工程有什么区别?

RAG(检索增强生成)是上下文工程的一个组成部分:检索相关文档并将其注入上下文的部分。上下文工程是更广泛的学科,还涵盖系统提示设计、记忆管理、工具定义、对话历史处理以及跨多步工作流的状态跟踪。

更大的上下文窗口会使上下文工程不那么重要吗?

不会。更大的上下文窗口给你更多容量,但不会降低放入其中的内容的重要性。一个不聚焦的1M-token上下文产生的结果比一个聚焦的100K-token上下文更差。随着容量增长,选择、排序和压缩信息的纪律变得更重要,而不是更不重要。

remio与上下文工程有什么关系?

remio解决了个人上下文层:上下文工程中涵盖你的具体工作历史、研究、会议和累积知识的部分。它被动捕获该上下文并使其按需可检索,这样你就可以在不手动收集的情况下将其提供给任何AI模型。

上下文工程与AI代理有什么关系?

上下文工程是代理设计的基础。代理的可靠性仅与其在每一步接收到的上下文一样好。系统提示质量、工具定义、检索的状态和记忆管理决定了代理是做出良好决策还是漂移、幻觉或循环。代理式应用是糟糕上下文工程后果最明显的地方。

上下文工程不是一种趋势。它是使AI应用达到用户实际需要的质量水平的学科。从“提出更好的问题”到“设计更好的信息环境”的转变,是从使用AI到用它构建的转变,是从容忍不一致的结果到期望可靠结果的转变。

个人上下文层是大多数当前工具不足的地方,也是AI理论上能做什么与它在你的具体工作中实际为你做什么之间的差距最宽的地方。弥合这一差距正是remio所构建的。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page