LangSmith AI Search 发现传统追踪过滤器遗漏的智能体故障

LangSmith 发布了处于公开测试阶段的 AI Search，为团队提供了一种发现常规过滤器遗漏的智能体故障的新方式。该功能接收对行为的自然语言描述，再从已记录的智能体交互中搜索匹配的追踪记录。

开发者可以查询用户感到沮丧、智能体声称成功却未完成任务，或回复中出现个人信息的案例。这类问题依赖于语义和过程，而非已知标签或精确短语。

这种差异正是 LangSmith AI Search 背后的核心张力。智能体可观测性在很大程度上依赖结构化过滤器、全文查询，以及在团队尚未了解哪些故障重要之前就配置好的评估器。LangSmith 押注于：当问题出现时，模型能够调查此前未知的行为。

这种方法也引出了一个不那么令人安心的问题。如果由另一个模型决定哪些生产环境对话符合主观描述，团队就必须了解该模型读取了什么、排除了什么，又会错误分类什么。

LangSmith AI Search 为追踪探索加入行为查询

此次发布将追踪调查从数据库查询问题转变为解释问题。

LangChain 于 2026 年 10 月 13 日宣布公开测试版。该功能可通过 Google Cloud 美国、欧洲和亚太地区的 LangSmith Cloud 使用。组织管理员必须先启用该功能，其他成员才能使用。

LangSmith 已允许团队通过状态、延迟、标签、元数据、成本和反馈等字段过滤追踪记录。其全文搜索还可以匹配追踪输入、输出、元数据和错误信息中的文字。

当调查人员知道哪个字段或短语可以识别目标时，这些工具很有效。状态过滤器可以发现错误，文本查询可以定位包含“退款”的对话。但两者都无法可靠判断用户是否在收到无用回答后悄然放弃。

LangSmith AI Search 则接受行为描述。公司在其行为追踪搜索示例中，包括用户表现出沮丧、智能体暴露内部实现细节，以及智能体未能完成被分配的工作等情况。

该功能可跨线程、追踪记录和单次运行工作。一条追踪记录会记录一个请求及其嵌套操作，而一个线程则连接同一对话中的多条追踪记录。

团队可以将自然语言查询与现有结构化过滤器结合使用。例如，他们可以先将结果限制为发生错误的生产追踪记录，再询问哪些对话显示用户在入门过程中感到困惑。

这种组合很重要。它让传统过滤器在模型检查其余对话之前先缩小搜索范围，也为不应需要解释的属性保留了确定性控制。

结果会附带置信度分数。打开匹配项后，审阅者会进入轨迹视图，LangSmith 会在其中突出显示影响匹配判断的可用消息。

轨迹是人类消息、智能体回复、工具调用和工具结果构成的标准化序列。它只呈现一次会话，而不是重复展示连续模型调用中包含的对话历史。

这不只是现有过滤器之上更友好的语法层。LangSmith 表示，决策模型会读取每个候选轨迹，并评估所请求的行为是否发生。

当查询类似“智能体说自己完成了任务，但实际上没有”时，差异就很明显。成功和失败的追踪记录可能包含几乎相同的主题、工具和词汇。

将文本表示为数值向量的嵌入，可能会将这些对话置于相近位置，因为它们讨论的是同一任务。行为分类则必须将这一声明与追踪记录中记载的行动进行比较。

因此，该公司将 LLM-as-a-judge 模式直接引入交互式追踪发现。工程师不再需要在开始调查前定义每一个评估器。

这种转变加快了探索性分析的速度，但不会让每一项结果都成为权威结论。

为什么智能体追踪搜索已成为数据问题

长时间的智能体会话包含宝贵证据，但其规模和重复性使人工审阅愈发不切实际。

传统应用监控关注可预测的信号。工程师会搜索错误代码、缓慢请求、失败的数据库调用或异常资源消耗。这些信号通常适合放入结构化字段中。

AI 智能体带来了不同的故障面。智能体可能返回技术上成功的响应，却误解了请求、调用了不合适的工具，或夸大了自己完成的工作。

由此产生的遥测数据也异常密集。一个智能体任务可能包含用户消息、模型输出、检索到的文档、shell 命令、工具响应、重试以及向其他智能体的交接。

LangChain 检查了其开源编码智能体 Open SWE 的 150 个随机选取的对话。该公司称，其中有数个对话超过了 100 万 token。

对话的中位数约为 72,000 个 token。用户消息和智能体最终回复仅约占 2,000 个，而约 85% 由工具输出构成。

这些数据来自 LangChain 的样本，并非独立的行业基准。但它们仍说明了为何搜索每个原始事件会同时带来上下文和推理成本。

智能体通常会在每次新的模型调用中发送完整对话历史。因此，朴素的追踪表示会反复存储相同的早期消息。

LangSmith 通过轨迹处理这一重复问题。其追踪数据层会在数据到达时，将受支持的追踪格式转换为通用表示。

这些格式包括通过 LangChain、LangGraph、OpenAI 和 Anthropic SDK、Vercel AI SDK 以及 OpenTelemetry 生成的追踪记录。标准化让搜索系统能够检查一致的序列。

这也扩大了竞争层面的赌注。可观测性供应商正越来越多地提供追踪级评估，而不只是存储和过滤。

例如，Datadog 记录了追踪级评估，它会将追踪记录中的每个 span 放入 LLM 评判提示词。这些评估可以对目标完成情况、工具顺序或对话质量进行分类。

Arize Phoenix 同样在其开源追踪工作流中结合了追踪、标注、评估、数据集和实验。其评估器可以为生产追踪记录打分，并将选定运行转化为供后续测试的数据集。

区别主要在于时机和工作流。评估器通常代表团队定义、测试并重复应用的标准。LangSmith AI Search 则面向调查过程中出现的问题。

设想一个支持智能体突然收到大量取消请求。结构化仪表板可能显示延迟稳定、明确错误很少。全文搜索或许能找到“取消”一词，却无法找出背后的原因。

产品经理则可以搜索那些在收到相互矛盾的回答后尝试取消的用户。这一描述结合了意图、过程和感知质量。

如果匹配结果有用，团队可以审阅它们，将示例加入数据集，并构建持久的评估器。搜索便成为更正式质量流程的探索性前端。

这一工作流促使可观测性平台将发现与评估连接起来。当客户无法检索隐藏在详细追踪记录中的行为时，仅存储详细追踪记录已不足够。

它也改变了哪些团队可以使用追踪数据。产品经理、安全审阅人员和支持负责人无需先学习平台特定的查询语言，就可以描述一个问题。

技术查询层仍然必要。自然语言只是让调查的第一步更接近那些能识别业务问题的人。

LangSmith AI Search 如何在不读取全部内容的情况下理解追踪记录

LangSmith 通过优先处理对话证据降低搜索成本，但这种压缩决定了哪些故障仍然可见。

当用户提交 AI Search 描述时，现有过滤器会先缩小候选集合。随后，SmithDB 准备轨迹，而决策模型并行检查这些轨迹。

系统识别出匹配项后，结果便会流入界面。用户无需等到整个候选集合都处理完毕。

核心机制是每条轨迹 8,000 个 token 的上下文预算。LangSmith 会按照固定优先级填充该预算，而不是发送每一个已记录的 token。

用户消息和智能体的直接回复拥有最高优先级。中间模型消息、工具调用、工具结果和系统消息会填充剩余空间。

如果下一条消息无法容纳，LangSmith 会将其裁剪。一旦预算用尽，后续内容便不会进入模型视野。

这一选择让许多对话搜索变得可行。沮丧、拒绝、困惑、取消意图和缺乏依据的承诺通常会出现在可见对话中。

但它也造成了可预测的盲点。有些故障只存在于工具输出或中间执行步骤中。

智能体可能遇到授权错误、忽略它，却仍然告诉用户任务已成功完成。可见回复中包含这一虚假声明，但决定性证据位于工具结果之中。

如果较早出现、优先级更高的内容耗尽 token 预算，搜索模型就可能错过该证据。LangChain 承认这一限制，并表示正在探索依赖查询的上下文选择机制。

这种选择会根据问题改变证据顺序。有关被忽略的工具错误的查询应优先处理工具响应，而有关用户情绪的查询则应强调对话。

当前版本使用的是一种通用排序。对于测试版而言这可以理解，但团队应将由此产生的覆盖范围视为依赖查询的结果。

这一机制也解释了为何 LangSmith 并未仅依赖向量搜索。当目标是查找与某个主题相关的材料时，向量检索效果很好。

有关账单的对话很可能在嵌入空间中靠近其他账单对话。然而，成功和失败的账单交互在语义上仍可能高度相似。

行为查询需要判断实际发生了什么。决策模型会针对一个狭窄命题评估轨迹，例如智能体是否完成了用户请求的任务。

这种基于模型的方法提高了表达能力，却以另一种不确定性取代了一种检索不确定性。系统现在依赖模型对模糊语言的解释。

“用户沮丧”可能包括直接投诉、重复提问、讽刺、突然离开或礼貌拒绝。不同审阅者可能会对边界案例持不同看法。

置信度分数有助于对结果排序，但并不能确立事实真相。即使模型给出高分，它仍反映了行为定义、可用上下文和评判模型。

因此，最稳健的运营模式仍应包含人工审核。团队可以检查高亮证据，修正匹配较弱的结果，并在将结果集视为具有代表性之前完善描述。

对于反复出现的风险，团队可以将审核过的案例转化为评估数据集。LangSmith 现有的在线评估器随后可以将既定标准应用于未来的追踪记录。

这将探索与监控分离开来。AI Search 帮助团队发现模式，而评估器则在模式定义稳定后持续一致地衡量该模式。

这种分离对于安全与合规尤为重要。针对个人信息的自然语言搜索可以发现可疑追踪记录，但不应取代确定性扫描器或正式控制措施。

模型判断可以拓宽调查范围，但不应成为高后果决策的唯一执行层。

主要竞争对象是预定义评估

LangSmith 正在挑战这样一种假设：团队必须在生产流量暴露问题之前，就预先了解每一种重要故障。

在行为搜索出现之前，团队通常有三种方式定位有问题的追踪记录：搜索文本、筛选已知属性，或针对选定流量运行评估器。

全文搜索具备速度和可复现性。当相关证据包含独特短语、标识符、错误信息或产品名称时，它非常有用。

结构化筛选则更为精准。团队可以隔离出状态码失败、延迟过长、模型调用成本高、使用特定工具或反馈评分较低的追踪记录。

预定义评估器负责理解语义。LLM 裁判可以判断回答是否有帮助、是否有依据、是否安全或是否完整，然后将结果附加到每条追踪记录上。

当团队已经了解故障类别时，评估器路径很有效。但在意外事件发生期间，它的使用便利性会下降。

必须有人定义评分标准，选择所需的追踪字段，制定采样规则，测试评估器，并将其应用于历史或未来流量。这些准备工作能够形成持久的度量，但会拖慢开放式调查。

LangSmith AI Search 将这项工作压缩为在查询时输入的一段描述。它提供了一条从怀疑到候选证据的更快路径。

该功能并不会消除评估器，而是在评估器之前增加了一个发现阶段。

团队可能会注意到支持升级数量增加，却不知道原因。分析人员可以搜索那些在智能体声称问题已解决后仍重复提出请求的用户。

审核人员可能发现，智能体经常将账户关闭理解为订阅取消。随后，这一模式便可转化为具有经过测试评分标准的命名评估器。

这一顺序是本次发布最具影响力的部分。它连接了定性探索、数据集构建、评估和生产监控。

它也给 LangSmith 的直接竞争对手之外带来了压力。由于产品问题超出可观测性仪表板的覆盖范围，内部分析团队经常将追踪记录导出到数据仓库、笔记本或自定义搜索系统中。

行为追踪搜索可能让更多此类分析留在可观测性平台内部。产品团队和工程团队将基于同一份底层执行记录开展工作。

这种方法类似于企业知识系统从关键词搜索转向模型辅助检索的更广泛趋势。两者都试图发现用户没有编码为元数据的含义。

不同之处在于，智能体追踪记录包含的是动作，而不只是文档。一个有用的结果取决于能否重建消息与工具之间发生了什么。

对于工程团队而言，这使得追踪记录组织成为产品质量基础设施的一部分。同样的原则也适用于团队从碎片化技术记录中构建可搜索知识库的情况。

优势将属于那些既能保留证据、又能降低调查阻力的系统。自然语言访问有所帮助，但可审查性同样重要。

LangSmith 会在轨迹视图中高亮匹配的消息。这种设计为审核人员提供了一条从模型分类回溯至已记录对话的路径。

不过，文档指出，并非每个匹配项都能被高亮。重复文本或轨迹视图中缺失的消息，可能导致无法定位证据。

因此，一项结果可能带有置信度评分，却无法展示其背后的全部理由。团队应区分模型置信度与可审计证据。

竞争对手可以通过让自己的评估器界面更具对话性来应对。他们也可以提供临时裁判、保存的行为查询或自动数据集生成。

产品竞争的关键并不只是谁先提供自然语言搜索，而是谁能以最少的缺口将不确定的发现转化为可重复的测试。

上下文、隐私与可复现性界定了 Beta 版的边界

该功能是否有用，取决于团队是否了解它排除了哪些数据，以及它增加了哪些治理义务。

LangSmith 的筛选文档列出了多项产品限制。AI Search 描述目前无法保存为视图，也无法在复制的页面链接中保留。

搜索也不会出现在最近筛选记录中。启用 AI Search 查询时，统计面板不可用。

这些限制会影响可复现性。调查事件的工程师不能只是将已保存的行为查询发送给另一位审核人员，并期待获得完全相同的工作流程。

团队可以在其他地方记录措辞，但这增加了人工流程。鉴于细微的措辞变化可能影响模型分类，这一点也很重要。

该系统在工作区层面实施速率限制。LangChain 未在所引用的文档中公布阈值，因此团队目前无法判断它是否适合频繁的自动化调查。

更重要的限制来自轨迹本身。AI Search 会读取主智能体对话，但不会读取子智能体、中间件或压缩消息的内容。

因此，多智能体工作流可能将决定性行为隐藏在可搜索表示之外。父智能体可能报告成功，而子智能体却记录了实际故障。

该系统也无法从自然语言描述中推断运行状态、标签、元数据或追踪结构。用户必须对这些属性应用常规筛选器。

这种分工应写入团队操作手册。行为搜索处理轨迹中的语义，而结构化筛选处理已知的运营属性。

隐私带来了另一项约束。启用 AI Search 允许追踪数据通过 LangChain 管理的推理服务和子处理商传输至美国并在那里处理。

组织管理员会为每位成员启用该功能。无需单独的模型提供商密钥。

LangChain 明确表示，客户不应将 AI Search 用于受保护健康信息。该功能不受组织与 LangChain 签署的任何商业伙伴协议覆盖。

这一警告值得重视，因为此次发布强调了对泄露的个人身份信息进行搜索。搜索敏感数据意味着要将相关追踪内容传入分类系统。

组织必须区分一般 PII 审查与受监管健康数据处理。在启用该功能前，还需要确认数据保留、访问、驻留地和子处理商方面的要求。

无论供应商是谁，更广泛的可观测性风险始终存在。丰富的追踪记录可能捕获提示词、模型响应、客户记录、检索到的文档和工具结果。

更完整的遥测数据有助于调试，同时也会增加过度收集的后果。团队应在任何敏感字段到达任一可观测性平台之前将其最小化。

他们还应根据经审核的样本测试误报和漏报。一个有价值的 Beta 基准应包括已知的行为事件、困难的负例，以及涵盖不同智能体框架的示例。

公开材料没有报告精确率、召回率、延迟分布，或与嵌入和预定义评估器进行的独立对比。它介绍了架构和一个内部轨迹长度样本。

这使买方缺少衡量搜索质量的共同标准。一个返回看似合理匹配项的功能，仍可能忽略最重要的罕见故障。

因此，正确的解读应当谨慎。LangSmith 推出的是一个颇具前景的调查界面，而不是经过验证、可替代评估、安全扫描或人工审核的方案。

它的价值将取决于用户能够多快验证结果、复现查询，并将发现转化为持久的质量控制机制。

LangSmith AI Search Beta 版之后值得关注的内容

三个信号将表明，行为追踪搜索会成为核心基础设施，还是仅仅作为一种有用的调查捷径。

第一个信号是自适应上下文选择。LangChain 表示，它正在探索根据查询选择证据的方法，并在模型需要第二次处理时给出提示。

这项工作直接针对 8,000 token 的限制。如果以工具为重点的搜索开始优先处理工具结果，系统应能发现更多隐藏在对话证据之外的执行故障。

如果没有自适应选择，用户将需要针对不同类型的追踪记录采用不同方法。对话式搜索可能效果良好，而运营搜索可能产生不一致的覆盖范围。

第二个信号是可复现性。保存的搜索、可共享的查询、稳定的结果集和有文档说明的速率限制，将使 AI Search 更容易集成到事件响应中。

对相似匹配项进行分组，也会帮助团队超越单条追踪记录。LangChain 表示，它希望总结常见模式，而不只是返回一个扁平列表。

这一能力可以将临时搜索转化为产品洞察工作流。团队可以识别反复出现的故障集群，检查具有代表性的追踪记录，并创建有针对性的评估器。

第三个信号是竞争反应。Datadog、Arize 和其他可观测性提供商已经将追踪与基于模型的评估相结合。

如果它们加入交互式行为发现，自然语言追踪搜索将成为预期中的界面。届时，竞争将转向证据质量、治理和与数据集的集成。

如果竞争对手转而强调经过评估的精确性和可重复监控，LangSmith 就需要证明，探索能够在部署后带来可衡量的改进。

用户还应关注已发布的搜索质量基准。针对挫败感、未完成任务、不安全披露和被忽略的工具错误所衡量的精确率与召回率，将提供更清晰的比较基础。

目前，正在评估 LangSmith AI Search 的团队应从一组已审核的已知追踪记录开始。他们可以测试多种描述，比较返回的匹配项，并记录模型遗漏了哪些证据。

随后，他们应将该功能用于发现，而非最终裁决。应人工确认高影响发现，并将稳定的行为定义提升为评估器或确定性控制措施。

此次发布之所以重要，是因为它改变了团队何时能够就智能体行为提出问题。他们不再需要在收集生产追踪记录之前预测每一种故障。

这对于智能体可观测性而言是有意义的一步。更艰难的考验在于，LangSmith AI Search 是否能让这些发现能够在真实生产工作负载中实现可重复、可审计且安全的运用。