top of page

Papr 报告 LongMemEval-S 得分 96%

10分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Bibek ghosh / Pexels.

Papr 表示,其在对话式记忆基准 LongMemEval-S 上的准确率达到 96.0%,而更宽泛的检索设置总体仅多答对三道题。Papr 的 LongMemEval-S 结果将醒目的高分与一项格外有价值的披露结合在一起:更多检索到的历史记录帮助了部分问题,却也损害了另一些问题的表现。

该公司发布内容包括答案、评分输出、检索记录和评估代码。这些材料使该声明比单独的排行榜条目更便于审查。但它们并不能证明存在独立复现,也不能保证系统在陌生对话中取得同样的表现。

核心比较聚焦于窄范围检索与更广泛上下文之间的差异,即提供给回答模型的材料。Chronos 和 Hindsight 提供了具有竞争力的参考点,但其公布分数仍需接受独立的方法论审查。对开发者和采购方而言,Papr 最有价值的发现是其自身系统内部的权衡。

Papr LongMemEval-S 结果实际衡量什么

Papr 报告的是一条完整回答流程的结果,而非单独运行的记忆搜索组件。

根据其基准测试材料,得分最高的配置在 500 个问题中答对了 480 个。较窄的配置答对了 477 个。两种配置都使用 Claude Opus 4.6 生成答案,并使用未经修改的 LongMemEval 评测器——一个自动答案评分器——配合 gpt-4o-2024-08-06。

这一差异很重要,因为回答模型直接参与了报告中的准确率。找到合适的对话并不意味着任务结束。模型还必须理解该对话、识别相关事实,并构建能被评估器接受的答案。

Papr 将其更广泛的配置称为 K=20,即读取器会获得 20 个检索到的对话会话。K=5 则提供五个会话。这些标签描述的是下游获得的检索历史数量,而不是不同的基准测试。

因此,公布的标题分数属于一个特定配置。它结合了 Papr 的检索能力、所选回答模型、提示词选择以及指定的评估流程。若将其称为 Papr 的通用准确率,就会抹去这些条件。

官方评估设置提升了可解释性。可识别的评分器和未改动的评估提示词,减少了提交答案如何获得标签的不确定性。读者可以审查单个结果,而不必完全依赖一个百分比。

不过,官方评估软件并不会独立认证生成这些答案的系统。公司可以使用预期的评分器,同时仍作出值得审查的配置选择。评估一致性与实验独立性回答的是不同问题。

基准测试文档描述的任务包括信息提取、跨会话推理、知识更新、时间推理和弃答。弃答是指当历史记录缺乏足够证据时拒绝回答。这些任务测试的不只是记忆中的某个短语是否出现在搜索结果中。

想想记住某项偏好与识别该偏好已经改变之间的区别。一个有用的助手必须判断哪项陈述适用于相关时间。仅返回两项陈述,仍未完成工作中重要的一部分。

这个例子说明了 Papr 发布内容的意义,但并未将其包装成产品保证。该评估考察的是系统能否根据对话历史回答问题。它并不直接衡量已部署工作场所助手的所有要求。

可审查输出的发布改变了外部人士可以检验的内容。他们可以区分检索失败、存疑答案和评分决策。这使该发布即使在外界对更广泛性能保留判断时,仍具有价值。

更多证据让读取器承受压力

一旦相关历史可用,回答模型便成为另一个独立的失败来源。

Papr 表示,在 470 个可回答问题中,检索排名前五的会话包含全部指定证据会话的有 460 个。排名前 20 的结果中,这一数字为 467。这些数据描述的是证据覆盖率,而非最终答案准确率。

这一差异形成了实际区别。检索召回率,即成功找到所需证据的比例,关系到哪些内容到达模型。答案准确率则关系到模型如何处理这些材料。

高证据覆盖率缩小了对剩余错误的解释范围,但不会自动识别每一个原因。模型可能误读日期、组合不兼容的陈述,或遗漏必要限定条件。评估器也可能拒绝一个措辞仍需仔细审查的答案。

对于开发者而言,这些可能性指向不同的改进措施。当证据从未到达读取器时,改进搜索会有帮助。当证据已经存在时,改进推理或答案构建则更重要。

将每个错误答案都视为搜索失败,会模糊这一差异。当缺失的能力位于下游时,这会鼓励采用更大的检索预算。Papr 的披露让团队有理由先审查失败案例,再扩大上下文。

一个假设性的工作场所问题能使这一点更具体:项目重新排期后,适用的是哪个截止日期?相关历史可能包含原始日期、拟议的替代日期和最终确认。回答需要理解它们之间的关系。

如果此前缺少最终确认,返回更多对话会有帮助。如果所有必要陈述都已可用,其价值就不那么明显。模型仍必须区分提议与决定。

更多材料也可能引入相互竞争的参照。关于另一个项目的对话可能提到相似的截止日期。这并不意味着更广泛检索天生有害,但它增加了读取器的解释负担。

因此,压力落在将记忆作为端到端能力销售的团队身上。他们需要证据证明系统能够恰当地使用检索到的信息。仅凭搜索质量无法证明答案可靠。

采购方面临相关挑战。检索演示看起来可能很有说服力,因为正确来源出现在屏幕上。真正有意义的问题是,最终响应是否准确反映该来源,并尊重其限制。

这一差异同样适用于个人知识系统。个人知识库组织信息访问,而答案还增加了解释。分别评估这些功能,有助于用户理解信心应建立在哪里。

Papr 的数据表明,检索在这一特定评估中已经有效。它们并不能证明检索在更长历史、不同文档或陌生组织中已达到饱和。范围仍限于发布的基准测试配置。

有用的结论是诊断性的:当证据覆盖率接近观察到的上限时,进一步进展需要像审视检索器一样仔细审视读取器。这比单独的标题百分比更具可操作性。

Top-5 与 Top-20 检索改变了权衡

更广泛的配置提高了总体准确率,却也造成最终分数掩盖的损失。

Papr 表示,在两种已发布配置之间切换时,有 11 个新答对的答案和 8 个新答错的答案。净提升为三道题。这一变化很重要,因为总体准确率掩盖了哪些结果发生改变。

较小的总体增幅之下,可能存在显著波动。一些问题受益于增加的历史记录,另一些则获得了更差的答案。因此,部署决策部分取决于团队认为哪些类型的错误后果最严重。

时间推理结果尤其值得注意。在包含弃答问题时,Papr 表示正确答案从 133 题中的 123 题增加至 130 题。这一类别涉及根据时间解释信息。

这一模式支持一种有限解读:更广泛的历史记录帮助已发布配置在更多时间敏感问题上取得更好表现。它并不能证明每一个时间问题都需要更大的检索预算。若不逐一审查,也无法解释每个变化的答案。

资源差异相当明显。Papr 表示,K=5 每个问题约使用 16,500 个读取器 token,而 K=20 约使用 60,000 个。Token 是模型处理的文本单位。

这些数据涉及读取器输入,而非对每一项操作的完整核算。不过,它们仍表明,更高分数要求在回答阶段处理显著更多的材料。额外上下文是该结果实际意义的一部分。

这里还存在指标反转。Papr 表示,K=5 的任务平均准确率为 96.94%,K=20 为 96.71%。任务平均会赋予各类别相同权重,而不是为每一个问题赋予相同权重。

没有任何一个指标天然就是正确的采购标准。总体准确率描述的是按问题集既有分布计算的表现。任务平均回答的是有关类别间平衡的另一个问题。

对于经常遇到时间问题的团队,类别改进值得关注。对于优先考虑各任务类型表现均衡的团队,任务平均提供了必要背景。标题分数无法解决这一偏好问题。

两种配置中的弃答均为 30 题中答对 27 题。因此,更广泛的检索并未改善这一已报告的识别证据不足能力的指标。更多上下文与更好的克制能力并未同步提升。

这一结果对回答不完整记录相关问题的助手很重要。当底层信息不可用时,自信的响应可能并不理想。提高检索预算不能替代对该行为的直接评估。

该比较还包含一个重要复杂因素。Papr 的 K=5 配置对计数类问题使用了额外提取步骤。其 K=20 配置则省略了这一步。

因此,已发布配置并未将检索范围作为唯一变化变量加以隔离。两者的差异结合了上下文数量与答案准备方式的变化。将每一项收益或损失完全归因于 K,会夸大证据的含义。

这并不使比较失去价值。它使其成为已实现配置之间的比较,并带有明确的实验局限。开发者可以从结果中学习,同时暂不对检索规模单独作出因果判断。

一项受控后续测试应在读取器、提示词和提取行为保持不变的情况下,改变检索范围。在此之前,“top-20 在这里得分更高”比“top-20 检索更好”更有证据支持。

竞争对手分数提供背景,而非裁决

当底层系统和评估条件不同时,接近的基准测试百分比无法证明可靠的排名。

Chronos 研究报告称,其 High 配置在 LongMemEvalS 上的准确率为 95.60%。其方法将对话信息组织为结构化事件,并通过独立的轮次日历保留对对话的访问。

Chronos 描述了一种迭代式检索过程,引导智能体穿行于这些结构之中。该架构与向回答模型提供一组经筛选的会话形成了有益对照。两者都通过不同安排来应对长期对话记忆问题。

这种比较在架构层面具有参考价值。它表明,相近的整体表现可以源于组织和访问历史记录的不同方式。但这并不能证明哪种方法在匹配条件下效果最佳。

Hindsight 的已发布基准测试显示,其 LongMemEval S 得分为 94.6%。这提供了另一项参考,但仅凭这一数字无法解决与 Papr 的比较问题。模型和评估细节仍然至关重要。

比较这些数字的买家需要了解每个系统读取什么,以及如何生成答案。更强的回答模型可以独立于记忆设计而改变结果。不同的评估器也会改变哪些回答被视为正确。

提示词又引入了一个变量。指令会影响模型是给出精确答案、附带限定条件,还是拒绝作答。即使使用相同数据集,两条管线仍可能呈现出实质不同的行为。

计算量同样重要。迭代式智能体可以反复查阅信息并完善回答。更直接的管线则做出了不同的运营选择。仅凭准确率百分比无法描述这些差异。

这并不意味着要否定厂商基准测试。它们为特定实现提供了证据,也能帮助识别值得进一步研究的系统。问题出现在营销宣传剥离了这些结果所附带的条件时。

Papr 使用官方评审器,增强了其自身报告结果的清晰度。但这并不会追溯性地让所有比较变得公平。其他系统仍需在明确对齐的条件下接受评估。

同样的谨慎也适用于效率主张。读入量具有参考价值,但完整比较还应考察准备、检索、重排序和答案生成。省略某些环节,可能让两个系统看起来比实际更具可比性。

对开发者而言,竞争带来的启示是需要更高的披露标准。一项有价值的发布应解释配置,并公开足够细节以便调查分歧。缺少这些细节的百分比,无法为工程决策提供充分依据。

对买家而言,启示是应将不同架构列入候选名单,而不是根据相近的小数点后数字选出赢家。下一次评估应反映组织实际预期的工作负载,其中也包括用户不易察觉的错误。

Papr 的发布值得纳入这场讨论,因为其公开材料展现了其中的权衡。现有证据支持将其方法与替代方案一同审视,但不支持宣布它是所有记忆产品中的普遍赢家。

基准调优限制了头条结论

最重要的不确定性在于:其表现能否泛化到用于开发和选择配置的问题之外。

Papr 披露,其在考察 K=5 配置未能答对的问题后选择了 K=20。这是合理的开发活动。但这也意味着,更宽泛的设置是在已知同一基准测试表现的情况下选定的。

这种区别将优化与验证分开。研究错误有助于工程师改进系统。要证明改进可以迁移,则需要超出影响该改动的示例之外的证据。

Papr 还描述了使用 248 个问题进行开发,并对另外 252 个问题进行检查。除这些组别外,它没有披露额外的保留测试集。保留测试集包含从开发决策中预留出来的示例。

因此,最终结果应被理解为团队已经研究过的基准测试上的表现。它仍然是在这些条件下具备能力的证据。但对于预测其在陌生对话历史中的行为,依据则较弱。

运行波动带来了另一项限制。Papr 报告称,K=5 Opus 在两次运行中分别答对 477 题和 473 题。K=20 相对于报告中较高的一次运行,仅多答对三题。

这些观察并不能证明检索比较具有统计显著性。它们表明,重复运行可能产生与解读头条增益相关的差异。更大的上下文预算需要经过重复评估,其优势才显得可靠。

在选择结果时,平均值也很重要。最佳单次运行描述的是一个已观察到的结果,而多次运行的平均值描述的是更广泛的行为样本。读者应知道头条所代表的是哪一种。

同样的原则也适用于评判。根据保存的标签重新计算分数,可以检验汇总过程。生成新的标签会再次测试评估环节。重新生成答案则测试管线中的额外部分。

这些活动提供不同形式的证据。公开输出使某些检查更容易,但其可获得性并不能证明独立方已完成这些检查。本文并不声称进行了独立复跑。

官方评审器同样值得以谨慎方式表述。使用既有的自动评分器减少了一项方法论模糊性来源,但并不会让每一项具体评分决定都毫无争议。

对发生变化的案例进行人工审查,将有助于澄清额外上下文带来了什么。审查者可以检查,改进后的答案是否使用了新近可得的证据,还是仅以不同方式表达了现有证据。失分案例同样值得关注。

报告分数之外还存在部署层面的问题。组织会关注权限、已删除的信息、相互冲突的记录,以及来源可追溯性。对话问答的成功,并不能自动证明这些属性。

这些关切并不削弱此次发布的价值。它们界定了其证据边界。基准测试可以提供强有力且可检视的结果,而无需回答关于生产适用性的每一个问题。

因此,对 Papr LongMemEval-S 结果的谨慎解读是实质性的,而非贬低。该系统报告了在披露条件下的高准确率。小幅配置差异仍只是关于如何最佳分配上下文的暂定证据。

三项后续工作可让结果更具价值

下一项真正有意义的进展,是能够区分可重复性、因果改进,以及在陌生历史记录上表现的证据。

第一个信号是范围明确的独立复现。根据已发布标签重新计算指标,可以验证所报告的计算结果。重新评分答案或重新生成答案,则会测试该主张的更多环节。

一项有价值的复现应说明重复了哪些阶段、复用了哪些材料。缺少这种区别时,“复现”一词可能暗示超过实际工作所能证明的内容。清晰的范围说明可以增强信心,而不会夸大独立性。

第二个信号是仅改变检索广度的重复比较。在保持回答模型和提示词不变的同时,计数步骤也应保持一致。这将使额外会话的影响更容易解读。

这样的比较应报告新答对和新答错的问题,而不只是最终总数。分类结果将展示更广检索在哪些方面有所帮助。重复运行则会揭示这些变化是否持续存在。

读入量应与准确率结果一并呈现。决定是否扩大上下文的团队需要这两部分信息。当更高分数需要显著更多输入时,其实际意义就不同了。

第三个信号是在从配置开发中保留的历史记录上的表现。新鲜示例将检验 Papr 的选择能否迁移到启发这些选择的问题之外。这将加强其具有更广泛可靠性的论据。

最具揭示性的示例应保留现实中的模糊性。变化的偏好、修订后的承诺和不完整记录,会迫使系统区分相关证据与仅仅有关联的文本。这些情形检验了对话记忆背后的承诺。

在陌生历史记录上的较弱结果,会缩小对基准分数的解读范围。强劲结果则会扩展其相关性。无论哪种结果,都会比又一个孤立的头条百分比教给开发者更多内容。

Papr LongMemEval-S 报告已经提供了一些有价值的信息:它让人得以看到汇总增益背后的变化。此次发布使人们能够追问:哪些问题得到改善,哪些问题出现退步,以及额外上下文贡献了什么。

对于评估记忆助手的读者,在将头条结果视为采购捷径之前,应先从这些变化案例入手。检查所提供的证据、生成的答案,以及评估器接受或拒绝它的理由。将这种行为与你自身工作产生的问题进行比较,尤其是修订后的决策和缺失的信息。如果你管理着一个可搜索知识库,也应将同样的区分应用于检索与回答:找到相关文档只是产出可靠回答的一部分。要求潜在供应商提供重复运行、一致的比较设置和陌生示例。当记录发生变化、证据相互冲突,或正确做法是承认不确定性时,哪个系统仍能保持准确?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page