Papr 報告在 LongMemEval-S 取得 96%
Papr 表示,其在對話記憶基準 LongMemEval-S 上取得 96.0% 準確率,而較廣泛的檢索設定整體只多答對三題。Papr 的 LongMemEval-S 結果將亮眼的標題分數,與一項格外有用的披露結合:檢索更多歷史記錄有助部分問題,卻令另一些問題表現變差。
該公司發布內容包括答案、評分輸出、檢索記錄及評估程式碼。這些材料令有關說法較單獨的排行榜條目更容易檢視。不過,它們並未證實有獨立複現,亦不保證在陌生對話中會有相同性能。
核心比較聚焦於窄範圍檢索與更廣泛上下文,即供回答模型使用的材料。Chronos 與 Hindsight 提供具競爭力的參考點,但其已發布分數仍需要另行審視方法。對開發者及買家而言,Papr 最有用的發現,是其自身系統內部的取捨。
Papr LongMemEval-S 結果實際衡量甚麼
Papr 報告的結果涵蓋完整的回答流程,而非單獨運作的記憶搜尋元件。
根據其 基準測試材料,得分最高的配置在 500 條問題中答對 480 條。較窄範圍的配置答對 477 條。兩者均使用 Claude Opus 4.6 生成答案,並採用未經修改的 LongMemEval 評測器,即以 gpt-4o-2024-08-06 驅動的自動答案評分器。
這個區別很重要,因為回答模型直接參與所報告的準確率。找到合適的對話並不代表工作完成。模型必須理解該對話、識別相關事實,並構建獲評估器接受的答案。
Papr 將較廣泛配置描述為 K=20,即讀取器會接收 20 個經檢索的對話工作階段。K=5 則提供五個工作階段。這些標籤描述提供到下游的檢索歷史數量,而非獨立基準測試。
因此,已發布的標題成績屬於特定配置。它結合 Papr 的檢索、所選回答模型、提示選擇,以及指定的評估程序。將其稱作 Papr 的通用準確率,會抹去這些條件。
官方評估設定提升了可解讀性。可辨識的評分器及未經修改的評估提示,減少了提交答案如何獲得標籤的不確定性。讀者可以檢視個別結果,而非完全依賴百分比。
不過,官方評估軟件不會獨立認證生成這些答案的系統。公司可以使用預期的評分器,同時仍作出值得審視的配置選擇。評估一致性與實驗獨立性回答的是不同問題。
基準測試文件描述的任務包括資訊擷取、跨工作階段推理、知識更新、時間推理及棄答。棄答是指當歷史記錄缺乏足夠證據時拒絕回答。這些任務測試的不只是記憶中的詞句會否出現在搜尋結果。
考慮一下記住某項偏好與辨識該偏好已改變之間的差異。一個有用的助理必須識別哪項陳述適用於相關時間。僅僅傳回兩項陳述,未能完成當中重要的一環。
這個例子說明 Papr 發布內容的重要性,但不將之轉化為產品保證。評估詢問的是系統能否根據對話歷史回答問題。它並不直接衡量已部署的工作場所助理所需的每項要求。
發布可檢視輸出改變了外界可審查的內容。他們可以區分檢索失敗、可疑答案及評分決定。即使對更廣泛性能保留判斷,這仍令發布內容具參考價值。
更多證據令讀取器承受壓力
一旦取得相關歷史,回答模型便成為另一個獨立的失敗來源。
Papr 表示,在 470 條可回答問題中,排名前五的檢索工作階段包含全部指定證據工作階段的有 460 條。排名前 20 的則有 467 條。這些數字描述的是證據覆蓋率,而非最終答案準確率。
這個差異形成實際區別。檢索召回率,即成功找到所需證據的比例,關乎甚麼內容到達模型。答案準確率則關乎模型如何處理這些材料。
高證據覆蓋率縮窄了對剩餘錯誤的解釋範圍,但不會自動識別每個成因。模型可能誤讀日期、結合不相容陳述,或遺漏必要的限定條件。評估器亦可能拒絕一個措辭需要進一步檢視的答案。
對開發者而言,這些可能性指向不同介入方式。當證據從未到達讀取器時,改善搜尋會有幫助。當證據已存在時,改善推理或答案構建才更重要。
將每個錯誤答案都視為搜尋失敗,會模糊這個區別。即使缺少的能力位於下游,這亦會鼓勵採用更大的檢索預算。Papr 的披露讓團隊有理由在擴大上下文前先檢視失敗情況。
一個假設性的工作場所問題可令議題具體化:專案改期後,哪個截止日期適用?相關歷史可能包含原定日期、建議替代日期及最終確認。作答需要理解它們之間的關係。
若確認內容之前缺失,傳回更多對話會有幫助。若所有必要陳述本已可用,其價值便較不明顯。模型仍須分辨提案與決定。
更多材料亦可能引入互相競爭的參照。另一個專案的對話可能提及相似的截止日期。這不代表更廣泛檢索本質上有害,但會增加讀取器的理解負擔。
因此,壓力落在將記憶作為端對端能力銷售的團隊身上。他們需要證據證明其系統能適當使用檢索到的資訊。單靠搜尋質素無法建立可靠答案。
買家面對相關挑戰。檢索示範看似令人信服,因為正確來源出現在畫面上。真正有意義的問題是,最終回應是否準確反映該來源,並遵守其限制。
這個區別對個人知識系統亦很重要。 個人知識庫組織資訊存取,而答案則加入詮釋。分開評估這些功能,有助使用者理解信心何處合理。
Papr 的數字顯示,檢索在這個特定評估上已經有效。它們並未證明檢索在更長歷史、不同文件或陌生機構中已達飽和。範圍仍限於已發布的基準配置。
有用的結論是診斷性的:當證據覆蓋率接近觀察到的上限時,進一步進展需要如同檢索器般仔細檢視讀取器。這比單看標題百分比更具可操作性。
Top-5 與 Top-20 檢索改變取捨
較廣泛的配置提升整體準確率,但亦產生最終分數掩蓋的損失。
Papr 表示,在已發布配置之間切換時,有 11 條新答對的答案及八條新答錯的答案。淨改善為三條問題。這種變化很重要,因為整體準確率掩蓋了哪些結果發生改變。
小幅整體增長之下,可能反映實質的結果流失與變動。有些問題受惠於額外歷史,另一些則得到較差答案。因此,部署決策部分取決於團隊認為哪些錯誤最具後果。
時間推理結果尤其值得注意。包括棄答問題後,Papr 表示答對數由 133 條中的 123 條增至 130 條。這個類別關乎相對於時間解讀資訊。
這個模式支持有限的解讀:較廣泛歷史有助已發布配置處理更多時間敏感問題。它並未證明每條時間問題都需要較大的檢索預算。若不逐一檢視,亦無法解釋每個改變的答案。
資源差異相當可觀。Papr 表示,K=5 每條問題約使用 16,500 個讀取器 token,K=20 則約 60,000 個。Token 是模型處理文字的單位。
這些數字關乎讀取器輸入,而非所有操作的完整核算。不過,它們顯示更高分數要求在回答階段處理大幅更多材料。額外上下文是這個結果實際意義的一部分。
此外亦存在指標逆轉。Papr 表示,K=5 的任務平均準確率為 96.94%,K=20 則為 96.71%。任務平均會給予各類別相同權重,而非為每條問題分配權重。
兩項指標都不會自動成為正確的採購準則。整體準確率描述問題集按其分布計算的表現。任務平均回答的是關於各類別平衡的另一個問題。
對經常處理時間問題的團隊,類別改善值得注意。對優先考慮各任務類型表現均衡的團隊,任務平均提供必要背景。標題分數無法解決這種偏好。
兩項配置中的棄答皆維持在 30 條中答對 27 條。因此,較廣泛檢索未能改善這項已報告的辨識證據不足指標。更多上下文與更佳克制並未同步改善。
這個結果對回答不完整記錄問題的助理很重要。當底層資訊不可用時,自信的回應可能並不可取。增加檢索預算並不免除直接評估這種行為的需要。
比較亦存在一項重要複雜因素。Papr 的 K=5 配置對計數類問題使用額外擷取步驟,而 K=20 配置則省略該步驟。
因此,已發布配置並未將檢索廣度作為唯一改變的變數。兩者差異結合了上下文數量與答案準備方式的改變。將每項增益或損失完全歸因於 K,會誇大證據。
這不會令比較失去價值。它令比較成為已實作配置之間的比較,並有明確的實驗限制。開發者可以從結果中學習,同時不作出只關於檢索規模的因果主張。
受控的後續研究會在讀取器、提示及擷取行為固定下,改變檢索廣度。在此之前,「top-20 在此得分較高」比「top-20 檢索較好」獲得更充分支持。
競爭對手分數提供背景,而非定論
當底層系統及評估條件不同時,接近的基準百分比無法建立可靠排名。
Chronos 研究報告其 High 配置在 LongMemEvalS 上取得 95.60% 準確率。其方法將對話資訊組織成結構化事件,並透過獨立的輪次日曆保留對對話的存取。
Chronos 描述一個反覆檢索的流程,引導代理程式穿梭於這些結構之間。這種架構可與向回答模型提供經挑選的對話集合形成有用對照。兩者皆透過不同安排處理長期對話記憶。
這項比較在架構層面具啟發性,顯示相近的整體表現可由不同的歷史記錄組織與存取方式產生。但它並未證明哪一種方法在相同條件下表現最佳。
Hindsight 的已發布基準測試列出 LongMemEval S 的成績為 94.6%。這提供了另一個參考點,但僅憑這個數字不足以定論它與 Papr 的比較。模型與評估細節仍然至關重要。
比較這些數字的買家,需要知道各系統讀取甚麼資料,以及如何生成答案。較強的回答模型可在記憶設計以外改變結果。不同的評估者亦會改變哪些回答被視為正確。
提示詞帶來另一個變數。指示可以影響模型會否給出精確答案、加入保留條件,或拒絕回答。即使兩條流程使用相同資料集,仍可能呈現顯著不同的行為。
運算量同樣重要。反覆運作的代理程式可以重新檢視資訊並修正回應;較直接的流程則作出不同的營運選擇。單憑準確率百分比無法說明這些差異。
這並不需要否定供應商的基準測試。它們為特定實作提供證據,亦可找出值得進一步研究的系統。當行銷內容刪去附帶條件時,其限制才會構成問題。
Papr 使用官方評審器,令其自身報告結果更清晰。但這不會追溯性地令每項比較都變得公平。其他系統仍須在明確對齊的條件下評估。
對效率的說法同樣應保持審慎。讀取器輸入是相關因素,但完整比較亦應檢視準備、檢索、重排序及答案生成。省略某些階段,可能令兩個系統看來比實際上更可比較。
對開發者而言,競爭層面的含意是需要更高的披露標準。一個有用的發布應說明配置,並公開足夠細節以調查分歧。缺少這些細節的百分比,較難成為工程決策的依據。
對買家而言,應按架構建立候選名單,而非根據相鄰的小數位數選出勝者。下一次評估應反映組織實際預期的工作負載,包括使用者不易察覺的錯誤。
Papr 的發布應納入這項討論,因為其產出物揭示了取捨。現有證據支持將其方法與其他選項一同審視,卻不足以支持宣布它是所有記憶產品中的普遍勝者。
基準測試調校限制了標題數字的意義
最重要的不確定性,在於結果能否泛化至用於開發及選擇配置的問題以外。
Papr 披露,它在檢視 K=5 配置未能答對的問題後,選擇了 K=20。這是合理的開發工作,但亦代表較廣的設定,是在得知同一基準測試表現的情況下選定。
這項分別將最佳化與驗證區分開來。研究錯誤有助工程師改善系統;要證明改善可遷移,則需要超出促成變更的範例以外的證據。
Papr 亦描述了使用 248 條問題進行開發,並在另外 252 條問題上檢查。除了這些組別外,它沒有披露額外的保留測試集。保留測試集包含不參與開發決策的預留範例。
因此,最終結果應被理解為團隊已研究過的基準測試上的表現。它仍是該等條件下能力的證據,但對預測其在陌生對話歷史中的行為,依據較弱。
執行結果的變異性亦帶來另一項限制。Papr 報告 K=5 Opus 在兩次執行中分別答對 477 及 473 條問題。K=20 相較於較高的已報告結果,只多答對三條問題。
這些觀察不足以證明檢索比較具有統計顯著性,但顯示重複執行可產生與解讀標題增益相關的差異。更大的上下文預算需要重複評估,其優勢才會顯得可靠。
在選擇結果時,平均值同樣重要。最佳一次執行描述觀察到的結果;多次執行的平均值則描述較廣泛的行為樣本。讀者應知道標題代表的是哪一種。
同一原則亦適用於評分。根據已儲存的標籤重新計算分數,可檢查彙總方式;重新生成標籤,則再次測試評估階段;重新生成答案,則測試流程中另一部分。
這些活動提供不同形式的證據。公開輸出令部分檢查較容易進行,但其可用性並不證明獨立第三方已完成檢查。本文並不聲稱進行過獨立重跑。
官方評審器亦值得同樣審慎地界定。使用既有的自動評分器可減少一項方法論上的模糊性來源,但並不代表每項個別評分決定都無可爭議。
若對改變了的個案進行人工覆核,將有助釐清額外上下文帶來了甚麼。覆核人員可檢查改善後的答案,究竟是運用了新近可取得的證據,還是僅以不同方式表達既有證據。同樣值得關注的,還有表現退步的個案。
報告分數以外亦有部署問題。機構關注權限、已刪除資訊、互相衝突的紀錄,以及來源可追溯性。對話問答的成功,並不會自動證明具備這些特性。
這些關注並不削弱此次發布的價值,而是界定其證據邊界。基準測試可提供強而可檢視的結果,卻無法回答所有關於生產環境適用性的問題。
因此,對 Papr LongMemEval-S 結果的審慎解讀,是實質分析而非貶抑。該系統在已披露條件下報告了高準確率;小幅配置差異仍只是關於如何最佳分配上下文的暫時證據。
三項後續工作可令結果更有用
下一項有意義的進展,是提供可區分可重現性、因果改善及陌生歷史表現的證據。
第一個訊號是範圍清楚說明的獨立重現。根據已發布標籤重新計算指標,可驗證報告的算術;重新評分答案或重新生成答案,則可測試該主張的額外部分。
有用的重現應說明重複了哪些階段,以及重用了哪些產出物。沒有這項區分,「重現」一詞可能暗示超出工作所能證明的內容。清晰的範圍可在不誇大獨立性的前提下增強信心。
第二個訊號是僅改變檢索廣度的重複比較。在保持回答模型與提示詞一致的同時,計數步驟亦應維持一致。這可令額外對話工作階段的影響更易解讀。
這類比較應報告新近答對及新近答錯的答案,而不只提供最終總數。按類別列出的結果可顯示較廣檢索在哪些地方有幫助;重複執行則可揭示這些改變是否持續。
讀取器工作量應與準確率結果一併呈現。團隊在決定是否擴展上下文時,需要這兩類資料。若較高分數需要顯著更多輸入,其實際意義便會不同。
第三個訊號是在保留、不參與配置開發的歷史記錄上測試表現。新的範例可測試 Papr 的選擇是否能超出促成這些選擇的問題而遷移。這將加強其較廣泛可靠性的論據。
最具啟示性的範例應保留真實的模糊性。改變了的偏好、修訂後的承諾,以及不完整的紀錄,會迫使系統區分相關證據與僅屬相關的文字。這些情況正測試對話記憶背後的承諾。
在陌生歷史記錄上的弱結果,會收窄對基準分數的解讀;強結果則會擴展其相關性。無論結果如何,對開發者的啟示都會多於另一個孤立的標題百分比。
Papr LongMemEval-S 的報告已提供了一些有用資訊:它讓人看見整體增益背後的變動。此次發布讓人能追問哪些問題有改善、哪些退步,以及額外上下文帶來了甚麼貢獻。
對評估記憶助手的讀者而言,應先檢視這些改變了的個案,再把標題數字當成採購捷徑。檢視所提供的證據、生成的答案,以及評估者接受或拒絕它的原因。將這些行為與你自身工作產生的問題比較,特別是修訂後的決策和缺失資訊。若你管理一個可搜尋知識庫,也應把同樣區分帶到檢索與回答:找到相關文件只是生成可靠回應的一部分。向潛在供應商要求重複執行、一致的比較設定,以及陌生範例。當紀錄改變、證據互相衝突,或正確做法是承認不確定性時,哪個系統仍能保持準確?



