top of page

Papr、LongMemEval-Sで96%を報告

10 分前
読了時間: 17分
Illustrative photograph. Photo: Bibek ghosh / Pexels.

Paprは、会話型メモリベンチマークであるLongMemEval-Sで96.0%の正答率を報告した。一方、より広範な検索設定による正解の上積みは全体でわずか3問だった。PaprのLongMemEval-S結果は、強い見出しとなるスコアとともに、取得する履歴を増やすことで改善する質問もあれば悪化する質問もあったという、異例に有益な開示を示している。

同社の公開資料には、回答、採点出力、検索記録、評価コードが含まれる。これらの成果物により、この主張は単独のリーダーボード掲載よりも検証しやすい。ただし、独立した再現を確立するものでも、未知の会話で同様の性能を保証するものでもない。

中心となる比較は、狭い検索と、回答モデルに与えられる資料である、より広い文脈との比較である。ChronosとHindsightは競争力のある参照点を示すが、公表スコアには別途方法論上の精査が必要だ。開発者と購入者にとって、Paprから得られる最も有用な知見は、自社システム内部のトレードオフに関するものだ。

PaprのLongMemEval-S結果が実際に測定しているもの

Paprが報告しているのは、メモリ検索コンポーネント単体ではなく、完全な回答パイプラインの結果である。

同社のベンチマーク成果物によると、最高スコアの構成は500問中480問に正解した。より狭い構成では477問に正解した。どちらも回答生成にはClaude Opus 4.6を使用し、回答採点器である未改変のLongMemEval judgeにはgpt-4o-2024-08-06を使用した。

この区別は、回答モデルが報告された正答率に直接関与するため重要だ。適切な会話を見つけるだけではタスクは完了しない。モデルはその会話を解釈し、関連する事実を特定し、評価器が受け入れる回答を構成しなければならない。

Paprは、より広い構成をK=20と説明している。これは、回答側が取得した20の会話セッションを受け取ることを意味する。K=5では5セッションが提供される。これらのラベルは、別個のベンチマークではなく、後段に渡される取得済み履歴の量を表す。

したがって、公表された見出しのスコアは特定の構成に属する。それはPaprの検索、選択された回答モデル、プロンプトの選択、指定された評価手順を組み合わせたものだ。これをPaprの普遍的な正答率と呼べば、こうした条件が消えてしまう。

公式の評価設定は解釈可能性を高める。広く認知された採点器と変更されていない評価プロンプトにより、提出された回答がどのようにラベル付けされたかについての曖昧さが減る。読者はパーセンテージだけに依存せず、個々の結果を確認できる。

ただし、公式の評価ソフトウェアは、回答を生成したシステムを独立して認証するものではない。企業は想定された採点器を使用しながらも、精査に値する構成上の選択を行うことができる。評価の一貫性と実験の独立性は、異なる問いに答えるものだ。

ベンチマーク文書は、情報抽出、セッション横断の推論、知識更新、時間的推論、回答保留を含むタスクを説明している。回答保留とは、履歴に十分な証拠がない場合に回答を控えることだ。これらのタスクは、記憶したフレーズが検索結果に現れるかどうか以上のものを試している。

好みを記憶することと、その好みが変わったと認識することの違いを考えてみよう。有用なアシスタントは、関連する時点にどの発言が当てはまるかを特定しなければならない。両方の発言を返すだけでは、重要な作業の一部が未完了のままだ。

この例は、Paprの公開の意義を示す一方、それを製品保証に変えるものではない。この評価が問うのは、システムが会話履歴から質問に答えられるかどうかだ。実運用の職場向けアシスタントに必要な要件をすべて直接測定するものではない。

検査可能な出力を公開することで、外部の人々が確認できる内容が変わる。検索の失敗、疑わしい回答、採点判断を区別できるようになる。より広範な性能について判断を保留する場合でも、この公開は有用だ。

証拠が増えるほど、回答モデルへの負荷は高まる

関連する履歴が利用可能になると、回答モデル自体が別の失敗要因となる。

Paprは、回答可能な470問のうち460問について、上位5件の取得セッションに指定されたすべての証拠セッションが含まれていたと報告している。上位20件では467問だった。これらの数値は最終的な回答精度ではなく、証拠のカバレッジを表す。

この違いは実務上の区別を生む。検索再現率、すなわち必要な証拠を正常に見つけられた割合は、何がモデルに届くかに関するものだ。回答精度は、モデルがその資料をどう扱うかに関するものだ。

高い証拠カバレッジは残る誤りの説明を絞り込むが、すべての原因を自動的に特定するわけではない。モデルが日付を読み違えたり、両立しない発言を組み合わせたり、必要な留保を省いたりする可能性がある。評価器が、表現をより詳しく調べるべき回答を却下する可能性もある。

開発者にとって、これらの可能性は異なる介入策を示す。証拠が回答側に届いていない場合は検索の改善が役立つ。証拠がすでに存在する場合は、推論や回答構成の改善が重要になる。

不正解をすべて検索の失敗として扱えば、この区別は曖昧になる。欠けている能力が後段にある場合であっても、より大きい検索予算を促すことになる。Paprの開示は、文脈を拡大する前に失敗を調査すべき理由をチームに与える。

仮想的な職場の質問を考えると、この問題は具体的になる。プロジェクトの日程変更後、どの締切が適用されたのか。関連する履歴には、当初の日付、提案された代替日、最終確認が含まれるかもしれない。回答には、それらの関係を理解することが必要だ。

追加の会話を返すことは、最終確認が以前は欠けていた場合には役立つ。必要な発言がすべてすでに利用可能なら、その価値は明白ではない。モデルは依然として、提案と決定を区別しなければならない。

資料が増えると、競合する参照情報が入り込む可能性もある。別のプロジェクトについての会話に、似た締切が記載されているかもしれない。これは広範な検索が本質的に有害だという意味ではないが、回答側の解釈上の負担を増やす。

そのため、メモリをエンドツーエンドの能力として販売するチームに負荷がかかる。取得した情報をシステムが適切に利用できるという証拠が必要だ。検索品質だけでは、信頼できる回答を確立できない。

購入者も関連する課題に直面する。正しい情報源が画面に表示されれば、検索デモは説得力を持って見える。重要なのは、最終回答がその情報源を正確に反映し、その限界を尊重しているかどうかだ。

この区別は個人向けナレッジシステムにとっても重要だ。個人ナレッジベースは情報へのアクセスを整理するが、回答には解釈が加わる。これらの機能を別々に評価することで、ユーザーはどこで信頼できるのかを理解しやすくなる。

Paprの数値は、この特定の評価において検索がすでに有効であることを示唆する。より長い履歴、異なる文書、未知の組織にわたって検索が飽和していることを示すものではない。対象範囲は、公開されたベンチマーク構成にとどまる。

有用な結論は診断的なものだ。証拠カバレッジが観測上の上限に近づくと、さらなる進歩には、検索器と同じくらい注意深く回答側を調べる必要がある。これは見出しのパーセンテージだけよりも実行可能な知見だ。

Top-5とTop-20の検索はトレードオフを変える

より広い構成は総合精度を改善する一方、最終スコアでは見えない損失も生んでいる。

Paprは、公開した構成間の移行により、新たに正解となった回答が11件、新たに不正解となった回答が8件あったと報告している。純増は3問だ。この変動が重要なのは、総合精度がどの結果が変化したかを隠してしまうためだ。

小さな総合的な上昇の下には、大きな入れ替わりがある可能性がある。追加の履歴から恩恵を受ける質問がある一方で、より悪い回答を受け取る質問もある。したがって、導入判断は、チームがどの種類の誤りを最も重大と考えるかにも左右される。

時間的推論の結果は特に注目に値する。回答保留の質問を含めると、Paprは133問中の正解数が123から130へ増加したと報告している。このカテゴリは、時間に関連して情報を解釈することに関するものだ。

このパターンは限定的な解釈を支持する。より広い履歴は、公開された構成において、より多くの時間依存の質問に役立った。ただし、すべての時間的質問により大きな検索予算が必要であることを示すものではない。また、個別の検査なしに、変化した各回答を説明するものでもない。

リソースの差は大きい。Paprは、K=5では1問あたり約16,500 reader tokens、K=20では約60,000と報告している。トークンはモデルが処理するテキストの単位だ。

これらの数値は、すべての処理を完全に集計したものではなく、回答側の入力に関するものだ。それでも、高いスコアには回答段階で大幅に多くの資料が必要だったことを示している。追加の文脈は、この結果の実務的な意味の一部だ。

指標の逆転もある。Paprは、タスク平均精度がK=5で96.94%、K=20で96.71%だったと報告している。タスク平均は、すべての質問に重みを付けるのではなく、カテゴリに等しい重みを与える。

どちらの指標も、購入判断の基準として自動的に正しいわけではない。総合精度は、分布どおりの質問セット全体での性能を示す。タスク平均は、カテゴリ間のバランスについて別の問いに答える。

時間的な質問が頻繁にあるチームでは、カテゴリの改善に注目する価値がある。タスク種別にわたる均一な性能を優先するチームでは、タスク平均が必要な文脈を加える。見出しだけでは、この選好を解決できない。

回答保留は、どちらの構成でも30問中27問正解のままだった。したがって、より広い検索は、証拠不足を認識するという報告上の指標を改善しなかった。より多い文脈と、よりよい抑制は同時には向上していない。

この結果は、不完全な記録について質問に答えるアシスタントにとって重要だ。基礎となる情報が利用できないとき、断定的な回答は望ましくない場合がある。検索予算を増やしても、この挙動を直接評価する必要性はなくならない。

この比較には重要な複雑要因もある。PaprのK=5構成では、件数形式の質問に対して追加の抽出ステップを使用している。K=20構成では、そのステップを省いている。

したがって、公開された構成は、検索範囲だけを変更変数として分離していない。差には文脈量と回答準備の変更が組み合わさっている。すべての改善または悪化をKだけに帰属させることは、証拠を過大評価することになる。

これは比較を無用にするものではない。明確な実験上の限界を伴う、実装済み構成同士の比較にするものだ。開発者は結果から学びつつ、検索サイズだけについての因果的主張は保留できる。

統制された追試では、回答側、プロンプト、抽出挙動を固定し、検索範囲のみを変えることになる。それまでは、「top-20はここでより高いスコアを得た」のほうが、「top-20 retrievalのほうが優れている」よりも十分に裏付けられている。

競合他社のスコアは文脈を提供するが、結論ではない

基盤となるシステムと評価条件が異なる場合、近いベンチマークのパーセンテージは信頼できる順位を確立しない。

Chronos researchは、LongMemEvalSにおけるHigh構成の精度として95.60%を報告している。そのアプローチは会話情報を構造化されたイベントとして整理し、別個のturn calendarを通じて対話へのアクセスを保持する。

Chronosは、エージェントをそうした構造の中で導く反復的な検索プロセスを説明している。このアーキテクチャは、選択したセッション群を回答モデルに与える手法との有用な対比を提供する。どちらも長期的な会話メモリを扱うが、その構成は異なる。

この比較は、アーキテクチャのレベルで有益である。履歴を整理・参照する方法が異なっていても、見出し上では似た性能が得られうることを示している。ただし、条件を揃えた場合にどちらの手法が最も優れているかを立証するものではない。

Hindsightの公開ベンチマークでは、LongMemEval Sで94.6%が示されている。これは別の比較基準となるが、この数値だけでPaprとの比較を決着させることはできない。モデルと評価の詳細は依然として不可欠だ。

これらの数値を比較する購入担当者は、各システムが何を読み、どのように回答を生成するかを知る必要がある。より強力な回答モデルは、メモリ設計とは独立して結果を変えうる。評価者が異なれば、どの応答を正解とみなすかも変わりうる。

プロンプトも別の変数をもたらす。指示によって、モデルが正確な回答を返すか、留保を付けるか、あるいは回答を控えるかが左右される。同じデータセットを使う2つのパイプラインでも、実質的に異なる振る舞いを示す場合がある。

計算量も重要だ。反復型エージェントは情報を再訪し、応答を改善できる。より直接的なパイプラインは、異なる運用上の選択を行う。精度の割合だけでは、その違いを説明できない。

だからといって、ベンダーのベンチマークを退ける必要はない。特定の実装に関する証拠を提供し、さらに検討する価値のあるシステムを特定できる。その限界が問題になるのは、マーケティングがそこに付随する条件を取り除いたときだ。

Paprが公式ジャッジを使用していることは、自社報告結果の明確さを高めている。ただし、それによってすべての比較が遡及的に公平になるわけではない。他のシステムについても、明示的に整合された条件で評価する必要がある。

同じ注意は効率性に関する主張にも当てはまる。リーダー入力は重要だが、完全な比較では準備、検索、再ランキング、回答生成も検討すべきだ。段階を省略すると、2つのシステムが実際よりも比較可能に見えてしまう。

開発者にとっての競争上の含意は、より高い開示基準である。有用なリリースでは、構成を説明し、見解の相違を調査できるだけの詳細を公開すべきだ。そうした詳細を欠く割合は、エンジニアリング上の意思決定の根拠としては弱い。

購入者にとっては、近接した小数点以下の差から勝者を決めるのではなく、アーキテクチャを候補に絞り込むべきだということになる。次の評価は、組織が実際に想定するワークロードを反映すべきである。そこには、ユーザーが容易には検知できない誤りも含まれる。

Paprのリリースは、その成果物がトレードオフを明らかにしているため、この議論に位置づけられる。証拠は、その手法を代替案と並べて検討することを支持している。メモリ製品全体にわたる普遍的な勝者を宣言する根拠にはならない。

ベンチマーク調整が見出しの限界を示す

最も重要な不確実性は、構成の開発と選定に使われた質問を超えて一般化できるかどうかにある。

Paprは、K=5構成で見逃した質問を調べた後にK=20を選んだことを開示している。これは合理的な開発活動である。同時に、より広い設定が同じベンチマーク上の性能を知ったうえで選ばれたことも意味する。

この区別は、最適化と検証を分ける。誤りを調査することは、エンジニアがシステムを改善する助けとなる。その改善が転用可能であることを示すには、変更に影響を与えた事例を超える証拠が必要だ。

Paprはまた、248問を使った開発作業と、別の252問での確認についても説明している。これらのグループ以外に、追加のホールドアウトセットは開示していない。ホールドアウトセットとは、開発上の意思決定から留保された事例を含む集合である。

したがって最終結果は、チームが詳細に検討したベンチマーク上での性能として読むべきだ。その条件下での能力を示す証拠ではある。ただし、未知の会話履歴に対する振る舞いを予測する根拠としては弱い。

実行ごとのばらつきも、もう一つの限界を加える。PaprはK=5のOpus結果として、2回の実行でそれぞれ477件と473件の正答を報告している。K=20による改善は、より高い方の報告結果と比べて3問である。

これらの観測だけでは、検索比較における統計的有意性は確立されない。繰り返し実行では、見出しの改善を解釈するうえで重要な差が生じうることを示している。より大きなコンテキスト予算の優位性が信頼できるものに見えるには、反復評価が必要だ。

結果を選択する際には平均値も重要である。ベストランは観測された結果を表す一方、複数回実行した平均はより広い振る舞いの標本を表す。読者は、見出しがどちらを表しているのかを知るべきだ。

同じ原則は判定にも当てはまる。保存されたラベルからスコアを再計算すれば、集計を確認できる。新しいラベルを生成すれば、評価段階を再び検証することになる。回答を再生成すれば、パイプラインの追加部分を検証することになる。

これらの活動は、それぞれ異なる形式の証拠を提供する。公開された出力は一部の確認を容易にするが、その利用可能性は独立した第三者が確認を完了した証明ではない。本記事は独立した再実行を主張しない。

公式ジャッジについても、同じ慎重な位置づけが必要だ。確立された自動採点器を使うことで、方法論上の曖昧さの一因は減る。ただし、個々の採点判断すべてに異論の余地がなくなるわけではない。

変更された事例を人間がレビューすれば、追加コンテキストが何を達成したのかを明確にできる。レビュー担当者は、改善した回答が新たに利用可能になった証拠を使ったのか、それとも既存の証拠を異なる形で表現しただけなのかを確認できる。悪化した事例にも同等の注意が必要だ。

報告スコアの外側には、導入に関する問いもある。組織が重視するのは、権限、削除済み情報、矛盾する記録、ソースの追跡可能性だ。会話型質問応答での成功は、これらの特性を自動的に確立するものではない。

これらの懸念は、リリースの価値を損なうものではない。証拠としての境界を定義するものだ。ベンチマークは、本番環境への適合性に関するあらゆる問いに答えなくても、強力で検証可能な結果を提供できる。

したがって、PaprのLongMemEval-S結果を慎重に読むことは、否定的な態度ではなく実質的な判断である。このシステムは、開示された条件下で高い精度を報告している。小さな構成差は、コンテキストを最適に配分する方法に関する暫定的な証拠にとどまる。

3つのフォローアップが結果をより有用にする

次に意味のある前進は、再現可能性、因果的な改善、未知の履歴における性能を切り分ける証拠である。

第1の指標は、範囲を明確に示した独立再現である。公開ラベルから指標を再計算すれば、報告された算術を検証できる。回答を再採点または再生成すれば、主張の追加部分を検証できる。

有用な再現では、どの段階を繰り返し、どの成果物を再利用したかを説明すべきだ。この区別がなければ、「再現した」という言葉は、実際の作業が確立した以上のことを示唆しかねない。明確な範囲は、独立性を過度に主張することなく信頼を強める。

第2の指標は、検索範囲だけを変える反復比較である。回答モデルとプロンプトとともに、カウントの手順は一貫させるべきだ。そうすれば、追加セッションの効果を解釈しやすくなる。

このような比較では、最終合計だけでなく、新たに正解になった回答と新たに不正解になった回答を報告すべきだ。カテゴリ別の結果は、より広い検索がどこで役立つかを示す。繰り返し実行は、それらの変化が持続するかを明らかにする。

リーダーのワークロードも、精度結果と併せて示すべきだ。コンテキストを拡張すべきかを決めるチームには、両方の情報が必要である。より多くの入力を大幅に必要とする場合、わずかに高いスコアは実務上異なる意味を持つ。

第3の指標は、構成開発から留保された履歴における性能だ。新しい事例は、Paprの選択がそれらを導いた質問を超えて転用できるかを検証する。このことは、より広範な信頼性を支持する根拠を強める。

最も示唆的な事例は、現実的な曖昧さを残したものだろう。変化した選好、修正されたコミットメント、不完全な記録は、システムに対して、関連する証拠と単に関係するだけのテキストを区別することを求める。こうした状況は、会話メモリの約束を検証する。

未知の履歴における弱い結果は、ベンチマークスコアの解釈を狭める。強い結果は、その関連性を広げる。どちらの結果でも、開発者にとっては別の孤立した見出しの割合より多くを教えてくれる。

PaprのLongMemEval-S報告はすでに有用なものを提供している。それは、集計上の改善の背後にある変化を見通せることだ。このリリースにより、どの質問が改善し、どれが後退し、追加コンテキストが何に寄与したのかを問うことが可能になる。

メモリアシスタントを評価する読者は、見出しを購入判断の近道として扱う前に、まずその変化した事例を確認すべきだ。提示された証拠、生成された回答、評価者が受理または却下した理由を精査する。それらの振る舞いを、自身の業務で生じる質問、特に修正された判断や欠落情報と比較してほしい。検索可能なナレッジベースを管理しているなら、検索と回答についても同じ区別を持ち込むべきだ。関連文書を見つけることは、信頼できる応答を生み出す一部にすぎない。候補となる提供者には、反復実行、一貫した比較設定、未知の事例を求めよう。記録が変化し、証拠が矛盾し、あるいは不確実性を認めることが正しい応答であるとき、どのシステムが正確さを保てるのか?

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page