top of page

Papr affiche 96 % sur LongMemEval-S

il y a 10 minutes
13 min de lecture
Illustrative photograph. Photo: Bibek ghosh / Pexels.

Papr annonce une précision de 96,0 % sur LongMemEval-S, un benchmark de mémoire conversationnelle, tandis que son paramétrage de récupération plus large n’ajoute que trois bonnes réponses au total. Les résultats de Papr sur LongMemEval-S associent un score phare élevé à une divulgation particulièrement utile : davantage d’historique récupéré a aidé certaines questions et nui à d’autres.

La publication de l’entreprise inclut les réponses, les résultats de notation, les enregistrements de récupération et le code d’évaluation. Ces éléments rendent l’affirmation plus vérifiable qu’une simple entrée de classement. Ils n’établissent pas une réplication indépendante ni ne garantissent les mêmes performances sur des conversations inconnues.

La comparaison centrale oppose une récupération restreinte à un contexte plus large, c’est-à-dire le matériel fourni à un modèle répondant. Chronos et Hindsight offrent des points de référence compétitifs, mais leurs scores publiés exigent un examen méthodologique distinct. Pour les développeurs et les acheteurs, la conclusion la plus utile de Papr concerne le compromis au sein de son propre système.

Ce que mesurent réellement les résultats de Papr sur LongMemEval-S

Papr annonce un résultat pour un pipeline de réponse complet, plutôt que pour un composant de recherche mémorielle fonctionnant seul.

Selon ses artefacts de benchmark, la configuration obtenant le meilleur score a répondu correctement à 480 questions sur 500. Sa configuration plus restreinte en a traité correctement 477. Les deux ont utilisé Claude Opus 4.6 pour produire les réponses et le juge LongMemEval non modifié, un évaluateur automatisé de réponses, avec gpt-4o-2024-08-06.

Cette distinction importe, car le modèle de réponse participe directement à la précision annoncée. Trouver une conversation appropriée ne suffit pas à accomplir la tâche. Le modèle doit interpréter cette conversation, identifier les faits pertinents et construire une réponse acceptée par l’évaluateur.

Papr décrit sa configuration plus large comme K=20, ce qui signifie que le lecteur reçoit 20 sessions de conversation récupérées. K=5 fournit cinq sessions. Ces étiquettes décrivent la quantité d’historique récupéré fournie en aval, plutôt que des benchmarks distincts.

Le résultat phare publié appartient donc à une configuration particulière. Il combine la récupération de Papr, son modèle de réponse sélectionné, ses choix de prompting et la procédure d’évaluation spécifiée. Le présenter comme un taux de précision universel pour Papr effacerait ces conditions.

Le protocole d’évaluation officiel améliore l’interprétabilité. Un évaluateur identifiable et des prompts d’évaluation inchangés réduisent l’ambiguïté sur la manière dont les réponses soumises ont reçu leurs étiquettes. Les lecteurs peuvent examiner les résultats individuels au lieu de se fier entièrement à un pourcentage.

Cependant, un logiciel d’évaluation officiel ne certifie pas indépendamment le système ayant généré ces réponses. Une entreprise peut utiliser l’évaluateur attendu tout en faisant des choix de configuration qui méritent un examen. La cohérence de l’évaluation et l’indépendance expérimentale répondent à des questions différentes.

La documentation du benchmark décrit des tâches impliquant l’extraction d’informations, le raisonnement à travers les sessions, les mises à jour de connaissances, le raisonnement temporel et l’abstention. L’abstention consiste à refuser de répondre lorsque l’historique ne contient pas suffisamment d’éléments probants. Ces tâches testent davantage que la simple apparition d’une phrase mémorisée dans des résultats de recherche.

Considérez la différence entre se souvenir d’une préférence et reconnaître qu’elle a changé. Un assistant utile doit identifier quelle affirmation s’applique au moment pertinent. Renvoyer simplement les deux affirmations laisse une partie importante du travail inachevée.

Cet exemple illustre l’intérêt de la publication de Papr sans en faire une garantie produit. L’évaluation demande si un système peut répondre à des questions à partir d’un historique conversationnel. Elle ne mesure pas directement toutes les exigences d’un assistant déployé en entreprise.

La publication de résultats vérifiables modifie ce que des observateurs externes peuvent examiner. Ils peuvent distinguer les échecs de récupération des réponses ou décisions de notation discutables. Cela rend la publication utile, même lorsqu’ils réservent leur jugement sur les performances plus générales.

Davantage de preuves met le lecteur sous pression

Une fois l’historique pertinent disponible, le modèle répondant devient une source distincte d’échec.

Papr indique que les cinq premières sessions récupérées contenaient toutes les sessions de preuve désignées pour 460 des 470 questions pouvant recevoir une réponse. Ses 20 premières les contenaient pour 467. Ces chiffres décrivent la couverture des preuves, plutôt que la précision finale des réponses.

La différence crée une distinction pratique. Le rappel de récupération, soit la part des preuves nécessaires trouvées avec succès, concerne ce qui atteint le modèle. La précision des réponses concerne ce que le modèle fait de ce matériel.

Une couverture élevée des preuves limite les explications possibles pour les erreurs restantes, mais n’identifie pas automatiquement chaque cause. Le modèle peut mal interpréter une date, combiner des affirmations incompatibles ou omettre une nuance requise. Un évaluateur peut également rejeter une réponse dont la formulation mérite un examen plus approfondi.

Pour un développeur, ces possibilités orientent vers différentes interventions. Améliorer la recherche aide lorsque les preuves n’atteignent jamais le lecteur. Améliorer le raisonnement ou la construction de la réponse importe lorsque les preuves sont déjà présentes.

Traiter chaque mauvaise réponse comme un échec de recherche brouillerait cette distinction. Cela encouragerait des budgets de récupération plus importants, même lorsque la capacité manquante se situe en aval. La divulgation de Papr donne aux équipes une raison d’inspecter les échecs avant d’élargir le contexte.

Une question professionnelle hypothétique rend le problème concret : quelle échéance s’appliquait après le report d’un projet ? L’historique pertinent pourrait contenir une date initiale, un remplacement proposé et une confirmation finale. Une réponse exige de comprendre leur relation.

Renvoyer des conversations supplémentaires aide si la confirmation manquait auparavant. Cela offre une valeur moins évidente si toutes les affirmations nécessaires étaient déjà disponibles. Le modèle doit toujours distinguer une proposition d’une décision.

Davantage de matériel peut également introduire des références concurrentes. Une conversation sur un autre projet pourrait mentionner une échéance similaire. Cela ne rend pas la récupération plus large intrinsèquement nuisible, mais augmente la charge d’interprétation du lecteur.

La pression repose donc sur les équipes qui vendent la mémoire comme une capacité de bout en bout. Elles ont besoin de preuves que leurs systèmes peuvent utiliser les informations récupérées de manière appropriée. La qualité de recherche seule ne peut pas établir la fiabilité des réponses.

Les acheteurs font face à un défi connexe. Une démonstration de récupération peut sembler convaincante, car la source correcte apparaît à l’écran. La question importante est de savoir si la réponse finale reflète cette source avec précision et en respecte les limites.

Cette distinction importe aussi pour les systèmes de connaissances personnelles. Une base de connaissances personnelle organise l’accès à l’information, tandis qu’une réponse y ajoute une interprétation. Évaluer ces fonctions séparément aide les utilisateurs à comprendre où la confiance est justifiée.

Les chiffres de Papr suggèrent que la récupération est déjà efficace dans cette évaluation particulière. Ils n’établissent pas que la récupération est saturée sur des historiques plus longs, des documents différents ou des organisations inconnues. Le périmètre reste celui de la configuration de benchmark publiée.

La conclusion utile est diagnostique : lorsque la couverture des preuves approche du plafond observé, de nouveaux progrès exigent d’examiner le lecteur aussi attentivement que le récupérateur. C’est une conclusion plus exploitable que le seul pourcentage phare.

La récupération Top-5 contre Top-20 modifie le compromis

La configuration plus large améliore la précision agrégée tout en produisant des pertes que le score final dissimule.

Papr rapporte 11 réponses nouvellement correctes et huit réponses nouvellement incorrectes lors du passage entre ses configurations publiées. L’amélioration nette est de trois questions. Ce changement importe, car la précision agrégée masque les résultats qui ont évolué.

Une faible hausse globale peut refléter un important renouvellement sous-jacent. Certaines questions bénéficient de l’historique supplémentaire, tandis que d’autres reçoivent de moins bonnes réponses. Une décision de déploiement dépend donc en partie des types d’erreurs qu’une équipe considère comme les plus lourdes de conséquences.

Le résultat sur le raisonnement temporel est particulièrement notable. En incluant les questions d’abstention, Papr rapporte une hausse de 123 à 130 réponses correctes sur 133. Cette catégorie concerne l’interprétation d’informations en fonction du temps.

Ce schéma étaye une interprétation limitée : un historique plus large a aidé la configuration publiée sur davantage de questions sensibles au temps. Il n’établit pas que chaque question temporelle exige un budget de récupération plus élevé. Il n’explique pas non plus chaque réponse modifiée sans une inspection individuelle.

L’écart de ressources est considérable. Papr annonce environ 16 500 tokens de lecteur par question pour K=5 et environ 60 000 pour K=20. Les tokens sont les unités de texte traitées par le modèle.

Ces chiffres concernent l’entrée du lecteur, plutôt qu’un décompte complet de chaque opération. Ils montrent néanmoins que le score plus élevé nécessitait sensiblement plus de matériel à l’étape de réponse. Le contexte supplémentaire fait partie de la signification pratique du résultat.

Il existe aussi une inversion des métriques. Papr rapporte une précision moyenne par tâche de 96,94 % pour K=5 et de 96,71 % pour K=20. La moyenne par tâche donne le même poids aux catégories au lieu de pondérer chaque question de manière égale.

Aucune des deux métriques n’est automatiquement le bon critère d’achat. La précision globale décrit les performances dans l’ensemble de questions tel qu’il est distribué. La moyenne par tâche répond à une question différente, portant sur l’équilibre entre les catégories.

Pour une équipe confrontée fréquemment à des questions temporelles, l’amélioration de cette catégorie mérite attention. Pour une équipe privilégiant des performances homogènes entre les types de tâches, la moyenne par tâche apporte un contexte nécessaire. Le titre ne peut pas trancher cette préférence.

L’abstention est restée à 27 réponses correctes sur 30 dans les deux configurations. Une récupération plus large n’a donc pas amélioré cette mesure publiée de la reconnaissance de preuves insuffisantes. Davantage de contexte et une meilleure retenue n’ont pas progressé de concert.

Ce résultat importe pour les assistants qui répondent à des questions sur des dossiers incomplets. Une réponse assurée peut être indésirable lorsque l’information sous-jacente n’est pas disponible. Augmenter le budget de récupération ne supprime pas la nécessité d’évaluer directement ce comportement.

La comparaison comporte aussi une complication importante. La configuration K=5 de Papr utilise une étape d’extraction supplémentaire pour les questions de type comptage. Sa configuration K=20 omet cette étape.

Par conséquent, les configurations publiées n’isolent pas l’étendue de la récupération comme seule variable modifiée. Leur différence combine la quantité de contexte avec un changement dans la préparation des réponses. Attribuer chaque gain ou perte exclusivement à K surestimerait les preuves.

Cela ne rend pas la comparaison inutile. Cela en fait une comparaison entre des configurations implémentées, avec une limite expérimentale claire. Les développeurs peuvent tirer des enseignements des résultats tout en évitant d’affirmer un lien causal concernant la seule taille de récupération.

Un suivi contrôlé maintiendrait fixes le lecteur, le prompting et le comportement d’extraction tout en faisant varier l’étendue de récupération. D’ici là, « top-20 a obtenu un score plus élevé ici » est mieux étayé que « la récupération top-20 est meilleure ».

Les scores des concurrents apportent du contexte, pas un verdict

Des pourcentages de benchmark voisins n’établissent pas un classement fiable lorsque les systèmes sous-jacents et les conditions d’évaluation diffèrent.

La recherche Chronos rapporte une précision de 95,60 % pour sa configuration High sur LongMemEvalS. Son approche organise les informations conversationnelles en événements structurés et préserve l’accès au dialogue grâce à un calendrier distinct des tours de parole.

Chronos décrit un processus de récupération itératif qui guide un agent à travers ces structures. Cette architecture offre un contraste utile avec la fourniture d’une sélection de sessions à un modèle chargé de répondre. Les deux abordent la mémoire conversationnelle à long terme selon des organisations différentes.

La comparaison est instructive au niveau architectural. Elle montre que des performances globales similaires peuvent découler de différentes manières d’organiser et d’accéder à l’historique. Elle n’établit pas quelle approche fonctionne le mieux dans des conditions comparables.

Les benchmarks publiés de Hindsight affichent 94,6 % pour LongMemEval S. Cela fournit un autre point de référence, mais ce chiffre seul ne permet pas de trancher une comparaison avec Papr. Les détails du modèle et de l’évaluation restent essentiels.

Un acheteur qui compare ces chiffres doit savoir ce que lit chaque système et comment il génère une réponse. Un modèle de réponse plus performant peut modifier le résultat indépendamment de la conception de la mémoire. Un évaluateur différent peut changer les réponses considérées comme correctes.

Le prompting introduit une autre variable. Les instructions peuvent influencer la précision d’une réponse, l’ajout de nuances ou le refus de répondre. Deux pipelines utilisant le même jeu de données peuvent néanmoins révéler des comportements sensiblement différents.

La quantité de calcul compte également. Un agent itératif peut revenir sur les informations et affiner sa réponse. Un pipeline plus direct fait un choix opérationnel différent. Les pourcentages de précision ne décrivent pas à eux seuls ces différences.

Rien de cela n’exige de rejeter les benchmarks des fournisseurs. Ils apportent des éléments probants sur des implémentations spécifiques et peuvent identifier des systèmes qui méritent une étude approfondie. Leurs limites deviennent problématiques lorsque le marketing efface les conditions qui leur sont associées.

L’utilisation par Papr du juge officiel renforce la clarté de son propre résultat publié. Elle ne rend pas rétroactivement toutes les comparaisons équitables. Les autres systèmes doivent encore être évalués selon des conditions explicitement harmonisées.

La même prudence s’applique aux affirmations d’efficacité. Le volume d’entrée lu est pertinent, mais une comparaison complète examinerait aussi la préparation, la récupération, le reranking et la génération de réponses. Omettre certaines étapes peut faire paraître deux systèmes plus comparables qu’ils ne le sont.

Pour les développeurs, l’implication concurrentielle est une norme de transparence plus élevée. Une publication utile devrait expliquer la configuration et fournir assez de détails pour examiner les divergences. Un pourcentage sans ces détails offre moins de fondements à une décision d’ingénierie.

Pour les acheteurs, il s’agit plutôt de présélectionner des architectures que de sacrer un vainqueur sur la base de décimales voisines. La prochaine évaluation devrait refléter la charge de travail que l’organisation prévoit réellement. Cela inclut les erreurs que les utilisateurs ne peuvent pas facilement détecter.

La publication de Papr s’inscrit dans cette discussion parce que ses artefacts rendent les compromis visibles. Les éléments disponibles justifient d’examiner son approche aux côtés des alternatives. Ils ne justifient pas de déclarer un vainqueur universel parmi les produits de mémoire.

L’ajustement du benchmark limite le résultat phare

L’incertitude la plus importante concerne la généralisation au-delà des questions utilisées pour développer et sélectionner la configuration.

Papr indique avoir choisi K=20 après avoir examiné les questions que la configuration K=5 ne parvenait pas à traiter. Il s’agit d’une activité de développement raisonnable. Cela signifie également que le paramètre plus large a été sélectionné en connaissant les performances sur le même benchmark.

Cette distinction sépare l’optimisation de la validation. L’étude des erreurs aide les ingénieurs à améliorer un système. Démontrer que l’amélioration se transfère exige des preuves allant au-delà des exemples ayant orienté le changement.

Papr décrit aussi un travail de développement utilisant 248 questions et des vérifications sur 252 autres. Il ne divulgue aucun ensemble supplémentaire mis de côté au-delà de ces groupes. Un ensemble mis de côté contient des exemples réservés aux décisions de développement.

Le résultat final doit donc être interprété comme une performance sur un benchmark que l’équipe a étudié. Il demeure une preuve de capacité dans ces conditions. Il offre une base plus faible pour prédire le comportement sur des historiques conversationnels inconnus.

La variabilité entre les exécutions ajoute une autre limite. Papr rapporte des résultats K=5 Opus de 477 et 473 réponses correctes sur deux exécutions. L’amélioration de K=20 par rapport à l’exécution la plus élevée rapportée est de trois questions.

Ces observations n’établissent pas la significativité statistique de la comparaison de récupération. Elles montrent que des exécutions répétées peuvent produire des différences pertinentes pour interpréter le gain mis en avant. Un budget de contexte plus important nécessite des évaluations répétées avant que son avantage paraisse fiable.

Les moyennes comptent aussi lors de la sélection des résultats. Une meilleure exécution décrit un résultat observé, tandis qu’une moyenne sur des exécutions répétées décrit un échantillon plus large de comportements. Les lecteurs devraient savoir lequel représente un titre.

Le même principe s’applique à l’évaluation. Recalculer un score à partir d’étiquettes enregistrées vérifie l’agrégation. Générer de nouvelles étiquettes teste à nouveau l’étape d’évaluation. Régénérer les réponses teste une partie supplémentaire du pipeline.

Ces activités fournissent différentes formes de preuve. Les résultats publics rendent certaines vérifications plus faciles, mais leur disponibilité ne prouve pas qu’une partie indépendante les a réalisées. Cet article ne prétend pas à une réexécution indépendante.

Le juge officiel mérite le même cadrage prudent. L’utilisation d’un évaluateur automatisé établi réduit une source d’ambiguïté méthodologique. Elle ne met pas chaque décision individuelle d’évaluation à l’abri de toute contestation.

Un examen humain des cas modifiés aiderait à clarifier ce que le contexte supplémentaire a apporté. Les examinateurs pourraient déterminer si les réponses améliorées s’appuyaient sur des éléments nouvellement disponibles ou exprimaient simplement différemment des éléments existants. Les cas perdus méritent une attention égale.

Il existe également des questions de déploiement en dehors du score publié. Les organisations se préoccupent des autorisations, des informations supprimées, des enregistrements contradictoires et de la traçabilité des sources. Réussir les questions-réponses conversationnelles n’établit pas automatiquement ces propriétés.

Ces préoccupations ne diminuent pas la valeur de la publication. Elles en définissent la limite probante. Un benchmark peut fournir un résultat solide et vérifiable sans répondre à toutes les questions relatives à l’adéquation à la production.

L’interprétation prudente des résultats Papr LongMemEval-S est donc substantielle plutôt que désinvolte. Le système rapporte une grande précision dans des conditions divulguées. La faible différence de configuration demeure un élément provisoire sur la meilleure façon d’allouer le contexte.

Trois suivis rendraient le résultat plus utile

La prochaine avancée significative consiste à fournir des preuves qui distinguent la reproductibilité, l’amélioration causale et les performances sur des historiques inconnus.

Le premier signal est une reproduction indépendante avec un périmètre clairement défini. Recalculer les métriques à partir des étiquettes publiées validerait l’arithmétique rapportée. Réévaluer les réponses ou les régénérer testerait d’autres parties de l’affirmation.

Une reproduction utile devrait expliquer quelles étapes elle a répétées et quels artefacts elle a réutilisés. Sans cette distinction, le mot « reproduit » peut suggérer davantage que ce que le travail établit. Un périmètre clair renforcerait la confiance sans exagérer l’indépendance.

Le deuxième signal est une comparaison répétée qui ne modifie que l’étendue de la récupération. L’étape de comptage devrait rester cohérente, de même que le modèle de réponse et le prompt. L’effet des sessions supplémentaires serait ainsi plus facile à interpréter.

Une telle comparaison devrait indiquer les réponses nouvellement correctes et nouvellement incorrectes, plutôt que les seuls totaux finaux. Les résultats par catégorie montreraient où une récupération plus large aide. Des exécutions répétées révéleraient si ces changements persistent.

La charge de lecture devrait apparaître à côté des résultats de précision. Une équipe qui décide d’élargir le contexte a besoin des deux éléments. Un score légèrement supérieur a une signification pratique différente lorsqu’il exige beaucoup plus d’entrées.

Le troisième signal est la performance sur des historiques réservés au développement de la configuration. De nouveaux exemples testeraient si les choix de Papr se transfèrent au-delà des questions qui les ont guidés. Cela renforcerait l’argument en faveur d’une fiabilité plus générale.

Les exemples les plus révélateurs préserveraient une ambiguïté réaliste. Les préférences modifiées, les engagements révisés et les dossiers incomplets obligent un système à distinguer les preuves pertinentes d’un texte simplement apparenté. Ces situations mettent à l’épreuve la promesse de la mémoire conversationnelle.

De faibles résultats sur des historiques inconnus limiteraient l’interprétation du score de benchmark. De bons résultats en étendraient la pertinence. Dans les deux cas, les développeurs apprendraient davantage qu’avec un autre pourcentage phare isolé.

Le reporting Papr LongMemEval-S offre déjà quelque chose d’utile : une vue sur l’évolution qui sous-tend un gain agrégé. La publication permet de demander quelles questions se sont améliorées, lesquelles ont régressé et ce que le contexte supplémentaire a apporté.

Pour les lecteurs qui évaluent des assistants de mémoire, commencez par ces cas modifiés avant de considérer le titre comme un raccourci d’achat. Examinez les éléments fournis, la réponse produite et la raison pour laquelle l’évaluateur l’a acceptée ou rejetée. Comparez ce comportement aux questions que votre propre travail génère, en particulier les décisions révisées et les informations manquantes. Si vous gérez une base de connaissances consultable, appliquez la même distinction à la récupération et à la réponse : trouver le document pertinent ne représente qu’une partie de la production d’une réponse fiable. Demandez aux fournisseurs potentiels des exécutions répétées, des paramètres de comparaison cohérents et des exemples inconnus. Quel système reste précis lorsque le dossier change, que les preuves sont contradictoires ou que la bonne réponse consiste à admettre l’incertitude ?

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page