Les systèmes neuronaux peuvent s'abstenir ou réviser. Ils peinent encore à faire les deux

Une discussion de Horizon MachineLearning publiée le 6 août demande l'existence d'un système qui réussit quatre tests, malgré des décennies de recherche sur chacun d'eux séparément. Il doit préserver une proposition non résolue, conserver sa source et la raison de sa suspension, la réexaminer lorsque des éléments de preuve pertinents arrivent, et éviter les modifications sans rapport.

Cette combinaison crée un défi plus précis que la simple estimation de l'incertitude. Un modèle ne doit pas seulement dire : « Je ne sais pas. » Il doit mémoriser exactement ce qui reste inconnu, expliquer pourquoi le jugement a été suspendu et reconnaître les éléments de preuve susceptibles de modifier ce statut.

La discussion originale ne présente ni nouveau modèle ni résultat expérimental. Elle formule un problème de recherche à partir de plusieurs domaines arrivés à maturité. Le constat notable est l'absence apparente d'une évaluation de bout en bout reconnue qui les réunisse.

La prédiction sélective gère le refus. L'attribution relie les sorties aux éléments de preuve. L'apprentissage continu traite les informations ultérieures. L'édition de modèles modifie un comportement ciblé. Les systèmes de maintien de la vérité suivent les justifications et rétractent les croyances qui en dépendent.

Chaque domaine fournit une partie de la mécanique. Aucun ne couvre clairement l'ensemble du cycle de vie décrit dans la publication.

Cette lacune importe, car les systèmes neuronaux déployés opèrent de plus en plus sur des preuves changeantes. Les dossiers médicaux reçoivent de nouveaux résultats de tests. Les équipes de conformité remplacent des politiques obsolètes. Les enquêteurs réévaluent des affirmations après l'apparition de nouveaux documents. Les systèmes personnels de connaissance combinent des notes dont la fiabilité évolue avec le temps.

L'enjeu central n'oppose donc pas une architecture à une autre. Il oppose la réussite modulaire à l'intégrité du cycle de vie. Les composants individuels semblent capables jusqu'à ce qu'une même proposition doive survivre dans le temps, entre les sources, les révisions et les connaissances voisines.

Ce que demande réellement la question de Horizon MachineLearning

Le test proposé concerne le cycle de vie d'une affirmation non résolue, et non simplement la capacité d'un modèle à refuser une réponse.

Supposons qu'un système reçoive la proposition P de la source S. Le système ne dispose pas de suffisamment d'éléments de preuve pour classer P comme vraie ou fausse, pour une raison précise R.

Un classifieur conventionnel pourrait renvoyer un score de confiance faible. Un prédicteur sélectif pourrait s'abstenir. Un modèle de langage pourrait répondre que les éléments de preuve disponibles sont insuffisants.

Ces réponses traitent la sortie immédiate. Elles ne garantissent pas que le système conserve P comme objet distinct non résolu après la fin de l'interaction.

Le comportement demandé ajoute de la persistance. Le système devrait préserver séparément P, S et R, sans transformer l'incertitude en une association factuelle faiblement tenue.

Il ajoute également une révision conditionnelle. De nouveaux éléments de preuve E ne devraient rouvrir P que lorsque E répond à la raison enregistrée de la suspension ou modifie autrement l'état probatoire pertinent.

Une source répétant la même affirmation non étayée ne devrait pas suffire. Des informations sans rapport sur un sujet voisin ne devraient pas déclencher de révision. Une contradiction ultérieure ne devrait pas écraser silencieusement la provenance initiale.

Enfin, le système devrait limiter les changements collatéraux. Réviser P devrait mettre à jour les conséquences légitimes tout en préservant les affirmations qui ne dépendent pas de P.

Ces exigences peuvent être séparées en quatre propriétés observables.

Premièrement, la suspension épistémique persistante signifie que le système conserve un statut non conclusif dans le temps et lors de requêtes ultérieures. Un refus immédiat ne suffit pas si le modèle présente ensuite P comme établie.

Deuxièmement, la préservation de la provenance signifie que le système conserve l'origine de P et la raison pour laquelle elle n'a pas été acceptée. Une citation attachée à un texte généré ne couvre qu'une partie de cette exigence.

Troisièmement, la révision déclenchée par des preuves signifie qu'un changement pertinent dans les éléments de preuve entraîne une transition de statut contrôlée. La simple exposition à davantage de texte ne devrait pas compter.

Quatrièmement, la limitation des changements collatéraux signifie que la mise à jour modifie de manière appropriée le comportement en aval sans dégrader des capacités sans rapport. Cela ressemble à la localité dans l'édition de modèles, mais inclut des conditions temporelles et probatoires.

Une évaluation devrait tester conjointement ces quatre propriétés. Réussir quatre benchmarks distincts ne prouverait pas qu'un même système préserve leurs relations.

Cette distinction est importante. Un pipeline peut stocker des citations dans une base de données tout en les perdant pendant la génération. Il peut estimer correctement l'incertitude lors de l'ingestion, mais abandonner ensuite l'état de suspension.

Il peut aussi effectuer une édition réussie sans établir que celle-ci découlait de nouvelles preuves. Le même mécanisme pourrait accepter une instruction non étayée aussi facilement qu'une correction vérifiée.

La question demande donc davantage qu'une agrégation de fonctionnalités. Elle demande si un système maintient un dossier épistémique cohérent depuis la première exposition jusqu'à une révision ultérieure.

La prédiction sélective résout la première décision, pas la période d'attente

La prédiction sélective offre aux systèmes neuronaux une option de rejet fondée sur des principes, mais son évaluation standard s'arrête trop tôt pour une suspension persistante.

La classification sélective associe un prédicteur à une fonction de sélection. Le modèle répond aux cas couverts et s'abstient pour les cas jugés trop risqués.

Les chercheurs évaluent couramment ce comportement à l'aide d'un compromis risque-couverture. La couverture mesure la part d'exemples recevant des prédictions. Le risque sélectif mesure les erreurs parmi les exemples acceptés.

Ce cadre répond directement à une faiblesse coûteuse de la classification ordinaire. Un modèle contraint de répondre à chaque entrée ne peut pas distinguer les cas difficiles de ceux qu'il peut traiter de manière fiable.

SelectiveNet a intégré l'option de rejet à l'entraînement de bout en bout. Ses auteurs ont optimisé conjointement la prédiction et le rejet au lieu de placer uniquement un seuil de confiance sur un réseau préentraîné.

L'article sur SelectiveNet a rapporté de meilleures performances en matière de risque-couverture sur plusieurs jeux de données de classification et de régression. Ce résultat a établi un précédent utile pour l'abstention apprise.

Des travaux ultérieurs ont étendu la prédiction sélective au moyen d'estimateurs de confiance calibrés, de méthodes conformes et d'objectifs de rejet spécifiques aux tâches. Ces approches peuvent décider lorsqu'une réponse présente un risque estimé trop élevé.

Pourtant, une décision de rejet est généralement liée à une entrée à un moment d'évaluation donné. Le benchmark demande si le système s'est correctement abstenu, et non ce qu'il advient ensuite de l'élément non résolu.

Cela laisse plusieurs questions sans réponse. Le système a-t-il stocké la proposition comme non résolue ? A-t-il préservé la raison ? Peut-il retrouver le même statut après d'autres entraînements ou interactions ?

L'estimation de l'incertitude présente une limite connexe. L'incertitude épistémique décrit l'incertitude associée à des connaissances limitées, tandis que l'incertitude aléatoire concerne une variabilité irréductible dans les observations.

Les ensembles, les approximations bayésiennes, les méthodes de calibration et les détecteurs de données hors distribution estiment différents aspects de l'incertitude. Toutefois, un score d'incertitude n'est pas une justification structurée.

Une probabilité proche de la moitié n'explique pas si le système manque de preuves, fait face à des sources contradictoires, se méfie de la source ou ne peut interpréter l'affirmation. Ces raisons impliquent des déclencheurs de révision différents.

La calibration crée un autre précédent partiel. Un modèle calibré aligne la confiance déclarée sur les fréquences de correction observées dans des conditions établies.

C'est utile pour décider d'agir. Cela ne crée pas de dossier persistant expliquant pourquoi une proposition particulière est restée indécise.

Même la prédiction conforme offre une garantie plus étroite que la proposition complète. Elle peut produire des ensembles de prédictions ayant des propriétés de couverture sous certaines hypothèses. Elle ne maintient pas intrinsèquement des historiques de croyances spécifiques à chaque source.

C'est la première grande frontière dans la littérature. Les modèles de prédiction sélective déterminent s'il faut répondre maintenant. Le cycle de vie proposé modélise également ce qu'il faut conserver pendant l'attente.

Cet état d'attente ne peut pas être traité comme une sortie vide. Il contient les informations nécessaires à une action ultérieure : la proposition, sa provenance, la raison non résolue et les conditions de preuve admissibles.

Pour les systèmes déployés, cette distinction modifie le comportement du produit. Un assistant clinique devrait distinguer « aucun résultat de test n'existe » de « deux tests validés sont contradictoires ».

Un assistant de politique devrait distinguer « la règle est muette » de « le document fourni a une autorité incertaine ». Les deux situations justifient l'abstention, mais elles exigent des éléments de preuve de suivi différents.

La prédiction sélective reste la terminologie la plus solide pour la décision initiale. La suspension épistémique persistante est un nom raisonnable pour l'état plus durable, bien qu'elle ne soit pas encore une catégorie de benchmark normalisée.

La provenance peut ancrer une réponse sans préserver l'historique d'une croyance

La recherche sur l'attribution relie les sorties aux sources, mais l'ancrage dans les sources ne préserve pas automatiquement la raison pour laquelle une affirmation est restée non résolue.

La recherche sur la génération en langage naturel évalue de plus en plus la possibilité d'étayer une sortie par des éléments de preuve identifiés. Cela est étroitement lié à la provenance, bien que l'unité d'analyse soit souvent le texte généré.

Le cadre Attributable to Identified Sources considère les affirmations sur le monde extérieur comme vérifiables à partir de sources fournies. Son processus d'évaluation demande si une source citée étaye une sortie et si cette source est identifiable.

Le cadre AIS a validé cette approche dans les domaines des questions-réponses conversationnelles, du résumé et de la génération de texte à partir de tableaux. Il offre un langage concret pour évaluer des sorties ancrées dans les sources.

La génération augmentée par récupération ajoute un autre mécanisme pertinent. Un récupérateur sélectionne des passages externes, et un générateur conditionne sa réponse sur ces passages.

Certains systèmes préservent des identifiants de documents ou des étendues de citations. D'autres utilisent l'inférence en langage naturel pour vérifier si les affirmations générées découlent du contexte récupéré.

Un article industriel de l'EMNLP a introduit un vérificateur de factualité léger nommé Provenance. Il relie les sorties suspectées de manquer de factualité à des fragments de contexte particuliers à l'aide de modèles d'inférence compacts.

Le vérificateur Provenance montre que le traçage local des sources peut soutenir une correction en aval. C'est un précédent significatif pour relier l'échec d'une sortie à ses éléments de preuve.

Toutefois, l'attribution des sorties et la provenance des croyances répondent à des questions différentes. L'attribution demande quelle source étaye cette affirmation générée. La provenance des croyances demande pourquoi le système attribue actuellement un statut épistémique particulier.

Un système peut citer S tout en omettant d'enregistrer que S était considérée comme peu fiable. Il peut préserver le texte récupéré sans préserver le conflit précis qui a empêché l'acceptation.

Il peut également ne générer aucune réponse. Dans ce cas, l'évaluation conventionnelle des citations peut n'avoir rien à mesurer, même si le dossier non résolu reste important.

La préservation de la provenance nécessite donc un état plus riche qu'une liste de citations. Chaque proposition peut nécessiter une identité de source, une date d'ingestion, un contexte d'extraction, une évaluation de confiance et des liens de dépendance.

Elle nécessite également des informations négatives et procédurales. Le système devrait enregistrer que les éléments de preuve étaient insuffisants, contradictoires, obsolètes, hors du champ de compétence de la source, ou bloqués par une autre condition.

Ces métadonnées influencent la révision. Un document plus récent peut résoudre une information obsolète sans établir son autorité. Une source faisant autorité peut résoudre un problème de crédibilité tout en laissant intacte une contradiction directe.

Les recherches sur la traçabilité des données offrent des concepts d’infrastructure utiles. La traçabilité des données consigne comment un artefact a été créé, transformé et consommé au sein d’un système.

Toutefois, la traçabilité concerne généralement des jeux de données, des caractéristiques, des exécutions d’entraînement ou des artefacts générés. Elle ne modélise pas nécessairement le statut de vérité suspendu d’une proposition.

Les graphes de connaissances fournissent une autre structure partielle. Ils peuvent représenter des affirmations, des sources, des horodatages et des relations sous forme explicite de nœuds et d’arêtes.

Les graphes nommés et la réification peuvent associer une provenance à des énoncés individuels. Des systèmes de règles peuvent ensuite propager ou retirer des conclusions à partir de ces annotations.

Le défi apparaît lorsque des composants neuronaux compressent ces structures. Une représentation neuronale peut permettre une récupération fluide tout en occultant quelle source a provoqué quelle association.

C’est pourquoi une mémoire externe est probablement pertinente, même si aucune nouvelle architecture neuronale n’est nécessaire. Un système pourrait stocker des enregistrements épistémiques hors des poids du modèle et utiliser des modèles neuronaux pour la récupération, la comparaison et la génération.

Cette conception sépare l’état durable de l’inférence probabiliste. Elle rend aussi l’inspection de la provenance et la révision plus pratiques.

Le coût réside dans la complexité d’intégration. Les développeurs doivent s’assurer que les réponses générées respectent l’enregistrement externe, en particulier lorsque les paramètres du modèle contiennent des associations apprises contradictoires.

Une base de connaissances bien conçue peut préserver le contexte des sources pour une révision humaine. Elle ne garantit pas, à elle seule, un comportement neuronal sensible aux preuves.

La lacune de recherche se situe à cette frontière. La provenance doit façonner l’abstention et les révisions ultérieures, et non simplement apparaître à côté de la réponse finale.

La maintenance de la vérité apporte la sémantique, tandis que l’apprentissage neuronal apporte l’échelle

Les systèmes classiques de révision des croyances décrivent les transitions d’état requises plus directement que la plupart des benchmarks neuronaux.

Les systèmes de maintenance de la vérité ont été conçus pour suivre les croyances, leurs justifications et les conséquences d’un changement d’hypothèses. Ils offrent peut-être le précédent conceptuel le plus proche pour l’ensemble de la demande.

Un système de maintenance de la vérité fondé sur les hypothèses peut représenter des contextes alternatifs et identifier les combinaisons d’hypothèses qui étayent une conclusion. Un système fondé sur les justifications enregistre les dépendances entre les croyances.

Lorsqu’une prémisse devient invalide, les conclusions qui en dépendent peuvent être retirées. Les conclusions non liées restent intactes si leurs justifications demeurent valides.

Ce comportement ressemble à une révision déclenchée par des preuves avec des changements collatéraux limités. La différence est que les systèmes classiques opèrent généralement sur des représentations symboliques explicites.

La révision des croyances fournit une terminologie supplémentaire. L’expansion ajoute une croyance, la contraction en retire une, et la révision intègre une croyance tout en rétablissant la cohérence.

Le raisonnement non monotone importe également. Dans un système non monotone, les conclusions peuvent être retirées lorsque de nouvelles informations arrivent, contrairement à la logique purement monotone.

La proposition sur Reddit ajoute une exigence distincte avant la révision. Le système doit conserver une proposition sans accepter ni celle-ci ni sa négation.

Cela ressemble à un statut explicite « indéterminé » dans les logiques à plusieurs valeurs. Cela évoque aussi les cadres d’argumentation qui distinguent les affirmations acceptées, rejetées et indécises.

Ces traditions traitent déjà la suspension comme un état significatif. Elles peuvent aussi préserver les raisons, les arguments opposés et les structures de dépendance.

Les systèmes neuronaux présentent deux complications. Premièrement, leurs connaissances internes sont généralement réparties entre de nombreux paramètres plutôt que stockées sous forme de propositions explicites.

Deuxièmement, leurs sorties dépendent des invites, du contexte, du décodage et des interactions entre les schémas appris. Mettre à jour une association peut affecter le comportement au-delà de tout graphe de dépendances visible.

Les systèmes neuro-symboliques tentent de combiner l’apprentissage statistique avec le raisonnement explicite. Ils offrent une direction architecturale naturelle, car la mémoire symbolique peut préserver un état au niveau des propositions.

Cependant, qualifier la solution de neuro-symbolique ne résout pas le problème d’évaluation. Un système peut exposer des enregistrements symboliques tout en permettant à son générateur de les contredire.

Le benchmark doit tester le comportement observable à travers des paraphrases, des contextes, des étapes temporelles et des preuves pertinentes. Il doit également inspecter la provenance stockée lorsque le système l’expose.

Une séquence de test réaliste pourrait commencer par une affirmation ambiguë provenant d’une source de faible autorité. Le système devrait s’abstenir et enregistrer la raison spécifique à la source.

Les chercheurs formuleraient ensuite des requêtes sans rapport, ajouteraient des documents distracteurs et modifieraient des faits adjacents. Le statut suspendu devrait rester stable.

Ils fourniraient ensuite plusieurs types de preuves. Certaines devraient être pertinentes mais insuffisantes. D’autres devraient résoudre la raison enregistrée sans étayer la proposition.

Seules les preuves admissibles devraient entraîner une révision. Le nouveau statut devrait apparaître de façon cohérente dans les questions directes, les paraphrases et les implications aval valides.

Enfin, les chercheurs testeraient l’évolution de comportements non liés. Ils vérifieraient aussi si le retrait ou l’invalidation des nouvelles preuves rétablit un état approprié.

Cette dernière étape révèle une autre différence avec l’apprentissage continu ordinaire. Apprendre de nouvelles données n’est pas la même chose que maintenir des justifications révisables.

L’apprentissage continu vise à acquérir de nouvelles tâches ou données tout en réduisant l’oubli catastrophique, c’est-à-dire une perte générale de performance après des mises à jour séquentielles.

Les tampons de rejeu, l’isolation des paramètres et la régularisation peuvent préserver les capacités antérieures. Ces méthodes ne déterminent généralement pas si un élément de preuve précis justifie la révision d’une proposition précise.

Elles protègent l’apprentissage au fil du temps. Elles ne fournissent pas nécessairement des conditions épistémiques de changement.

Le système de bout en bout le plus proche pourrait donc combiner plusieurs traditions. La prédiction sélective fournit la décision de rejet. La mémoire explicite préserve les propositions et la provenance.

La logique de maintenance de la vérité gère les dépendances et les déclencheurs de révision. L’apprentissage continu ou l’édition de modèles contrôle ensuite l’évolution du comportement neuronal.

L’objectif d’intégration est clair. La question ouverte est de savoir si ces composantes peuvent produire un contrat unique, cohérent et mesurable.

L’édition locale de modèles révèle le problème des changements collatéraux

L’édition de modèles mesure directement la révision ciblée, mais les données actuelles indiquent qu’une localité apparente peut masquer des dommages plus étendus.

L’édition de connaissances vise à modifier un comportement sélectionné du modèle sans réentraîner l’ensemble du modèle. Les benchmarks typiques vérifient si une modification réussit, se généralise aux paraphrases et préserve les sorties non liées.

La fiabilité évalue si le modèle modifié renvoie la réponse attendue pour la requête cible. La généralisation vérifie des formulations équivalentes ou des contextes connexes.

La localité mesure si le comportement hors de la modification prévue reste stable. La portabilité teste parfois si le nouveau fait soutient un raisonnement approprié dans des situations liées.

Ces dimensions correspondent étroitement à la seconde moitié du cycle de vie proposé. Une proposition change, les comportements connexes suivent, et les connaissances non liées devraient rester intactes.

Cependant, l’édition de modèles commence généralement par une réponse cible fournie. Elle n’évalue pas nécessairement si les preuves justifiaient cette cible ou résolvaient une raison de suspension antérieure.

L’éditeur reçoit une instruction telle que remplacer une association factuelle par une autre. La décision épistémique a déjà été prise en dehors de la méthode.

L’édition constitue ainsi un mécanisme permettant de mettre en œuvre une révision, et non une explication complète des conditions dans lesquelles une révision doit intervenir.

ROME, MEMIT, MEND et des méthodes connexes proposent différentes façons de modifier le comportement du modèle. Certaines modifient des poids sélectionnés, tandis que d’autres utilisent des éditeurs appris ou une mémoire externe.

Leurs benchmarks ont produit un vocabulaire utile, en particulier l’efficacité, la généralisation, la localité et la portabilité. Ces termes peuvent structurer la partie relative aux changements limités d’une future évaluation.

Néanmoins, des évaluations récentes ont remis en cause des résultats optimistes sur la localité. Une étude NeurIPS 2024 a examiné des capacités plus larges après édition, au-delà des tests standards sur la cible et son voisinage.

L’évaluation de l’édition a signalé une dégradation sur des benchmarks généraux à mesure que les modifications s’accumulaient. Elle a également constaté un affaiblissement du comportement de sûreté dans les modèles modifiés.

Ces résultats ne montrent pas que toutes les méthodes d’édition échouent dans tous les déploiements. Ils montrent que des métriques de localité étroitement définies peuvent manquer des changements comportementaux plus larges.

Un préprint de 2026 a précisé cette préoccupation en se demandant si les protocoles courants de spécificité mesurent la préservation des connaissances avec une sensibilité suffisante. La spécificité est un autre terme pour désigner la localité de l’édition.

La critique de la localité soutient que les protocoles établis présentent des faiblesses conceptuelles et de mesure. Ses auteurs proposent une approche d’évaluation plus sensible.

Ces éléments étayent l’exigence la plus ambitieuse de la discussion Reddit. Des changements collatéraux limités ne peuvent pas être déduits d’une réussite sur un petit ensemble de requêtes non liées.

Un test plus robuste doit couvrir plusieurs distances par rapport à la cible. Il devrait inclure des paraphrases directes, des conséquences légitimes, des faits proches mais indépendants, des capacités éloignées et le comportement de sûreté.

Le résultat attendu varie également selon la distance. Les paraphrases directes devraient changer de façon cohérente. Les conséquences logiques devraient changer lorsque leurs prémisses dépendent réellement de P.

Les faits proches mais indépendants devraient rester stables. Les capacités générales et les contraintes de sûreté ne devraient subir aucune dégradation substantielle.

Le benchmark doit distinguer la propagation des dommages collatéraux. Une révision qui n’affecte jamais les conséquences liées est trop étroite, tandis qu’une révision qui modifie des éléments vaguement associés est trop large.

La provenance des sources ajoute un autre cas difficile. Si deux sources sont en désaccord, le système peut nécessiter des réponses dépendantes du contexte plutôt qu’une modification globale des poids.

Une couche de mémoire externe peut préserver plus naturellement des affirmations concurrentes. La récupération peut ensuite sélectionner les preuves selon le temps, l’autorité, la juridiction ou le contexte utilisateur.

Mais la mémoire externe n’élimine pas les risques liés au comportement du modèle. Le générateur peut ignorer les preuves récupérées, fusionner incorrectement des sources ou exprimer plus de certitude que ne le justifie l’enregistrement.

Cela suggère qu’aucune métrique de localité unique ne tranchera la question. L’évaluation doit inclure l’état stocké, le comportement de récupération, les affirmations générées et les décisions en aval.

Le même principe s’applique au knowledge blending. Combiner des informations n’est utile que si les frontières entre les sources et les conflits restent accessibles à l’examen.

Le précédent le plus fort issu de l’édition de modèles est donc méthodologique. Il montre comment tester un changement ciblé et avec quelle facilité des évaluations étroites peuvent surestimer le contrôle.

Trois signaux montreraient que la lacune de recherche se comble

Le domaine a davantage besoin d’un benchmark longitudinal partagé que d’un autre score isolé d’abstention ou d’édition.

Le premier signal serait un benchmark construit autour d’historiques de propositions plutôt que d’exemples indépendants. Chaque cas devrait contenir des sources, des raisons de suspension, des distracteurs, des preuves ultérieures et des structures de dépendance.

Le benchmark devrait tester des interactions répétées au fil du temps. Une réponse en un seul tour ne peut pas établir une suspension épistémique persistante.

Il devrait également inclure des raisons concurrentes d’incertitude. L’absence de preuves, les preuves contradictoires, la faible autorité de la source, l’ambiguïté temporelle et l’ambiguïté d’entité exigent des conditions de résolution différentes.

Réussir le benchmark exigerait des états non résolus stables avant l’arrivée de preuves admissibles. Cela exigerait aussi des changements de statut justifiés par la suite.

Le deuxième signal est une politique de révision sensible à la provenance, assortie de tests de déclenchement explicites. Les chercheurs devraient indiquer quelles propriétés des preuves autorisent chaque transition.

La seule pertinence ne suffit pas. Un passage peut mentionner P sans traiter la raison de la suspension.

La politique devrait prendre en compte l’identité de la source, l’indépendance des preuves, leur temporalité, les contradictions et l’autorité lorsque l’application l’exige. Ces conditions doivent rester vérifiables.

Des tests contrefactuels rendraient la politique plus difficile à contourner. Les chercheurs pourraient modifier l’étiquette de la source tout en conservant le texte, ou modifier le texte tout en conservant la source.

Ils pourraient également fournir des copies répétées d’une même affirmation. Un système bien conçu ne devrait pas interpréter la duplication comme une confirmation indépendante.

Le troisième signal est un audit plus large des changements collatéraux. Il devrait mesurer à la fois une propagation insuffisante et une propagation excessive après une révision.

Les chercheurs ont besoin de requêtes cibles, de paraphrases, d’affirmations dépendantes, de faits voisins, de tâches éloignées et de contrôles de sécurité. Ils devraient répéter ces tests après des séquences de révisions.

Cet audit devrait inclure la réversibilité lorsque l’application la prend en charge. Si une preuve est retirée ou discréditée, le système devrait réévaluer les affirmations qui en dépendaient.

Un modèle qui se contente d’écraser un comportement antérieur ne peut pas représenter pleinement cette dépendance. Il pourrait nécessiter des enregistrements explicites en dehors de ses paramètres.

Ces signaux renforceraient l’affirmation selon laquelle les domaines convergent. Leur absence appuierait la conclusion actuelle selon laquelle le problème reste fragmenté.

Les développeurs devraient surveiller la terminologie autant que les systèmes. Des travaux pertinents peuvent apparaître sous les termes prédiction sélective, génération attribuée, édition des connaissances temporelles, raisonnement non monotone, inférence défaisable ou révision des croyances.

Les chercheurs peuvent également employer les termes provenance, lignée, maintien de la vérité, statut épistémique ou retour arrière dirigé par les dépendances. Chercher uniquement « AI abstention » fera manquer une grande partie des fondements.

Pour les acheteurs en entreprise, la question pratique est simple. Un fournisseur peut-il montrer ce que le système a refusé de croire, pourquoi il l’a refusé et ce qui a ensuite changé sa position ?

Un score de confiance générique ne répond pas à cette question. Une interface de citations qui oublie les conflits antérieurs non plus.

Pour les développeurs, l’enjeu concerne l’architecture. Un état épistémique durable devrait vraisemblablement résider dans une couche de mémoire vérifiable, même lorsque des modèles neuronaux assurent l’extraction et le raisonnement.

Pour les travailleurs du savoir, une révision préservant la provenance détermine si un assistant reste digne de confiance à mesure que les projets évoluent. Les anciennes décisions dépendent souvent de preuves qui changent par la suite.

La littérature actuelle étaye chacun des principaux éléments. La prédiction sélective étaye l’abstention. L’attribution étaye l’ancrage dans les sources. Le maintien de la vérité étaye la rétractation justifiée.

L’apprentissage continu étaye l’adaptation temporelle. L’édition de modèles étaye les changements comportementaux ciblés et fournit des éléments de prudence quant à la localité.

Ce qui reste incertain est de savoir si une évaluation établie réunit déjà ces éléments dans un protocole unique. La discussion du 6 août devrait être considérée comme une question de recherche, et non comme la preuve qu’aucune n’existe.

Une réponse convaincante exigera plus qu’une liste d’articles connexes. Elle devrait identifier un système évalué depuis la suspension initiale jusqu’à la révision déclenchée par des preuves et aux tests collatéraux.

En attendant, la meilleure description est celle d’une lacune d’intégration. Les composants existent, mais leurs garanties ne se composent pas automatiquement.

Les chercheurs peuvent concrétiser cette lacune en publiant des historiques de propositions, des conditions de déclenchement et des tests de localité sensibles aux dépendances. Les praticiens peuvent exiger les mêmes preuves des systèmes déployés.

La prochaine fois qu’un assistant dit manquer de preuves, demandez ce qu’il a conservé. Demandez ensuite quelles preuves exactes modifieraient son statut, et quelles autres conclusions évolueraient avec lui.

Ces questions transforment la discussion sur horizon machinelearning en test opérationnel. Elles révèlent aussi si « Je ne sais pas » représente une discipline épistémique durable ou seulement une phrase prudente.