La précision de ChatGPT pour les tensiomètres déçoit dans une nouvelle étude sur l’IA

Dans une nouvelle étude couvrant 324 appareils domestiques, la précision de ChatGPT pour les tensiomètres est tombée jusqu’à 63 %. Microsoft Copilot et Perplexity ont également rencontré des difficultés, tandis que Google Gemini a fourni des réponses incorrectes dans environ 9 % à 14 % des tests.

Ces résultats préliminaires remettent en cause une hypothèse courante sur la recherche par IA. Un chatbot peut trouver un registre officiel d’appareils, le citer, puis mal interpréter la signification de l’inscription. Cet écart compte lorsque les consommateurs utilisent des outils conversationnels pour effectuer des achats liés à leur santé.

L’étude n’établit pas que chaque réponse de chatbot est dangereuse. Elle montre toutefois que des réponses soignées peuvent masquer une recherche d’informations et un raisonnement incohérents. Pour les acheteurs, l’option la plus sûre reste de consulter un registre reconnu et de discuter du choix de l’appareil avec un clinicien.

Ce qu’a révélé le test sur 324 appareils

Quatre grands outils d’IA ont classé à plusieurs reprises de manière erronée des tensiomètres dont les chercheurs pouvaient vérifier indépendamment le statut de validation.

Les chercheurs ont testé 324 tensiomètres domestiques au Canada en avril et mai 2026. L’échantillon comprenait 145 appareils validés et 179 appareils qui ne l’avaient pas été.

L’équipe a sélectionné les appareils dans trois registres reconnus, une liste de produits connus comme non validés et des annonces de vente en ligne. L’échantillon issu du commerce en ligne incluait des tensiomètres à brassard populaires vendus via Amazon au Canada, en Australie et aux États-Unis.

Chaque appareil a été vérifié à l’aide de ChatGPT, Google Gemini, Microsoft Copilot et Perplexity. Les chercheurs ont posé à chaque outil trois versions d’une même question de base.

La première requête ressemblait à une question posée par un consommateur ordinaire. La deuxième demandait à l’outil de consulter un registre de validation nommé. La troisième fournissait davantage de détails et exigeait une réponse en un mot.

Selon l’étude sur les appareils d’IA, Gemini a répondu correctement dans 86 % à 91 % des cas. ChatGPT, Copilot et Perplexity ont enregistré une précision comprise entre environ 63 % et 83 %.

Ces fourchettes variaient selon la requête. Elles montrent aussi pourquoi un seul chiffre ne peut pas décrire tous les modèles ni toutes les conditions de test.

Les chercheurs ont relevé une autre tendance préoccupante. Les quatre outils obtenaient de moins bons résultats pour identifier les tensiomètres validés que pour évaluer les produits non validés.

Ce résultat semble contre-intuitif. Les appareils validés ont déjà passé des tests indépendants et figurent dans des registres structurés accessibles au public.

Les chatbots trouvaient parfois la page officielle pertinente, mais ne considéraient pas l’inclusion dans le registre comme une preuve de validation. Dans d’autres cas, ils indiquaient à tort aux utilisateurs que des appareils répertoriés ne répondaient pas aux normes cliniques.

Anna Soriano, interne en médecine interne à l’Université de Montréal et présentatrice de l’étude, a déclaré que la plupart des outils n’obtenaient que des résultats légèrement supérieurs au hasard. Elle a souligné que même Gemini peinait face à des informations facilement accessibles.

L’étude a également testé la cohérence des réponses. Les chercheurs ont sélectionné 20 % des appareils ayant produit des réponses divergentes, puis ont répété les questions auprès de trois examinateurs.

Ces vérifications complémentaires ont eu lieu sur différents ordinateurs et à différents jours, principalement en mai 2026. Un même outil renvoyait souvent une réponse différente à la même question.

Cette variabilité est au cœur du constat. Une recommandation de chatbot peut sembler catégorique alors que le résultat sous-jacent change d’une session à l’autre.

Les travaux ont été présentés lors des Hypertension Scientific Sessions 2026 de l’American Heart Association à Arlington, en Virginie. Il s’agit encore d’un résumé de conférence, et non d’un article complet évalué par les pairs.

Cette distinction limite la portée des conclusions. Toutefois, l’ampleur de l’échantillon et la conception reposant sur des requêtes répétées constituent un avertissement important concernant la sélection d’appareils assistée par IA.

Pourquoi la précision de ChatGPT pour les tensiomètres est importante

Une réponse erronée sur un produit peut affecter les mesures que les patients et les cliniciens utilisent pour prendre des décisions thérapeutiques.

Un tensiomètre domestique n’est pas validé simplement parce qu’il s’allume, affiche des chiffres plausibles ou reçoit des avis clients favorables. La validation signifie que des tests indépendants ont conclu que ses relevés étaient suffisamment précis selon un protocole reconnu.

Ce statut importe, car les mesures de la pression artérielle guident le diagnostic, les ajustements de traitement et la gestion des risques à long terme. Une erreur de mesure constante peut créer un tableau trompeur de l’état de santé d’une personne.

Un appareil imprécis peut produire des relevés qui paraissent trop élevés. Cela peut générer de l’anxiété, des rendez-vous inutiles ou des discussions thérapeutiques inappropriées.

Un appareil qui affiche des valeurs trop basses crée un danger différent. Il peut faire paraître une hypertension non contrôlée comme stable et retarder une réponse clinique nécessaire.

Les enjeux dépassent une mesure isolée. De nombreux patients consignent leurs relevés pendant plusieurs jours ou semaines avant de les partager avec un clinicien.

Une erreur systématique de l’appareil devient alors une tendance dans le dossier du patient. Le volume des mesures peut rendre cette tendance plus crédible, alors même qu’elle est causée par l’instrument.

Plus de 125 millions d’adultes américains souffrent d’hypertension, selon les statistiques 2026 de l’American Heart Association citées dans l’étude. Cela représente environ 47 % de la population adulte.

Seul environ un quart des adultes concernés ont une pression artérielle dans la plage cible citée par l’association. La mesure à domicile soutient donc une population nombreuse et cliniquement importante.

Les recommandations actuelles sur la pression artérielle préconisent l’utilisation d’un appareil domestique dont la précision a été validée. Elles inscrivent aussi le suivi à domicile dans un processus de soins plus large, plutôt que de traiter l’appareil comme un système de diagnostic autonome.

Les erreurs des chatbots peuvent intervenir avant même que la mesure ne commence. Un consommateur peut demander quel brassard acheter, si un modèle existant est validé, ou si deux produits aux noms similaires sont équivalents.

Les noms de modèles créent une autre source de confusion. Un même fabricant peut vendre plusieurs appareils dont les noms ne diffèrent que de quelques lettres ou d’identifiants régionaux.

La validation s’applique souvent à un modèle précis, et non à tous les produits de la même marque. Un chatbot qui généralise à l’ensemble d’une gamme peut donc fournir une réponse assurée mais erronée.

C’est à ce stade que la précision de ChatGPT pour les tensiomètres devient plus qu’un score de référence. La réponse peut influencer l’instrument qui produira ensuite les données médicales utilisées.

Le risque ne suppose ni comportement malveillant ni affirmation manifestement fausse. Il peut découler d’une petite erreur d’identification intégrée à une explication fluide et utile.

L’avertissement de l’étude concerne aussi les cliniciens. Les patients arrivent de plus en plus avec des informations recueillies via des outils d’IA généralistes, comme ils apportaient auparavant des résultats de recherche et des avis en ligne.

Un clinicien peut ne pas savoir quelle requête le patient a utilisée ni quelle version du modèle a répondu. La réponse peut aussi ne pas fournir de piste de sources stable qu’une autre personne puisse reproduire.

Keith Ferdinand, professeur à la Tulane University et vice-président des recommandations 2025 de l’association, a appelé à la prudence concernant les décisions cliniques prises avec l’IA. Il n’a pas participé à la recherche.

Sa position laisse de la place à une IA médicale utile tout en traçant une limite autour des décisions non étayées. Les chatbots peuvent aider à organiser les questions, mais ils ne doivent pas remplacer la vérification d’un appareil de mesure.

La recherche par IA a perdu face aux registres auxquels elle pouvait déjà accéder

L’échec central ne venait pas d’un manque de connaissances médicales, mais d’une interprétation peu fiable d’une simple consultation de registre.

Trois grands registres ont alimenté l’étude : ValidateBP, STRIDE BP et Hypertension Canada. Ces ressources recensent des tensiomètres précis ayant subi des tests de validation reconnus.

Les consommateurs aux États-Unis peuvent consulter le registre gratuit des appareils validés. Le site est conçu pour restreindre le marché aux modèles dont la précision de mesure est étayée par des preuves documentées.

La liste internationale de validation des appareils offre une autre référence structurée. Elle organise les tensiomètres par usage et inclut des détails permettant de distinguer les modèles.

Une recherche dans un registre est plus ciblée qu’une requête ouverte à un chatbot. Elle consiste à déterminer si un produit exact figure dans une collection contrôlée, créée à cette fin.

Un assistant d’IA généraliste doit gérer une chaîne plus complexe. Il doit identifier l’appareil, retrouver l’enregistrement adéquat, interpréter la fiche et exprimer correctement le résultat.

Chaque maillon de cette chaîne peut échouer. L’ambiguïté du nom du produit peut amener le modèle à retrouver un appareil apparenté plutôt que le modèle demandé.

Le classement des résultats peut favoriser les pages de détaillants, les avis ou les descriptions de fabricants au détriment des enregistrements de registre. Le modèle peut alors mêler ces sources dans une réponse sans préserver leurs différentes valeurs probantes.

Même une récupération réussie ne garantit pas une interprétation correcte. La nouvelle étude a identifié des cas où un outil trouvait une fiche officielle sans reconnaître qu’elle prouvait la validation.

Cette lacune s’apparente à un problème d’ancrage des données. L’ancrage consiste à relier une réponse à une source externe définie et à préserver ce que cette source établit réellement.

Un chatbot peut citer une page sans être pleinement ancré dans son sens. La présence d’une citation n’est donc pas la même chose que la fidélité de cette citation.

Le problème se complique lorsqu’une réponse combine plusieurs pages web. Un détaillant peut décrire un tensiomètre comme cliniquement précis alors qu’un registre ne répertorie qu’un autre modèle.

Le chatbot peut fusionner les deux informations dans un récit fluide. Son ton peut dissimuler l’incohérence d’identité qui demeure non résolue.

Ce mécanisme aide à expliquer pourquoi des requêtes plus détaillées ont amélioré certains résultats sans éliminer les erreurs. Orienter un outil vers un registre réduit l’espace de recherche, mais ne garantit pas une correspondance correcte entre les modèles.

Le contraste entre la recherche par IA et la consultation d’un registre constitue la tension principale de l’article. L’IA conversationnelle promet un chemin plus simple à travers des informations dispersées, alors que la source faisant autorité était déjà simple et gratuite.

L’IA apporte de la valeur lorsqu’elle synthétise des documents complexes ou aide les utilisateurs à formuler des questions. Ici, la synthèse a introduit un point de défaillance supplémentaire dans une tâche de vérification binaire.

Cela ne rend pas la recherche par IA inutile pour les recherches sur la santé. Cela signifie que le rôle de l’outil doit correspondre à la tolérance à l’erreur de la tâche.

Un chatbot peut aider à établir une liste restreinte de fonctionnalités, expliquer le choix de la taille du brassard ou préparer des questions pour un rendez-vous médical. La vérification finale de la validation doit toutefois toujours avoir lieu dans le registre.

Cette séparation est pratique. Les utilisateurs n’ont pas besoin de rejeter entièrement l’assistance de l’IA, mais ils ne devraient pas lui déléguer la vérification décisive.

La même leçon s’applique au-delà des brassards de tensiomètres. Les produits de santé comportent souvent des numéros de modèle précis, des versions propres à une région et des preuves qui ne s’appliquent qu’à certaines populations.

Un assistant qui néglige un seul suffixe peut transférer les preuves d’un produit à un autre. Cette erreur reste difficile à détecter lorsque le texte final paraît faire autorité.

De meilleures requêtes n’ont pas rendu les réponses fiables

La précision des requêtes a modifié les performances, mais elle n’a transformé aucun chatbot testé en outil de vérification systématiquement fiable.

Les chercheurs ont utilisé trois styles de requêtes, car les utilisateurs ordinaires posent leurs questions de différentes manières. Certains ne fournissent qu’un nom de produit, tandis que d’autres demandent une vérification par rapport à une source précise.

La consigne la plus contrainte ajoutait des précisions et demandait une réponse d’un seul mot. Cette conception réduisait la place pour les explications, mais n’éliminait pas les erreurs de recherche ou de classification.

Une réponse courte peut même masquer l’incertitude. « Oui » ne laisse aucune trace visible permettant de savoir si l’outil a trouvé le modèle exact ou s’il a déduit la réponse à partir d’un appareil similaire.

Une réponse plus longue pose un problème différent. Elle peut inclure des réserves et des liens tout en aboutissant à une mauvaise conclusion.

Les utilisateurs considèrent souvent le prompt engineering comme une solution à la fiabilité des chatbots. L’étude suggère qu’une meilleure formulation n’aide que dans certaines limites.

Un prompt peut indiquer au modèle où chercher. Il ne peut pas garantir que le service accède à la page actuelle, résout chaque identifiant de modèle ou interprète correctement le registre.

Les tests répétés remettent également en cause l’idée selon laquelle les utilisateurs peuvent affiner une réponse jusqu’à ce qu’elle devienne fiable. La même question a parfois produit des résultats différents selon les jours ou les ordinateurs.

Cette incohérence reflète la nature probabiliste des systèmes génératifs. Les réponses peuvent varier en fonction des mises à jour de modèles, des résultats de recherche, du contexte et de paramètres au niveau du système auxquels l’utilisateur n’a pas accès.

Des sessions de navigation privée ont été utilisées pour réduire l’influence des recherches précédentes. Les chercheurs ont toutefois reconnu que cette méthode ne pouvait pas isoler entièrement toutes les sources de variation.

La précision de ChatGPT pour les tensiomètres doit donc être comprise comme une cible mouvante. La plage rapportée décrit la période testée, les appareils, les prompts et les versions de modèles disponibles.

Elle ne prouve pas qu’une session actuelle reproduira le même pourcentage. Elle ne garantit pas non plus que les futures mises à jour des modèles amélioreront chaque recherche de produit.

Les recherches antérieures offrent un contraste utile. Une étude de 2024 comparant ChatGPT et Bing sur une liste de connaissances relatives à la surveillance à domicile a obtenu de solides résultats pour les conseils généraux de mesure.

Dans cette étude sur la surveillance à domicile, des cardiologues ont attribué des notes élevées aux réponses de ChatGPT pour leur exactitude et leur exhaustivité. Les questions portaient sur les connaissances relatives à la mesure et au contrôle de la pression artérielle à domicile.

Les deux études examinent des capacités différentes. Expliquer des recommandations standard n’est pas la même chose que comparer des centaines de modèles de produits à des registres en évolution.

Un modèle peut répondre correctement à des questions générales tout en échouant à vérifier des entités précises. Cette distinction se perd souvent lorsque l’on décrit un chatbot comme médicalement exact ou inexact.

La précision médicale d’un chatbot d’IA dépend de la tâche, de la structure des sources, du prompt et du niveau de précision requis. Ses performances en éducation des patients ne peuvent pas justifier automatiquement la sélection d’un produit.

L’inverse est également vrai. Une mauvaise classification d’appareils ne prouve pas que toutes les explications sur l’hypertension fournies par le même modèle sont erronées.

Cette vision spécifique à la tâche fournit une meilleure norme pour les acheteurs et les cliniciens. Ils doivent se demander quelle opération le modèle doit effectuer et comment une erreur affecterait l’utilisateur.

Pour une préparation à faible enjeu, la rapidité d’un chatbot peut justifier quelques corrections occasionnelles. Pour choisir un instrument médical, une vérification indépendante reste peu coûteuse et accessible.

Le meilleur prompt ne remplace donc pas une vérification de la source. Un processus plus sûr consiste à demander du contexte au chatbot, puis à confirmer l’appareil exact ailleurs.

Les utilisateurs doivent relever le fabricant, le numéro de modèle complet, le type de brassard et la population d’utilisateurs visée. Ils peuvent ensuite comparer ces informations avec l’entrée du registre.

Les personnes enceintes, ayant une circonférence de bras inhabituelle ou nécessitant un appareil pour un enfant peuvent avoir besoin d’une validation spécifique à leur population. Une inscription générale ne doit pas être étendue au-delà de ce que couvrent ses preuves.

Un clinicien ou un pharmacien peut aider lorsque les noms de modèles restent ambigus. Il peut également confirmer qu’un brassard choisi convient au plan de surveillance du patient.

L’étude est un avertissement, pas un verdict final

Les résultats mettent en évidence un véritable problème de vérification, mais les preuves restent préliminaires et vieilliront rapidement à mesure que les services d’IA évoluent.

La recherche a été présentée sous forme de poster modéré lors d’une réunion scientifique. Les résumés de conférence font l’objet d’une évaluation pour leur présentation, mais ils ne sont pas équivalents à des articles de revues évalués par les pairs.

Un article complet fournirait davantage de détails méthodologiques. Les lecteurs ont besoin des versions de modèles, des prompts exacts, des matrices de confusion par outil et des définitions des réponses ambiguës.

La publication publique rapporte des plages de précision, mais ne révèle pas tous les résultats au niveau des modèles. Elle ne montre pas non plus comment les erreurs se répartissaient entre faux positifs et faux négatifs.

Cette différence est importante. Approuver à tort un tensiomètre non validé présente un risque différent pour le consommateur que rejeter un appareil validé.

Une approbation erronée peut orienter un acheteur vers un appareil sans preuve reconnue de précision. Un rejet erroné peut restreindre inutilement les choix et saper la confiance dans un produit adapté.

L’étude incluait des produits provenant de plusieurs sources et marchés. Cette étendue est précieuse, mais les dénominations régionales et la disponibilité peuvent compliquer l’identification des appareils.

Les fiches de vente peuvent évoluer rapidement. Les fabricants peuvent aussi introduire des révisions dont les noms ressemblent à ceux de produits plus anciens.

Une autre limite tient au calendrier. Les outils ont été testés en avril et mai 2026, tandis que les résultats sont apparus en octobre.

Les services d’IA changent fréquemment via le remplacement de modèles, des mises à jour de la recherche d’informations et des révisions d’interface. Un test ultérieur pourrait produire des classements ou des schémas d’erreurs différents.

Toutefois, l’évolution rapide n’efface pas le problème. Elle rend la reproduction indépendante plus importante, car les utilisateurs ne peuvent pas supposer un comportement stable.

Le meilleur résultat de Gemini mérite également une interprétation prudente. Une plage de précision de 86 % à 91 % est nettement meilleure que les scores les plus faibles rapportés.

Elle implique néanmoins des réponses incorrectes dans environ un test sur sept à onze. Ce taux d’erreur reste significatif pour une décision binaire concernant un dispositif médical.

L’étude n’a pas examiné si les utilisateurs suivaient les recommandations ou subissaient un préjudice. Elle mesurait l’exactitude des réponses, et non les résultats cliniques.

Les affirmations sur les erreurs de diagnostic ou les traitements inappropriés doivent donc être formulées comme des risques plausibles, et non comme des résultats observés dans ce projet.

Soriano a clairement expliqué le mécanisme. Une réponse inexacte de l’IA peut conduire quelqu’un à faire confiance à un appareil inadapté, ce qui peut ensuite affecter les mesures et les discussions sur le traitement.

Ce mécanisme est crédible, mais de futures recherches devraient tester le comportement réel des consommateurs. Les chercheurs devraient examiner si les citations, avertissements ou liens vers les registres modifient les décisions d’achat.

L’étude ne permet pas non plus de déterminer précisément pourquoi les systèmes ont rencontré des difficultés. Parmi les explications possibles figurent une mauvaise correspondance des produits, une indexation incomplète, des données de recherche obsolètes et une interprétation défaillante.

Sans journaux système, les chercheurs externes ne peuvent pas attribuer chaque erreur à la recherche d’informations, au raisonnement ou à la génération de réponses. Les entreprises détiennent elles-mêmes une grande partie de ces informations de diagnostic.

Aucun des quatre fournisseurs ne semble avoir publié de réponse technique détaillée dans la publication de recherche citée. Leurs futurs changements de produits compteront davantage que des assurances générales.

Parmi les améliorations utiles figureraient la désambiguïsation des modèles exacts, la consultation structurée des registres, des horodatages visibles et une incertitude explicite lorsqu’aucune correspondance n’existe.

Une requête sur un produit médical devrait également distinguer « non trouvé » de « non validé ». Ces résultats ne sont pas équivalents.

L’impossibilité de localiser un produit peut refléter une faute d’orthographe, un nom de modèle régional, un index obsolète ou l’absence d’enregistrement. Elle ne prouve pas indépendamment que l’appareil a échoué à la validation.

Cette distinction offre une référence concrète pour les futurs tests de précision médicale des chatbots d’IA. Les systèmes devraient s’abstenir lorsque les preuves ne permettent pas une réponse binaire.

Trois signaux montreront si les conseils de l’IA sur les appareils s’améliorent

Le prochain test consistera à déterminer si les entreprises d’IA peuvent rendre la vérification des produits de santé reproductible, liée aux sources et transparente.

Le premier signal sera la publication de l’étude complète évaluée par les pairs. L’article devrait révéler des détails que la publication de conférence ne peut pas fournir.

Les chercheurs et les entreprises d’IA ont besoin des prompts exacts, des versions de modèles, des résultats au niveau des appareils et des catégories d’erreurs. Ces détails montreront si les échecs se concentrent sur des produits obscurs ou touchent des modèles largement vendus.

Une matrice de confusion complète révélerait également si les outils approuvent plus souvent des appareils non validés ou rejettent des tensiomètres validés. Cette distinction affinerait l’évaluation des risques.

Si l’évaluation par les pairs confirme le schéma rapporté, l’avertissement gagnera en force. D’importantes corrections méthodologiques ou des résultats plus limités affaibliraient les conclusions plus générales.

Le deuxième signal sera une réponse produit d’OpenAI, Google, Microsoft ou Perplexity. Le changement le plus significatif relierait directement les réponses sur les dispositifs de santé à des sources structurées faisant autorité.

Une interface utile pourrait afficher le modèle exact correspondant, le registre, la population de validation et la date de vérification. Elle devrait également afficher l’incertitude lorsque les identifiants ne concordent pas.

Le simple ajout d’un avertissement médical générique ne résoudrait pas le problème testé. L’échec se produisait dans l’identification du produit et l’interprétation des preuves.

Une réponse plus robuste rendrait la recherche reproductible. Deux utilisateurs posant exactement la même question devraient recevoir le même résultat lié aux sources.

Des retests indépendants devraient ensuite examiner la précision de ChatGPT pour les tensiomètres après ces changements. L’amélioration devrait persister d’une session à l’autre plutôt que d’apparaître dans une seule démonstration sélectionnée.

Le troisième signal sera l’adoption, par les consommateurs et les cliniciens, d’habitudes de vérification directe. Les registres ne protègent les utilisateurs que lorsque les personnes savent qu’ils existent et peuvent faire correspondre correctement les produits.

Les cliniciens peuvent soutenir ce processus en recommandant des modèles exacts ou en vérifiant l’appareil d’un patient lors d’une consultation. Les détaillants peuvent également afficher plus clairement un statut de validation reconnu.

Les assistants d’IA pourraient orienter les utilisateurs vers le document faisant autorité sans prétendre le remplacer. Cela préserverait la commodité de la conversation tout en maintenant les preuves décisives visibles.

Pour l’instant, toute personne choisissant un tensiomètre à domicile devrait vérifier le numéro de modèle complet dans un registre reconnu. L’utilisateur devrait également confirmer l’ajustement du brassard et la technique de mesure avec un professionnel de santé.

Utilisez les chatbots pour organiser vos questions, comparer des caractéristiques non cliniques ou comprendre des termes inconnus. Ne considérez pas une réponse fluide comme la preuve qu’un dispositif médical a réussi des tests indépendants.

Le véritable test pour l’IA médicale n’est pas de savoir si elle peut paraître certaine. Il est de savoir si les utilisateurs peuvent retracer, reproduire et contester la réponse avant d’agir.