L'accuratezza di ChatGPT sui misuratori di pressione non raggiunge gli standard in un nuovo studio sull'IA
L'accuratezza di ChatGPT nell'identificare i misuratori di pressione è scesa fino al 63% in un nuovo studio che ha esaminato 324 dispositivi domestici. Anche Microsoft Copilot e Perplexity hanno incontrato difficoltà, mentre Google Gemini ha fornito risposte errate in circa il 9%-14% dei test.
I risultati preliminari mettono in discussione un'ipotesi diffusa sulla ricerca tramite IA. Un chatbot può trovare un registro ufficiale di dispositivi, citarlo e comunque interpretare erroneamente il significato della voce elencata. Questa lacuna è rilevante quando i consumatori usano strumenti conversazionali per acquisti legati alla salute.
Lo studio non stabilisce che ogni risposta di un chatbot sia pericolosa. Mostra però che risposte curate possono nascondere recupero delle informazioni e ragionamenti incoerenti. Per gli acquirenti, l'approccio più sicuro resta controllare un registro riconosciuto e discutere la scelta del dispositivo con un medico.
Cosa ha rilevato il test su 324 dispositivi
Quattro importanti strumenti di IA hanno ripetutamente classificato in modo errato misuratori di pressione il cui stato di validazione i ricercatori potevano verificare in modo indipendente.
I ricercatori hanno testato 324 misuratori di pressione domestici in Canada tra aprile e maggio 2026. Il campione comprendeva 145 dispositivi validati e 179 dispositivi non validati.
Il team ha selezionato i dispositivi da tre registri riconosciuti, da un elenco di prodotti noti come non validati e da inserzioni di rivenditori online. Il campione retail includeva popolari misuratori con bracciale venduti tramite Amazon in Canada, Australia e Stati Uniti.
Ogni dispositivo è stato verificato con ChatGPT, Google Gemini, Microsoft Copilot e Perplexity. I ricercatori hanno posto a ciascuno strumento tre versioni della stessa domanda di base.
Il primo prompt riproduceva una domanda di un normale consumatore. Il secondo invitava lo strumento a consultare un registro di validazione nominato. Il terzo forniva maggiori dettagli e richiedeva una risposta di una sola parola.
Secondo lo studio sui dispositivi IA, Gemini ha risposto correttamente nell'86%-91% dei casi. ChatGPT, Copilot e Perplexity hanno registrato un'accuratezza compresa approssimativamente tra il 63% e l'83%.
Questi intervalli variavano in base al prompt. Mostrano inoltre perché un unico dato percentuale non possa descrivere ogni modello o condizione di test.
I ricercatori hanno individuato un altro schema preoccupante. Tutti e quattro gli strumenti hanno ottenuto risultati peggiori nell'identificare misuratori di pressione validati rispetto alla valutazione di prodotti non validati.
Il risultato appare controintuitivo. I dispositivi validati hanno già superato test indipendenti e figurano in registri strutturati e accessibili pubblicamente.
Talvolta i chatbot trovavano la pagina ufficiale pertinente, ma non riuscivano a considerare l'inclusione nel registro come prova della validazione. In altri casi, informavano erroneamente gli utenti che dispositivi elencati non soddisfacevano gli standard clinici.
Anna Soriano, presentatrice dello studio e specializzanda in medicina interna all'Università di Montreal, ha affermato che la maggior parte degli strumenti ha ottenuto risultati solo leggermente migliori del caso. Ha osservato che persino Gemini ha avuto difficoltà con informazioni facilmente disponibili.
Lo studio ha verificato anche la coerenza. I ricercatori hanno selezionato il 20% dei dispositivi che avevano prodotto risposte contrastanti, quindi hanno ripetuto le domande tramite tre esaminatori.
Questi controlli di follow-up si sono svolti su computer diversi e in giorni differenti, soprattutto nel maggio 2026. Lo stesso strumento forniva spesso una risposta diversa alla medesima domanda.
Questa variabilità è centrale per il risultato. Una raccomandazione di un chatbot può apparire definitiva anche quando il risultato sottostante cambia tra una sessione e l'altra.
Il lavoro è stato presentato alle Hypertension Scientific Sessions 2026 dell'American Heart Association ad Arlington, in Virginia. Rimane un abstract congressuale, non un articolo completo sottoposto a revisione paritaria.
Questa distinzione limita la portata con cui i risultati dovrebbero essere applicati. Tuttavia, la scala dello studio e il disegno con prompt ripetuti offrono un avvertimento significativo sulla selezione di dispositivi assistita dall'IA.
Perché l'accuratezza di ChatGPT sui misuratori di pressione è importante
Una risposta errata su un prodotto può influire sulle misurazioni che pazienti e medici utilizzano per prendere decisioni terapeutiche.
Un misuratore di pressione domestico non è validato semplicemente perché si accende, mostra numeri plausibili o riceve recensioni favorevoli dagli acquirenti. La validazione significa che test indipendenti hanno rilevato letture sufficientemente accurate secondo un protocollo riconosciuto.
Questo stato è importante perché le misurazioni della pressione guidano la diagnosi, le modifiche alla terapia farmacologica e la gestione del rischio a lungo termine. Un errore di misurazione costante può creare una registrazione fuorviante della salute di una persona.
Un misuratore impreciso potrebbe produrre valori apparentemente troppo alti. Ciò può generare ansia, appuntamenti non necessari o discussioni su trattamenti inappropriati.
Un misuratore che rileva valori troppo bassi crea un pericolo diverso. Può far apparire stabile un'ipertensione non controllata e ritardare una risposta clinica necessaria.
La posta in gioco va oltre una singola misurazione. Molti pazienti registrano i valori per giorni o settimane prima di condividerli con un medico.
Un errore sistematico del dispositivo diventa quindi uno schema nella cartella del paziente. Il volume delle misurazioni può far apparire quello schema più credibile, anche se ne è stata la causa lo strumento.
Più di 125 milioni di adulti statunitensi hanno la pressione alta, secondo le statistiche del 2026 dell'American Heart Association citate nello studio. Ciò rappresenta circa il 47% della popolazione adulta.
Solo circa un quarto degli adulti interessati ha una pressione arteriosa entro l'intervallo target citato dall'associazione. La misurazione domestica supporta quindi una popolazione ampia e clinicamente importante.
L'attuale linea guida sulla pressione arteriosa raccomanda di utilizzare un dispositivo domestico validato per l'accuratezza. Colloca inoltre il monitoraggio domestico all'interno di un processo assistenziale più ampio, anziché trattare il dispositivo come un sistema diagnostico autonomo.
Gli errori dei chatbot possono interferire prima ancora che inizi la misurazione. Un consumatore potrebbe chiedere quale bracciale acquistare, se un modello già posseduto sia validato o se due prodotti con nomi simili siano equivalenti.
I nomi dei modelli creano un'ulteriore fonte di confusione. Un produttore può vendere più dispositivi i cui nomi differiscono soltanto per poche lettere o identificativi regionali.
La validazione si applica spesso a un modello specifico, non a ogni prodotto con lo stesso marchio. Un chatbot che generalizza a un'intera famiglia di prodotti può quindi offrire una risposta sicura di sé ma errata.
È qui che l'accuratezza di ChatGPT sui misuratori di pressione diventa più di un punteggio di benchmark. La risposta può influenzare quale strumento genererà in seguito i dati medici utilizzati.
Il rischio non richiede un comportamento malevolo né un'affermazione palesemente falsa. Può nascere da un piccolo errore di identificazione inserito in una spiegazione fluida e utile.
L'avvertimento dello studio riguarda anche i medici. I pazienti arrivano sempre più spesso con informazioni raccolte tramite strumenti IA di uso generale, proprio come in precedenza portavano risultati di ricerca e recensioni online.
Un medico potrebbe non sapere quale prompt abbia usato il paziente o quale versione del modello abbia risposto. La risposta potrebbe inoltre non avere una traccia di fonti stabile che un'altra persona possa riprodurre.
Keith Ferdinand, professore della Tulane University e vicepresidente della linea guida dell'associazione del 2025, ha invitato alla prudenza nelle decisioni cliniche con l'IA. Non è stato coinvolto nella ricerca.
La sua posizione lascia spazio a un'IA medica utile, ma traccia un confine attorno alle decisioni non supportate da prove. I chatbot possono aiutare a organizzare le domande, ma non dovrebbero sostituire la verifica per un dispositivo di misurazione.
La ricerca IA ha perso contro i registri a cui poteva già accedere
Il fallimento centrale non è stata la mancanza di conoscenze mediche. È stata l'interpretazione inaffidabile di una semplice consultazione del registro.
Tre importanti registri hanno informato lo studio: ValidateBP, STRIDE BP e Hypertension Canada. Queste risorse identificano specifici misuratori che hanno superato test di validazione riconosciuti.
I consumatori negli Stati Uniti possono consultare il registro gratuito dei dispositivi validati. Il sito è progettato per restringere il mercato ai modelli con prove documentate a sostegno dell'accuratezza delle misurazioni.
L'internazionale elenco di validazione dei dispositivi offre un altro riferimento strutturato. Organizza i misuratori per caso d'uso e include dettagli che aiutano a distinguere i modelli.
Una ricerca nel registro è più circoscritta di una query aperta a un chatbot. Chiede se un prodotto esatto compaia in una raccolta controllata costruita a questo scopo.
Un assistente IA di uso generale gestisce una catena più complicata. Deve identificare il dispositivo, recuperare il record corretto, interpretare l'elenco ed esprimere accuratamente il risultato.
Qualsiasi anello di questa catena può fallire. L'ambiguità del nome del prodotto può portare il modello a recuperare un dispositivo correlato anziché il modello richiesto.
La classifica dei risultati di ricerca può favorire pagine di rivenditori, recensioni o descrizioni dei produttori rispetto ai record dei registri. Il modello può quindi fondere queste fonti in una risposta senza preservarne il diverso valore probatorio.
Anche un recupero riuscito non garantisce un'interpretazione corretta. Il nuovo studio ha rilevato casi in cui uno strumento ha trovato un elenco ufficiale ma non ha riconosciuto quell'elenco come prova di validazione.
Questa lacuna ricorda un problema di radicamento nei dati. Il radicamento consiste nel collegare una risposta a una fonte esterna definita e nel preservare ciò che quella fonte effettivamente stabilisce.
Un chatbot può citare una pagina senza essere pienamente radicato nel suo significato. La presenza di una citazione non equivale quindi alla fedeltà della citazione.
Il problema diventa più difficile quando una risposta combina più pagine web. Un rivenditore può descrivere un misuratore come clinicamente accurato mentre un registro elenca soltanto un modello diverso.
Il chatbot può fondere entrambi i record in una narrazione scorrevole. Il suo tono può celare la mancata corrispondenza identitaria non risolta.
Questo meccanismo aiuta a spiegare perché prompt più dettagliati abbiano migliorato alcuni risultati senza eliminare gli errori. Indirizzare uno strumento verso un registro riduce lo spazio di ricerca, ma non garantisce una corretta corrispondenza del modello.
Il contrasto tra ricerca IA e consultazione del registro è la tensione principale dell'articolo. L'IA conversazionale promette un percorso più semplice attraverso informazioni disperse, eppure la fonte autorevole era già semplice e gratuita.
L'IA aggiunge valore quando sintetizza materiale complesso o aiuta gli utenti a formulare domande. Qui, la sintesi ha introdotto un ulteriore punto di fallimento in un'attività di verifica binaria.
Questo non rende inutile la ricerca IA per la ricerca sanitaria. Significa che il ruolo dello strumento dovrebbe corrispondere alla tolleranza dell'attività all'errore.
Un chatbot può aiutare a produrre un elenco ristretto di caratteristiche, spiegare le dimensioni del bracciale o preparare domande per un appuntamento medico. La verifica finale della validazione dovrebbe comunque avvenire nel registro.
Questa separazione è pratica. Gli utenti non devono rifiutare del tutto l'assistenza dell'IA, ma non dovrebbero delegare la consultazione decisiva.
La stessa lezione si applica oltre i bracciali per la pressione arteriosa. I prodotti per la salute spesso hanno numeri di modello precisi, versioni specifiche per regione e prove valide solo per determinate popolazioni.
Un assistente che trascura un suffisso può trasferire prove da un prodotto a un altro. Questo errore resta difficile da rilevare quando il testo finale suona autorevole.
Prompt migliori non hanno reso affidabili le risposte
La specificità dei prompt ha modificato le prestazioni, ma non ha trasformato alcun chatbot testato in uno strumento di verifica costantemente affidabile.
I ricercatori hanno usato tre stili di prompt perché gli utenti comuni pongono domande in modo diverso. Alcuni forniscono soltanto il nome di un prodotto, mentre altri richiedono un controllo rispetto a una fonte specifica.
Il prompt più vincolato aggiungeva dettagli e richiedeva una risposta di una sola parola. Questa impostazione riduceva lo spazio per le spiegazioni, ma non eliminava gli errori di recupero delle informazioni o di classificazione.
Una risposta breve può persino nascondere l’incertezza. Un “Sì” non lascia alcuna traccia visibile che indichi se lo strumento abbia trovato il modello esatto o abbia dedotto la risposta da un dispositivo correlato.
Una risposta più lunga crea un problema diverso. Può includere cautele e link pur arrivando comunque alla conclusione sbagliata.
Gli utenti spesso considerano il prompt engineering una soluzione all’affidabilità dei chatbot. Lo studio suggerisce che una formulazione migliore aiuta solo entro certi limiti.
Un prompt può dire al modello dove cercare. Non può garantire che il servizio acceda alla pagina aggiornata, risolva ogni identificatore di modello o interpreti correttamente il registro.
I test ripetuti mettono inoltre in discussione l’idea che gli utenti possano perfezionare una risposta finché non diventa affidabile. La stessa domanda ha talvolta prodotto esiti diversi in giorni o su computer diversi.
Questa incoerenza riflette la natura probabilistica dei sistemi generativi. Le risposte possono variare in base agli aggiornamenti del modello, ai risultati di ricerca, al contesto e alle impostazioni di sistema non accessibili all’utente.
Sono state utilizzate sessioni di navigazione privata per ridurre l’influenza delle ricerche precedenti. Tuttavia, i ricercatori hanno riconosciuto che questo metodo non poteva isolare completamente ogni fonte di variazione.
L’accuratezza di ChatGPT sui misuratori di pressione arteriosa va quindi intesa come un bersaglio mobile. L’intervallo riportato descrive il periodo testato, i dispositivi, i prompt e le versioni dei modelli disponibili.
Non dimostra che una sessione attuale riprodurrà la stessa percentuale. Né garantisce che i futuri aggiornamenti del modello miglioreranno ogni ricerca di prodotto.
Le ricerche precedenti offrono un confronto utile. Uno studio del 2024 che ha confrontato ChatGPT e Bing su una checklist di conoscenze per il monitoraggio domestico ha rilevato buoni risultati per le linee guida generali sulla misurazione.
In questo studio sul monitoraggio domestico, i cardiologi hanno valutato molto positivamente le risposte di ChatGPT in termini di accuratezza e completezza. Le domande riguardavano le conoscenze sulla misurazione e sul controllo della pressione arteriosa a casa.
I due studi esaminano capacità diverse. Spiegare indicazioni standard non equivale a confrontare centinaia di modelli di prodotto con registri in evoluzione.
Un modello può rispondere correttamente a domande generali e al contempo fallire nella verifica precisa delle entità. Questa distinzione spesso si perde quando le persone descrivono un chatbot come accurato o inaccurato in ambito medico.
L’accuratezza medica dei chatbot AI dipende dal compito, dalla struttura delle fonti, dal prompt e dalla precisione richiesta. Le prestazioni nell’educazione dei pazienti non possono giustificare automaticamente la selezione di un prodotto.
Vale anche il contrario. Una scarsa classificazione dei dispositivi non dimostra che ogni spiegazione sull’ipertensione fornita dallo stesso modello sia errata.
Questa prospettiva specifica per compito offre uno standard migliore per acquirenti e clinici. Dovrebbero chiedersi quale operazione il modello debba completare e come un errore influirebbe sull’utente.
Per una preparazione a basso rischio, la rapidità di un chatbot può giustificare correzioni occasionali. Per scegliere uno strumento medico, la verifica indipendente resta economica e accessibile.
Il miglior prompt non sostituisce quindi una verifica della fonte. Un flusso di lavoro più sicuro chiede al chatbot il contesto, poi conferma il dispositivo esatto altrove.
Gli utenti dovrebbero annotare il produttore, il numero completo del modello, il tipo di bracciale e la popolazione di utilizzatori prevista. Possono quindi confrontare questi dettagli con la voce del registro.
Le persone in gravidanza, con circonferenze del braccio insolite o che necessitano di un dispositivo per un bambino potrebbero richiedere una validazione specifica per la popolazione. Un elenco generale non dovrebbe essere esteso oltre ciò che le sue prove coprono.
Un medico o un farmacista può aiutare quando i nomi dei modelli restano ambigui. Può anche confermare se il bracciale scelto è adatto al piano di monitoraggio del paziente.
Lo studio è un avvertimento, non un verdetto finale
I risultati individuano un reale problema di verifica, ma le prove restano preliminari e invecchieranno rapidamente con il cambiamento dei servizi AI.
La ricerca è stata presentata come poster moderato a un congresso scientifico. Gli abstract congressuali vengono valutati per la presentazione, ma non equivalgono ad articoli di riviste sottoposti a revisione paritaria.
Un articolo completo fornirebbe maggiori dettagli metodologici. I lettori hanno bisogno delle versioni dei modelli, dei prompt esatti, delle matrici di confusione per strumento e delle definizioni delle risposte ambigue.
La pubblicazione disponibile riporta intervalli di accuratezza, ma non espone tutti i risultati a livello di modello. Non mostra neppure come gli errori si siano distribuiti tra falsi positivi e falsi negativi.
Questa differenza conta. Approvare erroneamente un misuratore non validato crea un rischio per il consumatore diverso dal respingere un dispositivo validato.
Una falsa approvazione può indirizzare un acquirente verso un dispositivo privo di prove riconosciute di accuratezza. Un falso rifiuto può restringere inutilmente le opzioni e minare la fiducia in un prodotto adeguato.
Lo studio includeva prodotti provenienti da più fonti e mercati. Questa ampiezza è preziosa, ma le denominazioni regionali e la disponibilità possono complicare l’abbinamento dei dispositivi.
Le inserzioni dei rivenditori possono cambiare rapidamente. I produttori possono inoltre introdurre revisioni i cui nomi assomigliano a quelli di prodotti più vecchi.
Un’altra limitazione riguarda la tempistica. Gli strumenti sono stati testati tra aprile e maggio 2026, mentre i risultati sono apparsi in ottobre.
I servizi AI cambiano frequentemente attraverso sostituzioni dei modelli, aggiornamenti del recupero delle informazioni e revisioni dell’interfaccia. Un test successivo potrebbe produrre classifiche o schemi di errore diversi.
Tuttavia, il rapido cambiamento non elimina la preoccupazione. Rende più importante la riproduzione indipendente, perché gli utenti non possono presumere un comportamento stabile.
Anche il risultato migliore di Gemini merita un’interpretazione prudente. Un intervallo di accuratezza dall’86% al 91% è sostanzialmente migliore dei punteggi più bassi riportati.
Implica comunque risposte errate in circa uno ogni sette-undici test. Questo tasso di errore resta rilevante per una decisione binaria su un dispositivo medico.
Lo studio non ha esaminato se gli utenti abbiano seguito le raccomandazioni o subito danni. Ha misurato l’accuratezza delle risposte, non gli esiti clinici.
Le affermazioni su diagnosi errate o trattamenti inappropriati dovrebbero quindi essere formulate come rischi plausibili, non come risultati osservati di questo progetto.
Soriano ha spiegato chiaramente il percorso. Una risposta AI inaccurata può portare qualcuno a fidarsi di un dispositivo inadatto, influenzando poi le misurazioni e le discussioni sul trattamento.
Questo meccanismo è credibile, ma la ricerca futura dovrebbe testare il comportamento effettivo dei consumatori. I ricercatori dovrebbero esaminare se citazioni, avvisi o link ai registri modificano le decisioni d’acquisto.
Lo studio non può inoltre determinare esattamente perché i sistemi abbiano incontrato difficoltà. Le possibili spiegazioni includono un debole abbinamento dei prodotti, un’indicizzazione incompleta, dati di ricerca obsoleti e interpretazioni errate.
Senza i log di sistema, i ricercatori esterni non possono attribuire ogni errore al recupero delle informazioni, al ragionamento o alla generazione della risposta. Le aziende stesse detengono gran parte di queste informazioni diagnostiche.
Nessuno dei quattro fornitori sembra aver pubblicato una risposta tecnica dettagliata nella ricerca citata. Le loro future modifiche ai prodotti conteranno più delle rassicurazioni generiche.
Miglioramenti utili includerebbero la disambiguazione del modello esatto, il recupero strutturato dai registri, timestamp visibili e un’incertezza esplicita quando non esiste una corrispondenza.
Una query su un prodotto medico dovrebbe inoltre distinguere tra “non trovato” e “non validato”. Questi esiti non sono equivalenti.
L’impossibilità di individuare un prodotto può riflettere un errore di ortografia, un nome di modello regionale, un indice obsoleto o l’assenza di una registrazione. Non dimostra in modo indipendente che il dispositivo non abbia superato la validazione.
Questa distinzione offre un parametro concreto per i futuri test sull’accuratezza medica dei chatbot AI. I sistemi dovrebbero astenersi quando le prove non supportano una risposta binaria.
Tre segnali mostreranno se i consigli AI sui dispositivi migliorano
Il prossimo test sarà capire se le aziende AI riusciranno a rendere la verifica dei prodotti sanitari riproducibile, vincolata alle fonti e trasparente.
Il primo segnale è la pubblicazione dello studio completo sottoposto a revisione paritaria. Si prevede che l’articolo esponga dettagli che la presentazione congressuale non può fornire.
Ricercatori e aziende AI hanno bisogno di prompt esatti, versioni dei modelli, risultati a livello di dispositivo e categorie di errore. Questi dettagli mostreranno se i fallimenti si concentrano su prodotti poco noti o interessano modelli ampiamente venduti.
Una matrice di confusione completa rivelerebbe anche se gli strumenti approvano più spesso dispositivi non validati o respingono misuratori di pressione arteriosa validati. Questa distinzione renderebbe più precisa la valutazione del rischio.
Se la revisione paritaria confermerà il modello riportato, l’avvertimento diventerà più forte. Correzioni metodologiche rilevanti o risultati più circoscritti indebolirebbero conclusioni più ampie.
Il secondo segnale è una risposta di prodotto da OpenAI, Google, Microsoft o Perplexity. Il cambiamento più significativo collegherebbe direttamente le risposte sui dispositivi sanitari a fonti strutturate autorevoli.
Un’interfaccia utile potrebbe mostrare il modello esatto abbinato, il registro, la popolazione di validazione e la data della verifica. Dovrebbe inoltre mostrare l’incertezza quando gli identificatori non corrispondono.
La semplice aggiunta di un disclaimer medico generico non risolverebbe il problema testato. Il fallimento si è verificato nell’identificazione del prodotto e nell’interpretazione delle prove.
Una risposta più efficace renderebbe la ricerca riproducibile. Due utenti che pongono la stessa domanda esatta dovrebbero ricevere lo stesso risultato vincolato alle fonti.
I test indipendenti dovrebbero poi esaminare l’accuratezza di ChatGPT sui misuratori di pressione arteriosa dopo tali modifiche. Il miglioramento dovrebbe persistere tra sessioni diverse, anziché comparire in una sola dimostrazione curata.
Il terzo segnale è l’adozione, da parte di consumatori e clinici, di abitudini di verifica diretta. I registri proteggono gli utenti solo quando le persone sanno che esistono e riescono ad abbinare correttamente i prodotti.
I clinici possono sostenere questo processo raccomandando modelli esatti o controllando il dispositivo di un paziente durante una visita. Anche i rivenditori possono indicare più chiaramente lo stato di validazione riconosciuto.
Gli assistenti AI potrebbero indirizzare gli utenti verso il record autorevole senza fingere di sostituirlo. Ciò preserverebbe la comodità conversazionale mantenendo visibili le prove decisive.
Per ora, chiunque scelga un misuratore domestico dovrebbe verificare il numero completo del modello in un registro riconosciuto. L’utente dovrebbe inoltre confermare l’adattamento del bracciale e la tecnica di misurazione con un professionista sanitario.
Usate i chatbot per organizzare domande, confrontare caratteristiche non cliniche o comprendere termini poco familiari. Non considerate una singola risposta fluida come prova che un dispositivo medico abbia superato test indipendenti.
Il test più ampio per l’AI medica non è se riesca a sembrare sicura. È se gli utenti possano tracciare, riprodurre e contestare la risposta prima di agire in base ad essa.
