L’IA dans les soins de santé peut suivre les instructions et causer malgré tout des préjudices

Google News a fait remonter un avertissement saisissant sur l’IA dans les soins de santé : un système peut suivre parfaitement ses instructions tout en contribuant à une mauvaise issue clinique.

L’argument, publié sous le titre « Votre IA a fait exactement ce qu’on lui a demandé. C’est bien le problème », détourne l’attention des préoccupations familières liées aux hallucinations. Il se concentre sur la structure opérationnelle qui entoure un système d’IA. Une prédiction ou une recommandation correcte devient dangereuse lorsque personne ne prend la décision en charge, ne consigne une dérogation ou ne surveille ce qui se passe ensuite.

Cette distinction est importante, car les hôpitaux dépassent le stade des expérimentations isolées. Les modèles prédictifs sont désormais intégrés aux dossiers médicaux électroniques, aux flux de travail cliniques, aux systèmes de planification et aux processus de sortie. Le conflit central n’oppose plus simplement les humains à des machines imprécises. Il oppose le déploiement rapide de l’IA au travail plus lent consistant à définir l’autorité, la responsabilité et les usages acceptables.

Ce que le titre de Google News a réellement changé

L’avertissement redéfinit la réussite de l’IA comme un risque opérationnel lorsqu’un hôpital mesure le résultat, mais néglige la décision qui l’entoure.

L’article mis en avant par Google News s’ouvre sur un système hypothétique d’aide à la décision clinique recommandant une sortie précoce. L’algorithme suit sa logique programmée, mais le patient revient dans les 48 heures. Personne n’ignore nécessairement une alerte ni n’enfreint une règle écrite.

L’échec réside dans ce que l’organisation n’a jamais précisé. Le personnel ne dispose pas d’un processus documenté pour contester la recommandation. Personne ne s’est vu attribuer clairement l’autorité lorsque le jugement clinique entre en conflit avec le résultat d’un algorithme. L’organisation ne dispose pas non plus d’un dossier fiable indiquant pourquoi la décision finale a été prise.

Cet exemple est illustratif, et non un cas documenté de patient. Il ne doit pas être considéré comme la preuve qu’un hôpital particulier a causé un préjudice à un patient. Son intérêt tient à la mise en évidence d’un écart plausible entre la performance technique et la responsabilité clinique.

Un modèle prédictif estime un résultat défini à partir des données disponibles. Il ne décide pas si ce résultat représente l’objectif global de l’hôpital. Un score de risque de réadmission, par exemple, ne peut pas équilibrer seul la capacité en lits, la stabilité du patient, le soutien à domicile, l’accès au suivi médical et les conséquences d’une sortie erronée.

Cet écart est facile à manquer, car les équipes logicielles testent naturellement si un système réalise la tâche qui lui est assignée. Elles mesurent l’exactitude, la sensibilité, la spécificité, le temps de traitement ou un autre indicateur technique. Ces mesures comptent, mais elles ne déterminent pas qui doit agir à partir du résultat.

Un hôpital peut donc déployer un modèle précis dans un flux de travail dangereux. Il peut aussi déployer un modèle limité en toute sécurité lorsque les cliniciens comprennent ses limites et conservent un contrôle réel.

La même distinction s’applique à l’IA générative. Un système peut créer un résumé fluide conforme au dossier fourni tout en omettant le fait dont un clinicien avait besoin. Il peut produire un message courtois à un patient qui suit un modèle, mais exprime davantage de certitude que ne le permettent les preuves.

Il ne s’agit pas toujours de défaillances du modèle au sens strict. Ce sont des échecs dans la traduction de l’intention organisationnelle en règles, autorisations, étapes d’examen et résultats mesurables.

C’est pourquoi le titre a trouvé son public. Il soumet aux conseils d’administration des hôpitaux et aux responsables technologiques une question plus exigeante que « L’IA fonctionne-t-elle ? » Ils doivent se demander ce que signifie « fonctionner » une fois que le résultat entre dans un processus clinique réel.

Le résultat pertinent n’est pas de savoir si le modèle a achevé une tâche. Il s’agit de déterminer si l’ensemble du système humain et technique a produit des soins sûrs, efficaces et responsables.

L’adoption de l’IA dans les soins de santé dépasse la gouvernance

Les hôpitaux font face à une pression, car l’adoption de l’IA est devenue courante alors que la supervision mature reste inégale.

Une analyse de l’Office of the National Coordinator for Health Information Technology a révélé que 71 % des hôpitaux de soins aigus non fédéraux utilisaient en 2024 une IA prédictive intégrée aux dossiers médicaux électroniques. Ce chiffre était de 66 % en 2023, selon les données hospitalières sur l’IA du gouvernement.

La définition incluait les systèmes statistiques et d’apprentissage automatique qui classent les patients ou génèrent des scores de risque. Parmi les exemples figurent la détection précoce des maladies, les recommandations thérapeutiques, les prévisions d’absence aux rendez-vous et le risque de réadmission.

Cette croissance est importante, car l’intégration change les enjeux. Un modèle extérieur au flux de travail clinique peut être évalué comme un outil distinct. Un modèle intégré à un dossier médical électronique devient une composante de la manière dont les employés repèrent les risques, hiérarchisent le travail et documentent les décisions.

L’intégration peut également créer un biais d’automatisation, c’est-à-dire la tendance à privilégier la recommandation d’une machine même lorsqu’il existe des éléments contradictoires. Les cliniciens peuvent hésiter à s’écarter d’un score qui paraît objectif, surtout lorsque la charge de travail est élevée ou que les politiques locales sont floues.

Le problème n’est pas que les cliniciens cessent de réfléchir. Le système environnant peut rendre le désaccord difficile. Une interface peut mettre l’accent sur le résultat de l’IA tout en masquant l’incertitude. Un hôpital peut mesurer le respect des alertes sans jamais examiner si les employés se sentaient en mesure de les contester.

Des perspectives sectorielles de Premier pour 2026 ont cité le même chiffre d’adoption de 71 % tout en indiquant que 80 % des systèmes de santé ne disposaient pas de normes internes de gouvernance pour les futures adoptions de l’IA. Les perspectives pour les soins de santé présentent ces chiffres comme un écart de mise en œuvre qui se creuse.

Les deux statistiques mesurent des populations différentes et ne doivent pas être combinées en une seule estimation précise. Ensemble, elles décrivent toutefois la pression à laquelle sont confrontés les dirigeants hospitaliers. L’utilisation de l’IA est généralisée, mais les structures formelles permettant de sélectionner, surveiller et retirer les systèmes n’ont pas mûri au même rythme.

Cette pression touche plusieurs groupes.

Les conseils d’administration des hôpitaux doivent superviser les risques stratégiques et cliniques sans considérer tous les outils d’IA comme identiques. Les dirigeants doivent décider quelles décisions peuvent être déléguées et lesquelles exigent une approbation. Les cliniciens doivent comprendre lorsqu’un résultat est consultatif, lorsqu’il déclenche une action et comment consigner un désaccord.

Les équipes technologiques doivent contrôler l’accès aux données, les mises à jour des modèles, les intégrations et les journaux d’audit. Les équipes de conformité et juridiques doivent interpréter des obligations qui se chevauchent en matière de confidentialité, de dispositifs médicaux, de discrimination et de responsabilité professionnelle. Les fournisseurs doivent expliquer ce que font leurs systèmes après le déploiement, et pas seulement leurs performances lors de la validation.

Les patients subissent les conséquences des lacunes entre ces groupes. Ils peuvent ne jamais savoir qu’un algorithme a influencé une sortie, un score de priorité, un message ou une orientation. Même lorsqu’une divulgation existe, elle peut ne pas préciser qui reste responsable.

La réponse imposée est organisationnelle, et non seulement technique. Les hôpitaux ont besoin de responsables désignés pour chaque cas d’utilisation, de parcours d’escalade écrits et d’un suivi après déploiement lié aux résultats pour les patients et aux flux de travail.

Ce travail est plus lent que l’activation d’une nouvelle fonctionnalité. Il exige un accord entre des personnes ayant des responsabilités et des tolérances au risque différentes. Pourtant, éviter ce travail revient de fait à laisser l’interface logicielle définir l’autorité par défaut.

Le véritable adversaire est le déploiement sans autorité

Le conflit principal n’oppose pas l’IA aux cliniciens ; il oppose l’influence automatisée à une autorité humaine responsable.

La supervision humaine est souvent décrite comme une réponse universelle aux risques de l’IA. Cette expression est rassurante, mais elle reste vague tant qu’une organisation ne précise pas qui agit, quand l’examen intervient et quels pouvoirs détient la personne chargée de l’examen.

Un clinicien qui peut techniquement ignorer une alerte peut néanmoins manquer d’autorité pratique. L’hôpital peut suivre l’acceptation des alertes comme indicateur de performance. L’interface peut exiger plusieurs étapes pour passer outre la recommandation. Le clinicien peut également manquer de temps pour reconstituer les données d’entrée du modèle.

Une supervision réelle exige davantage que de placer une personne à proximité du processus. La personne chargée de l’examen doit avoir accès aux éléments pertinents, disposer de suffisamment de temps pour les évaluer et bénéficier d’une voie établie pour arrêter ou modifier l’action.

L’autorité doit aussi correspondre à la conséquence. Un outil de rédaction qui prépare une note interne présente des risques différents d’un logiciel qui modifie une prescription médicamenteuse ou envoie directement un message à un patient. Le processus d’approbation doit refléter cette différence.

Les hôpitaux peuvent commencer par distinguer quatre rôles qui sont fréquemment confondus.

Le fournisseur développe ou fournit le système. Un responsable technique assure l’intégration et les contrôles d’accès. Un responsable clinique détermine l’usage approprié dans les soins. Un dirigeant ou un organe de gouvernance accepte le risque organisationnel restant.

Dans une petite organisation, une même personne peut assumer plusieurs rôles. Les responsabilités nécessitent néanmoins des définitions distinctes. Sinon, chaque groupe peut supposer qu’une autre partie a évalué le même risque.

L’approvisionnement constitue un point particulièrement faible. Un fournisseur peut documenter les performances du modèle par rapport à un jeu de données de validation. Ces éléments ne prouvent pas que les utilisateurs, la population de patients, l’interface ou le processus de suivi de l’hôpital produiront le même résultat.

La validation locale doit tester le cas d’utilisation réel. Un modèle développé pour prédire un résultat ne doit pas devenir discrètement un indicateur de substitution pour une décision plus large. L’hôpital doit aussi déterminer si les données manquantes, les retards de flux de travail ou les différences de population modifient les performances.

Le système déployé exige ensuite un examen continu. Les distributions de données évoluent, les pratiques cliniques changent et les mises à jour logicielles modifient les comportements. Un lancement sûr ne garantit pas une deuxième année sûre.

Cette vision du cycle de vie se reflète dans les travaux de la Food and Drug Administration sur les dispositifs médicaux utilisant l’IA. Les orientations sur les logiciels de dispositifs de l’agence couvrent la gestion du cycle de vie, la cybersécurité, le contrôle des changements et l’aide à la décision clinique.

Tous les outils hospitaliers d’IA ne sont pas des dispositifs médicaux réglementés par la FDA. Les systèmes administratifs, les outils génératifs à usage général et certaines fonctions d’aide clinique peuvent ne pas relever d’une voie réglementaire spécifique aux dispositifs. Cela rend la gouvernance interne plus importante, et non moins importante.

L’autorisation réglementaire répond également à une question plus restreinte que la gouvernance locale du déploiement. La FDA indique que sa liste publique recense les dispositifs utilisant l’IA qui ont satisfait aux exigences préalables applicables à la mise sur le marché. Elle avertit aussi que cette liste n’est pas exhaustive.

Un hôpital doit toujours décider qui peut utiliser un dispositif autorisé, comment les résultats entrent dans les soins et quelles modifications exigent une nouvelle évaluation. Les régulateurs peuvent définir des limites, mais ils ne peuvent pas rédiger la procédure opérationnelle de chaque hôpital.

L’article mis en avant par Google News remet donc en cause un modèle mental courant. Le jugement humain n’est pas une fonction de secours activée uniquement après une défaillance logicielle manifeste. Il fait partie de la structure de contrôle qui régit même les résultats techniquement corrects.

Des résultats exacts peuvent malgré tout optimiser le mauvais objectif

Un système d’IA peut satisfaire son objectif mesuré tout en compromettant le résultat que l’organisation valorise réellement.

Il s’agit d’un problème de spécification : la cible formelle ne représente pas pleinement l’objectif humain. Il apparaît chaque fois qu’une organisation substitue un indicateur facile à mesurer à un résultat complexe.

Un hôpital peut optimiser le moment des sorties parce que la durée de séjour est mesurable. Son véritable objectif est une récupération sûre, avec des soins appropriés et une utilisation responsable des ressources. Ces objectifs se recoupent, mais ils ne sont pas identiques.

Un modèle de planification peut réduire les rendez-vous manqués en priorisant les patients susceptibles de se présenter. Cela peut améliorer une mesure opérationnelle tout en rendant l’accès plus difficile pour les patients confrontés à des contraintes de transport, de handicap, d’aide aux proches ou de travail.

Un assistant de documentation peut réduire le temps que les cliniciens passent à rédiger des notes. S’il produit un texte plus long nécessitant une vérification attentive, le gain de temps apparent peut se déplacer plutôt que disparaître. Il peut aussi introduire des erreurs recopiées dans un dossier que des systèmes ultérieurs traiteront comme des faits.

Un générateur de messages destinés aux patients peut optimiser la rapidité des réponses. L’objectif réel de l’hôpital inclut l’exactitude, une réassurance appropriée, la confidentialité et un parcours clair vers une prise en charge professionnelle. La vitesse de réponse ne représente qu’une partie de ce résultat.

La solution n’est pas de rejeter les objectifs mesurables. Les organisations ont besoin de métriques pour évaluer les systèmes. Elles doivent associer les mesures techniques à des résultats opérationnels et cliniques qui révèlent si l’indicateur indirect reste aligné sur l’objectif.

Cela implique de surveiller à la fois le processus et les conséquences.

Les mesures de processus peuvent montrer à quelle fréquence les cliniciens acceptent, rejettent ou ignorent une sortie. Elles peuvent révéler des retards, les frictions liées aux dérogations et des schémas d’utilisation inhabituels. Les mesures de résultats peuvent vérifier si la sécurité des patients, la qualité, l’accès ou la charge de travail ont changé après le déploiement.

La comparaison doit également tenir compte du processus antérieur. Les systèmes reposant uniquement sur des humains comportent des erreurs, des biais et des incohérences. La gouvernance de l’IA ne doit pas présumer que les pratiques existantes sont automatiquement sûres ou équitables.

Une évaluation responsable demande si le système combiné fonctionne mieux que l’alternative pertinente. Elle examine les bénéfices et les préjudices selon les groupes de patients. Elle consigne également l’incertitude plutôt que de réduire la décision à un unique taux de réussite.

Des chercheurs indépendants ont soutenu que l’IA dans les soins de santé nécessite une gouvernance couvrant l’approvisionnement, le déploiement, la surveillance et le retrait. Une analyse publiée en 2025 dans npj Digital Medicine a averti que les grands modèles de langage peuvent introduire une utilisation opaque des données, des problèmes de responsabilité et une validation insuffisante des résultats pour les patients. Son analyse de l’IA en santé appelait à la transparence et à des contrôles encadrant l’utilisation dans le monde réel.

La préoccupation va au-delà des hallucinations. Un modèle peut produire un texte factuellement plausible tout en masquant l’origine des informations. Il peut aussi se comporter différemment selon les contextes ou les formulations des utilisateurs sans générer une erreur logicielle conventionnelle.

Les systèmes génératifs ajoutent une autre complication, car les utilisateurs peuvent rapidement les réaffecter. Un outil approuvé pour rédiger des documents internes peut commencer à influencer la communication avec les patients ou le raisonnement clinique. La technologie n’a pas nécessairement changé, mais le risque, lui, a changé.

Les hôpitaux ont donc besoin de limites d’usage qui suivent les données et les actions. Une étiquette générale comme « assistant IA » en dit peu sur le risque. Les dirigeants doivent savoir quelles informations le système reçoit, ce qu’il produit, qui voit la sortie et s’il peut déclencher une action externe.

Ce principe s’applique aussi au travail quotidien fondé sur la connaissance. Les équipes utilisant une base de connaissances IA ont besoin d’un contexte clair sur les sources et de pratiques de relecture lorsque les réponses générées éclairent des décisions.

Les soins de santé amplifient les conséquences, mais le mécanisme est familier. Un système d’IA optimise la tâche qu’il peut observer. Les humains restent responsables de décider si cette tâche reflète ce dont l’organisation a réellement besoin.

La gouvernance doit résister au contact du travail clinique

Un document de gouvernance a peu de valeur si ses contrôles restent inutilisables pendant un service chargé, une décision urgente ou une défaillance système inattendue.

Les comités formels d’examen offrent un point de départ. Ils peuvent classifier les systèmes proposés, évaluer les preuves, fixer des conditions et attribuer des responsabilités. Leurs décisions doivent ensuite devenir visibles dans le flux de travail.

Un clinicien ne devrait pas avoir à retrouver un document de politique éloigné pour comprendre une alerte. L’interface devrait indiquer l’objectif de la sortie, ses principales limites et la réponse requise. Elle devrait également permettre le désaccord sans créer de friction déraisonnable.

La conception des dérogations mérite une attention particulière. Une dérogation entièrement libre peut transformer une mesure de protection obligatoire en simple suggestion facultative. Une dérogation contraignante peut pousser les cliniciens à accepter automatiquement.

L’équilibre approprié dépend du risque. Les recommandations aux conséquences limitées peuvent nécessiter des contrôles légers. Les actions aux conséquences importantes devraient exiger des preuves, une approbation et une documentation plus solides.

L’auditabilité est tout aussi importante. Un journal d’audit enregistre quelles données, quelle version de modèle, quel utilisateur et quelle action ont façonné une décision. Sans cet historique, les enquêteurs peuvent avoir du mal à déterminer si un préjudice provient du modèle, de l’intégration, des données ou de la politique opérationnelle.

L’enregistrement devrait capturer suffisamment de contexte pour reconstruire la décision sans collecter de données sensibles inutiles. Davantage de journalisation n’est pas automatiquement préférable. Une conservation excessive peut créer des risques pour la confidentialité et la sécurité.

Les hôpitaux ont également besoin d’un moyen de recevoir les retours du terrain. Les cliniciens remarquent souvent des sorties confuses ou des conflits avec le flux de travail avant que les métriques agrégées ne changent. Un canal de signalement doit distinguer les plaintes d’utilisabilité des événements de sécurité, tout en reliant les deux aux responsables du système.

Les retours ne peuvent pas disparaître dans un service d’assistance général. Les organisations devraient définir des seuils d’enquête, de restriction, de retour en arrière et de retrait. Elles devraient aussi informer les utilisateurs de ce qui s’est passé après la soumission d’une préoccupation.

La formation devrait se concentrer sur le système réel, et non sur la seule culture générale de l’IA. Les utilisateurs doivent connaître l’objectif approuvé, les modes de défaillance attendus et la voie d’escalade. Ils ont aussi besoin d’exemples montrant à quel moment la confiance accordée devient inappropriée.

Les contrôles techniques doivent soutenir ces attentes. L’accès devrait suivre le principe du moindre privilège, qui n’accorde que les autorisations nécessaires à une tâche. Les systèmes qui rédigent du contenu ne devraient pas obtenir automatiquement le pouvoir d’envoyer, de supprimer, de prescrire ou de modifier des dossiers.

Cette distinction devient plus importante à mesure que les fournisseurs ajoutent des fonctionnalités d’agent. Un agent IA peut planifier des étapes et utiliser des outils logiciels pour poursuivre un objectif. Dès lors qu’il peut agir, une conclusion plausible mais erronée peut créer des conséquences opérationnelles immédiates.

Les autorisations d’action devraient donc être distinctes de la capacité conversationnelle. Les hôpitaux peuvent exiger une confirmation pour les étapes sensibles, limiter la taille des transactions, tester en mode lecture seule et maintenir un processus fiable de retour en arrière.

Le National Institute of Standards and Technology organise la gestion des risques liés à l’IA autour de la gouvernance, de la cartographie, de la mesure et de la gestion. Son cadre de gestion des risques liés à l’IA est volontaire, mais il offre un vocabulaire utile pour relier les décisions de direction à l’évaluation technique.

Les cadres nécessitent encore une interprétation locale. Un petit hôpital rural ne peut pas créer le même service de supervision qu’un système de santé national. Il peut néanmoins tenir un inventaire, attribuer des responsables, classer les risques et définir des limites d’approbation.

Le point de vue sceptique est que la gouvernance peut devenir cérémonielle. Les comités peuvent approuver des politiques sans disposer de ressources pour les surveiller. Les fournisseurs peuvent fournir une documentation qui ne reflète pas l’usage local. Les employés peuvent se tourner vers des outils non autorisés lorsque les systèmes approuvés créent trop de friction.

On parle parfois d’IA fantôme, c’est-à-dire d’une utilisation de l’IA qui se déroule en dehors de l’approbation ou de la visibilité de l’organisation. Bloquer chaque outil non approuvé peut être irréaliste, en particulier lorsque les services grand public sont faciles d’accès.

Les hôpitaux ont besoin d’options approuvées et utilisables, de règles claires sur les données et d’une application crédible. Ils doivent également comprendre pourquoi les employés cherchent des solutions de contournement. Une politique qui ignore la pression du flux de travail peut pousser les comportements risqués dans l’ombre.

Aucun modèle de gouvernance ne peut éliminer l’incertitude en médecine. Le jugement humain reste imparfait, et des contrôles excessifs peuvent retarder une technologie bénéfique. L’objectif n’est pas le risque zéro.

L’objectif est un risque explicite et révisable. Un hôpital devrait pouvoir expliquer pourquoi il a déployé un système, qui le contrôle, comment les performances sont mesurées et quelles preuves conduiraient à son arrêt.

Trois signaux à surveiller après le débat sur Google News

La prochaine phase sera définie par la surveillance en conditions réelles, une autorité exécutoire et des preuves que l’IA améliore les résultats au-delà de son indicateur de référence technique.

Le premier signal est de savoir si les hôpitaux publient ou divulguent des mesures de performance après déploiement. La précision du modèle avant son lancement fournit des informations limitées sur son utilisation quotidienne. Les acheteurs devraient rechercher une surveillance incluant les dérogations, les performances selon les sous-groupes, les effets sur le flux de travail et les résultats pour les patients.

La FDA a déjà souligné la nécessité d’évaluer les dispositifs activés par l’IA après leur déploiement. Son initiative sur les performances en conditions réelles a demandé des méthodes permettant d’évaluer la sécurité, l’efficacité et la fiabilité continues.

Si les systèmes de santé commencent à communiquer systématiquement ces mesures, l’argument de l’article en faveur de la gouvernance gagnera en crédibilité. Cela montrerait que les acheteurs et les régulateurs considèrent de plus en plus le déploiement comme le début de l’évaluation plutôt que comme sa conclusion.

Si la divulgation reste limitée aux repères précommercialisation et aux affirmations des fournisseurs, l’incertitude persistera. Les hôpitaux peuvent savoir qu’un modèle a bien fonctionné lors des tests sans savoir comment il modifie les décisions dans leur propre environnement.

Le deuxième signal est de savoir si l’autorité d’approbation et de dérogation devient visible au sein des produits. Les fournisseurs décrivent de plus en plus des garde-fous, mais les acheteurs devraient examiner des contrôles concrets.

Les administrateurs peuvent-ils limiter le système aux tâches approuvées ? Les cliniciens peuvent-ils voir les preuves pertinentes et l’incertitude ? Une action à haut risque exige-t-elle une confirmation ? L’hôpital peut-il reconstituer quelle version du modèle a influencé une décision ?

Des contrôles visibles renforceraient l’idée que le marché évolue de grands principes éthiques vers une responsabilité opérationnelle. Les promesses génériques d’IA responsable l’affaibliraient, surtout lorsque les produits accèdent aux dossiers, messages, prescriptions ou systèmes de planification.

Le troisième signal est de savoir si les systèmes de santé évaluent les résultats au lieu de célébrer l’usage. Les chiffres d’adoption révèlent la portée, pas la valeur. Un hôpital peut augmenter le nombre d’employés utilisant l’IA sans améliorer les soins, l’accès ou la charge de travail.

Les dirigeants devraient surveiller les évaluations contrôlées comparant des flux de travail soutenus par l’IA à des alternatives crédibles. Des preuves utiles identifieront les populations de patients, les conditions d’exploitation, les limites et les évolutions dans le temps.

Des preuves de meilleurs résultats n’élimineraient pas le besoin de gouvernance. Elles montreraient que les contrôles et l’intégration clinique peuvent transformer la capacité d’un modèle en bénéfice mesurable.

Des preuves de résultats neutres ou nocifs imposeraient une réponse différente. Les hôpitaux pourraient restreindre les cas d’usage, repenser les interfaces, former à nouveau les utilisateurs ou retirer des systèmes qui atteignent les repères techniques mais échouent sur le plan opérationnel.

Le titre de Google News a résumé la question dans une phrase mémorable, mais la question durable est institutionnelle. Qui décide de ce que l’IA est réellement censée accomplir, et qui peut intervenir lorsque cet objectif se révèle incomplet ?

Les dirigeants hospitaliers devraient cartographier un flux de travail d’IA actif, depuis l’entrée des données jusqu’à l’action finale. Ils devraient identifier le responsable, le point d’approbation, le parcours de dérogation, le journal d’audit, la métrique de résultat et la condition d’arrêt.

Si l’un de ces éléments manque, la précision du modèle n’est pas la question la plus urgente. L’organisation n’a pas encore défini ce que signifie la réussite.