CHAI lance un groupe de travail sur les risques de l’IA de pointe dans la santé

CHAI a lancé un groupe de travail sur l’IA de pointe, mais le conflit mis en évidence par Google News dépasse le récit classique de la cybersécurité. La Coalition for Health AI souhaite examiner le comportement des modèles avancés lorsque les systèmes de santé leur accordent davantage d’autonomie. Cela englobe la sécurité, mais aussi l’alignement, les valeurs personnelles, la supervision clinique et la confiance des patients.

Cette distinction importe, car un attaquant n’est pas nécessaire pour qu’un système d’IA cause un préjudice. Un agent de santé peut exposer des données sensibles, suivre une instruction manipulée ou produire des conseils dangereux. Il peut aussi formuler une recommandation assurée qui ne correspond pas à la situation d’un patient, sans qu’aucune faille technique n’ait été exploitée.

L’initiative de CHAI exerce donc une pression sur deux groupes à la fois. Les développeurs de modèles de pointe doivent fournir des preuves allant au-delà de simples affirmations générales sur la sécurité. Les systèmes de santé doivent déterminer si leurs contrôles actuels en matière d’achats, de surveillance et de cybersécurité peuvent encadrer des modèles agissant dans plusieurs systèmes cliniques et administratifs.

La tension principale oppose capacités et contrôle. Des agents plus performants peuvent réduire le travail documentaire, retrouver des dossiers et guider les patients dans des processus complexes. Cette même autonomie rend toutefois leur comportement plus difficile à prédire, à tester et à contenir.

Voilà l’enjeu essentiel derrière le titre. CHAI n’annonce ni un produit de sécurité ni une norme obligatoire. L’organisation entame un processus de concertation sur des risques que les exercices de red teaming existants, les règles applicables aux dispositifs médicaux et les contrôles de sécurité hospitaliers ne traitent encore que de manière fragmentaire.

Ce que le titre de Google News laisse de côté

Le groupe de travail de CHAI vise le comportement des modèles de santé de pointe, et pas seulement leur résistance aux cyberattaques.

CHAI décrit les modèles de pointe comme des systèmes avancés à usage général, capables de prendre en charge de nombreuses tâches plutôt qu’une seule fonction clinique étroitement définie. Ces systèmes deviennent plus importants lorsqu’ils sont connectés à des outils, des dossiers ou des flux de travail. L’IA agentique désigne des logiciels capables de planifier et d’agir avec une intervention humaine limitée.

La coalition indique vouloir explorer un cadre destiné au développement, à l’entraînement et à l’évaluation des modèles de pointe et fondamentaux utilisés dans la santé. Son principe directeur déclaré est l’« épanouissement humain », défini selon les valeurs et priorités des individus.

Cette formulation rapproche l’initiative de la gouvernance de l’alignement et de la sécurité plutôt que de la défense réseau classique. L’alignement concerne la capacité d’un modèle à conserver un comportement cohérent avec les intentions, valeurs et contraintes humaines. La cybersécurité reste pertinente, car les attaquants peuvent exploiter tout écart entre ces intentions et le comportement réel du système.

CHAI propose un scénario de santé mentale pour illustrer le problème. Une personne confrontée à une dépendance aux drogues pourrait demander à un agent d’IA de l’aider à s’orienter dans son parcours de soins. Cette personne a besoin de davantage que l’assurance que le logiciel résiste aux malwares ou chiffre les données stockées.

L’utilisateur doit aussi savoir si l’agent reconnaît les situations de crise, respecte les priorités personnelles, gère l’incertitude et oriente correctement vers une aide adaptée. Un système techniquement sécurisé peut tout de même fournir des conseils manipulateurs, biaisés ou cliniquement inadaptés.

La coalition estime que le red teaming actuel atteint ses limites face au nombre croissant de cas d’usage agentiques. Le red teaming consiste à sonder délibérément un système afin d’identifier des défaillances, des résultats nuisibles et des comportements exploitables. Cette approche reste utile, mais un agent de santé ouvert peut rencontrer davantage de situations que n’importe quelle équipe de test ne peut en recenser.

La déclaration du groupe de travail de CHAI propose la participation de technologues, de professionnels de santé, d’éthiciens et de responsables religieux. Cette diversité signale une volonté d’examiner à la fois les défaillances techniques et les définitions contradictoires du bien-être des patients.

Toutefois, CHAI n’a pas présenté de norme d’évaluation finalisée dans cette déclaration. L’organisation a annoncé un effort visant à en explorer une. Cette différence doit rester visible dans la couverture, car un groupe de travail ne fournit pas encore aux hôpitaux des contrôles mesurables ni aux fournisseurs des obligations contraignantes.

L’angle adopté par Google News reste utile comme avertissement. Les modèles de pointe créent de nouvelles surfaces d’attaque lorsqu’ils peuvent récupérer des dossiers, appeler des outils externes ou lancer des étapes de flux de travail. Pourtant, la cybersécurité n’est qu’une des voies par lesquelles un système autonome peut porter atteinte aux intérêts d’un patient.

Cette portée plus large crée le conflit central de l’article. Le secteur de la santé sait évaluer de nombreuses vulnérabilités conventionnelles. Il s’accorde beaucoup moins sur la manière de tester un agent dont le comportement dangereux naît du contexte, de la conversation et de l’autorité déléguée.

Pourquoi les contrôles existants dans la santé ne suffisent pas

Les organisations de santé disposent de cadres de sécurité, mais les agents de pointe franchissent les frontières que ces cadres ont été conçus pour protéger.

Les programmes traditionnels de cybersécurité se concentrent sur des actifs et des événements identifiables. Les équipes recensent les systèmes, gèrent les accès, corrigent les vulnérabilités, surveillent les réseaux et préparent les réponses aux incidents. Ces pratiques restent nécessaires lorsque les hôpitaux déploient l’IA.

Le département américain de la Santé et des Services sociaux maintient des objectifs de performance en cybersécurité volontaires à destination des organisations de santé. Ils mettent l’accent sur des mesures telles que la gestion des vulnérabilités, la protection des terminaux, la planification des incidents et le renforcement des contrôles d’accès.

Un agent d’IA de pointe introduit un problème de contrôle différent. Le modèle peut fonctionner correctement au niveau logiciel tout en interprétant mal une demande légitime. Il peut également combiner des actions individuellement autorisées en une séquence dangereuse.

Prenons l’exemple d’un agent qui aide à coordonner les soins de suivi. Il peut lire un résumé de sortie, planifier un rendez-vous, envoyer des instructions et répondre à des questions. Chaque connexion peut utiliser des identifiants valides, tandis que le flux de travail achevé contient malgré tout un malentendu préjudiciable.

L’injection de prompt ajoute une couche supplémentaire. Une instruction malveillante ou non fiable intégrée à un document peut tenter de rediriger un agent d’IA. L’agent peut rencontrer cette instruction lors de l’examen d’un dossier, d’un site web, d’un e-mail ou d’un fichier téléversé.

Le contrôle d’accès standard limite ce que l’agent peut atteindre, mais ne garantit pas que chaque action autorisée soit appropriée. Un compte de service doté de droits étendus peut transformer une erreur de modèle en incident opérationnel. Des autorisations excessives relient donc directement l’alignement du modèle à la cybersécurité.

Les systèmes de santé font également face à l’incertitude de la chaîne d’approvisionnement. De nombreux produits d’IA clinique reposent sur des modèles externes, des plateformes cloud, des processeurs de données et des fournisseurs d’applications. Un hôpital peut ne pas contrôler le modèle sous-jacent ni recevoir de notification détaillée lorsque son comportement évolue.

CHAI a déjà élaboré un profil de cadre pour la confidentialité et la cybersécurité de l’IA dans la santé. Son Guide des normes d’assurance adapte des éléments des cadres NIST de protection de la vie privée et de cybersécurité aux priorités de l’IA dans la santé.

Ces travaux antérieurs fournissent un vocabulaire commun pour la gestion des risques. Ils encouragent les organisations à évaluer la confidentialité, la résilience, la protection des données, la gouvernance et les besoins opérationnels tout au long du cycle de vie d’un système d’IA.

Les agents de pointe mettent cette approche sous tension, car leurs fonctions sont moins stables que celles des logiciels conventionnels. Un même modèle généraliste peut résumer des notes, communiquer avec des patients, générer du code ou rechercher de la littérature médicale. Un contrôle conçu pour un cas d’usage peut ne pas être transférable à un autre.

Les modèles peuvent aussi changer sans qu’un hôpital installe de logiciel traditionnel. Les fournisseurs peuvent mettre à jour les instructions système, les filtres de sécurité, les connexions aux outils ou les versions du modèle sous-jacent. Ces changements peuvent modifier le comportement même si l’interface utilisateur paraît identique.

C’est pourquoi les achats ne peuvent pas constituer le dernier point de contrôle. Les systèmes de santé ont besoin d’une évaluation continue liée aux flux de travail réels, aux populations locales de patients et aux autorisations effectives. Ils ont aussi besoin d’un moyen clair de suspendre l’automatisation lorsque les performances ou le comportement sortent des limites approuvées.

Pour les équipes techniques, cela implique de conserver les preuves d’évaluation aux côtés des enregistrements de configuration et des historiques d’incidents. Une base de connaissances technique consultable peut aider les équipes à relier les changements de modèles aux résultats de tests et aux décisions opérationnelles.

La documentation seule ne rend pas un agent sûr. Elle rend toutefois la responsabilité possible lorsque les cliniciens, les équipes de sécurité et les fournisseurs doivent reconstituer les raisons pour lesquelles le système a agi comme il l’a fait.

L’IA de pointe transforme l’alignement des modèles en frontière de sécurité

La frontière la plus importante n’est plus seulement de savoir qui peut accéder à un système, mais ce qu’un modèle autorisé peut décider de faire.

Historiquement, la sécurité dans la santé séparait les utilisateurs de confiance des utilisateurs non fiables. Les systèmes d’identité authentifient les personnes et les services, tandis que les règles d’autorisation limitent leurs accès. Les agents de pointe compliquent ce modèle, car un agent de confiance peut traiter du contenu non fiable.

L’agent peut recevoir des instructions de cliniciens, de patients, de dossiers, de sites web et d’applications connectées. Ces sources n’ont pas toutes la même autorité. Un système sûr doit distinguer une instruction clinique légitime d’un texte qui ne fait que lui ressembler.

Ce problème s’apparente aux attaques du député confus, dans lesquelles un composant autorisé est manipulé pour utiliser abusivement ses permissions. Les modèles génératifs accentuent la difficulté parce qu’ils interprètent le langage naturel au lieu d’exécuter uniquement des commandes prédéfinies.

Un modèle peut aussi échouer sans manipulation. Il peut mal comprendre l’objectif d’un patient, omettre une contre-indication importante ou inventer un fait. Lorsque le modèle contrôle des outils, une réponse inexacte peut devenir une action inexacte.

Ce changement modifie la signification de l’évaluation des modèles. La précision sur un benchmark statique ne suffit pas. Les évaluateurs doivent examiner la manière dont le système gère l’incertitude, les instructions contradictoires, les informations manquantes et les demandes hors de son rôle approuvé.

Ils doivent également tester la récupération. Un agent de santé devrait reconnaître lorsqu’il ne peut pas accomplir une tâche en toute sécurité. Il devrait s’arrêter, expliquer la limite et transférer le contrôle à une personne appropriée.

Ces exigences créent des frictions avec la promesse commerciale d’autonomie. Les fournisseurs mettent souvent en avant la réduction des étapes manuelles et l’accélération des flux de travail. Chaque exigence de confirmation réduit l’autonomie, mais supprimer les confirmations accroît l’impact possible d’une erreur.

L’équilibre approprié dépend du cas d’usage. Rédiger un message administratif à faible risque est différent de modifier des instructions de prise de médicaments. Récupérer un dossier est différent de transmettre son contenu à une partie externe.

Les classifications des risques doivent donc suivre l’action, les données et la conséquence clinique. Elles ne peuvent pas reposer entièrement sur le nom du modèle ou la réputation de son développeur.

L’approche de la FDA illustre à la fois les progrès réalisés et une frontière persistante. Ses orientations de 2025 sur les dispositifs d’IA traitaient de la conception, de la documentation, de la transparence, des biais et des performances après commercialisation sur l’ensemble du cycle de vie du produit.

L’agence a indiqué avoir autorisé plus de 1 000 dispositifs activés par l’IA par l’intermédiaire de voies établies lorsqu’elle a publié ce projet. Ces produits réglementés apportent une expérience précieuse en matière de surveillance et de changements contrôlés.

Cependant, de nombreux assistants généralistes et agents administratifs ne sont pas des dispositifs médicaux réglementés. Leur statut dépend de leur usage prévu et de leurs fonctions. Un modèle peut encore influencer les soins sans poser un diagnostic officiellement réglementé.

Le groupe de travail de CHAI se situe dans cet espace entre les développeurs de modèles, les acteurs qui déploient ces systèmes dans la santé et les régulateurs existants. Un cadre volontaire peut établir des attentes communes plus rapidement qu’une réglementation formelle. Il peut aussi couvrir des cas d’usage qui ne relèvent pas de la compétence d’une seule agence.

Les orientations volontaires ont leurs limites. Elles ne garantissent ni la conformité, ni des tests indépendants, ni une divulgation publique. Les hôpitaux disposant de ressources techniques limitées peuvent aussi peiner à transformer de grands principes en contrôles reproductibles.

L’initiative ne comptera que si elle produit des artefacts opérationnels. Il pourrait s’agir de modèles de menace, de cas d’évaluation, de formats de signalement, de critères d’escalade ou de contrôles minimaux pour les agents utilisant des outils.

Sans ces résultats, « l’épanouissement humain » risque de rester un objectif séduisant mais impossible à mesurer. Avec eux, l’alignement peut devenir une frontière de sécurité concrète que les équipes achats et les cliniciens peuvent tester.

Le compromis entre capacités et contrôle

Le secteur de la santé veut des agents suffisamment capables pour alléger le travail, mais suffisamment contrôlables pour rester dans les limites cliniques et éthiques.

Ce compromis apparaît dans presque tous les cas d’usage prometteurs de l’IA en santé. Un système de documentation ambiante écoute une consultation et prépare une note. Un agent de recherche interroge les dossiers. Un assistant patient répond aux questions entre deux rendez-vous.

Un système strictement limité réduit le risque, mais aussi son utilité. Un système très autonome peut accomplir davantage de travail, mais il nécessite un accès plus large aux données et davantage d’autorité. Cela augmente le coût des erreurs et des attaques.

Les récents travaux de CHAI sur l’IA ambiante montrent comment la coalition aborde cette tension. Ses ressources de 2026 couvrent les achats, le consentement, le déploiement, la gouvernance, les tests et le suivi après déploiement. Les cadres sont conçus pour rester adaptables à mesure que les données probantes évoluent.

Cette approche couvrant tout le cycle de vie est importante, car les tests avant déploiement n’offrent qu’un échantillon du comportement futur. Les environnements cliniques réels introduisent des accents, des interruptions, des conditions inhabituelles, des dossiers incomplets et des pressions liées aux flux de travail qu’un laboratoire ne peut pas reproduire entièrement.

Les agents de pointe ajoutent du non-déterminisme : la même entrée ne produit pas toujours exactement les mêmes formulations ou décisions. Les résultats des outils et le contexte conversationnel peuvent aussi modifier un résultat. Les évaluateurs ont donc besoin de distributions de performance, pas d’une seule démonstration réussie.

Le contrôle doit commencer par un périmètre opérationnel restreint. L’organisation doit définir les utilisateurs, sources de données, actions et voies d’escalade autorisés. Elle doit également préciser les conditions qui interrompent immédiatement un flux de travail automatisé.

La conception des autorisations doit suivre le principe du moindre privilège. Un agent ne doit disposer que des accès requis pour sa tâche actuelle. Des identifiants temporaires et propres à une tâche sont plus sûrs qu’une identité étendue partagée entre plusieurs flux de travail.

La revue humaine doit être significative plutôt que cérémonielle. Un clinicien ne peut pas superviser efficacement un agent si le système masque l’incertitude ou produit davantage de résultats que quiconque ne peut en examiner. Les interfaces de revue devraient afficher les sources, les actions proposées et les conflits non résolus.

La journalisation doit couvrir davantage que les résultats finaux. Les enquêteurs peuvent avoir besoin de la version du modèle, des instructions système, des documents récupérés, des appels d’outils, des autorisations et des validations humaines. Les journaux sensibles exigent aussi une protection, car ils peuvent contenir des informations sur les patients.

Les développeurs de modèles sont confrontés à des exigences correspondantes. Ils doivent communiquer les changements importants, les limites connues, les résultats d’évaluation et les hypothèses de sécurité. Un hôpital ne peut pas gérer un risque qui demeure caché dans le service d’un fournisseur.

Le Frontier Model Forum a créé des groupes de travail distincts pour sécuriser les modèles avancés et évaluer leurs capacités cybernétiques. Son groupe de travail sur la sécurité de l’IA se concentre sur les menaces pesant sur le développement et le déploiement des systèmes de pointe.

Ces travaux sont complémentaires, mais leur centre de gravité diffère de celui de CHAI. Les développeurs de modèles de pointe se concentrent sur la protection des poids des modèles, de l’infrastructure et des capacités avancées. Les acteurs du déploiement en santé doivent traduire ces protections en flux de travail directement liés aux patients.

Cette distinction évite une hypothèse dangereuse. Un modèle peut respecter la norme de sécurité de son développeur tout en restant inadapté à une tâche hospitalière précise. Les conditions locales de déploiement déterminent quelles erreurs deviennent lourdes de conséquences.

Les hôpitaux devraient donc éviter une approbation universelle pour un modèle généraliste. L’approbation doit être associée à un cas d’usage, une version, un flux de données et un ensemble d’autorisations définis. Les changements importants doivent déclencher une réévaluation.

Cette approche sacrifie une partie de la vitesse de déploiement. Elle réduit aussi le risque qu’un assistant approuvé pour la synthèse devienne discrètement une couche de décision autonome dans toute l’organisation.

Le compromis ne peut pas être éliminé. Chaque capacité supplémentaire crée un comportement de plus à gouverner. Le défi de CHAI consiste à rendre ce compromis suffisamment visible pour que les dirigeants du secteur de la santé puissent choisir en connaissance de cause.

Un groupe de travail n’est pas encore une norme de sécurité

CHAI a identifié une véritable lacune de gouvernance, mais l’initiative n’a pas encore montré qu’un consensus peut produire une protection vérifiable.

Les coalitions peuvent réunir une expertise qu’aucun hôpital ne possède seul. CHAI rassemble des cliniciens, des systèmes de santé, des défenseurs des patients, des startups et des entreprises technologiques. Cette diversité peut révéler des conflits qu’un processus piloté par les développeurs pourrait négliger.

Une large participation peut aussi ralentir les décisions ou produire des compromis vagues. Des notions éthiques comme l’autonomie et l’épanouissement humain n’ont pas une seule définition technique universellement acceptée. Les patients peuvent raisonnablement diverger sur les résultats qu’un agent devrait prioriser.

Les perspectives religieuses et culturelles peuvent révéler des besoins négligés. Elles peuvent aussi rendre le consensus plus difficile lorsque les valeurs s’opposent. Un cadre utile doit préserver le choix des patients sans permettre que les préférences d’un groupe deviennent la norme par défaut pour tous.

La représentation comptera donc autant que le nombre de membres. Le groupe de travail doit inclure les communautés les plus touchées par les obstacles d’accès aux soins, les abus liés aux données, la discrimination envers les personnes handicapées et les performances inégales des modèles.

Le groupe doit aussi distinguer les échecs mesurés des échecs théoriques. Les débats sur l’IA de pointe combinent parfois des erreurs courantes, des cyberattaques sophistiquées et des scénarios catastrophiques spéculatifs. Ces risques exigent des preuves et des contrôles différents.

Les organisations de santé font déjà face à des problèmes immédiats. Les modèles peuvent halluciner, divulguer un contexte sensible, reproduire des biais ou devenir peu fiables après des mises à jour. Les équipes ont besoin de contrôles contre ces défaillances, même pendant que les chercheurs étudient des menaces plus avancées.

Un cadre devrait définir des niveaux de preuve. Un incident confirmé ne devrait pas avoir le même statut qu’une voie d’attaque plausible. Une affirmation d’un fournisseur ne devrait pas remplacer une évaluation indépendante.

Le groupe de travail a aussi besoin d’un modèle de divulgation qui respecte les limites de sécurité. Publier chaque exploit peut créer un risque supplémentaire, mais un secret excessif empêche les hôpitaux de savoir si les produits partagent une vulnérabilité.

Les métriques créent une autre difficulté. Un score de benchmark peut masquer des défaillances graves dans un petit sous-groupe de patients. Un taux moyen de refus peut dissimuler une conformité dangereuse à des demandes formulées avec soin.

L’évaluation devrait donc combiner des mesures quantitatives et une revue fondée sur des scénarios. Elle devrait couvrir les performances normales, les entrées adverses, les situations cliniques rares et les conséquences en aval. Les résultats devraient indiquer la population, la version du modèle et la configuration du système testées.

Des tests indépendants renforceraient le cadre. CHAI a déjà soutenu des laboratoires d’assurance qui évaluent l’IA en santé auprès de populations représentatives. Un modèle similaire pour les agents de pointe pourrait distinguer les affirmations des fournisseurs des preuves de déploiement.

Toutefois, l’indépendance exige des règles transparentes de financement et de conflit d’intérêts. Les développeurs de modèles apportent des connaissances techniques essentielles, mais ils ont également des intérêts commerciaux dans une adoption plus rapide. Les systèmes de santé sont incités à présenter des programmes réussis et à minimiser les investissements échoués.

Les régulateurs constituent un autre facteur d’incertitude. La supervision de la FDA s’applique aux dispositifs médicaux admissibles, tandis que les obligations de confidentialité et de sécurité peuvent relever de plusieurs autorités fédérales et étatiques. CHAI ne peut pas résoudre chaque frontière juridictionnelle par des orientations volontaires.

La coalition devrait éviter de laisser entendre que la participation au cadre équivaut à une conformité légale. Elle devrait aussi éviter de créer un label de certification avant que les méthodes de test ne démontrent leur cohérence entre évaluateurs.

Pour les acheteurs, la bonne réponse est un engagement prudent. Les hôpitaux peuvent utiliser l’initiative pour améliorer les questions posées lors des achats et la terminologie commune. Ils ne devraient pas attendre un futur cadre avant de resserrer les autorisations, de surveiller les agents ou de planifier leur réponse aux incidents.

Les lecteurs de Google News devraient appliquer la même prudence au titre. CHAI a lancé un processus, pas achevé une défense. Sa valeur dépendra de ce que le groupe publie, de la transparence avec laquelle il valide le matériel et de l’adoption par les organisations.

Ce que les acheteurs d’IA en santé devraient surveiller ensuite

Trois signaux montreront si CHAI construit un système de contrôle exploitable ou ajoute une nouvelle couche d’orientations volontaires.

Le premier signal sera un projet concret comportant des exigences testables. La publication la plus utile définirait des modèles de menace, des scénarios d’évaluation, les preuves requises et des limites claires à l’autorité des agents.

Un projet qui se contente de reformuler des valeurs affaiblirait la justification de l’initiative. Un cadre reliant chaque principe à des contrôles et à des tests la renforcerait. Les commentaires publics révéleraient également si les hôpitaux peuvent appliquer les orientations avec leurs équipes existantes.

Le deuxième signal sera constitué de preuves issues de déploiements réels. CHAI devrait montrer comment le cadre fonctionne dans plusieurs contextes, y compris chez de plus petits prestataires disposant de ressources de sécurité limitées. Les résultats des pilotes devraient identifier les défaillances, les modifications et les questions non résolues.

La réussite des tests dans un seul système de santé universitaire ne démontrerait pas une validité générale. Les environnements de santé varient selon l’infrastructure, les effectifs, les populations de patients et les dépendances envers les fournisseurs. Ces différences influencent directement le risque lié aux modèles.

Le troisième signal sera l’alignement entre CHAI, les développeurs de modèles et les régulateurs. Les acheteurs ont besoin d’attentes cohérentes concernant les mises à jour des modèles, le suivi après déploiement, la divulgation des incidents et les responsabilités tout au long de la chaîne d’approvisionnement.

Si les principaux développeurs fournissent des preuves versionnées et des notifications de changement substantielles, les systèmes de santé pourront gouverner leurs produits plus efficacement. Si les régulateurs adoptent des concepts compatibles de cycle de vie, les fournisseurs seront moins incités à maintenir des récits de conformité distincts.

La fragmentation affaiblirait l’influence de CHAI. Un hôpital ne peut pas fonctionner efficacement si chaque coalition, développeur et agence définit le risque différemment. Une terminologie partagée doit à terme soutenir des preuves partagées.

Les dirigeants du secteur de la santé n’ont pas besoin d’attendre ces signaux pour agir. Ils peuvent inventorier chaque agent, cartographier ses autorisations, documenter sa version de modèle et identifier la personne responsable de chaque flux de travail.

Ils peuvent aussi séparer les résultats consultatifs des actions exécutables. Un agent qui rédige une recommandation crée un risque immédiat moindre qu’un agent qui envoie, commande, planifie ou modifie automatiquement des informations.

Les tests devraient inclure des documents malveillants, des instructions contradictoires, des dossiers incomplets et des défaillances imprévues d’outils. Les équipes devraient examiner si l’agent s’arrête de façon sûre et si le personnel peut comprendre la raison de son escalade.

Les contrats d’approvisionnement méritent une attention égale. Les acheteurs devraient exiger une notification préalable de tout changement substantiel de modèle, l’accès aux éléments d’évaluation pertinents, une coopération en cas d’incident et des règles claires de conservation des données sensibles.

La leçon plus large n’est pas que le secteur de la santé devrait rejeter l’IA de pointe. Elle est que l’autonomie modifie l’unité de risque. Les organisations n’évaluent plus seulement la réponse d’un modèle. Elles évaluent une chaîne de données, d’interprétation, d’autorisation, d’action et de supervision.

C’est pourquoi l’initiative CHAI compte, malgré son stade encore précoce. Elle reconnaît que la cybersécurité, la sécurité des patients et l’alignement des modèles se rejoignent désormais au sein d’un même flux de travail.

Le prochain titre de Google News devrait être jugé à l’aune des résultats, et non de l’ambition. CHAI publie-t-elle des contrôles que les équipes peuvent tester ? Les fournisseurs exposent-ils suffisamment d’éléments probants pour les étayer ? Les hôpitaux indiquent-ils ce qui se passe après le déploiement ?

Ces questions proposent un programme concret aux développeurs, aux acheteurs, aux cliniciens et aux patients. Suivez les projets, examinez les pilotes et demandez-vous qui reste responsable lorsqu’un agent d’IA autorisé commet une erreur.