top of page

Anthropic affirme que l’injection de prompt est presque résolue, mais le zéro doit être mis en contexte

11 août
14 min de lecture

Anthropic affirme que ses nouvelles défenses ont réduit à presque zéro les attaques par injection de prompt réussies, remettant en cause un risque que de nombreux chercheurs considéraient comme fondamental pour les agents IA.

Boris Cherny, qui dirige Claude Code, attribue principalement ce changement à un entraînement renforcé du modèle. Il a indiqué que des garde-fous en couches avaient encore abaissé le taux de réussite mesuré. Ces couches comprennent des sondes d’injection de prompt et le mode auto de Claude Code, qui classe les actions d’outils avant de les autoriser.

Cette affirmation est importante, car l’injection de prompt a limité la capacité des agents à parcourir des sites web en toute sécurité, lire des dépôts, traiter des e-mails et utiliser des outils connectés. OpenAI a décrit ce problème comme comparable aux arnaques en ligne et peu susceptible de disparaître entièrement. Anthropic propose désormais une réponse plus optimiste, étayée par des résultats inhabituellement faibles dans ses dernières évaluations.

Toutefois, un taux d’attaque observé de zéro n’établit pas une immunité universelle. Il décrit des performances face à un ensemble défini d’attaques, d’environnements, d’outils et de règles de notation. De nouvelles attaques, des autorisations plus étendues ou des paramètres de déploiement différents peuvent produire d’autres résultats.

Cette distinction deviendra plus importante à mesure qu’Anthropic fera du mode auto l’expérience standard de Claude Code. L’entreprise passe de demandes d’autorisation prudentes à des décisions automatisées au moment même où elle revendique une amélioration majeure de la sécurité.

L’affirmation d’Anthropic sur l’injection de prompt provient d’un test en couches

Le changement important n’est pas qu’Anthropic a ajouté un filtre supplémentaire. Son modèle sous-jacent semble nettement plus difficile à manipuler avant l’intervention des filtres.

L’injection de prompt survient lorsqu’un contenu non fiable contient des instructions destinées à une IA plutôt qu’à son utilisateur. Un agent peut rencontrer ces instructions dans une page web, un dépôt, une réponse d’outil, une image ou un document téléchargé.

L’attaque fonctionne parce qu’un agent doit interpréter à la fois des commandes fiables et des données non fiables dans son contexte de travail. Un document malveillant peut imiter une instruction, demandant à l’agent d’ignorer sa tâche, de révéler des informations ou d’appeler un outil dangereux.

L’affirmation de Cherny sur une défense en couches renvoie à trois protections distinctes. La première est l’alignement du modèle, c’est-à-dire un entraînement qui apprend à Claude à distinguer l’objectif de l’utilisateur des commandes intégrées dans un contenu externe.

La deuxième couche est une sonde d’injection de prompt. Ce garde-fou côté serveur examine les éléments renvoyés par les outils avant qu’ils n’entrent dans le contexte de l’agent. Il peut signaler des instructions suspectes dissimulées dans des fichiers, des sorties shell, des sites web ou des services externes.

La troisième couche est le classificateur d’intention du mode auto. Le mode auto n’accorde pas à Claude une autorisation illimitée. Il évalue les actions proposées et bloque les activités classées comme destructrices, irréversibles ou hors de l’environnement prévu.

Les résultats publiés d’Anthropic indiquent que chaque couche traite un point de défaillance différent. L’entraînement réduit la probabilité que le modèle suive une instruction hostile. La sonde tente d’identifier le contenu hostile avant que le modèle n’agisse en conséquence. Le classificateur d’actions limite ce qu’un attaquant peut accomplir après avoir influencé le modèle.

Cette séparation est importante. Un détecteur peut manquer un contenu habilement déguisé, tandis qu’un modèle aligné peut encore mal interpréter des instructions ambiguës. Un classificateur d’outils offre une nouvelle occasion de bloquer l’action qui en résulte.

Anthropic avait déjà décrit cette stratégie dans ses recherches sur les défenses contre l’injection dans les navigateurs. Pendant l’entraînement, Claude rencontre des pages web simulées contenant des instructions malveillantes. Le modèle reçoit une récompense lorsqu’il identifie et refuse ces instructions tout en poursuivant la tâche légitime.

Cet objectif d’entraînement est plus difficile que d’apprendre à un modèle à refuser un texte manifestement malveillant. Un agent navigateur utile doit toujours lire les instructions sur des sites légitimes, suivre des procédures fournies par l’utilisateur et interagir avec des interfaces inconnues. Une prudence excessive peut le rendre sûr mais inefficace.

Les nouveaux résultats suggèrent qu’Anthropic a amélioré cet équilibre entre sécurité et utilité. Ils ne montrent pas que toutes les injections possibles ont été éliminées.

Le résultat proche de zéro comporte plus d’un chiffre

« Approximativement zéro » combine plusieurs paramètres d’évaluation, et ces paramètres ne doivent pas être considérés comme des preuves interchangeables d’une sécurité complète.

Selon la fiche système de Claude Opus 5, le modèle a été évalué face à des injections de prompt indirectes dans des environnements de navigation et d’utilisation d’ordinateur. Les attaques indirectes placent des instructions malveillantes dans le contenu récupéré par l’agent, plutôt que dans la demande directe de l’utilisateur.

Un résumé des résultats de la fiche système indique que l’ajout d’une sonde d’injection de prompt a réduit le succès des attaques à 0,18 % dans deux configurations testées. Une autre évaluation de navigation aurait couvert 129 environnements qui n’avaient pas été utilisés pendant l’entraînement.

Avec le mode auto ajouté à la pile, aucune attaque n’a réussi dans les scénarios de navigation évalués. C’est le fondement de la description du taux observé comme approximativement nul. Il s’agit d’un résultat de test notable, notamment parce que les attaques ciblaient des environnements jusqu’alors inconnus.

Mais zéro réussite et zéro risque sous-jacent sont deux affirmations différentes. Lorsqu’un benchmark n’enregistre aucune attaque réussie, il établit une limite supérieure dans cet échantillon. Il ne peut pas établir que le taux réel est exactement nul pour toutes les attaques futures.

Le dénominateur est également important. Un système testé face à des centaines ou des milliers de tentatives fournit des preuves plus solides qu’un système testé sur une petite collection. Des attaques répétées contre le même environnement ne représentent pas nécessairement la diversité des attaques qui apparaissent après le déploiement.

Le modèle de menace de l’évaluation compte tout autant. Une attaque de navigateur conçue pour modifier une tâche d’achat diffère d’une attaque de dépôt qui dissimule des commandes dans des commentaires de code source. Toutes deux relèvent de l’injection de prompt indirecte, mais elles exposent des outils, des autorisations et des possibilités de préjudice différents.

Des recherches indépendantes renforcent cette prudence. Le benchmark LivePI teste des agents dans des flux de travail proches de la production contenant des pages web, des fichiers, des dépôts, des e-mails et du contenu de discussions de groupe. Ses auteurs ont rapporté des taux de réussite d’attaque totaux compris entre 10,7 % et 29,6 % pour cinq systèmes de pointe dans leur configuration testée.

Ces tests réalistes d’agents ne contredisent pas directement les chiffres d’Anthropic. Ils utilisent des modèles, des harnais, des attaques, des autorisations et des critères de notation différents. Ils démontrent plutôt à quel point la sécurité mesurée peut varier selon le benchmark.

NetInjectBench offre un autre avertissement contre les conclusions étroites. Ses scénarios d’exploitation réseau séparent les artefacts non fiables des métadonnées de politique fiables et mesurent l’utilisation non sûre des outils. Une exécution naïve a produit un taux d’actions non sûres de 82,5 % sur 240 instances d’attaque.

Le benchmark d’agent réseau cible un environnement spécialisé, et non la pile de production exacte de Claude Code. Il illustre néanmoins pourquoi les agents dotés d’outils aux conséquences importantes ont besoin de contrôles à l’échelle du système au-delà du comportement de refus d’un modèle.

La preuve la plus solide d’Anthropic est donc comparative. Opus 5 semble nettement plus résistant que les précédents modèles Claude dans les évaluations d’Anthropic. L’entreprise indique également que sa sonde et son classificateur d’actions réduisent encore les défaillances restantes.

Cela étaye l’affirmation d’un progrès significatif. Cela ne justifie pas de supprimer l’isolation, les contrôles d’accès, les journaux d’audit ou la revue humaine des flux de travail à fort impact.

La défense de Claude contre l’injection de prompt commence par l’entraînement

Le changement technique central réside dans la décision d’Anthropic de traiter la résistance à l’injection de prompt comme une capacité entraînée du modèle, et non seulement comme un problème de sécurité périmétrique.

Les premières défenses plaçaient souvent des filtres entre un agent et le contenu qu’il consommait. Le filtre recherchait des formulations évidentes, des instructions encodées, une mise en forme suspecte ou des schémas d’attaque connus.

Cette approche ressemble à un filtre anti-spam pour les e-mails. Elle fonctionne bien contre les attaques familières, mais peut échouer lorsque les attaquants changent de formulation, répartissent les instructions sur plusieurs pages ou dissimulent leur intention dans des données légitimes.

OpenAI a directement souligné cette limite. Ses recherches sur la conception sécurisée des agents indiquent que les attaques avancées ressemblent de plus en plus à de l’ingénierie sociale. Elles créent des scénarios plausibles qui manipulent le raisonnement d’un agent plutôt que de présenter une commande évidente lui demandant d’ignorer les instructions précédentes.

Un détecteur doit déterminer si un texte est une donnée, une procédure légitime ou une attaque. Ces catégories peuvent se chevaucher. Un dépôt peut légitimement demander à un développeur d’exécuter une commande d’installation, tandis qu’une dépendance compromise peut placer une instruction presque identique dans un fichier malveillant.

L’entraînement au niveau du modèle donne à l’agent une autre source de contexte. Claude peut évaluer si une instruction soutient l’objectif déclaré de l’utilisateur, si sa source fait autorité et si la suivre exigerait un changement de plan inexpliqué.

Anthropic considère ce travail sur la hiérarchie des instructions et l’alignement comme faisant partie de la défense du modèle. Le modèle apprend que le contenu récupéré dans l’environnement ne doit pas automatiquement hériter de l’autorité de l’utilisateur ou du système.

Ce cadrage répond à une explication courante de l’injection de prompt : la confusion des rôles. Les modèles de langage peuvent comprendre les mots d’une instruction sans parvenir à identifier qui est habilité à la donner.

Des recherches récentes ont testé cette théorie en mesurant comment les modèles représentent la personne à l’origine de différentes instructions. Une étude a révélé qu’un raisonnement usurpé placé dans des prompts utilisateur ou des sorties d’outils pouvait produire des taux d’attaque élevés dans plusieurs systèmes.

L’entraînement peut réduire cette confusion en exposant le modèle à des exemples adversariaux. Anthropic crée du contenu simulé qui mélange des informations utiles et des directives malveillantes, puis récompense le modèle lorsqu’il accomplit la tâche prévue en toute sécurité.

L’avantage est la généralisation. Un modèle peut potentiellement reconnaître une nouvelle attaque par sa relation avec l’objectif de l’utilisateur, même si aucun détecteur n’a déjà rencontré la formulation exacte.

La limite est que les données d’entraînement ne peuvent pas représenter tous les environnements futurs. Une attaque peut exploiter un outil inhabituel, une longue chaîne de requêtes individuellement inoffensives ou des détails contextuels qui font paraître un comportement malveillant légitime.

Les attaquants peuvent aussi s’optimiser face au modèle déployé. Une fois qu’ils ont appris quels schémas déclenchent un refus, ils peuvent rechercher des entrées qui préservent une intention nuisible tout en évitant ces schémas.

C’est pourquoi Anthropic utilise toujours des sondes et des classificateurs malgré un modèle plus robuste. L’architecture de l’entreprise suppose que chaque couche peut échouer.

Pour les développeurs, c’est la leçon la plus transférable des résultats d’Anthropic sur l’injection de prompt. L’entraînement offre une base plus solide, mais un déploiement sûr dépend toujours du système qui l’entoure.

Un agent de codage ne devrait recevoir que les identifiants, l’accès réseau et les autorisations de système de fichiers nécessaires à sa tâche. Les équipes devraient séparer les entrées non fiables des instructions exécutables et enregistrer les appels d’outils aux conséquences importantes.

Ce principe s’applique aussi lorsqu’un agent consulte la base de connaissances technique d’une entreprise. La documentation récupérée peut améliorer le travail d’un agent, mais le chemin de récupération élargit également le contenu qu’un attaquant pourrait influencer.

Le mode Auto transforme la promesse de sécurité en pari produit

Anthropic s’appuie sur ses défenses améliorées pour réduire les frictions liées aux autorisations, faisant du résultat en matière de sécurité un élément central de la conception produit de Claude Code.

Claude Code demande traditionnellement une confirmation avant d’exécuter de nombreuses commandes, de modifier des fichiers ou d’effectuer des actions aux conséquences plus larges. Ces invites maintiennent un humain dans la boucle, mais elles interrompent aussi les tâches de longue durée.

Certains développeurs réagissent en accordant des autorisations étendues ou en utilisant des configurations qui contournent les validations répétées. Ce choix accroît la productivité tout en affaiblissant la frontière entre un agent manipulé et le système qui l’entoure.

Le mode Auto est la voie médiane proposée par Anthropic. Il fait passer les actions par un classificateur qui décide si chacune peut être effectuée sans intervention manuelle.

L’architecture du mode Auto d’Anthropic décrit des contrôles à plusieurs niveaux. Une sonde côté serveur examine les sorties des outils à la recherche de tentatives d’injection. Un classificateur distinct évalue les actions proposées et bloque celles jugées dangereuses.

Le classificateur se concentre sur l’intention plutôt que sur une liste fixe de commandes. Supprimer un fichier temporaire généré peut être raisonnable, tandis que supprimer un vaste répertoire de projet devrait déclencher un blocage. L’envoi de données vers un point de terminaison inconnu présente un risque différent de la récupération de documentation publique.

Lorsque le système bloque une action, Claude peut tenter une approche plus sûre. Des tentatives répétées ou des cas incertains peuvent rendre le contrôle à l’utilisateur.

Cette structure réduit les interruptions sans assimiler la commodité à un accès sans restrictions. Elle crée également une nouvelle dépendance : les développeurs doivent faire confiance à l’interprétation, par le classificateur, de la tâche comme de la commande.

Les faux négatifs constituent le danger évident. Une instruction malveillante pourrait provoquer une action qui semble ordinaire prise isolément, comme lire un fichier de configuration avant d’envoyer une requête routinière.

Les faux positifs créent un problème plus discret. Si le mode Auto bloque trop souvent des actions légitimes, les développeurs pourraient désactiver les protections pour terminer leur travail. Des contrôles de sécurité qui entravent régulièrement les tâches normales peuvent encourager des comportements plus risqués.

La décision d’Anthropic d’activer le mode Auto par défaut offrira un test bien plus vaste que n’importe quel benchmark de prépublication. Les développeurs utilisent des systèmes de build atypiques, des outils internes en ligne de commande, des services distants et des dépôts dotés d’automatisations complexes.

Cette diversité montrera si le classificateur reste précis en dehors des environnements sélectionnés par Anthropic. Elle révélera aussi si la sonde d’injection de prompt traite correctement les contenus issus de plugins, de serveurs de protocole de contexte de modèle, de gestionnaires de paquets, de systèmes de suivi des tickets et de journaux de build générés.

Le pari produit dépasse Claude Code. Les agents de navigation, assistants de recherche et outils de workflow d’entreprise sont tous confrontés à un compromis similaire entre autonomie et validation.

Un agent qui demande une autorisation à chaque étape ne peut pas accomplir un travail conséquent sans supervision. Un agent doté d’une autorité large et persistante peut transformer une seule injection réussie en vol de données ou en action destructrice.

Le mode Auto tente de déplacer la revue humaine de chaque opération courante vers le plus petit ensemble d’actions présentant un risque important. S’il fonctionne à grande échelle, les autres fournisseurs d’agents subiront une pression pour proposer une automatisation comparable.

S’il échoue de façon visible, les invites fréquentes de demande d’autorisation pourraient revenir comme frontière de sécurité nécessaire.

Anthropic et OpenAI encadrent désormais le risque différemment

Les résultats d’Anthropic remettent en cause une vision pessimiste de l’injection de prompt, mais la position d’OpenAI reflète mieux l’incertitude au-delà de tout benchmark fixe.

OpenAI a comparé l’injection de prompt aux arnaques et à l’ingénierie sociale. Ses recommandations publiques indiquent que le problème a peu de chances d’être entièrement résolu, car les adversaires s’adaptent continuellement aux défenses déployées.

Cette position ne signifie pas que l’entraînement des modèles est inefficace. OpenAI utilise aussi un entraînement spécialisé, des moniteurs automatisés, des confirmations utilisateur, des restrictions réseau et une supervision dans les contextes sensibles.

Le désaccord porte sur ce que devrait signifier « résolu ». Anthropic met l’accent sur une résistance mesurée aux attaques après la combinaison de plusieurs défenses. OpenAI insiste sur la confrontation ouverte entre attaquants et agents déployés.

Les deux positions peuvent être vraies dans le cadre qu’elles visent. Anthropic peut atteindre zéro succès observé lors d’une évaluation difficile, tandis que l’injection de prompt reste une catégorie de risque non résolue.

La distinction rappelle la sécurité logicielle traditionnelle. Un produit peut réussir un test d’intrusion sans devenir invulnérable. Le test apporte des éléments sur les menaces connues et la surface d’attaque évaluée, pas sur chaque futur exploit.

L’injection de prompt est particulièrement difficile parce que les contenus légitimes et malveillants utilisent la même interface : le langage naturel. Il n’existe pas d’équivalent simple à la séparation du code exécutable et du texte brut lorsqu’un agent doit interpréter le texte pour décider quoi faire.

Un attaquant n’a par ailleurs besoin que d’un seul chemin à travers la pile de défenses. Le modèle, la sonde, le classificateur, le système d’autorisations, le service connecté et l’opérateur humain contribuent tous au résultat.

La pile d’Anthropic offre plusieurs occasions d’arrêter une attaque. Elle produit aussi plusieurs composants dont les interactions doivent être testées ensemble.

Par exemple, un modèle peut correctement signaler un contenu suspect, puis le résumer d’une manière qui préserve l’instruction malveillante. Un classificateur peut bloquer un transfert direct de données, mais autoriser plusieurs étapes apparemment bénignes qui aboutissent au même résultat.

Une attaque peut aussi viser l’utilisateur plutôt que le modèle. Une page compromise peut convaincre l’agent de demander une approbation au moyen d’une explication trompeuse. L’utilisateur devient alors une composante du chemin d’attaque.

Les benchmarks capturent rarement toutes les conditions organisationnelles. Les déploiements en entreprise comprennent des identifiants partagés, des outils personnalisés, d’anciens dépôts, des proxys internes, des politiques d’autorisations incohérentes et des utilisateurs aux niveaux de sensibilisation à la sécurité variés.

C’est pourquoi le titre devrait rester « presque résolu » plutôt que « éliminé ». Anthropic a divulgué des éléments montrant une réduction majeure dans les conditions testées. L’assurance en conditions réelles exige une reproduction indépendante et des données continues de déploiement.

Une défense crédible de Claude contre l’injection de prompt devrait également rendre compte de son utilité, en plus de sa résistance aux attaques. Un système qui refuse les tâches inconnues peut obtenir un excellent score de sécurité tout en échouant en tant qu’agent.

Les recherches publiques d’Anthropic reconnaissent cet équilibre, mais des comparaisons détaillées entre charges de travail restent importantes. Les acheteurs doivent savoir à quelle fréquence les protections bloquent un travail sûr, et pas seulement à quelle fréquence elles arrêtent les attaques.

Ce qu’il faut surveiller alors qu’Anthropic fait du mode Auto le réglage par défaut

Les prochains éléments viendront du déploiement, des tests indépendants et de la réponse d’Anthropic à des attaques conçues après la publication de ses défenses.

Le premier signal est le déploiement du mode Auto par défaut. Il faut surveiller si Anthropic le limite selon le modèle, le type de compte, l’environnement ou la politique de l’organisation. Un déploiement prudent indiquerait que l’entreprise voit encore des différences significatives selon les contextes de déploiement.

Surveillez également le taux de blocages visibles par les utilisateurs. Des refus fréquents suggéreraient que le classificateur maintient la sécurité en partie en restreignant l’activité normale. Très peu de refus pourraient signaler un bon calibrage, ou une prudence insuffisante.

Le deuxième signal est constitué par des tests adaptatifs indépendants contre l’ensemble de la pile Claude Code. Les benchmarks publics existants établissent des bases précieuses, mais beaucoup ne reproduisent pas la combinaison exacte d’Opus 5, de sondes, du mode Auto, d’outils et d’autorisations d’Anthropic.

Le test indépendant le plus solide utiliserait des attaques créées après que les chercheurs ont étudié le système publié. Il inclurait des dépôts empoisonnés, des sorties d’outils trompeuses, des instructions basées sur des images, des exfiltrations en plusieurs étapes et des attaques réparties sur une longue session.

Les chercheurs devraient rendre compte à la fois du succès des attaques et de l’accomplissement des tâches. Ils devraient documenter les accès accordés à l’agent, les protections actives et si les attaques étaient connues durant l’entraînement.

Un résultat nul dans ces conditions renforcerait l’affirmation d’Anthropic. Des attaques adaptatives réussies n’effaceraient pas les progrès, mais elles définiraient les limites de la défense actuelle.

Le troisième signal est la rapidité avec laquelle l’entreprise traite les incidents réels. La protection contre l’injection de prompt n’est pas une propriété ponctuelle du modèle. C’est un processus opérationnel impliquant la détection, l’enquête, l’entraînement mis à jour et le déploiement rapide de nouvelles protections.

Anthropic devrait divulguer suffisamment d’informations sur les incidents pour que les clients comprennent la surface concernée. Les équipes de sécurité doivent savoir si une défaillance provient du modèle, d’une sonde, d’un classificateur d’actions, d’une règle d’autorisation ou d’un outil connecté.

Les développeurs ne devraient pas attendre ces éléments avant d’adopter des précautions de base. Exécutez les agents autonomes de programmation dans des environnements isolés lorsque c’est possible. Limitez les secrets, les destinations réseau et les identifiants de production. Examinez les modifications avant le déploiement et veillez à ce que les opérations destructrices soient récupérables.

Traitez le texte des dépôts, les sorties d’outils et les fichiers téléchargés comme non fiables, même lorsqu’ils semblent familiers. Une dépendance empoisonnée ou une réponse de support copiée peut contenir des instructions qu’aucun développeur n’a intentionnellement approuvées.

Surtout, n’interprétez pas le zéro approximatif d’Anthropic comme l’autorisation de donner à un agent une autorité illimitée. Interprétez-le comme un élément montrant que des défenses en couches peuvent réduire un risque sérieux sans imposer des validations manuelles constantes.

Il s’agit d’un changement significatif. La question ouverte est de savoir s’il résiste au contact de millions de dépôts, de nouvelles stratégies d’attaque et de développeurs qui s’attendent à ce que le mode Auto continue de fonctionner sans supervision.

Anthropic a fixé une norme mesurable pour ce débat. Les chercheurs indépendants et les utilisateurs réels doivent maintenant la mettre à l’épreuve. Si les résultats se confirment, l’injection de prompt apparaîtra moins comme une barrière inévitable que comme un problème de sécurité pouvant être géré. Dans le cas contraire, les échecs montreront où devra se situer la prochaine couche.

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page