Les garde-fous d’Anthropic, Google et OpenAI ralentissent la recherche offensive en cybersécurité

Les contrôles de sécurité d’Anthropic, Google et OpenAI sont désormais confrontés à une épreuve difficile : des chercheurs affirment que des garde-fous plus stricts entravent les travaux autorisés de cybersécurité offensive. Ces restrictions visent le piratage malveillant, mais les mêmes contrôles peuvent bloquer la validation de vulnérabilités, l’ingénierie inverse et le développement d’exploits.

Ce conflit est devenu plus difficile à ignorer après que plusieurs chercheurs en sécurité offensive ont décrit des refus répétés et des résultats incohérents. Leur travail consiste à identifier des failles inconnues avant que des criminels ne les exploitent, souvent en développant des preuves de concept contrôlées.

Le problème ne tient pas simplement au fait que les entreprises d’IA refusent les requêtes dangereuses. Selon les chercheurs, les systèmes peinent à distinguer un test autorisé d’une véritable attaque. Cette ambiguïté entraîne des retards, limite la reproductibilité et pousse les travaux sensibles vers des modèles ouverts hébergés localement.

OpenAI et Anthropic ont mis en place des programmes de vérification destinés à réduire ces frictions. Google restreint également les usages d’IA générative impliquant des malwares, la perturbation d’infrastructures et le contournement des filtres de sécurité. Ensemble, ces politiques montrent comment les principales entreprises américaines d’IA tracent des limites autour des capacités cybernétiques à double usage.

Le différend central est plus profond qu’une simple plainte concernant les refus des modèles. La sécurité offensive et défensive requiert souvent les mêmes étapes techniques. Un modèle ne peut pas toujours déduire l’autorisation de l’opérateur à partir du code, de la commande ou de la vulnérabilité placés dans son contexte.

Les laboratoires de pointe doivent donc choisir entre deux erreurs coûteuses. Un modèle permissif peut aider un attaquant à agir plus vite. Un modèle trop prudent peut empêcher un défenseur de comprendre et de corriger cette même faiblesse.

Les chercheurs affirment que des travaux cybernétiques légitimes sont bloqués

Le changement immédiat est que les garde-fous cybernétiques interrompent désormais des flux de recherche pratiques, et pas seulement des requêtes manifestement malveillantes.

Une enquête sur la cybersécurité du 23 juillet a recensé les plaintes de chercheurs qui découvrent des vulnérabilités et développent des exploits. Plusieurs ont déclaré que les modèles de pointe refusaient des requêtes légitimes ou produisaient des réponses incohérentes dans le cadre de travaux autorisés.

La sécurité offensive consiste à tester des systèmes du point de vue d’un attaquant, avec l’autorisation du propriétaire. Elle comprend les tests d’intrusion, la validation d’exploits, le red teaming et certaines formes d’ingénierie inverse.

Ces activités peuvent révéler des faiblesses qu’une revue de code classique ne détecte pas. Un chemin de code suspect ne devient exploitable qu’après qu’un chercheur a établi s’il peut être atteint et exploité.

Chris Anley, directeur scientifique de NCC Group, a déclaré à TechCrunch que demander à un modèle d’exploiter un bug peut confirmer s’il mérite d’être corrigé. Un refus à ce stade ne supprime pas seulement une commodité. Il peut interrompre le processus de constitution de preuves qui aide une entreprise à prioriser un correctif.

Anley a comparé cette technologie à un marteau, qui peut servir à la fois d’outil et d’arme. Son propos plus large porte sur le chevauchement technique. Des instructions utiles à l’exploitation peuvent aussi être essentielles pour démontrer qu’un code vulnérable crée un risque réel.

Ce chevauchement devient particulièrement important avec les zero-days, c’est-à-dire des vulnérabilités inconnues du fournisseur concerné au moment de leur découverte. Les chercheurs doivent fréquemment suivre l’exécution, manipuler la mémoire ou construire des entrées inhabituelles avant de comprendre une faille.

Ces étapes ressemblent au comportement d’un attaquant, car les chercheurs reproduisent l’attaque. Un classificateur voit des termes, du code et des commandes suspects. Il ne voit pas forcément le contrat ou l’autorisation en laboratoire qui rendent le travail légitime.

Un chercheur travaillant chez un fabricant de composants pour smartphones a déclaré à TechCrunch que les outils d’Anthropic étaient devenus à peine utiles pour la découverte de vulnérabilités hors de son programme de vérification. Selon lui, le système s’arrêtait dès qu’il détectait un travail lié à la sécurité.

Chris Thompson, PDG de RemoteThreat, a décrit un autre mode de défaillance. Il a déclaré que les garde-fous se comportaient différemment selon les sessions, y compris au sein de programmes validés offrant des restrictions plus souples.

Cette incohérence compte, car la recherche de vulnérabilités dépend d’expériences reproductibles. Un chercheur doit déterminer si un résultat provient de la cible, de la méthode de test ou de l’intervention changeante du modèle.

Lorsque l’application des politiques évolue sans explication claire, le modèle ajoute une autre variable non contrôlée. Le temps est alors détourné de l’analyse de la vulnérabilité vers la reformulation des prompts et le diagnostic des refus.

Les restrictions n’affectent pas tous les praticiens de la même façon. Giuseppe Cali, qui découvre des zero-days et développe des exploits, a déclaré à TechCrunch que les garde-fous n’avaient pas entravé son travail.

Cali utilise l’IA pour l’ingénierie inverse initiale et pour créer des outils de soutien. Il conserve sous son propre contrôle la découverte effective de vulnérabilités et la militarisation des exploits, en partie parce qu’il apprécie ce travail.

Son expérience fixe une limite importante à cette critique. Les modèles de pointe peuvent rester utiles lorsque les chercheurs leur confient des tâches de soutien moins risquées. Le conflit s’intensifie lorsqu’un flux de travail s’approche de l’exploitabilité, du comportement d’une charge utile ou des tests opérationnels.

Le débat actuel porte donc sur l’accès à des capacités particulières, et non sur la question de savoir si l’IA a une quelconque valeur en sécurité. Les modèles peuvent résumer du code, expliquer des fonctions, proposer des tests ou aider à la documentation sans franchir les limites politiques les plus strictes.

Les problèmes apparaissent lorsqu’un chercheur demande au modèle de relier ces étapes. C’est souvent à ce moment qu’une faille possible devient une découverte de sécurité vérifiée.

Pourquoi les politiques d’Anthropic et Google ne peuvent pas clairement distinguer l’attaque de la défense

Les politiques d’Anthropic, Google et d’autres laboratoires de pointe se heurtent à un problème de classification que les prompts seuls ne peuvent pas résoudre de manière fiable.

Anthropic affirme que ses garde-fous en temps réel bloquent les usages interdits et les activités à double usage à haut risque. Sa catégorie d’usages interdits inclut les comportements ayant peu de valeur défensive légitime, comme le développement de ransomwares ou l’exfiltration massive de données.

La catégorie à double usage à haut risque est plus complexe. Anthropic inclut explicitement l’exploitation de vulnérabilités et le développement d’outils de sécurité offensive, deux activités qui peuvent servir des objectifs défensifs légitimes.

Ces requêtes sont bloquées par défaut sur les modèles Claude concernés. Les utilisateurs vérifiés peuvent demander des ajustements via le Cyber Verification Program, ou CVP, d’Anthropic.

Anthropic indique que les praticiens approuvés peuvent néanmoins rencontrer des blocages. L’entreprise reconnaît qu’elle peut refuser à tort des candidats éligibles et que des utilisateurs approuvés peuvent faire face à des restrictions pour des travaux légitimes.

Cette reconnaissance reflète le défi technique central. Un modèle peut recevoir des instructions identiques de développement d’exploit de la part d’un testeur d’intrusion et d’un criminel. La différence visible réside souvent dans l’autorisation, et non dans l’opération demandée.

La politique d’utilisation interdite de Google interdit de même les contenus d’IA générative facilitant les malwares, les abus d’infrastructure ou le contournement des filtres de sécurité. Elle prévoit des exceptions lorsque les bénéfices éducatifs, scientifiques ou publics l’emportent sur les risques.

Le langage des exceptions reconnaît le contexte, mais l’appliquer à grande échelle reste difficile. Un utilisateur peut affirmer posséder une cible sans pouvoir le prouver. Un chercheur légitime peut aussi travailler sur un produit sans contrôler son infrastructure.

OpenAI décrit les capacités cybernétiques comme intrinsèquement à double usage. L’entreprise affirme que les flux de travail défensifs et offensifs reposent largement sur les mêmes connaissances et les mêmes techniques.

L’entreprise a fait état d’une forte hausse des performances cybernétiques en 2025. Selon son plan de résilience cybernétique, les résultats de ses modèles aux exercices capture-the-flag sont passés de 27 % en août à 76 % en novembre.

Les défis capture-the-flag sont des exercices de sécurité contrôlés avec des cibles intentionnellement vulnérables. Ils évaluent des compétences telles que la reconnaissance, l’ingénierie inverse, l’exploitation et l’élévation de privilèges.

OpenAI utilise des seuils de capacité plus élevés pour anticiper des modèles capables de développer des exploits zero-day à distance ou d’aider à des intrusions complexes. Cette trajectoire explique pourquoi l’entreprise ne traitera pas chaque requête cyber comme une demande de programmation ordinaire.

Google DeepMind a adopté une approche similaire fondée sur les risques au niveau du développement des modèles. Son cadre de sécurité inclut la cybersécurité parmi les domaines nécessitant des évaluations de capacités et des mesures d’atténuation graduelles.

Ces politiques répondent à une préoccupation réelle. Un modèle performant peut condenser des connaissances spécialisées, automatiser des tâches répétitives et coordonner des outils. La même efficacité accessible à un défenseur peut réduire l’effort nécessaire aux abus.

Cependant, un filtrage agressif des prompts constitue une réponse grossière à un problème d’identité et d’autorisation. Le seul contenu technique fournit de faibles indices sur l’objectif de l’utilisateur.

Une formulation simple peut aussi être trompeuse. Un prompt bénin peut contenir des termes tels que shellcode, exploit, persistance ou extraction d’identifiants, parce que ces concepts apparaissent dans des évaluations légitimes.

Une requête malveillante peut employer un langage aseptisé. Un attaquant peut présenter le vol d’identifiants comme une récupération de compte ou déguiser l’exploitation en test de compatibilité.

Les classificateurs doivent évaluer le code, l’intention, la cible, l’historique du compte et l’activité environnante. Même dans ce cas, ils rendent des jugements probabilistes plutôt que de vérifier une autorisation légale.

Les faux positifs deviennent particulièrement probables lors de recherches exploratoires. Les chercheurs ne savent pas toujours ce qu’un chemin de code suspect va révéler. Ils peuvent devoir tester plusieurs hypothèses offensives avant d’identifier la vulnérabilité réelle.

Cette incertitude entre en conflit avec des systèmes qui attendent un objectif défensif clairement défini dès le départ. Le processus de recherche ne produit souvent cette explication qu’après le début d’un travail technique d’apparence dangereuse.

L’accès vérifié aide, mais n’élimine pas les frictions

Les programmes de vérification améliorent l’accès pour les défenseurs identifiés, mais ne peuvent pas garantir des flux de recherche sans restrictions ni imprévisibilité.

Le CVP d’Anthropic est un programme sur candidature destiné aux travaux cybernétiques légitimes à haut risque. L’entreprise indique viser une décision d’examen dans les deux jours ouvrés.

L’approbation est liée à une organisation précise. Les chercheurs peuvent toujours être bloqués s’ils utilisent un autre espace de travail ou rencontrent une activité qui reste interdite.

La disponibilité varie également selon la plateforme. Anthropic précise que le CVP n’est actuellement pas disponible via Amazon Bedrock ou Google Vertex AI. Les applications tierces utilisant Claude peuvent également ne pas y participer.

Ces distinctions créent une complexité opérationnelle. Une équipe de sécurité peut bénéficier d’un traitement différent selon son fournisseur cloud, la configuration de son espace de travail ou son intégration logicielle.

Le programme exige aussi la conservation des données. Anthropic conseille aux organisations utilisant la conservation zéro des données de créer un espace de travail distinct dans lequel la conservation est activée.

Cette condition soulève un second problème, au-delà des garde-fous. La recherche offensive implique fréquemment du code source confidentiel, des vulnérabilités non corrigées, des firmwares propriétaires et des informations susceptibles de permettre une compromission.

Transmettre ces éléments à un modèle hébergé peut créer une exposition inacceptable, même lorsque des protections contractuelles existent. Certains chercheurs évitent donc les services de pointe avant qu’un fournisseur n’ait corrigé la faille.

Paolo Stagno, directeur de la technologie chez Crowdfense, a déclaré à TechCrunch que son équipe utilise des modèles de pointe pour l’ingénierie inverse. Elle évite de les utiliser pour rechercher des vulnérabilités ou créer des exploits.

Stagno a cité les risques de fuite d’informations sensibles sur les vulnérabilités ou d’intégration des données dans de futurs entraînements. Pour les travaux sur les exploits, son équipe utilise des modèles ouverts exploités localement, qui ne nécessitent pas d’envoyer les éléments à un fournisseur.

Le système d’accès cyber de confiance d’OpenAI utilise plusieurs niveaux de capacité. L’accès standard prend en charge les tâches défensives courantes, tandis que l’accès vérifié réduit certaines restrictions pour les travaux autorisés.

Un accès plus spécialisé couvre les tests offensifs, y compris le développement d’exploits, les tests d’intrusion, l’ingénierie inverse et le red teaming. L’approbation d’un niveau d’accès n’accorde pas automatiquement l’accès à tous les modèles spécialisés en cybersécurité.

OpenAI indique également que le programme ne supprime pas toutes les protections ou tous les refus. L’accès reste limité aux utilisateurs approuvés, aux flux de travail internes et aux systèmes que l’organisation possède ou est autorisée à tester.

Ces conditions sont défendables. Un fournisseur ne peut pas interpréter de manière sûre une vérification comme une autorisation générale d’attaquer n’importe quelle cible.

Elles montrent toutefois aussi pourquoi la vérification ne résout pas entièrement le problème de la recherche. L’autorisation est granulaire. Elle peut s’appliquer à un système, une période, une méthode de test ou une mission client en particulier.

Une approbation générale au niveau du compte ne peut pas prendre en compte chaque modification de périmètre. Un examen continu des documents introduirait davantage de délais et exposerait des informations supplémentaires sur les clients.

OpenAI avait précédemment indiqué que son programme de confiance avait atteint des milliers de défenseurs vérifiés et des centaines d’équipes protégeant des logiciels critiques. Cette ampleur montre qu’il existe une demande, mais elle ne mesure ni les faux positifs ni les flux de travail abandonnés.

Les indicateurs de performance manquants sont pratiques. Les chercheurs doivent savoir à quelle fréquence des demandes approuvées sont bloquées, combien de temps prennent les recours et si les décisions restent stables entre les mises à jour de modèles.

Ils ont également besoin d’explications utiles. Un message de sécurité générique ne permet pas de savoir si le déclencheur était la cible, le comportement du code, le résultat demandé ou l’activité cumulée du compte.

Sans ces informations, les utilisateurs expérimentent différentes formulations de prompts. Ce comportement peut ressembler à une tentative de contournement, même lorsque le chercheur souhaite seulement obtenir un résultat légitime.

Une meilleure application des règles se concentrerait sur l’ensemble de l’environnement opérationnel. Les fournisseurs peuvent associer vérification d’identité, exécution isolée, listes de cibles autorisées, limites de débit, journaux d’audit et accès réseau contrôlé.

Ce modèle ressemble à un cyber range, c’est-à-dire un environnement isolé destiné aux exercices de sécurité. Il offre une preuve d’autorisation plus solide que la seule classification des prompts.

Il fait également peser davantage de responsabilités sur l’infrastructure. Les fournisseurs doivent confirmer qu’une cible supposément isolée ne peut pas devenir un pont vers un système externe.

Cette approche ne couvrira pas tous les chercheurs. Les spécialistes indépendants et les petits cabinets de conseil peuvent ne pas disposer de la documentation organisationnelle attendue par les programmes axés sur les entreprises.

La recherche en sécurité a longtemps bénéficié de personnes extérieures qui examinent des produits sans relation formelle avec leur éditeur. Restreindre l’accès avancé aux grandes institutions faciles à vérifier pourrait réduire cette communauté.

Le résultat serait un système à deux vitesses. Les grandes entreprises reçoivent des modèles spécialisés et du soutien, tandis que les chercheurs indépendants s’appuient sur des outils grand public, des modèles ouverts locaux ou des méthodes manuelles.

Les garde-fous poussent les travaux sensibles vers les modèles ouverts

Lorsque les modèles de pointe hébergés deviennent imprévisibles ou inadaptés aux travaux confidentiels, les chercheurs ont une raison d’exécuter des modèles ouverts localement.

Plusieurs chercheurs ont déclaré à TechCrunch qu’ils se tournent vers des modèles téléchargeables lorsque des services américains de pointe refusent des tâches offensives. Thompson a notamment cité des modèles ouverts chinois tels que GLM.

Le déploiement local modifie la structure de contrôle. Les chercheurs peuvent choisir la version du modèle, conserver les prompts, désactiver la connectivité externe et garder le code vulnérable sur leur propre matériel.

Ils peuvent également reproduire une expérience après qu’un fournisseur a mis à jour son service hébergé. Un checkpoint de modèle fixe se comporte de façon plus cohérente qu’un service dont les garde-fous peuvent changer sans préavis.

Cela ne signifie pas que tous les modèles ouverts égalent la qualité de raisonnement d’un modèle hébergé de premier plan. Les chercheurs doivent comparer les capacités, la gestion du contexte, les besoins matériels et l’intégration d’outils.

Les modèles ouverts transfèrent également davantage de responsabilités en matière de sécurité à l’opérateur. Un agent mal isolé peut exécuter des commandes dangereuses, exposer des secrets ou atteindre des systèmes de production.

Le contrôle local répond néanmoins à deux griefs à la fois. Il supprime les refus au niveau du fournisseur et réduit la nécessité d’envoyer à un service externe des données non publiées sur des vulnérabilités.

Cette combinaison compte davantage que la domination des benchmarks. Un modèle légèrement moins performant peut être plus utile s’il reste disponible tout au long d’un flux de travail sensible et reproductible.

Ce basculement crée également une tension stratégique pour les entreprises américaines d’IA. Des garde-fous stricts peuvent réduire les abus sur leurs propres plateformes tout en redirigeant des experts légitimes vers des systèmes hors de leur gouvernance.

Ces chercheurs apportent alors leurs retours, leurs intégrations et leur connaissance des flux de travail à un autre écosystème de modèles. Leur usage peut améliorer les outils autour de modèles soumis à moins de restrictions.

Cela ne prouve pas que les garde-fous rendent Internet moins sûr. Les attaquants peuvent utiliser des modèles ouverts indépendamment des choix des défenseurs vérifiés.

Toutefois, la migration des défenseurs peut affaiblir l’argument selon lequel les restrictions des services hébergés préservent un avantage pour les utilisateurs responsables. Cet avantage ne compte que si ces utilisateurs peuvent accomplir un travail utile.

OpenAI présente sa stratégie comme visant à fournir de meilleurs outils aux défenseurs tout en limitant l’augmentation des capacités malveillantes. Anthropic propose de même des garde-fous ajustés pour les professionnels vérifiés.

Ces deux objectifs dépendent d’un accès calibré. Un contrôle qui bloque presque tous les comportements semblant dangereux peut réduire les abus, mais il peut aussi éliminer la capacité promise aux défenseurs.

La pression migratoire dépasse les refus explicites. Les modèles hébergés peuvent devenir peu attrayants lorsque les exigences de conservation, les exclusions de plateforme ou les recours peu clairs compliquent les missions confidentielles.

Un cabinet de conseil peut servir plusieurs clients ayant des limites d’autorisation distinctes. Il ne peut pas mélanger avec désinvolture leur code source et ses conclusions dans un même espace de travail conservé.

Un chercheur indépendant peut examiner un produit largement déployé avant de contacter son fabricant. Cette personne ne peut pas toujours fournir un contrat client prouvant son autorisation.

Les programmes de bug bounty créent une autre zone grise. Ils invitent aux tests selon des règles publiées, mais un fournisseur de modèles peut ne pas être en mesure de vérifier que chaque action demandée reste dans le périmètre.

Ces situations exposent les limites de la vérification au niveau de l’entreprise. La confiance s’attache à une personne ou à une organisation, tandis que l’autorisation s’attache à une opération précise.

Les modèles exploités localement évitent cette lacune de vérification. Ils suppriment également le fournisseur qui pourrait détecter les abus à grande échelle, suspendre l’accès ou examiner des schémas suspects.

Le compromis se déplace donc plutôt qu’il ne disparaît. Les services hébergés fournissent une supervision, mais peuvent créer des frictions et des préoccupations de confidentialité. Les modèles locaux offrent du contrôle, mais réduisent l’application centralisée des règles.

Les laboratoires américains de modèles de pointe ne peuvent pas inverser la disponibilité des modèles ouverts par des refus plus stricts. Leur option la plus réaliste est de rendre l’accès hébergé responsable meilleur que l’alternative locale.

Cela signifie des politiques prévisibles, des recours plus rapides, des contrôles de confidentialité significatifs et des environnements conçus pour l’exploitation contrôlée. La seule capacité brute des modèles ne suffira pas à retenir les chercheurs en sécurité sur une plateforme.

Les critiques des chercheurs comportent d’importantes limites

Les chercheurs offensifs identifient de véritables défaillances de flux de travail, mais leurs intérêts ne tranchent pas la question de l’ampleur avec laquelle les capacités d’IA dangereuses doivent être diffusées.

Certaines entreprises de sécurité offensive découvrent, acquièrent ou vendent des vulnérabilités à des clients gouvernementaux. Leur travail ne conduit pas toujours à une divulgation et à un correctif immédiats.

Mark Dowd, un chercheur de premier plan cité par TechCrunch, a vendu des zero-days à des gouvernements occidentaux. Il a reconnu que ce parcours peut influencer sa vision des restrictions imposées par les entreprises.

Les gouvernements accordent de la valeur aux vulnérabilités non divulguées, car les agences de renseignement peuvent les utiliser tandis que les cibles restent exposées. Ce marché complique toute équation simple entre recherche offensive et défense publique.

Un fournisseur de modèles doit considérer plus que la seule réputation apparente du client. Il doit aussi déterminer si son assistance pourrait étendre la surveillance, l’intrusion ou la constitution de stocks d’exploits.

L’autorisation légale n’est pas identique à l’intérêt public. Une opération approuvée par un gouvernement peut rester controversée ou créer un risque systémique si une vulnérabilité touche un logiciel largement utilisé.

Les chercheurs divergent également sur la place centrale que l’IA devrait prendre. Le flux de travail de Cali suggère qu’une assistance utile peut s’arrêter avant la découverte automatisée de bugs ou la militarisation.

Cette approche préserve le jugement humain aux étapes les plus risquées. Elle réduit aussi le risque qu’un modèle transforme une idée incomplète en méthode d’attaque réutilisable.

Par ailleurs, l’argument des fournisseurs sur les risques n’est pas hypothétique. OpenAI affirme que les performances cyber des modèles ont rapidement progressé, et les trois laboratoires considèrent les capacités cyber avancées comme un domaine de sécurité sérieux.

À mesure que les modèles acquièrent une capacité d’action sur des durées plus longues, une réponse isolée devient moins importante qu’une séquence d’actions. Un agent peut inspecter du code, générer des tests, exécuter des commandes, évaluer les échecs et réviser son plan.

Cette capacité change les enjeux. Un refus qui bloquait autrefois une courte demande de malware peut désormais devoir régir des milliers d’actions coordonnées.

Elle rend également les tests isolés indispensables. Un agent opérant avec des outils peut franchir des limites qu’un assistant uniquement textuel ne peut pas atteindre.

Les chercheurs méritent un accès prévisible, mais les fournisseurs ont besoin de preuves que l’environnement environnant contiendra les défaillances. La vérification seule ne peut pas fournir ces preuves.

Il n’existe pas non plus de mesure publique et standardisée de la qualité des garde-fous pour les travaux cyber légitimes. Les anecdotes révèlent des modes de défaillance, mais elles n’établissent pas les taux globaux de faux positifs.

Les entretiens de TechCrunch couvrent des organisations et des flux de travail variés. Ils fournissent des signaux d’alerte crédibles, et non une enquête représentative du secteur de la sécurité.

Les fournisseurs publient eux aussi peu de données sur l’expérience des utilisateurs approuvés. Les chiffres d’inscription révèlent la portée du programme, mais disent peu de choses sur l’achèvement des tâches ou l’utilité des modèles.

Cette lacune de preuves encourage les deux parties à exagérer leur position. Les chercheurs peuvent interpréter un refus comme la preuve que la politique de sécurité est arbitraire. Les fournisseurs peuvent considérer la disponibilité d’un programme comme la preuve que l’accès légitime fonctionne.

Une meilleure évaluation testerait des flux de travail autorisés réalistes sur plusieurs modèles. Elle devrait mesurer la réussite des tâches, les refus inappropriés, les réponses dangereusement complaisantes, la cohérence, le délai de recours et les exigences de traitement des données.

Le benchmark devrait inclure des cas ambigus. Les prompts défensifs simples et les demandes évidentes de ransomware ne testent pas la frontière contestée.

Les scénarios pourraient inclure la validation d’un exploit dans un cyber range, l’ingénierie inverse de malware, l’analyse d’une cible de bug bounty et le développement d’une preuve de concept sûre.

Des évaluateurs indépendants devraient également accéder aux niveaux de modèles les plus risqués. Sinon, ils mesureraient les restrictions publiques sans examiner si la vérification résout réellement le problème.

Les résultats ne devraient pas divulguer de détails opérationnels facilitant les abus. Des rapports agrégés peuvent néanmoins montrer si les contrôles distinguent plus précisément le travail légitime au fil du temps.

Tant que de telles preuves n’existent pas, les conclusions catégoriques restent prématurées. Les garde-fous créent clairement des frictions pour certains chercheurs, mais les supprimer créerait un risque différent et potentiellement plus important.

L’objectif pratique n’est pas un accès sans restriction. C’est un accès responsable qui reste utile dans des conditions réalistes de tests offensifs.

Ce qu’Anthropic, Google et OpenAI doivent démontrer ensuite

La prochaine phase devrait être évaluée selon la fiabilité des flux de travail, l’exécution contrôlée et la capacité à maintenir les chercheurs responsables sur des plateformes encadrées.

Le premier signal est une performance mesurable au sein des programmes de vérification. Anthropic et OpenAI devraient publier les délais d’approbation, les résultats des recours et les taux de faux positifs pour les demandes légitimes à double usage.

Ces chiffres doivent être contextualisés, notamment par modèle, niveau d’accès et catégorie de tâche. Un pourcentage unique à l’échelle d’un programme pourrait masquer de graves problèmes dans la validation d’exploits.

Anthropic indique déjà viser une décision sur les candidatures au CVP dans un délai de deux jours ouvrés. La question la plus importante est ce qui se passe après l’approbation.

Si les chercheurs vérifiés rencontrent encore fréquemment des blocages inexpliqués, la vérification a déplacé la frontière sans résoudre le problème du flux de travail. Une baisse des taux de faux positifs renforcerait l’argument en faveur de garde-fous calibrés.

Le deuxième signal est l’extension des environnements de recherche contrôlés. Les laboratoires de pointe peuvent fournir des espaces de travail isolés dotés d’outils audités, d’une connectivité réseau restreinte et d’autorisations de cibles clairement définies.

De tels environnements permettraient aux modèles d’exécuter des tâches à l’apparence dangereuse sans accorder un accès ouvert à des infrastructures externes. Ils rendraient aussi l’examen des incidents plus concret que de simples spéculations au niveau des prompts.

Le succès nécessiterait une prise en charge sur les plateformes cloud et les outils tiers. Les lacunes actuelles de disponibilité du CVP d’Anthropic montrent comment l’accès peut se rompre lorsque le modèle atteint les utilisateurs via des intermédiaires.

Les contrôles de confidentialité compteront autant que les contrôles d’exécution. Les équipes de sécurité ont besoin d’options crédibles pour traiter du code propriétaire et des vulnérabilités non divulguées sans créer d’exposition supplémentaire.

Si les entreprises associent des cyber ranges à de solides options de rétention, davantage de chercheurs pourront justifier l’utilisation de modèles hébergés. Si la rétention reste obligatoire, les travaux sensibles continueront de migrer en local.

Le troisième signal est le comportement des chercheurs. Les fournisseurs devraient observer si des équipes offensives reconnues utilisent des modèles de pointe spécialisés pour la validation d’exploits, et pas seulement pour résumer du code.

Une migration continue vers GLM et d’autres modèles téléchargeables affaiblirait les affirmations selon lesquelles l’accès vérifié offre aux défenseurs un avantage concret. Une adoption stable indiquerait que les garde-fous deviennent utilisables.

Google doit figurer dans cette comparaison, même si les récents témoignages de chercheurs concernaient principalement Anthropic et OpenAI. Ses politiques et son cadre pour les modèles de pointe reflètent le même compromis fondamental.

L’association des mots-clés anthropic google reflète également une réalité plus large du marché. Les équipes de sécurité comparent la gouvernance, le déploiement, la confidentialité et l’accès entre fournisseurs, et pas seulement les scores bruts de benchmark.

Aucune entreprise ne peut résoudre la classification des usages à double usage avec un meilleur message de refus. Les améliorations décisives combineront identité, environnement, autorisation, surveillance et une voie transparente pour corriger les erreurs.

Les développeurs et les acheteurs en entreprise devraient poser des questions directes avant d’adopter un modèle d’IA pour des travaux de sécurité. Quelles tâches déclenchent des garde-fous renforcés ? Les utilisateurs approuvés peuvent-ils faire appel pendant une mission active ?

Ils devraient également examiner la rétention, le traitement régional, la disponibilité des plateformes, l’auditabilité et la stabilité des versions de modèle. Ces détails déterminent si un produit peut soutenir un véritable programme de sécurité.

Les chercheurs offensifs devraient documenter les faux positifs sans publier de contenu susceptible de faciliter des abus. Des éléments comparables rendront plus difficile pour les fournisseurs d’écarter les défaillances comme de simples cas isolés d’usage abusif.

Les entreprises d’IA, quant à elles, devraient considérer les refus légitimes comme des défauts de sécurité. Un système qui bloque les défenseurs de manière indiscriminée n’atteint pas l’équilibre recherché.

Le test à venir est simple. Anthropic, Google et OpenAI peuvent-ils préserver une supervision significative tout en donnant aux chercheurs autorisés un accès fiable aux capacités que les attaquants recherchent déjà ?

Si les programmes vérifiés deviennent cohérents et confidentiels, les modèles de pointe encadrés pourront retenir les experts responsables. Sinon, ces experts continueront de se tourner vers des alternatives locales, avec moins de restrictions et moins de supervision de la part des fournisseurs.