Entraîner des IA à résoudre des CAPTCHA : Salman et Bicakci testent un solveur qui apprend
Oguzhan Salman et Kemal Bicakci font état d’une précision de classification de 85,4 % avec un solveur de CAPTCHA conçu pour s’améliorer à l’usage. Leurs recherches sur l’entraînement des IA à résoudre des CAPTCHA remettent en question une hypothèse défensive familière : une énigme qui met en échec un solveur automatisé continuera de le faire. Le système proposé associe une reconnaissance d’images spécialisée à un raisonnement visuel plus général.
L’affrontement central oppose des défenses visuelles fixes à un solveur adaptatif. Un CAPTCHA, un test destiné à distinguer les humains des logiciels automatisés, présente un problème de reconnaissance. Modifier ce problème peut interrompre un modèle spécialisé. La question plus difficile est de savoir si cette interruption persiste lorsqu’un autre modèle fournit des exemples d’entraînement.
Le reCAPTCHA de Google constitue le point de référence pratique, mais les implications s’étendent à la façon dont les sites web évaluent leur protection. Une défense par énigme efficace aujourd’hui ne démontre pas une résistance durable. Pour les développeurs et les acheteurs de solutions de sécurité, la recherche déplace l’attention vers le temps de rétablissement, les résultats complets de vérification et le coût de l’accès légitime.
Entraîner des IA à résoudre des CAPTCHA va au-delà des modèles fixes
Salman et Bicakci, chercheurs à l’Université technique d’Istanbul, ont publié leur prépublication le 2 septembre 2026. Bruce Schneier a mis en avant les recherches sur les CAPTCHA adaptatifs le 19 octobre. La distinction est importante : l’attention récente porte sur une publication de recherche existante, et non sur un nouveau produit commercial annoncé.
Le changement déterminant est la boucle d’apprentissage proposée, plutôt que la capacité à reconnaître des objets dans une énigme.
Le système associe YOLOv8, un modèle spécialisé de reconnaissance visuelle, à un modèle vision-langage, qui traite les images parallèlement au texte. Un mécanisme de routage choisit entre eux selon le niveau de confiance. Cette organisation donne au système un parcours spécialisé et une solution de repli plus générale au sein de la même architecture.
Les auteurs indiquent une précision globale de 85,4 % et une précision macro de 84,2 % sur 16 classes. La précision globale comptabilise les prédictions sur l’ensemble des échantillons évalués. La précision macro accorde le même poids à chaque classe, ce qui empêche plus difficilement les catégories faibles de se dissimuler derrière les plus fréquentes. Ces mesures décrivent les performances de classification, et non un taux d’accès universel aux sites web.
Cette distinction modifie la manière dont les lecteurs devraient interpréter le chiffre mis en avant. Un site web n’accorde pas l’accès parce qu’un modèle étiquette correctement une image isolée. Il évalue une interaction pouvant comprendre plusieurs sélections, des images actualisées, des décisions de vérification et des tentatives répétées. Un benchmark de classification mesure une composante importante de cette interaction.
L’article présente également une évaluation en conditions réelles sur la page de démonstration de reCAPTCHA v2 de Google. Sur 100 sessions, toutes ont finalement abouti, tandis que 181 des 206 énigmes ont été résolues dès la première tentative. Ces résultats apportent des éléments sur le déploiement au-delà d’images statiques. Ils restent des observations effectuées dans les conditions de test des auteurs, plutôt qu’un audit indépendant sur plusieurs sites web.
Pour un défenseur, la distinction importante se situe entre la reconnaissance immédiate, l’achèvement final et la résistance durable. Chacune répond à une question différente. Les réunir dans un pourcentage unique de réussite masquerait les situations où le système fonctionne et celles où d’autres protections restent importantes.
Prenons un parcours d’inscription qui présente un défi d’image après une activité suspecte. Des sélections d’images correctes établissent que la tâche visuelle a été résolue. Elles n’établissent pas que le comportement ultérieur du compte est acceptable. L’analyse de sécurité doit préserver cette limite, même lorsque le solveur d’images obtient de bons résultats.
Entraîner des IA à résoudre des CAPTCHA devient donc une question de comportement au fil de rencontres répétées. La recherche demande si les capacités futures d’un solveur évoluent après qu’il a rencontré quelque chose d’inconnu. Il s’agit d’un test plus exigeant pour les défenses que la comparaison d’un modèle inchangé avec une collection d’images fixe.
Un défi visuel peut interrompre un bot sans arrêter son apprentissage
Une défense qui provoque des erreurs doit expliquer séparément pourquoi ces erreurs devraient persister.
La pression s’exerce le plus directement sur les équipes de sécurité qui considèrent la difficulté visuelle comme une barrière durable. Leur mesure immédiate pourrait montrer qu’une énigme modifiée met en échec un détecteur existant. Ce résultat est utile, mais incomplet. Il en dit peu sur ce qui se produit après que le solveur reçoit des retours ou met à jour son modèle.
Imaginons une évaluation autorisée de la protection des inscriptions d’un site web. Une nouvelle catégorie d’images déstabilise d’abord le solveur de test. L’équipe de sécurité enregistre l’échec et considère le changement efficace. Si l’évaluation s’arrête là, elle ne mesure jamais si une exposition ultérieure élimine cet avantage.
Une évaluation adaptative se poursuivrait après cet échec initial. Elle examinerait si le solveur s’améliore, quelles informations favorisent cette amélioration et si l’action protégée reste bloquée. Le résultat décisif est une résistance durable dans des conditions définies. Un taux d’erreur initial impressionnant ne peut à lui seul répondre à cette question.
Cela crée aussi une pression sur le langage utilisé dans les achats. Une affirmation sur la détection du trafic automatisé doit avoir un périmètre défini. Porte-t-elle sur la reconnaissance d’images, la résolution de défis, les sessions suspectes ou les actions abusives ? Les acheteurs ont besoin de ces distinctions avant de comparer des produits ou d’interpréter un résultat de laboratoire.
Le même raisonnement s’applique à la charge de travail de l’opérateur. Remplacer un défi visuel est pertinent lorsqu’il procure une protection significative. Sa valeur devient moins claire si le maintien de cette protection exige des changements fréquents qui gênent les visiteurs légitimes. La comparaison pertinente inclut à la fois le bénéfice défensif et la maintenance continue.
Il existe également une question de temporalité. Une défense peut conserver une valeur pratique même lorsqu’elle finit par perdre son efficacité. Une barrière temporaire peut protéger une courte période d’inscription ou interrompre une campagne en cours. La recherche n’établit pas que toute défense temporaire est inutile.
Elle suggère plutôt une question plus précise : quel délai utile l’intervention crée-t-elle ? Ce délai devrait être mesuré au regard de l’objectif de l’attaquant et du temps de réponse du défenseur. Une courte interruption et un obstacle durable méritent des descriptions opérationnelles différentes.
Les propriétaires de sites web devraient aussi distinguer la vérification humaine de l’autorisation. Un visiteur peut réussir un défi tout en n’ayant pas le droit d’effectuer une action particulière. À l’inverse, un utilisateur légitime peut éprouver des difficultés lors de la vérification malgré son autorisation. Traiter le résultat visuel comme une décision de confiance complète confond ces jugements distincts.
Pour les développeurs de produits d’IA, cette même limite compte lorsque des agents interagissent avec des sites web. La capacité technique à accomplir une action à l’écran n’établit pas l’autorisation de poursuivre. Le comportement du produit doit respecter l’autorité de l’utilisateur et les règles du service de destination, même si les capacités visuelles progressent.
L’implication immédiate est donc précise. Les équipes qui s’appuient fortement sur un écart de reconnaissance fixe ont besoin de preuves que cet écart résiste à des expositions répétées. Les équipes qui évaluent déjà des interactions complètes devraient intégrer l’adaptation à ces évaluations. Aucune de ces conclusions n’exige de déclarer tous les CAPTCHA obsolètes.
Le détecteur rapide et le modèle généraliste ont des rôles différents
Un détecteur spécialisé autonome et un modèle visuel généraliste font face à des contraintes différentes. Le détecteur se concentre sur les motifs représentés dans son entraînement. Le modèle plus large offre une autre manière d’interpréter un contenu inconnu. Les combiner modifie le composant qui doit prendre en charge chaque rencontre.
L’argument architectural est que le raisonnement général devrait aider à améliorer l’exécution spécialisée, plutôt que de répéter indéfiniment chaque décision familière.
Les auteurs décrivent un routeur fondé sur la confiance, un composant qui dirige les prédictions incertaines vers le modèle plus large. Le principe de fonctionnement ressemble à une escalade au sein d’un processus d’assistance. Les cas courants suivent le parcours spécialisé. Les cas nécessitant un autre type de jugement reçoivent une attention supplémentaire.
Cette organisation fait de la qualité de la confiance un enjeu important pour l’évaluation. Une erreur commise avec confiance n’atteint pas automatiquement la solution de repli. Un routeur trop prudent peut envoyer le travail courant vers le parcours plus exigeant. Mesurer le système combiné nécessite donc d’examiner ses décisions d’escalade.
C’est là que la comparaison entre IA spécialisée et IA généraliste devient utile. Un modèle large peut couvrir des cas hors des catégories établies d’un détecteur. Un modèle spécialisé peut se concentrer sur des motifs récurrents. La recherche considère ces forces comme des éléments complémentaires d’un solveur de CAPTCHA adaptatif.
Des travaux antérieurs apportent un contexte historique sans établir un classement directement comparable. Andreas Plesner, Tobias Vontobel et Roger Wattenhofer ont signalé une réussite complète dans la résolution des défis selon leur configuration dans l’étude sur reCAPTCHA v2 de 2024. Leurs travaux utilisaient une reconnaissance basée sur YOLO et examinaient également le contexte du navigateur.
Ce résultat antérieur empêche une interprétation exagérée de l’actualité actuelle. La résolution automatisée de défis d’images n’a pas commencé avec cette prépublication. Les différentes études utilisent aussi des protocoles, des tentatives répétées, des environnements et des mesures de résultat différents. Leurs pourcentages ne peuvent pas établir une hiérarchie claire des performances sans contrôler ces différences.
La comparaison la plus utile concerne ce que chaque architecture conserve après une rencontre. Un classificateur fixe applique des paramètres existants. Un modèle généraliste peut interpréter une nouvelle entrée sans nécessairement modifier le système environnant. Une architecture adaptative introduit une voie permettant à l’expérience d’influencer les performances ultérieures.
Cette distinction permet également de garder les affirmations plus générales sur l’IA en perspective. Un agent qui se souvient d’une conversation diffère d’un modèle de reconnaissance mis à jour. Retrouver un exemple antérieur diffère de l’apprentissage d’une nouvelle catégorie. Les rapports sur une amélioration devraient identifier le mécanisme qui a réellement changé.
Pour la défense visuelle, ces différences de mise en œuvre affectent la menace évaluée. Un défi peut mettre en échec un classificateur particulier tout en restant compréhensible pour un autre modèle. Si le système peut exploiter utilement ce second jugement, l’échec d’un composant ne doit pas nécessairement devenir un échec durable du système.
L’évaluation du solveur hybride de l’article fournit le compte rendu expérimental sous-jacent. Ses conclusions devraient être évaluées comme les résultats rapportés par les auteurs. La question architecturale centrale reste compréhensible sans accepter une affirmation universelle : l’expérience améliore-t-elle de manière fiable l’exécution ultérieure ?
Cette question dépasse la recherche sur les CAPTCHA, mais la conclusion de sécurité de l’article reste plus étroite. Une barrière visuelle fixe affronte un adversaire différent lorsque le solveur peut s’adapter. Les évaluations conçues autour d’un modèle inchangé risquent de mesurer un avantage qui disparaît après le déploiement.
Une interface par capture d’écran modifie le test, pas la nature de la confiance
Les chercheurs décrivent un système qui lit des captures d’écran et envoie des événements d’entrée du système d’exploitation. Il ne s’appuie ni sur l’automatisation du navigateur ni sur le DOM, la représentation structurée d’une page par le navigateur. Le navigateur fonctionne comme une interface visible pour le solveur.
Supprimer l’accès à la structure de la page renforce l’affirmation d’une interaction visuelle, mais n’établit pas une invisibilité universelle.
Cela compte, car reconnaître une énigme et utiliser son interface sont deux tâches distinctes. Un modèle peut comprendre une image tout en échouant à sélectionner le bon emplacement. Une interaction complète doit également gérer les changements à l’écran et déterminer si la tâche est terminée.
L’approche par capture d’écran intègre ces exigences d’interaction au système évalué. Elle étaye une affirmation concernant l’utilisation à travers le contenu visible. C’est pertinent pour les agents d’utilisation d’ordinateur, qui doivent relier l’interprétation visuelle aux actions. Cela doit toutefois rester décrit dans l’environnement testé.
Un site web peut évaluer bien plus que la manière dont une image a été lue. Par conséquent, l’absence d’un mécanisme d’automatisation particulier ne prouve pas l’absence de tous les signaux détectables. Les affirmations d’indétectabilité nécessiteraient leurs propres éléments de preuve. La conception d’interface rapportée ne tranche pas cette question plus large.
Les résultats de démonstration en direct nécessitent également des limites claires. La finalisation éventuelle d’une session inclut la récupération après des tentatives échouées. La réussite d’une énigme dès la première tentative décrit un résultat différent. Les deux sont utiles, mais ils éclairent différemment les décisions relatives à l’expérience utilisateur, à la fiabilité et aux frictions défensives.
Un acheteur évaluant un système de protection devrait se demander quel résultat correspond à son objectif commercial. Empêcher une inscription abusive concerne la question de savoir si l’action a finalement lieu. Limiter la charge d’interaction concerne la quantité de travail nécessaire avant ce résultat. Mesurer uniquement la précision visuelle ne permet pas de répondre aux deux questions.
Les produits existants montrent également pourquoi le marché ne peut pas être réduit aux énigmes visuelles. Google documente la notation du risque d’interaction pour reCAPTCHA v3, qui renvoie un score sans présenter de défi interactif. Sa documentation relie ce score aux actions sélectionnées par l’opérateur du site web.
Cloudflare décrit des défis de navigateur non interactifs pour Turnstile, en utilisant des signaux issus de l’environnement navigateur du visiteur. Ces descriptions de produits illustrent une surface défensive plus large. Elles ne démontrent pas que l’un ou l’autre service neutralise le système de recherche.
La comparaison neutre porte sur ce qui est mesuré. Un solveur visuel traite les tâches de reconnaissance et d’interaction qu’il rencontre. Un service fondé sur le risque évalue un contexte supplémentaire selon sa propre conception. Évaluer l’un ne revient pas automatiquement à évaluer l’autre.
Pour les équipes produit, cela signifie qu’une case à cocher familière ne devrait pas définir l’ensemble de la discussion sur la sécurité. L’action protégée, les contrôles environnants et les abus observés comptent tous. Un test autorisé devrait indiquer quelles couches il a effectivement exercées.
Entraîner des IA à résoudre des CAPTCHA soulève un défi concret pour la vérification visuelle. Cela ne justifie pas de ramener tous les produits de vérification à la même catégorie. L’architecture mérite l’attention précisément parce que son périmètre démontré peut être décrit sans le transformer en affirmation d’accès universel.
Les preuves doivent résister à l’adaptation des deux côtés
Un solveur adaptatif mérite une évaluation adaptative, y compris des défenses qui évoluent en réponse à son comportement.
L’interprétation sceptique la plus solide demande si l’avantage rapporté résiste en dehors des conditions choisies. Un système de recherche peut produire un résultat significatif sans couvrir tous les environnements d’exploitation. La réplication devrait vérifier si le même mécanisme reste utile lorsque ses hypothèses deviennent moins favorables.
Une question importante concerne la qualité du retour d’information. Une réponse générée par un modèle est une prédiction, et non une vérité de référence indépendante. Si l’apprentissage ultérieur s’appuie sur ces réponses, les évaluateurs doivent examiner ce qui se produit lorsqu’elles sont erronées. L’amélioration doit être mesurée parallèlement aux erreurs persistantes.
Une autre question concerne le maintien des performances existantes. Apprendre quelque chose de nouveau est moins utile si le système perd sa compétence sur des entrées familières. Une évaluation crédible doit suivre les deux. Sinon, les progrès apparents sur des cas récemment rencontrés peuvent masquer une régression ailleurs.
La confiance mérite un examen similaire. Un routeur ne peut escalader des cas qu’en fonction des informations dont il dispose. Si des entrées difficiles engendrent une certitude mal placée, le comportement de repli pourrait être plus faible que prévu. Tester les décisions de routage importe autant que tester les modèles eux-mêmes.
Il s’agit de questions d’évaluation, plutôt que d’affirmations selon lesquelles le système rapporté échoue nécessairement. Elles identifient les éléments de preuve qui renforceraient ou limiteraient l’argument. Une lecture prudente sépare le résultat observé des hypothèses concernant toute distribution future d’entrées.
Une reproduction indépendante fournirait une autre limite utile. La publication d’un artefact permet à des chercheurs externes d’inspecter et de tester une méthode. Elle ne démontre pas, à elle seule, que des tiers ont obtenu les mêmes résultats. La reproduction devrait inclure des conditions comparables et des écarts clairement identifiés par rapport à celles-ci.
Le contexte opérationnel compte également. Une page de démonstration est un environnement de test utile, mais un service de production protège un flux de travail particulier. Ce flux peut introduire des décisions supplémentaires avant ou après un défi. Généraliser entre services exige des preuves concernant ces interactions complètes.
Les changements défensifs doivent également tenir compte de l’accès légitime. L’analyse de l’accessibilité des CAPTCHA du W3C documente les obstacles associés aux tâches de vérification humaine. Elle explique également pourquoi une alternative audio n’offre pas automatiquement un accès équivalent.
Cette perspective complique la réponse la plus simple à une reconnaissance d’images plus performante : rendre les énigmes plus difficiles. L’augmentation de la difficulté nécessite des preuves d’une meilleure protection parallèlement à des résultats humains acceptables. Sinon, un changement peut imposer des frictions sans démontrer une résistance durable à l’automatisation.
Le résultat pertinent est la relation entre protection et accès. Une défense qui bloque les utilisateurs légitimes a un coût, même si son taux d’échec automatisé semble favorable. Une évaluation adaptative devrait préserver cette visibilité plutôt que de ne rapporter que les performances du solveur.
Pour les équipes qui suivent cette recherche, une base de connaissances interrogeable peut aider à conserver ensemble les protocoles, les résultats et les limites. La valeur pratique réside dans la préservation du contexte. Un pourcentage mémorisé sans ses conditions de mesure peut induire en erreur une décision de sécurité ultérieure.
Surveillez la réplication, les sessions complètes et la réponse défensive
Les prochains éléments de preuve utiles devraient clarifier la durabilité, plutôt qu’ajouter un autre pourcentage isolé en titre. Au cours des prochains mois, les lecteurs peuvent surveiller des évolutions concrètes dans l’évaluation indépendante et la réponse des produits. Il s’agit de priorités d’observation, non de jalons annoncés.
La question décisive est de savoir si l’avantage du solveur reste utile lorsque l’environnement et le défenseur réagissent tous deux.
Premièrement, surveillez les reproductions indépendantes du comportement adaptatif. Une réplication convaincante examinerait si une exposition répétée améliore les résultats ultérieurs dans des conditions documentées. Elle devrait distinguer les changements de reconnaissance des changements liés aux nouvelles tentatives ou à la gestion des interactions.
Une reproduction réussie renforcerait l’affirmation selon laquelle l’adaptation constitue un avantage architectural significatif. Un échec de reproduction limiterait la conclusion à la configuration d’origine. Dans les deux cas, cela serait plus instructif qu’un nouveau résumé répétant les chiffres du benchmark.
Deuxièmement, surveillez des rapports plus larges sur les sessions de vérification complètes. Les évaluations devraient distinguer les prédictions d’images, les tentatives d’énigmes, la finalisation éventuelle et le temps consacré. Elles devraient également identifier quelle action protégée, le cas échéant, a suivi la vérification.
Une finalisation cohérente dans des environnements autorisés et variés renforcerait l’argument opérationnel. Une classification solide associée à une finalisation de session peu fiable indiquerait une capacité plus restreinte. Cette distinction donne aux défenseurs un moyen de répondre de manière proportionnée plutôt que de réagir à un taux de réussite ambigu.
Troisièmement, surveillez les évaluations défensives qui permettent au solveur de s’adapter après un changement. Une réponse utile mesurerait si la protection persiste, quel délai elle crée et ce qui arrive aux visiteurs légitimes. L’échec initial d’un modèle inchangé n’est que l’observation de départ.
Si les changements défensifs conservent leur efficacité après des expositions répétées, ils affaibliraient l’interprétation la plus large de la menace adaptative. Si l’avantage disparaît à répétition, ils renforceraient l’argument en faveur d’un déplacement de l’attention au-delà de la difficulté visuelle. Les résultats de finalisation humaine devraient accompagner l’un ou l’autre résultat.
Pour les développeurs, ces signaux fournissent une discipline de lecture concrète. Demandez ce qui a changé entre les tentatives, ce qui comptait comme une réussite et qui a vérifié le résultat. Pour les acheteurs, demandez comment ces mesures se rapportent à l’action protégée. Pour les utilisateurs d’IA, distinguez un agent d’interface compétent d’un agent autorisé.
Entraîner des IA à résoudre des CAPTCHA justifie désormais une discussion sur la persistance, le retour d’information et les interactions complètes. Lisez les conditions d’évaluation avant d’intégrer un pourcentage de réussite dans une décision produit. Préservez la différence entre un modèle qui reconnaît une image et un service qui résiste aux abus. Lorsque la prochaine affirmation arrivera, recherchez une réplication indépendante, des résultats au niveau des sessions et une défense testée après adaptation. Ces observations montreront si cette architecture offre un avantage reproductible ou reste dépendante de ses conditions d’origine. Pour tout flux de travail que vous exploitez, commencez par l’action protégée et remontez la chaîne des preuves : qu’est-ce qui démontrerait que la barrière fonctionne toujours après que le solveur a eu l’occasion d’apprendre ?
