Le NOC de Black Hat révèle les limites humaines de la sécurité par IA

Le NOC de Black Hat a fait son entrée dans Google News après avoir traité 285 millions d’alertes, mais sa conclusion la plus nette remettait en cause la promesse d’une sécurité IA autonome. Des agents sur mesure ont accéléré les investigations, mais des analystes expérimentés ont continué à déterminer quelles menaces comptaient et quand les conclusions automatisées exigeaient de la retenue.

Le centre des opérations réseau, ou NOC, a protégé plus de 23 000 participants lors de Black Hat USA 2026 à Las Vegas. Son environnement combinait du trafic de recherche hostile, des exercices de formation en direct, des appareils infectés et de véritables attaques. Ce mélange rendait les simples volumes d’alertes presque inutiles sans contexte.

L’enjeu n’était pas l’IA contre les analystes humains. Il opposait la promesse de l’automatisation au jugement nécessaire au sein d’un réseau exceptionnellement ambigu. L’expérience du NOC a montré où les agents sont utiles, où les produits commerciaux ne suffisent pas et pourquoi l’autorité humaine reste centrale.

Ce à quoi le NOC de Black Hat a réellement été confronté

Le réseau de Black Hat a transformé la détection des menaces en problème de classification, où presque chaque signal paraissait suspect.

Black Hat USA s’est déroulé du 1er au 6 août au Mandalay Bay Convention Center. La conférence principale occupait les deux derniers jours, après quatre jours de formations spécialisées. Son programme comprenait plus de 200 sessions consacrées aux malwares, à l’ingénierie de détection, à la confidentialité, à la cryptographie, aux agents IA et aux exploits autonomes.

L’équipe du NOC ne s’est pas contentée de surveiller l’infrastructure existante du lieu. Elle a remplacé chaque routeur, commutateur, pare-feu et point d’accès sans fil par du matériel sélectionné pour l’événement. Ce contrôle a permis à l’équipe de réagir immédiatement lorsque le trafic nécessitait une investigation ou une mesure d’atténuation.

Plus de 100 personnes ont soutenu l’opération, selon le rapport de terrain du NOC. Analystes, chercheurs, ingénieurs et chasseurs de menaces ont travaillé aux côtés de technologies de Palo Alto Networks, Corelight, Cisco, Arista, Lumen et Jamf.

L’ampleur de l’événement avait considérablement changé. Une version antérieure du NOC comptait trois personnes protégeant une conférence de 1 500 participants. En 2026, la fréquentation a dépassé 23 000 personnes, tandis que les cours de formation ont dépassé la centaine.

Le problème majeur n’était pas seulement le volume. Black Hat autorise des activités qui déclencheraient une escalade immédiate dans la plupart des réseaux d’entreprise. Les participants exécutent des outils de sécurité, étudient des malwares, rejouent des attaques et testent les techniques apprises pendant les formations.

Cette activité autorisée crée ce que l’équipe appelle des « Black Hat positives ». Il s’agit de détections exactes de comportements que la conférence prévoit et autorise. Ce ne sont pas des faux positifs, mais les bloquer resterait une mauvaise réponse.

Cette distinction est importante, car l’automatisation conventionnelle de la sécurité suppose souvent qu’une activité suspecte mérite d’être contenue. À Black Hat, cette hypothèse peut interrompre un cours ou gêner des recherches légitimes. Une alerte a besoin de contexte avant de devenir un incident.

Une personne a attaqué des serveurs internes dans les 15 minutes suivant la mise à disposition du réseau. Cette activité précoce a illustré pourquoi l’équipe devait disposer d’un contrôle immédiat sur l’infrastructure. Elle a également montré que les menaces réelles apparaissent aux côtés d’expériences autorisées.

À la fin de la conférence, l’équipe avait reçu 285 millions d’alertes informatives. Elle a réduit ces signaux à 17,1 millions de menaces identifiées, puis n’en a bloqué que 383. Cette réduction considérable montre à quel point le volume brut d’alertes renseigne peu sur le risque opérationnel.

L’écart entre 17,1 millions de menaces et 383 événements bloqués constitue le chiffre central de cette histoire. Les outils automatisés ont détecté de l’activité, mais l’analyse guidée par des humains a déterminé quelle activité exigeait une intervention. Le NOC ne cherchait pas à maximiser les blocages.

Neil « Grifter » Wyler, responsable principal des opérations réseau de Black Hat, a décrit ce travail comme la recherche d’une aiguille dans une pile d’aiguilles. Chaque candidat semblait déjà dangereux. La véritable tâche consistait à identifier le sous-ensemble plus restreint qui enfreignait les limites de l’événement.

Cet environnement fait du NOC un test exigeant des défaillances de la sécurité IA. Un modèle ne peut pas s’appuyer sur de simples étiquettes telles que malveillant, bénin ou anormal. Il doit interpréter l’intention, l’emplacement, le moment, l’identité et les règles de la conférence.

Le résultat a attiré Google News parce qu’il offre ce que les démonstrations de fournisseurs proposent rarement. Les agents ont opéré sur du trafic réel, sous contrainte de temps, avec des conséquences en cas de décisions erronées. Leur valeur dépendait des preuves et de la supervision, plutôt que de réponses bien formulées.

Pourquoi les outils commerciaux de sécurité IA n’ont pas suffi

Le NOC a créé des agents sur mesure parce que les produits disponibles ne pouvaient pas satisfaire ses exigences de vitesse, de charge et de contexte.

L’équipe a commencé à utiliser le machine learning là où démarrent de nombreuses organisations de sécurité : la génération d’alertes. Cette approche peut identifier des comportements inhabituels ou des schémas dans un volume de données supérieur à ce que les analystes peuvent examiner manuellement. Elle n’explique pas automatiquement si ce comportement mérite une action.

Le personnel du NOC a évalué plusieurs outils disponibles, mais a constaté que nombre d’entre eux ne pouvaient pas absorber leur charge de trafic. D’autres produits ne réagissaient pas assez vite à mesure que le réseau évoluait. L’équipe a donc développé des logiciels autour de ses propres flux de travail.

Cette décision révèle une faiblesse fréquente dans l’acquisition de solutions de sécurité IA. Les acheteurs comparent souvent les fonctionnalités des modèles, la qualité des interfaces ou le nombre d’intégrations prises en charge. Le succès opérationnel dépend bien davantage de la qualité de la télémétrie, du délai de réponse et de la manière dont le système représente les règles locales.

Les règles de Black Hat sont particulièrement difficiles à encoder. Un scan de vulnérabilités peut être normal dans une salle de cours et inacceptable contre l’infrastructure de la conférence. Le même schéma de paquets peut avoir des significations différentes selon sa source et sa destination.

Le NOC utilise un chatbot IA nommé Trevor avec la plateforme d’opérations de sécurité de Palo Alto Networks. Les analystes peuvent poser des questions sur une adresse, et l’assistant récupère les informations pertinentes dans les journaux. Cela réduit le travail mécanique nécessaire pour commencer une investigation.

La récupération d’informations est utile parce qu’elle raccourcit la distance entre une alerte et les éléments qui l’étayent. Elle est aussi plus limitée qu’une réponse autonome aux incidents. Trevor assiste l’analyste sans recevoir une autorité étendue pour contenir des appareils ou accuser des utilisateurs.

L’équipe a introduit un système plus vaste appelé NOCgentic lors de l’événement de 2026. Cette plateforme multi-agents dirige les questions vers des composants spécialisés, interroge la télémétrie et renvoie des réponses accompagnées des prochaines étapes suggérées. Un dépôt NOCgentic public documente désormais le projet.

Une plateforme multi-agents utilise plusieurs composants IA orientés vers des tâches précises, plutôt que de demander à un seul modèle de gérer chaque étape. Un composant peut récupérer des preuves réseau, tandis qu’un autre interprète la question ou prépare une réponse. Le routage peut améliorer la concentration, mais il crée aussi davantage de connexions nécessitant des contrôles de sécurité.

Le NOC a présenté NOCgentic comme un assistant destiné aux chasseurs de menaces moins expérimentés. Son effet recherché était de placer un soutien analytique plus approfondi aux côtés d’un opérateur de premier niveau. Ce cadrage compte, car il considère l’expertise comme quelque chose que le système aide à distribuer.

L’équipe a également développé SOCgentic, une version comportant moins de restrictions. Son interface, Postcog, fonctionne avec des capteurs appelés Precogs. Ces noms font référence au film Minority Report, où les prédictions arrivent avant les crimes.

L’humour rendait l’interface plus supportable pendant un travail stressant, mais la conception sous-jacente restait sérieuse. Les analystes ressentent de la fatigue lorsqu’ils investiguent des alertes répétitives. Un assistant utile peut récupérer le contexte, proposer des questions et organiser les preuves sans s’approprier la décision finale.

L’expérience du NOC comprenait aussi le développement logiciel assisté par IA. En 2024, l’équipe a créé FragglePacket, un outil de diagnostic réseau basé sur Rust, parce que les produits existants ne possédaient pas les capacités nécessaires. Lors de Black Hat USA 2026, l’IA a aidé les développeurs à ajouter 71 fonctionnalités.

Ces ajouts comprenaient le sondage des chemins d’attaque, le fuzzing de paquets, la relecture de captures de paquets, l’analyse HTTPS par étapes et un moteur de diagnostic fondé sur des règles. Le fuzzing de paquets envoie des entrées modifiées afin d’identifier les défaillances. La relecture de captures de paquets reproduit du trafic enregistré pour des tests contrôlés.

Le nombre de fonctionnalités ne doit pas être confondu avec une validation indépendante. L’IA peut accélérer la génération de code tout en introduisant des défauts, des hypothèses non sécurisées ou une complexité inutile. Les changements générés nécessitent toujours des tests et une revue.

C’est là que les défaillances de la sécurité IA commencent souvent. Les équipes mesurent la rapidité avec laquelle un modèle produit du code ou des investigations, puis négligent de vérifier si le résultat reste correct dans des conditions inconnues. La vitesse accroît à la fois la production utile et les obligations de revue.

L’approche sur mesure de Black Hat a réussi parce qu’elle était liée à sa télémétrie et à ses procédures opérationnelles. La plupart des entreprises ne peuvent pas reproduire directement cet environnement. Elles disposent d’équipes plus petites, de budgets limités, de journaux fragmentés et d’un contrôle moindre sur l’infrastructure.

Le NOC fonctionnerait avec des ressources offertes par certains partenaires technologiques sélectionnés. Ses responsables ont décrit ces entreprises comme des partenaires opérationnels plutôt que comme des sponsors ayant acheté un accès. Cette distinction donne à l’équipe accès à des outils que de nombreux groupes de sécurité d’entreprise ne peuvent pas combiner.

Les organisations découvrant le projet via Google News devraient donc éviter une conclusion superficielle. La leçon n’est pas que chaque centre des opérations de sécurité a besoin de plusieurs agents développés en interne. Elle est que l’automatisation doit correspondre aux preuves, à l’autorité et au processus de réponse déjà en place.

Google News met en lumière l’écart entre automatisation et jugement

La meilleure protection du NOC face à l’IA était sa capacité à refuser une recommandation automatisée.

L’équipe a souligné à plusieurs reprises que les humains restaient dans la boucle. Cette expression peut devenir un slogan marketing vague, mais Black Hat lui a donné un sens concret. Une personne conservait l’autorité d’interpréter le contexte et de dire non.

Cette autorité était essentielle, car le réseau contenait des activités offensives autorisées. Un agent pouvait détecter correctement une exploitation tout en comprenant mal pourquoi elle se produisait. Agir sur cette détection sans contexte pouvait perturber une recherche plutôt qu’arrêter une attaque.

Le problème ressemble à un défi de longue date dans les opérations de sécurité. Les systèmes de détection reconnaissent des schémas techniques, tandis que les intervenants en cas d’incident déterminent l’impact sur l’entreprise. L’IA modifie la vitesse et la présentation de ce travail, mais elle ne supprime pas cette distinction.

Black Hat a utilisé l’IA pour recueillir des preuves, rechercher dans la télémétrie, établir des profils et suggérer les prochaines étapes. Il n’a pas traité une réponse fluide comme une preuve définitive. Les analystes pouvaient examiner les données réseau sous-jacentes avant d’intervenir.

Cette approche privilégiant les preuves répond à une faiblesse des grands modèles de langage. Les modèles génèrent un langage probable, et non des faits garantis. Lorsqu’ils sont connectés à des outils, ils peuvent également sélectionner les mauvaises données, mal comprendre une requête ou produire une conclusion injustifiée.

Les précédents travaux du NOC en Asie ont fourni un exemple utile. Un agent a signalé des communications en clair contenant ce qui semblait être des identifiants de comptes utilisateurs. Un analyste a poursuivi son investigation au lieu d’accepter la première explication.

Le trafic provenait d’une application associée à l’enregistrement de réunions. Une requête ultérieure a révélé une clé d’interface de programmation Tencent, selon une investigation réseau. L’équipe n’a pas utilisé l’identifiant, de sorte que ses autorisations sont restées inconnues.

Cette retenue faisait partie de l’analyse. Les éléments étayaient l’affirmation qu’un identifiant avait été exposé, mais pas celle concernant ce à quoi un attaquant pouvait accéder. Un processus responsable a préservé cette incertitude au lieu de la combler par des spéculations.

Le même événement a produit un autre cas impliquant un appareil qui a déclenché des détections pour deux chevaux de Troie d’accès à distance. Un cheval de Troie d’accès à distance, ou RAT, permet à un attaquant de contrôler un système compromis. Plusieurs détections indépendantes rendaient une mauvaise classification accidentelle moins probable.

Un composant d’IA appelé The Profiler a analysé des éléments de preuve réseau et en a déduit que l’appareil appartenait probablement à un journaliste spécialisé en technologie. Le personnel humain a ensuite utilisé des informations d’inscription et des contacts presse internes pour affiner la recherche.

Le journaliste a reçu un avertissement et a été invité à éteindre l’appareil avant de contacter le personnel de sécurité de son entreprise. L’agent a accéléré l’identification, mais des personnes ont vérifié la conclusion et géré cette interaction sensible.

Cette séquence illustre un modèle pratique d’humain dans la boucle. L’IA a réduit le temps de recherche, les analystes ont évalué ses preuves et le personnel autorisé a décidé de la réponse à apporter. Chaque étape avait une responsabilité définie.

Elle met également en évidence un compromis en matière de confidentialité. Déduire l’identité d’une personne à partir du trafic peut protéger quelqu’un utilisant un appareil infecté. La même capacité peut devenir intrusive si une organisation l’utilise sans règles claires, proportionnalité ni responsabilité.

L’environnement inhabituel de Black Hat ne fait pas disparaître cette préoccupation. Les participants à la conférence se connectent à un réseau fortement surveillé, exploité à des fins défensives. Les employés, clients et visiteurs d’une entreprise peuvent avoir des attentes et des protections juridiques différentes.

Les responsables de la sécurité devraient définir ce qu’un agent peut déduire avant son déploiement. Ils ont également besoin de limites de conservation, de contrôles d’accès et de règles d’escalade pour les conclusions liées à l’identité. Une déduction correcte peut tout de même créer un risque de gouvernance.

Une autre préoccupation est le biais d’automatisation, c’est-à-dire la tendance à faire confiance à une recommandation machine parce qu’elle paraît assurée ou détaillée. Les synthèses d’enquête générées par l’IA semblent souvent complètes, même lorsqu’elles omettent des éléments contradictoires. Les nouveaux analystes peuvent être particulièrement vulnérables à cette présentation.

Le NOC a essayé d’utiliser les agents comme une extension de l’expertise senior. Cela peut améliorer la formation lorsque les réponses montrent leurs éléments de preuve et les limites de leur raisonnement. Cela devient dangereux lorsque les équipes juniors apprennent à approuver des recommandations sans vérifications indépendantes.

Un avertissement distinct sur la réponse aux incidents renforce ce point. L’analyste de Gartner Craig Porter a déclaré que les agents d’IA internes peuvent créer des événements non intentionnels tout en opérant dans le cadre de leurs autorisations.

Porter a soutenu que la réponse aux incidents traditionnelle ne couvre pas entièrement les systèmes qui produisent des résultats dommageables sans attaquant malveillant. Les équipes de sécurité doivent enquêter sur le comportement, la conception et la prise de décision. Cela élargit la responsabilité au-delà du confinement habituel des malwares.

Le NOC de Black Hat a rencontré la même frontière conceptuelle du côté défensif. Un agent autorisé peut récupérer des données, recommander une action ou générer du logiciel tout en créant un risque. L’autorisation n’est pas synonyme de justesse.

La distribution par Google News peut faire parvenir l’article à des lecteurs extérieurs aux opérations de sécurité. Pour ces lecteurs, le point important est simple. La sécurité de l’IA n’échoue pas uniquement lorsque des attaquants contournent les garde-fous d’un modèle.

Elle échoue aussi lorsque les défenseurs accordent à un agent une autorité excessive, des preuves insuffisantes ou un objectif peu clair. Le modèle peut suivre ses instructions et produire malgré tout le mauvais résultat. La revue humaine doit être conçue dans le processus, et non ajoutée après un incident.

Le NOC a également révélé les limites offensives de l’IA

Les attaques propulsées par l’IA étaient rapides et bruyantes en 2026, mais les défenseurs ne peuvent pas supposer que cet avantage durera.

L’équipe de Black Hat a trouvé les attaques actuelles pilotées par l’IA relativement faciles à détecter. Wyler a déclaré qu’elles se déplaçaient rapidement, mais manquaient de furtivité. Leur comportement a déclenché de nombreux capteurs, notamment des canaris, des honeypots et d’autres systèmes de tromperie.

Un canari est une ressource surveillée conçue pour révéler les accès non autorisés. Un honeypot présente un leurre attrayant afin que les défenseurs puissent observer les comportements suspects. Les deux fonctionnent bien lorsque des attaquants automatisés touchent de nombreux systèmes sans discernement.

Cette conclusion nuance les prédictions les plus alarmistes concernant les cyberattaques autonomes. Une exploitation plus rapide ne produit pas automatiquement une meilleure évasion. Un agent qui teste tout peut se révéler par son volume, ses répétitions et des schémas d’accès inhabituels.

Cette limite ne devrait pas rassurer longtemps les équipes de sécurité. Les modèles et les cadres d’agents s’améliorent, tandis que les attaquants peuvent affiner leurs prompts et leurs accès aux outils. Ils peuvent également exploiter les retours de tentatives échouées afin de réduire le bruit.

Le programme officiel de Black Hat 2026 reflétait cette évolution. Une conférence principale était consacrée à la défense des systèmes lorsque l’IA rend les capacités offensives moins coûteuses. Une autre examinait la recherche de vulnérabilités à l’ère agentique, selon le programme des conférences principales.

La préoccupation va au-delà des malwares générés par l’IA. Les agents peuvent automatiser la reconnaissance, tester des vulnérabilités, combiner des informations publiques et exécuter des outils de sécurité établis. Leur avantage provient souvent de la coordination et de la persistance plutôt que d’un nouvel exploit.

Cela rend les preuves réseau de plus en plus importantes. Les contrôles des terminaux peuvent enregistrer ce qui s’est produit sur un appareil, tandis que la télémétrie réseau montre quels systèmes ont communiqué. Aucune de ces vues ne suffit à elle seule.

Le NOC pouvait distinguer l’activité parce qu’il contrôlait l’infrastructure et combinait plusieurs sources. De nombreuses entreprises ne disposent pas de cette visibilité. Les services cloud, les appareils distants, les applications tierces et le trafic chiffré répartissent les preuves entre différents propriétaires.

Une organisation dotée d’une télémétrie incomplète fournira à ses agents défensifs un contexte incomplet. Les synthèses qui en résultent peuvent paraître certaines alors qu’elles reposent sur des données manquantes. C’est un problème d’observabilité avant de devenir un problème de modèle.

Les entreprises font aussi face à des limites opérationnelles plus strictes. Black Hat peut tolérer une surveillance agressive et une intervention rapide parce que les participants entrent dans un environnement de sécurité spécialisé. Un hôpital, une banque ou un fabricant doit protéger la disponibilité, la confidentialité et les processus réglementés.

Les 383 menaces bloquées par le NOC illustrent une retenue réfléchie. En bloquer davantage n’aurait pas nécessairement amélioré la sécurité. Cela aurait pu interrompre des activités légitimes et réduire la confiance dans l’équipe de réponse.

Ce compromis s’applique directement au confinement autonome. Un agent de sécurité qui désactive des comptes ou isole des systèmes peut arrêter rapidement une attaque. La même action peut interrompre les revenus, les soins aux patients, la production ou une enquête en cours.

L’approbation humaine introduit un délai, mais sa suppression transfère l’autorité opérationnelle à un logiciel susceptible de mal interpréter le contexte. La bonne conception dépend de la réversibilité et de l’impact. Les actions à faible risque peuvent bénéficier de davantage d’automatisation que les décisions à fort impact.

Par exemple, un agent peut enrichir en toute sécurité une alerte avec des données de propriété ou une activité réseau récente. Il peut préparer une recommandation de confinement. Isoler une base de données de production exige un seuil plus élevé et une autorisation plus forte.

Le NOC a également bénéficié d’un personnel exceptionnellement expérimenté. Ses opérateurs comprenaient à quoi ressemblait la normalité dans un environnement anormal. Les modèles ne peuvent pas remplacer cette connaissance institutionnelle en se contentant de lire des tickets historiques.

Les équipes ont besoin d’un contexte opérationnel organisé que les agents peuvent récupérer. Cela comprend la propriété des actifs, les fenêtres de test approuvées, les dépendances métier et les contacts d’escalade. Une base de connaissances consultable peut aider à préserver ce matériau pour des enquêtes autorisées.

La documentation seule est insuffisante. Les équipes de sécurité doivent vérifier qu’un agent récupère la bonne règle sous pression. Elles devraient également enregistrer quels éléments de preuve ont influencé chaque recommandation.

Une vision sceptique reste nécessaire, car la plupart des résultats rapportés provenaient de participants exploitant le NOC. Leurs affirmations décrivent un déploiement réel sérieux, mais elles ne constituent pas une évaluation indépendante. D’autres organisations peuvent obtenir des résultats différents.

Les 71 ajouts à FragglePacket semblent impressionnants, mais le volume de fonctionnalités ne mesure pas la fiabilité. La publication de NOCgentic apporte une transparence utile, mais du code public ne prouve pas que chaque réponse du modèle était exacte.

Les lecteurs devraient distinguer trois affirmations. L’IA a clairement aidé l’équipe à récupérer et organiser les informations. Elle aurait accéléré le développement logiciel et la recherche de menaces. Elle n’a pas supprimé la nécessité d’une vérification experte.

Cette distinction garde l’article ancré dans la réalité. Black Hat a démontré un usage productif des agents sans montrer que les opérations de sécurité autonomes sont prêtes. Son succès le plus crédible est venu d’une collaboration contrôlée entre les logiciels et les personnes.

Ce que les équipes de sécurité devraient surveiller ensuite

Le prochain test consistera à savoir si le modèle de Black Hat, fondé sur les preuves, résiste à des attaques plus discrètes, à des budgets ordinaires et à une autorité plus large des agents.

Le premier signal sera la furtivité des attaques à Black Hat USA 2027. En 2026, les activités pilotées par l’IA auraient déclenché de nombreux contrôles défensifs. Un changement significatif apparaîtrait lorsque les agents réduiraient le bruit du scan et s’adapteraient après avoir rencontré des systèmes de tromperie.

Si cela se produit, le NOC aura besoin d’une analyse comportementale plus robuste et d’une meilleure corrélation entre systèmes. Cela conforterait la préoccupation selon laquelle l’avantage actuel de détection est temporaire. La persistance d’un comportement bruyant affaiblirait les affirmations sur une offensive autonome à court terme.

Le deuxième signal est l’adoption indépendante de NOCgentic. La publication publique du projet permet à d’autres équipes d’inspecter son architecture, de tester ses processus et de signaler ses échecs. Les preuves provenant de centres d’opérations de sécurité ordinaires compteront davantage que des démonstrations supplémentaires à Black Hat.

L’adoption devrait être mesurée à travers des enquêtes documentées, le temps de revue, les taux de correction et les incidents opérationnels. Les nombres de téléchargements ou l’attention portée au dépôt révèlent un intérêt, pas une valeur de sécurité. Des évaluations utiles doivent comparer des analystes assistés à des processus établis.

Le troisième signal concerne l’ampleur de l’autorité que les organisations accordent aux agents défensifs. La récupération et la synthèse présentent des risques différents de la suspension de comptes, de l’isolation de terminaux, des modifications de pare-feu ou de la rotation d’identifiants. Les produits brouillent de plus en plus ces catégories sous l’étiquette de l’automatisation.

Les équipes de sécurité devraient exiger des limites claires pour chaque action. Elles devraient savoir si un agent recommande, prépare ou exécute un changement. Les journaux doivent préserver la demande, les preuves, la réponse du modèle, l’approbation humaine et le résultat final.

Ces contrôles aident également lorsqu’un agent se comporte conformément à ses autorisations mais provoque des dommages. Les enquêteurs doivent reconstituer pourquoi le système a agi, quelles informations il a utilisées et qui a approuvé ses autorisations. Les playbooks habituels contre les malwares ne peuvent pas répondre seuls à ces questions.

Les résultats de Black Hat suggèrent que le rôle à court terme le plus sûr des agents est l’accélération analytique. Ils peuvent recueillir des preuves, relier des journaux, identifier les questions manquantes et rédiger un plan de réponse. Les humains devraient conserver l’autorité sur les décisions conséquentes.

Cette organisation crée tout de même une valeur considérable. Les analystes passent moins de temps à naviguer entre les consoles et à mettre en forme des requêtes. Le personnel senior peut formaliser des schémas d’enquête qui aident les collègues juniors à travailler de manière plus cohérente.

Cependant, les équipes devraient éviter de traiter les explications générées comme des preuves. Le paquet sous-jacent, l’entrée de journal, l’enregistrement d’identité ou la configuration restent les preuves. La synthèse de l’agent est une interface vers ce matériau.

Les lecteurs de Google News devraient également surveiller la façon dont les fournisseurs décrivent la supervision humaine. « Human in the loop » ne veut pas dire grand-chose si l’organisation ne définit pas la boucle. Une personne qui approuve régulièrement des actions opaques n’offre qu’une protection limitée.

Une supervision efficace exige du temps, l’accès à des informations contradictoires et l’autorisation de rejeter le modèle. Les réviseurs ont également besoin d’une formation couvrant les biais liés à l’automatisation et les limites des modèles. Sinon, l’approbation humaine devient purement cérémonielle.

Le NOC de Black Hat a proposé un modèle plus solide, car les analystes comprenaient à la fois le réseau et les règles de l’événement. Ils pouvaient reconnaître lorsqu’un trafic techniquement malveillant relevait d’un exercice autorisé. Cette autorité contextuelle est difficile à automatiser.

La leçon finale n’est pas que l’IA a échoué à Black Hat. La technologie a accompli un travail significatif dans l’un des environnements les plus exigeants de la cybersécurité. Ses limites sont apparues précisément parce que l’équipe l’a confrontée à une véritable ambiguïté.

L’expérience du NOC remplace un récit simpliste sur l’automatisation par une approche opérationnelle plus utile. L’IA a accru la vitesse, élargi l’accès à l’expertise et aidé à organiser des preuves accablantes. Elle a également nécessité une ingénierie sur mesure, une télémétrie étendue et une retenue humaine.

Les responsables de la sécurité devraient désormais examiner un flux de travail plutôt que d’acheter une promesse abstraite. Choisissez une enquête récurrente, définissez ses éléments de preuve, limitez les autorisations de l’agent et mesurez les corrections autant que la rapidité. N’étendez son autorité que lorsque les résultats le justifient.

Le prochain titre de Google News portera probablement sur un agent plus rapide ou une attaque plus importante. La question la plus importante est de savoir si les organisations peuvent reconstituer et contester ce que font ces agents. La réponse de Black Hat était oui, parce que des personnes restaient responsables.

Cette norme devrait guider chaque déploiement. Les analystes peuvent-ils examiner les preuves, refuser la recommandation et annuler l’action sans créer davantage de dommages ? Si une réponse est incertaine, l’agent n’est pas prêt à recevoir une autorité plus étendue.