Black Hat NOC가 드러낸 AI 보안의 인간적 한계

Black Hat의 NOC는 2억 8,500만 건의 알림을 처리한 뒤 Google News에 소개됐지만, 가장 분명한 결론은 자율형 AI 보안의 약속에 의문을 제기하는 것이었다. 맞춤형 에이전트는 조사를 가속했지만, 어떤 위협이 중요한지와 자동화된 결론에 언제 신중해야 하는지는 여전히 숙련된 분석가들이 판단했다.

네트워크 운영 센터(NOC)는 라스베이거스에서 열린 Black Hat USA 2026의 2만 3,000명 이상 참가자를 보호했다. 이 환경에는 적대적 연구 트래픽, 실시간 교육 실습, 감염된 기기, 실제 공격이 함께 존재했다. 이런 혼합 환경에서는 맥락 없이는 일반적인 알림 건수가 거의 의미를 갖지 못했다.

쟁점은 AI와 인간 분석가의 대결이 아니었다. 이는 자동화의 약속과 유난히 모호한 네트워크 안에서 필요한 판단력의 충돌이었다. NOC의 경험은 에이전트가 도움이 되는 지점, 상용 제품이 부족한 지점, 그리고 인간의 권한이 여전히 핵심인 이유를 보여줬다.

Black Hat NOC가 실제로 마주한 상황

Black Hat의 네트워크는 거의 모든 신호가 의심스러워 보이는 상황에서 위협 탐지를 분류 문제로 만들었다.

Black Hat USA는 8월 1일부터 8월 6일까지 Mandalay Bay Convention Center에서 열렸다. 메인 콘퍼런스는 4일간의 전문 교육에 이어 마지막 이틀 동안 진행됐다. 프로그램에는 멀웨어, 탐지 엔지니어링, 프라이버시, 암호학, AI 에이전트, 자율형 익스플로잇을 다루는 200개 이상의 세션이 포함됐다.

NOC 팀은 행사장의 기존 인프라를 단순히 모니터링하는 데 그치지 않았다. 행사에 맞춰 선정한 장비로 모든 라우터, 스위치, 방화벽, 무선 액세스 포인트를 교체했다. 이러한 통제권 덕분에 트래픽 조사나 완화 조치가 필요할 때 즉시 대응할 수 있었다.

NOC 현장 보고서에 따르면 100명 이상이 이 운영을 지원했다. 분석가, 연구원, 엔지니어, 위협 헌터들이 Palo Alto Networks, Corelight, Cisco, Arista, Lumen, Jamf의 기술과 함께 작업했다.

행사의 규모는 크게 달라졌다. 초기 NOC는 1,500명이 참석한 콘퍼런스를 보호하는 세 명으로 운영됐다. 2026년에는 참석자가 2만 3,000명을 넘었고, 교육 과정도 100개 이상으로 확대됐다.

더 큰 문제는 단순한 규모가 아니었다. Black Hat은 대부분의 기업 네트워크라면 즉시 에스컬레이션을 유발할 활동을 허용한다. 참가자들은 보안 도구를 실행하고, 멀웨어를 연구하며, 공격을 재현하고, 교육에서 배운 기법을 시험한다.

이러한 허가된 활동은 팀이 “Black Hat positives”라고 부르는 것을 만들어낸다. 이는 콘퍼런스가 예상하고 허용하는 행동을 정확하게 탐지한 결과다. 오탐은 아니지만, 이를 차단하는 것 역시 잘못된 대응이 될 수 있다.

이 구분이 중요한 이유는 기존 보안 자동화가 흔히 의심스러운 활동은 격리해야 한다고 가정하기 때문이다. Black Hat에서는 이런 가정이 수업을 중단시키거나 정당한 연구를 방해할 수 있다. 알림이 사고가 되기 전에 맥락이 필요하다.

한 사람은 네트워크가 제공된 지 15분 만에 내부 서버를 공격했다. 이 초기 활동은 팀이 인프라를 즉시 통제해야 했던 이유를 보여줬다. 동시에 실제 위협이 허가된 실험과 나란히 나타난다는 점도 드러냈다.

콘퍼런스가 끝날 때까지 팀은 2억 8,500만 건의 정보성 알림을 받았다. 이 신호들을 1,710만 건의 식별된 위협으로 줄였고, 실제로 차단한 것은 383건에 불과했다. 이처럼 큰 감소 폭은 원시 알림 규모가 운영 위험에 대해 말해주는 것이 얼마나 적은지를 보여준다.

1,710만 건의 위협과 383건의 차단 이벤트 사이의 격차가 이 이야기의 핵심 수치다. 자동화 도구는 활동을 찾아냈지만, 어떤 활동이 개입을 요구하는지는 인간이 주도한 분석이 결정했다. NOC의 목표는 차단을 극대화하는 것이 아니었다.

Black Hat의 수석 네트워크 운영 책임자인 Neil “Grifter” Wyler는 이 작업을 바늘 더미에서 바늘을 찾는 일이라고 표현했다. 모든 후보는 이미 위험해 보였다. 실제 과제는 행사 경계를 넘은 더 작은 집합을 식별하는 일이었다.

이 환경은 NOC를 AI 보안 실패를 시험하는 까다로운 장으로 만든다. 모델은 악성, 정상, 이상과 같은 단순한 라벨에 의존할 수 없다. 의도, 위치, 시점, 신원, 콘퍼런스 규칙을 해석해야 한다.

이 결과가 Google News의 관심을 끈 이유는 벤더 데모가 좀처럼 제공하지 못하는 것을 보여주기 때문이다. 에이전트는 시간 압박 아래 실제 트래픽을 상대로 작동했고, 잘못된 결정에는 결과가 따랐다. 그 가치는 매끄러운 답변이 아니라 증거와 감독에 달려 있었다.

상용 AI 보안 도구가 부족했던 이유

NOC는 시중 제품이 속도, 부하, 맥락 요건을 충족하지 못했기 때문에 맞춤형 에이전트를 구축했다.

팀은 많은 보안 조직이 시작하는 지점, 즉 알림 생성에 머신러닝을 적용하는 방식으로 출발했다. 이 접근법은 분석가가 수동으로 검토할 수 있는 범위를 넘어서는 데이터에서 비정상적 행동이나 패턴을 식별할 수 있다. 그러나 그 행동에 조치가 필요한지를 자동으로 설명해주지는 않는다.

NOC 인력은 여러 상용 도구를 평가했지만, 상당수는 트래픽 부하를 감당하지 못했다. 다른 제품들은 네트워크 변화에 맞춰 충분히 빠르게 대응하지 못했다. 이에 따라 팀은 자체 워크플로를 중심으로 소프트웨어를 개발했다.

이 결정은 AI 보안 조달의 일반적인 약점을 드러낸다. 구매자는 종종 모델 기능, 인터페이스 품질, 지원되는 통합 수를 비교한다. 그러나 운영 성공은 텔레메트리 품질, 응답 시간, 시스템이 로컬 규칙을 얼마나 잘 반영하는지에 훨씬 더 크게 좌우된다.

Black Hat의 규칙은 특히 인코딩하기 어렵다. 취약점 스캔은 한 강의실에서는 정상일 수 있지만, 콘퍼런스 인프라를 겨냥하면 용납될 수 없다. 동일한 패킷 패턴도 출발지와 목적지에 따라 서로 다른 의미를 가질 수 있다.

NOC는 Palo Alto Networks의 보안 운영 플랫폼과 함께 Trevor라는 AI 챗봇을 사용한다. 분석가는 주소에 관해 질문할 수 있으며, 보조 도구는 로그에서 관련 정보를 가져온다. 이는 조사를 시작하는 데 필요한 기계적인 작업을 줄여준다.

검색 기능은 알림과 이를 뒷받침하는 증거 사이의 거리를 줄여주기 때문에 가치가 있다. 하지만 이는 자율형 사고 대응보다 훨씬 제한적인 기능이다. Trevor는 기기를 격리하거나 사용자를 지목할 광범위한 권한 없이 분석가를 지원한다.

팀은 2026년 행사에서 NOCgentic이라는 더 큰 시스템을 도입했다. 이 멀티에이전트 플랫폼은 질문을 전문 구성 요소로 라우팅하고, 텔레메트리를 조회하며, 권장 다음 조치와 함께 답변을 반환한다. 현재 공개된 NOCgentic repository는 이 프로젝트를 문서화하고 있다.

멀티에이전트 플랫폼은 하나의 모델에 모든 단계를 맡기는 대신, 과업별로 초점을 맞춘 여러 AI 구성 요소를 사용한다. 한 구성 요소는 네트워크 증거를 가져오고, 다른 구성 요소는 질문을 해석하거나 응답을 준비할 수 있다. 라우팅은 집중도를 높일 수 있지만, 보안 통제가 필요한 연결 지점도 더 많이 만든다.

NOC는 NOCgentic을 경험이 적은 위협 헌터를 위한 보조 도구로 배치했다. 의도된 효과는 1단계 운영자 곁에 더 깊은 분석 지원을 제공하는 것이었다. 이런 프레이밍은 전문성을 시스템이 분배를 돕는 대상으로 본다는 점에서 중요하다.

팀은 제한이 더 적은 버전인 SOCgentic도 개발했다. 그 인터페이스인 Postcog는 Precogs라는 센서와 함께 작동한다. 이 이름들은 범죄가 일어나기 전에 예측이 도착하는 영화 Minority Report를 참조한다.

유머는 스트레스가 큰 업무 중에도 인터페이스를 더 견딜 만하게 만들었지만, 기본 설계는 진지했다. 분석가들은 반복적인 알림을 조사하면서 피로를 겪는다. 유용한 보조 도구는 최종 결정을 소유하지 않으면서도 맥락을 가져오고, 질문을 제안하며, 증거를 정리할 수 있다.

NOC의 경험에는 AI 지원 소프트웨어 개발도 포함됐다. 2024년 팀은 기존 제품에 필요한 기능이 부족했기 때문에 Rust 기반 네트워크 진단 도구인 FragglePacket을 만들었다. Black Hat USA 2026 기간에 AI는 개발자들이 71개의 기능을 추가하는 데 도움을 줬다.

추가된 기능에는 공격 경로 프로빙, 패킷 퍼징, 패킷 캡처 재생, 단계적 HTTPS 분석, 규칙 기반 진단 엔진이 포함됐다. 패킷 퍼징은 변형된 입력을 보내 실패를 식별하는 기법이다. 패킷 캡처 재생은 통제된 테스트를 위해 기록된 트래픽을 재현한다.

기능 수를 독립적인 검증과 혼동해서는 안 된다. AI는 코드 생성을 가속할 수 있지만, 결함, 안전하지 않은 가정, 불필요한 복잡성을 함께 도입할 수도 있다. 생성된 변경 사항도 여전히 테스트와 검토가 필요하다.

AI 보안 실패는 흔히 여기서 시작된다. 팀은 모델이 코드나 조사를 얼마나 빨리 만들어내는지 측정한 뒤, 낯선 조건에서도 결과가 정확한지를 간과한다. 속도는 유용한 산출물과 검토 의무를 모두 증가시킨다.

Black Hat의 맞춤형 접근법이 성공한 이유는 텔레메트리와 운영 절차에 연결돼 있었기 때문이다. 대부분의 기업은 이 환경을 직접 복제할 수 없다. 이들은 더 작은 팀, 제한된 예산, 파편화된 로그, 인프라에 대한 더 적은 통제권을 갖고 있다.

NOC는 일부 기술 파트너가 기부한 자원으로 운영되는 것으로 알려졌다. 리더들은 이들 기업을 접근권을 구매한 스폰서가 아니라 운영 파트너라고 설명했다. 이러한 구분은 팀이 많은 기업 보안 조직이 결합하기 어려운 도구에 접근할 수 있게 해준다.

따라서 Google News를 통해 이 프로젝트를 접한 조직은 피상적인 결론을 경계해야 한다. 교훈은 모든 보안 운영 센터가 여러 개의 자체 제작 에이전트를 필요로 한다는 것이 아니다. 자동화는 이미 마련된 증거, 권한, 대응 프로세스에 맞아야 한다는 점이다.

Google News가 조명한 자동화와 판단의 격차

NOC의 가장 강력한 AI 안전장치는 자동화된 권고를 거부할 수 있는 능력이었다.

팀은 인간이 계속 개입한다는 점을 반복해서 강조했다. 이 표현은 모호한 마케팅 언어가 되기 쉽지만, Black Hat은 이를 구체적인 의미로 만들었다. 한 사람이 맥락을 해석하고 거부할 권한을 유지했다.

이 권한은 네트워크에 허가된 공격 활동이 포함돼 있었기 때문에 필수적이었다. 에이전트는 익스플로잇을 정확히 탐지할 수 있지만, 그 발생 이유를 오해할 수 있다. 맥락 없이 탐지 결과에 대응하면 공격을 막는 대신 연구를 방해할 수 있다.

이 문제는 보안 운영에서 오래전부터 이어진 과제와 닮아 있다. 탐지 시스템은 기술적 패턴을 인식하는 반면, 사고 대응자는 비즈니스 영향을 판단한다. AI는 이 작업의 속도와 표현 방식을 바꾸지만, 그 구분을 없애지는 않는다.

Black Hat은 AI를 활용해 증거를 수집하고, 텔레메트리를 검색하며, 프로필을 구축하고, 다음 조치를 제안했다. 유창한 답변을 최종 증거로 취급하지는 않았다. 분석가들은 개입하기 전에 기저의 네트워크 데이터를 검토할 수 있었다.

이러한 증거 우선 접근법은 대규모 언어 모델의 약점을 상쇄한다. 모델은 보장된 사실이 아니라 개연성 있는 언어를 생성한다. 도구와 연결될 경우에도 잘못된 데이터를 선택하거나, 질의를 오해하거나, 정당화되지 않은 결론을 낼 수 있다.

NOC의 이전 아시아 활동은 유용한 사례를 제공했다. 한 에이전트가 사용자 계정 식별자로 보이는 정보를 포함한 평문 통신을 표시했다. 분석가는 첫 번째 설명을 받아들이지 않고 조사를 계속했다.

네트워크 조사에 따르면 해당 트래픽은 회의 녹화와 연관된 애플리케이션에서 발생했다. 이후 요청에서 Tencent 애플리케이션 프로그래밍 인터페이스 키가 노출됐다. 팀은 이 자격 증명을 사용하지 않았으므로, 그 권한은 여전히 알려지지 않았다.

그러한 절제는 분석의 일부였다. 증거는 자격 증명이 노출됐다는 주장은 뒷받침했지만, 공격자가 무엇에 접근할 수 있었는지에 대한 주장은 뒷받침하지 못했다. 책임 있는 워크플로는 추측으로 그 공백을 채우는 대신 이러한 불확실성을 보존했다.

같은 사건에서는 원격 액세스 트로이목마 두 종에 대한 탐지를 유발한 기기와 관련된 또 다른 사례가 나왔다. 원격 액세스 트로이목마(RAT)는 공격자가 침해된 시스템을 제어할 수 있게 한다. 서로 독립적인 다수의 탐지는 우발적 오분류 가능성을 낮췄다.

The Profiler라는 AI 구성 요소는 네트워크 증거를 분석해 해당 기기가 기술 전문 기자의 소유일 가능성이 높다고 추론했다. 이후 인력은 등록 정보와 내부 언론 담당 연락처를 활용해 대상을 좁혔다.

해당 기자는 경고를 받았으며, 기업 보안 담당자에게 연락하기 전에 기기를 종료하라는 권고를 받았다. 에이전트는 신원 확인을 가속했지만, 사람은 결론을 검증하고 민감한 상호작용을 처리했다.

이 과정은 실용적인 인간 개입형 모델을 보여준다. AI는 탐색 시간을 줄였고, 분석가는 그 증거를 평가했으며, 권한을 가진 담당자는 대응 방식을 결정했다. 각 단계에는 명확히 정의된 책임이 있었다.

동시에 이는 프라이버시 측면의 상충 관계도 드러낸다. 트래픽을 바탕으로 개인의 신원을 추론하면 감염된 기기를 보유한 사람을 보호할 수 있다. 그러나 조직이 명확한 규칙, 비례성 또는 책임성 없이 이를 사용한다면, 같은 기능은 침해적 수단이 될 수 있다.

Black Hat의 특수한 환경이 이러한 우려를 없애지는 않는다. 컨퍼런스 참가자들은 방어 목적으로 운영되는, 고도로 모니터링되는 네트워크에 연결한다. 기업 직원, 고객, 방문객은 서로 다른 기대와 법적 보호를 받을 수 있다.

보안 리더는 에이전트를 배포하기 전에 에이전트가 무엇을 추론할 수 있는지 정의해야 한다. 또한 신원 관련 결론에 대한 보존 기간 제한, 접근 제어 및 에스컬레이션 규칙도 필요하다. 올바른 추론도 거버넌스 리스크를 만들 수 있다.

또 다른 우려는 자동화 편향이다. 이는 기계의 권고가 자신감 있거나 상세해 보인다는 이유로 신뢰하는 경향을 말한다. AI가 생성한 조사 요약은 상충하는 증거를 누락했더라도 종종 완전해 보인다. 특히 신규 분석가는 이러한 표현 방식에 취약할 수 있다.

NOC는 에이전트를 고위급 전문성의 확장으로 활용하려 했다. 응답이 증거와 추론의 한계를 함께 보여준다면 교육에 도움이 될 수 있다. 하지만 주니어 직원이 독립적인 검증 없이 권고를 승인하는 법을 배우게 되면 위험해진다.

별도의 인시던트 대응 경고는 이 지점을 강화한다. Gartner 애널리스트 Craig Porter는 내부 AI 에이전트가 승인된 권한 안에서 작동하는 동안에도 의도하지 않은 사건을 일으킬 수 있다고 말했다.

Porter는 악의적인 공격자 없이 유해한 결과를 만들어내는 시스템을 기존 인시던트 대응이 완전히 다루지 못한다고 주장했다. 보안팀은 행동, 설계, 의사결정을 조사해야 한다. 이는 책임의 범위를 일반적인 악성코드 격리 이상으로 확장한다.

Black Hat NOC도 방어 측면에서 같은 개념적 경계를 마주했다. 권한을 부여받은 에이전트도 데이터를 가져오고, 조치를 권고하거나, 소프트웨어를 생성하면서 리스크를 만들 수 있다. 권한이 있다는 것은 정확하다는 뜻이 아니다.

Google News 배포는 이 이야기를 보안 운영 밖의 독자에게도 전달할 수 있다. 이들에게 중요한 요점은 간단하다. AI 보안은 공격자가 모델을 탈옥할 때만 실패하는 것이 아니다.

방어자가 에이전트에 과도한 권한, 취약한 증거 또는 불분명한 목표를 부여할 때도 실패한다. 모델은 지침을 따르면서도 잘못된 결과를 만들 수 있다. 인간 검토는 사고 이후에 추가하는 것이 아니라 워크플로에 설계되어야 한다.

NOC는 AI의 공격적 한계도 드러냈다

2026년 AI 기반 공격은 빠르고 소란스러웠지만, 방어자는 이러한 우위가 지속될 것이라고 가정할 수 없다.

Black Hat 팀은 현재의 AI 주도 공격이 비교적 쉽게 탐지된다는 사실을 확인했다. Wyler는 이들이 빠르게 움직였지만 은밀성은 부족했다고 말했다. 이들의 행동은 카나리, 허니팟 및 기타 기만 시스템을 포함한 많은 센서를 작동시켰다.

카나리는 무단 접근을 드러내도록 설계된 모니터링 리소스다. 허니팟은 방어자가 의심스러운 행동을 관찰할 수 있도록 매력적인 미끼를 제시한다. 자동화된 공격자가 많은 시스템을 무차별적으로 건드릴 때 두 방식 모두 효과적으로 작동한다.

이 발견은 자율 사이버 공격에 관한 가장 우려스러운 전망을 복잡하게 만든다. 더 빠른 익스플로잇이 자동으로 더 나은 회피를 의미하지는 않는다. 모든 것을 시험하는 에이전트는 대량의 활동, 반복, 비정상적인 접근 패턴으로 자신을 노출할 수 있다.

이러한 한계가 보안팀을 오래 안심시켜서는 안 된다. 모델과 에이전트 프레임워크는 개선되고 있으며, 공격자는 프롬프트와 도구 접근을 정교화할 수 있다. 실패한 시도에서 얻은 피드백을 활용해 노이즈를 줄일 수도 있다.

Black Hat의 공식 2026년 아젠다는 이러한 변화를 반영했다. 한 기조연설은 AI가 공격 역량의 비용을 낮추는 상황에서 시스템을 방어하는 데 초점을 맞췄다. 또 다른 세션은 에이전트 시대의 취약점 연구를 다뤘다고 기조연설 일정은 전했다.

우려는 AI가 생성한 악성코드보다 더 광범위하다. 에이전트는 정찰을 자동화하고, 취약점을 테스트하며, 공개 정보를 결합하고, 기존 보안 도구를 실행할 수 있다. 이들의 이점은 새로운 익스플로잇보다 조정과 지속성에서 나오는 경우가 많다.

따라서 네트워크 증거의 중요성은 더욱 커진다. 엔드포인트 제어는 한 기기에서 일어난 일을 기록할 수 있지만, 네트워크 텔레메트리는 어떤 시스템들이 통신했는지를 보여준다. 어느 한 관점만으로는 충분하지 않다.

NOC는 인프라를 통제하고 여러 소스를 결합했기 때문에 활동을 구분할 수 있었다. 많은 기업은 이러한 가시성이 부족하다. 클라우드 서비스, 원격 기기, 타사 애플리케이션, 암호화된 트래픽은 증거를 서로 다른 소유자에게 분산시킨다.

텔레메트리가 불완전한 조직은 방어 에이전트에도 불완전한 맥락을 제공하게 된다. 그 결과 요약은 누락된 데이터에 기반하면서도 확실해 보일 수 있다. 이는 모델 문제가 되기 전에 관측 가능성 문제다.

기업은 더 엄격한 운영 제약에도 직면한다. Black Hat은 참가자들이 특수한 보안 환경에 들어오기 때문에 적극적인 모니터링과 신속한 개입을 감수할 수 있다. 병원, 은행 또는 제조업체는 가용성, 프라이버시 및 규제 대상 프로세스를 보호해야 한다.

NOC가 차단한 383건의 위협은 신중한 절제를 보여준다. 더 많은 차단이 반드시 보안을 개선했을 것은 아니다. 정당한 업무를 방해하고 대응팀에 대한 신뢰를 떨어뜨렸을 수 있다.

이러한 상충 관계는 자율 격리에도 직접 적용된다. 계정을 비활성화하거나 시스템을 격리하는 보안 에이전트는 공격을 빠르게 차단할 수 있다. 같은 조치가 매출, 환자 치료, 생산 또는 진행 중인 조사를 중단시킬 수도 있다.

인간 승인은 지연을 초래하지만, 이를 제거하면 맥락을 잘못 해석할 수 있는 소프트웨어에 운영 권한이 이전된다. 올바른 설계는 되돌릴 수 있는 정도와 영향에 따라 달라진다. 저위험 조치는 고영향 결정보다 더 많은 자동화를 받을 수 있다.

예를 들어 에이전트는 소유권 데이터나 최근 네트워크 활동으로 알림을 안전하게 보강할 수 있다. 또한 격리 권고안을 준비할 수 있다. 운영 데이터베이스를 격리하려면 더 높은 기준과 강력한 권한 부여가 필요하다.

NOC는 비정상적인 환경에서 무엇이 정상인지 이해하는 매우 숙련된 인력의 도움도 받았다. 모델은 과거 티켓을 읽는 것만으로 이러한 조직적 지식을 대체할 수 없다.

팀에는 에이전트가 검색할 수 있는 정제된 운영 맥락이 필요하다. 여기에는 자산 소유권, 승인된 테스트 시간대, 비즈니스 의존성 및 에스컬레이션 연락처가 포함된다. 검색 가능한 지식 기반은 승인된 조사를 위해 이러한 자료를 보존하는 데 도움이 될 수 있다.

문서화만으로는 충분하지 않다. 보안팀은 압박 상황에서 에이전트가 올바른 규칙을 검색하는지 시험해야 한다. 또한 각 권고에 어떤 증거가 영향을 미쳤는지도 기록해야 한다.

회의적인 시각은 여전히 필요하다. 보고된 결과 대부분은 NOC를 운영한 참가자들로부터 나왔다. 이들의 주장은 진지한 실시간 배포를 설명하지만, 독립적인 벤치마크를 구성하지는 않는다. 다른 조직은 다른 결과를 얻을 수 있다.

FragglePacket에 추가된 71개 기능은 인상적으로 들리지만, 기능 수가 신뢰성을 측정하는 것은 아니다. NOCgentic의 공개는 유용한 투명성을 제공하지만, 공개 코드가 모든 모델 응답의 정확성을 증명하지는 않는다.

독자는 세 가지 주장을 구분해야 한다. AI는 분명히 팀이 정보를 검색하고 정리하는 데 도움이 됐다. 보고에 따르면 소프트웨어 개발과 위협 헌팅도 가속했다. 그러나 전문가 검증의 필요성을 없애지는 못했다.

이 구분은 이야기를 현실에 기반하게 한다. Black Hat은 자율 보안 운영이 준비됐음을 보여주지 않으면서도, 에이전트의 생산적인 활용을 입증했다. 가장 신뢰할 수 있는 성공은 소프트웨어와 사람의 통제된 협업에서 나왔다.

보안팀이 다음으로 주시해야 할 사항

다음 시험대는 Black Hat의 증거 우선 모델이 더 은밀한 공격, 일반적인 예산, 그리고 더 넓은 에이전트 권한에서도 유지되는지 여부다.

첫 번째 신호는 Black Hat USA 2027에서의 공격 은밀성이다. 2026년에는 AI 주도 활동이 많은 방어 통제를 작동시킨 것으로 알려졌다. 에이전트가 스캐닝 노이즈를 줄이고 기만 시스템을 마주한 뒤 적응할 때 의미 있는 변화가 나타날 것이다.

그런 일이 발생하면 NOC는 더 강력한 행동 분석과 더 나은 시스템 간 상관관계 분석이 필요해진다. 이는 오늘날의 탐지 우위가 일시적이라는 우려를 뒷받침할 것이다. 계속된 소란스러운 행동은 단기적인 자율 공격에 관한 주장을 약화시킬 것이다.

두 번째 신호는 NOCgentic의 독립적 도입이다. 프로젝트의 공개 릴리스는 다른 팀이 아키텍처를 검토하고, 워크플로를 시험하며, 실패 사례를 보고할 수 있게 한다. 일반적인 보안 운영 센터의 증거가 Black Hat에서의 추가 시연보다 더 중요해질 것이다.

도입은 문서화된 조사, 검토 시간, 수정률 및 운영 사고를 통해 측정해야 한다. 다운로드 수나 리포지터리 관심도는 흥미를 보여줄 뿐, 보안 가치를 보여주지는 않는다. 유용한 평가는 지원을 받은 분석가와 기존 워크플로를 비교해야 한다.

세 번째 신호는 조직이 방어 에이전트에 어느 정도의 권한을 부여하는지다. 검색과 요약은 계정 정지, 엔드포인트 격리, 방화벽 변경 또는 자격 증명 교체와 다른 리스크를 제시한다. 제품은 자동화라는 이름 아래 이러한 범주를 점점 더 흐리고 있다.

보안팀은 모든 조치에 대해 명확한 경계를 요구해야 한다. 에이전트가 변경을 권고하는지, 준비하는지, 실행하는지 알아야 한다. 로그는 요청, 증거, 모델 응답, 인간 승인 및 최종 결과를 보존해야 한다.

이러한 통제는 에이전트가 권한대로 행동했지만 피해를 냈을 때도 도움이 된다. 조사자는 시스템이 왜 행동했는지, 어떤 정보를 사용했는지, 누가 권한을 승인했는지를 재구성해야 한다. 일반적인 악성코드 대응 플레이북만으로는 이러한 질문에 답할 수 없다.

Black Hat의 결과는 가까운 시일 내 에이전트의 가장 안전한 역할이 분석 가속이라는 점을 시사한다. 에이전트는 증거를 수집하고, 로그를 연결하며, 빠진 질문을 식별하고, 대응 계획 초안을 작성할 수 있다. 중요한 결정에 대한 권한은 사람이 유지해야 한다.

이러한 방식도 상당한 가치를 만든다. 분석가는 콘솔을 오가고 쿼리를 형식화하는 데 쓰는 시간을 줄일 수 있다. 선임 인력은 주니어 팀원이 더 일관되게 업무를 수행하도록 돕는 조사 패턴을 체계화할 수 있다.

그러나 팀은 생성된 설명을 증거로 취급하지 않아야 한다. 근거가 되는 패킷, 로그 항목, 신원 기록 또는 구성 자체가 증거다. 에이전트의 요약은 그 자료에 접근하기 위한 인터페이스다.

Google News 독자들은 공급업체가 인간의 감독을 어떻게 설명하는지도 주시해야 한다. 조직이 그 순환 구조를 정의하지 않는 한 “human in the loop”은 큰 의미가 없다. 불투명한 조치를 습관적으로 승인하는 사람은 보호 장치로서 한계가 있다.

효과적인 감독에는 시간, 상충하는 정보에 대한 접근권, 그리고 모델을 거부할 수 있는 권한이 필요하다. 검토자는 자동화 편향과 모델의 한계를 다루는 교육도 받아야 한다. 그렇지 않으면 인간의 승인은 형식적인 절차가 된다.

Black Hat NOC는 분석가들이 네트워크와 행사 규정을 모두 이해했기 때문에 더 강력한 모델을 제시했다. 이들은 기술적으로 악의적인 트래픽이라도 승인된 훈련에 속할 수 있음을 식별할 수 있었다. 이러한 맥락적 판단 권한은 자동화하기 어렵다.

마지막 교훈은 AI가 Black Hat에서 실패했다는 것이 아니다. 이 기술은 보안 분야에서 가장 까다로운 환경 중 하나에서 의미 있는 업무를 수행했다. 그 한계가 드러난 것은 팀이 실제의 모호성에 맞서 이를 활용했기 때문이다.

NOC의 경험은 단순한 자동화 서사를 더 유용한 운영상의 이야기로 바꾼다. AI는 속도를 높이고 전문 지식에 대한 접근성을 넓혔으며, 압도적인 증거를 정리하는 데 도움을 줬다. 동시에 맞춤형 엔지니어링, 광범위한 텔레메트리, 그리고 인간의 절제가 필요했다.

이제 보안 리더들은 추상적인 약속을 구매하기보다 하나의 워크플로를 검토해야 한다. 반복적으로 발생하는 조사를 선택하고, 그 증거를 정의하며, 에이전트 권한을 제한하고, 속도와 함께 수정 사항을 측정하라. 기록이 이를 뒷받침할 때에만 권한을 확대해야 한다.

다음 Google News 헤드라인은 더 빠른 에이전트나 더 큰 공격에 초점을 맞출 가능성이 크다. 더 중요한 질문은 조직이 그러한 에이전트의 행동을 재구성하고 이의를 제기할 수 있는지다. Black Hat의 답은 사람들이 계속 책임을 지고 있었기 때문에 ‘그렇다’였다.

이 기준은 모든 배포의 지침이 되어야 한다. 분석가들이 증거를 검토하고, 권고를 거부하며, 더 큰 피해를 초래하지 않고 조치를 되돌릴 수 있는가? 어느 하나라도 답이 불분명하다면, 그 에이전트는 더 넓은 권한을 받을 준비가 되지 않았다.