은닉에 의존한 AI 보안은 끝났고, 방어자들은 더 어려운 문제에 직면했다

에이전트가 방치된 결함을 찾아내고 익스플로잇 개발을 가속하며, 주로 전문적 복잡성으로 보호되던 시스템에 도달하면서 2026년 은닉에 의존한 AI 보안은 무너졌다.

직접적인 증거는 잊힌 Windows 구성 요소, 폭넓게 검토된 오픈 소스 라이브러리, 필수 서비스를 운영하는 산업용 컨트롤러에 걸쳐 나타난다. 이들 시스템은 기술적으로 서로 다르지만, 한 가지 조용한 방어막을 공유했다. 공격자가 이를 연구하려면 희소한 전문성, 상당한 인내심 또는 충분한 경제적 동기가 필요했다.

AI 기반 취약점 발견은 이 계산을 바꾼다. 모델은 낯선 코드를 해석하고, 독점 프로토콜을 설명하며, 테스트 하니스를 생성하고, 반복적인 정찰 작업을 자동화할 수 있다. 이는 새로운 보안 원칙이 아니다. 조직이 기존 원칙을 따르는 일을 미룰 수 있게 했던 마찰이 사라지는 일이다.

이는 방어자들에게 어려운 역전을 초래한다. 약점을 찾는 일은 더 저렴하고 빨라지는 반면, 패치를 검증하고, 공개 절차를 조율하고, 운영 시스템을 시험하며, 결함 있는 개발 관행을 바꾸는 일은 여전히 완고하게 사람의 몫으로 남는다.

문제는 더 이상 숨겨진 약점이 드러날지 여부가 아니다. 자동화된 발견이 방치된 모든 시스템을 경제적인 표적으로 만들기 전에, 방어자들이 그러한 약점을 낳는 조건을 고칠 수 있느냐에 달려 있다.

은닉에 의존한 AI 보안은 경제적 해자를 잃었다

AI는 은닉에 의존한 보안을 반박한 것이 아니다. 조직이 은닉이 효과가 있다고 믿는 척할 수 있게 했던 노동력 부족을 없앴다.

은닉에 의존한 보안은 아키텍처, 인터페이스 또는 약점이 발견하기 어렵게 남아 있다는 데 기대는 설계 또는 운영상의 가정을 뜻한다. 이는 결코 건전한 주된 통제로 여겨지지 않았다. 그러나 낯선 시스템을 조사하려면 부족한 전문 인력과 수 주간의 집중 작업이 필요했던 시절에는, 은닉성도 실질적인 보호 효과를 제공했다.

그 보호는 경제적 해자처럼 작동했다. 취약한 구성 요소가 공격자들이 익숙한 소프트웨어를 겨냥해 더 큰 수익을 얻을 수 있다는 이유로 방치될 수 있었다. 독점 프로토콜은 문서가 제한적이라는 이유로 외부인을 단념시킬 수 있었다. 오래된 하위 시스템은 이를 기억하는 연구자가 거의 없다는 이유로 검토를 피할 수 있었다.

9월 13일 공개된 원문 보안 분석은 이 균형이 어떻게 달라졌는지를 보여준다. 이제 공급업체와 독립 연구자들은 AI 에이전트를 활용해 난해하고 오래됐으며 이미 광범위하게 검토된 소프트웨어를 조사한다. 공격자들은 관련 기능을 이용해 수정 사항을 분석하고 익스플로잇을 개발한다.

FBI 사이버 부문 부국장인 Brett Leatherman은 커뮤니티가 10년간 검토해 온 오픈 소스 구성 요소에서 모델이 중대한 취약점을 찾아내고 있다고 설명했다. 이들 라이브러리 중 일부는 상당한 비중의 웹 인프라에서 실행되는 것으로 전해졌다.

그렇다고 AI가 모든 시스템을 독립적으로 이해하거나 작동하는 익스플로잇을 안정적으로 만들어낸다는 뜻은 아니다. 이는 조사자가 전혀 모르는 영역에 들어갈 때 처음부터 시작하지 않아도 된다는 의미다. 모델은 코드를 요약하고, 문서를 번역하며, 유력한 신뢰 경계를 식별하고, 가설을 시험하는 스크립트를 생성할 수 있다.

에이전트형 AI 시스템은 이러한 지원을 일련의 작업 전반으로 확장한다. 에이전트는 파일을 검사하고, 도구를 실행하며, 결과를 검토하고, 접근 방식을 수정한 뒤, 정의된 목표에 도달할 때까지 계속할 수 있다. 인간 운영자가 여전히 목표를 설정하고 인프라를 제공하지만, 기계는 반복 작업의 상당 부분을 흡수한다.

이 때문에 AI 기반 취약점 발견은 폐쇄형 및 오픈 소스 소프트웨어 모두에 압박을 가한다. 공개 코드는 직접 분석을 더 쉽게 하지만, 폐쇄형 소프트웨어도 바이너리, 펌웨어, 네트워크 동작, 문서, 패치 및 구성 아티팩트를 노출한다. 모델은 역공학의 경제성을 바꿀 속도로 이러한 조각들을 연관 지을 수 있다.

Trend Micro의 Zero Day Initiative를 이끄는 Dustin Childs는 Microsoft의 기록적인 9월 패치 릴리스에서 다뤄진 잊힌 기술을 지목했다. 영향을 받은 구성 요소에는 Telnet 클라이언트, Windows RNDIS, NFS Portmapper, Link Layer Topology Discovery가 포함됐다.

이들의 오래된 연식은 과거의 거래를 보여준다는 점에서 중요하다. 이를 조사할 관심이나 배경지식을 가진 사람이 적을 때, 레거시 구성 요소는 지속적인 전문가의 관심 없이도 살아남을 수 있었다. AI는 호기심 있는 연구자와 공격자 모두에게 바로 그 방치된 영역으로 들어가는 저렴한 안내자를 제공한다.

은닉성은 여전히 불편을 더한다. 문서화되지 않은 프로토콜은 에이전트의 속도를 늦출 수 있고, 독점 장치는 이용 가능한 증거를 제한할 수 있다. 그러나 불편은 권한 부여, 격리, 인증 또는 메모리 안전성이 아니다. 지속적인 자동화 조사까지 막을 수 있다고 신뢰할 수는 없다.

따라서 해자는 숨겨진 지식에서 검증 가능한 통제로 이동했다. 시스템에는 강력한 신원 경계, 최소한의 노출, 안전한 기본값, 검증된 세분화, 그리고 작동 방식이 알려져도 안전하게 유지되는 설계가 필요하다.

이는 암호학을 넘어 적용되는, 케르크호프스의 원리로 알려진 확립된 보안 원칙이다. 시스템은 암호화 키처럼 적절히 관리되는 비밀을 제외하면, 적대자가 작동 방식을 이해하더라도 안전하게 유지돼야 한다.

AI는 이 원칙을 운영상 시급한 과제로 만든다. 시스템의 동작이 이해 가능해지기 위해 문서가 깔끔하게 공개될 필요는 더 이상 없다. 이제 충분히 흩어진 증거만으로도 에이전트에게 작동 가능한 지도를 제공할 수 있다.

첫 번째 압박 지점은 잊힌 소프트웨어다

가장 큰 압박을 받는 시스템이 언제나 가장 최신이거나 가장 가치 있는 것은 아니다. 그 안전성이 아무도 면밀히 들여다보지 않는 데 의존했던 시스템들이다.

전통적인 취약점 연구에는 비용이 큰 단계들이 있다. 연구자는 코드베이스를 익히고, 운영 환경을 재현하며, 그 가정을 이해하고, 의미 있는 약점과 무해한 이상 징후를 구분해야 한다. 의심스러운 코드를 찾는 일 자체보다 이러한 단계에 더 많은 시간이 드는 경우도 많다.

AI는 그중 여러 단계를 압축할 수 있다. 하니스를 작성하고, 데이터 흐름을 추적하며, 관련 구현을 비교하고, 낯선 프로그래밍 패턴을 설명할 수 있다. 또한 작업이 반복적으로 변할 때도 계속 스캔할 수 있는데, 이는 인간의 주의력에 한계가 있기 때문에 중요하다.

그렇다고 유용한 결과가 보장되지는 않는다. 모델은 거짓 양성을 만들고, 맥락을 오해하며, 때로는 기술적 설명을 지어낸다. 그럼에도 저비용 지원은 운영자가 더 많은 대상을 시험하고, 동일한 양의 전문 시간을 소모하지 않고도 생산성 없는 경로를 포기할 수 있게 한다.

이처럼 넓어진 탐색은 어떤 소프트웨어가 매력적인 표적이 되는지를 바꾼다. 오래된 라이브러리, 틈새 엔터프라이즈 제품, 장치 펌웨어, 문서화가 부족한 내부 서비스의 유지보수자는 더 이상 공격자들이 다른 곳에 집중할 것이라 가정할 수 없다. 이들의 은닉성 할인은 줄어들고 있다.

같은 압박은 배포를 기다리는 알려진 취약점에도 적용된다. 공급업체가 수정 사항을 공개하면 공격자는 패치된 버전과 패치되지 않은 버전을 비교할 수 있다. 패치 디핑이라고 불리는 이 과정은 변경된 코드를 드러내고 조사자가 근본 약점을 재구성하도록 돕는다.

AI는 변경 사항을 해석하고, 트리거 입력을 제안하며, 테스트 코드를 생성함으로써 패치 디핑을 더 빠르게 만든다. Anthropic의 신속한 익스플로잇 개발 연구는 모델이 최근 공개된 취약점을 분석하고, 모든 조직이 수정 사항을 설치하기 전에 익스플로잇을 지원할 수 있는 방식을 살펴봤다.

이는 패치가 उपलब्ध해진 시점과 사용자가 실제로 이를 받는 시점 사이의 간격인 패치 갭을 압축한다. 이 격차는 언제나 위험했다. 자동화 분석은 그 안의 매 시간을 공격자에게 더 가치 있게 만든다.

Chromium 기반 익스플로잇 키트와 관련된 최근 캠페인은 운영상 위험을 보여줬다. 첩보 집단은 상위 프로젝트가 패치를 발표한 뒤, 하위 안정 릴리스가 모든 사용자에게 도달하기 전에 취약점을 사용한 것으로 전해졌다. AI가 반드시 그 캠페인의 모든 부분에 책임이 있었던 것은 아니지만, 그러한 타이밍을 효과적으로 만드는 방식을 강화한다.

이 모델에서 오픈 소스만 유독 위기에 처한 것은 아니다. 공개 검토는 방어자에게도 동일한 코드에 대한 접근 권한을 제공하고 폭넓은 협업을 가능하게 한다. 더 깊은 문제는 비대칭적인 실행에 있다. 공격자는 수많은 가능성을 시험할 수 있지만, 유지보수자는 보고를 검증하고, 회귀를 피하고, 릴리스를 조율하며, 사용자를 지원해야 한다.

폐쇄형 소프트웨어는 대중적 가시성이 낮은 상태에서 관련 문제에 직면한다. AI 지원 연구자는 여전히 바이너리, 인터페이스, 오류 동작, 업데이트 패키지, 모바일 애플리케이션, 장치 펌웨어를 조사할 수 있다. 공급업체는 소스 코드를 비공개로 유지하는 것만으로 지속적인 기술적 미스터리를 보존할 수 있다고 가정할 수 없다.

이는 유지보수자에게 증가하는 접수 문제를 남긴다. AI가 생성한 보고가 더 많다고 해서 확인된 취약점도 자동으로 늘어나는 것은 아니다. 일부 제출물은 중복, 불완전한 주장 또는 충분한 테스트 없이 생성된 그럴듯한 오류일 수 있다.

그 홍수는 실제 약점을 고치는 데 필요한 바로 그 전문가들을 소진시킬 수 있다. 널리 배포된 구성 요소를 관리하는 오픈 소스 프로젝트에 유지보수자가 몇 명뿐일 수 있으므로, 소규모 프로젝트는 특히 노출돼 있다. 자동화된 발견은 이들의 검토 역량과 무관하게 확장될 수 있다.

따라서 조직은 보고 건수 이상을 측정해야 한다. 유용한 지표에는 재현까지 걸리는 시간, 심각도를 판단하는 시간, 중복 발견의 비중, 패치 검증 시간, 취약점 유형별 재발률이 포함된다.

이러한 지표는 보안 개선과 활동량을 구분한다. 반복되는 인젝션 결함이 개발 프로세스에 남아 있는데도 저위험 보고 수백 건을 닫는 팀은, 미래의 노출을 줄이지 못한 채 더 빨리 달리고 있는 셈이다.

산업 시스템은 전문성 장벽을 잃고 있다

운영 기술은 은닉성의 붕괴가 일반적인 소프트웨어 유지보수를 넘어서는 결과를 낳는 이유를 보여준다.

운영 기술, 즉 OT는 수처리, 제조 라인, 연료 유통, 전기 장비와 같은 물리적 공정을 제어한다. 산업 제어 시스템은 흔히 장기간 사용되는 하드웨어, 독점 프로토콜, 전문 엔지니어링 소프트웨어, 엄격한 가용성 요구사항을 결합한다.

이 환경은 역사적으로 많은 공격자를 단념시켰다. 프로그래머블 로직 컨트롤러, 즉 PLC를 이해하려면 산업 공정과 장치별 통신에 관한 지식이 필요했다. 가설을 시험하는 일도 물리적 운영을 중단시킬 위험이 있었다.

Google Threat Intelligence Group의 수석 분석가 John Hultquist는 전문 지식이 산업 시스템을 둘러싼 실질적 보호의 상당 부분을 제공해 왔다고 주장했다. AI는 그러한 지식을 얻고, 정리하고, 적용하는 일을 더 쉽게 만든다.

위험은 8월에 구체화됐다. 미국의 5개 기관은 인터넷에 노출된 Siemens S7 Series PLC를 겨냥한 AI 지원 스크립트를 공격자들이 사용하고 있다고 경고했다. 영향을 받은 환경에는 수처리, 제조, 에너지, 화학, 농업 및 상업 시설이 포함됐다.

연방 위협 경고에 따르면, 운영자들은 공개 산업 자동화 라이브러리와 AI 코딩 어시스턴트를 결합했다. 이들의 도구는 합법적인 모니터링 소프트웨어를 모방하고 PLC 메모리, 구성 데이터 및 래더 로직과 상호작용했다.

래더 로직은 산업 제어 동작을 정의하는 데 사용되는 그래픽 프로그래밍 언어다. 무단 변경은 화면의 정보만 바꾸는 것이 아니라 실제 장비에 영향을 줄 수 있다.

보고된 활동은 이러한 컨트롤러에 사용되는 S7comm 프로토콜을 다루는 데 필요한 전문성을 낮췄다. AI는 운영자가 공개 정보를 활용해 스크립트를 생성하거나 수정하도록 도울 수 있다. 하지만 격리된 컨트롤러를 외부에서 접근 가능하게 만들거나, 제대로 구성된 모든 보안 통제를 우회한 것은 아니었다.

노출 상태는 여전히 공격을 가능하게 하는 조건이었다. 공격자들은 인터넷에 연결돼 있거나, 오래된 소프트웨어를 실행 중이거나, 기본 자격 증명으로 보호되는 PLC를 찾은 것으로 알려졌다. 취약한 네트워크 분리는 이후 생성된 스크립트가 핵심 기능에 도달할 경로를 제공했다.

이 구분은 중요하다. 사건을 “AI 공격”이라고 부르면 조직이 이미 구현 방법을 알고 있는 통제 조치에서 주의가 분산될 수 있다. 직접적인 인터넷 접속을 제거하고, 기본 자격 증명을 변경하며, 지원되는 장비에 패치를 적용하고, 엔지니어링 네트워크를 분리하는 일은 여전히 필수적이다.

보안의 불명확성에 의존하는 방식은 조직이 낯섦을 격리와 혼동할 때 가장 뚜렷하게 실패한다. 드문 프로토콜이라고 해서 접근을 막지는 않는다. 독점적인 엔지니어링 인터페이스가 사용자를 인증하는 것도 아니다. 문서화되지 않은 명령어가 예시를 비교하고 응답을 시험하도록 학습된 모델을 막아주지도 않는다.

동시에 방어자는 산업 환경에 소비자용 노트북처럼 패치를 적용할 수 없다. 플랜트는 수개월 전에 유지보수 일정을 잡을 수 있다. 공급업체는 변경 사항을 인증해야 할 수 있다. 오래된 컨트롤러는 수십 년간 가동될 수 있으며, 교체에는 상당한 물리적 작업이 필요할 수 있다.

가용성은 테스트의 딜레마도 만든다. 잘못된 방어 조치는 생산을 중단시키거나 장비를 손상시킬 수 있다. 공격자는 운영 중단을 피할 이유가 상대적으로 적지만, 운영자는 모든 변경을 안전 및 운영 제약 조건에 비추어 검증해야 한다.

이 비대칭성은 탐지 개선만으로는 충분하지 않은 이유를 설명한다. 소유자는 정확한 자산 인벤토리, 통제된 원격 접근, 네트워크 모니터링, 강제된 통신 경로가 필요하다. 엔지니어링 워크스테이션이 아닌 장비에서 PLC로 향하는 모든 트래픽을 식별하고, 승인된 변경 기간 밖에서 발생한 쓰기 작업을 조사해야 한다.

정보가 한 방향으로만 이동하도록 허용하는 데이터 다이오드는 텔레메트리는 외부로 나가야 하지만 명령이 되돌아올 필요는 없는 환경을 보호할 수 있다. 강력한 네트워크 분리는 침해된 워크스테이션이나 생성된 스크립트의 영향을 제한할 수 있다.

이는 시스템을 숨기려는 시도가 아니라 아키텍처 수준의 통제다. 공격자가 장비를 이해하고 있다고 가정하더라도, 실제로 활용 가능한 경로는 제공하지 않는다.

이 교훈은 엔터프라이즈 소프트웨어에도 적용된다. 내부 API가 문서화되지 않았거나 관리 패널이 예측하기 어려운 주소를 사용한다는 이유만으로 시스템이 안전해서는 안 된다. AI는 이런 불편 요소를 꾸준히 짧은 조사 과제로 바꾸고 있다.

AI 취약점 발견은 보완보다 빠르게 진행되고 있다

보안의 핵심 트레이드오프는 더 이상 발견과 무지의 대립이 아니다. 이제는 기계 속도의 발견과 인간의 제약을 받는 보완 작업의 대립이다.

Luta Security의 창립자 겸 CEO인 Katie Moussouris는 분류, 우선순위 설정, 보완 작업이 실제 병목이라고 지적했다. 조직이 어떤 취약점이 중요한지 판단하거나 근본 원인을 제거할 수 없다면, 추가적인 약점을 찾아내는 일의 가치는 제한적이다.

AI 기반 취약점 발견에 대한 낙관적인 설명이 불완전해지는 지점이 바로 여기다. 모델이 그럴듯한 발견 사항을 열 배 더 많이 내놓더라도, 검토 대기열에 신뢰할 수 있는 증거와 재현 가능한 테스트, 명확한 책임 주체가 없다면 보안은 오히려 악화될 수 있다.

방어자는 모든 보고서에 대해 몇 가지 질문에 답해야 한다. 이 동작은 실제인가? 공격자가 여기에 도달할 수 있는가? 어떤 권한이 필요한가? 익스플로잇은 중요한 신뢰 경계를 넘는가? 제안된 보완 조치가 예상된 동작을 망가뜨리지는 않는가?

AI가 생성한 패치는 이에 상응하는 가속을 제공하는 듯 보인다. 모델은 취약한 코드를 검사하고, 수정안을 제시하며, 테스트를 생성할 수 있다. 그러나 현재 증거는 패치 생성이 의심스러운 동작을 찾아내는 것보다 훨씬 덜 신뢰할 수 있음을 보여준다.

1Password 연구팀은 두 개의 프런티어 모델이 최근 공개된 6개 취약점에 대해 생성한 6,080개의 패치를 평가했다. 애플리케이션 동작을 실질적으로 바꾸지 않으면서 취약점을 완전히 해결한 비율은 26.0%에 그쳤다.

또 다른 20.1%는 취약점을 수정했지만 애플리케이션의 작동 방식을 바꿨다. 더 심각하게는 53.9%가 약점을 해결하지 못했거나, 또 다른 취약점을 도입했거나, 두 문제를 모두 일으켰다고 patch validation study는 밝혔다.

이 결과가 모든 모델, 언어, 취약점에 대한 보편적인 실패율을 의미하는 것은 아니다. 연구진은 의도적으로 상당한 보완 작업이 필요한 최근의 복잡한 결함을 선택했다. 더 단순한 결함과 더 강력한 테스트 스위트에서는 다른 결과가 나올 수 있다.

그럼에도 이 연구는 핵심적인 불균형을 드러낸다. 설득력 있어 보이는 코드 변경을 생성하는 일은, 그것이 모든 중요한 보안 및 기능 속성을 유지한다는 사실을 입증하는 일보다 쉽다.

일부 제안된 보완 조치는 근본 원인을 해결하지 않은 채 알려진 개념 증명 입력만 좁게 차단했다. 이러한 패턴은 기본 테스트를 통과하면서도 대체 입력에는 여전히 취약한 패치를 만들 수 있다.

AI가 생성한 패치는 이를 평가하는 환경의 약점도 물려받는다. 불완전한 테스트 스위트는 한 번도 검사하지 않은 동작을 확인할 수 없다. 모델은 가시적인 테스트 통과에 최적화할 수 있으며, 그 테스트가 보안 계약의 일부만 나타내는 경우에도 마찬가지다.

100개 이상의 모델과 80개의 프로그래밍 과제를 대상으로 한 별도 연구는 평균 secure code rate가 56%라고 밝혔다. 이 결과는 취약점 보완이 아니라 생성 코드 자체를 살펴본 것이지만, 독립적인 검증이 필요하다는 점을 뒷받침한다.

조직은 이 수치를 AI가 방어 업무를 지원할 수 없다는 증거로 해석해서는 안 된다. 모델은 변경안을 초안하고, 회귀 테스트를 생성하며, 낯선 기능을 설명하고, 대체 수정안을 비교할 수 있다. 전문가가 최종 권한을 유지한다면 이런 활용은 엔지니어링 부담을 줄일 수 있다.

위험은 속도가 주요 성공 지표가 되는 순간 시작된다. 충분한 검증 없이 빠르게 배포된 패치는 원래 결함을 남기거나, 새로운 결함을 만들거나, 접근 규칙을 조용히 바꿀 수 있다.

따라서 방어 자동화는 실행 기반이어야 한다. 이는 제안된 변경을 컴파일하고 실행하며, 보안 속성을 테스트하고, 동작을 비교하며, 정의된 불변 조건을 위반하는 패치를 거부하는 것을 뜻한다. 불변 조건이란 허용 가능한 모든 구현에서 항상 참이어야 하는 조건이다.

테스트는 전체 운영 맥락을 결코 모두 포착하지 못하기 때문에, 영향이 큰 시스템에서는 인간 검토가 여전히 필요하다. 엔지니어는 왜 약점이 존재했는지, 어떤 가정이 실패했는지, 관련 코드에도 같은 패턴이 있는지를 이해해야 한다.

이는 패치를 생성하는 것보다 느리다. 하지만 취약점 보고서를 지속적인 위험 감소로 전환하는 작업이기도 하다.

더 많은 발견이 망가진 보안 프로세스를 고치지는 못한다

AI에 더 큰 패치 대기열로 대응하는 조직은 결함을 낳은 프로세스를 물량이 바로잡지 못하기 때문에 계속 갇혀 있게 된다.

취약점 프로그램은 위험이 계속 커지는 상황에서도 생산적으로 보일 수 있다. 팀은 수집하기 쉬운 수치인 심각도 높은 발견 사항, 처리 완료 시간, 전체 패치 수를 센다. 이 수치는 활동을 보여주지만, 소프트웨어가 실제로 더 안전해지고 있는지를 항상 보여주지는 않는다.

Moussouris는 개별 발견과 보완 작업에 끝없이 자원을 추가하는 방식으로는 조직이 이길 수 없다고 경고했다. 지속 가능한 대응은 패턴을 식별하고, 반복되는 취약점 유형을 만들어내는 시스템을 바꾸는 것이다.

AI 지원 검토에서 수십 건의 인젝션 결함이 발견된다고 가정해 보자. 개별 사례를 보완하는 일도 중요하지만, 더 큰 기회는 개발 초기 단계에 있다. 팀은 더 안전한 템플릿, 중앙화된 입력 처리, 프레임워크 보호 기능, 동일한 결함의 재발을 막는 테스트를 도입할 수 있다.

이는 발견 사항을 처리하는 것과 보안 통제를 개선하는 것의 차이다. 전자는 즉각적인 노출을 낮춘다. 후자는 노출이 나타나는 미래의 속도를 바꾼다.

조직은 취약점 데이터를 코드 소유권, 아키텍처 결정, 개발 표준과 연결해야 한다. 특정 서비스에서 권한 부여 실패가 반복된다면, 리더십은 티켓 처리 속도를 축하하기보다 해당 서비스의 접근 모델을 검토해야 한다.

같은 논리는 인프라에도 적용된다. 노출된 관리 인터페이스와 관련된 발견이 반복된다면 자산 관리 또는 네트워크 거버넌스의 실패를 시사한다. 배포 패턴을 수정하지 않은 채 서버 하나만 고치면 근본 메커니즘은 그대로 남는다.

AI 보안의 불명확성 문제에 대한 성숙한 대응은 정직한 인벤토리에서 시작한다. 팀은 어떤 구성 요소가 배포돼 있는지, 누가 이를 유지보수하는지, 어떤 인터페이스에 접근 가능한지, 지원이 종료되면 어떤 일이 일어나는지 알아야 한다.

소프트웨어 자재 명세서는 종속성을 식별하는 데 도움이 될 수 있지만, 인벤토리는 패키지 이름을 넘어 확장돼야 한다. 조직에는 펌웨어 버전, 장비 모델, 클라우드 서비스, 내부 API, 상속된 권한, 운영 기술 자산에 대한 정보도 필요하다.

지식 시스템은 또 다른 형태의 불명확성 위험을 만든다. AI 어시스턴트는 직원이 기술적으로 접근 권한은 있었지만 수동으로는 거의 찾아내지 못했을 문서, 메시지, 기록, 노트를 노출할 수 있다.

이것이 반드시 AI의 권한 부여 우회는 아니다. 애초에 너무 광범위했던 권한이 노출된 것일 수 있다. AI는 그러한 권한 범위 내에서 민감한 자료를 찾는 데 드는 노력을 줄인다.

엔터프라이즈 검색 또는 검색 증강 시스템을 도입하는 팀은 광범위하게 배포하기 전에 콘텐츠 소유권, 보존 정책, 접근 권한 상속, 인덱싱 경계를 검토해야 한다. 잘 설계된 AI knowledge base는 모든 인덱싱 정보를 동등하게 이용 가능한 것으로 취급하는 대신 원본 권한을 보존해야 한다.

이를 위해서는 신중한 로깅도 필요하다. 보안 팀은 에이전트가 무엇에 접근했는지, 어떤 도구를 호출했는지, 어떤 변경을 제안했는지, 누가 중요한 조치를 승인했는지를 보여주는 기록이 필요하다. 이런 증거가 없다면 자동화된 워크플로는 자신이 대체하는 레거시 시스템보다 조사하기 더 어려워진다.

프로세스 개혁에는 AI가 생성한 취약점 보고서에 대한 엄격한 접수 요건도 포함돼야 한다. 제출물은 영향을 받는 버전을 식별하고, 신뢰 경계를 설명하며, 재현 절차를 제공하고, 관찰된 동작과 모델이 생성한 추측을 구분해야 한다.

그런 다음 유지보수 담당자는 자동화를 활용해 중복 보고서를 묶고, 환경 세부 사항을 검증하며, 입증된 영향이 있는 발견 사항의 우선순위를 정할 수 있다. 목표는 AI 지원 연구를 거부하는 것이 아니다. 목표는 주장 물량에 비례하는 증거를 요구하는 것이다.

조달 팀도 역할이 있다. 구매자는 공급업체에 에이전트 생성 패치를 어떻게 테스트하는지, 레거시 구성 요소를 어떻게 관리하는지, 조정된 공개를 어떻게 처리하는지, 반복되는 취약점 유형을 어떻게 측정하는지 물어야 한다. 이런 세부 사항 없이 “보안에 AI를 사용한다”는 약속은 거의 보장책이 되지 못한다.

회의적인 관점도 여전히 중요하다. 현재 모델은 일관성이 부족하며, 인상적인 시연은 종종 선별된 환경을 사용한다. 일부 AI 발견 사항은 광범위한 인간의 수정이 필요하고, 완전 자율형 익스플로잇은 지원형 스크립팅 및 정찰보다 여전히 흔하지 않다.

그러나 불일치가 과거의 해자를 되돌려 주지는 않는다. 공격자는 모든 시도가 성공할 필요가 없다. 저렴한 병렬 시도는 낮은 성공률도 운영상 가치 있게 만들 수 있으며, 특히 비슷한 표적이 많을수록 그렇다.

방어자는 이러한 경제성을 고려해 계획해야 한다. 접근 가능한 코드, 바이너리, 구성, 패치는 자동화된 검토를 받게 될 것이라고 가정해야 한다. 방어자의 우위는 검토가 실패하기를 바라는 데서가 아니라, 더 안전한 설계와 더 빠른 검증된 대응에서 나와야 한다.

방어자가 따라잡을 수 있는지 보여줄 세 가지 신호

다음 단계는 패치 검증, 핵심 인프라 노출, 그리고 조직이 이를 세는 대신 반복되는 결함을 예방하는지에 따라 결정될 것이다.

AI가 생성한 패치의 측정된 신뢰성이 첫 번째 신호다. 향후 평가는 최근 공개된 취약점을 대상으로 하고, 현실적인 애플리케이션 동작을 보존하며, 재현 가능한 방법론을 공개해야 한다. 완전한 수정의 비율이 높아지면 현재의 발견-대응 간 격차는 줄어들 것이다.

중요한 결과는 패치가 컴파일되는지 여부가 아니다. 연구자들은 그것이 근본 원인을 차단하는지, 새로운 약점을 만들지 않는지, 그리고 기대되는 동작을 유지하는지 검증해야 한다. 독립적인 평가를 견뎌낸 개선은 감독된 방어 자동화의 근거를 강화할 것이다.

실패율이 현재 수준에 머문다면 더 신중한 결론을 뒷받침하게 된다. AI는 발견 건수를 계속 늘리겠지만, 전문가 검증은 여전히 제한 자원으로 남을 것이다.

두 번째 신호는 산업용 컨트롤러와 기타 레거시 시스템의 노출 정도다. 정부 기관과 운영자는 인터넷에 접속 가능한 PLC가 줄어드는지, 기본 자격 증명이 사라지는지, 조직이 무단 산업 프로토콜 트래픽을 탐지하는지 추적해야 한다.

노출된 컨트롤러를 겨냥한 AI 지원 공격이 또다시 발생한다면 핵심 판단은 더욱 강해질 것이다. 이는 공격자들이 약한 아키텍처로 여전히 보호되는 시스템을 겨냥해 공개 지식을 반복적으로 작동 가능한 도구로 전환하고 있음을 보여줄 것이다.

노출이 지속적으로 감소한다면 가장 우려스러운 전망은 약화될 것이다. 보안 불명확성이 되살아나는 것은 아니지만, 기본적인 격리와 자산 관리만으로도 에이전트의 실질적인 공격 경로를 차단할 수 있음을 입증할 것이다.

세 번째 신호는 보안 조직이 진전을 측정하는 방식이다. 발견 건수와 중앙값 해결 시간에만 집중하는 팀은 자동화된 보고서가 급증하면서 어려움을 겪게 된다. 반복되는 결함 유형, 노출 자산, 근본 원인, 검증된 완화 조치를 추적하는 팀은 미래의 수요를 줄일 수 있다.

벤더와 대규모 소프트웨어 프로젝트가 이러한 더 심층적인 지표를 공개하는지 주시해야 한다. 인젝션, 권한 부여, 메모리 안전성 또는 구성 결함이 감소하고 있다는 증거는 프로세스 변경이 효과를 내고 있음을 시사할 것이다.

공개 건수가 계속 기록을 경신하는데도 동일한 결함 유형이 되풀이된다면, 방어자는 Moussouris가 말한 쳇바퀴 위에 계속 머물게 될 것이다. 더 빠른 발견은 더 많은 위험을 드러낼 뿐, 그 위험을 만들어내는 구조 자체를 바꾸지는 못한다.

실질적인 대응은 지금 시작해야 한다. 잊힌 시스템의 목록을 작성하고, 불필요한 노출을 제거하며, 권한 경계를 테스트하고, 모든 자동화 보안 주장에 증거를 요구해야 한다. 에이전트를 연구자와 엔지니어의 보조 수단으로 활용하되, 중대한 수리는 재현 가능한 테스트와 책임 있는 검토를 거치게 해야 한다.

보안 불명확성에 의존하는 AI 보안은 이미 패배한 입장이다. 기존 방어는 희소한 호기심과 전문 인력에 의존했으며, 이제 둘 다 소프트웨어 서비스로 이용 가능해지고 있기 때문이다.

더 어려운 과제는 세부 사항이 이해 가능해진 뒤에도 안전한 시스템을 구축하는 일이다. 오늘날 AI 에이전트가 살펴보는 것을 조직이 가장 원하지 않을 숨겨진 의존성, 상속된 권한 또는 노출된 컨트롤러는 무엇인가?