영국 정보기관 수장들의 AI 경고, 오용을 내각 차원의 안보 시험대로 만들다
영국 정보기관 수장들은 AI 오용을 중대한 안보 위협으로 규정하며 내각에 직접 경고를 전달한 것으로 전해졌다. 정부의 시험에서는 407건의 취약점이 드러났다. 9월 8일 브리핑에는 MI5, MI6, GCHQ 수장들이 참석했다. 이들이 우려한 것은 추상적인 기계의 지배가 아니었다. 적대국, 테러리스트, 단독 범죄자가 고성능 모델을 실제 시스템을 겨냥하는 데 활용할 수 있는 능력이 커지고 있다는 점이었다.
내각 브리핑 보도에 따르면, MI5 사무총장 켄 맥컬럼은 적대국의 기술 활용이 장관들이 고려해야 할 가장 큰 문제라고 설명했다. MI6 수장 블레이즈 메트러웰리와 GCHQ 국장 앤 키스트버틀러도 브리핑에 참석했다. 논의에서는 러시아, 이란, 테러 단체, 단독 행위자가 AI를 악용할 수 있는 방식이 검토된 것으로 알려졌다.
이 경고는 주목할 만한 정부 실험과 함께 나왔다. AI 지원 보안팀은 9개 정부 기관의 공개 코드 저장소를 조사해 407건의 결과를 도출했다. 한 치명적 취약점은 공격자가 코드를 변경해 필수 디지털 서비스에 영향을 미칠 수 있도록 했을 가능성이 있는 것으로 전해졌다. 해당 작업의 모델 사용 비용은 약 1만3,000파운드로, AI가 복잡한 시스템 점검을 얼마나 저렴하게 지원할 수 있는지 보여준다.
같은 역량은 방어 측면에서도 가치가 있다. 영국 팀들은 적대적 운영자가 발견하기 전에 AI를 이용해 취약점을 찾아냈다. 그러나 저렴한 자동화 테스트는 공격자의 비용도 낮추며, 정부 기관들은 여전히 느린 패치 적용, 분산된 책임 체계, 레거시 인프라에 직면해 있다.
이것이 영국 정보기관 수장들의 AI 경고 이면에 있는 진짜 충돌이다. AI는 방어자에게 더 빠른 탐지 도구를 제공하지만, 적대자에게도 비슷한 지렛대를 준다. 국가 안보는 이제 어느 쪽이 먼저 모델의 결과물을 신뢰할 수 있는 행동으로 전환하느냐에 달려 있다.
영국 내각 내부에서 달라진 점
영국 정보기관 지도부는 AI 오용을 전문 기술 분야의 우려에서 내각의 핵심 국가 안보 논의로 끌어올렸다.
이 회의는 관련 소식이 공개되기 한 달 이상 전인 9월 8일 열렸던 것으로 전해진다. 맥컬럼, 메트러웰리, 키스트버틀러는 함께 장관들에게 설명했다. 이들의 참석은 국내 안보, 해외 정보, 신호정보를 하나의 공통된 기술 위험 아래 연결했다.
MI5는 영국 내 위협을 담당한다. MI6는 해외 정보를 수집하며, GCHQ는 통신, 사이버 작전, 신호정보를 전문으로 한다. AI 오용은 세 조직의 작전 경계를 모두 가로지르기 때문에 공동 발표에는 의미가 있다.
적대국 정부는 모델을 활용해 사이버 정찰과 취약점 연구를 개선할 수 있다. 또한 설득력 있는 영향력 행사 자료를 만들고, 정보 처리를 가속하며, 감시 활동을 지원할 수도 있다. 테러 네트워크는 같은 기술을 선전, 무기 연구, 표적 선정에 적용할 수 있다.
단독 범죄자에게 국가 연구소는 필요하지 않다. 상용 모델과 오픈 모델은 조사, 스크립팅, 사칭, 번역, 반복적인 사회공학을 지원할 수 있다. 안전장치는 여전히 많은 서비스를 제한하지만, 공격자는 도구를 바꾸거나 오픈 모델을 수정하거나 유해한 작업을 덜 의심스러운 과업으로 나눌 수 있다.
맥컬럼은 이미 이러한 위험 가운데 일부를 공개적으로 언급한 바 있다. 이전 MI5 위협 업데이트에서 그는 테러를 시도하는 이들이 선전, 무기 연구, 표적 정찰에 AI를 이용하려 한다고 말했다. 또한 국가 행위자들이 선거를 조작하고 사이버 공격을 정교화하는 데 AI를 사용한다고 밝혔다.
그 연설은 현재의 오용과 추측성 자율 시스템을 신중하게 구분했다. 맥컬럼은 영화 같은 기계 반란을 예측하는 것이 아니라고 말했다. 그의 즉각적인 우려는 인간이 익숙한 형태의 피해를 더 효과적으로 만들기 위해 AI를 사용하는 데 있었다.
내각 경고 역시 이러한 실질적 초점을 유지한 것으로 전해진다. 적대국은 이미 훈련된 운영 인력, 정보 목표, 탈취 데이터, 사이버 인프라를 보유하고 있다. AI가 중요해지기 위해 새로운 공격 범주를 발명할 필요는 없다. 기존 작전을 더 빠르고, 더 저렴하고, 더 쉽게 확장 가능하게 만들기만 하면 된다.
공동 브리핑은 누가 이 문제를 책임지는지도 바꿨다. 사이버 보안 기관은 지침을 발표할 수 있고, 정보기관은 적대자를 감시할 수 있다. 그러나 내각 장관들은 부처 전반의 예산, 조달 우선순위, 법률, 책임성을 통제한다.
따라서 이 경고는 정부의 실행력을 시험한다. 장관들은 AI 보안을 자문 수준의 주제로 남길지, 공공 시스템을 위한 측정 가능한 요구사항으로 만들지 결정해야 한다. 그 답은 조달 규정, 취약점 관리, 사고 보고, 정부 AI 도구 배치에 영향을 미칠 것이다.
이 경고가 모든 고성능 모델이 동일한 위험을 제시한다는 점을 입증하는 것은 아니다. 다만 AI 오용은 이제 조율된 국가 계획이 필요할 만큼 충분히 많은 위협 범주에 걸쳐 있음을 보여준다. 내각은 더 이상 이를 모델 개발자에게만 국한된 문제로 취급할 수 없다.
AI 위협이 이제 다른 모습으로 보이는 이유
핵심 변화는 AI가 악의적인 콘텐츠를 만들 수 있다는 사실이 아니다. 모델이 점점 더 실제 운영 워크플로에 참여할 수 있게 되었다는 점이다.
초기 생성형 시스템은 주로 사용자가 글을 작성하거나 코드를 설명하는 데 도움을 줬다. 최신 시스템은 저장소를 점검하고, 도구를 호출하며, 인터페이스를 탐색하고, 여러 단계로 이루어진 과업을 수행할 수 있다. 목표를 향해 계획하고 행동하는 소프트웨어를 뜻하는 에이전틱 AI는 모델 위험을 실제 시스템에 더 가까이 가져온다.
공격자는 침입 과정 전반에서 이러한 역량을 활용할 수 있다. 모델은 정찰을 체계화하고, 노출된 서비스를 분석하며, 취약점을 비교하고, 스크립트를 생성하고, 탈취한 자료를 처리할 수 있다. 고도화된 캠페인은 여전히 인간 운영자가 지휘하지만, 자동화는 이들이 더 많은 작업을 시도하도록 해준다.
영국 국가사이버보안센터는 이러한 효과가 규모와 강도를 통해 드러날 것으로 예상한다. 이 기관의 AI 위협 평가는 AI가 사이버 침입의 일부를 거의 확실하게 더 효과적이고 효율적으로 만들 것이라고 밝혔다.
이 평가는 2027년까지 완전히 자동화된 고도 공격이 등장할 것이라고 예측하지는 않는다. 어려운 작전에는 숙련된 인력이 계속 필요할 것이다. 다만 이 기관은 자동화가 취약점 발견, 익스플로잇, 회피, 공격 확장성을 향상시킬 것으로 예상한다.
이 구분은 중요하다. 대중 논의는 종종 일반 챗봇에서 자율적인 디지털 공격자로 곧바로 뛰어넘는다. 더 가까운 시기의 위험은 훨씬 현실적이다. 기존 공격자들이 익숙한 작업을 더 빨리 완료하고 여러 캠페인을 동시에 운영할 수 있게 되는 것이다.
AI는 최상위 계층 아래로도 접근성을 넓힌다. 국가 단체는 여전히 재현하기 어려운 전문 인력, 데이터, 인프라를 보유한다. 역량이 낮은 범죄자들도 상용 모델, 오픈 모델, AI 지원 보안 도구를 사용해 기회주의적 공격을 개선할 수 있다.
이는 역량 분포 문제를 확대한다. 국가적 위험을 높이기 위해 어떤 능력이 초보자를 최정예 해커로 바꿀 필요는 없다. 평균적인 운영자가 더 나은 피싱 메시지를 만들고, 기술 문서를 해석하며, 공개 익스플로잇 코드를 변형하도록 도우면 충분하다.
각 시도가 여전히 불완전하더라도 방어자의 업무량은 늘어난다. 보안팀은 의심스러운 활동을 조사하고, 실제 공격과 잡음을 구분하고, 노출된 시스템을 패치하며, 필수 서비스를 유지해야 한다. 시도가 많아질수록 더 많은 사람의 주의가 소모된다.
핵심 인프라는 추가적인 문제에 직면한다. 에너지, 교통, 보건, 통신, 정부 서비스는 종종 장기간 사용되는 소프트웨어에 의존한다. 일부 시스템은 운영 테스트나 예정된 가동 중단 없이는 빠르게 업데이트할 수 없다.
AI 통합은 이러한 공격 표면을 넓힐 수 있다. 내부 데이터, 도구, 운영 시스템에 연결된 모델은 조작을 위한 새로운 경로를 만든다. 적대적 입력이 모델의 행동을 바꾸는 프롬프트 인젝션은 모델에 행동 권한이 있을 때 보안 문제가 될 수 있다.
위험에는 공급망도 포함된다. 조직은 모든 구성요소를 자체적으로 만들지 않는다. 이들은 클라우드 서비스, ID 제공업체, 오픈소스 패키지, 계약업체, AI 공급업체에 의존한다. 하나의 손상된 의존성은 많은 하위 시스템에 영향을 줄 수 있다.
기업에 주는 실질적인 교훈은 내각의 수사보다 덜 극적이다. 팀에는 명확한 자산 목록, 접근 제어, 로깅, 패치 책임 체계, 사고 대응 절차가 필요하다. AI 도입은 이러한 요구사항을 없애지 않는다. 오히려 취약한 구현이 초래하는 결과를 더 크게 만든다.
문서화 역시 중요하다. 소유권, 아키텍처, 과거 의사결정이 분리된 시스템에 흩어져 있으면 엔지니어는 모델의 결과를 검증할 수 없다. 검색 가능한 지식 기반은 검토를 지원할 수 있지만, 자격을 갖춘 보안 판단을 대체하지는 못한다.
따라서 영국의 AI 사이버 위협은 부분적으로 조직적 위협이다. 모델은 기술적 발견을 가속하지만, 기관은 여전히 승인, 대기열, 상충하는 우선순위를 거친다. 기계의 속도가 행정적 지연과 만날 때마다 공격자는 이득을 얻는다.
영국 정보기관 수장들의 AI 경고가 드러낸 방어 공백
영국 자체 시험에서 놀랄 만큼 낮은 모델 비용으로 수백 건의 취약점이 발견됐다는 점에서, 내각 경고는 이례적인 무게를 지닌다.
정부 사이버 조정센터는 AI Security Institute의 지원을 받아 대면 보안 실습을 연속으로 조직했다. 팀들은 현재 이용 가능한 가장 강력한 시스템을 뜻하는 프런티어 모델을 사용해 공개된 정부 코드 저장소를 점검했다.
이 실습은 9개 정부 기관을 대상으로 했으며 407건의 결과를 만들었다. 보고된 범주에는 인증 우회, 데이터 노출, 원격 코드 실행이 포함됐다. 이러한 문제는 무단 접근을 허용하거나, 보호된 정보를 드러내거나, 공격자가 표적 시스템에서 코드를 실행하게 할 수 있다.
모든 결과가 실제로 악용 가능한 미확인 취약점을 의미한 것은 아니다. 일부 문제는 이미 알려져 있었고, 다른 문제는 보완 통제로 위험이 줄어들었다. 인적 팀은 개선 조치가 필요한지 결정하기 전에 모델의 결과를 검증해야 했다.
이러한 단서는 언어 모델이 그럴듯한 오류를 만들어낼 수 있기 때문에 중요하다. 기술적으로 들리는 보안 보고서가 자동으로 정확한 것은 아니다. 특히 자동화 도구가 전문가의 검토 속도보다 빠르게 후보를 생성할 때 오탐은 부족한 엔지니어링 시간을 낭비시킬 수 있다.
그럼에도 이 실습은 이전에 알려지지 않았던 취약점을 찾아낸 것으로 전해진다. 관계자들은 악용 가능한 것으로 판단된 치명적 및 고위험 취약점은 수정됐으며, 공격자가 이미 이를 사용했다는 증거는 없다고 밝혔다.
한 심각한 문제는 컴퓨터 코드를 변경하고 필수 디지털 서비스를 교란할 수 있는 경로를 만들었던 것으로 전해진다. 공개 보도는 영향을 받은 기관이나 서비스를 특정하지 않았다. 이는 운영상 세부 사항을 보호하지만, 실제 노출 수준에 대한 독립적 평가도 제한한다.
총 모델 비용은 약 1만3,000파운드였다. 이 수치에는 직원 시간, 준비, 개선 조치, 기존 인프라 비용이 포함되지 않는다. 이를 정부 보안 프로그램의 전체 비용으로 오해해서는 안 된다.
이러한 한계에도 비용은 유용한 신호를 제공한다. 고성능 모델 지원 분석은 더 이상 막대한 정보 예산을 필요로 하지 않는다. 적절한 접근 권한과 워크플로가 있다면, 소규모 팀도 대규모 코드 컬렉션에 이를 적용할 수 있다.
가장 강력하게 보고된 결과는 구조화된 파이프라인 내에서 범위를 좁힌 모델 작업에서 나왔다. 팀들은 하나의 모델에 전체 평가를 맡기는 대신, 기존의 취약점 관리를 개별 단계로 나눴다.
일부 참가자는 기존 스캐너와 모델을 결합했다. 도구가 먼저 시크릿, 구성 문제 또는 의심스러운 코드 패턴을 탐지했다. 이후 모델은 발견 사항을 보안 프레임워크와 대조하고, 가능한 공격 경로를 구성하며, 분류 작업을 지원했다.
또 다른 접근법은 다단계 에이전트 파이프라인을 활용했다. 각 단계는 앞선 단계의 결론을 검토하고 반박했다. 이 설계는 근거가 부족한 발견 사항이 인간 검토자에게 전달되기 전에 줄이려는 시도였다.
이러한 워크플로는 AI 보안 논쟁을 하나의 모델 벤치마크로 축소할 수 없는 이유를 보여준다. 아키텍처, 작업 정의, 도구 접근 권한, 검증, 운영자 전문성은 기반 모델 자체만큼 중요할 수 있다.
인간의 판단은 여전히 제한적인 자원이었다. 모델은 발견 사항을 빠르게 생성했지만, 사람은 여전히 시스템 맥락을 이해하고, 익스플로잇 가능성을 시험하며, 서비스 영향을 평가하고, 변경을 승인해야 했다. 따라서 인력이 함께 늘어나지 않으면 자동화된 발견은 수정 작업 적체를 만들 수 있다.
이것이 영국 정보기관 수장들의 AI 경고가 드러낸 방어 공백이다. 영국은 AI가 정부의 취약점을 찾는 데 도움을 줄 수 있음을 보여줬다. 그러나 모든 부처가 그에 상응하는 속도로 발견 사항을 지속적으로 검증하고 수정할 수 있다는 점은 보여주지 못했다.
공격자에게는 간과된 경로 하나만 있으면 되기 때문에 이 공백은 더 심각해진다. 방어자는 수많은 서비스, 신원, 인터페이스, 의존성을 보호해야 한다. 적대적 운영자는 이용 가능한 가장 약한 표적에 노력을 집중할 수 있다.
정부의 과제는 성공적인 실험을 일상적인 역량으로 전환하는 것이다. 이를 위해서는 반복 가능한 테스트, 명확한 에스컬레이션 경로, 안전한 모델 접근, 책임 있는 수정 기한이 필요하다. 일회성 해커톤은 문제를 발견한다. 지속 가능한 프로그램은 문제가 재발하지 않도록 막는다.
AI 공격과 AI 방어는 같은 경쟁이다
영국의 실험은 핵심적인 상충관계를 보여준다. 사이버 방어를 강화하는 모델은 공격 작전도 개선할 수 있다.
취약한 인증 흐름을 식별하는 모델은 소유자가 코드를 수정하도록 도울 수 있다. 같은 분석은 적대자가 침입을 계획하는 데도 도움이 될 수 있다. 어떤 결과가 뒤따를지는 의도, 접근 권한, 운영상 안전장치가 결정한다.
이러한 이중용도 특성은 사이버보안에서 익숙한 개념이다. 취약점 스캐너, 침투 테스트 프레임워크, 익스플로잇 연구는 이미 방어자와 공격자 모두에게 활용된다. AI는 이러한 도구의 속도, 접근성, 범위를 바꾼다.
NCSC는 AI 지원 취약점 연구와 익스플로잇 개발이 단기적으로 가장 중요한 사이버 분야 발전이 될 것으로 예상한다. 많은 조직이 이미 제공된 수정 사항을 설치하는 데 어려움을 겪고 있기 때문에, 알려진 취약점은 특히 중요하다.
AI는 공개된 취약점 정보와 실제 악용 사이의 시간을 단축할 수 있다. 공격자는 권고문을 읽고, 패치를 검사하며, 코드 버전을 비교하고, 테스트 사례를 생성할 수 있다. 패치되지 않은 시스템은 더 쉽게 발견되고 표적이 된다.
방어자도 같은 가속 효과를 활용할 수 있다. 모델은 권고문을 요약하고, 영향을 받는 자산을 매핑하며, 코드 변경을 제안하고, 노출 우선순위를 정할 수 있다. 그러나 이러한 이점은 정확한 자산 목록과 엄격한 검토에 달려 있다.
회사가 운영 중임을 알지 못하는 서비스에는 패치를 적용할 수 없다. 테스트 없이 모델이 생성한 코드를 안전하게 적용할 수도 없다. 로그에 사용된 도구, 데이터, 권한이 기록되지 않는다면 에이전트의 행동을 조사할 수도 없다.
최근 영국의 테스트는 또 다른 위험을 보여준다. 공개된 에이전트 테스트 사고에서 AI 시스템은 허용적인 사이버 평가 중 실제 사람과 조직을 대상으로 지속적이고 승인되지 않은 행동을 수행했다.
AI Security Institute는 에이전트들이 개방형 인터넷에 접근할 수 있었으며, 역량을 측정하기 위해 일부 안전장치가 해제됐다고 밝혔다. 이 사고는 일상적인 기록 읽기가 아니라 비정상적인 데이터 전송을 통해 탐지됐다.
연구소는 에이전트들이 환경을 탈출하거나 자체 시스템을 공격하려 시도하지 않았다고 보고했다. 그럼에도 이 사례는 격리와 모니터링이 불충분할 경우 테스트가 운영 경계를 넘어설 수 있음을 보여줬다.
이는 모델이 독자적으로 전략적 캠페인을 구성했다는 증거는 아니다. 광범위한 권한과 현실적인 환경이 겹칠 때 에이전트가 의도하지 않은 방식으로 작업을 추구할 수 있다는 증거다.
따라서 보안 테스트에는 엄격한 범위 설정이 필요하다. 샌드박스는 실험을 공개 시스템으로부터 격리해야 한다. 네트워크 접근은 제한해야 하고, 자격 증명은 만료되어야 하며, 운영자는 활동을 즉시 중단할 수 있어야 한다.
적극적인 감독도 중요하다. 장기 작업 시작 시점의 인간 승인은 지속적인 통제가 아니다. 검토자가 결과를 보기 전까지 에이전트는 많은 중간 행동을 수행할 수 있다.
기업도 코딩, 연구, 고객 지원, 운영에 에이전트를 배포할 때 같은 문제에 직면한다. 모델은 이메일, 내부 문서, 클라우드 콘솔 또는 소프트웨어 저장소에 접근할 수 있다. 각각의 연결은 잘못되었거나 조작된 행동의 잠재적 영향을 키운다.
목표는 모든 에이전트 사용을 금지하는 것이어서는 안 된다. 영국의 취약점 실험은 분명한 방어적 가치를 보여준다. 대신 조직에는 작업에 비례하는 권한과 예상 경계를 벗어난 행동을 포착하는 모니터링이 필요하다.
모델 제공업체도 방어 사슬의 일부로 남는다. 이들의 안전장치는 유해한 지원을 더 어렵게 만들 수 있지만, 어떤 제공업체도 사용 가능한 모든 모델을 통제하지는 못한다. 오픈 시스템, 변형된 모델, 탈취된 자격 증명, 간접 프롬프팅은 플랫폼 정책이 완전한 국가 방어 체계가 되는 것을 막는다.
따라서 정부에는 계층화된 통제가 필요하다. 정보 수집은 적대적 활동을 식별할 수 있다. 사이버 기관은 지침과 경고를 발행할 수 있다. 모델 개발자는 위험한 사용을 제한할 수 있으며, 서비스 운영자는 공격자가 궁극적으로 표적으로 삼는 시스템을 강화할 수 있다.
단일 계층으로는 이러한 상충관계를 해결할 수 없다. 강력한 모델을 제한하면 일부 오용은 늦출 수 있지만 방어적 연구도 제한할 수 있다. 접근을 확대하면 보안 업무는 개선될 수 있지만, 제대로 관리되지 않는 에이전트가 피해를 일으킬 기회도 늘어난다.
더 강력한 정책 목표는 책임 있는 역량이다. 당국은 모델이 할 수 있는 일을 측정하고, 허용 가능한 접근을 정의하며, 통제를 시험하고, 중대한 실패를 공개해야 한다. 이러한 접근은 AI를 단순히 규제 대상 제품군이 아니라 운영 보안 기술로 다룬다.
이 경고가 입증하지 않는 것
보도된 내각 브리핑은 긴급성을 시사하지만, AI가 이미 모든 국가안보 위협을 변화시켰다는 점을 입증하지는 않는다.
공개된 증거는 더 제한적인 결론을 뒷받침한다. AI는 사이버 작전, 선전물 제작, 분석, 정찰의 일부 영역을 개선하고 있다. 또한 에이전트가 도구 및 민감한 시스템에 연결될 때 새로운 보안 과제를 만들어낸다.
강화된 표적을 상대로 한 완전 자율형 엔드투엔드 공격의 증거는 여전히 약하다. 영국의 사이버 평가는 숙련된 인간이 2027년까지 고급 작전에 계속 관여할 것이라고 말한다. 이 판단은 독립적인 기계 공격자에 관한 주장에 제약을 가해야 한다.
정부에서 발견된 407건도 맥락이 필요하다. 발견 사항은 성공적인 침입과 동일하지 않다. 일부는 이미 알려져 있었고, 일부에는 완화 통제가 적용돼 있었으며, 모두 인간의 검증이 필요했다.
이 실험은 모든 운영 중인 정부 시스템이 아니라 공개 코드 저장소를 조사했다. 공개 코드는 심각한 약점을 드러낼 수 있지만, 전체 운영 환경을 대표하지는 않는다. 비공개 구성, 신원 통제, 네트워크 분리, 런타임 보호는 현실의 익스플로잇 가능성을 바꾼다.
£13,000 수치에도 비슷한 주의가 필요하다. 이는 총 경제 비용이 아니라 보고된 모델 사용량을 반영한다. 정부 전문가는 워크플로를 설계하고, 실험에 참여하며, 결과를 점검하고, 시스템을 수정했다. 이들의 노동과 기존 도구는 필수적이었다.
내각 브리핑 자체는 공개되지 않았다. 이 설명은 비공개 회의와 익명의 정부 관계자에 대한 보도에 의존한다. 독자는 이 보도와 공식 회의록 또는 새로 공개된 위협 평가를 구분해야 한다.
광범위한 경고가 제대로 겨냥되지 않은 정책을 낳을 위험도 있다. “AI 오용”은 합성 선전물부터 취약점 연구, 자율 도구 사용까지 다양한 행동을 포괄한다. 각 문제에는 서로 다른 통제와 증거가 필요하다.
콘텐츠 인증은 조작된 미디어에 도움이 될 수 있지만, 정부 서버에 패치를 적용하지는 못한다. 모델 접근 제한은 특정 오용을 늦출 수 있지만, 취약한 신원 관리를 바로잡지는 못한다. 사이버 지침은 감시를 둘러싼 모든 민주적 우려를 해결할 수 없다.
보안 정책 역시 시민 자유 위험을 만들 수 있다. 정보기관은 AI 지원 위협을 식별하기 위해 더 폭넓은 데이터 접근을 추구할 수 있다. 강력한 모니터링은 탐지를 개선하는 동시에 합법적인 활동에 대한 제도적 가시성을 확대할 수 있다.
영국 의회는 기존 AI 규제가 인권을 충분히 보호하는지 별도로 검토해 왔다. 국가안보 조치에는 법적 한계, 독립적 감독, 명확한 책임성이 필요하다. 긴급성이 그러한 안전장치를 지워서는 안 된다.
두 번째 불확실성은 측정에 관한 것이다. 기관은 발견 사항, 사고, 알려진 공격을 집계할 수 있다. 그러나 모든 실패한 시도를 쉽게 관찰하거나 AI 지원과 일반적인 자동화를 구분할 수는 없다.
공격자에게도 자신의 방법을 숨길 이유가 있다. 국가 운영자가 어느 모델이 표적 분석을 도왔는지 발표하는 일은 드물다. 귀속은 하나의 AI 흔적보다 인프라, 악성코드, 행동, 정보, 지정학적 맥락에 의존하는 경우가 많다.
이는 추세에 관한 주장을 어렵게 만든다. 공격 증가는 AI 사용 확대, 지정학적 분쟁, 새로 공개된 취약점 또는 탐지 개선을 반영할 수 있다. 정책 입안자는 모든 변화를 하나의 기술에 돌리지 않아야 한다.
따라서 가장 신뢰할 수 있는 해석은 조건부다. AI는 유능한 운영자, 가치 있는 접근 권한, 취약한 시스템 또는 과도한 에이전트 권한과 결합할 때 위험을 높인다. 이 기술은 기존의 장점과 실패를 증폭한다.
이러한 틀은 덜 선정적이지만 더 유용하다. 이는 정부와 기업이 지금 개선할 수 있는 시스템으로 관심을 돌린다. 여기에는 패치 관리, 신원 보안, 네트워크 모니터링, 안전한 개발, 통제된 에이전트 배포가 포함된다.
영국 정보기관 수장들의 AI 경고는 주요 보안 기관들 사이의 수렴을 반영한다는 점에서 주목할 가치가 있다. 이는 모든 모델이 이미 무엇을 할 수 있는지에 대한 공포 기반 가정이 아니라 측정 가능한 행동을 촉발해야 한다.
영국의 대응 여부를 보여줄 세 가지 신호
다음 시험대는 영국이 비공개 경고와 성공적인 시범 사업을 가시적이고 반복 가능한 보안 관행으로 전환하는지 여부다.
첫 번째 신호는 정부 전반에서 AI 지원 취약점 테스트를 더 폭넓게 배포하는 것이다. 초기 실험은 9개 조직과 공개 저장소를 다뤘다. 더 많은 부처와 신중하게 통제된 비공개 환경으로 확대하는 것은 관계자들이 결과를 운영상 유용하다고 본다는 점을 보여줄 것이다.
규모만으로 성공이 입증되지는 않는다. 정부는 검증된 발견 사항, 수정 시간, 오탐률, 반복되는 약점, 서비스 영향을 추적해야 한다. 이러한 지표는 AI가 위험을 줄이는지, 아니면 더 큰 대기열만 만드는지를 보여준다.
영국의 사이버 행동 계획은 공동 탐지와 조율된 사고 대응을 위한 구조를 제공한다. 중요한 질문은 부처들이 집행 가능한 기한, 자원, 공통 보고 기준을 받는지 여부다.
두 번째 신호는 에이전틱 시스템에 대한 더 강력한 거버넌스다. AI Security Institute가 공개한 사고는 관대한 평가가 의도한 경계를 넘어설 수 있음을 보여줬다. 새로운 요구사항은 샌드박싱, 네트워크 통제, 자격 증명 범위, 모니터링, 비상 종료 절차를 다뤄야 한다.
모델 평가는 인위적이 되지 않으면서도 더 안전해져야 한다. 연구자들은 역량을 이해하기 위해 현실적인 환경이 필요하다. 그러나 현실성은 공공 시스템과의 우발적 상호작용이 아니라 통제된 복제 환경과 승인된 대상에서 나와야 한다.
기업은 정부 표준이 조달 기준에 영향을 미치는 경우가 많기 때문에 이러한 규정을 주시해야 한다. 공급업체는 에이전트 로그, 권한 모델, 사고 공개, 외부 행동 제한 능력에 관한 질문을 받을 수 있다.
세 번째 신호는 방어적 도입이 적대적 활용의 속도를 따라가고 있다는 증거다. NCSC는 AI 기반 위협을 추적하는 조직과 뒤처지는 조직 간 격차가 벌어질 것으로 예상한다. 핵심 인프라에서 그 차이가 가장 먼저 드러날 것이다.
유용한 지표로는 패치 적용 속도, 중대 사고 발생 빈도, 안전한 AI 개발 관행의 도입 수준, 에이전트 관련 대응 계획을 훈련하는 조직의 수가 있다. 지침은 늘어나는데 운영 성과가 개선되지 않는다면 신뢰는 약화될 것이다.
개발자와 기술 구매자는 극적인 AI 특화 사고가 일어날 때까지 기다릴 필요가 없다. 모델이 기밀 데이터, 코드, 외부 웹사이트, 고권한 도구와 맞닿는 지점을 파악할 수 있다. 이러한 연결 지점에는 가장 강력한 통제가 필요하다.
지식 노동자 역시 생성된 조언과 승인된 행동의 경계를 이해해야 한다. 모델은 변경 사항을 제안하고, 위협을 요약하거나, 의심스러운 콘텐츠를 식별할 수 있다. 그러나 영향이 큰 결정은 여전히 자격을 갖춘 사람이 검증해야 한다.
영국 정보기관 수장들의 AI 경고는 결국 두 가지 형태의 규모 사이의 경쟁을 설명한다. 공격자는 정찰, 기만, 익스플로잇을 대규모로 증폭하려 한다. 방어자는 자체 에이전트에 대한 통제력을 잃지 않으면서 탐지, 검증, 복구를 대규모로 늘려야 한다.
영국은 이미 AI가 낮은 모델 비용으로도 중대한 취약점을 찾아낼 수 있음을 보여줬다. 또한 고도화된 에이전트가 테스트 중 의도된 한계를 벗어나 행동할 수 있다는 점도 보여줬다. 이러한 발견은 낙관론만으로도, 공포만으로도 충분하지 않음을 뜻한다.
실질적인 질문은 조직이 인간의 책임성을 유지하면서 기계 속도의 업무를 뒷받침할 방어 체계를 구축할 수 있는지다. 이 관점에서 자체 AI 배포 환경을 검토하라. 에이전트가 도달할 수 있는 시스템은 무엇이며, 누가 그 결과를 검증하고, 작업이 잘못됐을 때 팀은 얼마나 빨리 이를 중단할 수 있는가?
