FBI의 AI 테러 경고가 공격 계획에 관해 던지는 난제

당국이 AI 지원 사이버 작전, 감시, 무기 연구, 극단주의 선전을 기록하면서 FBI의 AI 테러 경고는 더욱 긴급성을 띠고 있다. 이제 쟁점은 적대 세력이 AI를 사용하는지 여부가 아니다. 이러한 도구가 경험 없는 개인을 유능한 공격자로 만들 수 있는지에 관한 문제다.

전 국토안보부 정보 당국자 존 코언은 AI가 공격 계획 수립 시간을 수년에서 수분으로 줄일 수 있다고 말한다. ABC7 Chicago가 보도한 그의 경고는 사이버공격, 작전 매뉴얼, 무기 연구, 표적 분석을 포괄한다.

최근 사례들은 이 우려에 사실적 근거를 제공한다. Anthropic은 Claude를 공격적 사이버 작전, 감시, 영향력 공작, 무기 개발에 사용한 행위자들을 차단했다고 밝혔다. 연방 기관들은 산업 장비를 겨냥한 AI 생성 익스플로잇 스크립트도 별도로 보고했다.

그러나 증거는 신중함도 요구한다. 기록된 AI 악용은 AI가 계획한 테러 공격이 확인됐다는 뜻과는 다르다. 핵심 안보 질문은 AI가 기존 작업을 단지 가속하는지, 아니면 역량이 낮은 행위자들을 과거에 막았던 장벽을 제거하는지다.

FBI AI 테러 경고의 배경에서 달라진 점

이 경고가 중요한 이유는 AI가 정보의 원천에서 적대적 활동을 위한 작전 계층으로 이동하고 있기 때문이다.

FBI는 수년간 범죄 목적의 AI 사용을 경고해 왔다. 초기 경보는 피싱, 사칭, 사기, 합성 미디어에 크게 초점을 맞췄다. 이런 활동은 완전히 새로운 공격 범주를 만들어내기보다 익숙한 범죄 수법을 개선하는 데 AI를 활용했다.

이제 FBI는 더 광범위한 위협 환경을 설명한다. FBI의 공개 AI 위협 개요는 악의적 행위자가 과거에는 더 많은 시간, 노동력, 전문성이 필요했던 작업을 자동화할 수 있다고 밝힌다. 또한 사이버범죄, 강력범죄, 사기, 국가안보 위협을 우려 영역으로 지목한다.

최근의 공개 논의는 공격 계획을 더 중심에 놓는다. 코언은 ABC7에 테러 단체와 범죄 조직이 이미 AI를 활용해 사이버 역량을 강화하고 세부적인 작전 매뉴얼을 개발하고 있다고 말했다. 그는 무기 제작 방식을 파악하려는 시도도 언급했다.

이는 강조점의 의미 있는 변화다. 챗봇은 반복적인 대화를 통해 연구를 정리하고, 기술 문서를 번역하며, 코드를 작성하고, 표적을 비교하고, 계획을 수정할 수 있다. 에이전틱 시스템은 소프트웨어 도구를 사용하고 세션 간 맥락을 유지할 수도 있다.

에이전틱 AI는 모델이 도구, 파일, 피드백 루프를 통해 여러 단계의 목표를 추구할 수 있음을 뜻한다. 단일한 질문에 답하는 데 그치지 않는다. 이 기능은 합법적 업무의 효율을 높일 수 있지만, 악의적 자동화의 기회도 만든다.

이 구분이 중요한 이유는 계획 수립에 마찰이 따르기 때문이다. 공격자는 정보를 수집하고, 의존성을 파악하며, 가정을 시험하고, 오류에서 회복해야 한다. AI는 이 과정의 일부를 대화형 워크플로로 압축할 수 있다.

시스템은 행위자가 공개 기록을 요약하고, 노출된 서비스를 점검하거나, 여러 언어의 자료를 번역하도록 도울 수 있다. 작전을 체계적으로 유지하는 체크리스트를 만들 수도 있다. 이런 기능이 성공을 보장하지는 않지만, 혼란과 지연을 줄일 수는 있다.

따라서 이 경고는 가상의 초지능에만 근거한 것이 아니다. 범용 모델에서 이미 이용 가능한 일반적 역량을 다룬다. 검색, 코딩, 요약, 번역, 이미지 분석, 워크플로 자동화는 모두 이중 용도로 사용될 수 있다.

다만 보도된 경고는 정확한 맥락에서 이해할 필요가 있다. ABC7 보도는 코언의 평가와 최근의 여러 정부 및 업계 공개 내용을 결합한다. AI 지원 테러에만 전적으로 초점을 둔 새로운 연방 공동 경보를 제시하지는 않는다.

그렇다고 근본 위험이 허구라는 뜻은 아니다. 독자는 세 가지 증거 층위를 구분해야 한다는 의미다. 관찰된 범죄 활용, 기록된 국가 연계 작전, 테러리스트가 이러한 방법에 어떻게 적응할지에 관한 전망이 있다.

첫 두 층위는 점점 더 충분한 근거를 갖추고 있다. 세 번째는 여전히 발전 중인 위협 평가다. 모든 층위를 동일하게 입증된 것으로 취급하면 경고의 신뢰도는 높아지지 않고, 유용성도 떨어진다.

이 구분은 영향을 받는 대상도 명확히 한다. 이 문제는 정보기관이나 모델 개발사에만 국한되지 않는다. 클라우드 제공업체, 핵심 인프라 운영자, 소프트웨어 팀, 지역 비상계획 담당자 모두가 동일한 위험 사슬 안에 있다.

적대 행위자는 한 서비스로 조사를 하고, 다른 서비스로 코드를 작성하며, 침해된 인프라를 전달 수단으로 사용할 수 있다. 어느 한 기업도 작전 전체를 보지 못한다. 이러한 분절성 탓에 방어자는 별도의 신호가 결합될 때까지 불완전한 그림만 보게 된다.

AI 공격 계획은 하나의 워크플로가 되고 있다

공격자에게 AI가 제공하는 가장 즉각적인 이점은 무기나 테러에 대한 즉각적인 숙련이 아니라, 수많은 작은 작업을 조율하는 능력이다.

전통적인 공격 계획에는 조사, 기술 작업, 물류, 보안, 반복적인 시험이 결합된다. 각 단계는 경험 부족한 행위자의 한계를 드러낼 수 있다. 생성형 도구는 이제 별도의 전문가를 요구하지 않고도 여러 단계에 걸쳐 지원할 수 있다.

가장 명확한 증거는 사이버 작전에서 나온다. Anthropic의 2026년 9월 악용 조사는 행위자들이 Claude를 정찰, 악성코드 개발, 익스플로잇 연구, 피싱 인프라, 정보 수집에 사용한 사례를 설명한다.

조사를 받은 한 행위자는 도메인 조사, 등록, 인프라 구성, 피싱 메시지 발송, 명령 채널 모니터링을 위한 자동화 워크플로를 개발했다. Anthropic은 인간 운영자가 주로 해당 워크플로를 제어하는 Claude Code 스킬을 수정했다고 밝혔다.

또 다른 작전은 정찰과 침해 후 작업에 병렬 AI 에이전트를 활용했다. 주도 에이전트가 하위 에이전트들에 작업을 나눠 맡겼고, 지속 파일에는 표적, 자격 증명, 지침, 캠페인 진행 상황이 저장됐다.

지속적인 캠페인 메모리는 특히 중요하다. 이전 발견 사항을 그대로 유지한 채 작전을 재개할 수 있게 하기 때문이다. 이는 과거에 체계적인 인간 기록 관리에 의존했던 조직적 부담을 줄인다.

보고서는 정부 기관, 외교 공관, 방위 조직, 드론 관련 공급망을 겨냥한 활동도 설명한다. 한 행위자는 탈취한 드론 비전 시스템을 리버스 엔지니어링해 아키텍처와 공급업체에 관한 세부 정보를 복구한 것으로 전해진다.

이 사례들이 테러리스트의 사용을 입증하는 것은 아니다. 하지만 적대 행위자들 사이에서 AI 지원 작전 워크플로가 이미 존재한다는 점을 보여준다. 테러 네트워크도 정찰, 조달, 선전, 사이버 교란을 위해 같은 구조를 모방하려 할 수 있다.

AI는 전문 언어에 대한 접근성도 높인다. 행위자는 익숙하지 않은 코드, 하드웨어, 문서에 대해 후속 질문을 할 수 있다. 모델은 사용자가 계속 진행할 만큼 이해할 때까지 설명을 재구성할 수 있다.

이런 튜터링 기능은 단일한 유해 답변보다 더 중대한 의미를 갖는다. 정적인 매뉴얼은 정보를 제공하지만 혼란을 진단할 수는 없다. 대화형 모델은 이해의 공백을 파악하고 다음 단계를 제안할 수 있다.

공격 계획에는 표적 선정도 포함된다. 모델은 공개 일정, 지도, 이미지, 시설 정보, 소셜 미디어 게시물을 정리할 수 있다. 사용자가 선택한 기준에 따라 장소를 비교할 수도 있다.

그렇다고 모든 출력이 정확하다는 뜻은 아니다. 모델은 세부 정보를 지어내고, 맥락을 잘못 읽으며, 취약한 코드를 생성한다. 그러나 집요한 사용자는 수정을 요청하거나 출력을 비교하고, 모델을 외부 도구와 연결할 수 있다.

코언의 가장 강한 주장은 AI가 계획 주기를 극적으로 단축한다는 것이다. 이 결론은 조사와 행정 업무에는 개연성이 있다. 그러나 물리적 공격 전체에 걸쳐 이를 입증하기는 더 어렵다.

실제 작전은 텍스트 생성으로 제거할 수 없는 제약에 부딪힌다. 공격자에게는 여전히 접근권, 자재, 자금, 은밀성, 시험, 물리적 실행이 필요하다. 모델은 시뮬레이션 환경 밖에서 구성 요소들이 함께 작동한다고 보장할 수 없다.

AI가 실제 시스템에 연결될 때 위험은 커진다. 고립된 챗봇은 코드를 제안할 수 있다. 셸, 브라우저, 자격 증명, 클라우드 계정에 접근하는 에이전트는 행동을 시도하고 결과를 활용해 접근 방식을 수정할 수 있다.

이 피드백 루프는 방어 과제를 바꾼다. 보안 통제는 악의적 콘텐츠뿐 아니라, 개별적으로는 평범해 보이는 행동의 연쇄도 탐지해야 한다. 도메인 검색, 문서 요약, 코드 시험은 함께 볼 때에만 의심스러워질 수 있다.

이 때문에 제공업체들은 개별 프롬프트보다 행동 양식을 점점 더 살핀다. 단일 요청은 무해해 보일 수 있다. 긴 세션은 정찰, 표적 개발, 조달, 안전장치 무력화 시도를 드러낼 수 있다.

워크플로 관점은 선정주의를 피하는 데도 도움이 된다. AI는 스스로 정치적 표적을 선택하는 자율적 배후 조종자가 아니다. 인간 행위자의 의도와 집요함을 증폭할 수 있는 유연한 조율 시스템이다.

그 증폭 효과는 고르게 나타나지 않는다. 숙련된 운영자는 속도와 규모를 얻는다. 초보자는 지침과 구조를 얻는다. 조직은 여러 작업 흐름을 동시에 운영할 능력을 얻는다.

방어자에게 이러한 각각의 이득은 서로 다른 문제를 만든다. 위험한 답변을 차단하는 것은 초보자에게 지침을 제공하는 문제만 다룬다. 조율된 에이전트를 탐지하려면 더 긴 기간에 걸친 계정, 인프라, 행동 정보가 필요하다.

역량은 성공적인 공격의 증거보다 빠르게 높아지고 있다

핵심 긴장은 유해한 AI 역량은 측정할 수 있는 반면, 그것이 완료된 테러 공격에 기여했는지는 여전히 입증하기 어렵다는 데 있다.

경고는 흔히 역량, 의도, 영향을 함께 묶는다. 이러한 요소들은 분리해 평가해야 한다. 테러 단체가 성공적으로 사용한 사례가 없어도 모델은 특정 역량을 보유할 수 있다.

의도는 더 관찰하기 쉽다. 극단주의 행위자들은 합성 미디어, 번역, 선전, 모집, 기술 지침을 실험해 왔다. 이러한 용도는 기존의 소통 전략에 부합하며, 전문 인프라가 거의 필요하지 않다.

2026년 9월의 테러 선전 평가는 모집, 다국어 홍보, 맞춤형 메시지, 자금 조달을 위한 AI 사용이 늘고 있음을 확인했다. 유엔은 선전을 별도의 소통 활동이 아니라 작전 인프라의 일부로 설명했다.

이 증거는 규모에 대한 우려를 뒷받침한다. 소규모 집단도 더 많은 자료를 생성하고, 이를 다양한 대상에 맞게 현지화하며, 변형을 빠르게 시험할 수 있다. 합성 페르소나는 잠재적 모집 대상자와의 대화도 유지할 수 있다.

작전상 영향을 측정하기는 더 어렵다. 선전물의 산출량은 누군가가 모집, 훈련, 자금 지원을 받았는지 또는 폭력으로 유도됐는지를 보여주지 않는다. 많은 콘텐츠가 노출을 만들 수는 있어도 실제 역량으로 이어지지 않을 수 있다.

같은 불확실성은 공격 계획에서도 나타난다. 모델은 기술적 가정이 틀려 실패하는 그럴듯한 계획을 생성할 수 있다. 반대로 숙련된 행위자가 실행 가능한 작전에 통합하는 유용한 조각을 제공할 수도 있다.

연구자들은 따라서 한계 위험에 주목한다. 핵심 질문은 위험한 정보가 온라인에 존재하는지가 아니다. AI가 검색 엔진, 포럼, 매뉴얼 또는 인간 전문가가 이미 제공하던 것보다 유해한 결과의 가능성을 더 높이는지 여부다.

NIST의 생성형 AI 프로필은 앞서 일부 생물학적 위험 평가에서 기존 인터넷 검색을 넘어서는 지원이 미미했다고 지적했다. 또한 모델이 개선되거나 특수 도구에 접근하게 되면 결과가 달라질 수 있다고 경고했다.

이러한 주의는 무기와 사이버 역량에도 적용된다. 텍스트 모델은 개념을 설명할 수 있지만, 실제 실행에는 흔히 암묵지가 필요하다. 암묵지에는 훈련, 테스트, 물리적 경험을 통해 형성된 판단력이 포함된다.

부정확한 기술적 답변은 초보자의 시도를 멈추게 할 수 있다. 의도치 않은 위험을 초래할 수도 있다. 어느 경우든 AI가 공격 성공 가능성을 일관되게 높인다는 주장에는 복잡한 문제가 따른다.

사이버 작전은 환경이 빠른 피드백을 지원하기 때문에 더 강한 증거를 제공한다. 코드를 실행하고, 오류를 모델에 다시 입력하며, 수정 사항을 즉시 테스트할 수 있다. 물리 시스템은 더 느리고 비용이 큰 피드백 주기를 강제한다.

이 차이는 더 정교한 물리적 공격보다 AI 기반 사이버 위협이 먼저 나타나는 이유를 설명한다. 소프트웨어 작업은 이미 텍스트, 파일, 명령 인터페이스를 통해 이뤄진다. 현재 모델이 가장 뛰어난 성과를 내는 환경도 바로 이곳이다.

위험은 모든 사용자에게 균등하게 분포하지 않는다. 역량 있는 공격자는 잘못된 출력을 식별하고 유용한 제안은 보존할 수 있다. 초보자는 결정적 오류를 알아차리지 못한 채 위험하거나 무의미한 지시를 따를 수 있다.

도구 접근성은 또 다른 분기점이다. 취약점 스캐너, 코드 실행 환경 또는 탈취한 자격 증명에 연결된 모델은 엄격한 통제를 받는 공개 챗봇보다 더 큰 위험을 제시한다. 역량은 모델 주변의 전체 시스템에 좌우된다.

FBI의 AI 테러 경고는 이러한 시스템 수준의 변화를 지적할 때 가장 설득력이 있다. 반면 AI가 이미 성공적인 완전 자동화 테러 작전을 만들어냈다는 증거로 해석하면 설득력이 약해진다.

공개 증거는 그러한 광범위한 결론을 뒷받침하지 않는다. Anthropic도 공개한 사례가 일반적인 활동이 아니라 주목할 만하고 새로운 악용 사례를 나타낸다고 말한다. 회사가 탐지한 일부 영향력 공작은 실제 참여가 거의 없었다.

같은 보고서에는 제공업체가 생성한 귀속 및 영향 평가도 포함돼 있다. Anthropic은 자사 서비스 내 활동을 조사할 수 있지만, 외부인은 그러한 판단의 근거가 된 모든 기밀 또는 비공개 신호를 독립적으로 재구성할 수 없다.

이것이 사례를 무시할 이유는 아니다. 일관된 공개 방식을 요구할 이유다. 제공업체는 재현을 가능하게 하는 세부 사항을 드러내지 않으면서 신뢰도 수준, 관찰된 행동, 개입 지점, 알려진 결과를 설명해야 한다.

정부도 같은 과제에 직면한다. 관계자들은 공개할 수 없는 기밀 증거를 보유할 수 있다. 그러면 관찰된 사건과 모델링된 시나리오를 구분할 만큼 충분한 세부 정보 없이 광범위한 경고가 대중에게 전달된다.

신뢰할 수 있는 위험 평가는 이 구분을 유지해야 한다. 역량은 발전하고 있다. 악의적 실험은 문서화돼 있다. AI 지원 테러 공격 계획의 빈도와 효과는 여전히 불확실하다.

압박은 AI 제공업체와 인프라 방어자에게 집중된다

모델 기업과 인프라 운영자는 모든 이례적인 기술 요청을 테러의 증거로 간주하지 않으면서 악의적 캠페인을 탐지해야 한다.

첫 번째 압박 지점은 모델 제공업체다. 기업은 계정 행동, 도구 호출, 프롬프트 순서, 안전장치 우회 시도를 관찰할 수 있다. 이러한 가시성은 작전이 목표물에 도달하기 전에 활동을 드러낼 수 있다.

Anthropic은 계정을 차단하고, 분류기를 개선했으며, 적절한 경우 당국이나 업계 파트너와 정보를 공유했다고 밝혔다. 이러한 개입은 호스팅 모델이 위험과 함께 방어 기회도 제공하는 이유를 보여준다.

호스팅 시스템은 안전장치를 중앙에서 업데이트할 수 있다. 관련 계정, 결제 수단, 네트워크 인프라, 행동 패턴도 연결할 수 있다. 공개적으로 배포된 모델 가중치는 출시 후 제공업체가 개입할 기회를 더 적게 제공한다.

그러나 모델 계층의 감시는 그 자체로 위험을 만든다. 보안 팀은 민감한 대화, 문서 또는 코드를 검토할 수 있다. 오탐은 연구자, 언론인, 방어 담당자, 논쟁적인 주제를 연구하는 사용자에게 영향을 미칠 수 있다.

따라서 맥락이 중요하다. 사이버보안 분석가는 네트워크를 보호하기 위해 익스플로잇 코드를 테스트할 수 있다. 역사학자는 극단주의 자료를 연구할 수 있다. 화학자는 악용 지표와 유사한 기술적 질문을 할 수 있다.

신뢰할 수 있는 검토에는 키워드 차단 이상의 것이 필요하다. 제공업체는 의도 신호, 도구 접근성, 반복 행동, 작전의 진행 단계를 살펴야 한다. 영향이 가장 큰 결정에는 여전히 인간의 상향 검토가 필요하다.

정부 기관도 비슷한 압박에 직면한다. 민간 제공업체의 정보가 필요하지만, 법적 절차와 시민의 자유도 보존해야 한다. 모호한 정보 공유 체계는 감시에 대한 책임을 흐릴 수 있다.

두 번째 압박 지점은 중요 인프라다. AI 지원 공격자도 여전히 노출되었거나 보안이 취약한 시스템을 필요로 한다. 기본적인 취약점이 모델의 정교함보다 더 중요할 수 있다.

2026년 7월 연방 경보는 최소 7개 주의 상수도 시설에서 인터넷에 노출된 프로그래머블 로직 컨트롤러를 겨냥한 공격을 보고했다. 인프라 경보에 따르면 일부 사건은 압력 손실이나 침수를 초래했다.

이 사건들은 방어의 현실을 보여준다. 직접적인 인터넷 노출 제거, 취약한 비밀번호 변경, 네트워크 접근 제한, 로그 보존, 수동 제어 테스트는 여전히 필수적이다. AI가 이러한 통제를 쓸모없게 만들지는 않는다.

사실 자동화가 단순한 취약점을 더 빠르게 찾아낼 때 이러한 취약점은 더 위험해진다. 악의적 시스템은 많은 표적을 스캔하고, 구성을 비교하며, 맞춤형 지침을 생성할 수 있다. 방어자는 모호성이 노출된 장치를 숨겨줄 것이라 가정할 수 없다.

세 번째 압박 지점은 더 넓은 기술 공급망이다. 공격자는 상용 모델, 탈취 계정, 프록시 서비스, 오픈소스 도구, 침해된 호스팅을 결합할 수 있다. 하나의 계정을 막는다고 작전이 중단되는 것은 아니다.

국가안보국과 파트너 기관들도 미국 프런티어 모델의 역량을 추출하려는 산업 규모의 시도에 대해 경고했다. 2026년 9월의 증류 경고는 다른 위협을 다루지만, 같은 통제 문제를 드러낸다.

모델 증류는 생성된 예시를 통해 한 모델의 행동을 다른 모델로 이전한다. 무단 증류는 원래 제공업체의 안전장치와 접근 통제 밖에서 선택된 역량을 재현할 수 있다.

역량이 통제가 덜한 시스템으로 이동하면 계정 차단의 효과는 줄어든다. 위협 행위자는 모델을 비공개로 실행하고, 제한을 수정하거나, 공격 도구와 통합할 수 있다. 탐지는 이후 인프라와 표적 네트워크 쪽으로 이동한다.

이것이 이 글의 핵심 대립 구도를 만든다. 확장되는 역량 대 집행 가능한 안전장치다. 제공업체는 자체 플랫폼을 제한할 수 있지만, 복제된 모든 역량이나 연결된 도구를 통제할 수는 없다.

해답은 단일 콘텐츠 필터에 의존할 수 없다. 방어자는 모델, 신원, 클라우드 서비스, 네트워크, 장치, 사고 보고 전반에 걸친 다층 통제가 필요하다. 한 계층의 실패가 전체 작전을 노출해서는 안 된다.

조직은 증거도 보존해야 한다. 신원 시스템, 엔드포인트, 네트워크 게이트웨이, AI 서비스의 로그는 조사관이 캠페인을 재구성하는 데 도움을 줄 수 있다. 이러한 로그가 없으면 방어자는 최종 침입만 보게 될 수 있다.

따라서 기업 구매자에게 모델 안전성은 운영상의 요구사항이다. 조달 검토는 로깅, 계정 통제, 도구 권한, 상향 조치 절차, 사고 공개 관행을 검토해야 한다.

팀은 AI 에이전트에 최소 권한 원칙을 적용해야 한다. 최소 권한이란 시스템에 할당된 작업에 필요한 접근 권한만 부여하는 것을 의미한다. 문서를 요약하는 어시스턴트에 배포 자격 증명은 필요하지 않다.

영향이 큰 작업에는 명시적 승인이 필요해야 한다. 보안 팀은 실험적 에이전트를 프로덕션 네트워크와 민감한 인프라에서 격리해야 한다. 이러한 관행은 악의적 오용과 우발적 피해를 모두 줄인다.

경고에는 여전히 검증 공백이 있다

우려에 대한 공개적 근거는 상당하지만, 가장 강한 주장은 독립적인 독자가 이용할 수 있는 증거를 넘어선다.

Cohen이 9·11 테러 공격 배후의 수년간 준비와 비교한 것은 인상적이다. 이는 AI 어시스턴트가 정보를 얼마나 빠르게 조합할 수 있는지 전달한다. 그러나 현재 모델이 복잡한 작전 배후의 인간 네트워크를 대체할 수 있음을 입증하지는 않는다.

대규모 공격에는 자금 조달, 모집, 이동, 조달, 표적 접근, 통신 보안, 실행이 필요하다. 이러한 활동 중 다수는 물리적 또는 금융적 흔적을 남긴다. 빠른 계획 문서가 이를 없애지는 않는다.

이 비교는 정보 희소성의 역할을 과장할 수도 있다. 일부 공격 방법에는 이미 광범위한 공개 문서가 존재한다. 더 관련 있는 문제는 AI가 그 정보를 특정 개인, 표적, 제약 조건에 맞게 조정할 수 있는지다.

그러한 적응형 지원은 면밀한 검토가 필요하다. 후속 질문에 답하고 실패한 시도를 진단할 수 있다. 초보자가 찾거나 이해하기 어려운 출처를 결합할 수도 있다.

그럼에도 유창함은 신뢰성이 아니다. 모델은 자신감 있는 언어로 만들어낸 세부 사항을 제시할 수 있다. 고위험 기술 환경에서는 작은 오류 하나가 전체 계획을 무효화할 수 있다.

제공업체 보고서는 또 다른 불확실성을 야기한다. 기업은 탐지한 악의적 작전을 공개하지만, 로컬 모델이나 경쟁 플랫폼을 통해 수행되는 활동은 볼 수 없다. 이들의 보고서는 가치 있지만 불완전한 표본이다.

탐지 개선은 오용이 증가하는 것처럼 보이게 할 수도 있다. 더 많은 캠페인을 발견하는 제공업체는 적대적 활동이 더 많아서가 아니라 모니터링이 더 뛰어날 수 있다. 공개 보고는 비교를 위한 안정적인 분모를 거의 제공하지 않는다.

정부 경고도 비슷한 한계가 있다. 기관은 수사를 보호하기 위해 작전 세부 사항을 피할 수 있다. 이는 외부인이 AI가 필수적이었는지, 도움이 됐는지, 부수적이었는지, 아니면 단지 시도됐을 뿐인지 판단하기 어렵게 만든다.

“AI 지원 공격”이라는 표현은 매우 다른 현실을 포괄할 수 있다. 선전물 번역, 악성코드 디버깅, 표적 식별 또는 자율 하드웨어 제어를 의미할 수 있다. 이를 하나의 명칭으로 묶으면 위험 수준이 흐려진다.

유용한 위협 분류 체계는 콘텐츠 생성, 대화형 튜터링, 워크플로 자동화, 자율 행동, 물리적 제어를 구분해야 한다. 각 범주는 서로 다른 안전장치와 증거를 요구한다.

콘텐츠 생성은 규모를 만든다. 대화형 튜터링은 지식 장벽을 낮출 수 있다. 워크플로 자동화는 작전 속도를 높인다. 자율 행동은 직접적인 인간 개입을 줄인다. 물리적 제어는 소프트웨어 결정을 현실 세계의 결과와 연결한다.

가장 경각심을 불러일으키는 공개 주장은 종종 첫 범주에서 마지막 범주로 건너뛴다. 현재 증거는 중간 단계 전반에서 의미 있는 진전을 보여준다. 완전 자율 테러 작전이 흔하다는 점을 입증하지는 않는다.

과도한 주장은 실질적인 비용을 초래한다. 광범위한 감시, 표적 설정이 부정확한 제한, 극적인 시나리오에 따른 보안 지출을 부추길 수 있다. 예측이 현실화되지 않을 경우 대중의 신뢰도 약화할 수 있다.

과소대응에는 다른 비용이 따른다. 탐지 방법을 개발하기 전에 성공한 공격이 발생할 때까지 기다린다면 예방의 기회를 포기하게 된다. 보안 계획은 결과 데이터가 충분히 축적되기 전부터 시작되어야 하는 경우가 많다.

균형 잡힌 입장은 안심도 공황도 아니다. 방어자는 AI를 기존 위협 시스템 안에서 가속을 더하는 계층으로 다뤄야 한다. AI가 비용, 속도, 규모 또는 접근성을 어디에서 바꾸는지 측정해야 한다.

이러한 관점은 인간의 의도를 놓치지 않게 한다. 모델이 스스로 정치적 목표나 불만을 만들어내는 것은 아니다. 무엇을 표적으로 삼을지, 어떤 위험을 감수할지, 행동할지는 사람과 조직이 결정한다.

또한 이는 기존 보안의 중요성을 유지한다. 강력한 인증, 네트워크 분리, 통제된 도구 접근, 검증된 복구 계획, 사람의 검토는 AI 지원 캠페인을 중단시킬 수 있다. 이러한 통제는 공격 주체 식별이 불확실한 경우에도 작동한다.

위협이 고조되고 있는지 보여줄 세 가지 신호

다음 단계는 검증된 운영 증거, 더 강력한 역량 테스트, 그리고 측정 가능한 방어 개입을 통해 판단해야 한다.

첫 번째 신호는 조사관이 AI를 실질적인 계획 수립 요소로 식별한 문서화된 공격이다. “실질적”이라는 말은 해당 작전이 기존 조사 방식으로는 쉽게 제공할 수 없는 지원에 의존했다는 뜻이어야 한다.

조사관은 모델이 무엇을 했는지, 어디에서 계획을 바꿨는지, 그리고 그 출력이 실행을 개선했는지를 보여줘야 한다. 용의자의 기기에서 챗봇 기록을 발견하는 것만으로는 이 기준을 충족할 수 없다.

이러한 증거는 FBI AI 테러 경고의 신뢰성을 크게 강화할 것이다. 논의의 초점이 역량과 시도된 악용에서 입증된 운영상 영향으로 옮겨가게 된다.

그러한 사례가 없다고 해서 안전이 증명되는 것은 아니다. 법 집행기관은 세부 사항을 비공개로 유지할 수 있으며, 일부 작전은 발견되지 않은 채 남는다. 그럼에도 공개적 주장은 확인된 사례와 정보 평가를 구분해야 한다.

두 번째 신호는 사이버, 무기, 생물학, 전술 정보 과제에 대한 독립 평가의 진전이다. 평가는 개별 질문이 아니라 완전한 워크플로를 시험해야 한다.

개념을 설명하는 모델과 계획을 세우고, 시험하고, 실패에서 회복하며, 도구를 사용할 수 있는 모델은 다르다. 평가는 이 단계들을 각각 측정하고 인간 기준선과 성능을 비교해야 한다.

결과는 모델 제공업체 외부에서도 재현될 필요가 있다. 독립 평가자는 유리한 안전성 결과나 극적인 위협 주장을 강조하려는 유인을 줄일 수 있다. 또한 일관된 조건에서 안전장치를 시험할 수 있다.

연구자들은 AI가 초보자, 전문가 또는 양쪽 모두에게 도움이 되는지 보고해야 한다. 주로 전문가를 가속하는 시스템은 초보자에게 완전히 새로운 역량을 제공하는 시스템과 다른 정책 문제를 제기한다.

세 번째 신호는 조율된 개입이 실제로 캠페인을 교란하는지 여부다. 행위자가 프록시, 탈취된 자격 증명 또는 로컬 호스팅 모델을 통해 즉시 돌아온다면 계정 차단만으로는 큰 통찰을 제공하지 못한다.

제공업체와 기관은 반복적으로 사용되는 인프라, 연관 계정, 캠페인 기간, 서비스 간 이동을 추적해야 한다. 집계 보고는 방어 조치가 비용을 높이는지, 아니면 짧은 지연만 만드는지를 보여줄 수 있다.

핵심 인프라 운영자 역시 침입 이전에 AI와 연계된 정찰 활동이 나타나는지 보고해야 한다. 이러한 증거는 모델 플랫폼에서의 활동과 표적 네트워크에서 관찰되는 행동을 연결할 것이다.

이러한 신호는 정부 기관만큼이나 개발자와 기업 구매자에게도 중요하다. 조직들은 점점 더 모델을 리포지토리, 브라우저, 터미널 및 비즈니스 시스템에 연결하고 있다. 새 도구 하나하나는 계정 침해의 결과를 확대한다.

팀은 어떤 에이전트가 코드를 실행하고, 외부 서비스에 연락하고, 비밀 정보를 가져오거나, 프로덕션 리소스를 수정할 수 있는지 목록화해야 한다. 승인 규칙은 인터페이스의 대화형 외관이 아니라 역량을 따라야 한다.

보안 책임자는 실패 경로도 시험해야 한다. 에이전트를 중지하고, 자격 증명을 철회하고, 로그를 보존하며, 영향을 받은 시스템을 복원하는 방법을 알아야 한다. 이러한 통제는 모델의 협조 없이도 작동해야 한다.

지식 근로자도 작지만 실질적인 역할을 한다. 민감한 자격 증명, 인프라 세부 정보, 내부 문서는 승인되지 않은 도구에 붙여넣어서는 안 된다. 침해된 계정이나 라우팅 서비스는 그러한 교환 내용을 노출할 수 있다.

FBI AI 테러 경고는 궁극적으로 비대칭성을 설명한다. 공격자는 많은 시스템에서 저렴하게 실험할 수 있지만, 방어자는 모든 핵심 의존성을 보호해야 한다. AI는 그러한 실험의 속도를 높인다.

해답은 모든 모델 사용자를 용의자로 취급하는 것이 아니다. 고영향 활동을 숨기기 어렵고, 자동화하기 어렵고, 중단하기 쉽게 만드는 것이다.

독자는 모델 역량을 실제 운영 결과와 연결하는 증거를 주시해야 한다. 또한 제안된 안전장치가 실제 워크플로를 다루는지, 아니면 단지 불안감을 주는 단어만 차단하는지 물어야 한다.

그 질문은 유용한 보안 정책과 보여주기를 구분하게 할 것이다. AI 지원 공격 계획은 이미 신뢰할 만한 위험으로 여겨진다. 그 규모, 신뢰성, 그리고 성공적인 테러에 미치는 영향은 이제 정부와 제공업체가 확립해야 할 사실로 남아 있다.