Meerah Rajavel, 오픈 AI 모델이 사이버 보안 가드레일을 앞지를 수 있다고 경고

Meerah Rajavel은 강력한 경고를 내놓았다. 오늘날의 통제된 프런티어 시스템이 아니라 저렴한 오픈 AI 모델이 가장 큰 신흥 사이버 보안 위협이라는 것이다. Palo Alto Networks 최고정보책임자인 Rajavel은 Google News를 통해 확인된 8월 30일 인터뷰에서 이 같은 주장을 펼쳤다.

그녀의 우려는 좁혀지고 있는 역량 격차에 집중돼 있다. Rajavel은 고급 기능이 프런티어 시스템에 등장한 뒤 4~6개월 안에 공개적으로 이용 가능한 모델에도 도달할 수 있다고 말한다. 이후 공격자는 감시되는 상용 서비스에 계속 접근할 필요 없이 컴퓨팅 자원과 기술 역량만 있으면 된다.

이 차이는 보안 논의를 바꾼다. Google, OpenAI, Anthropic 같은 폐쇄형 제공업체는 활동을 모니터링하고, 사용자를 차단하고, 보호장치를 개정하고, 접근 권한을 철회할 수 있다. 다운로드 가능한 모델 가중치가 사설 시스템 전반으로 퍼지면 이러한 통제는 대체로 사라진다.

이 경고가 오픈 모델이 이미 폐쇄형 모델보다 더 많은 사이버 공격을 유발한다는 증거는 아니다. 이는 접근성, 경제성, 통제력에 관한 전망이다. 핵심 갈등은 개방형 개발의 이점과 집행 가능한 가드레일이 제공하는 보안 가치 사이에 있다.

Google News 보도는 4~6개월의 시간 창에 주목한다

Rajavel의 핵심 주장은 위험한 AI 역량이 비용 하락과 배포 확대에 따라 통제하기 더 어려워진다는 것이다.

원문 Rajavel 인터뷰에서 그녀는 프런티어 모델과 공격자가 직접 운용할 수 있는 저렴한 시스템을 구분한다. 프런티어 서비스는 비용을 요구하며, 일반적으로 고위험 행위에 대한 제한을 둔다.

이러한 경제적 장벽이 자금력이 풍부한 범죄자나 국가 지원 조직을 막지는 못한다. 그러나 역량이 낮은 행위자의 실험을 제한할 수는 있다. 호스팅 서비스는 제공업체가 의심스러운 프롬프트를 식별하고, 계정을 종료하며, 증거를 보존할 기회도 제공한다.

Rajavel은 비슷한 역량이 다운로드 가능한 모델에 도달하면 균형이 바뀐다고 주장한다. 공격자는 모델을 비공개로 실행하고, 동작을 수정하고, 반복 시도를 자동화하며, 제공업체의 악용 모니터링 시스템을 피할 수 있다.

그녀의 4~6개월 추정치는 인터뷰에서 가장 중요한 주장이다. 이는 프런티어 역량이 등장한 뒤 더 저렴한 대안이 널리 접근 가능해지기까지의 संभाव可能한 시차를 설명한다.

이 추정치를 보편적인 기술 법칙으로 받아들여서는 안 된다. 모델마다 학습 품질, 도구 접근성, 하드웨어 요구 사항, 사이버 성능이 다르다. 일부 오픈 시스템은 가장 강력한 호스팅 모델보다 크게 뒤처질 것이다.

그럼에도 공격자가 언제나 이용 가능한 최상의 지능을 필요로 하는 것은 아니다. 모델은 정찰, 피싱, 코드 수정, 취약점 연구 또는 자격 증명 탈취의 경제성을 개선하기만 하면 된다.

사이버 작전은 수많은 더 작은 작업으로도 구성된다. 강화된 네트워크를 자율적으로 침해할 수 없는 모델이라도 메시지를 작성하고, 코드를 검사하고, 유인 문구를 번역하거나, 스크립트를 조정할 수 있다.

이는 규모의 문제를 만든다. 공격자가 요청별 감독 없이 수천 개의 비공개 세션을 실행할 수 있을 때, 미미한 역량 향상도 중요한 결과를 낳는다.

용어에는 주의가 필요하다. 오픈 소스 AI로 설명되는 많은 시스템은 더 정확히는 오픈 웨이트 모델이다. 학습된 매개변수는 다운로드할 수 있지만, 학습 데이터, 개발 과정 또는 전체 소스 자료는 공개되지 않을 수 있다.

이 구분은 라이선스와 투명성 측면에서 중요하다. 그러나 Rajavel의 즉각적인 보안 논지, 즉 역량 있는 시스템을 복제하고 수정하며 비공개로 운용할 수 있는 능력과는 관련성이 더 낮다.

그녀의 발언은 AI 에이전트가 더 큰 독립성을 얻는 시점에 나왔다. 에이전틱 시스템은 모델이 작업을 계획하고, 도구를 사용하며, 여러 단계에 걸쳐 행동하도록 하는 소프트웨어다.

초기 챗봇은 주로 사람이 검토할 텍스트를 생성했다. 이제 에이전트는 파일을 탐색하고, 코드를 작성하고, 외부 서비스를 호출하며, 기업 시스템과 상호작용할 수 있다.

이러한 권한은 정당한 자동화와 악용 모두에 더 많은 기회를 만든다. 또한 기존의 프롬프트 필터링이 보안 문제의 일부에 불과하게 만든다.

Rajavel은 기업이 AI 시스템이 의도된 경계를 벗어날 수 있는 지점을 살펴봐야 한다고 말한다. 여기에는 모델, 도구, 연결된 데이터, 사용자 권한, 런타임 환경, 소프트웨어 종속성이 포함된다.

Google News 헤드라인은 도발적인 결론을 담고 있지만, 그 근본 논지는 더 넓다. 저렴한 공격 역량은 하나의 위협이며, 안전하지 않은 기업 도입은 또 다른 위협을 만든다.

다운로드된 모델은 공격자를 도울 수 있다. 기업 내부에서 통제 없이 운영되는 모델 역시 정보를 유출하거나, 안전하지 않은 지시를 실행하거나, 과도한 접근 권한을 물려받을 수 있다.

따라서 Rajavel의 경고는 두 전선을 연결한다. 조직은 더 역량 있는 적대자에 대비하는 동시에 빠르게 확대되는 자체 AI 사용을 보호해야 한다.

저렴한 AI가 사이버 공격의 경제성을 바꾼다

가장 중요한 변화는 AI가 완전히 새로운 범죄를 발명한다는 점이 아니라, 익숙한 공격을 확장하는 데 필요한 노동을 줄인다는 점이다.

사이버 범죄는 언제나 경제성에 의존해 왔다. 공격자는 캠페인에서 기대되는 수익을 도구, 인프라, 접근 권한, 숙련된 노동력의 비용과 비교한다.

AI는 이 비용 중 여러 항목을 줄일 수 있다. 경험이 적은 운영자가 낯선 코드를 이해하고, 기술 문서를 요약하며, 사회공학 메시지를 맞춤화하는 데 도움을 줄 수 있다.

비공개 모델은 반복적인 실험도 지원한다. 공격자는 행동 제한을 제거하고, 시스템을 미세 조정하며, 자동화된 워크플로에 통합할 수 있다.

Rajavel은 Palo Alto Networks가 7만 명 이상의 고객을 지원하며 네트워크를 통과하는 약 300억 건의 공격을 차단한다고 말한다. 이 수치는 전 세계 위협 환경 전체가 아니라 회사의 가시성을 설명한다.

그녀는 또한 회사가 직전 연도 동안 이전에 확인되지 않았던 공격 약 2억 5천만 건을 발견했다고 밝혔다. 그녀의 인터뷰에 따르면, 이는 전년 수준의 네 배였다.

이전에 확인되지 않았던 이벤트가 자동으로 AI 생성 공격을 의미하지는 않는다. 새로운 탐지는 공격자 행동의 변화, 개선된 센서, 확대된 고객 범위 또는 수정된 분류 방식 때문에 증가할 수 있다.

그러므로 Rajavel의 수치는 인과관계를 입증하기보다 방어 규모를 보여준다. 이는 공격자 생산성의 작은 향상조차 보안 팀에 부담을 줄 수 있는 이유를 보여준다.

AI가 텍스트 생성을 넘어설 때 위협은 더 심각해진다. 도구에 접근할 수 있는 모델은 시스템을 조사하고, 가설을 검증하고, 명령을 수정하며, 여러 단계의 목표를 추구할 수 있다.

Anthropic의 2025년 사이버 평가는 취약점 식별과 복잡한 공격 체인에서 뚜렷한 진전을 확인했다. 평가된 모델은 여전히 긴 계획과 예기치 못한 장애물에 어려움을 겪었다.

이 조합은 중요하다. 현재의 한계는 자율형 AI가 전문 공격자를 대체했다는 단순한 주장을 막는다. 동시에 성능 향상은 전문가의 속도를 높이고 역량이 약한 행위자를 더 유능하게 만들 수 있다.

상용 제공업체는 관찰된 악용에 대응할 수 있다. 분류기를 업데이트하고, 도구를 제한하고, 접근 권한을 줄이거나, 의심스러운 활동과 연관된 계정을 조사할 수 있다.

오픈 웨이트는 이러한 관계를 바꾼다. 제공업체는 개선된 안전 지침을 공개할 수 있지만, 다운로드된 모든 복사본을 원격으로 업데이트할 수는 없다.

이와 같은 영속성은 정당한 사용자도 지원한다. 연구자는 결과를 재현할 수 있고, 기업은 민감한 정보를 로컬 인프라에 보관할 수 있으며, 개발자는 특수 작업에 맞게 모델을 조정할 수 있다.

그래서 이 갈등은 단순히 책임 있는 기업과 무책임한 오픈 개발자의 대립이 아니다. 개방성은 실질적인 경제적, 과학적, 보안상 이점을 만든다.

방어자는 접근 가능한 모델을 사용해 악성코드를 검사하고, 로그를 검색하고, 경보를 분류하며, 공격을 연구한다. 소규모 조직은 하나의 공급업체에 의존하지 않고도 보호 도구를 구축할 수 있다.

경제적 비대칭성은 작업마다 다르다. 방어자는 많은 시스템을 지속적으로 보호해야 하지만, 공격자는 성공적인 경로 하나만 필요할 수 있다.

AI는 방어자가 막대한 양의 신호를 처리하도록 도울 수 있다. 동시에 공격자가 그러한 방어를 통과하는 단 하나의 실수를 찾도록 도울 수도 있다.

Rajavel의 자체 기업 수치는 방어 측면을 보여준다. 그녀는 Palo Alto Networks가 수년 전 12%였던 정보기술 운영 자동화 비율을 83%로 높였다고 말했다.

그녀는 또한 IT 운영 비용이 2년 동안 거의 72% 감소했다고 보고했다. 출장 및 비용 처리 과정은 AI와 프로세스 재설계를 통해 90% 자동화에 도달했다.

이는 독립적으로 감사를 받은 인과적 결과가 아니라 회사가 보고한 성과다. 그럼에도 이는 기업이 AI를 빠르게 도입하도록 이끄는 생산성 향상을 보여준다.

긴장은 직접적으로 뒤따른다. 방어 자동화를 매력적으로 만드는 동일한 경제성이 공격 자동화의 비용도 낮춘다.

비공개 오픈 모델은 모든 벤치마크에서 가장 강력한 상용 모델을 능가할 필요가 없다. 특정 공격 워크플로에 충분한 역량, 경제성, 적응성을 갖추기만 하면 된다.

따라서 보안 팀은 모델 순위를 유일한 위협 신호로 사용하지 않아야 한다. 배포 자유도, 도구 통합, 운영 비용은 순수한 벤치마크 성능만큼 중요할 수 있다.

오픈 모델은 중앙 통제를 적응성과 맞바꾼다

오픈 웨이트 AI는 혁신과 방어 접근성을 분산시키지만, 호스팅 서비스가 유지하는 중앙 집행 지점도 제거한다.

폐쇄형 모델 제공업체는 고객이 요청을 제출하는 관리형 연결인 애플리케이션 프로그래밍 인터페이스를 통제한다. 이러한 통제는 인증, 속도 제한, 로깅, 악용 탐지를 지원한다.

제공업체는 출시 후에도 서비스를 변경할 수 있다. 취약점을 패치하고, 분류기를 강화하고, 기능을 제한하거나, 모델을 제거할 수 있다.

이러한 조치는 완벽하지 않다. 공격자는 계정을 만들고, 의도를 숨기고, 작업을 분산하고, 보호장치를 우회하거나, 접근 자격 증명을 탈취할 수 있다.

폐쇄형 시스템도 위험을 집중시킨다. 제공업체의 보안 실패는 많은 고객에게 영향을 줄 수 있으며, 불투명한 학습 및 조정 관행은 외부 검토를 제한한다.

오픈 웨이트 시스템은 여러 특성을 뒤집는다. 사용자는 접근성과 맞춤화를 얻는 반면, 원 개발자는 후속 복사본에 대한 지속적인 통제력을 잃는다.

Anthropic의 2026년 오픈 웨이트 입장은 이러한 절충안을 포착한다. 이 회사는 위험한 역량이 없는 오픈 모델을 지지하며 일률적인 금지에는 반대한다.

회사가 밝힌 우려는 모델이 위험한 사이버 또는 생물학적 역량에 도달하는 시점에서 시작된다. 그러한 가중치가 공개되면 복사본은 비공개로 운용될 수 있고 보호장치는 제거될 수 있다.

이 입장은 Rajavel의 논지 일부를 뒷받침하지만, 오픈 모델이 범주적으로 가장 큰 위협이라는 점을 확립하지는 않는다. Anthropic은 통제된 모델 접근 방식에 상업적 이해관계를 갖고 있다.

오픈 모델 개발자와 옹호자들은 다른 논거를 제시한다. 외부 연구자는 행동을 검토하고, 테스트를 재현하고, 완화책을 개발하며, 방어 용도에 맞게 시스템을 조정할 수 있다.

로컬 배포는 데이터 통제도 지원한다. 병원, 법률 사무소 또는 보안 팀은 자신이 관리하는 인프라 안에서 민감한 자료를 처리하는 방식을 선호할 수 있다.

오픈 시스템은 제공업체 정책과 가용성에 대한 의존도를 낮춘다. 학계, 스타트업, 공공기관, 상용 서비스의 혜택을 충분히 받지 못하는 지역의 접근성을 확대할 수 있다.

그 접근성의 보안상 가치는 분명히 존재한다. 공격 역량과 마찬가지로 방어 전문성과 도구도 고르게 분포되어 있지 않다.

다운로드 가능한 모델은 소규모 보안 팀이 독점 데이터를 외부 제공업체에 전송하지 않고도 의심스러운 스크립트를 분석하도록 도울 수 있다. 반복 가능한 연구도 지원할 수 있다.

문제는 이점과 위해가 동일한 배포 경로를 공유한다는 점이다. 공개 릴리스는 방어자와 공격자를 신뢰성 있게 구분할 수 없다.

이것이 Google News 기사에 담긴 핵심적인 상충 관계다. 중앙 통제는 개입을 가능하게 하는 반면, 분산된 접근은 적응을 가능하게 한다.

어느 하나의 라벨도 이를 해결하지 못한다. “오픈”이 안전을 뜻하는 것은 아니며, “클로즈드”가 보안을 뜻하는 것도 아니다.

더 유용한 질문은 특정 역량이 모니터링 없이 실행될 수 있을 때 실질적으로 더 위험해지는지 여부다. 사이버보안에는 그럴듯한 사례가 여러 있다.

그중 하나는 확장 가능한 취약점 발견이다. 대규모 코드베이스를 분석하는 모델은 방어자가 결함을 찾는 데 도움을 줄 수 있지만, 공격자 역시 같은 역량을 노출된 소프트웨어에 적용할 수 있다.

또 다른 사례는 익스플로잇 개발이다. 모델은 정교한 익스플로잇을 독립적으로 완성하지 못하더라도, 크래시를 설명하고 변형을 생성하며 디버깅을 지원할 수 있다.

세 번째는 캠페인 자동화다. AI는 많은 표적을 대상으로 정찰, 콘텐츠 생성, 코드 변경, 운영상 의사결정을 조율할 수 있다.

모델 행동에 내장된 안전 조치는 가벼운 악용을 줄일 수 있다. 다운로드 가능한 가중치는 의지가 확고한 운영자가 이러한 조치를 수정하거나 우회할 수 있게 한다.

그렇다고 모든 오픈 릴리스가 동일한 위험을 지니는 것은 아니다. 모델 역량, 하드웨어 요구 사항, 미세 조정의 난이도, 도구 통합 여부는 모두 실질적인 위협을 바꾼다.

문서 분류를 개선하는 소형 모델은 알려지지 않은 취약점을 신뢰성 있게 찾아 악용하는 시스템과는 다른 위험을 제시한다.

개방성만을 기준으로 한 정책은 이러한 차이를 무시하게 된다. 역량 기반 평가는 더 정밀한 접근법을 제공한다.

미국 국립표준기술연구소는 강력한 공격적 사이버 작전을 가능하게 할 잠재력을 기준으로 이중 용도 모델을 부분적으로 정의한다. 이 정의는 시도된 안전장치와 무관하게 적용된다.

이러한 틀은 모델의 라이선스에서 실제로 무엇을 할 수 있는지로 관심을 옮긴다. 또한 폐쇄형 안전장치가 실패하거나 우회될 수 있음을 인정한다.

NIST의 접근법이 배포 문제를 없애는 것은 아니다. 역량이 같은 두 모델이라도, 하나는 모니터링 상태로 유지되고 다른 하나는 개인 사본을 통해 확산될 경우 서로 다른 운영상 위험을 제시할 수 있다.

가장 강력한 정책 분석은 두 차원을 모두 고려해야 한다. 역량은 잠재적 위해를 결정하고, 배포는 제공업체나 당국이 개입할 수 있는 용이성을 결정한다.

위험은 AI 공급망 내부에도 존재한다

공개 모델을 사용하는 공격자에게만 초점을 맞추면, 기업이 검증되지 않은 모델·라이브러리·에이전트를 신뢰 환경으로 반입하는 즉각적인 위험을 놓치게 된다.

Rajavel은 AI 보안은 배포 이후에 덧붙일 수 없다고 거듭 주장해 왔다. 기업은 모델, 데이터, 애플리케이션, 인프라, 런타임을 함께 보호해야 한다.

런타임 보안이란 AI 시스템이 작동하는 동안 수행하는 일을 관찰하고 통제하는 것을 뜻한다. 여기에는 프롬프트, 출력, 도구 호출, 파일, ID, 네트워크 연결이 포함된다.

이러한 필요성은 에이전틱 AI와 함께 커진다. 텍스트 초안 작성만 하는 에이전트는 영향 범위가 제한적이다. 코드를 실행하거나 고객 기록을 조회할 수 있는 에이전트는 훨씬 큰 운영상 위험을 수반한다.

기업은 대개 하나의 대형 시스템만 사용하는 대신 여러 모델을 결합한다. 범용 모델이 작업을 계획하는 동안, 더 작은 모델은 문서를 파싱하고 이미지를 분류하거나 구조화된 정보를 추출할 수 있다.

이러한 모듈형 설계는 속도와 비용을 개선한다. 동시에 기존 소프트웨어 인벤토리가 포착하지 못할 수 있는 종속성을 만들어 낸다.

공개 허브에서 다운로드한 모델은 단순한 콘텐츠가 아니다. 형식, 메타데이터, 로딩 코드, 토크나이저, 런타임, 지원 라이브러리 모두 취약점을 유발할 수 있다.

Palo Alto Networks 연구진은 NVIDIA, Salesforce, Apple 연구진과 관련된 오픈 AI 및 머신러닝 프로젝트의 라이브러리 취약점을 공개했다. 취약한 버전은 조작된 모델 메타데이터를 통해 악성 코드를 실행할 수 있었다.

영향을 받은 프로젝트는 NeMo, Uni2TS, FlexTok이었다. 연구진은 취약한 로더가 변조된 모델 파일을 처리할 때 임의 명령을 실행할 수 있다고 밝혔다.

이러한 발견은 오픈 모델이 본질적으로 악성이라는 뜻은 아니다. 이는 AI 아티팩트가 익숙한 종속성과 코드 실행 위험을 지닌 소프트웨어 공급망에 참여한다는 점을 보여 준다.

OWASP의 공급망 가이드는 모델 허브, 패키지, 데이터 플랫폼, 머신러닝 운영 소프트웨어를 가능한 공격 표면으로 지목한다.

이 가이드는 패키지 진위 확인, 버전 모니터링, 종속성 유지 관리를 권고한다. 이러한 관행은 일상적으로 들리지만, AI 개발은 그 적용을 약화시킬 수 있다.

팀은 실험 중에 모델을 다운로드한 뒤 완전한 검토 없이 프로덕션으로 승격할 수 있다. 노트북 중심 작업은 연구와 배포된 소프트웨어의 경계를 흐릴 수 있다.

모델 이름 역시 잘못된 신뢰를 만들 수 있다. 인기, 익숙한 업로더, 높은 다운로드 수는 출처와 무결성 검사를 대체하지 못한다.

조직은 누가 모델을 게시했는지, 어떤 정확한 버전을 사용하는지, 아티팩트가 변경됐는지를 알아야 한다. 라이선스와 알려진 취약점도 추적해야 한다.

보안 팀은 모델 파일을 로드하기 전에 스캔해야 한다. 더 안전한 직렬화 형식을 우선하고, 신뢰할 수 없는 아티팩트를 처리하는 모든 프로세스를 격리해야 한다.

최소 권한 원칙은 여전히 필수적이다. 에이전트에는 편의를 위해 광범위한 접근 권한을 부여하는 대신, 할당된 작업에 필요한 데이터와 도구만 제공해야 한다.

네트워크 제한도 중요하다. 침해된 모델 워크플로가 외부 시스템에 자유롭게 접속하거나 내부 인프라 전반으로 수평 이동해서는 안 된다.

기업은 도구 호출과 민감한 데이터 접근을 기록해야 한다. 로그에는 에이전트가 무엇을 시도했고 어떤 ID가 이를 승인했는지 재구성할 수 있는 충분한 맥락이 필요하다.

사람의 승인은 영향이 큰 경계에서 유지되어야 한다. 금융 이체, 프로덕션 변경, 권한 상승, 외부 커뮤니케이션에는 문서 요약보다 더 강력한 통제가 필요하다.

회의적인 관점도 중요하다. Palo Alto Networks는 보안 제품을 판매하므로, 자사 경영진에게는 확대되는 공격 표면을 강조할 상업적 이유가 있다.

그러한 유인이 Rajavel의 기술적 주장을 무효화하는 것은 아니다. 이는 독자가 검증된 취약점과 측정된 행동을 “가장 큰” 위협에 관한 광범위한 전망과 구분해야 한다는 뜻이다.

그녀의 회사가 집계한 탐지량만으로는 오픈 모델이 특정 비중의 공격을 유발했다는 사실을 입증할 수 없다. 이 인터뷰 역시 오픈 시스템과 폐쇄형 시스템의 비교 사고율을 제공하지 않는다.

4~6개월의 역량 격차 역시 반복적인 검증이 필요하다. 지속성, 은밀성, 환경 적응이 중요한 실제 침해 작업을 공개 벤치마크가 대표하지 못할 수 있다.

폐쇄형 제공업체도 자체적으로 심각한 위험에 직면한다. 계정 통제가 실패할 수 있고, 내부자가 접근 권한을 악용할 수 있으며, 모니터링 시스템이 개입하기 전에 유능한 모델이 유해한 사용자를 지원할 수 있다.

프런티어 모델의 가중치도 탈취될 수 있다. 공격자가 매개변수를 확보해 비공개로 운영한다면, 폐쇄형 시스템의 배포상 이점은 사라진다.

신중한 결론은 헤드라인보다 더 좁다. 역량 있는 모델이 저렴하고 수정 가능하며 모니터링하기 어려워질 때, 오픈 배포는 사이버 위험을 증폭할 수 있다.

이 메커니즘은 신뢰할 만하다. 현재 규모는 여전히 불확실하며, 가정이 아니라 측정을 통해 판단해야 한다.

Rajavel의 경고를 시험할 세 가지 신호

이 논쟁의 다음 단계는 모델 라벨이 아니라 역량 증거, 실제 사고, 집행 가능한 보안 관행에 달려 있다.

첫 번째 신호는 새롭게 출시된 오픈 가중치 모델에 대한 독립적인 사이버 평가다. 연구자들은 고립된 질문이나 코딩 퍼즐뿐 아니라 다단계 작업을 측정하는 테스트가 필요하다.

유용한 평가는 취약점 발견, 익스플로잇 개발, 권한 상승, 지속성, 실패 이후의 적응을 살펴봐야 한다. 유사한 도구와 컴퓨팅 예산 아래 시스템을 비교해야 한다.

오픈 모델과 프런티어 모델 간 격차가 확대된다면 4~6개월 가설은 약화될 것이다. 반복적으로 좁은 격차가 확인된다면 그 가설은 강화될 것이다.

평가 설계는 계속 논쟁의 대상이 될 것이다. 상세한 공격 테스트를 공개하는 행위 자체가 기법을 확산할 수 있는 반면, 비공개 테스트는 결과 감사를 어렵게 만든다.

최선의 프로그램은 악용을 쉽게 만드는 운영 지침을 공개하지 않으면서도 신뢰성을 확보할 충분한 방법론을 제공할 것이다. 독립 평가자는 공급업체 주장에 대한 의존도를 줄일 수 있다.

두 번째 신호는 실제 공격에서 나온 증거다. 보안 공급업체, 모델 제공업체, 정부, 사고 대응 기업은 AI가 공격자 행동을 어떻게 바꾸는지 기록해야 한다.

핵심 질문은 공격자가 어느 시점에 모델을 사용했는지가 아니다. AI가 더 큰 규모, 속도, 접근성, 기술적 역량을 가능하게 했는지 여부다.

증거가 허용하는 경우 조사관은 호스팅 서비스와 비공개로 운영되는 모델을 구분해야 한다. 이러한 구분이 없다면 오픈소스 AI에 대한 광범위한 주장은 여전히 검증하기 어렵다.

또한 역량과 인과관계를 구분해야 한다. 머신이 피싱 문구를 생성할 수는 있어도, 캠페인 표적 선정, 인프라, 수익화를 결정하는 것은 아닐 수 있다.

실제 텔레메트리는 공격자가 어떤 작업을 먼저 자동화하는지 드러낼 수 있다. 모델의 한계가 여전히 인간 전문성을 필요로 하는 지점도 보여 줄 수 있다.

가장 위험한 변화는 익숙하지 않은 환경 전반에서 신뢰성 있게 자율 익스플로잇을 수행하는 능력일 것이다. 이를 위해서는 계획 수립, 도구 사용, 피드백 해석, 오류 복구가 필요하다.

보다 즉각적인 변화는 오케스트레이션과 관련될 수 있다. 인간 운영자는 전략적 의사결정에 대한 통제권을 유지하면서도, 많은 범위가 제한된 작업을 모델에 위임할 수 있다.

세 번째 신호는 정부와 개발자가 역량 기반 릴리스 표준에 수렴하는지 여부다. 이러한 표준은 배포 전에 위험한 기능을 평가할 것이다.

NIST는 이미 이중 용도 파운데이션 모델을 위한 수명주기 관리를 촉진해 왔다. 그 가이드에는 모델 평가, 사이버 악용, 공급망 위험이 포함된다.

실행 가능한 프레임워크는 역량 임계값에서 오픈 및 폐쇄형 개발자 모두에게 적용될 것이다. 하나의 배포 모델이 보편적으로 안전하다고 가정하지 않을 것이다.

시스템이 의미 있는 임계값을 넘으면 오픈 릴리스에는 추가 완화 조치가 필요할 수 있다. 단계적 접근, 독립 테스트, 공개 지연, 특정 고위험 구성 요소의 비공개 유지 등이 선택지다.

각 선택지에는 비용이 따른다. 제한은 시장 지배력을 집중시키고, 방어 연구를 늦추며, 소규모 조직의 접근성을 낮출 수 있다.

전면적인 금지 조치는 실무적으로도 어려움을 겪을 것이다. 가중치는 국경을 넘을 수 있고, 사본은 무기한 남을 수 있으며, 더 작은 모델도 계속 개선되고 있다.

상업적 제공업체에 자동 면제를 부여해서는 안 된다. 이들의 시스템에도 강력한 모니터링, 투명한 보고, 검증된 악용에 대한 신속한 대응이 필요하다.

기업 구매자는 더 즉각적인 결정을 내려야 한다. 모든 모델과 에이전트를 고유한 ID, 권한, 출처, 런타임 행동을 가진 소프트웨어 종속성으로 취급해야 한다.

이는 완전한 AI 인벤토리를 유지한다는 의미다. 팀은 직원이 어떤 모델을 사용하는지, 어떤 데이터가 그 모델에 전달되는지, 어떤 조치를 취할 수 있는지 알아야 한다.

보안 검토는 새로움이 아니라 위험을 따라야 한다. 로컬에서 호스팅되는 요약 도구와 자율 프로덕션 에이전트가 동일한 승인 절차를 거쳐서는 안 된다.

조직은 침해가 발생한 이후 어떤 일이 벌어지는지도 평가해야 합니다. 예방이 언제나 성공할 것이라는 자신감보다, 침해 확산을 차단하는 역량이 더 중요한 경우가 많습니다.

잘 설계된 에이전트는 전체 네트워크를 노출하지 않고도 실패할 수 있습니다. 반면 설계가 부실한 에이전트는 악성 프롬프트 하나를 전사적 사고로 키울 수 있습니다.

지식 근로자에게도 역할이 있습니다. 민감한 자료를 승인되지 않은 서비스에 입력하지 말고, 중대한 영향을 미칠 수 있는 AI 생성 지침은 반드시 검증해야 합니다.

로컬 기술 문서를 다루는 팀은 통제된 출처와 명확한 접근 경계를 바탕으로 검색 가능한 지식 베이스를 구축할 수 있습니다. 이러한 원칙은 모든 AI 작업 공간에 동일하게 적용됩니다.

따라서 Google News를 통해 이 글에 도달한 독자는 Rajavel의 주장을 모든 AI 위협에 대한 확정된 순위가 아니라, 검증 가능한 보안 가설로 받아들여야 합니다.

오픈 모델이 수개월 안에 최첨단 모델 수준의 사이버 성능에 반복적으로 근접하고, 문서화된 공격 사례에 등장한다면 이 주장은 더 설득력을 얻습니다. 반대로 실질적인 역량 격차가 크게 유지된다면 약화됩니다.

호스팅형 모델에서 모니터링이 오용을 의미 있게 제한하지 못하는 경우에도 이 주장은 약화됩니다. 중앙 통제는 제공업체가 이를 효과적으로 활용할 때에만 안전성을 높입니다.

Rajavel의 경고가 궁극적으로 다루는 것은 개입 능력의 상실입니다. 충분히 강력한 모델 가중치가 퍼진 뒤에는 어떤 개발자도 모든 사본을 회수하거나, 모든 보호 장치를 복원하거나, 모든 사용 사례를 조사할 수 없습니다.

이러한 영속성은 진지하게 주목할 가치가 있습니다. 오픈 개발이 뒷받침할 수 있는 방어적 이점, 투명성, 경쟁 역시 마찬가지입니다.

올바른 대응은 안일함도 반사적인 금지도 아닙니다. 더 나은 증거, 역량에 민감한 공개 결정, 안전한 공급망, 그리고 엄격히 제한된 기업용 에이전트가 필요합니다.

다음 주요 오픈 웨이트 모델 공개를 지켜본 뒤, 세 가지 구체적인 질문을 던져보세요. 이 모델은 어떤 사이버 작업을 완료할 수 있는가? 다운로드 후에는 어떤 통제가 사라지는가? 그리고 이러한 역량이 오용된 사례는 어떤 사고를 통해 드러나는가?

이 질문들에 대한 답은 Google News를 통해 부각된 이 경고가 AI 보안의 핵심 문제가 될지, 아니면 여러 경쟁 위협 가운데 하나의 위험으로 남을지를 결정할 것입니다.