Thales, 기업들이 익숙한 사이버 위협보다 AI 위험을 더 두려워한다고 밝혀

Thales는 주목할 만한 역전 현상을 확인했다. 조사 대상 조직의 69%가 빠르게 변화하는 AI 생태계를 생성형 AI 보안과 관련한 가장 큰 우려 사항으로 꼽았다. 멀웨어, 피싱, 랜섬웨어 같은 익숙한 위협도 여전히 활발하지만, 이제 기업들은 스스로 도입하고 있는 시스템과 마주하고 있다.

이 결과가 AI가 이미 랜섬웨어나 멀웨어보다 더 많은 침해 사고를 일으킨다는 뜻은 아니다. 이는 기업들이 AI 도입을 둘러싼 불확실성을 기존의 단일 공격 유형보다 더 우려한다는 점을 보여준다. 보안팀은 피싱 방어 체계를 이해하고 있다. 그러나 데이터에 접근하고, 코드를 생성하며, 비즈니스 작업을 실행할 수 있는 시스템에는 확신이 부족하다.

이 차이는 중요하다. AI 위험은 여러 기존 경계를 넘나들기 때문이다. 사이버 보안, 개인정보 보호, 법적 노출, 모델 신뢰성, 운영 통제를 결합한다. 이제 핵심 갈등은 AI 도입과 저항의 대립이 아니다. 비즈니스 배포 속도와 조직이 이미 도입한 시스템을 관리할 수 있는 역량 간의 대립이다.

설문조사가 드러낸 기업의 우려 변화

기업들은 기존의 사이버 위협 우려를 AI로 대체하는 것이 아니다. AI가 여러 위험을 동시에 증폭할 수 있음을 인식하고 있다.

데이터 위협 보고서는 20개국, 15개 산업 분야의 기술 및 보안 전문가 3,100명 이상을 조사했다. S&P Global Market Intelligence 451 Research가 Thales를 위해 이 조사를 수행했다.

응답자 중 69%는 빠르게 변화하는 AI 생태계를 생성형 AI와 관련된 가장 큰 보안 우려로 선택했다. 모델 무결성이 64%로 뒤를 이었고, 신뢰성은 57%로 그다음 순위를 차지했다.

“빠르게 변화하는 생태계”라는 표현은 단순히 모델 출시를 넘어선다. 여기에는 모델 제공업체, 플러그인, 데이터 서비스, 개발 프레임워크, 에이전트, 그리고 이들을 연결하는 인프라가 포함된다. 각 구성 요소는 독립적으로 바뀔 수 있어, 보안팀이 완전히 통제하지 못하는 의존성 사슬을 만든다.

이는 익숙한 멀웨어 사고와 다르다. 보안팀은 악성 파일을 식별하고 엔드포인트를 격리한 뒤, 그 유입 경로를 조사할 수 있다. AI 시스템은 멀웨어를 포함하거나 전통적인 침해 지표를 보이지 않아도 잘못 작동할 수 있다.

사용자가 승인되지 않은 서비스에 기밀 정보를 입력하면 모델이 이를 노출할 수 있다. 에이전트는 요청자가 의도한 범위를 넘어 데이터를 가져올 수 있다. AI가 생성한 코드는 즉각적인 경고를 발생시키지 않은 채 취약한 의존성을 도입할 수 있다.

이러한 결과는 일반적인 사이버 보안 실패와 유사해 보일 수 있다. 그러나 그 원인은 종종 전통적인 보안 운영 센터 밖에 있다. 조달, 법무, 엔지니어링, 데이터 과학, 컴플라이언스, 비즈니스 팀 모두가 시스템에 영향을 미친다.

조사에서는 응답자의 73%가 AI 전용 보안 도구에 투자하고 있는 것으로 나타났다. 일부는 신규 예산을 받았고, 다른 일부는 기존 보안 지출을 재배정했다. 이 수치는 우려가 이미 구매 및 계획 결정으로 옮겨갔음을 확인해 준다.

그러나 추가 소프트웨어가 불분명한 책임 소재를 자동으로 해결하지는 않는다. 모니터링 제품은 에이전트가 어떤 비즈니스 데이터에 접근해야 하는지 결정할 수 없다. 또한 모든 고객, 직원 또는 규제 대상 워크플로에 허용 가능한 모델 행동을 정의할 수도 없다.

같은 조사에서는 전통적인 공격 범주도 여전히 두드러졌다. 관측된 공격 유형 가운데 멀웨어가 가장 높은 순위를 차지했고, 피싱이 2위, 랜섬웨어가 3위에 올랐다.

이 맥락은 헤드라인의 의미를 제한한다. AI는 생성형 AI 도입을 둘러싼 가장 큰 신흥 우려이지, 기존 위협이 사라졌다는 증거는 아니다. 기업들은 둘 중 하나를 선택하는 대신 서로 겹치는 두 환경을 보호해야 한다.

그럼에도 이러한 변화는 중요하다. 보안 리더들은 AI를 단순히 엔드포인트 보호가 필요한 또 하나의 애플리케이션이 아니라 기업 위험 영역으로 다루고 있다. AI의 실패는 승인된 워크플로 안에서 시작돼 신뢰된 접근 권한을 통해 확산될 수 있다.

AI 보안 위험이 익숙한 통제를 벗어나는 이유

AI는 위험의 단위를 예측 가능한 애플리케이션에서 지시를 해석하고 행동을 선택하는 시스템으로 바꾼다.

기존의 엔터프라이즈 애플리케이션은 보통 정의된 기능을 제공한다. 사용자는 구조화된 데이터를 입력하고, 허용된 작업을 선택하며, 범위가 정해진 결과를 받는다. 보안팀은 이러한 기능을 신원, 권한, 데이터베이스, 감사 기록에 매핑할 수 있다.

생성형 AI는 개방형 지시를 받아들인다. 출력은 프롬프트, 검색된 정보, 모델의 동작, 시스템 구성, 연결된 도구에 따라 달라진다. 이 사슬의 어느 지점에서든 작은 변화가 다른 결과를 낼 수 있다.

AI 에이전트는 여기에 한 층을 더한다. 에이전트는 제한된 사람의 개입으로 모델을 사용해 작업을 계획하고 도구를 호출하는 소프트웨어다. 이러한 도구에는 이메일, 코드 저장소, 고객 데이터베이스, 캘린더, 금융 시스템 등이 포함될 수 있다.

이 아키텍처는 경계 방어 체계가 답하도록 설계되지 않은 위험을 만든다. 유효한 직원은 승인된 인터페이스를 통해 위험한 지시를 내릴 수 있다. 그러면 모델은 승인된 연결을 의도하지 않은 방식으로 사용할 수 있다.

프롬프트 인젝션은 이 문제를 잘 보여준다. 악성 지시는 AI 시스템이 처리하는 문서, 웹페이지 또는 메시지 안에 들어갈 수 있다. 이 지시는 모델을 원래 의도된 작업에서 다른 방향으로 유도하려 한다.

에이전트가 이미 접근 권한을 보유하고 있다면 탈취된 비밀번호는 필요하지 않다. 공격자는 대신 모델의 해석 계층을 겨냥한다. 이로 인해 일반적인 비즈니스 콘텐츠가 잠재적인 제어 채널로 바뀐다.

데이터 검색도 비슷한 과제를 만든다. 검색 증강 생성은 모델이 답변을 만드는 동안 선별된 조직 정보를 사용하도록 한다. 모델이 원래 학습 데이터에 해당 정보를 포함할 필요는 없다.

그러나 검색 품질은 권한과 메타데이터에 좌우된다. 문서 수준의 접근 규칙을 무시하는 검색 인덱스는 사용자가 직접 열 수 없는 자료를 노출할 수 있다. 응답은 자연어 뒤에 이러한 접근 실패를 숨길 수 있다.

이는 계약서, 회의 기록, 지원 티켓 또는 엔지니어링 문서를 기반으로 내부 어시스턴트를 구축하는 기업에 중요하다. 유용한 어시스턴트에는 폭넓은 맥락이 필요하다. 추가되는 모든 소스는 취약한 권한 관리의 결과도 키운다.

직원들은 승인이나 감독 없이 사용하는 AI 서비스, 즉 섀도 AI를 통해 또 다른 노출을 만든다. 직원들은 시간을 절약하기 위해 소스 코드, 고객 기록 또는 사업 계획을 공개 도구에 붙여넣을 수 있다.

이러한 행동은 정책만으로 통제하기 어렵다. 직원들은 AI 채팅창을 외부 데이터 처리자가 아니라 임시 작업 공간으로 보는 경우가 많다. 이 인터페이스는 알 수 없는 웹사이트에 파일을 업로드하는 것보다 덜 위험하게 느껴진다.

AI 감독 관련 조사 결과는 직원의 78%가 업무에서 AI 도구를 사용한다고 답한 설문을 인용했다. 이들 가운데 58%는 대규모 언어 모델에 민감한 회사 정보를 제공했다고 인정했다.

자기 보고 수치는 확인된 데이터 유출을 측정하지 않는다. 그럼에도 이는 AI 위험이 외부 공격자뿐 아니라 권한 있는 사용자에게서 시작되는 이유를 보여준다. 도구에 쉽게 접근할 수 있기 때문에 도입 속도가 공식 검토를 앞지를 수 있다.

과제는 소프트웨어 개발로도 이어진다. AI 어시스턴트는 팀이 검토할 수 있는 속도보다 더 빠르게 코드를 제안할 수 있다. 생성된 함수는 테스트에서는 작동하면서도 안전하지 않은 기본값, 취약한 검증 또는 오래된 의존성을 포함할 수 있다.

보안 스캐너는 알려진 패턴을 포착할 수 있지만, 생성된 로직이 비즈니스 요구 사항과 일치하는지 보장할 수는 없다. 특히 코드가 인증, 결제 또는 규제 대상 정보를 처리할 때는 사람의 검토가 여전히 필요하다.

모델 출력 역시 무결성 위험을 만든다. 시스템은 흔히 환각이라고 불리는 현상인, 높은 확신을 가진 거짓 콘텐츠를 생성할 수 있다. 다른 애플리케이션이 이를 검증된 입력으로 취급할 때 결과는 위험해진다.

잘못된 요약은 불편하다. 잘못된 접근 결정이나 금융 지시는 운영상 결과를 초래한다. 동일한 모델 동작도 이를 둘러싼 도구와 권한에 따라 위험 수준이 달라진다.

이 때문에 AI 보안을 모델 정확도로만 축소할 수 없다. 관련된 질문은 모델이 틀리거나, 조작되거나, 과도한 접근 권한을 부여받았을 때 어떤 일이 일어나는가다.

진짜 갈등은 배포 속도와 통제력의 대립이다

경영진은 지금 측정 가능한 AI 성과를 원하지만, 보안팀은 권한과 실패 경로가 여전히 불분명한 시스템을 떠안는다.

압력은 보안 조직의 상위에서 시작된다. 이사회와 경영진은 CIO가 생산적인 AI 활용 사례를 찾아 운영 마찰을 줄이고 경쟁사에 뒤처지지 않기를 기대한다.

비즈니스 팀은 며칠 만에 AI 파일럿을 시작할 수 있다. 완전한 자산 목록, 권한 모델, 평가 프로세스, 사고 대응 계획을 구축하는 데는 더 긴 시간이 걸린다. 이 시간 차이가 이 글의 핵심 갈등을 만든다.

2026년 Logicalis 설문조사에서는 CIO의 4분의 1 이상이 AI를 중대한 위험으로 간주했다. 응답자들은 CIO 보안 조사 결과에 따르면 이를 멀웨어, 랜섬웨어, 피싱과 함께 꼽았다.

같은 조사에서는 3분의 2가 AI 위험 관리에 관한 직원 교육이 충분하지 않다고 봤다. 또한 CIO의 94%가 사이버 보안 인력 부족에 직면한 것으로 나타났다.

이 결과는 단순한 기술 문제가 아니라 역량 문제를 드러낸다. 조직들은 낯선 유형의 시스템을 추가하고 있지만, 기존 보안팀에는 이미 충분한 전문 인력이 없다.

책임도 분산될 수 있다. CIO는 기술 전략을, CISO는 보안을 책임질 수 있다. 법무팀은 지식재산권 및 규제 노출을 감독한다. 데이터 책임자는 거버넌스를 관리하고, 사업부는 활용 사례를 선택한다.

AI 실패는 어느 한 부서에 명확히 속하지 않으면서도 모든 그룹에 영향을 미칠 수 있다. 책임 소재가 모호하게 남으면 승인 절차가 일관성을 잃고 사고 대응은 느려진다.

기존 사이버 보안 프로그램은 유용한 대비를 제공한다. 조직들은 취약점 관리, 엔드포인트 보호, 신원 관리, 백업, 복구를 위한 프로세스를 정의하는 데 수년을 투자해 왔다.

이러한 통제는 여전히 필수적이다. AI 시스템도 일반적인 클라우드 서비스, 애플리케이션, 사용자 계정 위에서 실행된다. 손상된 신원은 다른 소프트웨어와 마찬가지로 AI 워크플로를 노출시킬 수 있다.

그러나 AI는 전통적 통제만으로는 내릴 수 없는 판단을 추가한다. 방화벽은 생성된 추천에 허용할 수 없는 편향이 있는지 판단할 수 없다. 엔드포인트 소프트웨어는 모델이 올바른 내부 정책을 인용했는지 평가할 수 없다.

그렇다고 별도의 AI 거버넌스 관료 조직을 만들어야 한다는 뜻은 아니다. AI를 사이버 보안에서 완전히 분리하면 통제가 중복되고 새로운 공백이 생긴다.

더 강력한 접근 방식은 기존의 신원 관리, 데이터 분류, 소프트웨어 검토, 사고 관리에서 시작한다. 이후 일반적인 프로세스가 부족한 부분에 모델 평가와 에이전트 전용 통제를 추가할 수 있다.

에이전트는 자격 증명을 통해 행동하므로 신원 관리에 특히 주의할 필요가 있다. 각 에이전트는 자체 신원, 제한된 권한, 문서화된 소유자를 가져야 한다. 공유 계정은 책임 추적을 어렵게 만든다.

권한은 할당된 작업에 필요한 최소한의 행동 범위와 일치해야 한다. 지원 사례를 요약하는 어시스턴트에게 기록 삭제 권한은 필요하지 않다. 코딩 에이전트에게도 제한 없는 프로덕션 접근 권한은 필요하지 않다.

조직에는 최신 인벤토리도 필요하다. 팀은 존재한다는 사실조차 알지 못하는 모델, 플러그인, 데이터 연결을 관리할 수 없다. 조달 기록만으로는 브라우저 도구와 직원이 만든 통합 기능을 놓칠 수 있다.

인벤토리에는 모델 제공업체, 비즈니스 책임자, 데이터 소스, 연결된 도구, 의도된 사용자, 의사결정 권한을 기록해야 한다. 또한 결과물이 사람의 검토를 받는지도 명시해야 한다.

지식 집약적인 업무의 경우, 기업은 소스 자료를 승인된 시스템 내에 유지함으로써 노출을 줄일 수 있다. 통제된 AI 지식 베이스는 팀이 관련 맥락을 검색하도록 지원하면서 접근 경계를 유지할 수 있다.

그 선택이 AI 위험을 없애지는 않는다. 다만 민감한 자료를 서로 관련 없는 소비자 서비스 사이에서 복사하는 것보다 더 명확한 데이터 경로를 제공한다. 결과는 여전히 명확한 책임 소유와 권한 집행에 달려 있다.

목표는 모든 실험을 차단하는 것이 아니다. 지나치게 광범위한 제한은 직원들을 승인되지 않은 도구로 몰아갈 수 있다. 승인된 선택지가 유용하고 접근 가능할 때 거버넌스는 더 효과적으로 작동한다.

헤드라인이 입증하지 않는 것

설문에서 측정한 우려는 인지된 노출 수준일 뿐, AI 사고의 실제 발생 빈도나 재무적 영향을 뜻하지는 않는다.

이 헤드라인은 단순한 결론을 유도한다. AI가 랜섬웨어, 악성코드, 피싱보다 더 위험해졌다는 것이다. 그러나 현재 उपलब्ध한 증거는 그 주장을 뒷받침하지 않는다.

Thales는 응답자들에게 생성형 AI와 관련한 우려를 물었고, 별도로 관찰된 공격 범주를 보고했다. 이 측정치는 서로 다른 질문에 답하므로 직접적인 위험 순위를 구성할 수 없다.

우려 설문은 불확실성, 주목도, 예상되는 결과를 포착한다. 사고 데이터는 조직이 탐지하고 분류한 사건을 측정한다. 어느 쪽도 자동으로 전체 손실을 나타내지는 않는다.

응답자들은 경계가 여전히 불분명하기 때문에 AI를 높은 위험으로 평가할 수 있다. 익숙한 위협은 더 큰 측정 가능한 피해를 일으키더라도 관리하기 쉬운 것으로 느껴질 수 있다.

새로움 역시 응답에 영향을 줄 수 있다. 보안 책임자들은 이사회, 고객, 규제기관, 직원들로부터 AI에 관한 질문을 자주 받는다. 이러한 가시성은 더 많은 사고량을 보여주지 않아도 인지된 위험을 높일 수 있다.

벤더가 후원한 연구는 추가적인 주의가 필요하다. Thales는 사이버 보안 및 데이터 보호 제품을 판매하므로 AI 보안 지출에 상업적 이해관계가 있다. S&P Global Market Intelligence 451 Research가 설문을 수행했지만, 독자들은 여전히 그 프레이밍을 살펴봐야 한다.

이는 조사 결과를 무효화하지 않는다. 다만 이 비율은 좁은 결론을 뒷받침해야 한다는 뜻이다. 즉, 기업들은 높은 우려를 보고하고 있으며 AI 특화 보안에 자원을 투입하고 있다.

이 데이터는 여러 국가와 산업에서 수집됐다. 고객 거래에 에이전트를 사용하는 은행은 내부 글쓰기 도우미를 시험하는 제조업체와 다른 결과에 직면한다.

집계 비율은 그러한 차이를 가릴 수 있다. 위험은 데이터 민감도, 자동화 수준, 사용자 집단, 규제 의무, 모델이 행동할 수 있는 권한에 따라 달라진다.

따라서 기업은 범용적인 AI 보안 체크리스트를 그대로 복제하지 말아야 한다. 영향이 낮은 초안 작성 도구에는 고객 계정을 변경하는 에이전트와 동일한 통제가 필요하지 않다.

또 다른 불확실성은 사고 분류와 관련된다. 공격자가 AI를 이용해 피싱 메시지를 작성할 수 있지만, 조직은 그 사건을 피싱으로 기록할 수 있다. AI가 공격을 도왔지만 보고된 범주가 되지는 않은 것이다.

반대의 경우도 가능하다. AI 애플리케이션 내부의 기존 권한 설정 실수는 새 인터페이스가 실패를 드러냈다는 이유로 AI라는 라벨을 받을 수 있다.

비교가 신뢰할 만해지려면 연구자들에게 일관된 정의가 필요하다. AI를 사용하는 공격, AI 시스템을 겨냥한 공격, 승인된 AI 사용으로 발생한 실패를 구분해야 한다.

NIST의 에이전트 보안 분석은 기본적인 사이버 보안 관행이 여전히 중요하다는 폭넓은 합의를 확인했다. 응답자들은 이러한 관행이 에이전트 보안에 맞게 조정될 필요가 있다고도 말했다.

이는 기존 사이버 보안이 시대에 뒤떨어졌다고 선언하는 것보다 더 유용한 프레이밍이다. AI는 익숙한 인프라 위험을 물려받는 동시에 지시, 접근, 자율적 행동을 위한 새로운 경로를 추가한다.

예산을 너무 빠르게 전환하는 데에도 위험이 있다. 기업에는 여전히 패치 적용, 다중 인증, 백업, 이메일 보안, 검증된 복구 계획이 필요하다. AI 통제는 방치된 기반을 보완할 수 없다.

공격자들은 알려진 약점이 여전히 효과적이기 때문에 자주 이를 악용한다. 취약한 신원 통제 위에 AI 모니터링 계층을 추가하면 기본 노출을 줄이지 못한 채 진전이 있는 듯한 인상을 만들 수 있다.

경영진은 각 투자가 측정 가능한 결과를 어떻게 바꾸는지 물어야 한다. 유용한 측정 지표에는 무단 데이터 접근, 고위험 에이전트 행동, 정책 위반, AI 관련 사고를 억제하는 데 필요한 시간이 포함된다.

보안 팀은 현실적인 조건에서 벤더의 주장을 시험해야 한다. 명백한 프롬프트 인젝션을 탐지하는 제품도 비즈니스 문서에 숨겨진 지시나 여러 단계에 걸쳐 인코딩된 지시에는 실패할 수 있다.

레드팀 훈련은 이러한 약점을 드러낼 수 있다. AI 레드팀은 시스템이 조작, 안전하지 않은 요청, 과도한 권한, 예상치 못한 데이터에 어떻게 대응하는지 시험한다.

테스트는 모델만이 아니라 전체 애플리케이션을 포함해야 한다. 안전한 모델도 광범위한 도구에 연결되면 위험해질 수 있다. 성능이 낮은 모델도 엄격히 제한된 워크플로 내에서는 낮은 위험을 유지할 수 있다.

인적 검토 역시 만능 해답은 아니다. 시스템이 너무 많은 결정을 생성하거나 마감 기한이 속도를 보상할 때, 검토자는 형식적 승인 역할에 그칠 수 있다.

올바른 통제는 결과의 중요도에 달려 있다. 저위험 콘텐츠에는 표본 검토를 사용할 수 있다. 고영향 행동에는 명시적 승인, 독립적 검증 또는 자율 실행을 막는 기술적 제한이 필요하다.

AI 거버넌스가 이사회로 들어가고 있다

기술적 통제만으로는 불명확한 책임성이나 상충하는 비즈니스 인센티브를 해결할 수 없기 때문에 AI 위험은 거버넌스의 문제가 됐다.

공개 공시는 이 문제가 얼마나 빠르게 확대됐는지 보여준다. The Conference Board는 AI 위험을 언급한 S&P 500 기업의 비율이 2023년 12%에서 2025년 83%로 증가했다고 밝혔다.

해당 기관의 거버넌스 연구는 또한 58%가 사이버 보안과 데이터 유출을 가장 중요한 AI 관련 위험으로 지목했다고 밝혔다. 설문에 참여한 경영진 중 10% 미만만이 자사 기업이 AI 규제에 완전히 대비됐다고 답했다.

위험 공시는 사고가 발생했음을 확인하지 않는다. 기업은 공시를 통해 발생 가능한 중대한 위협을 설명하며, 법적 신중함은 광범위한 표현을 유도할 수 있다.

그럼에도 이 변화는 AI가 혁신 팀의 영역을 넘어섰다는 신호다. 이제 이사회는 감독, 에스컬레이션, 경영진 책임성을 고려해야 한다.

이사회의 역할은 개별 모델을 승인하는 것이 아니다. 이사들은 경영진이 AI가 제품, 운영, 직원, 고객에 영향을 미치는 지점을 이해하고 있는지 확인해야 한다.

또한 어떤 배포가 중대한 결정을 내릴 수 있는지도 알아야 한다. 내부 텍스트를 작성하는 도우미는 가격을 업데이트하거나, 자금을 이동시키거나, 접근 권한을 변경하는 에이전트와 다르다.

경영진 보고는 기술적 신호를 비즈니스 영향과 연결해야 한다. 시스템이 뒷받침하는 결정에 대한 설명이 없다면 모델 테스트 점수는 큰 의미가 없다.

유용한 보고서는 기밀 데이터에 접근할 수 있는 AI 시스템의 수를 보여줄 수 있다. 쓰기 권한을 가진 에이전트, 해결되지 않은 고위험 발견 사항, 검토를 기다리는 예외를 식별할 수 있다.

이사회는 집중 위험도 검토해야 한다. 여러 내부 애플리케이션이 하나의 모델 제공업체, 신원 서비스 또는 검색 플랫폼에 의존할 수 있다. 그러면 단일 장애가 여러 비즈니스 기능에 영향을 미칠 수 있다.

제3자 의존성은 보증을 복잡하게 만든다. 기업은 자체 애플리케이션을 보호하면서도 모델 동작, 보존 조건 또는 통합 기능을 변경하는 제공업체에 의존할 수 있다.

계약은 통지, 감사, 데이터 처리 의무를 정할 수 있다. 하지만 모든 기술적 변화를 막을 수는 없다. 팀에는 여전히 모니터링과 비상 계획이 필요하다.

규제는 또 다른 압박 요인이다. 서로 다른 관할권은 AI 시스템을 목적, 산업, 잠재적 피해에 따라 분류한다. 다국적 기업은 중첩되는 개인정보 보호, 사이버 보안, 소비자 보호, AI 특화 요건에 직면할 수 있다.

컴플라이언스가 안전의 유일한 정의가 되어서는 안 된다. 시스템은 문서화 요건을 충족하면서도 과도한 권한을 유지하거나 신뢰할 수 없는 결정을 내릴 수 있다.

반대로 기술 팀은 투명성, 차별, 지적 재산권과 관련된 법적 의무를 다루지 않고도 즉각적인 보안 위험을 줄일 수 있다.

이러한 교차점은 일부 설문에서 AI에 대한 두려움이 익숙한 단일 위협을 넘어선 이유를 설명한다. 위험은 하나의 공격 방식이 아니다. 이는 기술의 전체 수명주기에 걸친 거버넌스 문제다.

조직은 배포 전 명확한 관문이 필요하지만, 지속적인 검토도 필요하다. 초기 승인 이후에도 모델, 데이터, 사용자, 통합 기능은 변한다.

모니터링은 비정상적인 도구 호출, 무단 검색, 비정상적인 데이터 이동, 결과물 품질 변화를 탐지해야 한다. 로그는 어떤 신원이 각 행동을 시작했는지와 어떤 소스가 그 행동에 영향을 미쳤는지를 보여줘야 한다.

사고 계획에는 AI 특화 시나리오가 포함돼야 한다. 팀에는 에이전트 비활성화, 자격 증명 취소, 프롬프트 보존, 영향을 받은 데이터 식별을 위한 절차가 필요하다.

또한 신뢰할 수 없는 결과물이 언제 보고 대상 사고가 되는지도 판단해야 한다. 이 결정에는 보안, 개인정보 보호, 법무, 운영 책임자가 관여할 수 있다.

교육은 직원 역할을 반영해야 한다. 기밀 데이터에 대한 일반적인 경고는 무시하기 쉽다. 개발자, 영업 팀, 분석가, 경영진은 서로 다른 실패 모드에 직면한다.

개발자에게는 생성된 코드와 의존성에 관한 지침이 필요하다. 영업 담당자에게는 고객 데이터에 관한 규칙이 필요하다. 경영진은 딥페이크 사칭과 조작된 의사결정 자료를 인식해야 한다.

따라서 효과적인 거버넌스는 안전한 행동을 더 쉽게 만든다. 승인된 도구는 직원들이 일상 업무를 위해 비공식적인 대안을 찾을 필요가 없을 만큼 충분한 가치를 제공해야 한다.

기업 방어 체계가 따라잡고 있는지 보여줄 세 가지 신호

다음 단계는 에이전트 권한, 검증된 사고 데이터, 거버넌스가 배포 결정에 변화를 만드는 증거를 통해 측정될 것이다.

첫 번째 신호는 더 좁은 에이전트 접근 권한이다. 기업은 고유한 신원을 갖고, 제한된 권한을 부여받으며, 중대한 행동에 대해 사람의 승인을 받는 AI 에이전트가 몇 개인지 보고하기 시작해야 한다.

이 측정은 승인된 애플리케이션 수를 세는 것을 넘어선다. 기업이 소프트웨어에 부여하는 권한을 이해하고 있는지 검증한다.

조직이 공유 자격 증명과 제한 없는 커넥터를 대체할 때 진전이 드러날 것이다. 에이전트가 광범위한 직원 또는 관리자 권한을 상속받는다면 실패가 드러날 것이다.

두 번째 신호는 더 나은 사고 분류다. 보안 보고서는 AI 지원 공격, AI 시스템을 겨냥한 공격, 내부 AI 사용으로 발생한 실패를 구분해야 한다.

신뢰할 수 있는 범주는 기업이 빈도, 심각도, 통제 효과를 비교할 수 있게 해준다. 또한 현재의 우려가 관찰된 피해와 일치하는지도 검증할 수 있다.

보고된 사고의 증가는 방어 체계가 실패했다는 뜻은 아니다. 더 나은 탐지는 손실을 줄이기 전에 더 높은 수치를 만들어내는 경우가 많다.

세 번째 신호는 거버넌스가 실제 배포를 바꾸는지 여부다. 정책은 데이터를 제한하고, 권한을 줄이며, 안전하지 않은 출시를 지연시키거나 추가 테스트를 요구할 때만 의미가 있다.

가장 강력한 증거는 문서화된 범위 변경에서 나올 것이다. 기업은 에이전트의 메시지 전송 기능을 제거하거나, 검색 소스를 제한하거나, 재무 행동에 대한 인적 승인을 유지할 수 있다.

더 약한 신호는 운영 권한이 없는 또 하나의 감독 위원회를 만드는 일이다. 출시 결정을 바꿀 수 없는 거버넌스는 비즈니스 압박을 통제하기 어려울 것이다.

기업들은 사이버 보험사와 규제기관이 AI와 연결된 사고를 어떻게 다루는지도 살펴봐야 한다. 더 구체적인 요건이 마련되면 조직은 통제 수단을 문서화하고 주장과 검증된 역량을 구분해야 할 것이다.

핵심 교훈은 AI가 사이버 보안을 압도했다는 것이 아니다. 기업들이 통제 체계가 성숙하는 속도보다 더 빠르게 확률적 시스템을 가치 있는 데이터와 신뢰받는 비즈니스 도구에 연결하고 있다는 점이다.

이러한 불균형이 우려를 설명한다. 멀웨어, 피싱, 랜섬웨어는 위험하지만 그 작동 방식은 익숙하다. AI는 기업이 적극적으로 확장하려는 워크플로 안에 불확실성을 끌어들인다.

보안 책임자들은 이제 기본적인 사이버 위생을 유지하는 동시에 모델 평가, 에이전트 정체성, 데이터 통제, 부서 간 책임 체계를 추가해야 한다. 어느 한쪽이라도 소홀히 하면 피할 수 있는 공백이 생긴다.

기술 구매자, 개발자, 지식 노동자에게 실질적인 질문은 명확하다. AI 도구는 자신의 업무에 필요한 정보와 권한만 부여받는가?

다음 통합을 실제 운영에 적용하기 전에 이 질문을 던져야 한다. 답을 기록하고 경계를 테스트하며, 시스템이 예기치 않게 행동할 때 누가 이를 멈출 수 있는지 결정하라. 그러한 증거는 조직이 AI를 책임감 있게 사용한다는 또 하나의 포괄적인 약속보다 더 중요할 것이다.