AXA XL AI 거버넌스 경고: 도입이 감독을 앞지르고 있다

AXA XL은 AI 도입이 위험한 임계점을 넘었다고 말한다. 시스템은 핵심 워크플로에 진입하고 있지만, 거버넌스·보안·사고 대응은 여전히 몇 걸음 뒤처져 있다.

AXA XL의 AI 거버넌스 경고는 9월 23일 인텔리전스 및 사이버보안 컨설팅 기업 S-RM과의 공동 보고서를 통해 나왔다. 이 보고서는 조직이 AI 위험을 협소한 컴플라이언스 과제로 다루는 일을 멈춰야 한다고 주장한다. 이제 AI는 민감한 정보, 소프트웨어 접근 권한, 비즈니스 의사결정, 외부 벤더와의 관계에까지 영향을 미친다.

이는 배포 속도와 운영 통제 사이의 충돌을 만든다. 기업은 에이전트와 생성형 AI를 일상 워크플로에 도입하려 하지만, 많은 기업이 모든 시스템, 책임자, 데이터 소스, 하류 의존성을 신뢰성 있게 식별하지 못한다.

이 경고가 더욱 무게를 갖는 이유는 AXA XL이 보험과 리스크 컨설팅의 관점에서 이 문제를 보기 때문이다. 보험사는 장애가 어떻게 발생하는지, 얼마나 심각해질 수 있는지, 서로 다른 손실이 연결돼 있는지를 이해해야 한다. AI는 이 세 가지 질문을 모두 복잡하게 만든다.

따라서 핵심 문제는 모델이 때때로 잘못된 답변을 내놓는지 여부보다 더 크다. 기업들은 그 접근 권한을 둘러싼 지속적인 감독 체계를 마련하기 전에 AI 시스템에 더 많은 접근 권한과 권한을 부여하고 있다.

AXA XL AI 거버넌스 경고, 위험을 컴플라이언스 너머로 확장하다

이 보고서의 가장 중요한 변화는 AI 실패를 단순한 모델 품질 문제가 아니라 기업 회복탄력성 문제로 다룬다는 점이다.

AXA XL은 AXA의 재산, 상해 및 특수 위험 부문이다. S-RM은 사이버보안, 인텔리전스, 기업 위험 분야에서 조직에 자문을 제공한다. 양사의 공동 회복탄력적 AI 보고서는 AI 배포를 사이버 사고, 사기, 책임, 사업 중단 및 제3자 관련 실패와 연결한다.

이 시점은 AI가 일반적인 운영 환경으로 얼마나 빠르게 진입했는지를 보여준다. AXA XL은 조직의 88%가 최소 하나의 비즈니스 기능에서 AI를 사용한다는 연구를 인용한다. 이제 도입은 통제된 실험과 고립된 챗봇을 넘어섰다.

직원들은 생성형 시스템을 이용해 기록을 요약하고, 커뮤니케이션 초안을 작성하며, 문서를 분석하고, 의사결정을 지원한다. 소프트웨어 제공업체 역시 고객이 이미 사용 중인 제품에 AI를 내장하고 있다. 따라서 조직은 별도의 AI 프로젝트를 승인하지 않고도 새로운 AI 의존성을 갖게 될 수 있다.

에이전트형 시스템은 위험도를 더욱 높인다. AI 에이전트는 여러 단계를 거쳐 목표를 추구할 수 있는 소프트웨어로, 때로는 외부 도구를 사용하거나 다른 시스템을 수정하기도 한다. 그 위험은 무엇을 읽을 수 있는지, 무엇을 변경할 수 있는지, 그리고 사람이 그 행동을 검토하는지에 달려 있다.

AXA XL은 이 전환기에 직면한 조직을 위해 다섯 가지 우선순위를 제시한다. 리더는 승인된 시스템, 내장형 AI 기능, 섀도우 AI에 대한 명확한 책임 체계를 마련해야 한다. 또한 ID 및 접근 통제를 강화하면서 민감한 데이터를 보호해야 한다.

조직에는 데이터 수집, 개발, 배포, 모니터링, 사고 대응을 포괄하는 라이프사이클 거버넌스도 필요하다. 벤더 실사는 외부 서비스 내부의 AI 의존성까지 고려해야 한다. 마지막으로 기업은 기존 보험 분류를 가로지르는 손실에 대비해야 한다.

이 마지막 지점은 중요하다. 하나의 사건이 조작된 모델에서 시작해 기밀 정보를 노출하고, 운영을 중단시키며, 책임 청구로 이어질 수 있다. 동일한 사고가 사이버보안, 프라이버시, 전문 서비스, 경영 의사결정과 관련될 수 있다.

AXA XL의 리스크 컨설팅 책임자인 Jonathan Salter는 이 충돌을 직접적으로 요약했다. 그는 AI가 조직이 의존하는 시스템으로 들어가고 있지만, 거버넌스가 항상 그 속도를 따라가지는 못한다고 말했다.

그의 관점은 질문을 “이 모델은 정확한가?”에서 “이 시스템이 실패하면 사업에는 어떤 일이 일어나는가?”로 전환한다. 이 질문에는 책임자, 에스컬레이션 경로, 검증된 통제 수단, 복구 계획이 필요하다.

보고서는 흔한 지름길도 배제한다. 출시 전 보안 검토만으로는 배포 후의 지속적인 통제를 보장할 수 없다. 모델은 변하고, 벤더는 서비스를 업데이트하며, 직원들은 새로운 활용법을 발견하고, 접근 권한은 확대된다.

AXA XL은 현재 조직의 64%가 배포 전에 AI 도구 보안을 평가한다고 말한다. 이는 1년 전의 37%에서 늘어난 수치다. 그러나 이러한 개선은 여전히 진입 지점만 다룬다. 도구가 첫 검토를 통과한 뒤에도 위험은 계속된다.

이는 AXA XL AI 거버넌스 경고의 첫 번째 주요 함의다. 승인은 영구적인 안전 인증서 역할을 할 수 없다. 감독은 시스템의 운영 수명 전체에 걸쳐 이어져야 한다.

AI 도입은 인벤토리와 책임성의 위기를 만든다

기업은 찾을 수 없고, 분류할 수 없으며, 책임 있는 담당자에게 배정할 수 없는 AI 시스템을 거버넌스할 수 없다.

인벤토리 문제는 파편화에서 시작된다. 일부 AI 애플리케이션은 공식적인 기술 프로그램을 통해 도입된다. 다른 것들은 고객 서비스 플랫폼, 생산성 제품군, 보안 제품 또는 개발자 도구에 내장된 기능으로 등장한다.

직원들은 승인 없이 소비자용 서비스를 사용할 수도 있다. 흔히 섀도우 AI라고 불리는 이 관행은 승인된 통제 범위 밖으로 비즈니스 정보를 노출할 수 있다. 위험은 의도적인 정책 위반에만 국한되지 않는다.

직원은 일반적인 소프트웨어 기능이 회사의 기존 승인 범위에 포함된다고 합리적으로 생각할 수 있다. 그러나 그 기능은 데이터를 다른 모델 제공업체로 전송하거나, 다른 조건에 따라 프롬프트를 보관하거나, 외부 서비스를 통해 콘텐츠를 생성할 수 있다.

따라서 효과적인 인벤토리는 단순한 모델 이름 목록 이상이어야 한다. 각 사용 사례를 비즈니스 책임자, 기술 책임자, 목적, 데이터 소스, 권한, 벤더, 영향받는 사용자, 복구 프로세스와 연결해야 한다.

또한 시스템이 단지 행동을 추천하는지, 아니면 직접 실행할 수 있는지도 기록해야 한다. 읽기 전용 권한을 가진 요약 도구는 메시지를 보내고, 거래를 승인하거나, 운영 기록을 변경할 수 있는 에이전트와 다른 노출 위험을 가진다.

AXA XL의 사이버 리스크 컨설팅 서비스 책임자인 Rebiah Bardot-Girard는 조직이 AI가 어디에서 작동하는지, 어떤 정보에 접근할 수 있는지, 어디에서 행동에 영향을 줄 수 있는지를 알아야 한다고 주장한다. 이 인벤토리는 회복탄력성의 출발점이 된다.

이 권고는 미국 국립표준기술연구소가 관리하는 AI 위험 프레임워크와도 밀접하게 일치한다. NIST는 거버넌스를 AI 시스템의 수명 전반에 걸친 지속적 기능으로 설명한다.

이 프레임워크는 조직의 위험 우선순위에 따라 AI 시스템을 목록화하는 메커니즘을 요구한다. 또한 조직이 책임을 문서화하고, 통제를 모니터링하며, 제3자 구성 요소를 평가하고, 안전한 폐기를 계획하도록 요청한다.

이런 활동은 행정 업무처럼 들릴 수 있지만, 기업이 사고 발생 시 대응할 수 있는지를 결정한다. 보안 팀은 에이전트가 어떤 자격 증명을 사용하는지 모르면 접근 권한을 신속히 철회할 수 없다. 법무 팀도 어떤 기록이 시스템에 들어갔는지 알지 못하면 노출 위험을 평가할 수 없다.

비즈니스 책임자에게는 의도된 행동과 실패를 구분할 수 있을 만큼의 문서도 필요하다. 에이전트가 승인되지 않은 커뮤니케이션을 전송한 경우, 조사자는 입력값, 모델 버전, 지침, 도구 호출, 승인 절차 및 그에 따른 행동을 재구성해야 한다.

이러한 증거는 벤더 대시보드, 로컬 애플리케이션, ID 시스템, 직원 메시지 전반에 흩어져 있을 수 있다. 정의된 기록이 없다면 기업은 무슨 일이 일어났는지, 또는 동일한 취약점이 다른 곳에도 남아 있는지를 판단하기 어려울 수 있다.

검색 가능한 지식 베이스를 유지하면 팀이 정책과 기술 기록을 정리하는 데 도움이 될 수 있다. 그러나 문서는 책임자가 이를 운영 중인 시스템과 연결해 둘 때만 도움이 된다.

책임성은 문제의 또 다른 절반이다. AI는 보안, 프라이버시, 법무, 조달, 제품 및 운영을 포함해 조직 경계를 자주 가로지른다. 각 팀이 하나의 통제를 담당하는 동안, 완전한 비즈니스 결과를 책임지는 사람은 없을 수 있다.

모델 개발자는 테스트를 관리할 수 있지만 직원이 제공하는 정보는 관리하지 않을 수 있다. 조달 부서는 계약 조건을 검토할 수 있지만 운영 권한은 검토하지 않을 수 있다. 보안 부서는 결함 있는 비즈니스 의사결정의 결과를 이해하지 못한 채 기술 이벤트를 모니터링할 수 있다.

명확한 책임성이 모든 문제를 중앙 AI 조직에 배정한다는 뜻은 아니다. 이는 누가 위험을 수용하는지, 누가 통제를 유지하는지, 누가 행동을 모니터링하는지, 누가 시스템을 중단시킬 수 있는지를 명시한다는 뜻이다.

마지막 권한은 중요하다. 팀은 AI 워크플로를 늦추고, 격리하거나, 비활성화할 사전 정의된 조건이 필요하다. 그렇지 않으면 부서들이 책임 소재를 논의하는 동안 상업적 압력이 문제 있는 시스템을 계속 가동하게 만들 수 있다.

따라서 AXA XL의 AI 거버넌스 메시지는 단순히 “정책을 작성하라”가 아니다. “배포된 모든 역량을 권한, 증거, 대응 경로와 연결하라”는 것이다.

실제 상충 관계는 접근 권한과 통제 사이에 있다

AI는 더 많은 맥락과 권한을 얻을수록 유용해지지만, 바로 그 특성 때문에 침해되거나 신뢰할 수 없는 시스템이 초래할 수 있는 피해도 커진다.

독립형 챗봇은 잘못된 텍스트를 생성할 수 있다. 통합 에이전트는 비공개 기록을 검색하고, 내부 도구를 호출하며, 그 결과에 따라 행동할 수 있다. 두 번째 시스템은 더 큰 비즈니스 가치를 제공할 수 있지만, 오류에서 손실로 이어지는 경로도 더 넓어진다.

AXA XL과 S-RM은 관련 위협으로 데이터 유출, 프롬프트 인젝션, 모델 조작, 신뢰할 수 없는 출력, 섀도우 AI, 과도한 자율성을 꼽는다.

프롬프트 인젝션은 악의적이거나 신뢰할 수 없는 콘텐츠가 모델을 의도된 지침에서 벗어나게 하는 경우에 발생한다. 이 공격은 시스템이 처리하는 문서, 웹페이지, 이메일 또는 데이터 소스 안에 나타날 수 있다.

모델이 도구를 호출할 수 있을 때 위험은 커진다. 조작된 응답은 더 이상 화면 속 텍스트에 머무르지 않을 수 있다. 데이터베이스 쿼리, 발신 메시지, 워크플로 의사결정 또는 정보 전송에 영향을 줄 수 있다.

이 환경에서도 전통적인 접근 통제는 여전히 중요하다. AI 시스템은 사용자가 광범위한 접근 권한을 편리하게 여긴다는 이유만으로 광범위한 권한을 받아서는 안 된다. 시스템 ID에는 승인된 사용 사례에 필요한 리소스만 부여해야 한다.

권한에는 행동에 대한 경계도 필요하다. 읽기 권한은 쓰기 권한과 같지 않다. 응답 초안을 작성하는 것은 이를 전송하는 것과 다르며, 거래를 추천하는 것은 이를 승인하는 것과 다르다.

인간의 감독은 여전히 중요하지만, 이 표현은 약한 통제를 감출 수 있다. 수백 개의 출력이 너무 빠르게 또는 관련 맥락 없이 도착한다면 명목상의 검토자는 의미 있는 감독을 제공할 수 없다.

조직은 어떤 의사결정에 승인이 필요한지, 검토자가 어떤 증거를 받는지, 아무도 응답하지 않을 때 시스템이 어떻게 작동하는지를 정의해야 한다. 또한 검토자가 검토 없이 출력을 일상적으로 수용하는지 측정해야 한다.

기업이 에이전트를 민감한 비즈니스 프로세스에 연결할수록 이 상충 관계는 더 뚜렷해진다. 시스템의 유용성은 고객 이력, 기술 문서, 재무 기록, 계약 또는 직원 데이터에 좌우될 수 있다.

이러한 맥락은 관련성을 높일 수 있다. 동시에 안전하지 않은 통합, 과도한 보관, 침해된 계정 또는 부주의한 프롬프트를 통해 가치 있는 정보를 노출할 수도 있다.

AXA XL의 다섯 가지 보안 설계 기반은 데이터 거버넌스, 안전한 모델 및 애플리케이션, 회복탄력적인 벤더 생태계, 접근 통제, 지속적인 모니터링을 통해 이 문제를 다룬다. 어느 하나만으로 완전한 보호를 제공하지는 않는다.

데이터 거버넌스는 시스템이 사용할 수 있는 정보를 정의한다. 보안 애플리케이션 설계는 입력, 출력, 도구 연결을 제한한다. 신원 통제는 시스템이 접근할 수 있는 범위를 제한한다.

그다음 모니터링은 예상치 못한 접근, 비정상적인 도구 사용, 출력 변화, 정책 위반 시도를 탐지해야 한다. 사고 대응 계획은 기술적 격리와 비즈니스상 결과를 모두 다뤄야 한다.

더 넓은 AXA 조직은 이러한 통제가 배포를 금지하는 것이 아니라 지원할 수 있음을 보여준다. AXA는 AI Risk Library, 공정성 도구, 전문가 검토, 그룹 전반의 지침을 포함하는 AI 거버넌스 프로그램을 설명한다.

AXA는 또한 전 세계 사업 전반에서 공유 AI 인프라를 확대해 왔다. Insurance Business는 AXA XL 관련 업무를 포함해 2026년 9월까지 Global AI Hub가 5개 법인에서 운영되고 있었다고 보도했다.

이는 시사하는 바가 큰 대비를 만든다. AXA는 기술과 거리를 둔 채 기업에 AI를 피하라고 경고하는 것이 아니다. AI를 배포하는 동시에 접근 통제, 거버넌스, 운영 책임이 함께 발전해야 한다고 주장한다.

이는 AXA 자체의 통제가 모든 위험을 제거한다는 뜻은 아니다. 공개된 설명은 독립적인 테스트나 실제 사고에서 나온 증거를 대체할 수 없다. 다만 이제 논쟁은 도입과 비도입 사이의 선택이 아님을 보여준다.

실질적인 경쟁은 관리된 도입과 제대로 관찰되지 않는 도입 사이에서 벌어진다. 전자는 접근을 증거와 연결된 제한적 권한으로 다룬다. 후자는 통합 속도를 성공으로 간주한 뒤 나중에 통제를 추가하려 한다.

보험은 거버넌스 프레임워크가 아직 측정하지 못하는 것을 드러낸다

보험 관점은 어려운 진실을 보여준다. 조직은 AI 통제를 설명하기는 보험사가 그에 따른 손실 노출을 정량화하기보다 더 쉽다.

보험은 손실 발생 빈도, 손실 규모, 그리고 많은 보험계약자가 동시에 피해를 볼 수 있는지를 파악하는 데 의존한다. 생성형 AI는 이러한 질문에 답할 수 있을 만큼 축적된 성숙한 보험금 청구 이력이 거의 없다.

결함이 있는 하나의 시스템은 수많은 기업에 영향을 줄 수도 있다. 많은 조직이 동일한 기반 모델, 클라우드 제공업체, 소프트웨어 서비스 또는 데이터 파이프라인에 의존한다. 공유된 취약점은 많은 피보험 기업에 걸쳐 상관된 손실을 초래할 수 있다.

이러한 관계는 전통적인 위험 풀링을 복잡하게 만든다. 보험사는 산업 전반에 걸쳐 노출을 분산했다고 생각할 수 있지만, 실제로는 고객들이 동일한 기저 AI 제공업체에 의존하고 있을 수 있다.

실패 범주도 서로 겹칠 수 있다. 환각 답변은 전문직 배상책임을 유발할 수 있다. 데이터 노출은 개인정보 및 사이버 보험 청구로 이어질 수 있다. 자동화된 결정은 규제 조치나 차별 주장으로 이어질 수 있다.

AI 의존 워크플로에 영향을 미치는 중단은 운영 손실을 초래할 수 있다. 합성 미디어를 활용한 사기는 범죄 보장, 신원 통제, 내부 승인 절차와 맞물릴 수 있다.

이러한 복잡성은 AXA XL이 기업들에 사이버, 사기, 책임, 영업 중단에 걸친 시나리오를 준비하라고 요구하는 이유를 설명한다. 조직은 최초의 기술적 사건뿐 아니라 결과의 전체 사슬을 검토해야 한다.

Center for Strategic and International Studies의 최근 보험 시장 분석은 유사한 장애물을 설명한다. 이 분석은 제한적인 배포 데이터와 정보 비대칭이 보험사의 AI 위험 평가 능력을 제약한다고 주장한다.

정보 비대칭은 고객이 보험사보다 자신의 노출에 대해 더 많이 알고 있음을 의미한다. 기업은 어떤 모델을 사용하는지, 어떤 정보를 처리하는지, 프롬프트를 어떻게 관리하는지, 인간 검토가 실제로 작동하는지를 알고 있다.

보험사는 설문지나 고수준의 통제 설명만 받을 수 있다. 모든 배포 환경 내부의 일상적인 행태를 쉽게 관찰할 수는 없다.

이는 보험사가 더 나은 증거를 요구할 강력한 이유가 된다. AI 인벤토리, 접근 로그, 사고 기록, 테스트 결과, 공급업체 문서는 위험을 더 가시적으로 만들 수 있다.

그러나 거버넌스 산출물은 거버넌스 성과와 동일하지 않다. 완전한 정책이 직원들이 이를 준수한다는 것을 보여주지는 않는다. 테스트 결과가 공급업체 업데이트가 이전 동작을 유지한다는 것을 보장하지도 않는다.

AXA XL의 권고를 비판적으로 읽는 출발점은 여기다. 다섯 가지 우선순위는 타당하지만, 이 보고서는 기업이 이를 효과적으로 구현했음을 입증하는 보편적 측정 체계를 제공하지 않는다.

조직은 시스템, 규제 의무, 자원, 사용 사례 측면에서 크게 다르다. 마케팅 문안 작성에 적합한 통제는 의료, 신용, 고용 또는 핵심 인프라에는 불충분할 수 있다.

AI의 행동은 맥락에 따라 달라질 수도 있다. 시스템은 통제된 테스트를 통과할 수 있지만, 사용자가 익숙하지 않은 입력을 제공하거나 연결된 도구가 예기치 않은 데이터를 반환할 때 실패할 수 있다.

NIST는 AI 수명주기 전반에 걸친 테스트, 평가, 검증 및 확인을 강조해 왔다. NIST의 2026년 작업에는 모델, 멀티모달 시스템, 에이전트 전반의 실제 결과를 평가하기 위한 프레임워크 초안이 포함된다.

이 방향은 정적인 검토만으로는 모든 운영 조건을 포착할 수 없기 때문에 중요하다. 조직에는 실제 비즈니스 결과와 연결된 반복 가능한 평가가 필요하다.

또한 어떤 잔여 위험을 수용하고, 줄이고, 회피하거나 이전할지 결정해야 한다. 보험은 재정적 손실의 일부를 흡수할 수 있지만, 유출된 정보를 복구하거나 해로운 결정을 되돌리거나 훼손된 신뢰를 즉시 회복할 수는 없다.

보장 범위에는 사이버, 전문직 배상책임, 범죄 및 기타 보험 사이의 경계가 포함될 수도 있다. 이러한 경계를 넘나드는 AI 사고는 어떤 보험증권이 대응하는지를 둘러싼 분쟁을 낳을 수 있다.

따라서 기업은 보험을 거버넌스의 대체물로 취급하지 않아야 한다. 한편 보험사는 거버넌스 프레임워크가 위험을 자동으로 측정 가능하게 만든다고 가정할 수 없다.

AXA XL의 AI 위험 입장을 더 강하게 해석하면 조건부 결론에 이른다. 더 나은 거버넌스는 더 나은 증거를 만들고, 더 나은 증거는 더 정보에 기반한 인수 심사를 뒷받침할 수 있다. 그렇다고 모든 AI 노출이 보험 가능한 것이 되는 것은 아니다.

규제는 거버넌스 표류의 비용을 높인다

AI 시스템이 여러 관할권, 비즈니스 기능, 규제 대상 결정에 걸쳐 작동할수록 배포와 감독 사이의 격차는 더 비싸진다.

AI 규칙은 하나의 보편적 규정 준수 기준으로 도래하지 않는다. 조직은 개인정보 보호, 사이버 보안, 소비자 보호, 지식재산권, 고용, 산업 규제 및 계약상 의무를 고려해야 한다.

유럽연합의 AI Act는 적용 범위에 속하는 시스템에 위험 기반 의무를 추가한다. 다른 관할권은 기존 법률을 적용하거나 서로 다른 AI 특화 규칙을 개발한다. 다국적 기업은 동일한 워크플로를 두고 여러 의무에 직면할 수 있다.

이러한 파편화는 운영상 압박을 만든다. 한 시장이나 목적에서 승인된 시스템이 다른 곳에서는 다른 문서화, 테스트 또는 인간 감독을 요구할 수 있다.

공급업체 관계는 문제를 더 어렵게 만든다. 고객은 모델을 만들지 않을 수도 있고, 학습 데이터를 통제하지 않을 수도 있으며, 제공업체가 모델을 변경하는 시점을 결정하지 못할 수도 있다. 그러나 여전히 시스템이 사람과 비즈니스 프로세스에 어떤 영향을 미치는지는 고객이 결정한다.

계약은 보안 책임, 사고 통지, 데이터 처리, 감사 권한, 하도급업체, 모델 변경, 서비스 연속성 및 계약 종료를 다뤄야 한다. 조달팀도 이러한 조항을 평가할 만큼의 기술적 맥락이 필요하다.

일반적인 소프트웨어 검토는 AI 특유의 의존성을 놓칠 수 있다. 해당 서비스는 여러 모델 제공업체, 검색 시스템, 데이터 처리업체 및 모니터링 도구에 의존할 수 있다. 각 구성 요소는 행동이나 노출이 바뀔 수 있는 또 다른 지점을 추가한다.

따라서 AXA XL의 공급업체 실사 권고는 제공업체가 책임 있는 AI 원칙을 공개하는지 확인하는 데 그치지 않는다. 구매자는 실제 서비스 및 사용 사례와 연결된 증거가 필요하다.

구매자는 어느 당사자가 모델 행동을 모니터링하는지, 누가 로그를 보관하는지, 제공업체가 사고를 얼마나 빨리 보고하는지를 알아야 한다. 또한 계약 종료 후 고객 데이터가 어떻게 되는지도 이해해야 한다.

이는 모든 조직이 공급업체의 소스 코드나 학습 코퍼스를 조사할 수 있다는 뜻은 아니다. 많은 제공업체는 해당 정보를 공개하지 않을 것이다. 이는 구매자가 그로 인한 불확실성을 식별하고 사용 사례가 이를 감내할 수 있는지 결정해야 한다는 의미다.

조직은 저위험 초안 작성 지원에는 제한적인 투명성을 수용할 수 있다. 그러나 중요한 결정이나 자율적 행동을 위해 동일한 제공업체에 의존하기 전에는 더 강한 증거를 요구해야 한다.

AXA의 2025년 미래 위험 조사 결과는 이러한 거버넌스 격차가 이미 주목받는 이유를 보여줬다. 전문가들은 AI 및 빅데이터 위험을 전 세계적으로 네 번째로 높게 평가했다.

AI를 주요 위험으로 선택한 응답자 가운데 전문가의 43%는 인간의 이익 또는 권리에 대한 위협을 주된 우려로 꼽았다. 투명성 부족과 일관되지 않은 규제가 그 뒤를 이었다.

이들 전문가 중 공공 당국이 AI 및 빅데이터 위험에 잘 대비되어 있다고 본 비율은 11%에 불과했다. 응답자들은 공공 대응으로 더 강력한 규제와 더 나은 위험 거버넌스 프레임워크를 우선시했다.

이 수치는 개별 기업 내부의 거버넌스 품질을 측정하지는 않는다. 다만 기존 제도가 기술의 속도를 따라가지 못했다는 광범위한 우려를 보여준다.

거버넌스 표류는 실제 시스템이 문서화된 통제 환경보다 빠르게 변화할 때 발생한다. 새 기능이 등장하거나, 모델 버전이 바뀌거나, 사용자가 워크플로를 확장하거나, 공급업체가 통합 기능을 추가할 수 있다.

원래의 검토는 파일에 남아 있을 수 있지만, 그 가정은 오래될 수 있다. 이러한 상황에서 형식적 규정 준수는 잘못된 확신을 만든다.

따라서 지속적인 감독에는 변경 관리가 포함되어야 한다. 모델, 데이터, 도구, 권한 또는 의도된 사용이 바뀔 때 팀은 재테스트를 수행할 트리거가 필요하다.

사고와 아차사고에서 얻는 피드백도 필요하다. 손실을 일으키지 않은 사건도 취약한 접근 통제, 모호한 소유권 또는 신뢰할 수 없는 에스컬레이션 절차를 드러낼 수 있다.

규제 측면의 질문은 단순히 기업이 AI 정책을 보유하고 있는지가 아니다. 그 정책이 여전히 시스템의 실제 동작을 설명하는지 여부다.

감독이 따라잡고 있는지를 보여줄 세 가지 신호

기업 AI의 다음 단계는 기업이 공개하는 거버넌스 원칙의 수가 아니라 운영 증거로 평가받게 될 것이다.

첫 번째 신호는 기업이 내장형 및 승인되지 않은 AI까지 포함하는 신뢰할 수 있는 인벤토리를 구축하는지 여부다. 이 지표는 승인된 모델 수를 세는 것을 넘어선다.

신뢰할 만한 인벤토리는 시스템을 데이터, 권한, 공급업체, 소유자 및 비즈니스 결과와 연결해야 한다. 또한 단순히 콘텐츠를 생성하는 것이 아니라 행동할 수 있는 에이전트도 식별해야 한다.

조직이 인벤토리 범위, 감사 결과 또는 알려지지 않은 AI 사용 감소를 공개하기 시작한다면 AXA XL의 진단은 실질적인 뒷받침을 얻게 될 것이다. 이는 기업들이 가시성을 통제의 기반으로 인식한다는 것을 보여줄 것이다.

대부분의 기업이 자체 보고 도구 목록과 일회성 승인에 계속 의존한다면 거버넌스 격차는 남을 것이다. 섀도우 AI와 내장된 공급업체 기능은 공식 검토 밖에서 계속 확장될 것이다.

두 번째 신호는 지속적인 테스트와 사고 훈련의 도입이다. 배포 전 보안 평가는 증가하고 있지만, AXA XL은 출시 검토만으로는 충분하지 않다고 주장한다.

조직은 프롬프트 인젝션, 데이터 유출, 과도한 권한, 신뢰할 수 없는 출력 및 공급업체 장애를 테스트해야 한다. 훈련에는 법무, 보안, 운영, 커뮤니케이션 및 비즈니스 책임자가 참여해야 한다.

가장 유용한 테스트는 결과에 초점을 맞출 것이다. 기업은 승인되지 않은 도구 사용을 탐지할 수 있는가? 에이전트의 자격 증명을 격리할 수 있는가? 결정을 재구성하고 영향을 받은 당사자에게 통지할 수 있는가?

증가하는 실제 사고 데이터는 거버넌스와 보험 모두를 강화할 수 있다. 조직이 통제를 비교하는 데 도움이 되는 동시에, 보험 인수 담당자에게 발생 빈도와 심각도에 관한 더 나은 정보를 제공할 수 있다.

공유되는 사고 증거가 부족하면 신뢰는 약화된다. 기업은 더 강력한 감독 체계를 주장하면서도, 자체 시스템 밖에서는 보이지 않는 실패를 반복할 수 있다.

세 번째 신호는 보험사와 규제기관이 비교 가능한 증거를 요구하는지 여부다. AI 인벤토리, 접근 통제, 인간 검토, 벤더 의존성, 모니터링에 관한 보험 인수 질문을 주시해야 한다.

규제기관이 광범위한 원칙을 구체적인 문서화 및 테스트 요구사항으로 어떻게 전환하는지도 살펴봐야 한다. 더 명확한 증거 요건은 구매자, 벤더, 보험사의 불확실성을 줄일 수 있다.

잘못된 대응은 서류 작업 경쟁이 될 것이다. 기업은 운영 중인 시스템을 통제하지 못한 채 방대한 정책 문서를 만들 수 있다. 증거는 실제 권한, 행동, 모니터링, 대응 역량을 반영해야 한다.

더 나은 대응은 거버넌스를 배포 결정과 연결하는 것이다. 고위험 시스템에는 더 강력한 통제, 더 빈번한 테스트, 더 명확한 중단 규칙이 적용되어야 한다. 저위험 사용 사례는 이에 비례하는 대우를 받아야 한다.

개발자와 제품팀에게 이는 출시 전에 워크플로에 관측 가능성과 검토 절차를 설계해야 한다는 뜻이다. 사고 발생 후 추가된 로깅으로는 누락된 맥락을 복원하지 못할 수 있다.

엔터프라이즈 구매자는 제품이 무엇에 접근할 수 있는지, 무엇을 변경할 수 있는지, 그리고 제공업체가 업데이트를 어떻게 알리는지 물어야 한다. 또한 통합 이후 발생하는 실패의 책임자가 누구인지도 파악해야 한다.

지식 근로자는 편리한 AI 기능이 조직적 노출을 초래할 수 있음을 이해해야 한다. 민감한 기록, 고객 세부 정보, 내부 전략, 독점 문서는 승인된 처리 경로가 필요하다.

AXA XL의 AI 거버넌스 경고는 결국 익숙한 배포 패턴에 문제를 제기한다. 먼저 출시하고, 나중에 책임 소재를 정하며, 문제가 발생한 뒤 모니터링을 추가하는 방식이다.

기업이 기술을 사용하기 전에 모든 AI 위험을 제거할 필요는 없다. 다만 어떤 위험을 수용하는지, 그리고 가정이 실패했을 때 누가 조치할 수 있는지는 알아야 한다.

향후 1~3개월은 기업이 운영상의 변화로 대응하는지, 아니면 추가적인 정책 문구만 내놓는지를 보여줄 것이다. 완전한 인벤토리, 반복적인 라이프사이클 테스트, 증거 기반 보험 인수 질문을 살펴봐야 한다.

이러한 신호는 또 한 번의 AI 원칙 물결보다 더 중요할 것이다. 귀사의 조직은 민감한 데이터에 접근하거나 비즈니스 활동에 영향을 미칠 수 있는 모든 AI 시스템을 매핑했으며, 그 지도가 최신 상태로 유지된다는 것을 입증할 수 있는가?