Bonfy의 Shady AI 경고가 드러낸 보안의 다음 거버넌스 과제

Bonfy CEO Gidi Cohen은 승인된 엔터프라이즈 AI 시스템 내부의 우려스러운 거버넌스 공백을 지적했다. 합법적인 접근 권한이 더 이상 적절한 결과를 보장하지는 않는다.

Cohen은 이 문제를 “shady AI”라고 부른다. 이 용어는 승인된 AI가 권한을 부여받은 데이터를 비즈니스 의도, 정책 또는 고객 기대에 어긋나는 방식으로 사용하는 상황을 뜻한다. shadow AI와 달리, 해당 시스템 자체가 보안팀에 숨겨져 있는 것은 아니다.

이 경고는 보안 관련 보도와 Google News를 통해 더 넓은 대중에게 전해졌다. 하지만 중요한 이야기는 또 하나의 눈길을 끄는 사이버보안 용어가 아니다. 이는 익숙한 전제, 즉 유효한 권한으로 작동하는 승인된 기술은 곧 거버넌스가 적용된 기술이라는 전제의 붕괴다.

소프트웨어가 예측 가능한 지시를 따르던 때에는 이 전제가 더 잘 들어맞았다. 직원은 기록을 열고, 필드를 변경하거나, 문서를 내보냈다. 보안팀은 행동을 개인, 권한, 애플리케이션, 타임스탬프와 연결할 수 있었다.

AI는 이러한 관계를 바꾼다. 시스템은 수천 건의 권한 있는 기록을 조회하고, 그 사이의 연결고리를 추론하며, 누구도 직접 요청하지 않은 결과를 생성할 수 있다. 개별 접근은 모두 허용될 수 있지만, 결합된 결과는 경계를 넘을 수 있다.

이 갈등은 엔터프라이즈 보안팀을 만족스럽지 않은 두 선택지 사이에 놓는다. 엄격한 통제로 AI 도입을 늦추거나, 회사 데이터의 모든 후속 사용을 이해하지 못한 채 신속한 배포를 허용하는 방식이다.

어느 쪽도 핵심 문제를 해결하지 못한다. 조직에는 애플리케이션이 데이터에 접근할 수 있는지만이 아니라, 왜 데이터를 사용하는지 평가하는 통제가 필요하다.

Shady AI는 승인된 시스템 내부로 위험을 옮긴다

Shady AI는 악의적인 직원, 알려지지 않은 애플리케이션, 탈취된 자격 증명이 없어도 승인된 워크플로를 거버넌스 문제로 바꾼다.

Cohen은 AI가 관련성과 적절성을 어떻게 구분하는지 논의하면서 이 용어를 소개했다. 그의 주장은 승인된 플랫폼과 의도된 워크플로 안에서 작동하는 시스템에 초점을 맞춘다.

사용자는 올바른 역할을 보유하고 있을 수 있다. 애플리케이션은 보안 검토를 통과했을 수 있다. 기반 기록 역시 모두 합법적인 권한을 통해 이용 가능할 수 있다.

그럼에도 결과로 나온 행동은 정책과 충돌할 수 있다. AI 어시스턴트는 고객 커뮤니케이션, 계약 세부 정보, 지원 이력을 결합해 승인되지 않은 위험 프로필을 만들 수 있다. 각 출처는 관련 있어 보이지만, 이를 결합해 사용하는 순간 데이터의 목적이 바뀐다.

Cohen의 구분이 중요한 이유는 보안 프로그램이 보통 승인을 주요 통제 경계로 취급하기 때문이다. 공급업체, 애플리케이션, 통합, ID가 검토를 통과하면 모니터링은 흔히 무단 접근이나 의심스러운 행동에 집중된다.

Bonfy의 개념 설명에 따르면, AI 시스템은 허용된 정보를 조회하고도 고객 기대와 충돌하는 결과를 만들 수 있다. 회사는 shady AI concept에 대한 요약에서 이를 승인된 AI가 의도된 경계를 넘어서는 현상으로 설명한다.

이는 여전히 공급업체가 제시한 프레임워크일 뿐, 인정된 규제 범주는 아니다. 어떤 독립 기관도 “shady AI”를 표준 용어 또는 측정 가능한 사고 유형으로 확립하지 않았다.

그럼에도 그 기반이 되는 행동은 충분히 검토할 만한 현실성을 지닌다. 생성형 시스템은 여러 저장소의 데이터를 종합하고, 민감한 속성을 추론하며, 연결된 도구를 통해 행동을 시작할 수 있다. 이러한 역량은 승인된 접근의 의미를 확장한다.

이메일, 문서, 캘린더, 고객 기록에 연결된 업무용 어시스턴트를 생각해 보자. 관리자가 분기 내 해지 가능성이 높은 계정을 식별해 달라고 요청한다.

어시스턴트는 청구 분쟁에서 재정적 스트레스를 추론할 수 있다. 비공개 지원 대화에서 불만을 추출할 수 있다. 또한 이러한 결과를 계약 갱신일과 직원 의견에 연결할 수도 있다.

모든 출처는 관리자의 기술적 권한 범위 안에 있을 수 있다. 그러나 조직은 그러한 결합 프로파일링 목적을 승인한 적이 없을 수 있다. 추천 결과를 형성한 요인이 무엇인지에 대한 기록도 없을 수 있다.

이는 일반적인 shadow AI와 다르다. shadow AI는 대체로 직원이 승인되지 않은 모델, 개인 챗봇 계정, 브라우저 확장 프로그램 또는 승인받지 않은 에이전트를 사용하는 상황을 의미한다.

이 경우 보안 문제는 가시성에서 시작된다. 팀은 어떤 도구가 활성화되어 있는지 발견하고, 어떤 데이터가 그 도구에 입력됐는지 파악하며, 사용을 차단할지 거버넌스할지 결정해야 한다.

The Hacker News는 승인된 소프트웨어 내부에서 나타나는 또 다른 형태의 위험을 설명했다. 기존 헬프데스크, 문서 시스템, 고객 플랫폼에 AI 기능이 원래의 공급업체 검토 이후 추가될 수 있다는 것이다.

shadow AI risks에 대한 그 개요는 과거에 소프트웨어를 검증했다고 해서 이후 활성화된 모든 AI 기능까지 거버넌스되는 것은 아니라고 주장한다. 이 관찰은 shadow AI와 Cohen의 새로운 프레임워크 사이의 거리를 좁힌다.

두 개념은 여전히 서로 다른 통제 실패를 설명한다.

Shadow AI는 조직이 도구나 기능의 존재를 알고 있는지를 묻는다. Shady AI는 승인된 시스템의 행동이 특정 사용자, 목적, 관계에 비추어 여전히 적절한지를 묻는다.

Google News는 두 이야기를 같은 광범위한 AI 보안 주제로 묶을 수 있다. 하지만 엔터프라이즈 방어 조직은 이를 같은 운영상 문제로 취급할 여유가 없다.

발견 도구는 알려지지 않은 챗봇을 드러낼 수 있다. 그러나 승인된 어시스턴트가 민감한 고객 대화를 영업 결정에 영향을 주기 위해 사용해야 하는지까지 자동으로 판단할 수는 없다.

그 결정에는 맥락이 필요하다. 또한 조회, 생성 또는 행동 이전에 소프트웨어가 평가할 수 있는 정책도 필요하다.

ID 및 접근 제어만으로는 더 이상 충분하지 않은 이유

ID 통제는 누가 데이터에 도달할 수 있는지를 답하지만, shady AI는 어떤 관계와 목적이 그 접근을 적절하게 만드는지 조직이 결정하도록 요구한다.

전통적인 접근 제어는 역할, 그룹, 리소스 소유권, 정책 규칙을 통해 권한을 부여한다. 고객 지원 관리자는 특정 지역에 할당된 모든 케이스를 읽을 수 있다. 재무 분석가는 사업 부문의 모든 청구서를 검토할 수 있다.

이러한 통제는 여전히 필수적이다. 많은 무단 사용자와 애플리케이션이 민감한 시스템에 도달하는 것을 막는다. 또한 사고 발생 후 조사자가 검토할 수 있는 기록을 만든다.

그러나 광범위한 권한은 사람들이 유연성을 필요로 하기 때문에 종종 존재한다. 고위 직원은 매 작업마다 그중 일부만 사용하면서도 수천 개의 문서에 접근할 수 있다.

인간의 판단은 비공식적인 두 번째 계층을 제공한다. 직원들은 대체로 고객 기록에 접근할 수 있다고 해서 그 내용의 가능한 모든 사용이 허용되는 것은 아니라는 점을 이해한다.

AI가 그런 이해를 공유한다고 가정할 수는 없다. 모델은 이용 가능한 맥락, 지시, 학습된 패턴을 사용해 응답을 최적화한다. 조직의 불문율을 본질적으로 알지는 못한다.

이는 목적의 문제를 만든다. 고객 지원을 위해 수집된 데이터는 기술적으로 영업 어시스턴트에 제공될 수 있다. 그렇다고 지원 통화의 감정적 표현을 사용해 상업적 대우를 조정하는 것이 반드시 허용되는 것은 아니다.

관계의 문제도 생긴다. 임상의, 변호사, 인사 관리자, 시스템 관리자는 서로 다른 전문적 의무 아래 동일한 기록에 접근할 수 있다.

기존 권한 체계는 리소스와 사용자를 표현할 수 있다. 하지만 AI가 수행할 수 있는 각 추론을 둘러싼 완전한 관계를 포착하는 경우는 드물다.

에이전트는 위험도를 더욱 높인다. AI 에이전트는 단지 텍스트를 생성하는 데 그치지 않고, 연결된 도구를 통해 행동을 선택하고 수행하는 소프트웨어다.

승인된 에이전트는 이메일을 읽고, 데이터베이스를 쿼리하고, 고객 기록을 업데이트하며, 메시지를 전송할 수 있다. 각 단계의 권한은 유효할 수 있다.

그럼에도 결합된 순서는 안전하지 않을 수 있다. 이메일 안에 숨겨진 신뢰할 수 없는 지시가 에이전트의 행동을 다른 방향으로 유도할 수 있다. 광범위한 목표 역시 과도한 조회나 불필요한 행동을 부추길 수 있다.

OWASP는 프롬프트 인젝션을 직접 입력 또는 모델이 나중에 처리하는 콘텐츠를 통해 모델을 조작하는 지시로 설명한다. 그 영향은 시스템이 이용할 수 있는 도구와 권한에 크게 좌우된다고 prompt injection guidance는 밝힌다.

이 위협은 보안 익스플로잇과 거버넌스 실패를 연결한다. 악의적인 지시는 부적절한 행동을 유발할 수 있지만, 불명확한 정책도 공격자 없이 유사한 결과를 낳을 수 있다.

OWASP는 AI 시스템이 필요한 것보다 더 많은 기능, 권한 또는 자율성을 갖는 과도한 에이전시도 별도로 경고한다. 그 예시에는 악의적인 이메일이 에이전트에게 받은편지함을 검색하고 민감한 정보를 전달하도록 지시하는 상황이 포함된다.

최소 권한 원칙은 여전히 해법의 일부다. 어시스턴트는 접근할 수 없는 데이터나 기능을 오용할 수 없다.

하지만 권한 축소만으로는 한계가 있다. 조직은 AI가 여러 시스템의 정보를 연결할 수 있기 때문에 이를 도입하는 경우가 많다. 모든 크로스시스템 기능을 제거하면 배포를 정당화했던 비즈니스 가치를 없앨 수 있다.

더 어려운 과제는 권한 부여를 더 구체적으로 만드는 일이다. 결정은 요청하는 ID, 비즈니스 목적, 데이터 관계, 행동, 대상, 현재 맥락을 고려해야 한다.

예를 들어 고객 서비스 어시스턴트는 배정된 케이스를 위해 불만을 요약할 수 있다. 하지만 같은 어시스턴트가 그 불만에 포함된 건강 정보를 마케팅 프로필에 추가해서는 안 된다.

두 행동은 동일한 ID와 기반 데이터를 포함한다. 차이는 목적, 대상, 예상된 사용 방식에 있다.

이것이 shady AI가 근본적으로 거버넌스 과제인 이유다. 보안팀은 기술적 경계를 정의할 수 있지만, 법무, 개인정보 보호, 컴플라이언스, 제품 및 비즈니스 담당자는 적절한 행동을 정의해야 한다.

이러한 공동 책임은 불편하다. 보안 조직은 집행 가능한 규칙을 선호하는 반면, 정책팀은 종종 인간의 해석에 의존하는 원칙을 작성한다.

AI 시스템은 두 접근 방식 사이의 간극을 드러낸다. 고객 데이터가 “적절하게” 사용돼야 한다는 정책은, 조직이 그 단어를 검증 가능한 통제로 전환하지 않는 한 거의 보호를 제공하지 못한다.

Google News는 접근 권한에서 의도로의 전환을 부각한다

더 넓은 보안 논의는 AI 도구를 발견하는 데서, 합법적 접근 권한을 가진 승인된 모델과 에이전트가 무엇을 하는지 거버넌스하는 방향으로 이동하고 있다.

Google News에 shady AI가 등장한 것은 엔터프라이즈 보안 보도의 더 큰 변화를 반영한다. 초기 우려는 직원들이 민감한 데이터를 공개 챗봇에 붙여 넣는 데 집중됐다.

그 위험이 사라진 것은 아니다. 개인 계정, 승인되지 않은 애플리케이션, 내장형 AI 기능은 여전히 가시성과 데이터 유출 문제를 일으킨다.

그러나 승인된 엔터프라이즈 배포는 이제 더 복잡한 질문을 제기한다. 고립된 채팅 인터페이스는 제한적인 운영 가치만 제공하기 때문에, 조직은 어시스턴트와 에이전트를 가치 있는 시스템에 연결하고 있다.

이러한 연결은 맥락을 만든다. 동시에 권한도 만든다.

회사 지식 기반에 연결된 모델은 내부 정보를 찾을 수 있다. 운영 소프트웨어에 연결된 에이전트는 그 정보에 따라 행동할 수 있다. 따라서 거버넌스는 해석과 실행을 모두 포괄해야 한다.

IBM의 2025년 침해 연구는 엔터프라이즈 AI를 둘러싼 상당한 감독 공백을 발견했다. 공식 발표에 따르면, 조사 대상 조직의 13퍼센트가 AI 모델 또는 애플리케이션과 관련된 침해를 보고했다.

그 조직들 가운데 97%는 적절한 AI 접근 제어를 갖추지 못했다. IBM은 또한 조사 대상 조직의 63%가 AI 거버넌스 정책을 전혀 마련하지 않았거나 아직 수립 중이라고 밝혔다.

이 수치는 벤더 후원 연구에서 나온 것이므로 모든 조직의 위험을 규정해서는 안 된다. 그럼에도 AI 보안이 가상의 모델 공격을 넘어선 이유를 보여준다.

IBM 침해 조사 결과는 거버넌스보다 도입 속도가 앞서고 있음을 설명한다. Shady AI는 승인된 시스템 내부에서 이 불균형이 초래할 수 있는 한 가지 결과를 가리킨다.

기존 프레임워크는 유용한 기반을 제공한다. NIST AI 프레임워크는 AI 위험 관리를 거버넌스, 매핑, 측정, 위험 관리 중심으로 구성한다.

NIST는 모델별 위험에 맞춰 프레임워크를 적용한 생성형 AI 프로필도 공개했다. 이 프로필은 문서화된 책임, 테스트, 사고 대응 절차, 지속적인 측정을 강조한다.

이러한 관행은 조직이 일회성 승인에서 벗어나도록 돕는다. 또한 팀이 배포된 AI를 지속적인 감독이 필요한 변화하는 시스템으로 다루도록 유도한다.

하지만 프레임워크가 각 기업의 비즈니스 규칙을 대신 제공할 수는 없다. 은행, 병원, 소프트웨어 제공업체, 대학은 적절한 데이터 사용의 기준을 서로 다르게 정의할 것이다.

규제는 또 다른 층위를 더한다. 유럽연합 규정은 AI 시스템의 역할과 위험 분류에 따라 제공자와 배포자에게 의무를 부과한다.

유럽연합 집행위원회에 따르면 범용 모델에 대한 의무는 2025년 8월 2일부터 적용되기 시작했다. 여기에는 문서화 및 투명성 요건이 포함되며, 시스템적 위험이 있는 것으로 분류된 모델에는 추가 의무가 부과된다.

이 규정은 제공자와 지정된 사용 사례에 중점을 둔다. 승인된 내부 데이터를 사용하는 기업용 어시스턴트가 내리는 모든 맥락적 판단을 자동으로 해결하지는 않는다.

조직은 벤더의 문서화 요건을 충족하면서도 내부 목적이 제대로 정의되지 않은 어시스턴트를 배포할 수 있다. 법적 준수와 운영상 적절성은 겹치는 부분이 있지만 동일하지는 않다.

같은 구분은 개인정보 보호법에서도 나타난다. 동의나 다른 법적 근거는 높은 수준에서 데이터 처리를 정당화할 수 있다. 그러나 새로운 추론이나 결합된 데이터세트는 여전히 예상치 못한 결과를 초래할 수 있다.

이 지점에서 “관련성이 곧 허가를 의미하지는 않는다”는 표현이 유용해진다. 어떤 정보는 모델의 답변을 개선할 수 있지만, 해당 의사결정에 사용하는 것이 적절하지 않을 수 있다.

검색 엔진과 Google News는 shadow AI, AI 에이전트, 데이터 유출처럼 단순한 범주를 선호하는 경향이 있다. Shady AI는 이들 어느 범주에도 깔끔하게 들어맞지 않는다.

이는 접근 관리, 개인정보 보호, 모델 행동, 데이터 거버넌스, 비즈니스 프로세스 설계에 걸쳐 있다. 이러한 중첩은 책임 주체를 정하기 어렵게 만들고, 문제를 간과하기 쉽게 만든다.

따라서 압박을 받는 조직은 보안 운영 센터만이 아니다. 최고정보보호책임자, 개인정보 보호 책임자, 법무팀, 데이터 소유자, 애플리케이션 관리자는 모두 이 문제의 일부를 떠안게 된다.

이들에게는 허용되는 행동을 하나의 집행 가능한 관점으로 정리할 필요가 있다. 그렇지 않으면 각 팀은 다른 부서가 위험을 담당한다고 믿게 될 수 있다.

어려운 과제는 정책을 런타임 의사결정으로 전환하는 일이다

신뢰할 수 있는 대응은 또 하나의 허용 가능한 사용 정책을 발표하는 데 그치지 않고, 검색과 실행 과정에서 맥락을 집행해야 한다.

많은 조직은 목록으로 AI 거버넌스를 시작했다. 한 목록에는 승인된 도구를, 다른 목록에는 금지된 데이터를, 세 번째 목록에는 애플리케이션 소유자와 검토 일정을 기록한다.

이러한 목록은 특히 shadow AI를 발견하는 데 필요하다. 그러나 허용된 리소스에서 부적절한 결과를 만들어내는 승인된 시스템의 문제를 완전히 해결하지는 못한다.

Shady AI는 런타임에 더 가까운 통제를 요구한다. 런타임은 AI가 요청을 받고, 정보를 검색하고, 출력을 생성하거나, 연결된 도구를 호출하는 순간을 뜻한다.

그 순간 시스템은 정적인 승인 절차보다 더 많은 맥락을 갖고 있다. 사용자, 요청, 선택된 데이터, 의도된 대상, 제안된 조치를 알고 있다.

거버넌스 계층은 워크플로가 계속되기 전에 이러한 요소를 평가할 수 있다. 접근을 거부하거나, 민감한 맥락을 제거하거나, 승인을 요구하거나, 가능한 조치를 제한할 수 있다.

정책은 집행할 수 있을 만큼 구체적이어야 한다. “고객 신뢰를 보호하라”는 중요한 원칙이지만, 소프트웨어에는 더 정밀한 규칙이 필요하다.

예를 들어 한 규칙은 어시스턴트가 할인 여부를 결정하는 데 지원 대화를 사용하지 못하도록 할 수 있다. 또 다른 규칙은 승인된 복리후생 워크플로 외부에서 직원 의료 정보를 요약하지 못하도록 제한할 수 있다.

조직에는 AI 응답이 정보를 어디서 얻었는지 기록하는 데이터 계보도 필요하다. 데이터 계보는 검토자가 어떤 출처가 답변이나 조치에 영향을 미쳤는지 이해하도록 돕는다.

많은 에이전트형 워크플로에서는 최종 프롬프트와 응답만 기록하는 것으로 충분하지 않다. 조사자는 검색된 문서, 도구 호출, 정책 평가, 모델 버전, 승인 이력이 필요할 수 있다.

이 기록은 감사와 사고 대응을 지원한다. 또한 무해한 업무를 막는 정책 규칙이나 위험한 조합을 허용하는 정책 규칙을 드러낼 수 있다.

테스트는 실제 비즈니스 관계를 반영해야 한다. 일반적인 모델 벤치마크만으로는 특정 고객 메시지가 갱신 추천에 포함돼야 하는지 판단할 수 없다.

팀은 자체 데이터, 역할, 워크플로, 금지된 결과를 중심으로 시나리오를 구축해야 한다. 테스트에는 악의적인 프롬프트뿐 아니라 목적이 모호한 일반 요청도 포함돼야 한다.

사람의 승인은 영향이 큰 조치의 위험을 줄일 수 있다. 검토자가 관련 맥락과 경고 사유를 이해하기 쉬운 형태로 받을 때 가장 유용하다.

검토자가 어떤 민감한 출처가 조치에 영향을 미쳤는지 볼 수 없다면 “승인” 버튼은 거의 도움이 되지 않는다. 승인 피로는 공식 통제를 자동 클릭으로 바꿔버릴 수도 있다.

따라서 조직은 의미 있는 경계에 대해서만 사람의 검토를 남겨두어야 한다. 위험이 낮은 워크플로에는 자동화된 제한, 표본 검사, 사후 모니터링을 적용할 수 있다.

데이터 최소화도 또 다른 실용적 통제다. 서비스 계정이 더 많은 정보에 접근할 수 있더라도, 어시스턴트는 현재 작업에 필요한 정보만 받아야 한다.

검색 시스템은 콘텐츠가 모델의 맥락에 들어가기 전에 이러한 제한을 집행할 수 있다. 도구 게이트웨이도 마찬가지로 에이전트가 수행할 수 있는 작업을 제한할 수 있다.

지식 노동자에게는 로컬 맥락이 광범위한 외부 서비스로의 불필요한 전송을 줄일 수 있다. 잘 설계된 개인 지식 베이스는 개인 정보와 조직 내 공유 정보 사이의 경계를 더 명확하게 유지할 수 있다.

그러나 아키텍처만으로 적절한 사용이 보장되지는 않는다. 로컬 처리는 노출을 줄일 수 있지만, 여전히 불공정하거나 침해적이거나 승인되지 않은 추론을 만들어낼 수 있다.

이는 중요한 회의적 관점이다. 보안 벤더는 맥락적 집행을 완전한 해답으로 설명할 수 있지만, 정책 해석은 여전히 어렵다.

자연어에는 모호성이 있다. 비즈니스 관계는 변한다. 한 부서에서 작동하는 규칙이 다른 팀의 업무를 방해하거나 미묘한 오용을 놓칠 수 있다.

오탐은 직원들을 우회 방법으로 몰아갈 수 있다. 미탐은 자동화된 거버넌스 계층에 대한 부당한 확신을 만들 수 있다.

모델 행동은 업데이트 이후에도 변한다. 한 버전에서 작동했던 프롬프트, 검색 전략, 정책 테스트가 다른 버전에서는 다르게 작동할 수 있다.

조직은 맥락적 통제를 다층적 프로그램의 일부로 다뤄야 한다. ID 관리, 최소 권한, 데이터 분류, 검색 필터링, 도구 제한, 평가, 인간의 감독은 여전히 필요하다.

단일 통제로 모든 결과가 적절하다는 사실을 확립할 수는 없다. 목표는 정책 위반을 가시화하고, 테스트 가능하게 하며, 기계 속도로 실행하기 어렵게 만드는 것이다.

Shady AI가 실제 보안 범주가 될지 보여줄 세 가지 신호

Shady AI는 조직이 이를 측정하고, 의미 있는 통제를 집행하며, 실패를 책임 있는 소유자와 연결할 수 있을 때만 중요해질 것이다.

첫 번째 신호는 주요 보안 프레임워크가 부적절한 승인 사용을 일반적인 무단 AI 사용과 구분하는지 여부다. NIST, OWASP, 업계 단체는 이미 관련 요소를 다루고 있다.

프롬프트 인젝션은 조작된 모델 행동을 다룬다. 과도한 자율성은 위험한 자율 행위를 다룬다. Shadow AI는 알려지지 않았거나 승인되지 않은 시스템을 다룬다.

이러한 어느 라벨도 공격자 없이 맥락상 받아들일 수 없는 결정을 내리는 승인된 시스템을 완벽히 설명하지 못한다. 더 명확한 분류 체계는 팀이 사고를 일관되게 보고하는 데 도움이 될 것이다.

목적, 관계, 추론을 다루는 새로운 프레임워크 지침을 주시해야 한다. 이러한 지침은 기존 접근 통제가 실질적인 공백을 남긴다는 Cohen의 주장을 강화할 것이다.

기존 범주가 운영상 혼란 없이 이미 이러한 사고를 포착한다면 그 판단은 약해질 것이다. 새로운 용어는 기존 실패에 이름만 새로 붙이는 데 그친다면 가치가 거의 없다.

두 번째 신호는 측정 가능한 런타임 통제의 등장이다. 벤더는 맥락적 거버넌스를 약속하겠지만, 구매자는 정책 대시보드 이상의 증거를 찾아야 한다.

유용한 증거에는 집행 가능한 목적 제한, 의사결정 로그, 검색 수준의 통제, 도구 호출 승인, 반복 가능한 테스트가 포함된다. 제품은 정책이 어떤 조치를 허용하거나 거부한 이유도 설명해야 한다.

독립적인 평가는 특히 가치가 크다. 위험을 정의하고, 제품을 측정하고, 통제가 성공했다고 선언하는 주체가 벤더 하나뿐이어서는 안 된다.

구매자는 광범위하게 배포하기 전에 현실적인 시나리오를 시험해야 한다. 알려진 악성 프롬프트만이 아니라 부적절한 데이터 조합을 시스템이 차단하는지 물어야 한다.

실패 모드도 살펴봐야 한다. 정당한 워크플로를 지나치게 자주 차단하는 통제는 보안 논리가 건전해 보이더라도 지지를 잃게 된다.

세 번째 신호는 조직의 책임성이다. Shady AI는 보안, 개인정보 보호, 법무, 데이터, 제품 책임에 걸쳐 있다.

거버넌스 위원회는 이러한 팀을 조율할 수 있지만, 위원회는 운영상 소유권 없이 지침만 만들어내는 경우가 많다. 배포된 모든 시스템에는 여전히 책임 있는 의사결정권자가 필요하다.

그 소유자는 의도된 목적, 허용 가능한 데이터 관계, 금지된 결과, 에스컬레이션 규칙을 승인해야 한다. 그러면 보안팀은 이러한 결정을 기술적 통제와 테스트로 전환할 수 있다.

사고 보고는 이 모델이 작동하는지를 보여줄 것이다. 조직은 알려지지 않은 도구, 침해된 에이전트, 권한 실패, 부적절한 승인 조치를 구분할 수 있어야 한다.

이 범주들은 서로 다른 해결책으로 이어진다. 도메인 차단은 승인되지 않은 챗봇에는 대응할 수 있지만, 비즈니스 애플리케이션에 이미 내장된 승인 모델을 거버넌스할 수는 없다.

Google News 노출은 shady AI에 더 많은 관심을 불러오겠지만, 관심만으로 이 용어가 정립되지는 않는다. 배포된 시스템의 증거는 기존 통제가 지속적으로 놓치는 반복적인 실패를 보여줘야 한다.

보안 리더는 민감한 데이터나 중대한 의사결정에 접촉하는 승인된 AI 워크플로의 범위를 좁혀 목록화하는 것부터 시작해야 한다. 각 워크플로에 네 가지 질문을 던져야 한다.

시스템은 어떤 정보를 검색할 수 있는가? 어떤 목적이 그 검색을 정당화하는가? 어떤 조치를 취할 수 있는가? 누가 부적절한 결과를 설명하고 중단할 수 있는가?

이 질문들에 모호한 답이 나온다면 거버넌스 공백은 이미 존재한다. 팀은 이를 검토하기 위해 침해 사고, 규제, 새로운 제품 범주를 기다릴 필요가 없다.

실용적인 다음 단계는 영향이 큰 워크플로 하나를 선택해 요청부터 결과까지 추적하는 것이다. ID, 검색된 데이터, 정책, 모델 의사결정, 도구 호출, 사람의 승인을 기록해야 한다.

그런 다음 기술적으로는 허용되지만 맥락상 잘못된 요청을 테스트해야 한다. 이 실습은 “승인됨”이 실제로 거버넌스되고 있음을 뜻하는지, 아니면 단지 연결되고 신뢰받는 상태를 뜻하는지를 보여줄 것이다.