자율 AI 에이전트에는 새로운 거버넌스 모델이 필요하다

Google News는 직접적인 경고를 담은 SiliconANGLE 헤드라인을 노출했다. 중대한 조치를 취할 수 있는 소프트웨어를 위해 설계된 거버넌스가 자율 AI 행위자에게 필요하다는 내용이다.

이 구분은 중요하다. AI 에이전트는 단순히 답변을 생성하는 데 그치지 않는다. 파일을 검색하고, 도구를 호출하며, 코드를 실행하고, 기록을 업데이트하고, 다른 시스템과 통신할 수 있다. 이러한 역량은 신뢰할 수 없는 출력을 잠재적으로 무단인 행동으로 바꾼다.

이 헤드라인은 현재 기업 기술 리더들이 마주한 갈등을 포착한다. 기업들은 더 적은 감독 아래 작동하는 에이전트를 원하지만, 많은 보안 통제 체계는 여전히 사람이 모든 중요한 행동을 시작한다고 가정한다.

규제 기관, 표준화 기구, 보안 공급업체는 이 격차를 좁히기 시작했다. 이들이 제시하는 해법은 고유한 에이전트 신원, 제한된 권한, 지속적 모니터링, 인간 승인 지점, 복구 메커니즘을 결합한다.

핵심 쟁점은 더 이상 모델이 부정확한 문장을 생성하는지 여부가 아니다. 조직이 오류가 확산되기 전에 에이전트의 행동을 식별하고, 통제하고, 설명하며, 되돌릴 수 있는지의 문제다.

Google News 헤드라인이 가리키는 더 큰 거버넌스 변화

AI 거버넌스는 모델 출력을 감독하는 방식에서 신원, 권한, 도구, 운영 책임을 지닌 소프트웨어 행위자를 통제하는 방식으로 이동하고 있다.

전통적인 생성형 AI 거버넌스는 학습 데이터, 유해 콘텐츠, 모델 평가, 생성된 답변의 정확성에 크게 집중했다. 이러한 우려는 여전히 중요하지만, 자율 에이전트는 다른 운영상의 문제를 제기한다.

AI 에이전트는 일련의 의사결정을 통해 목표를 추구할 수 있다. 도구를 선택하고, 변화하는 정보를 읽고, 계획을 수정하며, 매 단계마다 승인을 요청하지 않고 행동을 시작할 수 있다.

이러한 행동은 사용자의 최초 지시와 최종 결과 사이의 사슬을 더 길게 만든다. 단계가 추가될 때마다 의도, 맥락 또는 권한이 어긋날 수 있는 지점도 하나씩 늘어난다.

직원이 에이전트에게 고객 갱신 문서를 준비해 달라고 요청하는 상황을 생각해 보자. 챗봇은 텍스트 초안을 작성하고 기다릴 수 있다. 자율 에이전트는 계정 기록을 검색하고, 템플릿을 선택하며, 계약을 수정하고, 문서 패키지를 전송할 수도 있다.

이러한 행동에는 여러 시스템과 다수의 권한 경계가 관여한다. 모호한 지시나 오염된 문서 하나가 전체 과정에 영향을 미칠 수 있다.

따라서 Google News 항목은 부정확한 AI에 대한 또 하나의 경고 그 이상이다. 이는 조직 내부에서 소프트웨어가 작동하는 방식의 구조적 변화를 반영한다.

소프트웨어 서비스는 오랫동안 머신 아이덴티티를 사용해 왔다. 그러나 이러한 서비스는 일반적으로 좁은 기술적 경계 안에서 예측 가능한 기능을 수행한다.

AI 에이전트는 모호한 목표를 해석하고 여러 가능한 행동 중에서 선택할 수 있다. 그 행동은 프롬프트, 검색된 데이터, 메모리, 모델 출력, 사용 가능한 도구, 변화하는 환경 조건에 따라 달라진다.

이 때문에 에이전트는 일반 직원도 아니고 기존의 소프트웨어 서비스도 아니다. 기업은 여전히 에이전트에게 소유자를 지정하고, 권한을 정의하며, 활동에 대한 증거를 보존해야 한다.

그 소유권은 암묵적인 상태로 남아서는 안 된다. 여러 팀이 서로 다른 플랫폼을 통해 에이전트를 배포한다면, 보안 책임자는 해당 에이전트가 어디서 실행되고 무엇에 접근할 수 있는지 보여 주는 완전한 인벤토리가 필요하다.

AppViewX는 agent identity platform을 도입하며 이 신흥 제품 범주를 보여 주었다. 이 회사는 자사 시스템이 에이전트를 발견하고, 권한을 매핑하며, 행동을 모니터링한다고 설명한다.

이 제품은 자격을 갖춘 기업을 대상으로 비공개 프리뷰로 출시됐다. 그 주장은 실제 배포 환경 전반에서 여전히 검증이 필요하지만, 설계는 시장이 향하는 방향을 반영한다.

중요한 변화는 개념적이다. 기업들은 각 에이전트를 애플리케이션 내부의 보이지 않는 기능이 아니라 거버넌스 대상 행위자로 대하기 시작했다.

이 변화는 이 글의 핵심 긴장을 만든다. 에이전트가 유용해질수록 일반적으로 더 많은 접근 권한이 필요하다. 추가되는 모든 권한은 조작, 오류 또는 자격 증명 침해 이후 발생할 수 있는 피해 범위도 넓힌다.

자율 역량은 승인된 권한과 같지 않다

에이전트의 기술적 능력이 조직이 이를 허용하는 범위를 결정해서는 안 된다.

개발자는 종종 완료율, 추론 테스트 또는 도구 사용 벤치마크로 에이전트를 측정한다. 이러한 평가는 역량을 설명하지만, 에이전트에게 운영 권한을 부여해야 하는지에는 답하지 못한다.

코딩 에이전트는 전체 리포지토리를 수정할 수 있을지 모른다. 그렇다고 검토 없이 변경 사항을 프로덕션에 병합해야 한다는 뜻은 아니다.

금융 에이전트는 유효한 지급 지시를 생성할 수 있다. 그렇다고 정해진 한도를 넘어 자금을 이체해야 한다는 뜻은 아니다.

거버넌스는 에이전트가 달성할 수 있는 일과 실행이 허용된 일을 분리해야 한다. 하나의 모델이 서로 다른 책임을 지닌 다수의 에이전트를 지원할 때 이 분리는 필수적이다.

동일한 기반 모델이 리서치 어시스턴트, 고객 지원 에이전트, 인프라 운영자를 구동할 수 있다. 이들의 행동이 초래하는 결과가 다르므로 권한도 달라야 한다.

조직은 이미 직원과 소프트웨어 서비스에 유사한 원칙을 적용하고 있다. 고객 지원 담당자가 데이터베이스 쿼리를 이해한다는 이유만으로 제한 없는 데이터베이스 접근 권한을 받지는 않는다.

에이전트에도 기술적 통제를 통해 구현된 동일한 원칙이 필요하다. 권한은 정의된 업무, 비즈니스 소유자, 환경, 허용 가능한 영향을 반영해야 한다.

NIST는 2026년 2월 17일 발표한 agent standards initiative에서 신원과 권한 부여를 핵심에 두었다. 이 이니셔티브는 표준, 개방형 프로토콜, 보안 연구, 신뢰할 수 있는 상호운용성에 초점을 맞춘다.

NIST는 코드 작성, 커뮤니케이션 관리, 상품 구매를 수행할 수 있는 에이전트도 설명했다. 이러한 사례는 모델 수준의 안전 정책만으로는 그에 따른 모든 행동을 관리할 수 없는 이유를 보여 준다.

여러 애플리케이션을 오가는 에이전트에는 검증 가능한 신원이 필요하다. 각 수신 시스템은 어떤 에이전트가 접근을 요청하는지, 누구를 대신해 행동하는지 알아야 한다.

그 신원은 책임 있는 개인 또는 조직 단위와 연결되어야 한다. 그렇지 않으면 감사 로그는 행동이 발생했다는 사실만 보여 줄 뿐, 누가 그 행위자를 승인했는지는 밝히지 못한다.

권한 부여는 위임도 고려해야 한다. 에이전트는 전문 하위 에이전트를 만들거나 외부 공급업체가 운영하는 다른 에이전트를 호출할 수 있다.

단순한 사용자 자격 증명으로는 이 사슬을 포착할 수 없다. 조직에는 최초 요청, 위임된 권한, 중간 행위자, 최종 행동을 설명하는 증거가 필요하다.

이 지점에서 익숙한 신원 도구는 여전히 유용하지만 불완전하다. 인증은 누가 자격 증명을 제시하는지 확인할 수 있다. 그러나 맥락에 민감한 행동이 에이전트에 부여된 목적에 부합하는지는 자동으로 판단하지 못한다.

인증된 조달 에이전트도 유효한 구매 도구를 오용할 수 있다. 모든 자격 증명이 기술적으로 유효한 상태를 유지하더라도, 침해된 지시는 에이전트를 승인되지 않은 공급업체로 유도할 수 있다.

따라서 에이전트 거버넌스에는 업무 인식형 권한 부여가 필요하다. 시스템은 요청된 행동을 에이전트의 역할, 현재 목표, 데이터 민감도, 잠재적 영향과 비교해 평가해야 한다.

수명이 짧은 자격 증명은 노출을 줄일 수 있다. 제한된 도구 범위는 에이전트가 할당과 무관한 기능을 사용하지 못하게 할 수 있다.

조직은 읽기 접근과 행동 권한도 분리해야 한다. 분석을 위해 송장 데이터가 필요한 에이전트가 송장을 승인하거나 지급할 권한까지 반드시 필요로 하는 것은 아니다.

이러한 통제에는 마찰이 따르지만, 무차별적인 자율성은 유용한 대안이 아니다. 더 나은 목표는 비례적 자율성이다. 감독은 그 결정을 뒷받침하는 증거가 축적된 뒤에만 줄어들어야 한다.

정적 접근 통제로는 변화하는 의도를 관리할 수 없다

AI 에이전트에는 런타임 통제가 필요하다. 유효한 자격 증명이 유효한 행동을 보장하지는 않기 때문이다.

전통적인 접근 시스템은 일반적으로 사용자나 서비스가 리소스에 도달할 수 있는지 묻는다. 에이전트 거버넌스는 행위자가 무엇을 하려는지, 그리고 그 행동이 할당된 목표 안에 남아 있는지도 물어야 한다.

이 차이는 에이전트가 신뢰할 수 없는 콘텐츠를 처리할 때 드러난다. 문서, 이메일, 웹사이트 또는 도구 응답에는 사용자의 요청과 충돌하는 지시가 포함될 수 있다.

프롬프트 인젝션은 AI 시스템이 처리하는 콘텐츠 안에 악의적인 지시를 삽입하는 공격이다. 에이전트는 이러한 지시를 정당한 안내로 오인할 수 있다.

리서치 에이전트는 저장된 정보를 공개하라고 지시하는 웹페이지를 읽을 수 있다. 지원 에이전트는 고객 검증 규칙을 무시하라고 지시하는 메시지를 접할 수 있다.

모델은 잘못된 지시를 따르면서도 기술적으로는 정상 작동 상태를 유지할 수 있다. 에이전트가 여전히 유효한 신원을 제시하므로 인증만으로는 이러한 행동을 막을 수 없다.

OWASP의 agentic risk list는 주요 우려 사항으로 목표 탈취, 도구 오용, 권한 남용, 메모리 오염, 공급망 취약점을 꼽는다.

이 목록에는 100명 이상의 보안 연구자, 실무자, 사용자 조직, 기술 공급업체가 의견을 제공했다. 이는 보안 사고방식의 중요한 변화를 반영한다.

방어자는 모델만 평가해서는 안 된다. 프롬프트, 메모리, 도구, 커넥터, 자격 증명, 오케스트레이션 로직, 외부 통신을 포함한 전체 에이전트 시스템을 살펴야 한다.

런타임 정책 집행은 하나의 대응책을 제공한다. 이는 배포 과정에서 정해진 규칙에 전적으로 의존하는 대신, 에이전트가 작동하는 동안 행동을 평가한다.

정책 계층은 구매 에이전트가 주문을 준비하도록 허용하되 제출 전에는 승인을 요구할 수 있다. 동일한 에이전트가 공급업체의 은행 계좌 정보를 변경하는 것은 차단할 수도 있다.

판단은 되돌릴 수 있는지 여부에도 따라 달라질 수 있다. 캘린더 초대장 초안은 쉽게 취소할 수 있다. 프로덕션 데이터를 삭제하면 전혀 다른 수준의 복구 부담이 따른다.

영향이 큰 행동에는 더 강력한 점검 지점이 필요하다. 여기에는 인간 확인, 두 번째 자동 검증자, 거래 한도 또는 격리된 환경 내 실행이 포함될 수 있다.

그러나 인간 승인이 자동으로 의미 있는 것은 아니다. 검토자는 승인 버튼만 있는 설명되지 않은 확인 요청을 받은 뒤에는 정보에 기반한 결정을 내릴 수 없다.

시스템은 제안된 행동, 영향을 받는 리소스, 뒷받침하는 증거, 예상되는 결과를 제시해야 한다. 불확실성이나 상충하는 정보도 공개해야 한다.

메모리는 또 다른 복잡성을 더한다. 에이전트 메모리는 이후 사용을 위해 사실이나 과거 상호작용을 저장해, 세션 간에도 행동이 지속되도록 한다.

이러한 지속성은 연속성을 높일 수 있지만, 거짓되거나 악의적인 정보도 보존할 수 있다. 오염된 메모리 항목은 최초 공격이 사라진 뒤에도 오랫동안 의사결정에 영향을 미칠 수 있다.

조직에는 누가 메모리에 기록할 수 있는지, 항목에 출처 정보가 어떻게 부여되는지, 오래된 맥락은 언제 만료되는지에 대한 통제가 필요하다. 민감한 메모리 저장소에도 다른 비즈니스 데이터와 동일한 접근 통제가 요구된다.

이는 내부 지식 시스템에 중요하다. searchable knowledge base는 검색 도구를 통해 연결될 때 에이전트의 의사결정 환경 일부가 된다.

Google News 헤드라인은 이 시스템들을 자율적 행위자로 묘사하지만, 자율성은 조건부로 유지되어야 합니다. 모든 중요한 행동에는 권한에서 실행까지 이어지는 제한된 경로가 필요합니다.

진짜 경쟁은 자율성과 책임성의 대결이다

기업이 선택하는 것은 유용한 에이전트와 안전한 에이전트 사이가 아니다. 운영 속도에서도 자율성이 책임성을 유지할 수 있는지를 결정하는 일이다.

자율형 에이전트의 가장 강력한 장점은 효율성입니다. 이들은 반복 작업을 조정하고, 지속적으로 운영하며, 분석과 실행 사이의 지연을 줄일 수 있습니다.

가장 강력한 반론은 피해 범위에 관한 것입니다. 빠른 에이전트는 사람이 알아차리기 전에 잘못된 행동을 수많은 기록, 시스템 또는 고객에게 반복할 수 있습니다.

이 위험은 에이전트가 광범위한 자격 증명을 보유할 때 커집니다. 에이전트가 작업을 위임하거나 이후 에이전트가 사용하는 컨텍스트를 수정할 수 있다면 위험은 더욱 커집니다.

보안 벤더들은 서로 다른 방향에서 대응하고 있습니다. ID 전문 기업들은 암호학적 신원과 제한된 권한을 강조합니다. 데이터 보안 기업들은 모니터링, 복구, 민감 정보 보호를 강조합니다.

클라우드 보안 제공업체들은 에이전트, 애플리케이션, 데이터 간의 연결에 초점을 맞춥니다. 에이전트 플랫폼 벤더들은 흔히 평가, 정책 정의, 개발자 통제를 강조합니다.

이 접근법들은 서로 겹치지만, 어느 하나만으로 문제를 해결할 수는 없습니다. 검증된 신원은 목표 조작을 막지 못하며, 행동 모니터링은 누가 권한을 부여했는지를 확립하지 못합니다.

마찬가지로, 인간 승인 단계는 누락된 감사 기록을 복구할 수 없습니다. 롤백 도구도 물리적, 재정적 또는 평판상 결과를 모두 되돌릴 수는 없습니다.

싱가포르 Infocomm Media Development Authority는 2026년 1월 22일 에이전트 거버넌스 프레임워크를 발표했습니다. 이 프레임워크는 거버넌스를 네 가지 실무적 차원으로 구성합니다.

조직은 먼저 자율성과 접근 권한을 제한해 위험을 경계 지어야 합니다. 이어 실질적인 인간 책임성과 승인 지점을 마련해야 합니다.

이 프레임워크는 생명주기 통제, 기준선 테스트, 허용 목록에 포함된 서비스에 대한 접근도 요구합니다. 마지막 차원은 투명성, 교육, 최종 사용자 책임을 다룹니다.

이 접근법은 에이전트 거버넌스가 보안 부서 내부에만 머물 수 없다는 점을 인식합니다. 제품 책임자는 사용 사례를 결정하고, 개발자는 시스템을 구성하며, 사업 리더는 운영 배포를 승인합니다.

조달팀도 제3자 도구를 선택할 때 위험에 영향을 미칩니다. 벤더의 에이전트는 외부 모델, 커넥터 또는 메모리 서비스를 통해 기업 데이터를 처리할 수 있습니다.

계약은 로깅, 사고 통지, 데이터 보존, 하도급업체, 시스템 변경을 다뤄야 합니다. 구매자는 사고 발생 후 벤더가 에이전트의 의사결정 경로를 재현할 수 있는지 이해해야 합니다.

핵심적인 절충점은 자율성 수준을 한 번 정해 영구히 유지한다고 해결되지 않습니다. 에이전트의 권한은 작업, 환경, 증거가 변함에 따라 달라져야 합니다.

새로운 에이전트는 읽기 전용 접근과 의무적 승인으로 시작할 수 있습니다. 성공적인 통제 테스트는 좁은 워크플로 내에서 제한적인 실행 권한을 정당화할 수 있습니다.

반복되는 실패는 권한을 축소해야 합니다. 예상치 못한 행동, 구성 드리프트 또는 모델 업데이트는 다시 검토를 촉발해야 합니다.

이렇게 하면 획득형 자율성 모델이 만들어집니다. 에이전트는 관련 조건에서 테스트가 허용 가능한 행동을 보여준 후에만 더 큰 운영 자유를 부여받습니다.

그렇더라도 조직은 확고한 경계를 유지해야 합니다. 일부 행동은 결과를 되돌리기 어렵기 때문에 감독 없는 실행에 여전히 부적합합니다.

예를 들어 접근 통제 변경, 규제 공시 게시, 고용 종료, 대규모 자금 이체, 주요 기록 삭제 등이 있습니다.

정확한 경계는 기업마다 다를 것입니다. 변하지 않아야 할 것은 자율성을 위험, 가역성, 책임 있는 소유권과 연결하는 명시적 결정입니다.

현재 거버넌스 제품이 아직 입증하지 못하는 것

시장은 구매자가 이러한 통제가 모델, 플랫폼, 위임된 워크플로 전반에서 작동하는지 검증할 수 있는 속도보다 더 빠르게 에이전트 통제 도구를 내놓고 있습니다.

제품 발표는 흔히 탐지, 모니터링, 정책 집행, 신속한 대응을 약속합니다. 이러한 기능은 가치가 있지만, 이를 뒷받침하는 증거는 여전히 고르지 않습니다.

벤더는 자사 플랫폼이 알려진 도구 호출을 차단하는 모습을 시연할 수 있습니다. 그러나 이 테스트가 새로운 공격, 모호한 목표 또는 복잡한 위임 사슬에 대한 성능을 입증하지는 않습니다.

탐지 역시 어려운 문제입니다. 중앙에서 관리되는 에이전트는 목록화하기 쉽지만, 직원들은 브라우저 도구, 스크립트, 외부 서비스를 통해 비공식 자동화를 만들 수 있습니다.

이러한 에이전트는 개인 자격 증명이나 복사된 API 키를 사용할 수 있습니다. 중앙 거버넌스 콘솔이 모니터링하는 시스템 밖에서 작동할 수도 있습니다.

따라서 조직은 섀도 IT에 상응하는 에이전트 문제에 직면합니다. 차이점은 섀도 에이전트가 행동을 시작하고 추가 자동화를 만들 수 있다는 것입니다.

모니터링 도구는 악의적 행동과 정당한 변동을 구분해야 합니다. 에이전트는 동일한 작업을 완료하기 위해 서로 다른 순서를 자주 사용하므로, 경직된 행동 규칙은 오탐을 일으키기 쉽습니다.

경고가 너무 많으면 감독 체계가 약화될 수 있습니다. 보안팀은 시끄러운 경고를 무시할 수 있고, 사업팀은 정당한 작업을 자주 막는 통제를 우회할 방법을 찾습니다.

설명 가능성도 또 다른 취약점입니다. 에이전트는 행동을 만들어 낸 과정에 대한 신뢰할 수 있는 증거를 제공하지 않은 채 자신의 추론에 대해 그럴듯한 설명을 만들어 낼 수 있습니다.

감사 시스템은 관찰 가능한 이벤트를 우선시해야 합니다. 유용한 기록에는 입력 출처, 도구 호출, 권한 부여 결정, 데이터 접근, 모델 버전, 정책 결과, 최종 출력이 포함됩니다.

이러한 기록은 변조로부터 보호되어야 합니다. 에이전트는 자신의 행동을 조사하는 데 필요한 증거를 삭제할 수 없어야 합니다.

복구 주장도 면밀히 검토할 필요가 있습니다. 독립적인 사본이 있다면 삭제된 코드 브랜치를 복원할 수 있습니다. 하지만 외부 이메일을 회수하거나 이미 공개된 정보를 되돌리는 일은 훨씬 어렵습니다.

일부 행동은 부분적으로만 되돌릴 수 있습니다. 결제는 취소될 수 있지만, 이체 시도 자체가 규정 준수 또는 사기 우려를 일으킬 수 있습니다.

거버넌스 플랫폼은 어떤 자원을 복원할 수 있고 어떤 결과가 그 통제 범위 밖에 남는지를 밝혀야 합니다. 구매자에게는 일반적인 롤백 약속이 아니라 시나리오 기반 증거가 필요합니다.

상호운용성은 더 많은 불확실성을 더합니다. 기업은 하나의 모델, 하나의 에이전트 프레임워크 또는 하나의 ID 제공업체만 운영하는 경우가 드뭅니다.

한 벤더의 플랫폼 안에서 작동하는 정책은 에이전트가 외부 도구를 호출할 때 컨텍스트를 잃을 수 있습니다. 위임된 에이전트는 조직적·기술적 경계를 넘나들 수 있습니다.

표준은 이러한 파편화를 줄일 수 있지만, 여전히 발전 중입니다. NIST의 작업은 추진력을 보여주지만, 실용적 구현은 실제 기업 시스템 전반에서의 테스트가 필요합니다.

World Economic Forum은 경영진의 82%가 1~3년 안에 에이전트를 도입할 계획이라고 보고했습니다. 이 수치는 검증된 프로덕션 도입이 아니라 의도를 나타냅니다.

이 구분은 중요합니다. 설문조사의 열의는 조직이 신뢰할 수 있는 목록, 성숙한 통제 또는 측정 가능한 수익을 갖췄다는 것을 보여주지 않습니다.

따라서 벤더의 주장은 독립적인 평가가 이를 확인하기 전까지는 주장으로 남아야 합니다. 구매자는 자사의 위험 프로필과 유사한 배포 사례의 증거를 요청해야 합니다.

거버넌스 시장에는 인센티브 문제도 있습니다. 더 큰 자율성을 판매하는 플랫폼이 그 자율성을 수용 가능하게 만드는 통제 기능도 판매하는 경우가 많습니다.

이러한 구조가 해당 도구의 가치를 무효화하는 것은 아닙니다. 다만 고객에게는 독립적인 보안 테스트, 명확한 계약상 책임, 배포를 제한할 내부 권한이 필요하다는 뜻입니다.

에이전트 거버넌스의 성숙도를 보여줄 세 가지 신호

다음 단계는 추가 정책 문구가 아니라 상호운용 가능한 신원, 증거 기반 자율성, 복구 가능한 프로덕션 배포를 통해 측정될 것입니다.

첫 번째 신호는 NIST의 AI Agent Standards Initiative가 제시하는 구체적인 구현 지침입니다. 그 가치는 조직이 표준을 상호운용 가능한 통제로 옮길 수 있는지에 달려 있습니다.

유용한 결과물이라면 애플리케이션이 벤더 경계를 넘어 에이전트의 신원, 위임된 권한, 허용된 범위, 책임 있는 소유자를 검증할 수 있게 할 것입니다.

공통 신원 필드는 사고 대응도 개선할 것입니다. 조사자는 어떤 에이전트가 행동했는지, 누가 이를 승인했는지, 실행 중 권한이 바뀌었는지를 재구성할 수 있습니다.

표준이 추상적인 수준에 머문다면 벤더들은 호환되지 않는 신원 모델을 계속 구현할 것입니다. 이러한 파편화는 이질적인 환경 전반에서 중앙집중식 거버넌스를 구축해야 한다는 근거를 약화할 것입니다.

두 번째 신호는 동적 자율성 정책의 도입입니다. 기업은 테스트, 위험, 관찰된 성능에 따라 에이전트 권한이 어떻게 달라지는지 보고하기 시작해야 합니다.

이를 위해서는 측정 가능한 기준이 필요합니다. 에이전트는 정책을 위반하거나 보호된 정보를 노출하면서도 작업을 완료할 수 있으므로, 완료율만으로는 충분하지 않습니다.

평가는 무단 도구 사용, 프롬프트 인젝션, 메모리 오염, 자격 증명 오용, 위임, 복구를 다뤄야 합니다. 테스트는 에이전트의 실제 프로덕션 환경도 반영해야 합니다.

성숙한 배포는 평가 결과를 권한과 연결합니다. 실패한 테스트는 약점이 수정되고 검토될 때까지 더 광범위한 권한을 자동으로 차단해야 합니다.

이러한 관행의 증거는 기업이 책임 있게 자율성을 확장할 수 있다는 주장을 강화할 것입니다. 정적인 권한 모델은 거버넌스가 배포를 따라가지 못하고 있음을 시사할 것입니다.

세 번째 신호는 사고 차단과 복구에 관한 공개 증거입니다. 조직은 유해한 에이전트 활동을 감지하고 그 결과를 제한할 수 있음을 보여줘야 합니다.

이를 위해 민감한 사고 세부사항을 공개할 필요는 없습니다. 기업은 익명화된 시나리오, 독립 평가, 측정된 복구 성능을 공개할 수 있습니다.

유용한 공개 내용은 무엇이 일어났는지, 어떤 통제가 이를 탐지했는지, 행동이 어디까지 확산됐는지, 무엇을 되돌릴 수 있었는지를 설명할 것입니다.

실패 역시 정보를 제공합니다. 적절히 인증된 에이전트와 관련된 사고는 신원만으로 신뢰할 만한 의도를 확립할 수 없는 이유를 보여줄 것입니다.

여러 에이전트를 가로지르는 실패는 현재의 로깅이 완전한 위임 사슬을 보존하는지 시험할 것입니다. 되돌릴 수 없는 결과는 롤백 마케팅의 한계를 드러낼 것입니다.

이러한 신호는 또 하나의 거버넌스 대시보드보다 더 중요합니다. 기술은 에이전트가 실제 시스템 전반에서 기계 속도로 작동할 때도 통제가 효과적인 상태로 유지됨을 입증해야 합니다.

개발자에게 즉각적인 의미는 분명합니다. 에이전트 아키텍처는 처음부터 정책 검사 지점, 추적 가능한 도구 호출, 제한된 자격 증명을 노출해야 합니다.

기업 구매자에게는 배포 전에 조달 단계에 거버넌스 요구사항을 포함해야 합니다. 에이전트가 부서 전반으로 확산된 뒤 소유권, 감사 가능성, 복구를 개조하는 비용은 더 커질 것입니다.

지식 노동자에게도 이해관계가 있습니다. 에이전트는 점점 더 이들의 계정, 데이터, 커뮤니케이션 도구를 통해 행동하며, 그 결과는 인간의 신원 아래에 나타날 수 있습니다.

Google News 헤드라인은 새로운 거버넌스 모델의 필요성을 정확히 짚습니다. 더 어려운 질문은 자율적 활동이 일상적 인프라가 되기 전에 조직이 그 모델을 적용할 것인지입니다.

배포된 모든 에이전트의 소유자가 누구인지, 어떤 행동을 할 수 있는지, 지침이 바뀌면 무엇이 일어나는지 물어보십시오. 그리고 실제 실패 상황에서도 그 답이 유지된다는 증거를 요구하십시오.