Agentic AI가 보안의 인간 중심 신뢰 가정을 무너뜨리고 있다

Agentic AI가 뚜렷한 충돌과 함께 Google News에 등장했다. 자율 시스템이 이제 이를 통제하도록 설계된 인간 중심 보안 통제보다 더 빠르게 행동할 수 있게 된 것이다.

최근 Forbes 분석은 보안 프로그램이 여전히 사람이 중요한 행동을 시작하고 그에 대한 책임을 진다는 전제에 기반한다고 주장한다. AI 에이전트는 이 두 가지 가정을 모두 약화시킨다. 제한적인 인간 개입만으로 도구를 선택하고, 데이터를 검색하며, API를 호출하고, 여러 단계로 구성된 작업을 완료할 수 있기 때문이다.

이 글은 단일 침해 사고나 제품 발표가 아니라 더 폭넓은 보안 논쟁을 반영한다. Microsoft, Google Cloud 및 보안 표준 단체들은 에이전트를 독립적인 디지털 행위자로 보고 이를 위한 통제를 개발하고 있다. 이들의 작업은 인간 사용자, 예측 가능한 애플리케이션, 비교적 안정적인 권한을 중심으로 구축된 기존 모델에 도전한다.

이 긴장이 중요한 이유는 에이전트가 피해를 일으키기 위해 악의적인 의도를 가질 필요가 없기 때문이다. 손상된 지시, 과도한 권한, 오염된 메모리 또는 잘못된 계획은 정상적인 행동들로 이루어진 유해한 연쇄를 만들어낼 수 있다.

따라서 핵심 쟁점은 자율성과 인간 중심 통제의 대립이다. 기업은 지속적인 승인 없이 작업을 끝낼 수 있는 에이전트를 원한다. 보안팀은 모든 신원, 권한, 도구 호출 및 중대한 행동이 계속 제한된다는 증거가 필요하다.

해결책은 단순히 모든 워크플로 옆에 사람을 한 명 더 배치하는 것이 아니다. 그러면 기업이 자율 시스템에서 기대하는 속도의 상당 부분이 사라진다. 보안은 행동이 발생하기 전에 소프트웨어가 제한을 강제할 수 있는 에이전트의 실행 경로에 더 가까워져야 한다.

Agentic AI 보안이 Google News에 등장한 이유

뉴스의 핵심은 AI가 실수할 수 있다는 사실이 아니다. 이제 그 실수가 실제 시스템에 도달해 실제 행동을 유발할 수 있게 됐다는 변화다.

전통적인 생성형 AI는 일반적으로 사람이 프롬프트를 제출할 때까지 기다린다. 이후 사람이 검토할 수 있는 텍스트, 이미지 또는 코드를 반환한다. 이 상호작용은 모델 출력과 운영상 영향 사이에 분명한 점검 지점을 만든다.

Agentic AI는 그 점검 지점을 없애거나 좁힌다. AI 에이전트는 계획 수립, 도구 사용 및 반복적인 행동을 통해 목표를 추구하는 시스템이다. 정보를 수집하고, 경로를 선택하며, 단계가 실패한 뒤 조정할 수 있다.

이 능력은 위험 계산을 바꾼다. 챗봇은 운영 중인 데이터베이스를 삭제하라고 권고할 수 있다. 과도한 권한을 가진 에이전트는 삭제를 시도하고, 오류 발생 후 재시도하며, 다른 자격 증명을 찾을 수 있다.

같은 구분은 일상적인 사무 업무에도 적용된다. 이메일 초안을 작성하는 어시스턴트는 검토 가능한 결과물을 만든다. 수신자를 찾고, 내부 문서를 첨부하고, 메시지를 보내는 에이전트는 누군가 알아차리기 전에 정보를 노출할 수 있다.

한 Forbes 보안 논지는 에이전트가 보안팀이 통상 별도로 관리하는 환경, 신원 및 데이터 경계를 넘나든다고 설명한다. 저자인 Cyera 임원 Jason Clark은 이를 기존 통제를 위한 구조적 문제로 제시한다.

이 출처는 독립적인 탐사 보도가 아니라 Forbes Technology Council의 기고문이다. 따라서 해당 주장은 업계 임원의 분석으로 읽어야 한다. 다만 그 핵심 우려는 독립 연구, 벤더 지침 및 새롭게 등장하는 기술 표준 전반에서 나타난다.

중요한 변화는 위임된 권한이다. 에이전트는 사용자의 신원, 서비스 계정 또는 자체 자격 증명을 통해 작동할 수 있다. 각 모델은 책임과 권한 범위에 관한 어려운 질문을 낳는다.

사용자 계정을 빌리면 에이전트는 그 사람에게 부여된 모든 권한을 갖게 된다. 공유 서비스 계정은 책임 추적을 어렵게 만든다. 별도의 에이전트 신원은 가시성을 개선하지만, 시스템이 그 맥락을 지속적으로 평가할 수 있을 때만 그렇다.

에이전트는 더 긴 인과 관계 사슬도 만든다. 한 에이전트가 다른 에이전트에게 기록을 검색하도록 요청할 수 있다. 두 번째 에이전트는 제3자 도구를 호출하고, 그 도구는 데이터를 가져와 다른 모델에 전달할 수 있다.

각 인계는 또 하나의 신뢰 판단을 만든다. 보안팀은 누가 작업을 시작했는지, 어떤 에이전트가 행동했는지, 어떤 권한을 받았는지, 그리고 그 권한이 여전히 유효했는지를 판단해야 한다.

Google News 노출은 이 문제에 더 넓은 가시성을 부여하지만, 집계 자체가 사건은 아니다. 실제 사건은 배포와 보안 증거가 수렴하는 데 있다. 에이전트는 워크플로에 들어가고 있는 반면, 신원 통제는 여전히 인간과 정적인 워크로드를 중심으로 설계돼 있다.

이 격차는 아키텍처 논의를 운영상의 문제로 바꾼다. 이제 보안 리더는 하나의 고정된 순서를 따르기보다 목표를 해석하는 시스템이 만들어내는 행동을 관리해야 한다.

보안은 여전히 키보드 뒤에 사람이 있다고 가정한다

대부분의 접근 시스템은 신원에 권한이 있는지를 묻지만, 에이전트는 이 행동이 여전히 위임된 목적에 부합하는지도 묻게 만든다.

인간 중심 보안은 몇 가지 실질적인 가정에 기반한다. 사람이 로그인하고, 조직 규칙을 이해하며, 대략 인간적인 속도로 행동한다는 가정이다. 조사관은 활동이 비정상적으로 보일 때 그 사람에게 질문할 수 있다.

이러한 가정 중 어느 것도 에이전트에 깔끔하게 적용되지 않는다. 에이전트는 피로 없이 수천 번의 결정을 내릴 수 있다. 또한 그 밖의 조건이 유사한 두 세션에서도 모호한 지시를 다르게 해석할 수 있다.

일반적으로 IAM이라고 불리는 기존의 신원 및 접근 관리 체계는 누가 시스템에 접근할 수 있고 그 신원이 무엇을 할 수 있는지를 통제한다. 역할은 종종 직무나 기술적 기능을 기준으로 안정적인 권한 집합을 부여한다.

재무 부서 직원은 송장, 결제 도구 및 보고 시스템에 접근할 수 있다. 서비스 계정은 하나의 애플리케이션을 위해 데이터베이스 접근 권한을 받을 수 있다. 이후 검토를 통해 이러한 권한이 여전히 적절한지 확인한다.

에이전트는 하나의 과업 안에서 그 경계를 넘나들 수 있다. 공급업체 문제 해결 요청에는 이메일, 계약서, 송장, 결제 상태 및 내부 메시징이 필요할 수 있다. 정적인 역할로는 그 임시 목표에 필요한 정확한 권한을 표현하기 어렵다.

Cloud Security Alliance는 2026년 기업 설문조사에서 상당한 가시성 격차를 보고했다. 조직의 73%가 1년 내 에이전트가 핵심적 역할을 하게 될 것으로 예상했지만, 68%는 에이전트 활동과 인간 활동을 명확히 구분하지 못했다. 이 결과는 해당 단체의 자율 에이전트 설문조사에 담겨 있다.

이 구분은 조사에 필수적이다. 에이전트가 직원의 토큰을 사용하면 기존 로그에는 직원 신원만 표시될 수 있다. 분석가는 그 사람이 버튼을 클릭했는지, 아니면 소프트웨어에 행동을 위임했는지 알지 못할 수 있다.

인간에 대한 가정은 승인 설계에도 영향을 미친다. 많은 통제는 인증을 주요 신뢰 이벤트로 취급한다. 사용자가 그 관문을 통과하면 세션이 끝나거나 다른 정책이 개입할 때까지 시스템은 허가된 활동을 허용한다.

에이전트에는 더 빈번한 판단이 필요하다. 권한은 작업, 현재 단계, 요청된 리소스, 도구, 데이터 민감도 및 제안된 행동의 결과에 따라 달라져야 한다.

분기별 시장 브리핑을 작성하도록 요청받은 리서치 에이전트를 생각해 보자. 승인된 공개 자료를 읽는 것은 그 목적에 부합한다. 그러나 요청한 임원이 접근할 수 있더라도 기밀 인수 파일을 여는 것은 그렇지 않다.

에이전트가 빌린 신원은 두 행동 모두를 허가할 수 있다. 목적을 인식하는 통제는 할당된 작업 범위를 벗어나므로 두 번째 행동을 여전히 거부해야 한다.

속도는 이 약점을 더 키운다. 사람이 반복적인 접근 실패를 겪으면 멈추고 지원팀에 연락할 수 있다. 에이전트는 재시도하거나, 다른 도구를 선택하거나, 사용 가능한 맥락에서 다른 자격 증명을 찾을 수 있다.

이런 행동은 에이전트가 목표를 따르는 경우에도 공격처럼 보일 수 있다. 또한 자동화는 보통 방어자가 대응할 시간을 주는 지연을 제거하기 때문에 실제 침해를 증폭시킬 수도 있다.

따라서 보안팀은 세 가지 신원을 분리해야 한다는 압박을 받는다. 즉, 위임하는 사람, 실행하는 에이전트, 그리고 요청을 받는 서비스 또는 도구다. 이 사슬의 어느 부분이라도 잃으면 책임 추적이 약화된다.

필요한 대응은 더 큰 직원 디렉터리가 아니다. 모든 단계에서 위임 맥락을 보존하고 작업이 끝날 때 접근 권한을 만료시키는 권한 부여 모델이다.

자율성과 통제는 반대 방향으로 작용한다

에이전트의 가치를 높이는 기능은 영구적인 신뢰를 위험하게도 만든다. 독립성, 지속성, 광범위한 도구 접근 및 적응형 계획 수립이 그것이다.

유용한 에이전트는 행동을 선택할 충분한 자유가 있어야 한다. 사소한 단계마다 인간 승인이 필요하다면, 에이전트는 수작업을 위한 복잡한 인터페이스가 된다.

하지만 제한 없는 자율성은 받아들일 수 없는 보안 모델을 만든다. 모델은 목표를 오해하거나, 악의적인 콘텐츠를 따르거나, 잘못된 기록을 선택하거나, 승인된 도구를 통해 정보를 공개할 수 있다.

프롬프트 인젝션은 이 충돌을 잘 보여준다. 이 공격은 모델이 읽는 콘텐츠 안에 지시를 넣어 모델이 해당 콘텐츠를 명령으로 취급하도록 유도한다. 웹페이지, 문서, 이메일 또는 도구 응답에 적대적 텍스트가 포함될 수 있다.

기존 애플리케이션은 코드와 시스템 경계를 통해 실행 가능한 지시와 일반 데이터를 분리한다. 언어 모델은 둘 다 동일한 추론 맥락에서 처리하므로 이 구분을 일관되게 강제하기가 더 어렵다.

웹을 탐색하는 에이전트는 저장된 정보를 공개하라고 지시하는 숨겨진 문구를 마주칠 수 있다. 에이전트가 민감한 메모리와 통신 도구에 접근할 수 있다면, 오염된 페이지 하나가 이러한 기능을 연결할 수 있다.

실패는 여러 통제 계층에 걸쳐 발생한다. 모델은 데이터를 지시로 잘못 분류한다. 애플리케이션은 불필요한 데이터 읽기를 허용한다. 도구는 목적을 확인하지 않고 외부 행동을 수락한다.

의심스러운 문구 하나를 차단한다고 이 사슬을 해결할 수는 없다. 공격자는 지시를 다시 작성하거나, 콘텐츠 전반에 나누거나, 간접 참조를 악용할 수 있다. 방어자는 모델 자체의 추론 과정 바깥에 있는 통제가 필요하다.

Microsoft의 에이전트 보안 지침은 고유한 디지털 신원, 최소 권한 접근, 가드레일, 승인 워크플로 및 감사를 권고한다. 이러한 통제는 모델이 작성된 지시를 따르는 데 대한 의존도를 낮춘다.

최소 권한이란 특정 작업에 필요한 접근만 부여하는 것을 뜻한다. 에이전트에게 이 원칙은 기존의 많은 기업 역할보다 더 좁고 일시적인 형태가 되어야 한다.

비용 처리 에이전트는 제출된 영수증 한 건과 정책 문서 한 건을 읽어야 할 수 있다. 모든 직원의 비용 내역에 영구적으로 접근할 필요는 없다. 또한 자체 예외를 승인해서도 안 된다.

수명이 짧은 자격 증명은 노출을 제한할 수 있다. 브로커는 하나의 에이전트, 작업, 리소스 및 시간 창에 대한 자격 증명을 발급할 수 있다. 요청을 받는 서비스는 행동을 수락하기 전에 이러한 조건을 확인할 수 있다.

영향이 큰 단계에는 더 강력한 장벽이 필요하다. 송금, 기록 삭제, 운영 시스템 변경 또는 규제 대상 데이터 노출은 결정론적 정책 검사를 유발해야 한다. 결정론적이라는 것은 동일하게 정의된 조건이 동일한 결정을 낸다는 뜻이다.

모델은 행동을 제안할 수 있지만, 자신의 행동이 허용되는지를 스스로 결정해서는 안 된다. 이러한 분리는 애플리케이션이 접근을 요청하고 정책 시스템이 요청을 평가하는 익숙한 보안 관행을 반영한다.

특히 의도를 코드로 안전하게 표현할 수 없을 때 인간 승인은 여전히 역할을 한다. 그러나 승인 프롬프트는 의미 있는 맥락을 제공해야 한다. 일반적인 “허용” 버튼은 판단을 개선하지 않은 채 위험만 전가한다.

검토자는 요청한 사람, 실행 중인 에이전트, 영향을 받는 리소스, 제안된 조치, 예상 결과, 그리고 에스컬레이션 사유를 확인할 수 있어야 한다. 승인은 이후의 모든 단계가 아니라 해당 조치 하나만 포괄해야 한다.

이 설계는 정의된 경계 안에서 유용한 자율성을 보존한다. 에이전트는 중단 없이 저위험 검색과 분석을 처리할 수 있다. 중대한 결과를 초래할 수 있는 조치는 단계적으로 더 강력한 검증을 거친다.

트레이드오프는 사라지지 않는다. 경계를 좁히면 유연성이 줄어들고, 권한을 넓히면 실수의 잠재적 영향이 커진다. 기업은 자율성이 그 잔여 위험을 감수할 만큼 충분한 가치를 만드는 지점을 결정해야 한다.

신원은 필요하지만, 의도를 설명할 수는 없다

모든 에이전트에 이름을 부여하면 책임성은 높아지지만, 신원만으로 유효한 조치가 현재 작업에 속하는지 판단할 수는 없다.

신원은 에이전틱 AI 보안에서 가장 일반적인 출발점이 되었다. 이는 타당하다. 방어자는 사용자와 백그라운드 서비스를 구분할 수 없는 행위자를 통제하거나 조사할 수 없다.

Google Cloud는 2026년 5월, 기존 통제가 민감한 데이터와 기계 속도로 상호작용하는 자율 에이전트를 위해 설계되지 않았다고 밝혔다. Google Cloud의 agent identity controls는 에이전트 접근 권한 관리와 런타임 방어 강화에 초점을 둔다.

Microsoft도 에이전트를 별도의 신원을 부여받아야 하는 디지털 행위자로 본다. 이를 통해 정책과 로그는 에이전트의 행동을 작업을 할당한 사람의 행동과 구분할 수 있다.

The Coalition for Secure AI는 agentic IAM framework에서 한 걸음 더 나아간다. 이 프레임워크는 기존 신원 프로토콜이 에이전트, 위임된 권한, 접근 결정을 어떻게 표현해야 하는지 검토한다.

이러한 노력은 기존 IAM 공급업체, 클라우드 플랫폼, 애플리케이션 개발자에게 압박을 가한다. 모든 계층은 하위 시스템이 정보에 기반한 권한 부여 결정을 내릴 수 있을 만큼 충분한 컨텍스트를 전달해야 한다.

고유한 신원은 어떤 에이전트가 요청했는지는 답할 수 있다. 그러나 요청이 왜 존재하는지, 계획이 바뀌었는지, 리소스가 여전히 필요한지는 자동으로 답할 수 없다.

이 한계는 탈취된 에이전트도 정상적으로 인증할 수 있기 때문에 중요하다. 도난당한 자격 증명, 오염된 지시, 변조된 메모리, 조작된 도구 응답이 항상 무효한 신원을 만들지는 않는다.

에이전트는 각각 허용된 조치를 수행할 수 있지만, 그 조치들이 결합되면 해로운 연쇄를 이룰 수 있다. 고객 기록을 읽고, 선택한 파일을 압축한 뒤, 외부 메시지를 보내는 행위는 각각 따로 평가하면 정상으로 보일 수 있다.

그러나 함께 보면 이러한 조치는 데이터 탈취를 의미할 수 있다. 보안 시스템은 작업 전반에 걸친 결정과 조치의 순서 있는 경로, 즉 궤적을 검토해야 한다.

trajectory assurance에 관한 2026년 연구 논문은 에이전트 시스템에서 행위별 검증만으로는 충분하지 않다고 주장한다. 저자들은 신원, 위임, 통신, 실행 통제 전반에 걸친 아키텍처 수준의 검증을 강조한다.

이 접근법은 행위 기반 탐지와 유사하지만 작업 컨텍스트를 추가한다. 계약서를 요약하도록 할당된 에이전트는 기술적 권한이 있더라도 접근 정책을 변경하기 시작해서는 안 된다.

런타임 통제는 현재 조치를 원래 목표, 승인된 계획, 이전 단계, 남은 권한과 비교할 수 있다. 궤적이 예상된 경계를 벗어나면 실행을 일시 중지할 수 있다.

로깅에도 더 높은 정밀도가 필요하다. 유용한 감사 추적은 위임자, 에이전트 신원, 모델 버전, 도구 호출, 접근한 리소스, 정책 결정, 그에 따른 부수 효과를 기록해야 한다.

그러나 조직은 제한 없이 비공개 추론이나 민감한 프롬프트를 기록하는 데 신중해야 한다. 상세한 기록 자체에 기밀 데이터, 자격 증명, 직원 정보, 고객 콘텐츠가 포함될 수 있다.

따라서 감사 가능성은 그 자체로 보안 및 개인정보 보호 의무를 만든다. 로그에는 접근 통제, 보존 규칙, 변조 방지, 명확한 목적이 필요하다. 더 많은 텔레메트리가 자동으로 더 안전한 텔레메트리를 의미하지는 않는다.

메모리는 또 다른 복잡성을 만든다. 에이전트는 세션을 넘어서 선호도, 작업 이력, 운영 컨텍스트를 유지할 수 있다. 오염된 메모리는 원래의 악성 콘텐츠가 사라진 뒤에도 훗날의 조치에 영향을 미칠 수 있다.

조직에는 그러한 메모리에 대한 출처 추적이 필요하다. 출처 추적은 정보가 어디서 왔는지, 어떻게 변경됐는지, 지속적 사용을 어떤 프로세스가 승인했는지를 기록한다.

민감한 지식 워크플로는 원본 자료를 체계적으로 정리하고 추적 가능하게 유지하는 이점도 얻는다. searchable knowledge base는 사람의 검토를 지원할 수 있지만, 에이전트 권한 부여를 대체하지는 않는다.

따라서 신원은 하나의 통제 평면일 뿐 완전한 해답은 아니다. 안전한 실행을 위해서는 목적 제한, 외부 정책 집행, 궤적 모니터링, 복구 가능한 기록도 필요하다.

가장 어려운 문제는 위임 이후의 책임성이다

에이전트는 결정을 실행할 수 있지만, 그 결과에 대해 법적·운영적·윤리적 책임을 지는 것은 아니다.

인간 중심 보안은 궁극적으로 책임성이 사람 또는 조직으로 이어진다고 가정한다. 에이전틱 시스템은 그 경로를 없애지는 않지만 복잡하게 만든다.

비즈니스 리더는 에이전트에 광범위한 결과 목표를 승인할 수 있다. 개발자는 도구를 선택할 수 있다. 플랫폼 팀은 자격 증명을 관리할 수 있다. 보안 팀은 정책을 정의하고, 공급업체는 기반 모델을 제공할 수 있다.

에이전트가 피해를 일으키면 각 참여자는 다른 계층을 지목할 수 있다. 리더는 정확한 조치를 선택하지 않았다. 개발자는 악성 콘텐츠를 만들지 않았다. 모델 제공자는 프로덕션 접근 권한을 부여하지 않았다.

이러한 분절은 소유권 공백을 만든다. 기술적 귀속은 어떤 구성 요소가 행동했는지 식별할 수 있지만, 조직적 책임성은 누가 위험을 수용했고 누가 시스템을 멈출 수 있는지 식별해야 한다.

모든 프로덕션 에이전트에는 책임 있는 소유자가 필요하다. 그 소유자는 에이전트의 목적, 데이터 경계, 도구, 위험 분류, 에스컬레이션 경로를 승인해야 한다.

소유권은 모든 출력을 검토한다는 뜻이 아니다. 자율성이 허용 가능한 상태로 유지되는 조건을 관리한다는 뜻이다. 또한 증거가 그 조건을 벗어날 때 에이전트를 중단한다는 의미이기도 하다.

보안 팀은 에이전트와 그 기능에 대한 최신 인벤토리가 필요하다. 각 기록에는 에이전트의 소유자, 위임자, 자격 증명, 연결된 도구, 데이터 접근 권한, 모델 의존성, 허용된 결과가 포함되어야 한다.

인벤토리는 승인된 프로젝트뿐 아니라 실제 배포 상태를 반영해야 한다. 에이전트는 소프트웨어 기능, 직원이 구축한 자동화, 개발 프레임워크, 브라우저 확장 프로그램, 타사 통합을 통해 유입될 수 있다.

에이전트는 일반적인 API 트래픽과 비슷해 보일 수 있기 때문에 발견이 어렵다. 기존 사용자 토큰이나 서비스 계정을 사용할 수 있다. 에이전트 전용 신호가 없으면 방어자는 조치는 보지만 행위자는 놓친다.

책임성은 복구 가능성에도 달려 있다. 시스템은 어떤 조치를 되돌릴 수 있는지와 얼마나 빠르게 되돌릴 수 있는지를 정의해야 한다. 초안을 검토 대기열로 보내는 것은 되돌릴 수 있다. 이를 공개적으로 게시하면 더 넓고 예측하기 어려운 영향을 만든다.

같은 구분은 보안 운영에도 적용된다. 에이전트는 기기 격리를 권고할 수 있다. 병원 워크스테이션이나 프로덕션 서버를 자동으로 연결 해제하는 것은 다른 운영 위험을 수반한다.

조직은 결과에 따라 조치를 분류해야 한다. 읽기 전용 접근, 내부 초안 작성, 외부 커뮤니케이션, 금융 거래, 권한 변경, 파괴적 작업은 하나의 승인 정책을 공유해서는 안 된다.

회의적인 관점도 여기서 주목할 가치가 있다. 제안된 일부 에이전트 통제는 여전히 공급업체의 주장, 아키텍처 권고안, 또는 초기 표준에 머물러 있다. 이기종 프로덕션 환경 전반에서의 효과는 대규모로 확립되지 않았다.

고유한 신원이 잘못된 결정을 막지는 않는다. 상세한 로그가 이미 완료된 조치를 멈추지는 않는다. 사람의 승인은 일상적이고 성급해지거나 오해를 유도하는 컨텍스트에 취약해질 수 있다.

외부 정책 엔진도 오류를 포함할 수 있다. 규칙이 이례적인 워크플로를 누락하거나, 개별적으로는 허용 가능한 조치들의 해로운 조합을 허용할 수 있다.

따라서 보안 프로그램은 에이전트 신원이 자율적 위험을 “해결한다”고 주장해서는 안 된다. 신원은 가시성과 집행을 개선하지만, 모델, 도구, 데이터, 조직적 결정 내부에는 잔여 불확실성이 남는다.

더 안전한 목표는 제한된 실패다. 에이전트는 제한된 접근 권한, 제한된 시간, 제한된 지출 권한, 다른 시스템에 영향을 미칠 수 있는 제한된 능력을 가져야 한다.

실패가 발생하면 팀은 순서를 재구성하고, 에이전트를 격리하며, 자격 증명을 폐기하고, 영향을 받은 리소스를 복구하고, 정책을 업데이트할 수 있어야 한다.

이 모델은 실수를 예상되는 운영 이벤트로 다룬다. 모든 프롬프트, 모델 응답, 도구 호출이 의도대로 작동한다고 가정하는 것보다 더 현실적이다.

보안이 따라잡고 있는지 보여줄 세 가지 신호

다음 단계는 자율적 위험에 대한 추가 경고가 아니라 집행 가능한 통제와 프로덕션 증거로 평가될 것이다.

첫 번째 신호는 작업 범위로 한정된 에이전트 신원의 도입이다. 클라우드 플랫폼과 엔터프라이즈 애플리케이션은 에이전트가 사용자의 전체 접근 권한을 상속하지 않고도 임시 권한을 받을 수 있음을 보여야 한다.

특정 위임자, 목적, 도구 세트, 리소스, 만료 시간에 결합된 자격 증명을 주시해야 한다. 또한 하위 애플리케이션이 일반적인 베어러 토큰을 수용하는 대신 해당 컨텍스트를 평가할 수 있는지도 살펴봐야 한다.

광범위한 지원은 기존 신원 인프라가 에이전트를 위해 발전할 수 있다는 근거를 강화할 것이다. 도입이 느리다면, 특히 여러 클라우드와 소프트웨어 공급업체 전반에서 어려운 상호운용성 문제가 드러날 것이다.

두 번째 신호는 런타임 통제에 대한 독립적 테스트다. 공급업체들은 가드레일, 모니터링, 에이전트 전용 권한 부여를 점점 더 설명하고 있다. 구매자는 이러한 시스템이 현실적인 다단계 공격과 우발적 정책 위반을 막는다는 증거를 필요로 한다.

테스트에는 간접 프롬프트 인젝션, 오염된 메모리, 탈취된 도구, 권한 상승, 허용된 조치의 해로운 조합이 포함되어야 한다. 또한 정상적인 작업을 중단시키는 오탐도 측정해야 한다.

서로 다른 모델과 애플리케이션에서 강력한 결과가 나온다면 런타임 집행으로의 전환을 뒷받침할 것이다. 통제된 시연에만 국한된 결과라면 해당 아키텍처가 광범위한 배포를 위한 준비가 되었다는 주장은 약화될 것이다.

세 번째 신호는 조직이 사고 후 에이전트의 조치를 재구성할 수 있는지다. 규제 기관, 보험사, 고객, 내부 감사자는 누가 권한을 위임했는지와 중대한 조치가 왜 정책을 통과했는지 물을 것이다.

완전한 기록은 사람의 요청을 에이전트, 모델, 도구, 데이터, 승인, 최종 부수 효과와 연결해야 한다. 누락된 연결고리는 책임성이 여전히 추론에 의존한다는 점을 드러낼 것이다.

이 신호는 운영 준비 상태도 시험한다. 어떤 회사는 상세한 로그를 보유하지만 에이전트를 중단할 권한을 가진 소유자가 없을 수 있다. 다른 회사는 자격 증명을 폐기할 수 있지만 명확한 복구 지점이 없을 수 있다.

Google News를 통해 에이전틱 AI를 살피는 독자는 서로 다른 세 가지 이야기를 구분해야 한다. 모델 역량은 에이전트가 무엇을 시도할 수 있는지를 설명한다. 제품 도입은 기업이 어디에 이를 배포하는지를 설명한다. 보안 성숙도는 그러한 배포가 계속 통제 가능한 상태인지 설명한다.

이 곡선들은 같은 속도로 움직이지 않는다. 에이전트 역량과 통합은 소프트웨어 업데이트를 통해 확장될 수 있다. 신원 재설계, 애플리케이션 지원, 감사 관행, 조직적 소유권에는 조율된 변화가 필요하다.

개발자는 다른 도구를 연결하기 전에 에이전트에 실제로 어떤 권한이 필요한지 물어야 한다. 엔터프라이즈 구매자는 신원 분리, 정책 집행, 로깅, 사고 격리에 관한 증거를 요구해야 한다.

지식 노동자들은 어시스턴트가 제안에 머무르지 않고 행동을 시작하는 순간을 알아차려야 합니다. 그 경계는 오류가 초안으로 남을지, 운영상의 사건이 될지를 결정합니다.

가장 유용한 질문은 에이전트가 사람처럼 행동하는지 여부가 아닙니다. 어떤 사람과도 다르게 작동하는 행위자를 시스템이 제약할 수 있는지입니다.

인간의 감독은 여전히 중요하지만, 유일한 안전장치로 남아 있을 수는 없습니다. 사람이 기계 속도의 모든 결정을 검토한다면, 기업이 도입한 자율성은 사라지게 됩니다.

보안은 인간의 의도를 집행 가능한 기술적 경계에 담아야 합니다. 또한 위임, 도구 호출, 메모리, 변화하는 계획 전반에서 그 의도를 보존해야 합니다.

Google News의 관심 주기는 또 다른 헤드라인으로 옮겨갈 것입니다. 하지만 근본적인 시험은 남습니다. 조직은 유용한 자율성을 부여하면서도 보이지 않고, 지속적이며, 책임 소재가 불분명한 권한까지 부여하지 않을 수 있을까요?

다음 에이전트를 배포하기 전에, 지시에서 결과에 이르는 하나의 완전한 작업을 추적하세요. 모든 자격 증명, 데이터 소스, 도구, 승인, 복구 단계를 식별하세요. 누락된 연결고리는 단순한 문서화 공백이 아닙니다. 자율적 행동이 인간의 통제를 앞지를 수 있는 지점입니다.