인증된 AI 에이전트도 여전히 이탈하고, 데이터를 노출하거나, 오염된 메모리를 유지할 수 있다

Google News는 날카로운 경고를 담은 VentureBeat 분석을 소개했다. AI 에이전트는 인증을 통과하고도 잘못된 행동을 할 수 있다. 자격 증명은 유효할 수 있다. API 호출 역시 허용될 수 있다. 그러나 그 행동은 작업 지침을 위반하거나, 민감한 데이터를 노출하거나, 공격자의 지시를 메모리에 보존할 수 있다.

이 구분은 익숙한 보안 가정에 도전한다. ID 및 액세스 관리는 누가 또는 무엇이 액세스를 요청했는지는 검증한다. 하지만 자율 시스템이 여전히 부여된 목적을 추구하는지까지 자동으로 판단하지는 않는다.

8월 30일 보도는 기업들이 게이트웨이에 필요한 맥락을 마련하기 전에 강제 적용 게이트웨이를 배포하고 있다고 주장한다. 여기서의 비교 대상은 한 보안 벤더와 다른 보안 벤더가 아니다. 유효한 인증과 유효한 행동의 비교이며, 이 두 조건은 더 이상 같은 의미가 아니다.

Google News 보도가 실제로 바꾼 관점

이 보도는 AI 에이전트 보안을 단순한 인증 문제가 아니라 순서 설정의 문제로 재구성한다.

VentureBeat 기고자 Nik Kale는 기업 배포에서 반복되는 패턴을 설명한다. 팀은 흔히 에이전트 트래픽을 검사하고 액세스 정책을 적용하는 런타임 게이트웨이부터 시작한다.

그러나 이 게이트웨이에는 에이전트에 관한 상위 정보가 부족한 경우가 많다. 에이전트의 소유자, 할당된 작업, 승인된 도구, 위임 권한 또는 전체 행동 체인을 알지 못할 수 있다.

그로 인해 생기는 사각지대는 놓치기 쉽다. 예를 들어 재무 조정 에이전트가 운영 레코드를 수정하려 한다고 가정해 보자. 게이트웨이는 직원 토큰을 인증하고 해당 토큰이 API 작업을 허용하는지도 확인할 수 있다.

에이전트가 할당 범위를 초과했더라도 두 검사는 모두 통과할 수 있다. 직원은 폭넓은 운영 액세스 권한을 가질 수 있지만, 에이전트에는 좁은 범위의 조정 작업만 위임됐을 수 있다.

Kale의 보안 순서는 6단계 의존성 체인에서 런타임 강제 적용을 다섯 번째에 둔다. 인벤토리, 고유한 ID, 범위가 제한된 자격 증명, 그리고 추적 가능한 텔레메트리가 먼저 갖춰져야 한다.

행동 모니터링과 시스템 간 격리 경로는 강제 적용 뒤를 잇는다. 이후의 각 통제는 앞선 통제가 만든 맥락에 의존하기 때문에 이 순서는 중요하다.

이 글은 게이트웨이가 쓸모없다고 주장하지 않는다. 조직이 몇 가지 기본 질문에 답할 수 있게 된 뒤에야 게이트웨이가 유용해진다고 말한다.

어떤 에이전트가 요청을 시작했는가? 누가 작업을 위임했는가? 에이전트는 어떤 권한을 사용하고 있는가? 이 작업은 어떤 결과를 만들어야 하는가?

기존 게이트웨이는 대개 토큰, 대상, 요청 메서드만 본다. 에이전트를 인식하는 제어 플레인은 목적, 계보, 그리고 하위 단계의 결과까지 이해해야 한다.

이것이 사건의 핵심적인 전환이다. 인증은 여전히 필요하지만, 성공적인 인증만으로는 신뢰를 뒷받침할 충분한 증거가 되지 않는다.

시점 역시 중요하다. AI 에이전트는 텍스트 생성 단계를 넘어 API 호출, 파일 조작, 데이터베이스 변경, 다른 시스템과의 조율이 포함된 워크플로로 진입하고 있다.

이러한 행동은 지속적인 영향을 만든다. 잘못된 답변은 수정할 수 있다. 그러나 완료된 결제, 내보낸 데이터셋, 취소된 자격 증명 또는 변경된 운영 환경에는 격리와 복구가 필요하다.

따라서 이 Google News 항목은 더 폭넓은 운영 변화를 가리킨다. 보안팀은 위임된 의도에서 외부 영향에 이르는 전체 경로를 평가해야 한다.

로그인 경계에서 멈출 수는 없다. 중요한 질문은 이제 에이전트가 허용된 뒤부터 시작된다.

인증은 의도가 아니라 ID를 증명한다

유효한 자격 증명은 권한을 가진 주체를 식별하지만, 모든 에이전트 행동이 그 주체의 현재 작업에 부합한다는 사실까지 증명하지는 않는다.

기존 ID 시스템은 비교적 안정적인 행위자를 중심으로 설계됐다. 사람이 로그인하고, 권한을 부여받으며, 감사 추적에 남는 행동을 수행한다.

AI 에이전트는 이 모델의 모든 부분을 복잡하게 만든다. 한 직원이 여러 에이전트를 실행할 수 있고, 각 에이전트는 여러 도구를 호출하며 추가 작업을 생성할 수 있다.

이 모든 프로세스가 한 직원의 토큰을 빌려 쓴다면, 로그는 서로 다른 여러 행위자를 하나의 ID로 뭉개 버린다. 조사자는 자격 증명은 볼 수 있지만 실제 의사결정자는 알 수 없다.

공유 서비스 계정도 비슷한 문제를 만든다. 소유권을 흐리게 하고, 특정 에이전트 하나만 위험해졌을 때 표적화된 권한 취소를 어렵게 한다.

고유한 에이전트 ID는 추적성을 개선하지만, ID만으로는 여전히 불완전하다. 시스템은 위임 맥락, 즉 작업을 부여한 사람 또는 서비스와 허용된 목적을 보존해야 한다.

급여, 조달, 고객 기록, 재무 보고에 접근할 수 있는 직원을 생각해 보자. 송장 조정을 요청받은 에이전트가 해당 직원의 전체 액세스 범위를 상속해서는 안 된다.

안전한 권한은 세 가지 한계의 교집합이다. 위임자의 권한, 에이전트의 승인된 기능, 그리고 현재 작업에 필요한 리소스를 포함한다.

Kale는 이 원칙을 단조적 위임이라고 부른다. 모든 권한 이전은 액세스를 유지하거나 축소해야 하며, 절대로 확장해서는 안 된다.

이는 단순히 역할을 부여하는 것보다 엄격하다. 관련 없는 시스템에는 접근할 수 없고 만료되는 작업 범위 자격 증명이 필요하다.

수명이 짧은 자격 증명은 탈취된 비밀 정보의 가치도 줄인다. 공격자가 하나의 토큰을 얻더라도 직원이 접근할 수 있는 모든 리소스에 무기한 접근해서는 안 된다.

그다음 텔레메트리는 각 도구 호출을 그 출처와 연결해야 한다. 유용한 기록에는 에이전트, 위임자, 작업, 상위 행동, 자격 증명, 도구, 결과가 식별돼야 한다.

이 연결고리가 없으면 사고 대응팀은 두 가지 치명적인 지연을 겪는다. 먼저 어떤 에이전트가 존재하는지 파악해야 하고, 그다음 어떤 하위 시스템을 건드렸는지 확인해야 한다.

인증된 에이전트는 외부 공격자 없이도 이탈할 수 있다. 행동 이탈은 그 행동이 부여된 목적이나 승인된 운영 패턴에서 점차 벗어날 때 발생한다.

그 계기는 모호한 지시, 변화하는 맥락, 예상치 못한 도구 응답 또는 각각은 허용 가능한 여러 결정이 누적된 순서일 수 있다.

이러한 행동은 기존의 탈취된 계정과는 다르다. 에이전트는 설계된 대로 승인된 자격 증명과 승인된 API를 정확히 사용할 수 있다.

실패는 행동과 원래 작업 사이의 관계에 있다. 표준 인증은 이 관계를 평가하지 않는다.

Okta의 에이전틱 엔터프라이즈 설문조사는 거버넌스 격차를 보여준다. 설문 대상 조직 중 디지털 인력과 인간 인력에 동일한 보안 통제를 적용한 곳은 34%에 불과했다.

이 설문조사는 신뢰도 불일치도 보고했다. 경영진의 95%는 조직이 의도된 범위 밖에서 작동하는 AI를 탐지할 수 있다고 확신했다.

이러한 결과는 벤더 후원 연구에서 나온 것이므로 시장 전체를 독립적으로 측정한 결과로 간주해서는 안 된다. 그럼에도 이 대비는 검증 가능한 운영 질문을 제시한다.

조직은 에이전트 작업 하나를 시작부터 모든 하위 영향까지 재구성할 수 있는가? 그렇지 않다면 그 조직의 자신감은 증거보다 앞서 있다.

인증은 자격 증명이 प्रवेश할 수 있는지를 답한다. 에이전트 보안은 그 결과 행동이 위임된 목적 안에 속하는지도 답해야 한다.

에이전트 메모리 오염은 하나의 악성 입력을 지속적인 상태로 만든다

에이전트 메모리 오염은 신뢰할 수 없는 콘텐츠를 일시적인 프롬프트에서 이후 세션에 영향을 줄 수 있는 재사용 가능한 지시로 바꾼다.

메모리는 에이전트가 선호도, 프로젝트 맥락, 작업 이력, 이전 결정을 유지하도록 돕는다. 이러한 연속성은 반복을 줄이고 장기 실행 워크플로의 유용성을 높인다.

하지만 이는 지속적인 공격 표면도 만든다. 에이전트는 웹페이지, 문서, 메시지, 도구 응답 또는 다른 에이전트에서 수집한 정보를 저장할 수 있다.

악성 콘텐츠가 이 저장소에 도달하면 에이전트는 나중에 이를 신뢰할 수 있는 맥락으로 검색할 수 있다. 유해한 행동이 일어날 때 원래 공격자는 더 이상 존재하지 않을 수 있다.

OWASP는 메모리 오염을 이후 세션이나 사용자에게 영향을 주기 위해 지속 저장되는 악성 정보로 정의한다. 에이전트 보안 가이드는 목표 탈취, 도구 오용, 데이터 노출, 과도한 자율성과 함께 이 위협을 나열한다.

이러한 지속성은 사고 대응을 바꾼다. 원본 메시지를 삭제하거나 출처를 차단해도 저장된 지시가 반드시 제거되는 것은 아니다.

오염된 메모리는 대화 전반에 걸쳐 살아남을 수 있다. 며칠 뒤 생성되는 요약, 검색된 기록, 계획, 결정에도 영향을 줄 수 있다.

실용적인 시나리오는 에이전트가 외부 문서를 읽는 데서 시작된다. 숨겨진 텍스트는 긴급 요청에 대해 공격자가 통제하는 연락처가 승인된 공급업체라고 거짓으로 표시한다.

에이전트는 이 주장을 조직 지식으로 저장한다. 이후 정상 사용자가 운영 중단 상황에서 도움을 요청한다.

에이전트는 오염된 항목을 검색해 공격자가 통제하는 연락처를 추천한다. 이미 메모리에 수용된 정보를 따르기 때문에 그 출력은 내부적으로 일관돼 보인다.

이 시나리오에서 인증이 제공하는 보호는 거의 없다. 사용자는 정상이고, 에이전트도 정상이며, 이후 요청도 일반적일 수 있다.

손상된 요소는 에이전트가 보존한 맥락이다. 이 맥락은 다른 면에서는 허용된 작업이 완료되는 방식을 좌우한다.

메모리 오염은 데이터 노출 경로도 만들 수 있다. 저장된 지시는 에이전트에게 숨겨진 파일을 포함하거나, 결과를 승인되지 않은 엔드포인트로 전송하거나, 향후 보안 검사를 약화하라고 지시할 수 있다.

여러 에이전트가 벡터 스토어 또는 지식 계층을 공유하면 영향은 확산될 수 있다. 하나의 오염된 항목이 각 에이전트를 개별적으로 침해하지 않고도 여러 워크플로에 영향을 줄 수 있다.

에이전트 메모리 오염은 책임 소재도 복잡하게 만든다. 실제 원인이 손상된 지속 상태인데도 유해한 출력은 환각이나 모델 실패처럼 보일 수 있다.

이 구분은 해결 조치에 영향을 준다. 모델을 바꾸거나 즉각적인 프롬프트를 다시 작성해도 오염된 메모리 저장소는 복구되지 않는다.

보안팀에는 저장된 맥락의 출처 정보가 필요하다. 출처 정보는 항목이 어디에서 왔는지, 언제 메모리에 들어왔는지, 어떤 프로세스가 이를 승인했는지, 이후 작업이 이를 어떻게 사용했는지를 기록한다.

메모리에는 신뢰 레이블도 부여해야 한다. 사용자 제공 콘텐츠, 외부에서 검색된 텍스트, 시스템이 승인한 정책, 검증된 조직 기록이 하나의 구분되지 않은 풀에 들어가서는 안 된다.

같은 원칙은 개인 AI 지식 베이스에도 적용된다. 지속적인 맥락은 축적될수록 더 가치 있어지지만, 그 출처와 범위 역시 그만큼 중요해진다.

OWASP의 지속적 메모리 논의는 MemoryTrap이라는 관련 Claude Code 사례를 설명한다. Cisco 연구진은 일상적인 개발 흐름이 악성 콘텐츠를 지속적이고 신뢰된 표면에 배치할 수 있음을 발견했다.

OWASP에 따르면, Anthropic은 이후 Claude Code를 변경해 사용자 메모리를 높은 신뢰도의 시스템 프롬프트 경로에서 제거했다. 이 수정은 확인된 경로를 해결한 것이지, 위험의 전체 범주를 해결한 것은 아니다.

교훈은 하나의 코딩 에이전트를 넘어 확장된다. 변경 가능한 상태를 기록하고 나중에 이를 지침으로 취급하는 모든 시스템에는 메모리 특화 통제가 필요하다.

이러한 통제에는 저장 전 검증, 무결성 검사, 범위가 제한된 검색, 변경 모니터링, 그리고 정상 상태로의 롤백이 포함된다.

팀은 사실적 메모리와 행동 지침도 구분해야 한다. 저장된 프로젝트 날짜가 보안 정책과 같은 권위를 가져서는 안 된다.

이러한 분리는 에이전트가 자체 메모리를 기록할 수 있을 때 특히 중요해진다. 침해된 계획 수립 과정이 미래의 운영 규칙을 조용히 재정의해서는 안 된다.

에이전트 메모리 오염은 보안이 모델에 유입되는 요청에만 집중해서는 안 되는 이유를 보여준다. 방어자는 요청 사이를 오가는 상태도 보호해야 한다.

게이트웨이만으로 전체 보안 모델을 감당할 수 없는 이유

게이트웨이는 정책을 집행할 수 있지만, 누락된 신원·위임·귀속 데이터를 만들어낼 수는 없다.

런타임 게이트웨이는 매력적인 위치를 차지한다. 도구 호출을 관찰하고, 요청을 검사하며, 규칙을 적용하고, 위험한 목적지를 차단할 수 있다.

이러한 가시성 때문에 AI 에이전트 보안을 우려하는 조직에게 게이트웨이는 논리적인 구매 대상이 된다. 하지만 게이트웨이 자체도 권한이 큰 인프라가 된다.

2026년 6월 LiteLLM 사고는 이러한 집중이 면밀한 검토를 받아야 하는 이유를 보여주었다. CISA는 활발한 악용 증거가 확인된 뒤 CVE-2026-42271을 Known Exploited Vulnerabilities 카탈로그에 추가했다.

이 취약점은 Model Context Protocol 서버 구성을 테스트하는 데 사용되는 엔드포인트에 영향을 미쳤다. Model Context Protocol, 즉 MCP는 AI 애플리케이션이 도구 및 외부 데이터 소스에 연결할 수 있게 한다.

LiteLLM 공개문에 따르면, 인증된 사용자는 취약한 프록시가 호스트에서 실행하는 명령 세부 정보를 제공할 수 있었다.

연구자들은 이 취약점을 별도의 호스트 검증 취약점과도 연계했다. 보고에 따르면 이 조합은 영향을 받는 구성에서 자격 증명 없이 원격 명령 실행을 가능하게 했다.

LiteLLM은 버전 1.83.7에서 명령어 주입 문제를 패치했다. 이 사건이 모든 게이트웨이가 안전하지 않다는 것을 입증하는 것은 아니다.

이는 게이트웨이가 보안 아키텍처의 대체재가 아니라 공격 표면의 일부임을 보여준다. 하나의 통제 지점에 더 많은 권한을 배치할수록 그것이 침해됐을 때의 결과도 커진다.

침해되지 않은 게이트웨이조차 입력값에 의해 제한된다. 정책 엔진은 작업 맥락이 담기지 않은 베어러 토큰에서 목적을 추론할 수 없다.

또한 하나의 서비스 계정을 공유하는 20개의 에이전트를 구분할 수도 없다. 기본 신원 모델이 집행이 시작되기 전에 차이를 지워버렸기 때문에 트래픽은 권한이 부여된 것처럼 보인다.

이것이 핵심적인 트레이드오프다. 중앙집중식 집행은 일관성을 높일 수 있지만, 중앙화가 상류 단계의 모호성을 해결해주지는 않는다.

조직이 에이전트 인벤토리를 구축한 뒤에야 게이트웨이는 가치를 발휘한다. 모든 프로덕션 에이전트에는 소유자, 정의된 목적, 승인된 도구, 자격 증명 소스, 수명 주기 상태가 필요하다.

그다음 필요한 것은 위임과 연결된 고유 신원이다. 도구는 어떤 에이전트가 호출했는지와 그 에이전트가 누구의 권한을 대표하는지를 모두 알아야 한다.

자격 증명에는 좁은 범위와 짧은 수명이 필요하다. 조정 에이전트는 인간 후원자가 접근할 수 있는 모든 데이터베이스가 아니라 필요한 원장에만 접근해야 한다.

그다음에는 귀속 가능한 텔레메트리가 필요하다. 보안 팀은 완료된 작업을 모든 도구 호출과 하류 결과까지 추적할 수 있어야 한다.

그때에야 런타임 정책이 맥락을 인식한 결정을 내릴 수 있다. 이 결정은 토큰이 데이터베이스 쓰기를 허용하는지만 묻는 것보다 더 구체적이다.

이 에이전트가 이 작업 중에 이 주체를 위해 이 레코드에 대한 이 쓰기 작업을 수행해도 되는지를 물을 수 있다.

이 추가 맥락은 단계적 강화 통제도 지원한다. 에이전트가 유효한 자격 증명을 보유하더라도 영향이 큰 작업에는 독립적인 승인을 요구할 수 있다.

결제, 삭제, 프로덕션 변경, 데이터 내보내기, 접근 정책 수정이 이 범주에 속한다. 그 결과는 외부 승인 경계를 정당화한다.

에이전트가 자신의 행동을 스스로 승인해서는 안 된다. 그렇지 않으면 주입된 지시가 제안과 안전장치 모두에 영향을 미칠 수 있다.

기업에는 시스템을 가로지르는 중단 경로도 필요하다. 활성 토큰, 실행 중인 작업, 연결된 도구를 계속 사용할 수 있다면 하나의 신원을 비활성화하는 것만으로는 충분하지 않다.

격리는 기본 및 파생 자격 증명을 폐기하고, 현재 작업을 중지하며, 도구 접근을 비활성화하고, 에이전트를 호스팅하는 워크로드를 격리해야 한다.

이 기능은 사고 발생 중에 즉흥적으로 마련할 수 없다. 팀은 에이전트에 프로덕션 권한을 부여하기 전에 이를 테스트해야 한다.

따라서 게이트웨이는 여전히 가치가 있지만, 그 위치는 달라진다. 더 큰 의존성 체인 안의 집행 계층이 된다.

이는 “모든 에이전트 요청을 보호한다”보다 더 좁은 약속이다. 동시에 더 방어 가능한 약속이기도 하다.

최소 권한은 도움이 되지만, 드리프트를 막지는 못한다

접근 권한을 줄이면 에이전트가 일으킬 수 있는 피해를 제한할 수 있지만, 행동 통제는 축소된 경계 안에서 에이전트가 무엇을 하는지 다룬다.

최소 권한은 여전히 가장 명확하게 활용할 수 있는 보호 수단 중 하나다. 에이전트는 자격 증명이 접근할 수 없는 데이터베이스를 노출할 수 없다.

Teleport은 보안 및 인프라 리더 205명을 대상으로 한 연구를 의뢰했다. 과도한 권한을 보유한 AI 시스템을 보고한 조직의 사고 발생률은 76%였고, 최소 권한 시스템은 17%였다.

이는 설문에서 보고된 비율 기준으로 4.5배의 차이다. 이 회사의 신원 설문조사는 Eleven Market Research가 2025년 12월에 수행했다.

벤더 후원 설문에는 한계가 있다. AI 시스템, 사고, 권한 수준에 대한 정의는 다른 조직의 내부 측정 기준과 다를 수 있다.

그럼에도 결과는 실용적인 명제를 뒷받침한다. 일반적으로 더 작은 권한 범위는 실수하거나 침해된 에이전트가 이용할 수 있는 시스템의 수를 줄인다.

하지만 최소 권한이 올바른 행동을 보장하지는 않는다. 에이전트는 정당하게 보유한 제한된 권한을 오용할 수 있다.

고객 지원 에이전트는 하나의 계정을 읽을 권한이 있을 수 있다. 그래도 해당 계정의 데이터를 잘못된 채널에 노출할 수 있다.

일정 관리 에이전트는 캘린더 쓰기 권한이 있을 수 있다. 초대장 속 악성 콘텐츠를 잘못 해석한 뒤 승인된 회의를 취소할 수도 있다.

재무 에이전트는 하나의 원장에 접근할 수 있다. 그래도 기술적 권한 범위 안에 완전히 머물면서 잘못된 레코드를 변경할 수 있다.

이때 행동 기준선이 유용해진다. 기준선은 에이전트의 일반적인 도구, 목적지, 행동 빈도, 데이터 도메인, 작업 패턴을 설명한다.

보안 팀은 이후 편차를 탐지할 수 있다. 예로는 예상치 못한 도메인 간 접근, 반복적인 승인 실패, 비정상적인 내보내기, 도구 호출 빈도의 변화 등이 있다.

기준선은 신뢰할 수 있는 신원과 텔레메트리를 따라야 한다. 그렇지 않으면 서로 다른 에이전트의 데이터가 하나의 오해를 부르는 프로필에 섞이게 된다.

모니터링에도 작업 인식이 필요하다. 드문 데이터베이스 쓰기 작업은 어떤 작업에서는 정당할 수 있지만 다른 작업에서는 위험할 수 있다.

이 요구 사항 때문에 정적 규칙만으로는 충분하지 않다. 런타임 결정에는 목적, 시작 주체, 승인된 리소스, 예상 결과에 관한 구조화된 맥락이 필요하다.

어려운 문제는 집행 시스템이 얼마나 많은 맥락을 신뢰할 수 있느냐이다. 에이전트가 자체 작업 설명을 생성한다면, 침해된 에이전트는 자신의 목적을 잘못 표현할 수 있다.

따라서 신뢰할 수 있는 작업 맥락은 외부 오케스트레이터, 워크플로 정의 또는 승인 시스템에서 나와야 한다. 에이전트는 그 맥락을 사용할 수 있지만 조용히 다시 작성해서는 안 된다.

메모리도 유사한 처리가 필요하다. 모델은 독립적인 검증 없이 검증되지 않은 검색 텍스트를 영구 정책으로 승격해서는 안 된다.

이러한 경계는 의사결정자와 결정의 승인 권한을 분리한다. 하나의 조작된 모델이 모든 단계를 통제할 가능성을 줄인다.

인간 승인은 되돌릴 수 없는 경계에서 도움이 될 수 있지만, 완전한 해답은 아니다. 많은 요청량과 반복적인 프롬프트는 승인 피로를 유발한다.

승인 인터페이스는 관련 사실을 보여주어야 한다. 검토자에게는 시작 작업, 영향을 받는 리소스, 제안된 변경, 예상 결과가 필요하다.

일반적인 “허용” 버튼은 충분한 정보를 제공하지 않은 채 책임만 전가한다. 이는 의도를 놓치는 또 하나의 인증 절차가 될 수 있다.

따라서 효과적인 AI 에이전트 보안은 제한과 관찰을 결합한다. 최소 권한은 피해 범위를 제한하고, 텔레메트리와 독립적인 승인은 행동 드리프트를 드러낸다.

메모리 무결성 통제는 지속적인 조작을 다룬다. 시스템 전반의 중단 경로는 예방 통제가 놓치는 사례를 처리한다.

어떤 단일 계층도 에이전트가 올바르게 행동할 것이라고 증명하지는 못한다. 목표는 안전하지 않은 행동을 가시화하고, 제한하며, 되돌릴 수 있고, 귀속 가능하게 만드는 것이다.

기업이 지금 검증할 수 있는 여섯 가지 통제

모든 통제에 정책 선언 대신 운영 테스트가 마련될 때 AI 에이전트 보안은 측정 가능해진다.

첫 번째 테스트는 인벤토리다. 조직은 모든 프로덕션 에이전트의 이름을 말할 수 있어야 하며, 각 에이전트의 책임 소유자를 식별할 수 있어야 한다.

인벤토리에는 목적, 승인된 도구, 데이터 도메인, 자격 증명 소스, 모델 제공자, 배포 위치, 수명 주기 상태가 포함되어야 한다.

섀도 에이전트도 같은 방식으로 다뤄야 한다. 부서가 중앙 승인 없이 배포했다는 이유만으로 시스템의 위험이 줄어들지는 않는다.

두 번째 테스트는 신원과 위임이다. 로그는 에이전트와 작업을 할당한 사람, 서비스 또는 워크플로를 구분해야 한다.

이 연결은 도구 호출과 에이전트 간 인계 과정에서도 유지되어야 한다. 그렇지 않으면 워크플로가 첫 번째 애플리케이션을 벗어나는 즉시 귀속이 사라진다.

세 번째 테스트는 자격 증명 범위다. 보안 팀은 에이전트를 선택해 활성 토큰이 관련 없는 리소스에 접근할 수 없음을 확인해야 한다.

자격 증명은 작업과 함께 만료되어야 한다. 장기 수명의 비밀 정보는 일시적인 에이전트 접근을 지속적인 노출로 바꾼다.

네 번째 테스트는 재구성이다. 조사자는 완료된 작업 하나를 선택해 시작부터 모든 하류 영향까지 추적할 수 있어야 한다.

완전한 추적에는 프롬프트, 검색된 맥락, 메모리 읽기, 메모리 쓰기, 도구 호출, 승인, 자격 증명, 출력, 외부 변경이 포함된다.

이 기록은 에이전트가 자체 보고한 추론에 전적으로 의존해서는 안 된다. 가장 신뢰할 수 있는 증거는 모델 외부의 시스템에서 나온다.

다섯 번째 테스트는 맥락 인식 집행이다. 조직은 인간 후원자는 수행할 수 있지만 위임받은 에이전트는 수행할 수 없는 행동을 시도해야 한다.

해당 행동이 작업 범위를 벗어나므로 게이트웨이가 이를 차단해야 한다. 토큰에 접근 권한이 없어서만 차단하는 것은 에이전트 인식 통제가 아니라 일반 권한을 테스트하는 것이다.

여섯 번째 테스트는 격리다. 모의 사고를 통해 조직이 연결된 모든 시스템에서 에이전트를 중지할 수 있는지 확인해야 한다.

팀은 자격 증명을 폐기하고, 활성 실행을 중지하며, 도구를 차단하고, 워크로드를 격리하며, 대기 중인 작업이 자동으로 재개되지 않도록 해야 한다.

메모리는 이 전체 과정에 걸쳐 추가 테스트가 필요하다. 보안 팀은 누가 영구 맥락을 기록할 수 있는지, 그리고 어떤 후속 워크플로가 이를 검색할 수 있는지 식별해야 한다.

신뢰할 수 없는 소스에서 무해한 테스트 레코드를 삽입해야 한다. 시스템은 그 출처를 표시하고, 범위를 제한하며, 그것이 정책이 되는 것을 막아야 한다.

롤백 훈련도 마찬가지로 중요하다. 오염된 항목 하나를 제거한다고 해서 유효한 메모리가 파괴되거나 파생 요약이 바뀌지 않은 채 남아서는 안 된다.

파생 맥락은 미묘한 복구 문제를 만든다. 악의적인 레코드는 이미 요약, 계획 또는 공유 지식 객체에 영향을 미쳤을 수 있다.

원본만 삭제하면 이러한 파생물은 그대로 남는다. 따라서 메모리 시스템에는 소스 레코드와 생성된 산출물 간의 계보가 필요하다.

기업 구매자는 메모리 변경 사항을 감사할 수 있는지 벤더에 물어야 한다. 또한 신뢰 레이블이 요약과 검색 과정에서도 유지되는지 물어야 한다.

개발자에게는 도구 경계에 대한 명확한 통제가 필요하다. 모델은 전체 통합 카탈로그가 아니라 현재 작업에 필요한 도구만 받아야 한다.

지식 노동자는 에이전트의 자신감 있는 회상이 출처를 입증하지 않는다는 점을 이해해야 합니다. 지속되는 컨텍스트는 오래되었거나, 잘못되었거나, 의도적으로 조작되었을 수 있습니다.

이러한 점검은 추상적인 보안 우려를 관찰 가능한 증거로 전환합니다. 또한 배포 환경의 의존성 체인이 어디에서 끊어지는지도 드러냅니다.

기업은 시작하기 전에 전체 ID 스택을 교체할 필요가 없습니다. 기존 워크로드 ID에 에이전트를 등록하고 신뢰할 수 있는 작업 식별자를 추가할 수 있습니다.

이후 더 짧은 유효기간의 자격 증명, 더 풍부한 로그, 고영향 작업에 대한 독립적인 승인 체계로 나아갈 수 있습니다.

중요한 것은 각 제어 기능의 브랜드가 아니라 그 적용 순서입니다. 모든 하위 계층은 상위 계층에서 생성된 증거를 활용해야 합니다.

그 증거가 없다면 조직은 에이전트의 권한을 줄여야 합니다. 게이트웨이에 대한 신뢰를 더 높이는 방식으로 보완해서는 안 됩니다.

보안 팀이 다음으로 주시해야 할 사항

AI 에이전트 보안의 다음 단계는 제품 제어 기능, 사고 증거, 메모리 특화 표준을 통해 평가될 것입니다.

첫 번째 신호는 에이전트 플랫폼 전반에 걸친 네이티브 작업 범위 ID의 도입입니다. 공급업체는 표준 인터페이스를 통해 서로 구분되는 에이전트 식별자, 위임 체인, 단기 자격 증명을 제공해야 합니다.

이러한 기능이 기본값이 된다면, 게이트웨이는 토큰 유효성 이상의 근거를 바탕으로 정책을 시행할 수 있습니다. 이는 Google News 보도에서 설명한 의존성 기반 모델을 강화할 것입니다.

플랫폼이 계속해서 공유 서비스 계정과 개발자 토큰에 의존한다면, 이 모델은 실제 환경에서 약화됩니다. 기업은 배포 이후 책임 추적 체계를 구축하는 데 어려움을 겪게 될 것입니다.

두 번째 신호는 메모리 방어 체계에 대한 독립적인 테스트입니다. 현재 지침은 에이전트 메모리 오염을 명확히 지적하고 있지만, 구현 방식에는 큰 차이가 있습니다.

유용한 테스트는 오염된 콘텐츠가 지속되는지, 사용자 간에 전파되는지, 도구 사용에 영향을 미치는지, 요약 과정 이후에도 남는지, 삭제를 시도한 뒤에도 유지되는지를 측정해야 합니다.

또한 복구 가능성도 평가해야 합니다. 팀이 파생된 모든 아티팩트를 식별하고 제거할 수 없다면, 악성 메모리를 탐지하는 것만으로는 가치가 제한적입니다.

표준화된 결과는 구매자가 기본적인 입력 필터링과 진정한 수명주기 보호를 구분하는 데 도움이 됩니다. 또한 통제된 데모 환경 밖에서도 방어 기능이 작동하는지 보여줄 것입니다.

세 번째 신호는 에이전트 작업 체인과 연결된 공개 사고 보고입니다. 보안 팀에는 ID, 위임, 메모리 또는 격리 중 어디에서 실패가 발생했는지 보여주는 증거가 필요합니다.

“AI가 실수했다”는 보고만으로는 충분하지 않습니다. 조사 담당자에게는 작업의 출처, 검색된 컨텍스트, 도구 경로, 자격 증명 범위, 외부 영향이 필요합니다.

더 상세한 보고는 현재의 주장을 강화하거나 반박할 것입니다. 유효한 인증 이후에도 반복되는 실패는 ID만으로는 충분하지 않음을 확인해 줄 것입니다.

반대로 범위가 제한된 자격 증명과 추적 가능한 텔레메트리를 사용하는 배포 환경에서 사고가 지속적으로 줄어든다면, 제안된 제어 순서를 뒷받침하게 됩니다.

보안 리더는 지금부터 이러한 측정값을 수집해야 합니다. 성숙한 공급업체 범주를 기다리는 동안 오늘의 에이전트가 어제의 가정 아래 작동하도록 내버려 두어서는 안 됩니다.

개발자는 하나의 완전한 작업을 추적하는 것부터 시작할 수 있습니다. 엔터프라이즈 구매자는 ID, 메모리 출처, 시스템 간 격리에 대한 증거를 요구할 수 있습니다.

지식 노동자는 민감한 권고에 따라 행동하기 전에 에이전트가 기억하는 사실이 어디에서 비롯됐는지 질문할 수 있습니다.

이 Google News 스토리가 주는 핵심 교훈은 인증이 실패했다는 것이 아닙니다. 인증은 자율 워크플로가 이제 요구하는 것보다 더 좁은 역할을 수행하고 있습니다.

더 어려운 작업은 접근 권한이 부여된 이후에 시작됩니다. 조직은 에이전트가 왜 행동했는지 증명하고, 접근 가능한 범위를 제한하며, 기억하는 내용을 점검하고, 모든 곳에서 이를 중단할 수 있습니까?

이번 주에 운영 중인 에이전트 하나를 선택해 마지막으로 완료한 작업을 재구성해 보십시오. 어느 연결 고리라도 빠져 있다면, 그 공백이 다음으로 구축해야 할 제어 기능을 알려줍니다.