SK Shieldus AI 레드팀이 모델 테스트에서 에이전트 행동으로 확장

SK Shieldus AI 레드팀은 모델 안전장치를 넘어 에이전트 행동, 의료 시스템, 연결된 데이터, 외부 서비스까지 범위를 확장했다. 에이전트는 단순히 안전하지 않은 텍스트를 생성하는 데 그치지 않고 실제 행동할 수 있기 때문에 이러한 확대는 중요하다.

회사는 화이트해커 그룹 EQST가 모델과 애플리케이션, 비공개 정보, 운영 도구를 결합한 시스템을 위한 공격 시나리오를 구축하고 있다고 밝혔다. 또한 조작된 판단이 환자 안전에 영향을 미칠 수 있는 의료 AI에도 이 방법론을 적용하고 있다.

이는 또 하나의 해킹 대회 이야기에 그치지 않는다. Microsoft, OWASP 및 보안 연구자들은 이미 프롬프트 인젝션이 현대적 방어 체계를 뚫고 살아남을 수 있음을 보여줬다. SK Shieldus는 이제 대회 경험을 반복 가능한 기업용 테스트로 전환하려 하고 있다.

이러한 변화는 보안 벤더와 기업 구매자 모두에게 압박을 가한다. 전통적인 침투 테스트는 소프트웨어 경계, 권한, 알려진 취약점 유형을 점검한다. 에이전트 테스트는 AI가 읽을 권한을 부여받은 정보 안에 숨겨진 적대적 지시를 따르는지도 검토해야 한다.

SK Shieldus가 AI 레드팀에서 바꾼 점

SK Shieldus는 대상 범위를 고립된 AI 모델에서 에이전트가 판단하고 행동하는 전체 환경으로 넓히고 있다.

회사는 2026년 9월 18일 EQST 화이트해커 그룹을 통해 이 확장을 공개했다. 초기 AI 보안 보고서에 따르면, EQST는 모델, 연결된 데이터, 애플리케이션, 외부 서비스 및 에이전트 환경을 대상으로 한다.

이 범위는 기업용 에이전트의 구조를 반영한다. 모델은 일반적으로 추론 계층을 제공하고, 주변 소프트웨어는 파일, 메시지, 데이터베이스 및 업무용 애플리케이션에 대한 접근 권한을 제공한다.

공격자는 모든 구성 요소를 무너뜨릴 필요가 없다. 에이전트의 행동을 바꾸는 신뢰된 입력 하나, 또는 실수를 실제 행동으로 바꾸는 과도한 권한 하나면 된다.

프롬프트 인젝션은 이 문제의 핵심이다. 이는 이메일, 웹페이지, 이미지 또는 문서처럼 AI 시스템이 처리하는 자료 안에 악의적인 지시를 삽입한다.

간접 공격에서는 사용자가 적대적 명령을 직접 입력할 필요가 없다. 에이전트가 정상 업무 중 해당 콘텐츠를 가져오다가 삽입된 텍스트를 정당한 지시로 오인할 수 있다.

EQST는 자체 공격 시나리오 모음과 내부 테스트 방법론을 사용한다고 밝혔다. 목표는 조직이 내부 검토만으로 식별하기 어려울 수 있는 보안 위험을 드러내는 것이다.

이 팀은 한국 과학기술정보통신부와 한국인터넷진흥원이 발간한 AI 보안 레드팀 가이드에도 참여했다. 7월 7일 공개된 가이드는 준비, 실행, 팀 구성 및 보고를 다룬다.

이러한 프로세스 중심 접근은 중요하다. 기발한 탈옥 기법은 주목을 받을 수 있지만, 기업 평가에는 명확한 대상, 증거, 심각도 등급, 개선 권고 및 신뢰할 수 있는 재테스트가 필요하다.

이번 확장은 AI 에이전트를 비인간 신원으로 보는 SK Shieldus의 더 넓은 관점과도 연결된다. 이들은 기업 시스템과 상호작용하므로 통제된 신원과 권한이 필요한 소프트웨어 행위자다.

8월 회사는 제로 트러스트 관행을 에이전트까지 확장하고 있다고 밝혔다. 이 접근법은 모든 에이전트 요청을 신원 검증, 제한된 권한 부여 및 지속적인 평가가 필요한 대상으로 다룬다.

이 제로 트러스트 확장은 레드팀을 보완한다. 신원 통제는 에이전트가 도달할 수 있는 범위를 제한하고, 적대적 테스트는 이러한 통제가 압박 상황에서 어떻게 실패하는지 살핀다.

어느 한 요소만으로는 충분하지 않다. 추론 능력이 뛰어나도 접근 권한이 과도한 에이전트는 여전히 위험하다. 엄격히 제한된 에이전트도 허용된 환경 안에서 데이터를 노출하거나 해로운 권고를 낼 수 있다.

따라서 주목할 변화는 단일 공격 기법이 아니다. 신뢰할 수 없는 입력과 중대한 결과를 낳는 행동 사이의 전체 연결 고리를 테스트하기로 한 결정이다.

이 연결 고리에는 검색 시스템, 도구 선택, 인증, 메모리, 승인 화면, 로깅 및 하위 애플리케이션이 포함될 수 있다. 각각의 연결은 의도가 사라지거나 권한이 잘못 적용될 수 있는 또 다른 지점을 만든다.

구매자 관점에서 SK Shieldus 에이전트 보안은 이제 더 넓은 약속을 내포한다. EQST는 단지 모델이 금지된 요청을 거부하는지만 테스트하지 않는다. 정상 입력이 적대적으로 변할 때 배포된 에이전트가 안전하게 행동하는지도 테스트한다.

AI 에이전트는 모델 결함을 비즈니스 행동으로 바꾼다

핵심 보안 문제는 과도한 행위성이다. 조작된 출력은 소프트웨어가 이를 실행할 만큼 충분한 권한을 가질 때 위험해진다.

챗봇은 적대적 프롬프트에 부정확하거나 제한된 텍스트로 응답할 수 있다. 에이전트는 같은 조작된 응답을 사용해 메시지를 보내고, 파일을 공개하고, 기록을 변경하거나 다른 서비스를 호출할 수 있다.

OWASP는 과도한 행위성을 과도한 기능, 과도한 권한, 과도한 자율성이라는 세 가지 일반적 설계 실패를 중심으로 정의한다. 해당 행위성 위험 가이드는 프롬프트 인젝션이 과도한 권한을 가진 도구를 통해 피해를 주는 행동을 촉발할 수 있음을 설명한다.

사서함을 요약해야 하는 이메일 비서를 생각해 보자. 읽기 권한은 그 목적을 지원한다. 메시지 전송 권한은 반드시 필요하지 않을 수 있는 또 다른 기능을 만든다.

악의적인 이메일에는 비서에게 다른 메시지를 검색하고 민감한 자료를 전달하라고 지시하는 내용이 포함될 수 있다. 에이전트는 승인된 검색 업무를 수행하다 이러한 지시를 마주할 수 있다.

취약점은 여러 계층에 걸쳐 있다. 모델은 데이터와 명령을 구분하지 못하고, 애플리케이션은 전송 도구를 노출하며, 신원에는 이를 사용할 권한이 있다.

모델 전용 벤치마크는 첫 번째 실패만 포착한다. SK Shieldus AI 레드팀이 운영상 위험을 측정하려면 전체 경로를 재현해야 한다.

Microsoft는 LLMail-Inject 대회를 통해 구체적인 사례를 제시했다. 이 시뮬레이션 서비스는 이메일을 읽고 메시지 전송을 포함해 사용자를 대신해 행동할 수 있었다.

공격자들은 서비스가 가져올 이메일 안에 지시를 삽입하려 했다. 목표는 비서가 사용자가 전혀 요청하지 않은 행동을 수행하게 만드는 것이었다.

대회에는 입력 분류기, 활성화 분석, 모델 기반 판정 및 지시 계층 구조와 같은 방어 수단이 포함됐다. 그럼에도 참가자들은 서로 다른 시나리오와 모델에 맞춰 공격을 계속 조정했다.

Microsoft는 첫 번째 과제에서 621명의 참가자, 224개 팀, 370,724건의 제출을 기록했다. 프롬프트 인젝션 결과는 단 한 번의 성공적인 평가로 이 문제를 종결할 수 없는 이유를 보여준다.

방어자는 필터, 프롬프트 및 모델을 바꾼다. 그러면 공격자는 문구, 배치, 인코딩, 언어 또는 맥락을 변경한다. 에이전트 보안은 일회성 인증이 아니라 지속적인 경쟁이 된다.

연결된 데이터가 별도의 검토를 받아야 하는 이유도 여기에 있다. 기업용 에이전트는 공유 드라이브, 고객 티켓, 내부 위키 및 협업 도구처럼 직원들이 이미 신뢰하는 출처의 자료를 수집한다.

악성 페이로드는 해당 콘텐츠를 편집할 권한이 있는 모든 기여자나 침해된 계정을 통해 유입될 수 있다. 에이전트는 나중에 이를 가져오면서 그 변경을 공격으로 인식하지 못할 수 있다.

멀티모달 입력은 또 다른 경로를 추가한다. 적대적 지시는 일반 텍스트가 아니라 이미지, 오디오 클립 또는 동영상 안에 나타날 수 있다.

6월 EQST 연구원 김병현은 산업 시나리오를 겨냥한 멀티모달 프롬프트 인젝션을 사용해 Judgement Day AI 레드팀 대회에서 우승했다. SK Shieldus는 이 공격에 숨겨진 텍스트와 조작된 시스템 형식 로그가 포함됐다고 밝혔다.

이 대회는 의료, 항공 및 재난 대응 환경을 포함한 8개 시나리오를 다뤘다. 회사의 대회 공개 자료에 따르면, EQST 소속 연구원 두 명도 각각 5위와 7위를 기록했다.

이 결과는 실질적인 공격 설계 경험을 보여준다. 다만 EQST가 고객 환경 내의 모든 유사 공격을 막을 수 있음을 입증하는 것은 아니다.

이 구분은 중요하다. 대회에는 알려진 규칙, 측정 가능한 목표 및 격리된 테스트 환경이 존재한다. 반면 기업 배포 환경에는 변화하는 통합, 일관되지 않은 데이터, 상속된 권한, 서로 다른 승인 습관을 가진 직원이 포함된다.

기업 대상 업무는 공격 성공을 설계 변경으로 전환해야 한다. 유용한 권고에는 읽기 전용 범위, 제한된 도구, 결정론적 검증, 독립적 승인 및 반복 행동 제한이 포함될 수 있다.

승인 인터페이스도 점검해야 한다. 에이전트가 사람이 검토할 설명을 직접 작성한다면 인간 확인 단계는 제한적인 보호만 제공한다.

공격자는 그 설명을 조작하거나 작업의 중요성을 숨길 수 있다. 그러면 운영자는 원래 요청을 수행하는 것이라 믿은 채 위험한 행동을 승인하게 된다.

따라서 보안 대상은 단순한 모델 준수가 아니다. 에이전트가 넘는 모든 경계에서 사용자 의도를 충실히 실행하는 것이 핵심이다.

대회 실적은 신뢰성을 쌓지만, 증명은 아니다

EQST의 대회 성과는 유능한 공격 팀임을 보여주지만, 구매자에게는 그러한 역량이 배포된 시스템에서 반복 가능한 개선으로 이어진다는 증거가 여전히 필요하다.

이 그룹은 여러 형태의 AI 및 전통적 보안 테스트에서 성과를 축적해 왔다. 이러한 폭넓은 경험은 SK Shieldus가 AI 레드팀을 확장할 수 있는 신뢰할 만한 기반을 제공한다.

회사의 설명에 따르면 EQST는 2025년 8월 Microsoft의 Re:LLMail-Inject 과제에서 2위를 차지했다. 이 대회는 이메일 기반 에이전트를 겨냥한 적응형 간접 프롬프트 인젝션에 초점을 맞췄다.

2026년 6월 김병현은 Judgement Day에서 1위를 차지했다. 이 대회는 약 8주 동안 진행됐으며, 고위험 산업 시나리오의 AI 시스템을 겨냥한 공격을 테스트했다.

8월 EQST는 DEF CON 34 기간 AI Village에서 열린 AI 에이전트 해킹 행사 HalCTF에서 5위를 기록했다. 9월 보고서에 따르면 200개가 넘는 팀이 참가했다.

이 팀은 9월 초 의료 AI 레드팀 과제에서 대상, 우수상 및 특별상을 받기도 했다. 해당 행사는 환자 안전, 사이버보안, 개인정보 보호, 공정성, 윤리 및 에이전트 안전을 검토했다.

이 성과는 유용한 범주를 포괄한다. 이메일 에이전트는 간접 프롬프트 인젝션을 드러낸다. 멀티모달 시스템은 일반 텍스트를 넘어 숨겨진 지시를 테스트한다. 의료 시나리오는 모델 행동을 안전에 민감한 판단과 연결한다.

그러나 리더보드는 대회 조건에서의 성과를 측정한다. 배포 전에 최고정보보호책임자가 해결해야 하는 질문에 답하는 경우는 드물다.

팀은 실제 운영 환경과 유사한 애플리케이션에서 얼마나 많은 중대 취약점을 발견했는가? 어떤 취약점이 신뢰성 있게 재현됐는가? 엔지니어들은 얼마나 빨리 이를 개선했는가?

수정 조치는 관련 공격 변형도 막았는가, 아니면 제출된 페이로드만 차단했는가? 더 엄격한 통제가 도입된 뒤에도 시스템은 유용한 기능을 유지했는가?

오탐도 중요하다. 정상 문서, 고객 메시지 또는 정당한 도구 호출을 차단하는 방어 체계는 에이전트를 쓸모없게 만들 수 있다.

시스템이 민감한 정보나 되돌릴 수 없는 행동을 처리할 때는 미탐이 더 중요하다. 구매자에게는 에이전트가 레드팀을 통과했다는 포괄적 주장보다 두 지표 모두에 대한 측정이 필요하다.

NIST의 생성형 AI 위험 프로필은 프롬프트 인젝션, 데이터 오염, 모델 추출 및 기타 공격에 대한 적대적 테스트를 권고한다. 또한 우회, 무단 액세스, 침투 시도 및 개선 조치를 포괄하는 지표도 요구한다.

NIST 위험 프로필은 레드팀 운영을 지속적인 위험 관리의 한 부분으로 규정한다. 성공적인 테스트를 영구적인 보증으로 제시하지는 않는다.

이는 SK Shieldus AI 레드팀 운영의 핵심 과제를 만든다. EQST는 개별 공격자의 역량을 고객, 산업, 에이전트 아키텍처 전반에서 비교 가능한 증거를 제공하는 서비스로 전환해야 한다.

성숙한 평가는 에이전트 인벤토리에서 시작해야 한다. 테스터는 각 워크플로에 어떤 ID, 도구, 데이터세트, 메모리 저장소, 모델 및 외부 서비스가 참여하는지 알아야 한다.

이후 팀은 비즈니스 결과와 연결된 위협 시나리오를 마련해야 한다. 무해한 테스트 문자열을 추출하는 일은 환자 데이터를 노출하거나, 결제 기록을 변경하거나, 프로덕션 구성을 바꾸는 일과 다르다.

테스터는 전체 공격 경로를 기록해야 한다. 여기에는 악성 입력, 검색 이벤트, 모델 판단, 도구 호출, 권한 검사, 승인 단계 및 최종 결과가 포함된다.

개선 조치는 프롬프트가 아니라 경로를 해결해야 한다. 특정 문구를 차단하는 방식은 공격자가 이를 바꾸어 표현하거나 다른 데이터 형식으로 옮길 수 있다면 보호 효과가 거의 없다.

더 강력한 해결책은 권한을 축소하고, 신뢰할 수 있는 지침과 신뢰할 수 없는 콘텐츠를 분리하며, 도구 인수를 검증하거나, 고위험 작업에 독립 시스템의 승인을 요구하는 방식일 수 있다.

재테스트에는 새로운 공격 변형도 필요하다. 그렇지 않으면 평가는 개발자가 알려진 사례만 차단했음을 확인하는 데 그친다.

SK Shieldus는 이 확장 서비스에 관한 상세한 기업 성과 지표를 공개적으로 제공하지 않았다. 9월 발표에는 탐지율, 재테스트 결과, 수행 건수 또는 고객 개선 소요 시간이 명시되지 않았다.

이러한 부재가 역량 자체를 무효화하는 것은 아니다. 다만 구매자가 수상 경력과 회사 발표로부터 추론할 수 있는 범위를 제한한다.

가장 설득력 있는 다음 단계는 실제 평가에서 나온 익명화된 증거일 것이다. 유용한 공개 자료는 공격 범주, 영향 계층, 심각도, 개선 패턴 및 수정 후 재발 여부를 보여줘야 한다.

그때까지 EQST의 이력은 공격적 보안 전문성의 증거로 해석해야 한다. 아직은 기업 배포 전반에서 일관되게 위험을 줄인다는 공개적 증거는 아니다.

의료 AI는 실패의 대가를 높인다

의료 AI는 보안, 개인정보 보호, 임상 안전성 및 인간의 감독이 하나의 워크플로에서 동시에 실패할 수 있기 때문에 에이전트 레드팀 운영을 더 어렵게 만든다.

의료 보조 시스템은 환자 정보를 요약하고, 임상 참고자료를 검색하며, 진료 일정을 잡거나, 다음 조치를 권고할 수 있다. 각 작업에는 민감한 데이터와 시간 의존적 판단이 수반될 수 있다.

AI가 에이전트가 되면 위험은 다시 달라진다. 단순히 답변을 생성하는 대신 기록, 외부 지식 소스, 통신 시스템 또는 의료기기에 연결될 수 있다.

주입된 지침은 에이전트가 어떤 증거를 검색하는지 왜곡할 수 있다. 또한 권고에 영향을 미치거나, 개인정보를 노출하거나, 도구가 의도된 작업 범위를 벗어나도록 유도할 수도 있다.

기저 모델의 안전 필터는 모든 다운스트림 결과를 검사할 수 없다. 주변 애플리케이션은 접근 제한을 강제하고, 출력을 검증하며, 책임 소재가 분명한 인간의 결정을 보존해야 한다.

2026 Advanced AI Digital Medical Products Red Team Challenge는 이러한 더 넓은 문제를 반영한다. 참가자들은 환자 안전, 개인정보 보호, 공정성, 윤리, 사이버보안 및 에이전트 안전성 전반의 보호장치를 우회하는 방법을 시험했다.

EQST의 수상은 이 팀이 해당 범주 전반에서 활동할 수 있음을 시사한다. SK Shieldus는 이 경험이 의료 환경으로 AI 레드팀 운영을 확장하는 데 도움이 되고 있다고 밝혔다.

그러나 챌린지는 임상 검증 프로그램과는 구별된다. 의료 시스템은 구체적인 워크플로, 환자 집단, 데이터 제약 및 전문가 책임 아래에서 운영된다.

레드팀은 공격 경로를 식별할 수 있다. 하지만 임상적 유효성, 수용 가능한 잔여 위험 또는 소프트웨어와 임상의 사이의 적절한 책임 배분을 단독으로 판단할 수는 없다.

이 한계는 서비스 설계에 반영돼야 한다. 보안 발견 사항은 안전성 엔지니어링, 개인정보 보호 검토, 제품 거버넌스 및 배포 후 모니터링과 연결돼야 한다.

예를 들어 에이전트는 조작된 메타데이터를 접한 뒤 잘못된 문서를 검색할 수 있다. 즉각적인 문제는 검색 무결성으로 보인다.

임상적 영향은 그 이후의 흐름에 달려 있다. 저위험 보조 시스템은 사람이 검토할 수 있도록 출처를 표시할 수 있다. 더 자율적인 시스템은 해당 문서를 사용해 환자 우선순위를 정하거나 중재를 권고할 수 있다.

따라서 동일한 기술적 취약점도 배포 환경에 따라 서로 다른 심각도를 가진다. 레드팀 보고서는 실제 권한, 의사결정 권한 및 인간의 수정 기회를 고려해야 한다.

의료 테스트에는 대표적인 엣지 케이스도 필요하다. 시스템은 일반적인 언어에서는 안전하게 작동할 수 있지만, 기록에 약어, 상충되는 메모, 이미지 주석 또는 복사된 외부 텍스트가 포함되면 실패할 수 있다.

공격자는 이러한 모호성을 악용할 수 있다. 또한 신뢰할 수 있는 형식, 권위 있는 진술, 시스템 알림 또는 임상 지침을 모방할 수도 있다.

Judgement Day 결과는 관련 단서를 제공한다. 보도에 따르면 EQST는 시스템 로그와 유사한 입력을 만들고 시스템 프롬프트에 없는 예외를 겨냥해 공격 성공률을 높였다.

이 방법은 금지된 단어만이 아니라 신뢰 신호를 공격한다. 복잡한 맥락 안에서 AI가 정보의 출처와 권위를 구별할 수 있는지 시험한다.

의료 기록에는 이러한 신호가 많다. 메모는 서로 다른 전문가, 시스템, 시점 및 확실성 수준에서 나온다. 에이전트는 모든 문자열을 동일한 권위를 가진 지침으로 취급해서는 안 된다.

이 문제는 또 다른 트레이드오프를 드러낸다. 광범위한 맥락을 추가하면 에이전트의 유용성은 높아질 수 있지만, 새로운 소스마다 신뢰할 수 없는 입력 표면이 확대된다.

더 많은 도구 권한을 부여하면 관리 업무를 줄일 수 있지만, 모든 도구는 가능한 행동을 추가한다. 더 큰 자율성은 워크플로를 단축할 수 있는 반면 검토에 사용할 수 있는 시간을 줄인다.

조직은 보편적인 프롬프트로 이러한 긴장을 해결할 수 없다. 각 작업의 결과에 맞춘 아키텍처 제어가 필요하다.

저위험 검색은 로깅과 함께 자동으로 진행될 수 있다. 민감한 데이터 공개에는 정책 검증이 필요할 수 있다. 임상적 또는 운영상의 변경에는 독립적인 인간 승인이 필요할 수 있다.

사용자 인터페이스는 의도된 작업, 영향받는 기록, 정보 출처 및 사용 중인 권한을 명확하게 보여줘야 한다. 에이전트가 생성한 요약만으로 판단해서는 안 된다.

의료 AI는 SK Shieldus에 까다로운 검증 무대를 제공한다. 이 영역에서의 성공은 EQST가 기술적 익스플로잇을 안전이 중요한 운영 제어와 연결할 수 있음을 보여줄 것이다.

실패는 AI 레드팀 운영을 확장된 침투 테스트로 취급하는 접근의 약점을 드러낼 것이다. 에이전트 보안에는 의사결정 품질, 권한 및 인간의 책임성에 대한 더 넓은 관점이 필요하다.

진짜 시험대는 기업 환경에서의 반복 가능성이다

SK Shieldus는 모델, 도구, 데이터 소스 및 권한이 계속 변하는 상황에서도 AI 레드팀이 일관된 발견 사항을 낼 수 있음을 보여줘야 한다.

전통적인 애플리케이션 테스트는 비교적 안정적인 릴리스에서 시작하는 경우가 많다. 에이전트는 모델 업데이트, 프롬프트 수정, 커넥터 변경 또는 권한 조정 후에 행동이 달라질 수 있다.

새로운 문서 소스는 악성 콘텐츠를 도입할 수 있다. 새로운 도구는 기존 모델 취약점의 영향을 키울 수 있다. 수정된 승인 흐름은 인간 감독을 우회하는 새로운 경로를 만들 수 있다.

이러한 변동성은 중요한 배포 환경에서 연례 테스트를 불충분하게 만든다. 조직에는 출시 전, 중대한 변경 후 및 지속적인 운영 중 평가가 필요하다.

자동화된 공격은 적용 범위를 넓히는 데 도움이 될 수 있다. 프롬프트 변형을 생성하고, 여러 맥락을 테스트하며, 모델 전반에서 시나리오를 반복할 수 있다.

자동화에도 한계는 있다. 측정 가능한 목표에 맞춰 최적화되는 경향이 있어 인간 공격자가 의문을 제기할 조직적 가정을 놓칠 수 있다.

인간 전문가들은 그런 가정을 식별할 수 있다. 읽기 전용 에이전트가 여전히 해로운 권고를 만들 수 있다는 점이나, 승인 화면이 실제 도구 인수를 숨긴다는 점을 알아차릴 수 있다.

가장 강력한 서비스는 두 접근법을 결합할 것이다. 자동화된 검사는 빈도와 회귀 적용 범위를 제공하고, 인간 레드팀은 예상치 못한 공격 경로를 탐색한다.

SK Shieldus의 시나리오 데이터베이스는 이 모델을 뒷받침할 수 있다. 연구자가 실제 시스템을 대상으로 검증한 재사용 가능한 공격은 회귀 테스트가 될 수 있다.

그러나 라이브러리는 발전해야 한다. 공개 사례는 빠르게 방어자의 학습 데이터가 되는 반면, 공격자는 인코딩, 맥락, 언어 및 전달 형식을 바꾼다.

Microsoft의 연구는 이 순환을 보여준다. 첫 번째 라운드 이후 업데이트된 대회에는 고정밀 차단 목록, 정제, 더 강력한 분류기 및 수정된 지침이 추가됐다.

이후 연구자들은 다시 적응할 기회를 얻었다. 이 과정은 어제의 완화 조치가 내일의 테스트 대상이 되는 실제 기업 보안을 닮았다.

반복 가능성은 보고에도 달려 있다. 공격의 창의성이 다르더라도 두 평가자는 비교 가능한 심각도 기준을 적용해야 한다.

보고서는 모델 취약점과 애플리케이션 실패를 구분해야 한다. 또한 ID, 권한 설계, 데이터 출처, 도구 및 사용자 인터페이스의 약점도 식별해야 한다.

“프롬프트 인젝션” 같은 단일 라벨은 너무 많은 것을 숨긴다. 어떤 공격은 원치 않는 텍스트를 드러낼 수 있는 반면, 다른 공격은 결제를 실행하거나 전체 문서 저장소를 노출할 수 있다.

심각도는 접근 가능한 데이터, 이용 가능한 행동, 필요한 공격자 접근 권한, 사용자 관여, 탐지 가능성, 되돌릴 수 있는지 여부 및 비즈니스 결과를 반영해야 한다.

조직에는 수정 사항이 에이전트의 가치를 훼손하지 않으면서 위험을 줄인다는 증거도 필요하다. 모든 외부 문서를 비활성화하는 제어는 인젝션을 막을 수 있지만 워크플로 자체를 무력화할 수 있다.

바로 이 지점에서 구매자 참여가 필수적이다. 보안팀은 수용 가능한 위험을 정의하지만, 제품 책임자는 에이전트가 여전히 수행해야 하는 작업을 이해한다.

개발자는 결정론적 검사가 모델 판단을 대체할 수 있는 지점을 안다. ID 팀은 범위를 제한할 수 있으며, 컴플라이언스 팀은 로깅 및 보존 의무를 명확히 할 수 있다.

지식 근로자도 노출에 영향을 미친다. 이들은 어떤 문서가 공유 시스템에 들어가는지, 그리고 에이전트의 출력이 의미 있는 검토를 받는지를 결정한다.

명확한 정보 경계는 위험을 줄일 수 있다. 팀은 신뢰할 수 있는 지침, 신뢰할 수 없는 콘텐츠, 민감한 소스 및 별도 승인이 필요한 작업을 식별해야 한다.

검색 가능한 지식 베이스는 맥락 관리를 개선할 수 있지만, 검색만으로 신뢰가 확립되지는 않는다. 출처와 권한은 여전히 에이전트가 자료를 어떻게 사용해야 하는지를 결정한다.

조직은 레드팀 발견 사항을 고립된 티켓으로 전환하는 일을 피해야 한다. 그 결과는 아키텍처 표준, 커넥터 정책, 승인 규칙 및 회귀 테스트 모음을 업데이트해야 한다.

고객이 시간에 따른 결과를 비교할 수 있을 때 SK Shieldus의 에이전트 보안은 더 신뢰를 얻을 것이다. 유용한 프로그램은 각 테스트 주기 후 핵심 경로가 축소되는지를 보여줘야 한다.

회사는 일반적인 에이전트 아키텍처에 매핑된 익명화된 분류 체계도 공개할 수 있다. 이는 구매자가 시나리오 적용 범위가 자체 배포 환경과 일치하는지 이해하는 데 도움이 될 것이다.

독립적 검증은 이 주장을 더욱 강화할 것이다. 외부 벤치마크, 동료 심사를 거친 방법론 또는 투명한 평가 기준은 반복 가능한 역량과 마케팅 문구를 구분할 수 있다.

핵심 긴장은 여전히 명확하다. 에이전트는 맥락과 권한을 받을수록 더 유용해지지만, 바로 그 기능이 조작의 결과도 키운다.

SK Shieldus AI 레드팀 운영은 바로 그 긴장을 겨냥한다. 장기적 가치는 EQST가 이를 일관되게 측정하고 고객을 더 안전한 설계로 이끌 수 있는지에 달려 있다.

구매자가 다음으로 주목해야 할 점

세 가지 신호가 SK Shieldus가 엔터프라이즈 보안 체계를 구축했는지, 아니면 성공적인 대회 서사를 확장했을 뿐인지 보여줄 것이다.

첫 번째 신호는 공개된 방법론이다. 구매자는 EQST가 에이전트의 범위를 설정하고, 공격 표면을 매핑하며, 발견 사항의 우선순위를 정하고, 재테스트를 수행하는 방식을 명확히 설명하는지 살펴봐야 한다.

유용한 방법론은 모델, 검색 계층, 메모리, ID, 권한, 도구, 데이터 소스, 승인 인터페이스를 포괄해야 한다. 또한 직접 공격과 간접 프롬프트 인젝션을 구분해야 한다.

SK Shieldus가 재현 가능한 기준을 공개한다면, 산업 전반에서 그 확장을 더 쉽게 평가할 수 있다. 프로세스가 계속 불투명하다면 고객은 참여 건마다 역량을 따로 평가해야 한다.

두 번째 신호는 실제 배포된 시스템의 증거다. 익명화된 사례 연구는 어떤 공격 경로가 나타났는지, 고객이 이를 어떻게 수정했는지, 그리고 수정 이후 변형 공격이 성공했는지를 보고해야 한다.

가장 강력한 증거에는 탐지율, 오탐률, 중대 발견 사항, 재테스트 결과, 수정까지 걸린 시간이 포함될 것이다. 깨끗한 테스트 결과를 영구적 안전성의 증거로 제시해서는 안 된다.

고객 사례는 회사의 핵심 주장을 강화할 수 있다. 반대로 순위와 수상 경력에 계속 초점을 맞춘다면 운영상 영향은 불확실하게 남을 것이다.

세 번째 신호는 테스트와 에이전트 거버넌스 간의 통합이다. SK Shieldus는 이미 에이전트를 비인간 ID 및 제로 트러스트 제어와 연결했다.

구매자는 레드팀 발견 사항이 권한, 모니터링, 커넥터 정책, 승인 요건에 자동으로 반영되는지 지켜봐야 한다. 이러한 피드백 루프는 공격을 지속적인 통제로 전환할 수 있다.

레드팀 운영이 별도의 컨설팅 업무로 남는다면 이 신호는 약해진다. 보고서의 권고 사항이 ID 시스템, 엔지니어링 표준, 배포 게이트에 반영되지 않으면 그 가치는 흔히 사라진다.

경쟁사 활동도 중요하지만, 보조적 맥락으로 남아야 한다. Microsoft와 더 넓은 보안 커뮤니티는 간접 프롬프트 인젝션에 대응하기 위한 방어책, 벤치마크, 설계 패턴을 계속 개발하고 있다.

이러한 노력은 모든 공급업체에 대한 기대치를 높인다. 공개 연구가 이미 계층형 방어를 겨냥한 적응형 공격을 문서화한 상황에서, 프롬프트 인젝션 전문성을 주장하는 것만으로는 더 이상 충분하지 않다.

엔터프라이즈 구매자는 테스트를 의뢰하기 전에 직접적인 질문을 던져야 한다. 팀은 어떤 완전한 워크플로를 공격하며, 각 경로의 끝에는 어떤 중대한 조치가 놓여 있는가?

테스터가 애플리케이션 코드, 프롬프트, 도구 정의, 접근 범위, 로그를 검토할 수 있는지도 물어야 한다. 블랙박스 테스트는 하나의 관점을 제공하지만, 내부 접근은 더 깊은 설계 오류를 드러낼 수 있다.

수정 이후에는 공격 변형을 활용한 재테스트를 요청해야 한다. 또한 새로운 통제가 정상적인 작업을 유지한다는 증거도 요구해야 한다.

마지막으로, 미해결 위험의 책임 주체를 명확히 해야 한다. 레드팀은 실패를 드러낼 수 있지만, 권한을 축소할지, 검토 절차를 추가할지, 워크플로를 재설계할지, 배포를 연기할지는 비즈니스 리더가 결정해야 한다.

SK Shieldus는 신뢰할 만한 공격 역량 기록을 쌓았으며 중요한 표적을 선택했다. AI 에이전트는 모델, 소프트웨어, ID, 데이터, 인간의 의사결정에 걸친 보안 문제를 만든다.

다음 단계는 대회에서 우승하는 것보다 어렵다. EQST는 SK Shieldus AI 레드팀 운영이 재현 가능한 증거와 더 안전한 엔터프라이즈 행동을 만들어낸다는 점을 입증해야 한다.

지금 에이전트를 배포하는 팀에 실질적인 질문은 모델이 속을 수 있는지 여부가 아니다. 공개 대회는 이미 그 질문에 답했다.

결정해야 할 것은 각 에이전트가 조작을 피해로 전환할 만큼 충분한 권한을 갖고 있는지다. 그 경로를 매핑하고, 불필요한 접근을 제한하며, 중요한 업무를 에이전트에 맡기기 전에 완전한 워크플로를 테스트해야 한다.