Oxford 연구진, AI 모델의 기능 은닉이 안전성 감사를 어렵게 만드는 방식 제시
Oxford 연구진과 협력자들은 감사자가 가중치를 검사할 수 있다는 익숙한 보장에 도전하는 AI 모델의 기능 은닉(Hiding Capabilities in AI Models) 구조를 제시했다. 이들의 논문은 비밀 트리거가 있을 때만 활성화되는 암호화된 계산을 설명한다. 핵심 쟁점은 누군가 검사를 견디도록 의도적으로 설계한 모델에서, 깨끗한 평가가 무엇을 입증할 수 있는가에 있다.
Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas, Christian Schroeder de Witt가 이 연구를 저술했다. 소속 기관에는 Contramont Research, University of Oxford, ACS Research가 포함된다. 논문은 2026년 10월 9일 arXiv에 처음 공개됐으며, 수정본 날짜는 10월 14일이다.
핵심 상대는 경쟁 기업이 아니라 하나의 가정이다. 충분히 철저한 테스트라면 모델이 지닌 위험한 능력은 무엇이든 드러날 것이라는 가정이다. Anthropic의 이전 sleeper agent 실험은 유용한 참고 사례를 제공한다. 이번 연구는 일반적인 챗봇 테스트를 넘어 이미 확장된 논쟁에 암호학적 논거를 더한다.
AI 모델의 기능 은닉, 숨겨진 답변을 넘어서는 문제
보고된 진전은 단순히 숨겨진 답변이 아니라, 숨겨진 실행 가능 행위에 관한 것이다. 저자들은 네트워크의 동작을 결정하는 수치 파라미터인 모델 가중치에 암호화된 네트워크를 삽입한다. 비밀 트리거가 숨겨진 계산을 해제한다.
올바른 키에 대해 보호된 정보를 공개하는 암호학적 메커니즘인 디지털 보관함이 은닉 기능을 제공한다. 저자들은 테스트나 추가 학습을 통해 능력을 드러내려는 기법인 여러 유도 방법에 대한 저항성을 보고한다. 실험에는 소규모 화학 반응 예측 과제도 포함된다.
암호화된 기능 연구는 개념 증명 실험과 함께 암호학적 가정 아래의 조건부 보장을 제시한다. 그 범위에는 중요한 한계가 있다. 이 구조는 상당한 오버헤드를 수반하고, 의심스러운 구조가 탐지 가능한 상태로 남을 수 있으며, 연구는 일반적인 학습 과정에서 자발적으로 은닉이 발생함을 입증하지는 않는다.
이러한 구분은 독자가 제목을 해석하는 방식을 결정한다. 누군가 의도적으로 은닉 기능을 설치하는 경우, 이는 적대자가 개입된 보안 문제를 만든다. 모델이 다른 프롬프트에서 예기치 않게 더 나은 성능을 보이는 경우는 별개의 평가 문제를 만든다. 이 상황들을 같은 것으로 취급하면 누가 행위를 통제하는지, 조사자에게 어떤 증거가 필요한지를 흐리게 된다.
10월 27일의 주목에도 구체적인 출처가 있다. Bruce Schneier는 숨겨진 모델 기능에 관한 게시글을 통해 이 연구를 소개하며 초록을 재현했다. 이 게시글은 기존 연구 결과를 보안 독자층에 알린 것이며, 새롭게 발견된 침해 사실을 입증하는 것은 아니다.
그 게시글을 통해 연구를 접한 독자에게는 시간대가 중요하다. 오늘 공개된 논의가 이전에 발표된 논문을 다룰 수 있다. 어느 날짜도 실용적 공격이 언제 가능해졌는지, 누군가 이를 배포했는지, 상용 모델에 이것이 포함됐는지를 입증하지 않는다.
따라서 이 사건은 배포된 제품에 관한 증거보다 감사 주장에 관한 논거를 더 직접적으로 바꾼다. 구성적 사례는 광범위한 악용을 입증하지 않고도 보편적 보장에 이의를 제기할 수 있다. 이는 서로 다른 증거 기준이며, 책임 있는 보도는 이를 분리해 유지해야 한다.
결함을 발견하는 일과 보장을 반증하는 일의 차이를 생각해 보자. 결함 있는 제품에는 그 제품에 관한 증거가 필요하다. 모든 은닉 기능을 찾아낼 수 있다는 보장은 더 넓은 입증 부담에 직면한다. 반례는 구현이 여전히 비현실적이더라도 한계를 드러낼 수 있다.
이 때문에 이 연구는 운영 시스템이 이미 침해됐다는 주장을 요구하지 않고도 주목받을 가치가 있다. 이는 평가 보고서가 무엇을 약속하는지에 관한 구체적인 질문을 제기한다. 답은 적대자, 이용 가능한 증거, 통과의 정확한 의미에 달려 있다.
감사자와 모델 구매자가 마주하는 질문은 다르다
감사는 배포 결정을 뒷받침할 수 있지만, 모든 은닉 행위가 없다는 사실까지 입증하지는 못한다. 실질적 압력은 평가 결과를 구매, 출시 또는 접근 결정으로 옮기는 모든 사람에게 가해진다.
감사자에게 첫 번째 질문은 검증 대상 주장에 관한 것이어야 한다. 과업은 관찰된 성능을 측정하는 것인가, 의심스러운 변경을 조사하는 것인가, 아니면 전체 공급망을 인증하는 것인가? 이 과업들은 서로 다른 증거를 요구한다. 보고서의 결론이 실제 범위를 넘어 조용히 확장될 때 오해를 낳는다.
기업 구매자는 이와 연결된 해석 문제에 직면한다. 공급업체는 모델의 응답을 포괄하는 광범위한 평가 자료를 제공할 수 있다. 구매자는 여전히 해당 산출물이 어디에서 왔고 누가 이를 수정할 수 있었는지 이해해야 한다. 그렇지 않으면 행위에 관한 증거가 관리 이력에 관한 증거를 대신하게 된다.
산출물의 생성 및 수정에 관한 문서화된 이력인 모델 출처(provenance)는 이 논의에 포함돼야 한다. 운영상 시사점으로, 구매자는 평가 기록을 실제 배포하려는 정확한 산출물과 연결해야 한다. 관련된 다른 릴리스에 대한 테스트가 별도로 수정된 사본에 관한 질문을 자동으로 해결할 수는 없다.
한 조직이 외부에서 맞춤화된 코딩 어시스턴트를 평가한다고 가정해 보자. 검토자들은 예시 제안을 살피고, 안전하지 않은 요청을 테스트하며, 통합 방식을 검사한다. 이러한 활동은 유용한 결과를 낼 수 있다. 하지만 평가된 산출물과 배포된 산출물 사이에 발생한 무단 변경에 관한 별도의 질문은 여전히 남는다.
이 가상 사례는 거버넌스 공백을 보여주기 위해 은닉 회로를 필요로 하지 않는다. 설명되지 않은 산출물 변경은 테스트와 배포 간의 관계를 약화시킨다. 이 연구는 그러한 관계를 행정 서류로 치부하기 어렵게 만든다.
모델을 통합하는 개발자들은 또 다른 결정을 마주한다. 긍정적인 평가 결과에 얼마나 많은 권한을 따라붙게 해야 할까? 제안을 초안으로 작성하는 어시스턴트는 운영 리소스를 변경할 권한을 지닌 어시스턴트와 다른 위치에 있다. 이는 추론이지만, 불확실성은 모델 선택뿐 아니라 권한 설정에도 영향을 미쳐야 한다.
권한은 모델에 해로운 행위가 없음을 입증하지 않는다. 그러나 주변 시스템이 그 행위로 무엇을 달성하도록 허용하는지는 제한한다. 이 구분은 연구자들이 내부 기능에 대한 완전한 설명을 제공할 수 없을 때에도 엔지니어링 팀에 실질적인 대응 수단을 제공한다.
지식 노동자는 같은 문제의 덜 기술적인 형태를 마주한다. 안심시키는 요약은 이를 뒷받침하는 조건보다 더 멀리 퍼질 수 있다. 모델 평가를 비교하는 팀에는 가정, 릴리스 식별자, 미해결 질문을 함께 기록하는 자료가 필요하다.
검색 가능한 지식 베이스는 이러한 기록을 연결된 상태로 유지하는 데 도움이 될 수 있다. 그 역할은 조직적이다. 즉, 팀이 실제로 무엇을 검토했고 왜 배포를 수용했는지를 보존하는 것이다. 문서화 자체가 모델의 보안을 검증하는 것은 아니다.
따라서 즉각적인 압력은 보장에 사용하는 언어에 가해진다. “이 조건에서는 문제가 발견되지 않았다”는 표현은 독자가 구체적으로 평가할 대상을 제공한다. 모델이 할 수 없는 모든 것에 관한 더 넓은 주장은 추가적인 정당화를 요구한다.
암호화된 모델 백도어가 Sleeper Agent와의 비교를 바꾸는 방식
관련된 비교 대상은 경쟁 챗봇 브랜드가 아니라 서로 다른 은닉 메커니즘이다. 이전 연구는 겉보기에 안전한 행위가 전체 이야기를 말해주지 않을 수 있는 이유를 이미 제시했다.
Anthropic의 sleeper agent 실험은 의도적으로 학습시킨 조건부 행위를 연구했다. 한 사례에서는 명시된 연도가 모델이 안전한 코드를 작성할지, 취약점을 삽입할지를 결정했다. 회사는 표준 안전성 학습이 심어진 행위를 안정적으로 제거하지 못했다고 보고했다.
이 연구는 연구자들이 의도적으로 설치한 행위를 추가 학습이 제거하는지에 관한 지속성을 다룬다. 성공적인 개입은 익숙한 테스트에서 겉모습만 개선하는 것이 아니라 관련 행위를 바꿔야 하므로 지속성은 중요하다. 또한 평가 조건의 선택을 중대하게 만든다.
암호화된 모델 백도어는 이러한 실험을 평가하는 독자에게 다른 질문을 제기한다. 다른 경로로 유사한 출력을 생성하는 것이 아니라, 은닉된 기능을 복구했다고 보려면 무엇이 필요할까? 추가 학습이 검토 중인 시스템을 바꾸는 경우라면 언제든 이 구분은 중요하다.
평가자가 감사 과정에서 모델에게 과제 해결법을 가르친다고 가정해 보자. 성능 향상이 원래 산출물에 이미 무엇이 들어 있었는지를 반드시 드러내는 것은 아니다. 평가자는 발견과 새롭게 획득한 역량을 분리하는 증거가 필요하다. 그렇지 않으면 개입이 측정 대상 자체를 바꾸게 된다.
이는 추가 학습에 반대하는 논거가 아니라 분석상의 어려움이다. 개입은 여전히 유익한 정보를 제공할 수 있다. 다만 그 해석은 기존 행위를 드러낸 것인지, 새로운 행위를 만든 것인지, 또는 메커니즘이 여전히 해결되지 않았는지를 명시해야 한다.
별도의 이론적 선례는 Shafi Goldwasser, Michael P. Kim, Vinod Vaikuntanathan, Or Zamir의 연구에서 찾을 수 있다. 이들이 2022년에 공개한 탐지 불가능한 백도어 연구는 악의적으로 제공된 분류기를 검토했다. 이 연구는 서로 다른 접근 환경과 가정 아래에서 조건부 은닉 결과를 확립했다.
이 선례는 반복되는 신뢰 문제에 역사적 맥락을 제공한다. 모델 개발을 위임하면 산출물을 제공하는 당사자와 이에 의존하는 당사자 사이에 관계가 형성된다. 보안 분석은 양측의 이해관계가 갈릴 때 어떤 일이 일어나는지 고려해야 한다.
모델의 내부 파라미터와 구조를 검사할 권한인 화이트박스 접근은 그 관계를 바꾸지만, 자동으로 해결하지는 않는다. 접근 권한은 조사를 위한 자료를 제공한다. 그 자료가 특정 결론을 뒷받침하는지는 조사 방법과 검토 대상 속성에 달려 있다.
시스템의 노출된 입력과 출력으로 상호작용이 제한되는 블랙박스 접근은 서로 다른 관찰 범위를 뒷받침한다. 어느 쪽 라벨도 완전한 보안 판정으로 기능해서는 안 된다. 구매자는 각 평가자가 실제로 무엇을 시도했으며 무엇이 평가 범위 밖에 남았는지 알아야 한다.
따라서 이 역사를 가장 강하게 해석하는 방식은 누적적이다. 연구자들은 서로 다른 구조를 통해 조건부 유해 행위, 교정 학습에 대한 저항성, 암호학적 은닉을 연구해 왔다. 유용한 평가 프로그램은 테스트를 선택할 때 이러한 구분을 보존해야 한다.
AI 모델의 기능 은닉에서 중요한 질문은 보장이 적대적인 공급업체 앞에서도 유지되는가이다. 이러한 틀은 기사를 모델 보안에 근거하도록 유지한다. 또한 연구 구조를 특정 상용 어시스턴트에 관한 근거 없는 주장으로 바꾸는 일을 피한다.
은닉된 기능도 탐지 가능한 흔적을 남길 수 있다
숨겨진 행위를 복구하지 못했다고 해서 산출물이 의심스럽다는 점까지 알아채지 못했다는 뜻은 아니다. 이 구분은 방어 연구의 여지를 만들며, 제목에 대한 가장 강한 해석을 제한한다.
탐지와 식별은 서로 다른 판단을 위한 것입니다. 구매자는 설명되지 않은 변경이 정확히 무엇을 하는지 전부 재구성하지 못하더라도 이를 거부할 수 있습니다. 반면 귀속을 추적하는 조사관에게는 더 많은 세부 정보가 필요합니다. 따라서 방어자는 완전한 기술적 설명에 도달하기 전에 유용한 운영상 결론을 내릴 수 있습니다.
이는 보안 평가에서 익숙한 추론입니다. 근본 메커니즘이 해결되지 않은 상태에서도 의심스러운 증거는 격리를 정당화할 수 있습니다. 관련 기준은 고려 중인 조치에 따라 달라집니다. 아티팩트를 격리하는 것과 악의적 의도를 공개적으로 귀속하는 데 동일한 증거가 요구되어서는 안 됩니다.
이를 여기 적용하면 더 폭넓은 평가 목표가 제시됩니다. 조사관은 의심되는 동작을 활성화할 수 없더라도 제공된 모델이 예상된 아티팩트와 다른지 물을 수 있습니다. 이는 방어를 위한 제안된 방향이지, 현재 기술이 신뢰성 있게 성공한다는 주장은 아닙니다.
또한 모든 은닉 동작을 접근 불가능한 것으로 취급하는 데 반대되는 증거도 있습니다. Anthropic의 후속 sleeper agent probes 연구는 의도적으로 훈련한 모델과 연관된 내부 신호를 살펴봤습니다. 프로브는 내부 활동에서 나온 정보를 분류하는 탐지기입니다.
이 회사는 해당 환경에서 강력한 탐지 성능을 보고했습니다. 동시에 신호의 두드러짐이 연구자들이 백도어를 구성한 방식에서 비롯된 것일 수 있다고 경고했습니다. 자연스럽게 발생하는 기만적 동작에서도 유사한 신호가 나타나는지는 여전히 미해결 문제였습니다.
유용한 교훈은 방법론적입니다. 하나의 구성 방식에 성공하는 방어는 그 구성 방식에 관한 증거를 제공합니다. 일반화하려면 메커니즘과 조건 전반에 걸친 추가 검증이 필요합니다. 마찬가지로, 까다로운 공격 구성 방식이 모든 방어가 모든 모델에 대해 실패한다는 것을 입증하지는 않습니다.
NIST의 이전 backdoor simulation research는 또 다른 관점을 제공합니다. 이 대화형 연구는 암호학적 백도어의 삽입, 활성화, 방어를 탐구합니다. 이 작업은 문제를 단일 벤치마크의 판정이 아니라 공격 설계와 방어 방법 간의 상호작용으로 다룹니다.
구매자에게 이러한 관점은 탐지기가 무엇을 측정하는지 물어봐야 한다는 점을 시사합니다. 비정상적인 구조, 활성화된 동작, 또는 신뢰할 수 있는 기준점으로부터의 이탈을 인식하는가? 각 답변은 서로 다른 운영상 활용을 뒷받침합니다. 이들을 결합하려면 각자의 의존성을 이해해야 합니다.
탐지기는 해석이 필요한 증거를 낼 수도 있습니다. 비정상적인 구조가 그 자체로 악의적 의도를 입증하지는 않습니다. 무해한 변경도 기준과 다를 수 있으며, 유해한 변경은 선택된 비교를 회피할 수도 있습니다. 조사관에게는 이상 징후를 기계적으로 공격과 동일시하기보다 발견 사항을 검토하는 절차가 필요합니다.
음성 결과에도 같은 주의가 적용됩니다. 경보를 발생시키지 않은 탐지기는 특정 검사를 완료한 것입니다. 그 침묵은 탐지기가 평가된 조건과 함께 보고되어야 합니다. 그렇지 않으면 또 하나의 유용한 측정값이 근거 없는 보편적 약속이 될 위험이 있습니다.
암호화된 모델 백도어의 경우, 이는 중요한 가능성을 남깁니다. 방어자는 배포 결정을 개선하기 위해 은닉된 프로그램 전체를 복구할 필요가 없습니다. 다만 선택한 검사가 고려 중인 적대적 메커니즘을 다룬다는 증거는 필요합니다.
증명은 경계를 설정할 뿐, 배포를 예측하지는 않는다
이론적 가능성과 운영상 그럴듯한 공격은 서로 다른 질문에 답합니다. 어느 하나를 다른 하나의 대체물로 취급하면 잘못된 보안 결정을 내리게 됩니다.
“증명 가능하게”라는 말에는 특별한 주의가 필요합니다. 조건부 수학적 보장은 명시된 문제 모델 안에서 적용됩니다. 독자는 어떤 가정이 필요한지, 어떤 속성을 다루는지, 그리고 구현이 그 속성과 어떤 관계에 있는지 물어야 합니다.
이는 형식 연구의 가치를 낮춰야 한다는 이유가 아닙니다. 명확히 경계 지어진 보장은 일반적인 실험이 놓치는 약점을 식별할 수 있습니다. 그 경계가 계속 드러나 있을 때 그 가치는 커집니다. 핵심 주장을 의미 있게 만드는 조건을 지워버리면 극적인 헤드라인은 정보성이 떨어집니다.
실질적인 위험 평가는 한 층 더 깊은 추론을 요구합니다. 공격자는 아티팩트를 변경할 기회와 이를 전달할 방법이 필요합니다. 또한 배포된 시스템은 은닉된 동작에서 공격자의 목표로 이어지는 유용한 경로를 제공해야 합니다.
이는 공격 시나리오를 평가하기 위한 분석 요건입니다. 독자가 조용히 가정으로 채워 넣는 대신, 향후 조사에서 다뤄야 할 질문이 되어야 합니다. 사보타주에 관한 그럴듯한 이야기가 전체 과정이 실제로 발생했다는 증거는 아닙니다.
화학 예측 사례에도 같은 원칙이 적용됩니다. 더 광범위한 우려의 일부를 나타내기 위해 선택한 단순화된 과제인 대리 과제는 연구자가 메커니즘을 분리하는 데 도움을 줍니다. 그 관련성이 해당 우려와 연관된 모든 활동에서 동등한 성능을 입증하는 것은 아닙니다.
따라서 신중한 독자는 과장과 경시 모두를 피해야 합니다. 모든 개념 증명을 임박한 프로덕션 위협으로 묘사하는 것은 증거를 과장합니다. 비용이 큰 모든 구성 방식을 무관하다고 치부하는 것은 엔지니어링이 편리해지기 전에 연구가 가정에 도전할 수 있다는 점을 간과합니다.
적절한 대응은 결정에 따라 달라집니다. 연구팀은 메커니즘을 재현하거나 무력화하려는 시도를 우선시할 수 있습니다. 조달팀은 아티팩트 보관 기록을 개선할 수 있습니다. 배포팀은 모델의 권한이 평가가 정당화하는 신뢰 수준을 초과하는지 검토할 수 있습니다.
이러한 대응 중 어느 것도 특정 모델이 손상되었다고 주장할 필요가 없습니다. 이는 결정이 검토할 가치가 있는 가정에 의존하는 지점을 식별하는 데서 비롯됩니다. 이것이 일반화된 의심보다 Hiding Capabilities in AI Models를 더 유용하게 운영적으로 해석하는 방식입니다.
모델 개발자에게는 커뮤니케이션 위험도 있습니다. 보안 발견은 영업 프레젠테이션과 승인 문서를 거치면서 원래의 범위에서 분리될 수 있습니다. 명확한 보고는 검증된 동작, 조사된 변경, 그리고 미해결 가능성을 구분해야 합니다.
모델 평가는 다른 팀이 무엇이 결론을 바꿀지 이해할 수 있을 때 가장 유용합니다. 이를 위해서는 명시적 가정과 보존된 증거가 필요합니다. 신뢰도는 포괄적인 형용사로 표현되기보다 결정에 연결될 때 평가하기 쉬워집니다.
재현, 현실적 통합, 배포 주장에 주목하라
다음으로 의미 있는 신호는 연구의 헤드라인을 증폭하기보다 그 경계를 검증해야 합니다. 향후 몇 달 동안에는 독립적 검증, 현실적인 구현, 그리고 더 명확한 보증 주장을 이 순서로 주목할 만합니다.
먼저 독립적인 재현과 방어 평가를 지켜보십시오. 가장 강력한 후속 연구는 조사관이 무엇을 시도했는지, 어떤 아티팩트를 검토했는지, 그리고 주장된 결과가 어디에서 성립했는지를 문서화할 것입니다. 성공적인 방어 역시 무엇을 탐지하거나 복구했는지에 대한 똑같이 명확한 설명이 필요합니다.
독립 팀이 비교 가능한 조건에서 이를 재현한다면 이 신호는 보고된 경계에 대한 신뢰를 높일 것입니다. 재현 가능한 실패는 그 경계를 좁힐 것입니다. 어느 결과든 원래 주장을 반복하는 또 하나의 요약보다 더 많은 정보를 더합니다.
둘째, 해당 구성 방식을 현실적인 배포 조건과 연결하는 연구를 지켜보십시오. 유용한 증거는 일반적인 모델 성능, 통합 비용, 그리고 조사관이 의심스러운 변경을 인식하는지 여부를 다룰 것입니다. 운영상 공격은 실험실 시연 이상의 것을 견뎌야 하므로 이 속성들은 함께 중요합니다.
통합의 진전은 암호화된 모델 백도어를 더 가까운 시기의 공급망 우려로 취급해야 한다는 근거를 강화할 것입니다. 지속적인 통합 어려움은 시급성에 대한 평가를 약화시킬 것입니다. 그러나 그것만으로 보편적 감사 보장에 관한 근본적인 질문을 해결하지는 못합니다.
셋째, 평가 제공업체와 모델 공급업체가 결론을 어떻게 설명하는지 지켜보십시오. 의미 있는 개선은 보고서를 특정 아티팩트에 연결하고 적대적 변경이 범위에 포함되는지 명시할 것입니다. 구매자는 배포 이후의 책임에 관한 명확성도 찾아야 합니다.
이 신호는 새로운 벤치마크 점수보다 제도적 행동에 관한 것입니다. 더 정확한 주장은 조직이 안전한 동작을 관찰하는 것과 더 광범위한 보안 속성을 확립하는 것의 차이를 이해하고 있음을 보여줄 것입니다. 지속되는 모호함은 구매자가 그 차이를 직접 해결해야 한다는 뜻입니다.
이는 예정된 발표가 아니라 관찰 기준입니다. 현재 이용 가능한 증거는 특정 제품 출시나 규제 대응을 예측할 근거가 되지 않습니다. 요점은 분석을 강화하고, 좁히고, 또는 다른 방향으로 돌릴 발전을 식별하는 것입니다.
이 연구를 검토하는 팀이라면, 먼저 실제 배포에 필요한 보증부터 시작하십시오. 논문의 가정을 평가 보고서와 함께 읽고, 어떤 결론이 모델 공급업체에 대한 신뢰에 의존하는지 식별하십시오. 그 비교 결과를 아티팩트 기록 및 배포 결정과 함께 보존하십시오. 누가 모델을 변경할 수 있는지, 변경이 어떻게 드러나는지, 평가가 무언가를 놓친 경우에도 어떤 권한이 정당화되는지 물어보십시오. Hiding Capabilities in AI Models는 이러한 연결을 신중하게 검토해야 할 이유입니다. 유리한 결과를 배포된 시스템이 할 수 있는 모든 것에 대한 완전한 설명으로 취급하기 전에, 미해결 질문을 평가자에게 제기하십시오.
