Anthropic의 Claude Mythos HAWK 공격이 드러낸 PQC로는 해결할 수 없는 보안 격차
Anthropic의 Claude Mythos HAWK 공격은 약 60시간의 AI 지원 연구 끝에 후보 서명 체계의 추정 키 강도를 낮췄다. HAWK는 이미 2년간 두 차례의 전문가 검토를 통과한 상태였다. 중요한 사건은 배포된 암호화가 즉시 뚫린 것이 아니라, 이 같은 대비에 있다.
Anthropic은 2026년 7월 28일, 축소된 버전의 AES를 겨냥한 별도의 공격과 함께 이 결과를 공개했다. 이후 HAWK 팀은 미국 국립표준기술연구소(NIST)의 포스트퀀텀 서명 경쟁에서 알고리즘을 철회했다. 최종 확정된 NIST 포스트퀀텀 표준에는 영향이 없었다.
이 사건은 헤드라인이 시사하는 것보다 더 까다로운 보안 문제를 제기한다. 포스트퀀텀 암호(PQC)는 미래의 양자 공격으로부터 시스템을 보호한다. 하지만 이전에 발견되지 않은 수학적 취약점, 빨라진 자동화 분석, 또는 부족한 인간 검토 역량으로부터 새로운 알고리즘을 보호하지는 못한다.
그 결과 암호학자, 표준화 기관, 소프트웨어 공급업체, 기업 구매자는 불일치에 직면한다. AI는 이제 일부 기술적 공격 공간을 더 빠르게 탐색할 수 있지만, 검증과 대응은 여전히 부족한 인간 전문가에게 의존한다.
Claude Mythos HAWK 공격이 표준 경쟁을 바꾼 방식
Claude Mythos는 배포된 보안 표준을 깨지는 않았지만, 어떤 후보가 신뢰할 만한 표준이 될 수 있는지는 바꿨다.
HAWK는 NIST의 Additional Digital Signatures 과정에 제출된 디지털 서명 제안이었다. 디지털 서명은 시스템이 누가 메시지에 서명했는지, 그리고 누군가 메시지를 변경했는지를 검증하도록 해준다. HAWK는 기존 컴퓨터와 미래의 양자 컴퓨터 모두의 공격에 견디도록 설계됐다.
이 체계는 격자 문제의 추정 난이도에 의존했다. 격자는 그 구조가 암호학적 구성을 뒷받침할 수 있는 점들의 수학적 배열이다. HAWK의 짧은 서명과 성능 특성은 추가 평가를 위한 매력적인 후보로 만들었다.
Anthropic에 따르면, 한 연구자는 에이전트형 연구 하니스에서 Claude Mythos Preview를 사용했다. 이 시스템은 문헌을 검토하고, 수학적 구조를 추론하며, 실험을 수행하고, 연구자와 결과를 교환했다.
이 과정은 수학적 구조를 보존하는 대칭인 비자명한 자기동형을 발견했다. 이전 연구는 그러한 대칭을 찾는 일이 공격을 뒷받침할 수 있음을 보여줬다. 해결되지 않은 질문은 HAWK의 특정 구성 안에 악용 가능한 형태가 존재하는지 여부였다.
Anthropic의 연구 공개에 따르면, 모델 지원 과정은 그 누락된 연결고리를 발견했다. 이는 더 작은 유효 공간을 탐색하는 방식에 기반한 더 빠른 키 복구 방법을 가능하게 했다.
작은 HAWK-256 챌린지 파라미터의 경우, Anthropic은 예상 공격 비용이 2^64회 연산에서 2^38회로 낮아졌다고 보고했다. 이 감소 폭은 챌린지 파라미터가 배포용으로 의도되지 않았다는 점을 감안해도 막대하다.
이 결과는 더 큰 HAWK 파라미터 세트에도 영향을 미쳤다. Anthropic은 기대 보안 수준을 유지하려면 훨씬 더 큰 키가 필요하다고 결론 내렸다. 이는 HAWK의 후보 지위를 뒷받침했던 중요한 효율성 이점을 없애게 된다.
이후 HAWK 설계자들은 NIST 과정에서 제안을 철회했다. 이 철회는 약화된 후보가 표준화나 배포 단계로 나아가는 것을 막았다.
이 결과는 채택 전에 검토가 작동했다는 증거다. NIST의 공개 경쟁은 제안을 적대적 분석에 의도적으로 노출한다. 연구자들이 취약점을 발견하면 후보가 탈락하는 것은 예상된 일이다.
하지만 이번 발견의 속도와 출처는 여전히 중요하다. HAWK는 AI 지원 워크플로가 약 60시간 만에 결정적인 경로를 찾아내기 전까지 광범위한 전문가의 관심을 견뎌냈다.
Anthropic은 공격의 개발과 검증에 약 10만 달러의 모델 사용 비용이 들었다고 추정했다. 개인 연구자에게는 큰 비용이다. 하지만 널리 신뢰받는 암호체계를 깨뜨릴 잠재적 가치와 비교하면 크지 않다.
따라서 이 사건은 후보 목록 하나 이상을 바꾼다. 자금력이 있는 연구소가 짧은 기간에 얼마나 많은 암호해석 탐색을 수행할 수 있는지에 대한 기대를 바꾼다.
포스트퀀텀 암호가 이 보안 격차를 해소할 수 없는 이유
PQC는 공격자 컴퓨터의 능력을 다루는 반면, HAWK 사건은 방어자 수학 설계의 취약점에 관한 문제다.
포스트퀀텀 알고리즘은 기존 및 양자 계산 모두에 저항한다고 여겨지는 문제를 중심으로 구축된다. 이들은 특정 역할에서 RSA와 타원곡선 암호 같은 취약한 공개키 시스템을 대체한다.
이 보호에는 명확한 경계가 있다. 양자 내성 가정은 간과된 지름길, 구조적 대칭, 구현 오류, 탈취된 키, 손상된 엔드포인트, 또는 결함 있는 프로토콜 통합을 보완할 수 없다.
Claude Mythos는 첫 번째 범주를 공격했다. 양자 컴퓨터를 사용하거나 실용적인 양자 공격을 시뮬레이션하지 않았다. 대신 HAWK의 수학적 구조를 통과하는 더 효율적인 기존 방식의 경로를 찾아냈다.
이 구분은 왜 이번 결과가 PQC 전환의 더 넓은 필요성을 약화하지 않는지 설명한다. 현재의 공개키 시스템은 암호학적으로 유의미한 양자 컴퓨터가 등장하기 전에 여전히 대체돼야 한다.
NIST는 2024년에 처음 세 가지 주요 PQC 표준을 확정했다. 여기에는 공유 비밀 수립을 위한 ML-KEM과 디지털 서명을 위한 ML-DSA 및 SLH-DSA가 포함된다. NIST는 HAWK 발견이 이들 확정 표준에 영향을 주지 않는다고 밝혔다.
조직은 NIST의 PQC 표준 페이지에서 이 경계를 확인할 수 있다. ML-KEM과 ML-DSA는 공격이 겨냥한 특정 HAWK 메커니즘과 다른 구성을 사용한다.
교훈은 양자 내성 암호가 실패했다는 것이 아니다. “양자 내성”은 특정 컴퓨팅 위협에 대한 저항성을 뜻할 뿐, 모든 형태의 암호해석에 대한 면역을 뜻하지는 않는다.
이 구분은 배포된 시스템에도 그대로 적용된다. 조직은 PQC 전환을 마쳤더라도 취약한 접근 통제로 인해 개인 키를 노출한 채일 수 있다. 네트워크 트래픽을 보호하면서도 AI 에이전트가 승인된 도구를 통해 데이터를 유출하게 할 수 있다.
유효한 서명 알고리즘 역시 서명된 지시가 악의적인지 판단할 수 없다. 이는 진위와 무결성을 검증할 뿐, 신뢰받는 시스템이 안전한 결정을 내렸는지는 검증하지 않는다.
따라서 PQC는 보안의 한 계층이다. 그 주변에는 키 관리, 안전한 구현, 인증된 업데이트, 접근 제어, 모니터링, 신속한 알고리즘 교체가 필요하다.
이런 조건에서는 암호 민첩성이 특히 중요해진다. 암호 민첩성이란 팀이 주변 애플리케이션을 재구축하지 않고도 알고리즘과 키를 교체할 수 있도록 시스템을 설계하는 것을 의미한다.
이 능력은 언제나 유용했다. AI 지원 암호해석은 발견과 광범위한 인지 사이의 간격을 줄일 수 있기 때문에 이를 운영상 시급한 과제로 만든다.
기업에는 정확한 암호 자산 목록도 필요하다. 팀은 알고리즘이 어디에 사용되는지, 어떤 공급업체가 이를 통제하는지, 어떤 데이터를 보호하는지, 그리고 얼마나 빨리 교체할 수 있는지를 알아야 한다.
새 알고리즘 하나를 모든 곳에 설치하는 전환은 또 다른 집중 위험을 만들 수 있다. 나중에 해당 알고리즘에서 취약점이 드러나면, 의존하는 모든 시스템이 동시에 대응 대기열에 들어간다.
하이브리드 설계는 전환 기간에 이러한 노출을 줄일 수 있다. 이는 기존 구성 요소와 포스트퀀텀 구성 요소를 결합해 한 계층에서 예상치 못한 문제가 발생하더라도 다른 계층을 사용할 수 있도록 한다.
하이브리드 암호가 영구적인 보장을 제공하는 것은 아니다. 이는 복잡성, 더 큰 메시지, 상호운용성 요구사항, 그리고 더 많은 통합 오류 가능성을 더한다. 그럼에도 새 알고리즘이 검증을 축적하는 동안 유용한 다양성을 제공할 수 있다.
Claude Mythos HAWK 공격은 보안이 교체 가능한 구성 요소와 계층형 통제에 의존한다는 점을 강화한다. 모든 수학적 불확실성이 사라질 때까지 PQC 배포를 동결해야 한다는 주장을 뒷받침하지는 않는다.
기다리는 것은 알려진 양자 위험에 대한 노출을 유지하게 한다. 교체 계획 없이 진행하는 것은 또 다른 형태의 취약성을 만든다. 보안 팀은 두 압력을 동시에 관리해야 한다.
AI가 암호해석의 시간을 압축하고 있다
가장 중대한 변화는 AI가 한 가지 공격을 찾았다는 사실이 아니라, 기계 규모로 취약점을 반복 탐색할 수 있다는 점이다.
전통적인 암호해석은 깊은 전문성, 직관, 문헌 검토, 실험, 그리고 세심한 검증을 결합한다. 유용한 아이디어 사이에는 비생산적인 경로가 많이 존재하며, 진전에는 수개월 또는 수년이 걸릴 수 있다.
Anthropic의 워크플로는 이 주기의 일부를 자동화했다. Claude Mythos는 논문을 탐색하고, 연결고리를 제안하며, 실험 코드를 작성하고, 결과를 검토한 뒤 제한적인 인간 지시에 따라 접근 방식을 수정했다.
HAWK 작업은 완전히 자율적이지는 않았다. 연구자는 지침을 제공하고 새롭게 나타나는 결과가 의미 있는지 판단하는 데 도움을 줬다. 공개 전에는 인간 전문가와 영향을 받은 설계자들도 참여했다.
그럼에도 노동 분담은 중요하다. AI는 같은 기간에 사람이 수동으로 탐색할 수 있는 것보다 더 많은 후보 논증과 실험을 만들어낼 수 있다. 그러면 인간은 검증과 결과에 집중할 수 있다.
Anthropic이 두 번째로 보고한 결과는 이러한 확장 가능성을 보여준다. 별도의 스캐폴드는 Claude Mythos가 7라운드 AES-128에 대한 더 빠른 공격을 자율적으로 개발하도록 했다.
AES-128은 일반적으로 10라운드의 변환을 사용한다. 연구자들은 전체 알고리즘의 안전 여유를 이해하기 위해 축소 라운드 변형을 검토한다. 7라운드를 깨는 것이 공격자가 실제 운영 AES-128을 깰 수 있다는 뜻은 아니다.
Anthropic은 해당 축소 버전에 대한 이전 공격보다 200배에서 800배 향상됐다고 보고했다. 회사는 또한 이 공격이 여전히 비현실적으로 비싸며 전체 AES를 위협하지 않는다고 밝혔다.
이러한 단서는 필수적이다. 단서가 없다면 좁은 범위의 연구 결과가 AI가 현대 시스템을 보호하는 암호화를 깼다는 잘못된 주장으로 바뀐다.
가치는 연구 과정에 있다. HAWK와 축소 라운드 AES는 서로 다른 암호학적 구조를 포함하지만, 같은 계열의 AI 시스템이 두 분석 모두에 기여했다.
Anthropic과 학계 연구자들은 이후 여섯 암호학 계열에 걸친 191개 과제 모음인 CryptanalysisBench를 소개했다. 에이전트는 실제 구현을 공략하고 정식 보안 테스트를 충족해야 한다.
벤치마크의 초기 결과는 프런티어 모델이 의도적으로 취약하게 만든 체계에 대한 알려진 공격을 다수 재현할 수 있음을 보여준다. 연구자들은 다른 실험적 암호 설계와 관련한 새로운 발견도 보고했다.
벤치마크가 개방형 암호해석에 필요한 모든 역량을 측정하는 것은 아니다. 해당 과제에는 정의된 환경, 접근 가능한 구현, 측정 가능한 성공 조건이 있다.
실제 연구는 더 큰 모호성에서 시작한다. 모델은 어떤 가정이 중요한지 판단하고, 유용한 문헌을 식별하며, 무효한 증명을 피하고, 진짜 취약점과 실험적 잡음을 구분해야 한다.
HAWK 사례가 주목할 만한 이유는 그 간극 일부를 넘어섰기 때문이다. 이 시스템은 훈련 과제 안에 숨겨진 답을 재발견하는 데 그치지 않았다. Anthropic은 이전에 알려지지 않은 공격을 개발하고 작동하는 시연 코드를 제공했다고 밝혔다.
독립적인 검토는 여전히 필요하다. Anthropic은 모델을 개발하고, 프로젝트를 운영하며, 주요 성능 주장을 공개했다. 이는 성공을 강조하고 실패한 세션을 축소해 설명할 유인을 만든다.
회사는 많은 세션에서 새로운 발견이 나오지 않았음을 인정한다. 또한 상당한 수준의 인간 검증이 이뤄졌다고 밝혔으며, 이는 모델이 전체 문제를 독자적으로 해결했다는 단순한 주장에 복잡성을 더한다.
한 독립 평가는 이 결과의 중요성과 Anthropic의 더 광범위한 마케팅 서사에 대한 불확실성을 함께 강조했다. 이것이 적절한 균형이다.
이 공격은 기술적으로 의미 있을 수 있지만, AI가 자율적인 최고 수준의 암호 해독 전문가가 되었다는 사실을 입증하지는 않는다. 한 번의 성공만으로는 알려지지 않은 연구 문제 전반에서 시스템의 실패율을 알 수 없다.
하지만 공격자에게는 매번 신뢰할 수 있는 천재성이 필요하지 않다. 병렬로 탐색을 수행하고, 성공한 경로를 남기며, 수천 건의 실패는 버릴 수 있다.
이 비대칭성은 방어자에게 압박을 가한다. 표준화 기구는 신뢰할 만한 모든 결과를 면밀히 검토해야 한다. 공격자에게 필요한 것은 작동하는 단 하나의 경로다.
진짜 병목은 인간 검증이다
더 빠른 발견은 방어자가 그 결과를 충분히 빠르게 검증하고, 우선순위를 정하며, 수정할 수 있을 때에만 보안상 이점이 된다.
AI 취약점 연구는 익숙한 확장성 문제를 낳는다. 그럴듯한 보고서를 생성하는 비용은 정확성을 확인하고, 영향을 측정하며, 공개를 조율하고, 안전한 수정 사항을 배포하는 비용보다 낮다.
암호학에서는 작은 수학적 오류 하나가 공격 전체를 무효화할 수 있기 때문에 이 문제가 더 심각해진다. 설득력 있는 모델의 설명은 증명, 재현 가능한 코드, 또는 전문가 검토를 대체할 수 없다.
오탐은 부족한 관심 자원을 소모한다. 연구소가 수천 건의 추정적 약점을 생성한다면, 유지보수자와 표준화 팀은 실제 발견과 자신감에 찬 오류를 구분해야 한다.
진짜 양성 결과는 또 다른 부담을 만든다. 각각의 결과에는 독립 분석, 설계자와의 소통, 새 매개변수, 구현 업데이트, 상호운용성 테스트, 수정된 규정 준수 지침이 필요할 수 있다.
HAWK 대응은 유리한 조건에서 이뤄졌다. 이 알고리즘은 공개 표준화 절차 안에 있었고, 어떤 운영 시스템도 이에 의존하지 않았다.
설계자들은 조직에 키 교체나 인증서 교체를 강요하지 않고 후보를 철회할 수 있었다. AI가 광범위하게 배포된 소프트웨어나 프로토콜에서 약점을 찾아낼 경우에는 그렇지 않을 것이다.
운영 환경의 암호 기술에는 긴 의존성 사슬이 있다. 운영체제, 브라우저, 클라우드 플랫폼, 하드웨어 모듈, 임베디드 기기, ID 서비스, 타사 라이브러리가 같은 암호 프리미티브를 공유할 수 있다.
수학적으로 타당한 대체 기술이라도 모든 엔드포인트에 도달하는 데 수년이 걸릴 수 있다. 지원이 종료된 기기와 하드코딩된 의존성은 공급업체가 수정 사항을 공개한 뒤에도 취약한 구성 요소를 계속 운영하게 만들 수 있다.
AI는 이 완화 격차를 더 자주 드러나게 할 수 있다. 방어자가 충분한 접수 역량을 구축하기 전에 공격적 사용자가 같은 역량을 확보한다면, 그 격차는 더 커질 수도 있다.
Anthropic은 HAWK 프로젝트를 책임 있는 연구라고 설명한다. 회사는 6월에 HAWK 저자들과 공격 내용을 공유했고, NIST 채널을 통해 공개를 조율했다고 말한다.
HAWK가 배포되지 않았기 때문에 그 절차는 즉각적인 위험을 줄였다. 향후 결과는 짧은 공개 기간 안에 안전하게 패치할 수 없는 시스템과 관련될 수 있다.
그렇다면 접근 정책은 보안 아키텍처의 일부가 된다. 연구소는 누가 고급 사이버 역량을 사용할 수 있는지, 어떤 활동에 모니터링이 필요한지, 언제 결과에 의무 검토가 필요한지를 결정해야 한다.
하나의 모델을 제한한다고 문제가 해결되지는 않는다. 역량은 새로운 모델, 공개 연구, 증류 시스템, 특화된 에이전트 프레임워크를 통해 확산된다.
더 지속 가능한 방어책은 검증 역량의 확대다. 표준화 기구에는 재현 가능한 제출물, 자동화된 테스트 환경, 독립 검토자, 명확한 증거 요건이 필요하다.
공급업체에는 인간 대응 팀을 과부하시키지 않으면서 기계 생성 보고서를 수용할 수 있는 시스템이 필요하다. 보고서에는 코드, 영향을 받는 구성, 공격 가정, 반복 가능한 영향 측정이 포함되어야 한다.
AI는 그 대기열의 방어 측면에서도 도움을 줄 수 있다. 별도의 시스템이 실험을 재현하고, 패치를 비교하며, 의존성을 검사하고, 중복된 발견을 묶을 수 있다.
하지만 같은 모델을 결과 제안과 승인에 모두 사용하는 것은 명백한 이해 충돌을 만든다. 독립 검증에는 서로 다른 도구, 분리된 프롬프트, 자격을 갖춘 인간의 판단이 포함돼야 한다.
보안 팀은 모든 수학적 개선을 긴급 사태로 취급하는 것도 피해야 한다. HAWK 공격은 후보의 보안 추정치를 바꿨지만, 더 큰 매개변수는 여전히 공격하기 어려웠다.
마찬가지로, 라운드 수를 줄인 AES 결과가 운영 환경의 AES 키 교체를 정당화하지는 않는다. 과잉 대응은 자원을 낭비하고 향후 공개에 대한 신뢰를 약화시킬 것이다.
올바른 대응은 증거, 배포 상태, 공격 비용, 영향을 받는 보안 가정에 달려 있다. 이러한 요소는 모든 AI 생성 보고서에서 명시적으로 유지돼야 한다.
보안 리더가 다음으로 주시해야 할 것
세 가지 신호는 Claude Mythos HAWK 공격이 고립된 성공 사례인지, 아니면 보안 연구의 지속적인 변화가 시작됐는지를 보여줄 것이다.
첫 번째 신호는 독립 재현이다. Anthropic 외부의 연구자들이 HAWK 기법, 그 복잡도 추정치, 다양한 매개변수 선택에 따른 영향을 검증해야 한다.
연구자들이 복구된 챌린지 키를 관찰할 수 있기 때문에 작동하는 시연 코드는 신뢰도를 높인다. 하지만 이것이 더 큰 인스턴스에 대한 모든 외삽을 자동으로 검증하는 것은 아니다.
독립 암호학자들은 관련 구조에 유사한 대칭성이 있는지도 시험해야 한다. 더 광범위한 패턴이 발견되면 다른 격자 기반 설계에 대한 압박이 커질 것이며, HAWK에 특화된 결과라면 영향 범위는 좁아질 것이다.
NIST의 철회 처리 방식은 두 번째 신호를 제공한다. 추가 서명 절차는 부분적으로 서로 다른 성능 및 보안 특성을 지닌 알고리즘을 선택하기 위해 존재한다.
관련 질문은 AI 보조 검토가 후보 평가의 표준적인 일부가 되는지 여부다. NIST는 이미 서명 프로젝트를 통해 제안서를 공개 검토에 노출하고 있다.
공식적인 AI 평가 요건은 표준화 절차가 적응하고 있다는 주장을 강화할 것이다. 비공식 실험만으로는 개별 연구소와 고가 모델에 대한 불균등한 접근에 따라 검토 범위가 좌우될 수 있다.
세 번째 신호는 알려지지 않은 암호해석 문제에서의 성능이다. 모델이나 개발자가 이미 알려진 과제에 맞춰 직접 최적화할 수 있다면 공개 벤치마크의 유용성은 떨어진다.
연구자들에게는 숨겨진 문제를 보존하고, 실패한 시도를 문서화하며, 모델 출력과 인간 기여를 분리하는 통제된 테스트가 필요하다. 비용과 경과 시간도 성공 여부와 함께 보고돼야 한다.
서로 관련 없는 알고리즘 전반에서 반복적으로 새로운 결과가 나온다면 Anthropic의 더 광범위한 주장을 뒷받침할 것이다. 그러한 성과를 재현하지 못한다면 HAWK가 유리한 문제 구조와 맞아떨어졌음을 시사할 것이다.
보안 리더들은 이 논쟁이 결론 나기를 기다린 뒤 행동해서는 안 된다. 암호 의존성을 매핑하고, 조달 과정에서 대체 경로를 요구하며, 핵심 서비스가 알고리즘을 얼마나 빠르게 교체할 수 있는지 테스트할 수 있다.
또한 양자 대비와 일반적인 AI 보안을 분리해야 한다. PQC는 특정한 미래 컴퓨팅 역량으로 인한 데이터 복호화와 인증 위협으로부터 데이터와 인증을 보호한다. 암호화가 해제된 정보를 권한 있는 AI 에이전트가 어떻게 다루는지는 규율하지 않는다.
안전한 조직에는 두 프로그램이 모두 필요하다. 하나는 양자 복호화에 대한 노출을 줄인다. 다른 하나는 모델 접근, 도구 권한, 데이터 흐름, 모니터링, 인간 승인 절차를 관리한다.
따라서 단기적인 결정은 PQC와 AI 방어 중 무엇을 선택할지에 관한 것이 아니다. 기존 보안 운영이 더 빠른 발견을 흡수하면서 어려운 암호 전환을 완료할 수 있는지에 관한 것이다.
다음 아키텍처 검토에서 한 가지 실용적인 질문을 던져야 한다. 내일 AI 시스템이 신뢰받는 알고리즘을 무효화한다면, 팀은 모든 의존성을 찾아내고 안전하게 대체할 수 있는가?
Claude Mythos HAWK 공격은 발견 주기가 짧아지고 있음을 시사한다. 이제 조직에는 그 속도를 따라갈 수 있는 교체, 검증, 거버넌스 주기가 필요하다.
