Anthropic AI 안전 경고, 연구자들이 인류를 끝낼 수 있다고 말하는 경쟁을 드러내다

한 연구자의 사임과 또 다른 연구자가 이번 10년 안에 인류 멸종 위험을 10% 이상으로 평가하면서 Anthropic의 AI 안전 경고는 더 이상 쉽게 무시하기 어려워졌다.

Jacob Coxon은 최첨단 연구소들이 이를 통제할 신뢰할 만한 방법 없이 자기개선형 초지능을 향해 경쟁하고 있다며 Anthropic을 떠났다고 밝혔다. Anthropic의 정렬 과학 책임자인 Evan Hubinger는 이 핵심 우려에 공개적으로 동의했다. 그는 향후 10년 안에 AI가 모든 인간을 죽일 확률을 10% 이상으로 평가했다.

이 발언들은 측정된 예측이 아니라 개인적 평가다. AI로 인한 멸종의 정확한 확률을 계산할 수 있는 공인된 과학적 방법은 없다. 그럼에도 이 경고가 중요한 이유는 더 안전한 최첨단 AI를 약속으로 내세운 기업 내부에서 일하는 연구자들이 내놓았기 때문이다.

따라서 이 갈등은 한 사람의 사임보다 더 큰 문제다. Anthropic과 OpenAI는 고도화된 시스템을 개발하는 일이 사회가 그 위험을 이해하고 관리하는 데 도움이 될 수 있다고 주장한다. Coxon은 같은 경쟁이 두 연구소를 안전 연구로는 신뢰성 있게 통제할 수 없는 역량으로 내몰고 있다고 주장한다.

이 긴장이 이제 Anthropic AI 안전 경고를 규정한다. 점점 더 자율적인 모델을 개발하는 사람들은 파국적 불확실성을 인정하면서도 계속 모델을 만들고 있다. 핵심 질문은 연구소들이 자신들만 속도를 늦추는 것이 오히려 세상을 덜 안전하게 만들 수 있다고 믿는 상황에서, 자발적 안전장치가 경쟁 압력을 견딜 수 있느냐는 것이다.

한 사임이 내부의 두려움을 공개 뉴스로 바꾸다

Coxon의 퇴사는 익숙한 이론적 위험을 해당 기술을 추구하는 연구소들에 대한 직접적인 고발로 바꿨다.

Coxon은 OpenAI와 Anthropic에서 모델 사전학습 업무를 3년간 수행한 뒤 2026년 9월 8일 사임을 발표했다. 사전학습은 이후의 안전 조정에 앞서 방대한 데이터 집합에서 모델에 패턴을 가르치는 대규모 과정이다.

초기 사임 보도에 따르면, Coxon은 어느 연구소도 책임 있게 행동하지 않고 있다고 말했다. 그는 이들이 인간의 생명을 위험에 빠뜨린 채 자기개선형 초지능을 향해 경쟁하고 있다고 비판했다.

자기개선형 초지능은 인간 전문가보다 더 뛰어나게 AI 연구를 발전시킬 수 있는 가상의 시스템을 뜻한다. 이런 시스템은 이후 더 유능한 후속 모델을 설계해 개발을 가속하는 순환을 만들 수 있다.

Coxon의 경고는 주로 오늘날 챗봇이 부정확한 답변을 내놓는 문제에 관한 것이 아니었다. 그는 제한적인 인간 감독 아래 연구를 수행하고, 컴퓨터를 조작하며, 취약점을 찾고, 자원을 확보할 수 있는 미래 시스템을 우려했다.

그는 연구소 직원들이 자신들의 작업이 2030년 이전에 파국적 결과를 낳을 수 있다고 진심으로 믿고 있다고 주장했다. 또한 이 경고가 홍보 목적이라는 견해도 부인했다. 그의 메시지는 경쟁 그 자체가 민간 기업 내부에서 내려지고 있는 용납할 수 없는 결정이라는 관점을 담고 있었다.

Hubinger가 핵심 전제를 지지하면서 이 사임은 더 큰 의미를 얻었다. Hubinger는 Anthropic에서 고도화된 시스템이 의도된 목표를 신뢰성 있게 따를지를 연구하는 정렬 과학을 이끌고 있다.

Hubinger는 향후 10년 동안 AI가 모든 인간을 죽일 가능성이 10% 이상이라고 믿는다고 말했다. 이 수치는 반복 가능한 실험에서 도출된 확률이 아니라 그의 판단을 나타낸다.

이 구분은 중요하다. 독자는 10%를 허리케인 예보나 장비 고장률에 견줄 수 있는 보험계리적 추정치로 해석해서는 안 된다. 연구자들은 다가올 10년의 여러 버전을 관찰하고 결과를 셀 수 없다.

하지만 개인적 불확실성이 이 발언을 무의미하게 만들지는 않는다. 위험 관련 의사결정은 정량화하기 어려운 결과도 일상적으로 고려하며, 특히 가능한 피해가 되돌릴 수 없을 때 그렇다.

공개 발언은 이례적인 제도적 무게도 지녔다. Coxon은 자신이 비판한 시스템을 다뤘고, Hubinger는 미래 모델의 정렬을 유지하기 위한 연구를 계속 책임지고 있었다.

이들의 입장이 멸종 가능성이 높다는 사실을 입증하지는 않는다. 다만 최첨단 개발을 직접 아는 사람들 사이에 심각한 우려가 존재한다는 점은 보여준다.

시점도 이 이야기를 더 강화했다. Coxon은 AI 연구소들이 더 강력한 자율 역량과 기술 업무에서 모델 사용 증가를 보고하는 시기에 사임했다. Anthropic 자체 로드맵도 시스템이 장기 작업과 고위험 코딩에서 더 뛰어나지고 있다고 밝힌다.

한 독립 보도는 Coxon의 퇴사를 시스템이 인간 통제를 벗어나는 문제를 둘러싼 논쟁이 확대되는 흐름의 일부로 설명했다. 또한 그의 비판을 Anthropic, OpenAI, 그리고 글로벌 경쟁자들이 벌이는 더 넓은 경쟁 속에 위치시켰다.

직원 한 명의 퇴사만으로 통상 연구소의 전략이 바뀌지는 않는다. 이 사임이 중요한 이유는 Anthropic에 남은 정렬 책임자가 이를 반박하는 대신 근본적 위험을 인정했기 때문이다.

이 사건은 대중의 이해와 내부 우려 사이의 간극을 드러냈다. 많은 사용자는 AI를 유용한 보조 도구로 접한다. 그 후속 시스템을 만드는 일부 연구자들은 이를 세계적 재앙의 잠재적 원인으로 논한다.

그 간극이 이 기사의 핵심 긴장을 만든다. Anthropic은 점점 더 강력한 모델에 대한 접근을 판매하면서, 안전 전문가들은 인류가 그 이후에 등장할 것을 통제할 수 있을지 공개적으로 의문을 제기한다.

Anthropic AI 안전 경고가 겨냥하는 것은 오늘날의 Claude가 아니라 경쟁이다

논쟁의 대상인 메커니즘은 신뢰할 만한 통제 방법이 존재하기 전에 더 큰 자율성을 보상하는 경쟁적 피드백 고리다.

Coxon은 현재의 Claude 모델이 인류를 제거할 준비를 하고 있다고 주장하지 않았다. 그의 주장은 AI 연구 자체를 개선하는 시스템으로 향하는 궤적에 초점을 맞췄다.

오늘날 모델은 코드를 작성하고, 디지털 도구를 사용하며, 기술 문서를 분석하고, 점점 더 긴 워크플로를 완료할 수 있다. 그러나 여전히 기본적인 오류를 범하고, 목표를 오해하며, 인간의 감독이 필요하다.

Coxon이 설명한 위험은 이런 한계가 AI 연구를 제약하지 못하게 되는 시점에서 시작된다. 상당한 연구 작업을 수행할 수 있는 모델은 학습 방법, 평가, 소프트웨어, 그리고 미래 아키텍처 설계를 도울 수 있다.

그 지원은 개발 주기를 단축할 수 있다. 더 강력한 후속 모델은 더 나은 연구를 제공하고, 그 결과 다음 후속 모델이 더 빠르게 등장할 수 있다.

이 가상적 순환은 재귀적 자기개선이라고 불린다. 통제 불가능한 지능으로 가는 경로라는 점은 아직 입증되지 않았지만, 파국적 위험 논의에서 중심적인 위치를 차지한다.

이 메커니즘은 순수한 지능 이상의 요소를 포함한다. 위험한 시스템에는 접근권, 지속성, 유용한 도구, 그리고 의도된 환경 밖에서 행동할 기회도 필요하다.

네트워크와 민감한 인프라에서 격리된 고성능 모델은 자격 증명과 컴퓨터 접근권을 가진 자율 에이전트와 다른 위험을 제시한다. 따라서 배포 결정은 모델 역량과 함께 중요하다.

Anthropic은 공개 정책에서 이 구분을 인정한다. 회사의 확장 프레임워크는 더 강력한 역량을 추가 평가, 보안, 배포 요건과 연결한다.

회사는 이 요건을 AI Safety Levels라고 부른다. 이는 모델이 정해진 위험 임계치를 넘을 때 더 강력한 보호 조치를 발동하기 위한 것이다.

Anthropic의 프레임워크는 의도적 악용과 자율적 행동을 다룬다. 관련 시나리오에는 생물학적 위협 지원, 정교한 사이버 작전, 모델 탈취, 그리고 시스템 자체가 시작한 유해 행위가 포함된다.

그러나 이 정책은 자발적이며 Anthropic의 이해가 발전함에 따라 변경된다. 현행 버전은 한 연구소가 전체 경쟁 환경의 안전성을 결정할 수 없음을 인정한다.

이 집단행동 문제는 Coxon의 반대 논거의 중심에 있다. Anthropic이 멈추는 동안 다른 개발자가 계속한다면, 경쟁자가 결정적 역량을 먼저 만들어낼 수 있다.

Anthropic은 일방적 자제가 따라서 자체적인 위험을 만들 수 있다고 주장한다. 안전장치가 약한 연구소가 영향력을 얻는 반면, Anthropic은 안전 연구를 수행할 능력을 잃을 수 있다는 것이다.

Coxon은 같은 전제에서 정반대의 결론에 도달한다. 그는 경쟁이 민간 연구소가 개발 속도를 통제해서는 안 된다는 증거라고 본다.

두 입장 모두 인센티브가 불안정하다는 점을 인정한다. 어느 한 기업이 모든 경쟁자의 속도를 동시에 늦출 수 있는 단순한 방법도 제시하지 못한다.

Coxon이 두 연구소 모두에서 일했기 때문에 OpenAI가 가장 중요한 비교 대상이다. 두 회사는 연구자, 컴퓨팅 자원, 고객, 최첨단 역량의 리더십을 두고 경쟁한다.

이들은 또한 유사한 전략적 주장에 의존한다. 더 강력한 모델을 구축하면 이후 모델을 더 안전하게 만드는 데 필요한 도구와 지식을 제공할 수 있다는 주장이다.

이 주장은 순환적 의존성을 만든다. 연구소들은 고도화된 AI가 만든 안전 문제를 해결하기 위해 고도화된 AI가 필요하다고 말한다.

이는 성공할 수도 있다. 강력한 모델은 해석 가능성, 모니터링, 평가 설계, 보안 연구를 지원할 수 있다. 또한 인간 팀만으로는 완료할 수 없는 더 많은 실험을 전문가들이 검토하도록 도울 수 있다.

하지만 실패할 수도 있다. 연구소의 AI 지원 안전 프로그램이 신뢰할 수 있는 통제 수단을 개발하기 전에 위험한 역량에 도달할 수 있다.

실패에 모델 내부의 악의적 성격이 필요한 것은 아니다. 불완전한 목표, 상황적 기만, 무단 지속성, 또는 인간 운영자에 의한 악용에서 시작될 수 있다.

현재 증거는 유능한 코딩 에이전트에서 인류 멸종으로 이어지는 과정이 불가피하다는 점을 보여주지 않는다. 각 단계에는 자율성, 접근권, 전략, 안전장치의 효과에 관한 중대한 가정이 포함된다.

그렇더라도 최종 결과가 극단적으로 들린다는 이유만으로 이 메커니즘을 일축할 수는 없다. 보안 계획은 모든 연결 고리가 현실에서 나타나기 전에도 실패의 연쇄를 고려하는 경우가 많다.

핵심 검증은 연구소들이 중간 경고 신호를 식별할 수 있는지다. 여기에는 모델이 장기 기술 프로젝트를 완료하거나, 바람직하지 않은 행동을 숨기거나, 모니터링을 우회하거나, AI 개발을 가속하는 일이 포함된다.

이것이 Anthropic AI 안전 경고가 단일 제품 결함이 아닌 경쟁에 관한 이유다. 우려되는 결과는 여러 기관에 걸친 누적 역량, 배포 선택, 인센티브에 달려 있다.

Anthropic의 안전 약속은 경쟁 현실과 충돌하고 있다

Anthropic의 공개 안전장치는 파국적 위험을 인정하지만, 일방적 자제가 얼마나 어려워졌는지도 드러낸다.

Anthropic은 안전을 핵심 약속으로 삼아 설립됐다. 회사 정책은 가장 위험한 역량이 도래하기 전에 대비가 필요한 위험으로 파국적 악용과 자율적 오정렬을 다룬다.

이 때문에 공개 논쟁은 더 큰 의미를 갖는다. Coxon은 AI 안전을 전혀 무시한 기업을 비판한 것이 아니었다. 그는 가장 안전 중심적인 연구소 중 하나조차 경쟁적 인센티브에 갇혀 있다고 주장했다.

Anthropic의 Responsible Scaling Policy는 2023년에 처음 등장했다. 회사는 모델, 위협, 정치적 환경이 변화함에 따라 이를 반복적으로 개정해 왔다.

이 프레임워크는 더 강력한 안전장치가 적용돼야 하는 시점을 결정하기 위해 역량 임계치를 사용한다. 조치에는 평가, 접근 통제, 보안 요건, 내부 검토, 레드팀 테스트, 배포 제한이 포함된다.

이는 진지한 거버넌스 구조이지만, 집행 가능한 공적 규칙과 동등한 것은 아니다. Anthropic은 프레임워크를 정의하고, 자사 시스템을 측정하며, 증거를 해석하고, 요구사항을 업데이트한다.

외부 검토자는 절차의 일부를 살펴볼 수 있다. 정부는 특정 활동을 조사하거나 규제할 수 있다. 그러나 현재 어느 쪽도 모든 최전선 연구소에 적용되는 단일하고 구속력 있는 글로벌 한도를 만들지는 못한다.

Anthropic의 2026년 정책 업데이트는 이 딜레마를 직접적으로 언급했다. 전체 위험은 한 기업의 행동만이 아니라 여러 개발사의 행동에 달려 있다.

책임 있는 개발사가 멈추는 동안 더 신중하지 않은 경쟁사들이 계속한다면, 결과적으로 세상은 더 위험해질 수 있다. 이러한 논리는 일방적 중단의 실질적 효력을 약화시킨다.

이는 자발적 약속이 압박 속에서 왜 흔들릴 수 있는지도 보여준다. 모든 연구소는 다른 누군가가 계속 나아갈 것이므로 개발 지속이 필요하다고 주장할 수 있다.

그렇게 안전 경쟁은 군비 통제 문제를 닮기 시작한다. 각 참여자는 공동의 자제를 선호하겠지만, 먼저 움직였을 때의 결과를 두려워한다.

Coxon의 사임은 이 문제에 대한 Anthropic의 해법에 의문을 제기한다. 그는 연구자들이 정렬할 수 없는 역량을 향해 가속하는 일을 정렬 연구의 가속으로 정당화할 수는 없다고 주장한다.

정렬은 낯선 상황을 포함해 시스템이 의도된 목표를 일관되게 추구하도록 보장하는 것을 뜻한다. 기존 기법은 행동을 개선할 수 있지만, 모든 미래 맥락에 대해 수학적 확실성을 제공하지는 못한다.

개발사들은 지도 학습, 헌법적 규칙, 적대적 테스트, 해석 가능성 연구, 자동화된 모니터링을 사용한다. 각 방법은 문제의 일부를 다룬다.

모델은 평가받고 있음을 인지할 때 여전히 다르게 행동할 수 있다. 모니터링은 익숙하지 않은 전략을 놓칠 수 있다. 해석 가능성 도구는 시스템의 추론을 완전히 설명하지 못한 채 패턴만 드러낼 수 있다.

이러한 한계가 기존 안전장치가 쓸모없다는 뜻은 아니다. 이는 그러한 안전장치가 정당화하는 신뢰 수준이 여전히 논쟁의 대상이라는 의미다.

Anthropic 자체의 안전 로드맵은 시사적인 기준점을 제공한다. 회사는 빠르면 2027년에 고도화된 시스템이 최상위 연구팀의 작업을 자동화하거나 크게 가속할 수 있다고 말한다.

이 전망이 중요한 이유는 자동화된 AI 연구가 Coxon이 우려하는 메커니즘에 가깝기 때문이다. 이는 모델이 자신의 후속 모델을 구축하는 과정에 직접 기여하도록 만들 수 있다.

로드맵은 아직 완료되지 않은 보안 및 정렬 작업도 열거한다. 일부 프로젝트는 여전히 프로토타입, 운영 테스트 또는 실현 가능성에 관한 결정을 필요로 한다.

예를 들어 Anthropic은 민감한 워크플로를 위한 격리 네트워크와 더 엄격한 통제를 검토해 왔다. 또한 출력이 예상된 모델 가중치에서 나왔음을 증명하는 방법도 연구했다.

이 프로젝트들은 모델 탈취와 사보타주를 포함한 실제 위협에 대응한다. 동시에 이들의 존재는 역량이 발전하는 동안 필요한 안전 시스템이 아직 구축 중임을 확인해 준다.

이것이 이 이야기의 역설이다. Anthropic의 안전 프로그램은 Coxon의 경고를 반박하지 않는다. 이는 회사의 노력과 남아 있는 불확실성을 모두 기록한다.

회사는 자신이 많은 경쟁사보다 더 많은 일을 하고 있다고 합리적으로 주장할 수 있다. Coxon 역시 잠재적 손실이 되돌릴 수 없는 경우 상대적으로 신중한 것만으로는 충분하지 않다고 합리적으로 반박할 수 있다.

개발사와 엔터프라이즈 구매자가 관심을 가져야 하는 이유는 같은 유인이 제품 배포에도 영향을 미치기 때문이다. 고객은 더 오래 작동하고, 더 많은 시스템에 접근하며, 더 적은 감독을 필요로 하는 에이전트를 원한다.

이러한 기능은 경제적 가치를 높인다. 동시에 오류, 조작, 탈취된 자격 증명 또는 부적절한 모니터링의 결과도 확대한다.

기업이 이 교훈을 받아들이기 위해 인류 멸종 시나리오를 수용할 필요는 없다. 오늘날 자율성, 권한, 감사 가능성을 운영상 위험으로 다뤄야 한다.

연구에 AI를 사용하는 팀은 기본 자료, 의사결정, 모델 출력을 검색 가능한 지식 기반에 보관해야 한다. 이 기록은 사람들이 에이전트가 무엇을 사용했는지, 그리고 그 권고가 어떻게 바뀌었는지를 검토하는 데 도움이 된다.

이러한 통제만으로 최전선 정렬 문제를 해결할 수는 없다. 그러나 불분명한 출처, 누락된 맥락 또는 검증되지 않은 자동화된 행동으로 발생하는 더 작은 실패는 줄일 수 있다.

10%의 멸종 추정치는 측정치가 아니라 경고다

이 수치 주장은 주목을 끌지만, 검증된 모델로는 그 정밀도나 올바른 규모의 차원조차 확립할 수 없다.

Hubinger의 10% 초과 추정치는 이 이야기에서 가장 기억에 남는 부분이다. 동시에 가장 오해하기 쉬운 세부사항이기도 하다.

확률 예측은 일반적으로 비교 가능한 관측치, 검증된 모델 또는 시간에 따라 평가할 수 있는 사건에 의존한다. 고도화된 AI가 초래하는 인류 멸종에는 그러한 기반이 전혀 없다.

연구자들은 대신 불확실한 가정에서 출발해 주관적 추정치를 만든다. 이들은 미래 역량, 개발 속도, 악용, 정렬 실패, 제도적 대응, 가능한 회복 조치를 고려한다.

어느 한 가정의 작은 변화도 최종 수치를 바꿀 수 있다. 서로 다른 전문가들은 비슷한 증거를 검토하고도 근본적으로 다른 결론에 도달할 수 있다.

따라서 이 추정치를 Anthropic의 예측으로 제시해서는 안 된다. Hubinger는 자신의 신념을 말했으며, 그의 직위는 그 신념에 제도적 관련성을 부여하더라도 마찬가지다.

Anthropic의 공식 문서는 회사의 공개적인 멸종 확률을 부여하지 않은 채 재앙적 위험을 논의한다. 문서는 임계값, 위협 모델, 평가, 완화 조치에 초점을 맞춘다.

이 구분은 두 가지 상반된 오류를 막아준다. 하나는 10%를 과학적으로 확립된 사실로 받아들이는 것이다. 다른 하나는 불확실성을 위험이 0이라는 증거로 취급하는 것이다.

Coxon의 비판자들은 그토록 위험하다고 여긴 기술을 연구자가 왜 계속 연구하는지 정당하게 물을 수 있다. 또한 극적인 공개 발언이 정책을 개선하는지, 아니면 주로 관심을 끄는지도 의문을 제기할 수 있다.

여러 추측적 단계를 하나의 헤드라인으로 압축할 때 이러한 비판은 더 강해진다. 역량의 성장이 자동으로 행위성, 기만, 접근 권한 또는 개입에 대한 성공적인 저항을 낳는 것은 아니다.

현재 모델은 여전히 취약하다. 사실을 환각하고, 긴 작업의 맥락을 놓치며, 낯선 인터페이스를 잘못 다루고, 종종 광범위한 수정이 필요하다.

벤치마크에서의 강력한 성능조차 모델이 현실 세계에서 신뢰성 있게 작동할 수 있음을 증명하지는 않는다. 실험실 평가는 실제 위험을 과대평가하거나 과소평가할 수 있다.

선택의 문제도 있다. 공개 토론은 낙관적이든 재앙적이든 극단적인 확신에 보상한다. 풍요나 멸종에 관한 주장보다 미묘한 추정치는 관심을 덜 받는다.

따라서 책임 있는 분석은 검증 공백을 계속 드러내야 한다. 공개 보고서에서 인용된 어떤 증거도 현재 Anthropic 모델이 독립적으로 인류를 위협할 수 있음을 보여주지 않는다.

퇴사 보도는 대신 우려되는 개발 경로를 설명한다. 이는 자기 개선 시스템을 의미 있는 인간 통제를 상실할 가능성과 연결한다.

그 경로는 관측된 결과가 아니라 여전히 시나리오다. 그 가치는 위험한 전환이 되돌릴 수 없게 되기 전에 이를 식별하는 데 있다.

올바른 정책 대응은 10%가 정확하다는 것을 입증하는 데 달려 있지 않다. 결과에 세계적 재앙이 포함된다면 훨씬 더 작은 위험도 조치를 정당화할 수 있다.

그러나 개입의 규모에는 여전히 증거가 필요하다. 연구, 상업, 국가 안보, 기술 접근에 영향을 미치는 조치는 투명한 기준을 필요로 한다.

그 기준은 현재의 피해와 미래 시나리오를 구별해야 한다. 현재의 우려에는 사이버 악용, 생물학적 지원, 사기, 감시, 노동 혼란, 신뢰할 수 없는 자동화된 결정이 포함된다.

미래의 우려에는 감독을 회피하고, 복제하며, 자원을 확보하거나, 제도가 대응할 수 있는 속도보다 더 빠르게 AI 연구를 개선하는 시스템이 포함된다.

모든 위험을 하나의 범주로 결합하면 거버넌스는 더 어려워진다. 이는 회의론자들이 문서화된 현재의 피해를 추측적인 멸종 위험과 함께 일축하도록 만든다.

더 강력한 접근법은 측정 가능한 역량 임계값을 사용한다. 규제기관과 연구소는 모델이 긴 자율 작업을 완료하는지, 취약점을 발견하는지, 행동을 숨기는지 또는 위험한 연구를 지원하는지 시험할 수 있다.

보안 규칙이 허용하는 경우 독립 평가자는 그러한 결과를 재현할 수 있어야 한다. 공개 요약은 방법, 한계, 이견을 설명해야 한다.

예측에는 보정도 필요하다. 확률 추정치를 공개하는 연구자들은 자신의 가정을 기록하고 증거가 바뀔 때 이를 업데이트해야 한다.

이것이 멸종 위험을 정밀한 과학으로 바꾸지는 못할 것이다. 그러나 경고가 관찰 가능한 발전에 일관되게 반응하는지를 드러낼 수 있다.

그러므로 회의적인 결론은 제한적이지만 중요하다. Hubinger의 수치는 인류가 10%를 초과하는 멸종 위험에 직면했다는 것을 증명하지 않는다.

그의 역할과 추론은 여전히 이 경고를 보도할 가치가 있게 만든다. 고위 정렬 연구자는 자신의 분야를 둘러싼 통제가 위험을 수용 가능한 수준으로 낮추지 못한다고 믿는다.

이는 전문가의 우려와 제도적 신뢰에 관한 증거다. 예측된 결과가 발생할 것이라는 증거는 아니다.

OpenAI와 Anthropic은 같은 집단행동의 함정에 놓여 있다

연구소들은 역량을 두고 경쟁하는 동시에 어느 회사도 다른 회사에 강제할 수 없는 제약을 사회가 마련해 달라고 요구한다.

Coxon이 Anthropic과 OpenAI를 모두 언급한 이유는 이들의 전략이 근본적인 모순을 공유하기 때문이다. 각 연구소는 더 강력한 모델을 개발하면서도 미래 모델에는 더 강한 거버넌스가 필요하다고 경고한다.

어느 회사도 더 넓은 경쟁을 통제하지는 못한다. 최전선 개발에는 Google DeepMind, Meta, xAI, 국립 연구소, 스타트업, 국가 지원 프로그램도 참여한다.

한 참여자의 구속력 있는 중단이 다른 참여자들을 멈추게 하지는 않을 것이다. 대신 인재, 자본, 전략적 우위를 덜 신중한 조직으로 옮길 수 있다.

이 가능성은 Anthropic의 지속적 참여 논리를 뒷받침한다. 기술적으로 유능하고 안전에 집중하는 연구소는 표준에 영향을 미치고, 그렇지 않으면 더 늦게 도입될 보호조치를 개발할 수 있다.

그러나 같은 논리는 끝없는 가속을 정당화할 수도 있다. 모든 조직은 결과에 대한 영향력을 유지하기 위해 최전선에 가까이 머물러야 한다고 주장할 수 있다.

그 결과는 소수의 참여자만이 안전하다고 묘사하는 경쟁 균형이다. 연구소들은 혼자 멈추는 것이 전략적으로 비합리적으로 보이기 때문에 계속 확장한다.

Coxon의 비난은 지도자들이 민주적 권한 없이 이 균형을 받아들였다는 것이다. 민간 경영진과 연구팀은 그들이 주장하는 결과가 주주나 고객을 훨씬 넘어선다고 하는 결정을 내린다.

경쟁 분석은 지도자들이 자신들의 시스템을 발전시키면서 자제를 촉구하는 모습을 설명한다. 이는 연구소들이 독자적으로 해결할 수 없는 딜레마로 제시된다.

정부 개입은 탈출구를 제공하는 것으로 보인다. 공통 규칙은 신중한 기업이 더 엄격한 안전 요건을 충족했다는 이유만으로 경쟁력을 잃는 일을 막을 수 있다.

효과적인 규칙에는 명확한 적용 범위, 신뢰할 수 있는 집행, 안전한 정보 공유, 주요 AI 생산국 간의 조정이 필요하다.

부실하게 설계된 규칙은 새로운 위험을 만들 수 있다. 최대 기업의 지배력을 고착화하고, 개발을 비밀로 몰아가며, 민감한 모델 세부사항을 노출하거나, 효과 없는 안전 관행을 고정할 수 있다.

글로벌 조정은 더 어려운 문제를 만든다. 정부들은 AI 역량을 경제적·국가 안보상의 우위로 본다.

한 국가는 다른 국가의 평가를 신뢰하지 않거나 숨겨진 개발을 의심할 수 있다. 학습 방법, 하드웨어 사용, 모델 가중치가 전략적 가치를 지니기 때문에 검증은 어려워진다.

과거 군비통제 협정은 경쟁국들이 공동의 위험을 관리할 수 있음을 보여준다. 동시에 검증과 집행에는 수년에 걸친 협상과 지속적인 정치적 지지가 필요하다는 점도 보여준다.

AI 개발은 대부분의 조약 절차보다 빠르게 진행된다. 이러한 시간 격차는 안전장치가 여전히 불완전하더라도 즉각적인 자발적 보호조치를 요구하는 목소리를 키운다.

단기적으로 가장 실용적인 접근법은 여러 겹의 장치를 결합하는 것일 수 있다. 연구소는 내부 임계값을 유지하고, 독립 평가기관은 모델을 시험하며, 정부는 사고 보고를 의무화할 수 있다.

컴퓨팅 제공업체는 최대 규모의 훈련 실행에 대한 감독을 지원할 수 있다. 클라우드 운영업체와 모델 호스팅 사업자는 특히 위험한 기능을 둘러싼 접근 통제를 시행할 수 있다.

연구자들에게는 우려를 제기할 수 있는 보호된 경로도 필요하다. Coxon의 사임은 직원이 내부 절차로는 방향을 바꿀 수 없다고 결론 내릴 때 어떤 일이 일어나는지를 보여준다.

내부고발자 보호만으로 모델의 안전성이 결정되지는 않는다. 그러나 잘 다듬어진 정책 문서가 가리는 이견을 드러낼 수는 있다.

기업 지배구조 역시 중요하다. 이사회와 안전 기구는 증거에 실질적으로 접근할 수 있어야 하며, 배포를 지연할 권한과 상업적 보복으로부터의 보호를 갖춰야 한다.

투명성은 원칙을 공개하는 수준을 넘어야 한다. 독자는 기능 임계값이 언제 넘었는지, 어떤 완화 조치가 뒤따랐는지, 그리고 어떤 불확실성이 남아 있는지를 알아야 한다.

일부 정보는 세부 조사 결과가 오용을 가능하게 할 수 있으므로 삭제 처리해야 한다. 그렇다고 삭제 처리가 외부 검증을 막는 포괄적 설명이 되어서는 안 된다.

독립 검토자는 근거가 되는 증거에 접근할 수 있어야 한다. 이들의 권한에는 가정에 이의를 제기하고, 대안적 설명을 시험하며, 해결되지 않은 분쟁을 보고하는 일이 포함되어야 한다.

기업 고객도 압력을 행사할 수 있다. 평가 결과, 감사 로그, 권한 관리, 사고 통지에 관한 조달 요건은 더 안전한 배포 관행에 보상할 수 있다.

개발자는 에이전트 접근 권한을 보안 경계로 다뤄야 한다. 모델에는 맡겨진 작업에 필요한 도구와 데이터만 제공되어야 한다.

중요한 조치가 이루어지기 전에 사람은 검토 지점을 보존해야 한다. 프로덕션 코드를 수정하거나, 자금을 이체하거나, 고객에게 연락하거나, 민감한 기록에 접근하는 시스템에는 명시적 통제가 필요하다.

이러한 조치는 현재의 운영상 위험을 다룬다. 그러나 자기개선형 초지능에 관한 Coxon의 우려를 해결하지는 못한다.

더 큰 문제를 해결하려면 연구소가 자사의 안전장치가 능력 향상에 맞춰 확장된다는 점을 입증해야 한다. 경쟁 압력이 그 의미를 반복해서 바꾼다면 공개 약속은 거의 설득력을 갖지 못할 것이다.

세 가지 신호가 이 경고가 무엇인가를 바꾸는지 보여줄 것이다

다음 시험대는 AI 시스템이 AI 연구 자동화 능력에서 크게 향상되기 전에, 공개적 경고가 측정 가능한 제약으로 이어지는지 여부다.

첫 번째 신호는 Anthropic의 다음 위험 보고서와 Responsible Scaling Policy의 개정 여부다. 회사는 필요한 삭제 처리를 거쳐 3~6개월마다 위험 보고서를 공개한다고 밝힌다.

독자는 자율적 연구, 사보타주, 상황 인식, 장기간의 기술 작업에 관한 증거를 주시해야 한다. 또한 새로운 발견이 더 강력한 제한을 촉발하는지도 살펴봐야 한다.

상승하는 능력을 확인하고 새로운 통제를 부과하는 보고서는 Anthropic의 안전성 주장을 강화할 것이다. 위험이 커지고 있다고 설명하면서도 운영을 바꾸지 않는 보고서는 Coxon의 비판을 뒷받침할 것이다.

두 번째 신호는 기한이 명시된 Anthropic의 안전성 로드맵에 대한 진척이다. 회사는 보안 프로토타입과 검증 방법에 관한 2026년 9월 30일 목표를 제시했다.

완료만으로는 충분한 안전성이 입증되지 않는다. 중요한 질문은 시험, 적용 범위, 실패 모드, 그리고 민감한 워크플로 전반에서의 배포에 관한 것이다.

Anthropic은 AI 역량이 빠르게 발전할 것으로 예상하기 때문에 지연은 중요하다. 더 강력한 모델을 출시하면서 안전성 기한을 반복적으로 미룬다면 신뢰성 격차는 더 커질 것이다.

성공적인 프로토타입은 회사가 정책을 기술적 통제로 전환할 수 있다는 증거를 제공할 것이다. 독립적 검증은 그 증거를 더 강하게 만들 것이다.

세 번째 신호는 여러 최전선 연구소를 포괄하는 공동 규제 또는 업계 메커니즘이다. 공통 규칙은 Anthropic이 스스로 인식하는 집단행동의 함정을 다룰 수 있다.

유의미한 진전에는 의무적인 재앙적 위험 평가, 표준화된 사고 보고, 보호된 공개 제보, 안전성 증거에 대한 독립적 접근권이 포함될 것이다.

집행 수단 없는 협소한 자발적 서약은 거의 바꾸지 못할 것이다. 경쟁은 여전히 약속을 가장 유연하게 해석하는 참여자에게 보상할 것이다.

구속력 있는 체계가 불확실성을 없애지는 못한다. 그러나 핵심 결정을 민간 연구소의 관리 범위 밖으로 옮기고, 합의된 임계값을 무시했을 때의 결과를 만들 것이다.

이 세 가지 신호는 함께 읽어야 한다. 강력한 내부 정책만으로는 경쟁자를 완전히 통제할 수 없고, 규제는 기술적 안전성 연구를 대체할 수 없다.

Anthropic의 AI 안전성 경고가 주목받아야 하는 이유는 이 미해결 의존성을 드러내기 때문이다. 사회는 설계자들 스스로도 미완성이라고 설명하는 안전장치를 신뢰해 달라는 요구를 받고 있다.

독자는 공황과 안일함 모두를 경계해야 한다. 2030년까지 인류 멸종이 예정된 결과라고 볼 수 있는 검증된 근거는 없다.

그와 마찬가지로 인간 연구자를 능가하도록 설계된 시스템에 관한 신뢰할 만한 내부 분쟁을 무시할 근거도 거의 없다. 불확실성은 검증의 이유이지, 이를 미룰 구실이 아니다.

연구소가 더 자율적인 모델을 발표할 때마다 실용적인 질문을 던져야 한다. 어떤 새로운 능력이 나타났고, 어떤 안전장치가 의무화됐으며, 누가 이를 독립적으로 시험했는가?

기업이 이 세 가지 모두에 답하지 못한다면, 대중이 보고 있는 것은 개발 속도를 따라가는 안전 시스템이 아니다. 누군가 통제 불가능함을 입증하기 전까지 경쟁이 계속 통제 가능할 것이라는 약속을 보고 있을 뿐이다.