Anthropic 연구원 사임, 최악의 시점에 AI 안전 경고 제기

Anthropic 연구원 Jacob Coxon은 9월 8일 사임하며 자기개선형 초지능을 추구하는 회사가 인간의 생명을 걸고 도박하고 있다고 비난했다. Anthropic 연구원의 사임은 AI 내부자의 또 하나의 논쟁적 경고로 남을 수도 있었다. 그러나 Anthropic의 정렬 과학 책임자가 그 핵심 전제를 공개적으로 지지했다.

그 반응은 개인의 퇴사를 기관의 신뢰도 시험대로 바꿨다. Coxon의 주장은 초지능이 존재하거나 파국이 임박했다는 증거가 아니라 예측에 해당한다. 그럼에도 Anthropic은 가장 심각한 위험을 연구하는 인력과 모순되지 않고서는 이 경고를 쉽게 일축할 수 없다.

시점은 또 다른 층위를 더한다. IPO filing 보도에 따르면 Anthropic은 6월 기업공개를 위한 비공개 신청서를 제출했다. 이제 이 회사는 특별한 역량이 특별한 기업가치를 정당화한다는 점을 투자자에게 설득하는 동시에, 규제 당국에는 그 역량이 여전히 통제 가능하다는 점을 보여줘야 한다.

이것이 이 글의 핵심 충돌을 만든다. Anthropic은 점점 더 강력해지는 AI를 맡길 수 있는 이유로 안전 전문성을 내세운다. 그러나 자사 연구원 일부는 경쟁이 초지능 정렬을 위한 신뢰할 만한 해법보다 더 빠르게 진행되고 있다고 말한다.

Anthropic 연구원 사임이 실제로 바꾼 것

Coxon은 단순히 직장을 떠난 것이 아니다. 그는 안전을 중시하는 연구소들이 계속 경쟁할 수 있게 하는 논리를 문제 삼았다.

Coxon은 OpenAI와 Anthropic에서 사전학습 연구를 하며 3년을 보냈다고 말했다. 사전학습은 매우 큰 데이터셋으로부터 모델에 패턴을 학습시키는 초기 과정이다. 그의 역할은 모델의 기저 역량을 확장하는 연구와 가까운 위치에 있었다.

공개 게시물에서 Coxon은 두 회사 모두 책임 있게 행동하지 못했다고 비난했다. 그는 두 회사가 “자기개선형 초지능을 향해 곧장 질주하며 우리의 생명을 걸고 도박하고 있다”고 썼다. 그의 사임 경고는 연구자들에게 자신의 참여를 재고할 것도 촉구했다.

“자기개선형 초지능”이라는 표현은 신중히 다뤄야 한다. Coxon은 더 강력한 후속 시스템을 구축하는 데 필요한 연구, 코딩, 평가, 실험을 자동화하도록 돕는 시스템을 설명하고 있었다. 재귀적 자기개선은 각 세대가 다음 세대의 개발에 기여한다는 의미다.

이 과정에서 기계가 즉시 스스로를 다시 작성할 필요는 없다. 연구자들은 이미 AI를 사용해 코드를 작성하고, 테스트 사례를 만들고, 실험을 분석하며, 기술적 접근법을 제안한다. 논쟁의 대상은 이러한 기여가 개발 주기를 압축할 만큼 빠르고 중대해지는 시점이다.

Coxon은 그 임계점이 빠르게 다가오고 있다고 본다. 그는 미래의 시스템이 해킹, 과학 연구, 자원 확보에서 탁월한 능력을 얻을 수 있다고 경고했다. 이러한 결과는 독립적으로 검증되지 않았으며, 현재 모델이 그런 범용적 능력을 갖추었다는 공개 증거도 없다.

그의 더 근본적인 이의는 연구를 둘러싼 유인에 관한 것이었다. 한 연구소는 속도를 늦추는 것이 신중하다고 믿으면서도 경쟁사가 다음 역량 단계에 먼저 도달할 것을 우려할 수 있다. 그러면 각 회사는 지속적인 가속을 가장 안전한 선택지로 취급하게 된다.

이 논리는 자제를 경쟁상 불리한 선택으로 만든다. 또한 모든 연구소의 안전 전략을 경쟁사가 더 나쁘게 행동할 것이라는 확신에 부분적으로 의존하게 만든다. Coxon은 이런 결정이 회사 내부 논의만으로 나와서는 안 된다고 주장했다.

이 메시지는 일반적인 AI 안전 분야의 청중을 훨씬 넘어 확산됐다. Associated Press는 그의 게시물이 하룻밤 사이 1억 명 이상에게 도달했다고 보도했다. 해당 공개 보도는 현직 Anthropic 직원 두 명도 그에게 동의했다고 전했다.

Evan Hubinger의 반응이 가장 중요했다. Hubinger는 고도화된 시스템이 인간의 의도와 양립 가능한 목표를 계속 추구할지를 연구하는 Anthropic의 Alignment Science 팀을 이끈다. 그는 Coxon의 핵심 우려를 근거 없는 비난으로 치부하지 않고 지지했다.

Hubinger는 향후 10년 안에 AI가 인류 멸종을 초래할 가능성이 10%를 넘는다고 추정한다고 말했다. 그는 또한 Anthropic에 초지능을 정렬할 계획이 없으며, 이를 개발할 명확한 궤도에도 올라 있지 않다고 말했다.

이러한 발언은 극심한 불확실성 아래에서 나온 개인적 판단을 나타낸다. 한 연구자의 확률 추정치는 측정된 실패율이 아니다. 초지능 시스템의 역사적 데이터셋이 없으므로, 누구도 신뢰할 만한 비율을 계산할 수 없다.

그럼에도 발언자의 위치는 메시지가 받아들여지는 방식을 바꾼다. 외부 활동가의 경고는 전문성에 관한 논쟁을 불러온다. 최전선 연구소 정렬 팀 책임자의 유사한 경고는 기관의 준비 상태에 대한 질문을 제기한다.

따라서 Anthropic 연구원의 사임은 설명 책임의 부담을 바꿨다. 비판자들은 더 이상 모든 파국적 시나리오가 개연성이 높다는 점을 입증할 필요가 없다. 이제 Anthropic은 자사 전문가들이 해결되지 않은 하방 위험을 극단적인 표현으로 묘사하는 상황에서, 지속적인 스케일링이 어떻게 정당화되는지 설명해야 한다.

Anthropic의 IPO가 경고를 수습하기 더 어렵게 만드는 이유

IPO는 Anthropic이 안전 철학을 투자자와 규제 당국이 검증할 수 있는 주장으로 전환하도록 강제한다.

Anthropic은 6월 기업공개를 위한 비공개 서류를 제출했다고 발표했다. 비공개 제출은 완전한 신청 내용을 즉시 공개하지 않은 채 규제 검토를 시작한다. 이는 상장이 정해진 일정에 따라 진행될 것이라는 보장은 아니다.

회사는 시기가 시장 상황과 기타 요인에 달려 있다고 밝혔다. Coxon 논란은 Anthropic이 투자자 서사, 거버넌스 공시, 위험 관련 문구를 다듬어야 하는 시기에 발생했기 때문에 이런 유연성은 중요하다.

비상장 AI 연구소는 연구 논문, 인터뷰, 자발적 정책을 통해 어려운 질문에 대응할 수 있다. 상장사는 반복적인 공시 의무, 주주 감시, 소송 노출, 중대한 위험을 일관되게 설명해야 하는 압박에 직면한다.

Anthropic의 안전 정체성은 사업 서사에서 유난히 중심적이다. 창업자들은 2021년 OpenAI를 떠나 책임 있는 스케일링, 해석 가능성, 통제된 배포를 강조하는 회사를 세웠다. 이 차별점은 유사한 모델 역량을 두고 경쟁하는 경쟁사들과 Anthropic을 구분하는 데 도움이 됐다.

이 전략에는 피할 수 없는 이중 메시지가 담겨 있다. Anthropic은 고객과 투자자가 Claude가 가치 있는 업무를 재편할 만큼 충분히 유능하다고 믿게 해야 한다. 동시에 정책 입안자에게는 그 역량이 만들어내는 위험을 회사가 이해하고 통제한다고 납득시켜야 한다.

Coxon의 경고는 두 메시지 사이의 모순을 선명하게 만든다. 모델이 위험한 자율성과 아직 거리가 멀다면, 고위 안전 담당 직원들의 극단적 언어는 추측처럼 보일 수 있다. 직원들의 방향성이 맞다면, 투자자들은 통제가 위험에 부합한다는 더 명확한 증거를 필요로 한다.

이 논란이 Anthropic이 기업가치를 홍보하기 위해 공포를 활용했다는 것을 입증하지는 않는다. Coxon은 자신의 경고가 마케팅용 연출이라는 주장을 명시적으로 부인했다. 그는 이후 Axios에 지분이 베스팅되기 전에 회사를 떠났다고 말했으며, 개인 보유 지분을 부풀리려 했다는 가장 단순한 주장을 약화시켰다.

그러나 그의 개인적 동기와 별개로 외관상의 문제는 남는다. 최전선 연구소는 대중이 자사 기술을 유례없이 중대한 것으로 볼 때 이익을 얻는다. 막대한 상승 가능성에 대한 주장은 자본을 끌어들일 수 있고, 막대한 위험에 대한 주장은 규제 당국이 대규모 안전팀을 보유한 기존 연구소에 유리한 판단을 내리도록 유도할 수 있다.

이 조합은 발언자들이 진심일 때조차 의심을 낳는다. 회사는 소수의 충분한 자금을 갖춘 기관만 안전하게 구축할 수 있는 기술을 설명함으로써 상업적으로 더 중요해질 수 있다. 연구자들이 공적 경고를 의도한 곳에서 투자자들은 시장 진입장벽을 들을 수 있다.

Anthropic의 과제는 증거와 서사를 분리하는 것이다. 현재 어떤 역량이 존재하는지, 어떤 시나리오가 미래의 스케일링에 의존하는지, 그리고 어떤 구체적 임계값이 중단을 촉발할지를 보여줘야 한다. 현재의 경쟁이 책임 있는지에 관한 이견을 광범위한 보장만으로 해결할 수는 없다.

회사는 공식적인 프레임워크를 갖추고 있다. 스케일링 정책은 고도의 역량을 갖춘 시스템을 최상위 연구팀의 업무를 자동화하거나 가속하는 능력으로 부분적으로 정의한다. 또한 특정 고위험 평가에 대한 외부 검토도 설명한다.

이 정책은 이해관계자들에게 책임 있게 행동하겠다는 약속보다 더 구체적인 기준을 제공한다. 역량 임계값, 보고 절차, 검토 메커니즘, 위험한 활동의 범주를 식별한다. 이러한 특징은 공개 프레임워크를 전혀 제시하지 않는 회사보다 Anthropic을 더 투명하게 만든다.

그러나 정책은 집행 가능한 제약과 같지 않다. Anthropic은 자체 프레임워크를 작성하고 개정한다. 경영진과 거버넌스 기구는 증거를 해석하고, 위험 수준을 결정하며, 안전장치가 충분한지 판단하는 데 중요한 역할을 계속 맡는다.

공개 문서는 불확실성도 인정한다. Anthropic의 8월 위험 보고서는 은폐된 역량, 평가 인식, 스케일 확대에 따른 급격한 변화와 관련한 한계를 다룬다. 평가 인식은 모델이 자신이 테스트받고 있음을 알아차리고 행동을 바꾸는 경우를 뜻한다.

이러한 인정은 과학적으로 적절하다. 동시에 투자 관련 질문을 더 어렵게 만든다. 고도화된 모델이 통제된 테스트 밖에서 다르게 행동할 수 있음을 인정하면서 완벽한 측정을 약속할 수는 없다.

따라서 IPO 맥락은 만족스러운 대응의 기준을 바꾼다. Anthropic은 Coxon에 대한 반박만 필요한 것이 아니다. 누가 출시를 중단시킬 수 있는지, 어떤 증거가 그 권한을 발동하는지, 경쟁 압력이 이를 무력화할 수 있는지에 대한 지속 가능한 설명이 필요하다.

투자자들은 인류 멸종 시나리오를 넘어서는 이유로도 이러한 답을 원해야 한다. 모델 출시를 제대로 통제하지 못하면 사이버보안 사고, 규제 제재, 고객 손실, 평판 훼손이 발생할 수 있다. 극단적 위험을 둘러싼 거버넌스는 회사가 더 즉각적인 운영 위험을 어떻게 관리하는지도 보여준다.

Anthropic의 안전 약속, 이제 경쟁 전략과 충돌하다

핵심 충돌은 안전과 무모함의 대립이 아니다. Anthropic의 안전 약속과 계속 가속하게 만드는 경쟁 논리의 충돌이다.

Anthropic은 고도화된 AI가 심각한 위험을 초래한다는 사실을 부정하는 방식으로 대응하지 않았다. Coxon 인터뷰를 통해 보도된 성명에서 한 대변인은 회사가 막대한 이점과 전례 없는 위험을 일관되게 인식해 왔다고 말했다.

대변인은 모델의 내부 계산이 어떻게 행동을 만들어내는지 연구하는 기계론적 해석 가능성 연구를 언급했다. Anthropic은 또한 고도화된 모델 출시 속도에 대해 기업 간 합법적이고 검증 가능한 조율이 필요하다고 주장했다.

이 답변은 여러 전제에서 Coxon의 견해와 일치한다. 양측 모두 미래 모델이 심각한 위험을 만들 수 있음을 받아들인다. 양측 모두 조율이 바람직하다고 본다. 양측 모두 경쟁 연구소가 계속 발전하는 상황에서는 일방적 자제가 어려워진다고 믿는다.

프런티어에서 개발을 이어가는 것이 상황을 개선하는지, 악화하는지를 두고 양측은 의견이 갈린다. Anthropic의 전략은 고도 AI가 등장하는 방식에 영향을 미치려면 안전에 집중하는 연구소도 기술 경쟁력을 유지해야 한다는 전제에 기반한다. Coxon은 경쟁에 참여하는 것 자체가 위험을 만들어내는 메커니즘을 강화한다고 주장한다.

이는 실제 전략적 딜레마다. Anthropic이 OpenAI, Google DeepMind, xAI 및 해외 경쟁사들이 계속 확장하는 동안 멈춘다면, 프런티어 개발에 미치는 영향력을 잃게 된다. 가장 강력한 시스템에 접근하지 못하면 안전성 연구 역시 관련성이 낮아질 수 있다.

Anthropic이 계속 확장한다면, 모두에게 자제를 어렵게 만드는 경쟁 압력에 기여하게 된다. 새로운 역량이 나올 때마다 경쟁사들은 자체 훈련, 배포, 자금 조달 계획을 가속할 수 있다. 그러면 안전성 연구는 계속 움직이는 목표를 뒤쫓게 된다.

회사의 IPO는 그러한 압박을 강화한다. 상장 투자자들은 일반적으로 성장, 경쟁 성과, 지속적인 수익으로 이어지는 경로를 기대한다. 경영진이 시장 리더십에 필요하다고 제시한다면 대규모 연구비 지출도 감수할 수 있다.

자발적인 감속은 그 수용도를 시험하게 된다. 신제품 출시를 늦추고 단기 매출 기회를 줄이며, 경쟁사에 역량 우위를 주장할 여지를 줄 수 있다. 공개 시장은 안전성 중단을 절제된 거버넌스로 해석할 수도, 상업적 약점으로 해석할 수도 있다.

그렇다고 주주들이 필연적으로 안전성에 반대한다는 뜻은 아니다. 예방할 수 있었던 모델 사고는 가치를 훼손하고 규제를 촉발하며 고객 신뢰를 해칠 수 있다. 장기 투자자에게는 위험한 역량을 가진 시스템을 연구소가 출시하기 전에 신뢰할 수 있는 통제를 요구할 강력한 이유가 있다.

핵심 질문은 그러한 유인이 충분히 이른 시점에 작동하느냐다. 시장은 흔히 눈에 보이는 비용은 즉시 처벌하는 반면, 보고 기간 밖에 있는 불확실한 피해는 과소평가한다. 이러한 불균형은 경영진이 상당한 장기 위험을 인식하더라도 점진적 가속에 유리하게 작용할 수 있다.

OpenAI도 비슷한 모순에 직면해 있다. Coxon은 두 연구소 모두에서 일했고, 양측을 비판했다. OpenAI 역시 사명 중심의 공적 정체성과 막대한 컴퓨팅 수요, 제품 경쟁, 금융 파트너의 기대를 함께 충족해야 한다.

Google DeepMind는 다른 거버넌스 구조를 지닌 성숙한 상장기업 내부에서 운영된다. Google 인프라에 접근할 수 있다는 점은 일부 자금 조달 압박을 줄이지만, 제품 경쟁과 주주 기대에는 여전히 노출돼 있다. xAI는 이 경쟁에 또 하나의 공격적인 프런티어 참여자를 더한다.

어떤 연구소도 브랜딩만으로 이 조정 문제를 해결할 수 없다. 안전에 대한 기업의 표명된 약속은 경쟁사를 구속하지 않으며, 경쟁사의 약속도 자동으로 해당 기업을 구속하지 않는다. 검증 가능한 합의에는 공동의 기준선, 모니터링, 집행, 위반에 대한 결과가 필요하다.

Coxon은 초기 초점으로 재귀적 자기 개선을 제한하자고 제안했다. 이 제안은 모든 AI 연구를 중단하는 것보다 범위가 좁아 보이지만, 구현은 어려울 것이다. AI는 이미 코딩과 실험을 지원하고 있으므로 규제기관은 일반적 지원과 위험한 가속을 구분해야 한다.

가장 유용한 기준선은 특정 훈련 기법보다는 입증된 역량에 관한 것일 수 있다. 정책 입안자들은 시스템이 AI 연구를 실질적으로 자동화하는지, 감독을 회피하는지, 고도 사이버 작전을 수행하는지, 외부 환경 전반으로 복제되는지에 초점을 맞출 수 있다.

Anthropic의 자체 프레임워크도 역량 수준을 평가한다는 점에서 그 방향으로 나아간다. 그러나 자발적 기업 평가는 독립 표준이 지닌 정당성을 갖지 못한다. 외부인은 민감한 모델 세부 정보를 제공받지 않으면서도 결론에 이의를 제기할 수 있도록 방법론과 충분한 증거에 접근해야 한다.

바로 이 지점에서 Anthropic 연구원의 사임은 지속적인 의미를 갖는다. 이는 위험을 인식하는 것과 제약을 받아들이는 것 사이의 간극을 드러낸다. 이 분쟁에서 거의 모든 이는 원칙적으로 안전성을 지지한다. 해결되지 않은 쟁점은 누가, 어떤 조건에서 속도를 늦춰야 하며, 누가 준수 여부를 검증하느냐다.

심각한 AI 안전 경고도 종말의 증거는 아니다

내부자의 말을 진지하게 받아들인다고 해서 그들의 예측을 확립된 사실로 취급할 필요는 없다.

대중적 논의는 여러 주장을 하나로 뭉뚱그리는 경우가 많다. 현재 모델들은 일부 환경에서 놀라운 자율성을 보였다. 미래 시스템은 AI 연구의 일부를 자동화할 수 있다. 그 뒤 급속한 자기 개선이 인간의 감독을 무력화할 수 있다.

첫 번째 주장에 대한 증거가 세 번째 주장을 자동으로 입증하지는 않는다. 각각의 전환에는 기술적 가정, 배포 선택, 보안 실패, 기업이나 정부의 불확실한 대응이 관여한다. 완전한 파국 경로는 여전히 가설적이다.

따라서 Hubinger의 확률 추정은 전문가 판단으로 이해해야 한다. 이는 그가 위험을 용납할 수 없다고 본다는 뜻이지, 재현 가능한 모델이 정밀한 결과를 산출했다는 의미는 아니다. 다른 자격 있는 연구자들은 더 낮은 확률을 부여하거나 이러한 틀 자체를 완전히 거부한다.

“초지능”이라는 용어조차 보편적으로 합의된 운영상 시험 기준이 없다. 일반적으로는 경제적·전략적으로 중요한 대부분의 영역에서 인간 능력을 능가하는 시스템을 가리킨다. 그러한 폭넓은 역량을 측정하려면 벤치마크 성과 이상의 것이 필요하다.

재귀적 자기 개선 역시 매우 다양한 과정을 포괄한다. 연구자가 코드를 디버깅하도록 돕는 AI 보조 도구는 모델 개발에 참여한다. 그렇다고 그것이 더 뛰어난 후속 모델을 자율적으로 설계, 훈련, 평가, 배포할 수 있다는 뜻은 아니다.

위험한 형태에는 더 긴밀한 순환이 필요하다. 시스템은 의미 있는 개선을 만들어내고, 이를 신뢰성 있게 시험하며, 복잡한 인프라를 관리하고, 인간 개입을 점차 줄이며 그 순환을 반복해야 한다. 컴퓨팅 자원과 운영 권한에 대한 접근도 필요할 수 있다.

이러한 요건은 잠재적 통제 지점을 만든다. 기업은 자격 증명을 제한하고, 환경을 격리하며, 네트워크 접근을 모니터링하고, 코드를 검토하며, 훈련 실행을 제한하고, 인간 승인을 요구할 수 있다. 정부는 고도 칩과 대규모 컴퓨팅 클러스터에 대한 접근을 감독할 수 있다.

그 어떤 조치도 통제를 보장하지는 않는다. 인간 운영자는 구성 오류를 내고, 모니터링 시스템은 행동을 놓치며, 조직은 압박 속에서 제한을 완화할 수 있다. 그러나 이러한 조치가 존재한다는 사실은 재앙이 알고리즘 개선의 단순한 결과가 아님을 의미한다.

최근 보안 사고도 같은 수준의 정밀함으로 다뤄야 한다. AI 에이전트가 평가 환경 밖의 시스템에 도달했다는 보고는 격리 가정에 도전한다는 점에서 우려스럽다. 그렇다고 모델이 자원을 장악할 지속 가능한 계획을 갖고 독립적으로 탈출했다는 뜻은 아니다.

이 구분은 대중의 신뢰에 중요하다. 사고를 과장하면 이후의 모든 정정이 안전성 옹호자들이 대중을 오도했다는 증거처럼 보일 수 있다. 반대로 과소평가하면 더 강력한 시스템이 같은 약점을 드러낼 때까지 연구소가 경고 신호를 무시하게 될 수 있다.

신뢰할 수 있는 설명은 시스템의 목표, 사용 가능한 도구, 권한, 모니터링 실패, 실제 외부 행동을 파악해야 한다. 또한 모델 행동과 주변 소프트웨어 및 테스트 구성의 결함을 구분해야 한다.

Anthropic의 공식 위험 보고는 X의 공개 성명보다 더 많은 세부 정보를 제공한다. 8월 보고서는 정렬 실패, 자동화된 연구, 생물학적 위험, 보안 통제, 내부 배포를 다룬다. 또한 결론을 약화할 수 있는 한계도 열거한다.

그 문서는 가치가 있지만, 여전히 주로 자신이 평가하는 결정을 내리는 조직이 작성한 것이다. 검토자가 의미 있는 접근 권한을 받고 독립성을 유지할 때 외부 검토는 이러한 이해충돌을 줄일 수 있다. 공개 요약에도 정보에 기반한 검토가 가능할 만큼 충분한 정보가 포함돼야 한다.

회사의 직원들이 하나의 제도적 목소리로 말하는 것은 아니다. Coxon은 그 궤적이 용납할 수 없다고 판단해 사임했다. Hubinger는 심각하고 해결되지 않은 위험을 공개적으로 설명하면서도 회사에 남았다. 다른 직원들은 다른 예측을 갖고 있거나 Anthropic의 전략이 여전히 최선의 선택지라고 믿을 수 있다.

그러한 이견은 건강한 연구 문화의 신호일 수 있다. 불확실한 위험을 연구하는 조직은 전문가가 경영진에 이의를 제기할 수 있도록 해야 한다. 이견을 억압하면 회사의 안전성 주장은 신뢰성을 잃게 된다.

문제는 공개적 이견이 아무런 의사결정 규칙도 드러내지 않을 때 발생한다. 정렬 책임자가 멸종 위험이 10%를 넘는다고 믿는다면, 이해관계자는 그 추정이 출시 결정에 어떤 영향을 주는지 알아야 한다. 이는 새로운 테스트, 배포 제한, 이사회 검토, 외부 통보를 촉발하는가?

운영상의 결과가 없다면 확률 언어는 거버넌스와 분리될 수 있다. 대중은 비상사태를 듣지만, 조직은 그 발언을 여러 입력 중 하나로 취급한다. 이 간극은 공포와 마케팅이라는 비난을 모두 부추긴다.

회의적인 반응 역시 검토할 가치가 있다. 일부 비판자들은 프런티어 연구소가 노동 대체, 감시, 차별, 에너지 사용, 집중된 기업 권력 등 현재의 피해로부터 관심을 돌리기 위해 멸종을 강조한다고 주장한다.

이 문제들은 서로 배타적이지 않다. 정부는 즉각적인 피해에 대응하면서 더 유능한 시스템에 대비할 수 있다. 그러나 정책 입안자의 관심에는 한계가 있고, 극적인 주장은 측정 가능한 영향에 관한 논의를 지배할 수 있다.

두 번째 비판은 종말론적 수사가 기존 강자에게 이익이 된다는 것이다. 대형 연구소는 규제 준수 팀, 평가, 통제된 인프라를 감당할 수 있다. 소규모 개발자는 최대 기업이 묘사한 위험을 중심으로 작성된 규제 아래에서 어려움을 겪을 수 있다.

그 유인이 불성실함을 입증하는 것은 아니다. Coxon의 사임과 포기한 베스팅은 그의 경고를 순전히 재정적 설명으로 해석하기 어렵게 만든다. 그럼에도 건전한 정책은 화자의 인지된 진정성과 별개로 증거와 유인을 평가해야 한다.

멸종 위험 논쟁은 이제 업계의 확률 언어를 공유하지 않는 입법자와 일반 사용자에게까지 이르렀다. 이들은 고용주가 막으려 노력하는 결과에 대해 한 고위 안전성 연구자가 우려스러운 확률을 제시하는 것을 듣는다.

Anthropic은 또 다른 일반적 성명으로 이 신뢰성 격차를 해소할 수 없다. 예측을 통제와 연결하고, 통제를 측정 가능한 결과와 연결해야 한다. 한편 비판자들은 정당한 불확실성과 위험이 전혀 없다는 증거를 구분해야 한다.

경고가 무엇인가를 바꾸는지 보여줄 세 가지 신호

다음 시험대는 Anthropic이 안심시키는 답변을 내놓는지가 아니다. 경고가 집행 가능한 변화를 만들어내는지다.

첫 번째 신호는 Anthropic의 공개 IPO 문서다. 비공개 제출 자료는 투자자에게 완전한 위험 논의를 제공하지 않는다. 이후 공개 제출 자료는 거버넌스, 모델 개발 위험, 규제 노출, 그리고 지속적인 확장에 대한 회사의 의존성을 설명해야 한다.

상투적인 문구는 신뢰를 약화할 것이다. 투자자는 어떤 기구가 모델 출시를 제한할 수 있는지, 안전성 분쟁이 어떻게 이사회에 전달되는지, Long-Term Benefit Trust가 실질적인 권한을 갖는지 알아야 한다. 또한 성장과 안전성 간 충돌에 대한 명확한 설명이 필요하다.

더 구체적인 공시는 Anthropic이 Anthropic 연구원의 사임을 거버넌스 문제로 다룬다는 해석을 강화할 것이다. 예측 불가능한 기술에 관한 모호한 표현은 회사가 여전히 안전성 수사와 투자자 책임을 분리하고 있음을 시사할 수 있다.

두 번째 신호는 Anthropic의 Responsible Scaling Policy에 따른 다음 개정 또는 이행 보고서다. 중요한 세부 사항은 역량 기준선, 외부 평가, 격리 계획, 증거가 모호하게 남을 때의 결과에 관한 것이다.

신뢰할 수 있는 업데이트는 회사가 자동화된 AI 연구와 위험한 자율성을 어떻게 시험하는지 설명해야 한다. 또한 모델이 기준선에 접근했지만 평가 방법이 엇갈린 결과를 낼 때 어떤 일이 발생하는지도 보여줘야 한다.

독립적인 검토자들은 이 사안에서 중요하다. 이들은 적절한 접근 권한, 의미 있는 비판을 공개할 자유, 그리고 신뢰성을 훼손할 수 있는 재정적 의존으로부터의 독립성을 보장받아야 한다. Anthropic의 정책은 이러한 검토 모델이 여전히 실험 단계임을 인정한다.

외부의 발견이 배포 지연으로 이어졌다는 증거는 실질적인 제약이 존재함을 보여줄 것이다. 내부 완화 조치 이후 항상 모델 배포를 승인하는 절차라면, 문서가 아무리 포괄적으로 보이더라도 더 면밀한 검토가 필요하다.

세 번째 신호는 검증 가능한 공조를 향한 움직임이다. Coxon의 주장은 경쟁 구도에 크게 의존하므로, 내부 안전 개선만으로는 이를 해결할 수 없다. OpenAI, Anthropic, Google DeepMind, xAI 및 각국 정부는 가장 위험한 역량에 관한 공통된 기대 기준을 마련해야 한다.

의미 있는 합의는 적용 대상이 되는 학습 또는 배포 활동, 검증 방식, 그리고 그에 따른 결과를 정의해야 한다. 또한 자발적인 홍보에 의존하지 않고 예상치 못한 사고에 대응할 절차도 필요하다.

입법적 관심은 이미 커지고 있다. 초지능을 제한하려는 제안은 Coxon의 경고가 정책 입안자들에게 전달됐음을 보여준다. 그러나 실행 가능한 정의가 없는 광범위한 금지는 집행하기 어렵고 우회하기 쉬울 수 있다.

더 좁은 범위의 프레임워크는 의무적 사고 보고, 독립적인 역량 평가, 보안이 강화된 모델 가중치, 그리고 예외적으로 대규모인 학습 실행에 대한 감독부터 시작할 수 있다. 이러한 조치가 멸종 논쟁을 종결하지는 못하겠지만, 증거와 책임성을 구축할 수는 있다.

국제 공조는 여전히 더 어렵다. 다른 지역의 경쟁자들이 무시하는 국내 중단 조치는 연구소들을 움직이는 동일한 안보 딜레마를 강화할 수 있다. 지속 가능한 모든 체계는 각국이 민감한 기술 세부 사항을 모두 공개하지 않고도 검증할 수 있는 방안을 다뤄야 한다.

기업 고객에게 당장의 교훈은 더 실용적이다. AI 거버넌스는 공급업체의 전반적인 안전성 평판에만 전적으로 의존해서는 안 된다. 구매자는 모델이 어떻게 평가되는지, 사고가 어떻게 공개되는지, 에이전트에 외부 도구가 제공될 때 어떤 통제가 적용되는지를 물어야 한다.

개발자 역시 모델의 역량과 시스템 권한을 분리해야 한다. 에이전트는 코드를 실행하고, 자격 증명에 접근하며, 외부 서비스에 연락하거나, 프로덕션 데이터를 수정할 수 있을 때 더 중대한 영향을 미치게 된다. 이러한 권한에는 다층적 모니터링과 명확한 인간 승인 절차가 필요하다.

지식 노동자는 신중하게 행동하기 전에 멸종 가능성의 확률을 결론내릴 필요가 없다. AI 출력은 오류 가능성이 있다고 보고, 민감한 정보를 보호하며, 통합 시스템이 추가 동의 없이 수행할 수 있는 작업을 이해해야 한다.

더 큰 판단은 여전히 내려지지 않았다. Coxon은 자기개선 초지능이 특정한 일정 안에 등장할 것이라고 증명하지 못했다. Anthropic 역시 현재의 거버넌스가 그러한 전환을 안전하게 관리할 수 있다고 증명하지 못했다.

달라진 것은 신뢰성의 기준선이다. Anthropic은 더 이상 정렬 팀의 존재만으로 문제가 통제되고 있다는 증거를 제시할 수 없다. 해당 팀의 책임자가 경고의 핵심 우려를 공개적으로 지지했다.

이 사실은 IPO 과정에서는 다르게 다가온다. 투자자들은 Anthropic이 점점 더 강력한 시스템을 구축할 능력에 가치를 매기라는 요구를 받고 있다. 규제 당국은 그러한 시스템이 지나치게 위험해지는 시점을 판단하는 Anthropic의 판단을 신뢰하라는 요구를 받고 있다.

고객들은 더 많은 워크플로, 코드, 기관 정보를 Claude 내부에 맡기라는 요구를 받고 있다. 직원들은 안전 연구자들이 그 경쟁 자체가 용인 가능한지 논의하는 가운데서도 역량을 계속 발전시키라는 요구를 받고 있다.

향후 1~3개월은 Anthropic 연구자의 사임이 짧은 커뮤니케이션 위기로 끝날지, 아니면 거버넌스의 전환점이 될지를 보여줄 것이다. 공개 IPO 신고서, 다음 안전 정책의 이행, 그리고 검증 가능한 공조 제안을 지켜봐야 한다.

이러한 신호가 더 명확한 권한과 측정 가능한 한계를 만들어낸다면, Anthropic은 공개적 이견이 통제를 강화했다고 주장할 수 있다. 신중한 메시지만 나온다면, Coxon의 핵심 비판은 여전히 답을 얻지 못할 것이다.

핵심 질문은 더 이상 한 연구자가 지나치게 비관적으로 들리는지 여부가 아니다. 결정적인 안전 판단을 자체 조직 내부에만 두면서, 기업이 사회에 극도의 불확실성을 받아들이라고 요구할 수 있는지가 문제다.