Andy Burnham의 초지능 AI 금지 요구, 프런티어 연구소에 대한 영국의 통제력 시험대에

Andy Burnham은 영국이 글로벌 AI 경쟁에 행사할 수 있는 통제력이 제한적인 상황에서, 70명 이상의 의원으로부터 인공 초지능을 금지하라는 요구에 직면했다. Andy Burnham의 초지능 AI 금지 캠페인은 Anthropic 및 OpenAI와 연관된 연구자들의 경고를 뒤따른다. 지지자들은 정부가 통제 불가능한 시스템이 등장할 때까지 법적 장벽 마련을 미뤄서는 안 된다고 말한다.

이 제안은 인공 초지능, 즉 ASI를 겨냥한다. 이는 대부분의 중요한 인지 과업에서 인간의 능력을 능가하는 가상의 시스템을 뜻한다. 공개된 모델 가운데 이 설명에 부합하는 모델은 없다. 그러나 캠페인 관계자들은 확정적 증거를 기다릴 경우 정책입안자들이 개발자들이 위험한 임계점을 넘은 뒤에야 대응하게 될 것이라고 주장한다.

이 주장은 Burnham 정부에 이례적으로 첨예한 선택을 제시한다. 경고를 금지의 근거로 받아들이거나, 평가·보안 통제·제한적 배포를 중심으로 감독 체계를 계속 구축할 수 있다. 두 번째 길은 프런티어 연구소와 유럽 규제당국이 선호하는 프레임워크와 닮아 있다. 첫 번째는 AI가 자체 개발을 가속할 수 있게 되면 그러한 안전장치가 신뢰성을 잃게 될 것이라는 전제를 둔다.

이는 단순히 챗봇의 정확성이나 저작권을 둘러싼 또 다른 분쟁이 아니다. 정부가 기존 시스템에서 측정 가능한 위험을 규제해야 하는지, 아니면 아직 입증되지 않은 역량을 금지해야 하는지를 묻는다. 그 답은 개발자, 클라우드 제공업체, 기업 구매자, 그리고 더 자율적인 AI를 계획하는 모든 조직에 영향을 미치게 된다.

인공 초지능 법안이 바꾸게 될 것

이 제안은 조건부 감독을 초지능 시스템의 개발·배포·운영에 대한 법적 경계로 대체하게 된다.

Labour 의원 Alex Sobel은 2026년 9월 8일 하원에 인공 초지능 법안을 제출했다. 법안의 정식 제목은 ASI의 개발, 배포 및 운영을 금지할 것을 요구한다. 또한 이러한 시스템과 관련한 감시 및 통제 권한도 제안한다.

의회 기록에 따르면 Sobel이 법안을 발의했다. 2차 독회는 2026년 11월 13일로 예정돼 있다. 법안은 1차 독회만 마친 상태여서, 법률이 되기까지는 아직 갈 길이 멀다.

보도된 서한에 따르면, 이후 70명 이상의 하원의원과 상원의원이 Burnham에게 이 조치를 지지해 달라고 요청했다. 서명자에는 전직 정부 장관 15명과 전직 공무원 조직 수장 Robin Butler가 포함된 것으로 전해졌다. 이들은 Labour, Conservative, Liberal Democrat, Scottish National Party 소속에 걸쳐 있다.

이처럼 폭넓은 참여는 캠페인에 정치적 주목도를 부여하지만, 의회 다수 지지를 보장하지는 않는다. 또한 법안의 핵심적인 정의 문제도 해결하지 못한다. 금지를 시행하려면 고도화된 AI 시스템이 언제 초지능이 되는지를 판단할 수 있는 집행 가능한 기준이 필요하다.

법안의 공개 설명은 금지 대상이 되는 종착점은 비교적 명확히 제시하지만, 그에 이르는 경계는 그렇지 않다. 개발자들은 일반 AI, 고도 AI, 그리고 ASI처럼 고정된 명칭 아래에서 시스템을 훈련하지 않는다. 이들은 컴퓨팅 자원, 데이터, 도구, 메모리, 외부 시스템 접근성의 조합을 바꾸며 모델을 개선한다.

모델은 일반 지능의 기준에는 미치지 못하면서도 특정 영역에서는 위험해질 수 있다. 모든 영역에서 인류를 능가하지 않더라도 사이버 작전, 생물학 연구 또는 AI 엔지니어링의 자동화를 도울 수 있다. 반대로 광범위한 역량을 갖춘 모델도 낮은 신뢰성, 제한된 접근성 또는 높은 운영비 때문에 제약을 받을 수 있다.

이러한 구분이 중요한 이유는 ASI만 겨냥한 법률이 더 협소한 시스템에서 비롯되는 심각한 위험을 놓칠 수 있기 때문이다. 반대로 광범위한 정의를 둔 법률은 지지자들이 금지할 의도가 없었던 연구와 응용 분야까지 포괄할 수 있다. 개발 감시는 민간 평가, 모델 가중치, 데이터센터, 컴퓨팅 인프라에 대한 접근 문제도 제기한다.

따라서 Sobel의 제안은 연구소의 행동을 바꾸기 전에 정책의 질문을 바꾼다. 현행 감독은 더 유능한 모델에 어떤 증거와 안전장치가 수반돼야 하는지를 묻는다. 이 법안은 어떤 안전장치 아래서도 사회가 만들기를 거부해야 할 역량 범주가 존재하는지를 묻는다.

지지자들은 Burnham이 이 원칙을 영국 밖으로 확장하기를 원한다. 이들은 영국의 2027년 G20 의장국 지위를 활용해 국제 연합을 구성할 것을 촉구했다. 국내 금지 조치는 미국, 중국 또는 다른 시장에서 운영되는 연구소를 구속하지 못하기 때문에, 이러한 외교적 목표는 필수적이다.

정부는 이미 반대 입장을 시사했다. 정부 대변인은 Guardian에 장관들이 법안의 조치가 올바른 접근법이라고 보지 않는다고 밝혔다. 대변인은 정부가 중요한 AI 관련 국가안보 위험에 대한 표적 개입을 검토하고 있다고 덧붙였다.

이 대응은 금지를 수용하지 않으면서도 더 강력한 통제의 여지를 남긴다. 또한 이 글의 핵심 갈등을 드러낸다. 의원들은 ASI가 존재하기 전에 확고한 경계를 원하지만, 정부는 식별 가능한 위험에 연계된 개입을 선호한다.

Andy Burnham의 초지능 AI 금지 요구가 지금 등장한 이유

이 캠페인이 긴급성을 얻은 이유는 경고가 외부 옹호 단체뿐 아니라 프런티어 개발과 가까운 인사들로부터도 나오고 있기 때문이다.

의원들의 개입은 현직 및 전직 AI 연구소 직원들의 공개 주장을 뒤따랐다. Anthropic의 선임 연구원 Evan Hubinger는 AI가 인류 멸종을 초래할 확률을 10% 이상으로 본 것으로 전해졌다. 이러한 추정치는 개인적 판단을 반영할 뿐, 측정된 실패율이나 과학적 합의는 아니다.

이전에 OpenAI에서 근무했던 28세 Anthropic 연구원 Jacob Coxon도 같은 주에 사임했다. 그는 어느 회사도 책임 있게 행동하지 않고 있다고 주장하며, 고도 AI를 둘러싼 경쟁을 인간의 생명을 건 도박으로 묘사했다. 이러한 주장은 어느 연구소가 ASI를 만들었거나 배포된 모델에 대한 통제력을 잃었다는 사실을 입증하지는 않는다.

그럼에도 내부자의 경고는 정치적 영향력을 갖는다. 이는 고도 연구에 접근할 수 있는 사람들이 자율적 거버넌스를 일률적으로 신뢰하지 않는다는 점을 시사한다. 또한 실존적 위험 우려가 주로 현재 기술을 오해하는 외부인에게서 나온다는 흔한 주장에도 도전한다.

Anthropic은 일반적 금지를 지지하지는 않지만, 재앙적 위험의 범주를 공개적으로 인정한다. 업데이트된 위험 프레임워크는 더 강한 역량을 더 강한 평가, 보안 및 배포 요건과 연결한다. 이 회사는 화학·생물학·사보타주·자동화 연구 위협을 다룬 위험 보고서도 공개한다.

이 프레임워크는 논쟁의 양측을 모두 보여 준다. 금지 지지자들은 이를 선도 개발사가 심각한 위험을 인정한다는 증거로 제시할 수 있다. 규제된 개발의 지지자들은 동일한 프레임워크를 역량 임계점과 단계적으로 강화되는 안전장치가 대안이 될 수 있다는 증거로 인용할 수 있다.

이 구분은 중요하다. 미래의 멸종 가능성에 관한 확률 추정치는 현재 시스템이 그러한 확률을 제시한다는 의미가 아니다. 이는 미래 역량, 개발 속도, 경쟁 행태, 안전장치, 정부 대응에 관한 가정을 결합한 것이다.

이러한 가정은 여전히 논쟁의 대상이다. Surrey Institute for People-Centred AI의 Andrew Rogoyski는 Guardian에 현재 시스템은 개인 인간이나 집단보다 훨씬 덜 다재다능하다고 말했다. 그는 고도 AI가 비싸고 충분히 유용하지 않기 때문에 경제적 실망에 직면할 수도 있다고 주장했다.

국가 지원을 받는 Sofair 연구소의 책임자인 David Barber도 가치 있는 AI 응용을 버려서는 안 된다고 경고했다. 그의 입장은 시스템 접근을 통제하고 소프트웨어 취약점을 보완하는 데 초점을 맞췄다. 이는 무제한 개발이나 포괄적 금지 중 어느 하나를 수용하기보다 실용적인 안전 접근법을 대표한다.

이 견해차는 위험을 인식하는 사람과 이를 무시하는 사람 사이의 대립이 아니다. 어떤 위험이 정책 우선순위를 받을 만한지, 어떤 증거가 제한 조치를 촉발해야 하는지에 관한 문제다. 연구자들은 자율 시스템에 더 강한 통제가 필요하다는 데 동의하면서도 ASI가 임박했는지를 두고는 의견이 다를 수 있다.

시점도 이 분쟁을 증폭시켰다. 개발자들은 도구를 사용하고, 코드를 작성하며, 연구를 수행하고, 더 긴 워크플로를 완료할 수 있는 AI 에이전트를 점점 더 언급하고 있다. 에이전트는 하나의 프롬프트에 답하는 대신 여러 단계에 걸쳐 행동하는 모델 기반 시스템이다.

더 긴 자율성은 추가적인 실패 경로를 만든다. 시스템은 목표를 잘못 해석하거나, 오류를 숨기거나, 과도한 권한을 악용하거나, 출력의 신뢰성이 낮아진 뒤에도 계속 작동할 수 있다. 이런 행동이 초지능을 입증하는 것은 아니지만, 통제 문제를 덜 추상적으로 만든다.

AI 지원 연구는 또 다른 우려를 더한다. 시스템이 AI 연구자의 생산성을 크게 높이면 개발 주기는 짧아질 수 있다. 그러면 규제당국은 다음 세대가 등장하기 전에 각 세대를 평가할 시간이 줄어들 수 있다.

Anthropic의 정책은 자동화된 AI 연구개발을 잠재적 역량 임계점으로 구체적으로 감시한다. 연구소가 더 강력한 후속 모델 개발에 기여하는 모델을 평가해야 할 때 의사결정이 더 어려워진다고 설명한다. 이 피드백 고리는 의원들이 느끼는 긴급성의 핵심이다.

따라서 Andy Burnham의 초지능 AI 금지 요구는 닫혀 가는 기회의 창이라는 인식에 대응한다. 지지자들은 AI 연구가 스스로를 가속하기 전에 규제가 도입돼야 한다고 본다. 비판자들은 예측된 가속은 여전히 불확실하며, 정의되지 않은 기술을 금지할 근거가 되어서는 안 된다고 반박한다.

진정한 대결은 금지와 조건부 개발 사이에 있다

핵심 쟁점은 극심한 불확실성이 개발 중단을 정당화하는지, 아니면 증거 변화에 따라 강화되는 통제를 구축해야 하는지다.

금지는 예방 원칙을 가장 강하게 적용한다. 시스템이 통제 불가능해질 수 있고 그 실패가 되돌릴 수 없을 수 있다면, 지지자들은 개발자가 안전성을 입증해야 할 책임을 져야 한다고 주장한다. 사회가 배포 이후 재앙을 입증해야 할 책임을 져서는 안 된다는 것이다.

조건부 개발은 이 논리를 뒤집는다. 정해진 임계점에서 평가, 보안 조치, 사고 보고, 배포 제한을 요구하면서 연구를 허용한다. 정부는 증거가 모델이 용인할 수 없는 위험을 제시함을 보일 때 개입할 수 있다.

영국의 기존 기관은 두 번째 경로를 따른다. AI Security Institute는 고도 역량을 연구하고, 평가를 수행하며, 완화책을 개발한다. 공개된 연구 의제는 사이버 위협, 화학 및 생물학적 위험, 범죄 악용, 자율 시스템을 우선순위로 둔다.

이 연구소는 단순한 자문 이상의 목적을 갖는다. 개발자가 제기하는 주장을 정부가 기술적으로 검증할 수 있는 역량을 제공한다. 또한 당국이 그럴듯한 국가안보 위협과 추측적 시나리오를 구분하도록 도울 수 있다.

그러나 평가는 접근성에 의존한다. 개발자가 출시 전 모델 제공을 거부하면 정부는 프런티어 시스템을 독립적으로 조사할 수 없다. Guardian은 Anthropic이 최근 모델을 출시 전 테스트에 제출하지 않았다는 우려를 보도했지만, 외부에 제공된 접근은 제한적이었다.

그 사건은 자발적 협력의 약점을 드러낸다. 한 연구소는 원칙적으로 안전성 연구를 지원하면서도 상업적으로 민감한 모델에 대한 접근은 제한할 수 있다. 그러면 정부 평가기관은 빠르게 변화하는 역량을 불완전하게 파악하게 된다.

금지 지지자들은 이러한 의존성이 조건부 개발에 반대하는 근거라고 본다. 감독이 개발자의 동의에 의존한다면, 규제기관은 검토가 가장 중요한 시점에 가시성을 잃을 수 있다. 경쟁 압력은 경쟁사들이 출시를 준비 중인 모델의 출시를 기업들이 지연하지 못하게 만들 수도 있다.

개발자들은 다른 문제를 본다. 이들은 널리 공유될 경우 위험을 만들 수 있는 모델 가중치, 보안 세부사항, 미공개 평가 결과를 다룬다. 출시 전 접근은 지식재산을 보호하고 민감한 역량 정보의 유출을 막아야 한다.

실효성 있는 감독 체계는 두 우려를 모두 다뤄야 한다. 신뢰할 수 있는 평가자에게는 합법적인 접근권이 필요하고, 이들이 검토하는 대상에는 엄격한 보안이 필요하다. 개발자가 필수 테스트를 거부할 때의 제재도 필요하다.

유럽연합은 조건부 규제의 구체적인 사례를 제시한다. 유럽연합의 시스템적 위험 규정은 고도 범용 모델 제공업체에 위험 평가와 완화를 요구한다. 적용 대상 제공업체는 심각한 사고를 보고하고 사이버보안 보호 조치도 유지해야 한다.

유럽 체계는 시스템적 위험을 초래하는 것으로 추정되는 모델을 식별하는 한 방법으로 훈련 컴퓨팅 규모를 활용한다. 이는 초지능이라는 개념보다 행정적으로 더 명확하다. 컴퓨팅 규모는 역량을 완벽하게 대변하지는 못하지만 문서화할 수 있다.

컴퓨팅 임계값은 더 적은 자원으로 위험한 역량을 달성하는 효율적인 모델을 놓칠 수 있다. 반대로 그에 상응하는 위험을 만들지 않는 고비용 훈련 실행을 포착할 수도 있다. 따라서 규제기관은 인프라 측정치와 함께 역량 평가도 필요로 한다.

ASI 법안은 더 절대적인 종착점을 설정할 것이다. 그러나 금지조차 중간 단계의 측정을 필요로 한다. 당국은 개발자가 금지된 시스템을 완성하거나 배포하기 전에 적용 대상 프로젝트를 식별해야 한다.

이는 결국 두 접근 모두 연구소와 컴퓨팅 인프라의 모니터링에 의존한다는 뜻이다. 차이는 규제기관이 가속되는 역량을 감지한 뒤 무엇이 일어나는지에 있다. 조건부 개발은 더 강력한 안전장치를 요구하는 반면, 금지는 특정 경계에 도달하기 전에 작업을 중단하도록 요구한다.

이 논쟁은 AI를 사용하는 일반 조직에도 영향을 미친다. 기업들은 점점 더 모델을 저장소, 재무 기록, 고객 데이터, 내부 커뮤니케이션에 연결하고 있다. 이들의 당면한 위험은 권한, 개인정보 보호, 부정확한 결과물, 신뢰할 수 없는 자동화된 조치와 관련된다.

이러한 위험은 ASI의 시간표와 관계없이 통제가 필요하다. 팀은 어떤 모델이 민감한 정보를 처리하는지, 그러한 모델이 어떤 도구에 접근할 수 있는지, 중요한 조치를 누가 검토하는지 기록해야 한다. 검색 가능한 AI 지식 베이스는 요구사항이 바뀔 때 정책, 평가, 사고 증거를 보존하는 데 도움이 될 수 있다.

그러나 기업 차원의 통제로는 입법자들의 핵심 우려를 해결할 수 없다. 기업은 자체 배포를 제한할 수 있지만, 다른 곳에서 이뤄지는 최첨단 훈련을 관리할 수는 없다. 이를 위해서는 국가 권한과 국제적 공조가 필요하다.

영국의 금지만으로는 세계적 경쟁을 멈출 수 없다

가장 강력한 반론은 재앙적 위험이 불가능하다는 것이 아니라, 국가 단위의 금지가 세계적 위험을 줄이지 못한 채 개발만 이전시킬 수 있다는 점이다.

대부분의 최첨단 모델 개발은 영국 밖에서 이뤄진다. 영국의 금지는 국내 프로젝트를 막고 현지 배포를 제한할 수 있지만, 다른 관할권의 연구소들은 더 강력한 시스템 훈련을 계속할 수 있다. 영국 사용자는 결국 해외 서비스나 공개 배포를 통해 그러한 모델에 접근할 수 있다.

지지자들도 이 한계를 알고 있다. 이들의 서한은 영국의 G20 의장국 기간에 번햄이 이 제안을 국제 캠페인으로 발전시킬 것을 요청한다. 의도된 메커니즘은 국가적 고립이 아니라 외교적 공조다.

이 전략은 군비 통제 노력과 유사하지만, AI는 뚜렷한 검증 문제를 제기한다. 핵 프로그램에는 특수 물질과 눈에 띄는 산업 시설이 필요하다. 고도 AI 역시 대규모 데이터센터와 고성능 칩을 필요로 하지만, 모델은 복제되어 국경을 넘어 운영될 수 있다.

조약에는 공통 정의, 보고 요건, 사찰 권한, 집행 수단이 필요하다. 어떤 활동을 계속 허용할지에 대한 합의도 필요하다. 의학적 발견, 방어적 사이버보안, 과학적 모델링에는 더 우려되는 시스템과 동일한 기초 연구 방법이 활용될 수 있다.

참여국들은 유인 문제에 직면하게 된다. 각 정부는 공동의 자제를 선호하면서도 경쟁국이 비밀리에 계속할 것을 우려할 수 있다. 경쟁사들이 더 강력한 제품을 약속할 때 기업도 같은 계산을 할 수 있다.

미국과 중국은 특히 중요할 것이다. 최대 규모의 컴퓨팅 제공업체, 칩 공급망, 최첨단 연구소가 빠진 연합은 영향력이 제한적일 수밖에 없다. 수출 통제는 하드웨어 접근을 늦출 수 있지만, 공통의 안전 의무를 대체할 수는 없다.

그렇다고 영국의 조치가 무의미해지는 것은 아니다. 영국은 기술 표준, 평가 관행, 조달, 자국 시장 접근에 영향을 미칠 수 있다. 또한 영국 사용자에게 서비스를 제공하는 기업에 사고 보고와 승인된 테스트 협조를 요구할 수 있다.

영국은 2023년 블레츨리 파크 AI 안전 정상회의를 통해 초기 소집 역할을 했다. 이후 AI Security Institute는 기술 전문성과 국제 관계를 발전시켜 왔다. 이러한 자산은 정부가 최첨단 모델 훈련에서 차지하는 비중만으로 예상되는 것보다 더 큰 영향력을 제공한다.

그러나 앤디 번햄의 초지능 AI 금지안은 절대적 정책 아래에서도 외교적 영향력이 유지되는지를 시험할 것이다. 일부 정부는 명확히 정의된 통제 상실 기준을 충족하는 시스템에 대한 좁은 금지에는 동참할 수 있다. 인간에 대한 광범위한 우월성으로 정의된 금지를 받아들일 정부는 더 적을 수 있다.

집행은 오픈 모델도 다뤄야 한다. 모델 가중치가 공개되면 규제기관은 모든 사본을 회수할 수 없다. 대기업의 배포에만 초점을 맞춘 금지는 분산형 운영을 그대로 남길 수 있다.

클라우드 제공업체는 집행 지점이 될 수 있다. 당국은 매우 큰 훈련 실행에 대한 보고를 요구하고 금지된 프로젝트에 대한 컴퓨팅 서비스를 제한할 수 있다. 칩 추적과 데이터센터 인허가는 추가적인 가시성을 제공할 수 있다.

이러한 통제에는 비용이 따른다. 규정 준수를 감당할 수 있는 기존 기업들 사이로 AI 개발을 집중시킬 수 있다. 소규모 연구자들은 제한적인 위험을 제시하는 작업을 하더라도 보고, 보안, 인가 요건 때문에 어려움을 겪을 수 있다.

좁은 법률은 측정 가능한 역량 임계값을 겨냥함으로써 이러한 부담을 줄일 수 있다. 광범위한 법률은 회피를 줄일 수 있지만, 지나치게 많은 대상을 포착할 위험이 있다. 법안의 진전은 세부 조항이 이러한 긴장을 해소할 수 있는지에 달려 있다.

개발을 중단하지 말아야 한다는 지정학적 논거도 있다. 일부 정책 입안자들은 고도 AI가 국방, 과학, 생산성, 정보 분석을 개선할 것이라고 본다. 이들은 일방적 자제가 안전장치가 더 약한 정부에 전략적 우위를 넘겨줄 것을 우려한다.

금지 지지자들은 군비 경쟁이 국가 안보를 줄이기보다 높인다고 반박한다. 모든 참여자가 다른 이들이 가속할 수 있다는 이유로 가속한다면, 모든 연구소는 테스트를 단축하고 불확실성을 감수해야 한다는 압박을 받는다. 각 행위자가 합리적으로 행동하더라도 그 결과는 집단적으로 위험할 수 있다.

어느 쪽도 ASI 시간표에 관한 결정적 증거를 갖고 있지 않다. 현재 공개적으로 검증된 시스템 가운데 사실상 모든 인지 작업에서 인간을 능가하는 것은 없다. 기존 모델은 여전히 환각을 일으키고, 긴 작업에서 실패하며, 광범위한 인간 및 컴퓨팅 지원을 필요로 한다.

이러한 약점이 점진적 발전을 보장하지는 않는다. 그렇다고 빠른 자기개선이 임박했다는 근거도 되지 않는다. 정책은 이 두 불확실성 사이에서 작동해야 한다.

이 때문에 국가 대 세계라는 질문은 가장 극적인 예측보다 더 중요하다. 영국의 금지는 즉시 원칙을 표명할 수 있다. 그러나 최첨단 시스템을 구축하는 여러 관할권 전반의 행동을 바꿀 때에만 세계적 위험을 줄일 수 있다.

초지능 AI 경고가 증명하지 못하는 것

심각한 경고는 조사를 정당화하지만, ASI의 존재, 멸종의 개연성, 또는 금지의 집행 가능성을 입증하지는 않는다.

10퍼센트를 넘는 것으로 보고된 확률 추정치는 눈에 띈다. 이는 반복 관찰에서 도출된 예측으로 해석해서는 안 된다. 인류에게는 경험적 멸종 빈도를 계산할 수 있는 초지능 시스템의 역사적 데이터셋이 없다.

이러한 추정치는 일반적으로 여러 불확실한 단계에 대한 전문가의 신념을 요약한다. 그 단계에는 광범위하게 초인적 역량에 도달하는 일, 신뢰할 수 있는 통제력을 잃는 일, 현실 세계에 접근권을 얻는 일, 개입에 저항하는 일, 되돌릴 수 없는 피해를 유발하는 일이 포함된다.

각 단계에는 증거가 필요하다. 모델은 전략적 자율성을 얻지 않고도 코딩 능력이 크게 향상될 수 있다. 자율 시스템은 권한, 인프라 또는 인간 검토에 의해 제한된 상태로 효과적인 계획을 세울 수 있다.

반대의 실수는 역사적 빈도가 없다는 이유로 위험을 일축하는 것이다. 정부는 잠재적 피해가 막대할 때 드문 사건에도 일상적으로 대비한다. 적절한 대응은 당국이 신뢰할 수 있는 경로와 유용한 개입 수단을 식별할 수 있는지에 달려 있다.

현재의 증거는 더 좁은 범위의 위험에 대한 우려를 뒷받침한다. 고도 모델은 사이버 작전을 지원하고, 일부 기술 지식에 대한 진입장벽을 낮추며, 연결된 도구를 통해 행동할 수 있다. 연구자들은 또한 통제된 조건에서 모델이 평가자를 속이거나 의도하지 않은 목표를 추구할 수 있는지 연구하고 있다.

실험실 테스트가 배포된 시스템이 통제를 벗어날 것임을 직접 보여주지는 않는다. 그것은 점차 현실적인 조건에서 조사가 필요한 행동을 드러낸다. 보도는 이 구분을 보존해야 한다.

이 논쟁은 현재의 피해를 간과할 위험도 있다. 자동화된 결정은 차별을 일으키고, 사적 정보를 노출하며, 설득력 있는 허위를 만들어내거나 인간의 책임성을 제거할 수 있다. 노동자와 창작자들은 이미 생성형 AI와 관련된 경제적·법적 분쟁에 직면해 있다.

미래의 멸종에 초점을 둔 정책은 이러한 문제에서 관심을 돌릴 수 있다. 반대로 현재의 피해가 저확률 재앙 시나리오를 무시하는 이유가 되어서는 안 된다. 정부는 서로 다른 위험 범주에 별도의 도구가 필요하다.

정의 역시 또 다른 불확실성을 제시한다. “초지능”은 인간을 능가하는 성능을 의미하기 때문에 정확해 보인다. 실제로 인간의 성능은 개인, 팀, 기관, 과제에 따라 다르다.

시스템은 특정 벤치마크에서 모든 개인을 능가하면서도, 조율된 전문가 조직보다는 여전히 못할 수 있다. 더 나은 계획을 제시하지만 이를 신뢰성 있게 실행하지 못할 수도 있다. 또한 기술적으로 인간을 능가하면서도 중요한 시스템에 독립적으로 접근하지 못할 수 있다.

따라서 입법자에게는 철학적 정의만이 아니라 운영적 테스트가 필요하다. 이러한 테스트는 자율 연구, 사이버 역량, 생물학적 지원, 전략적 계획, 기만, 복제, 종료 저항성을 검토할 수 있다.

테스트 자체도 조작되거나 시대에 뒤처질 수 있다. 개발자들은 일반적 신뢰성을 개선하지 않고도 알려진 벤치마크에 맞춰 훈련할 수 있다. 규제기관에는 비공개 평가, 외부 연구자, 사고 데이터, 그리고 임계값을 갱신할 권한이 필요하다.

정부의 표적 개입 입장은 여기에서 장점이 있다. 영구적인 범주를 미리 선언하지 않고도 특정 증거에 통제를 연결할 수 있다. 그 약점은 점진적 조치가 빠른 역량 향상을 따라가지 못할 수 있다는 점이다.

금지 진영은 정반대의 구도를 취한다. 이들은 위험한 경계를 넘지 말아야 한다는 명확한 추정을 세운다. 그 약점은 이 원칙을 법원, 연구실, 검사관이 적용할 수 있는 정의로 전환하는 데 있다.

이러한 불확실성은 독자가 이 캠페인을 해석하는 방식에 영향을 미쳐야 한다. 의원들은 정당한 거버넌스 문제를 한층 격상시켰다. 그러나 알려진 일정 내에 멸종 수준의 사건이 다가오고 있음을 보여주지는 못했다.

또한 기존의 자발적 안전장치가 무가치하다는 점도 입증하지 못했다. Anthropic의 정책에는 역량 임계값, 위험 보고서, 배포 통제, 보안 요건이 포함된다. 쟁점은 기업이 개발 결정에 대한 최종 권한을 유지해야 하는지 여부다.

이 구분은 기업 구매자에게 중요하다. 공개된 안전 프레임워크는 유용한 정보를 제공하지만, 독립 인증과 동일하지는 않다. 구매자는 어떤 외부 평가가 이뤄졌는지, 어떤 사건을 보고해야 하는지, 에이전트가 어떤 접근 권한을 받는지 물어야 한다.

또한 모델 지능을 하나의 점수로 취급해서는 안 된다. 신뢰성, 자율성, 보안, 도메인 역량은 서로 다른 속도로 발전한다. 벤치마크에서 뛰어난 시스템도 길고 권한이 부여된 워크플로에서는 실패할 수 있다.

회의론은 양방향에 적용되어야 한다. 개발자는 내부 통제가 재앙적 위험을 제거한다고 암시해서는 안 된다. 캠페인 활동가 역시 개인적인 확률 추정치를 ASI가 임박했다는 증거로 제시해서는 안 된다.

Burnham의 접근법이 신뢰할 만한지 보여줄 세 가지 신호

다음 시험대는 영국이 경쟁하는 경고들을 집행 가능한 정책, 측정 가능한 감독, 국제적 약속으로 전환할 수 있는지 여부다.

첫 번째 신호는 2026년 11월 13일 법안의 2차 독회다. 의원들은 금지라는 원칙을 넘어 실무적으로 적용 가능한 정의를 제시해야 한다. 토론에서는 어떤 역량이 개입을 촉발하는지, 그리고 어느 기관이 이를 판단하는지를 명확히 해야 한다.

구체적인 정의는 금지 캠페인을 강화할 것이다. 일반적 우월성에 초점을 둔 모호한 표현은 이를 약화시킬 것이다. 측정 가능한 임계값이 없다면 집행은 일관성을 잃거나 법적 도전에 취약해질 수 있다.

두 번째 신호는 정부가 약속한 표적형 국가안보 개입 조치에 관한 작업이다. 장관들은 법안의 현 접근법을 거부했지만, 더 강력한 통제의 가능성을 닫지는 않았다. 이러한 대안의 실질적 내용은 거부가 다른 안전 전략을 의미하는지, 아니면 자발적 협력에 계속 의존한다는 뜻인지를 보여줄 것이다.

신뢰할 수 있는 패키지라면 의무적 평가 접근, 사건 보고, 모델 보안, 불이행에 따른 결과를 다뤄야 한다. 또한 AI Security Institute가 프런티어 시스템에 어떻게 적시에 접근하는지도 설명해야 한다.

정부가 일반적인 보장만 제공한다면, 의원들은 조건부 개발에 집행력이 부족하다고 주장할 수 있다. 반대로 구속력 있는 접근권과 개입 권한을 제안한다면, Andy Burnham의 초지능 AI 금지안에 대한 구체적인 대안을 제시하게 될 것이다.

세 번째 신호는 2027년 G20 의장국을 위한 Burnham의 국제 의제다. 국내 금지만으로는 세계 주요 연구소에 닿을 수 없다. 정부는 금지, 규제된 개발 조약, 상호 운용 가능한 평가 기준 중 무엇을 추진할지 결정해야 한다.

주요 AI 생산국 여러 곳의 지지는 영국이 글로벌 규칙을 형성할 수 있다는 주장을 강화할 것이다. 프런티어 연구소가 없는 국가들로만 구성된 연합은 실질적 효과가 더 작을 것이다.

독자들은 정식 법안이 도입되기 전에 개발자들이 어떻게 대응하는지도 지켜봐야 한다. 연구소는 자격을 갖춘 평가자에게 통제된 접근을 제공하고, 더 명확한 역량 임계값을 공개하며, 심각한 사건을 보고할 수 있다. 거부나 일관성 부족은 의무적 감독에 대한 압력을 높일 것이다.

가장 유익한 증거는 또 다른 극적인 확률 추정치가 아닐 것이다. 그것은 관찰 가능한 행동이다. 기업들은 고도 시스템을 독립 테스트에 제출하는가? 정부는 법적 접근권을 마련하는가? 평가는 기존 안전장치를 넘어서는 역량을 발견하는가?

AI를 배포하는 조직은 규제가 하류로 확산될 것이므로 이러한 신호를 따라야 한다. 새로운 요건은 조달, 문서화, 보안 검토, 민감한 도구에 접근하는 에이전트의 사용에 영향을 줄 수 있다. 프런티어 연구소를 위해 설계된 정책은 종종 더 넓은 시장 전반의 기대에 영향을 미친다.

팀은 어떤 워크플로가 특정 모델 제공업체에 의존하는지 파악해야 한다. 평가 결과, 접근 결정, 인간 승인 규칙을 보존해야 한다. 또한 규제기관이나 개발자가 심각한 위험을 발견할 경우 서비스 사용이 제한될 상황에도 대비해야 한다.

정치적 선택은 단순히 가속이냐 공포냐의 문제가 아니다. 이는 서로 다른 입증 책임 사이의 선택이다. 금지는 개발자에게 경계를 넘는 일이 안전하고 공적으로 수용 가능하다는 점을 입증하도록 요구한다. 조건부 개발은 규제기관이 특정 시스템이 중단시킬 만큼 위험하다는 점을 입증하도록 요구한다.

이제 Burnham은 영국이 어떤 입증 책임을 채택할지 설명해야 한다. 법안을 지지한다면 영국은 국제 금지 캠페인에 합류하게 된다. 구속력 있는 대안 없이 이를 거부한다면, 자발적 연구소 거버넌스가 국가 정책의 중심에 남게 된다.

향후 3개월이면 이 선택은 더 분명해질 것이다. 11월 토론, 정부의 표적형 제안, G20 의제를 둘러싼 첫 약속을 지켜보라. 그리고 실용적인 질문을 던져야 한다. 영국은 프런티어 개발에 대한 집행 가능한 가시성을 확보했는가, 아니면 경쟁을 둘러싼 언어만 바꿨는가?