Future of Life Institute AI 캠페인, 워싱턴에 멸종 위험 의제 밀어 넣다

9월 17일

14분 분량

Future of Life Institute AI 캠페인은 고도화된 AI가 인류의 생존을 위협하는지를 두고 격렬한 이견이 이어지는 가운데, 한때 주변부에 머물던 경고를 의회로 끌어들였다. 9월 15일 이 단체는 버니 샌더스 상원의원과 트럼프 전 고문 스티브 배넌을 워싱턴의 같은 무대에 세웠다. 두 사람은 정치적 입장과 선호하는 해법은 크게 달랐지만, 모두 AI에 대한 인간의 통제 강화를 요구했다.

이 이례적인 조합은 캠페인의 핵심 성과를 보여줬다. 활동가들은 도널드 트럼프 대통령이 개발 속도 조절 요구를 일축하는 상황에서도, 정당을 초월해 AI 멸종 위험을 논의 가능한 의제로 만들었다. 워싱턴의 질문은 더 이상 인공지능이 해를 끼칠 수 있는지에만 국한되지 않는다. 의원들은 최첨단 시스템, 즉 현재 개발 중인 가장 강력한 모델이 그 개발자들이 실질적 감독 권한을 잃기 전에 통제를 받아야 하는지를 검토하라는 압박을 받고 있다.

이 변화는 수년간의 조직 활동, 기부, 비공개 브리핑, 공개 서한, 의회 사무실과의 만남에 뒤따랐다. 또한 업계의 갑작스러운 균열과도 맞물렸다. Anthropic CEO 다리오 아모데이는 기업들이 최첨단 개발 속도를 조절해야 한다고 촉구했고, OpenAI의 샘 올트먼과 일론 머스크도 그 주장 일부를 지지했다. Meta CEO 마크 저커버그와 Nvidia CEO 젠슨 황은 새롭게 부상하는 개발 둔화 서사에 반발했다.

그 결과는 확정된 정책 프로그램이 아니다. 이는 증거가 나오기 전에 예방 조치를 원한 옹호자들과, 광범위한 규제를 받아들이기 전에 구체적 증거를 요구하는 반대자들 사이의 경쟁이다. 이 충돌은 이제 AI 연구소에서 백악관까지 이어지며, Future of Life Institute AI 캠페인을 워싱턴이 불확실한 기술적 위험을 어떻게 통치하는지 가늠하는 시험대로 만들고 있다.

아래 내용은 문서화된 사건과 전망을 구분한다. 9월 모임, 의회 접촉, 공개 서한, 공개된 정책 제안은 독립적으로 확인할 수 있다. AI 에이전트가 대규모 사이버 작전을 수행할 수 있는 시점이나 고도화된 AI가 멸종을 초래할 수 있는지에 대한 예측은 확립된 결과가 아니라 여전히 논쟁적인 판단이다.

AI 안전 캠페인은 어떻게 의회에 진입했나

이 캠페인의 즉각적인 성과는 제정된 규제가 아니라 정치권 접근성이다.

9월 15일 Pro-Human Assembly에는 좀처럼 같은 정치 무대를 공유하지 않는 연사들이 모였다. 샌더스는 기업 권력, 노동시장 교란, 감시, 민주적 통제의 관점에서 AI에 접근했다. 배넌은 민족주의, 엘리트 불신, 집중된 기술 권력에 대한 반대라는 틀로 이를 설명했다.

두 사람의 공통분모는 좁았지만 중요했다. 두 사람 모두 일자리, 교육, 안보, 인간의 주체성에 영향을 미치는 결정이 기술 경영진에게만 맡겨져서는 안 된다고 주장했다. 샌더스는 AI가 사회를 바꾸는 방식을 대중이 결정해야 하며, 그러한 선택을 소수의 기업 지도자들에게 맡겨서는 안 된다고 말했다. Axios는 Future of Life Institute가 주최자임을 확인했고, 연사들의 정치적 입장이 크게 다르다는 점과 함께 인간 통제 강화라는 공동 요구를 보도했다.

이 행사는 2014년에 설립된 비영리단체 Future of Life Institute, 즉 FLI가 주최했다. 이 단체는 10년 넘게 재앙적 기술 위험에 초점을 맞춘 연구와 정책을 장려해 왔다. 그 의제는 핵무기, 생명공학, 고도화된 인공지능을 아우른다.

FLI는 2023년 AI 개발 일시 중단 서한을 통해 널리 알려졌다. 이 문서는 연구소들에 GPT-4보다 더 강력한 시스템의 훈련을 최소 6개월간 중단할 것을 요청했다. 또한 독립 전문가들이 그 기간에 공동 안전 프로토콜을 마련해야 한다고 주장했다.

일시 중단은 이뤄지지 않았다. 연구소들은 더 강력한 모델을 계속 출시하고, 자금을 조달하며, 더 큰 컴퓨팅 시스템을 구축했다. 그러나 이 서한은 정책 입안자들에게 간명한 틀을 제시했다. 개발 속도가 기관들이 그 결과를 평가할 수 있는 속도보다 빠를 수 있다는 것이다.

이 단체의 2026년 행사는 더 폭넓은 메시지를 사용했다. “친인간”이라는 프레임은 재앙적 위험을 일자리, 아동, 정치 권력, 개인의 자율성에 대한 우려와 연결했다. 멸종 경고만으로는 유권자에게 다가가기 어려운 경우가 많았기 때문에, 이 연합 전략은 중요하다.

워싱턴 캠페인은 단일 회의를 넘어선다. Washington Post의 멸종 캠페인 심층 조사에 따르면, 옹호 단체들은 이 사안이 현재의 주목을 받기 전 수년간 의원들과 의회 보좌진을 공략해 왔다. Post는 샌더스와 FLI 의장 맥스 테그마크의 브리핑, 테드 리우 하원의원의 관련 의회 행사 참석, 재앙적 위험을 의회 의제로 올리려는 광범위한 네트워크를 보도했다. 주요 기술 자선가들의 지원을 받는 여러 단체도 연방 로비 공개 자료를 제출했다.

Alliance for Secure AI는 지난 1년 동안 캐피톨힐에서 150회의 회의를 진행했다고 밝혔다. Encode AI 창립자 스네하 레바누르는 자신의 단체가 2023년부터 의회를 방문한 뒤 재앙적 위험에 관한 의회 대화가 더 직접적으로 바뀌었다고 말했다. 이 수치는 단체들이 직접 보고한 활동을 설명하는 것이며, 개별 회의가 의원의 입장을 얼마나 바꿨는지는 입증하지 않는다.

테드 리우 하원의원은 고도화된 AI 개발 경쟁을 다룬 다큐멘터리가 상영된 의회 행사의 헤드라이너이기도 했다. 샌더스는 테그마크와 함께 상원의원들을 위한 비공개 브리핑을 주선했다. 이 행사들은 정책 언어, 청문회, 법안이 만들어지는 기관 내부에 멸종 위험 논거를 배치했다.

따라서 이 캠페인은 워싱턴의 정치적 어휘를 바꿨다. “AI 안전”은 한때 주로 편향, 개인정보 보호, 허위정보, 사이버보안을 뜻했다. 이제는 고도화된 시스템이 감시, 통제 또는 신뢰성 있는 지시를 받기 어려워질 가능성도 포함한다.

의회 보좌진에게 이 변화는 단지 수사적 변화가 아니라 실무적 변화다. 한때 딥페이크나 소비자 개인정보 보호에 초점을 맞췄던 브리핑 요청에는 이제 모델 평가, 컴퓨팅 인프라 접근, 자율 사이버 역량, 또는 연구소가 배포를 미뤄야 하는 조건에 관한 질문이 포함될 수 있다. 전문 기술 지원이 없는 보좌진은 같은 브리핑에서 제시된 입증된 역량과 전망을 구별하는 데 어려움을 겪을 수 있다.

이러한 확장은 이 글의 핵심 긴장을 만든다. 접근성은 옹호자들에게 정책을 형성할 기회를 주지만, 가시성은 그들의 주장, 자금, 제안된 해법을 더 큰 검증에 노출시킨다.

Future of Life Institute AI 캠페인은 왜 지금 돌파구를 마련했나

수년간의 조직 활동은 경고가 주요 AI 기업 내부에서 나오기 시작한 뒤에야 영향력을 얻었다.

AI 멸종 위험은 새로운 우려가 아니다. 기계 지능과 관련된 연구자들은 수십 년간 통제 문제를 논의해 왔다. 2026년에 바뀐 것은 기술적 사건, 직원 퇴사, 경영진의 경고, 커지는 대중 불신이 결합한 상황이었다.

가장 중요한 변화는 Anthropic에서 나왔다. 아모데이는 안전 조치가 따라잡을 수 있도록 최첨단 개발의 속도를 늦춰야 한다고 촉구했다. 그의 개입은 CEO 자신이 더 엄격한 감독이 필요하다고 말한 바로 그 종류의 시스템을 Anthropic이 개발한다는 점에서 이례적인 무게를 가졌다.

아모데이는 세 부분으로 된 접근법을 설명했다. 먼저 개별 기업이 내부 통제를 개선하고 독립 평가자에게 더 깊은 접근 권한을 제공한다. 이어 선도 연구소들이 기준을 조율한다. 궁극적으로 정부는 가장 강력한 시스템을 다루는 국제적 합의를 추진한다.

그는 우려를 제한된 감독 아래 다단계 작업을 계획하고 수행할 수 있는 시스템인 AI 에이전트와 연결했다. 아모데이는 점점 더 유능해지는 에이전트 집단이 6~12개월 안에 대규모 사이버 작전을 수행할 수 있다고 경고했다. 이는 아모데이에게 귀속된 전망이지, 독립적으로 확립된 일정이나 입증된 역량 기준이 아니다.

그럼에도 그의 개입은 논쟁을 바꿨다. 올트먼은 최첨단 개발 속도를 조절할 필요성을 지지하고 추가 안전 약속을 내놓겠다고 했다. 머스크는 아모데이가 옳다고 말했다. Google DeepMind CEO 데미스 허사비스도 제안의 방향성을 지지했다.

이 분쟁을 다룬 보도는 자율 시스템과 사이버 역량에 대한 우려가 커진 뒤 이러한 호소가 나왔다고 전했다. 경쟁 관계의 경영진들이 지지하면서 이를 외부 활동가 캠페인으로 치부하기는 어려워졌지만, 경영진의 합의가 재현 가능한 증거나 독립적 평가를 대체하지는 않는다.

직원들의 압력도 이를 강화했다. Encode AI는 최첨단 개발의 신중한 속도 조절을 지지하는 서한 조직을 도왔다. 9월 중순까지 주요 AI 연구소 직원들을 포함해 현직 직원 약 1,400명이 서명한 것으로 전해졌다. 서명자 수는 변할 수 있고 고용주 소속은 자가 보고일 수 있으므로, 이 수치는 업계 전반의 여론을 검증한 지표가 아니라 특정 시점의 현황으로 봐야 한다.

일부 직원들은 연구자들이 안전 우려로 Anthropic을 떠난 뒤에도 공개 성명을 냈다. 이들의 퇴사는 이론적 논쟁을 직장 내 갈등으로 바꿨다. 최첨단 모델을 만드는 사람들조차 기존 통제가 충분한지에 대해 더 이상 통일된 견해를 보이지 않았다.

Future of Life Institute AI 캠페인은 이 균열의 혜택을 받았다. FLI는 모든 멸종 시나리오가 확실하다고 의원들을 설득할 필요가 없었다. 신뢰할 만한 내부자들이 정부의 관심을 정당화할 만큼 위험을 심각하게 본다는 점을 보여주면 됐다.

더 광범위한 대중적 우려도 또 다른 틈을 만들었다. 유권자들은 이미 데이터센터의 에너지 사용, 일자리 대체, 합성 미디어, 교육적 영향, 기업 집중에 의문을 제기하고 있었다. 재앙적 위험 옹호자들은 자신들의 경고를 이처럼 즉각적인 문제와 연결할 수 있었다.

이 연결은 연합을 넓혔다. 자동화를 우려하는 노동자는 강력한 감독을 지지하기 위해 모든 초지능 시나리오를 받아들일 필요가 없다. 중앙집중적 권력을 우려하는 보수 성향 인사도 다른 정치적 경로를 통해 비슷한 결론에 도달할 수 있다.

실무에서는 노동자와 팀이 가상의 초지능보다 이러한 단기적 문제를 먼저 마주한다. 고객 지원팀은 여전히 사람의 승인이 필요한 환불이나 계정 변경을 에이전트가 초안으로 작성하는 모습을 볼 수 있다. 보안팀은 모델이 그럴듯한 공격 단계를 생성할 수는 있지만 지속적인 침입을 신뢰성 있게 실행하지는 못한다는 사실을 발견할 수 있다. 교사는 학생들이 내용을 이해했다는 증거 없이도 매끄러운 합성 과제를 제출하는 모습을 볼 수 있다. 이러한 사례는 멸종 위험을 입증하지는 않지만, 권한 통제, 감사 로그, 명확하게 배정된 책임이 이미 중요한 이유를 보여준다.

이 변화는 축적된 옹호 자원도 반영한다. FLI는 실존적 위험에 초점을 맞춘 단체들에 자금을 지원해 온 기술 기업가 얀 탈린이 공동 창립했다. Facebook 공동 창립자이자 민주당 기부자인 더스틴 모스코비츠도 자신의 자선 활동을 통해 관련 활동을 지원해 왔다.

자금은 연구, 커뮤니케이션, 보조금, 행사, 정책 입안자 접근을 뒷받침한다. 이는 사안이 대중의 관심을 거의 받지 못할 때도 캠페인을 지속하게 할 수 있다. 동시에 소수의 부유한 기부자가 정책 의제에 불균형적인 영향력을 행사하는 것이 아닌지에 대한 우려를 낳을 수도 있다.

워싱턴은 따라서 동시에 두 가지 신호에 대응하고 있다. 하나는 역량이 지나치게 빠르게 발전하고 있다고 경고하는 기술 내부자들의 목소리다. 다른 하나는 그러한 경고를 정치적 압력으로 전환할 준비가 된 조직화된 네트워크다. 어느 신호도 그 자체만으로 파국의 확률을 입증하지는 않는다.

예방 원칙과 입증의 대립이 진짜 쟁점이다

핵심 갈등은 정부가 파국적 위험을 확신을 갖고 측정하기 전에 행동해야 하는지 여부다.

강력한 안전장치를 지지하는 측은 결정적 증거를 기다리는 것은 예방의 목적을 무력화할 것이라고 주장한다. 충분히 유능한 자율 시스템과 관련된 실패는 되돌리기 어려울 수 있다. 따라서 이들은 평가, 접근 통제, 사고 보고, 책임 규정, 그리고 입증된 역량에 연계된 제한을 지지한다.

이 주장은 인류 멸종이 임박했다고 주장할 필요가 없다. 잠재적 피해 규모를 불확실성을 감수할 이유로 본다. AI는 기술적·제도적으로 다른 문제를 제기하지만, 핵 안보와 팬데믹 대비 역시 유사한 논리를 사용한다.

2023년 멸종 위험 성명은 이 입장을 한 문장으로 압축했다. 서명자들은 AI로 인한 멸종 위험을 완화하는 일이 팬데믹 및 핵전쟁과 함께 세계적 우선순위가 되어야 한다고 밝혔다. 여기에는 저명한 연구자와 기술 업계 경영진도 포함됐다. 이 성명은 해당 위험이 주목받을 만하다는 데 대한 합의를 기록했지만, 확률 추정치·인과 모델·규제 설계를 제시하지는 않았다.

비판자들은 증거와 프레임 모두에 이의를 제기한다. 이들은 극적인 미래 시나리오가 차별, 감시, 노동, 사기, 시장 집중과 관련된 문서화된 피해로부터 입법자들의 관심을 돌릴 수 있다고 주장한다. 추측적 시스템을 중심으로 설계된 규칙은 기존 대형 연구소를 더 작은 경쟁자로부터 보호할 수도 있다.

경영진의 경고가 나온 시점도 또 다른 의심을 낳는다. 선도 AI 기업들은 이미 자신들이 지배하는 시장을 정부가 감독해 달라고 요청하고 있다. 복잡한 허가나 평가 요건은 신규 진입자보다 대형 연구소가 더 쉽게 감당할 수 있는 비용을 부과할 수 있다.

조율된 감속도 비슷한 문제를 안고 있다. 일부 기업만 참여하면 경쟁사가 우위를 얻는다. 미국이 국제 공조 없이 제한을 도입하면 개발은 다른 곳으로 옮겨갈 수 있다. 정부들이 지나치게 광범위하게 공조하면 집행과 검증은 어려워진다.

경쟁사 간 조율은 반독점 문제도 제기할 수 있다. Institute for Law & AI의 매니징 디렉터인 MacKenzie Arnold는 감속 논쟁에 관한 The Atlantic의 보도에서 개발을 억제하기 위한 상호 합의에는 의회 승인이나 반독점 면제가 필요할 수 있다고 말했다. 이 우려는 United States v. Google LLC, 사건 번호 1:20-cv-03010에서 다뤄진 독점화 문제와는 별개다. Google 사건은 AI 연구소들이 안전 관련 감속을 조율할 수 있는지 여부를 판단하지 않는다.

Trump는 중국과의 경쟁을 이유로 감속 제안을 거부해 왔다. 그의 대응은 안전 논쟁을 국가안보 경쟁으로 전환한다. 이 틀에서는 중국 연구소들이 유사한 제약을 받아들이지 않는 한 미국의 개발을 늦춰도 글로벌 위험은 줄어들지 않는다.

Meta와 Nvidia는 다른 문제를 제기한다. 이들은 경고가 경제적·과학적 이점이 있는 기술의 발전을 늦출 만큼 정당한지 의문을 제기한다. Zuckerberg는 조율된 속도 조절에서 Meta를 거리를 두었고, Huang은 AI 시스템을 둘러싼 과장된 공포라고 보는 현상을 비판했다.

이러한 반론이 중요한 이유는 “속도를 늦추자”가 여러 정책을 뜻할 수 있기 때문이다. 이는 특정 모델 출시를 지연하는 것, 일정 기준 이상의 학습 실행을 제한하는 것, 자율 배포를 제한하는 것, 또는 안전성 테스트를 조율하는 것을 의미할 수 있다. 각 선택지는 서로 다른 비용과 집행 필요성을 가진다.

Future of Life Institute AI 캠페인은 광범위한 경고로 관심을 얻지만, 결국 구체적인 규칙을 옹호해야 한다. 어떤 시스템이 해당하는지, 어떤 행동이 계속 금지되는지, 어느 기관이 기준을 집행하는지를 정의하지 않고서는 의회가 “인간의 통제”를 입법화할 수 없다.

같은 문제는 멸종 확률에도 적용된다. 고도화된 AI로 인한 인류 멸종의 신뢰할 수 있는 비율을 계산할 수 있는 인정된 방법은 없다. 전문가 설문은 우려를 드러내지만, 인과관계·시점·특정 규제의 효과를 입증하지는 않는다.

이 불확실성은 양쪽 모두에 작용한다. 이는 옹호자들이 파국을 입증된 결과로 제시하지 못하게 한다. 동시에 반대자들이 지속적인 개발이 안전하다고 입증하는 것도 막는다.

책임 있는 정책 질문은 더 좁다. 가장 큰 피해로 주장되는 결과가 여전히 불확실하더라도, 정부 당국자는 현행 증거를 바탕으로 어떤 안전장치가 정당한지 결정해야 한다. 이는 특정 종착 상태에 대한 믿음보다 관찰 가능한 역량에 연계된 통제를 선호하게 한다.

사이버 평가는 한 가지 사례다. 규제 당국은 에이전트가 취약점을 발견하는지, 접근 권한을 유지하는지, 공격을 조율하는지를 시험할 수 있다. 이들은 시스템이 결국 전 세계적 통제를 추구할지 판단할 필요가 없다. 의미 있는 시험은 도구, 네트워크 접근, 시간 제한, 인간의 지원, 성공 기준, 시도 횟수를 명시해야 한다. 그렇지 않으면 두 연구소가 실질적으로 서로 다른 과제를 측정하면서도 “사이버 역량”을 보고할 수 있다.

NIST Generative AI Profile, NIST AI 600-1은 기존의 기술적 기준점을 제공한다. 이 문서는 배포 전 테스트, 사고 공개, 모니터링, 제3자 평가 고려를 포함해 AI 수명주기 전반에 걸친 문서화된 위험 측정 및 관리를 권고한다. 이 프로필은 구속력 있는 연방 프런티어 모델 규제가 아니라 자발적 지침이지만, 광범위한 안전 우려를 감사 가능한 관행으로 전환할 수 있는 방식을 보여준다.

예방 원칙과 입증의 갈등은 의회의 관심이 지속될지를 좌우할 것이다. 공포는 정책 창을 열 수 있지만, 이를 열어 두려면 측정 가능한 기준이 필요하다.

초당적 관심은 초당적 합의를 뜻하지 않는다

Sanders와 Bannon은 집중된 권력이라는 적을 공유하지만, 완전한 AI 정책을 공유하지는 않는다.

Pro-Human Assembly는 반대를 기반으로 형성된 정치적 연대를 보여주었다. 진보 진영은 기업 통제와 일자리 대체를 불신한다. 포퓰리스트 보수 진영은 기술 엘리트, 문화적 권위, 그리고 자신들이 책임을 지지 않는다고 보는 제도를 불신한다.

그러한 공통점은 청문회, 연설, 행동 요구로 이어질 수 있다. 하지만 그것이 위원회 협상, 업계 로비, 백악관의 반대를 견뎌내는 입법으로 자동 연결되지는 않는다.

Sanders는 민주적 통제, 노동자 보호, 경제적 불평등을 강조해 왔다. 그의 비판은 AI를 생산성 향상을 누가 가져가는지를 둘러싼 더 큰 투쟁의 일부로 본다. 멸종 위험은 긴급성을 더하지만, 그 경제적 논거를 대체하지는 않는다.

Bannon의 접근법은 국가 주권과 기술 과두세력에 대한 저항을 중심에 둔다. 그의 참여는 안전 옹호자들이 민주당과 연계된 규제를 종종 거부하는 청중에게 다가갈 수 있게 한다. 동시에 그의 정치 운동을 자신의 가치와 양립할 수 없다고 보는 지지자들을 소외시킬 수도 있다.

워싱턴 집회에 대한 보도는 이 연합의 영향력과 불안정성을 모두 보여주었다. 연사들은 사람들이 AI에 대해 더 많은 권한을 가져야 한다는 데 동의하면서도 연방 권한, 국제 협력, 기업 책임에 대해서는 의견이 엇갈릴 수 있었다.

국제 공조는 특히 분열적인 사안이다. 의미 있는 프런티어 감속에는 경쟁자들이 유사한 규칙을 준수한다는 신뢰가 필요하다. 민족주의자들은 미국 기업을 감시할 수 있는 기관에 반대할 수 있고, 국제주의자들은 국내에만 국한된 접근법을 거부할 수 있다.

기존의 입법 활동은 우려와 행동 사이의 간극을 보여준다. 의회는 사칭, 책임, 선거 관리, 내부고발자 보호, 사고 보고를 다루는 법안을 검토해 왔다. 이러한 제안들은 포괄적인 멸종 방지 체계보다 식별 가능한 피해를 겨냥한다. 예를 들어 발의된 AI Whistleblower Protection Act, H.R. 3460은 특정 AI 관련 위반이나 위험을 신고한 사람들에 대한 고용상 보복을 다룰 수 있다. 발의되었다고 해서 해당 법안이 법률이 된 것은 아니다.

단기적으로 가장 실현 가능한 조치는 아마도 이 패턴을 따를 것이다. 입법자들은 안전 실패를 보고하는 직원을 보호할 수 있다. 고위험 배포 전에 표준화된 평가를 요구할 수 있다. 보고 의무를 만들고 예방 가능한 피해에 대한 책임을 명확히 할 수 있다.

엔지니어에게 내부고발자 보호는 억제된 평가 결과를 보고하는 일이 경력을 위협할지 여부를 결정할 수 있다. 기업 구매자에게 사고 보고 규칙은 한 모델이 다른 고객 환경에서 접근 통제를 우회했다는 사실을 알게 될지 여부를 결정할 수 있다. 일반 사용자에게 눈에 보이는 차이는 에이전트가 송금하거나, 파일을 삭제하거나, 콘텐츠를 게시하기 전에 요구되는 확인 절차일 수 있다. 이러한 운영상 세부 사항이 없다면 “인간의 통제”는 안전장치가 아니라 구호에 머문다.

고도화된 개발을 전면 금지하는 방안은 훨씬 높은 장벽에 부딪힌다. 방법이 바뀌어도 유효한 정의가 필요하다. 또한 컴퓨팅 자원, 모델 이전, 분산 학습, 국제 활동을 감시해야 한다.

백악관도 또 다른 장애물이다. Trump는 저명한 AI 경고를 사기라고 부르며 광범위한 감속에 반대해 왔다. 경쟁과 배포를 우선시하는 행정부는 의회가 더 좁은 범위의 안전장치를 통과시키더라도 집행을 제한할 수 있다.

업계 자체도 분열돼 있다. Anthropic은 자사 시스템 내에서 추가 검토를 시행할 수 있지만, OpenAI, Meta, Google, xAI 또는 해외 개발자에게 동등한 제한을 부과할 수는 없다. 자발적 공조는 계속해서 상업적 압력에 취약하다.

최고경영자들 사이에 합의가 이뤄진다 해도 책임성에 관한 문제는 해결되지 않는다. 기업들은 자사 제품과 양립하는 방식으로 안전을 정의할 유인을 갖는다. 독립 평가자에게는 권한, 기술적 접근성, 자금, 상업적 보복으로부터의 보호가 필요하다.

따라서 AI 안전 로비는 역설에 직면한다. 초당적 공포는 정치적 관심을 높이지만, 정책이 구체화될수록 연합의 일관성은 약해진다. 위험에 동의하는 일은 누가 무엇을 멈춰야 하는지에 동의하는 일보다 쉽다.

독자들은 또한 운동의 정치적 영향력과 그 운동의 가장 강한 주장이 사실인지 여부를 구분해야 한다. 성공적인 옹호 활동은 어떤 사안이 정부 의제에 진입했음을 보여준다. 그것이 해당 사안을 홍보하는 데 사용된 시나리오를 독립적으로 검증하지는 않는다.

이 구분은 공개 성명, 유출된 우려, 기술 시연을 검토할 때 필수적이다. 논쟁을 추적하는 독자들은 출처 날짜를 보존하고, 기업 주장과 독립적 발견을 구분하며, 이후의 정정을 기록해야 한다. 예를 들어 “탈출”에 관한 바이럴 계정은 공용 인터넷에서 자유롭게 작동하는 시스템이 아니라 샌드박스 평가를 설명하는 것일 수 있다. 누락된 배포 맥락은 해당 사건이 무엇을 입증하는지를 실질적으로 바꿀 수 있다.

AI 안전 로비가 여전히 입증해야 할 것

이 운동은 현행 증거가 보여주는 바를 과장하지 않으면서, 경고를 집행 가능한 규칙으로 연결해야 한다.

첫 번째 과제는 기술적 측정이다. 정책 입안자에게는 시스템이 의미 있는 위험 임계점을 넘는 시점을 보여주는 평가가 필요하다. 일반적인 벤치마크 성능 향상만으로는 모델이 장기간 자율 공격을 수행하거나 인간의 통제를 거부할 수 있다는 사실이 입증되지 않는다.

평가에는 오염과 조작의 문제도 있다. 연구소는 알려진 테스트에 맞춰 학습할 수 있으며, 실제 위험을 줄이지 않은 채 안심할 만한 점수를 낼 수 있다. 따라서 독립 검토자는 비공개 테스트, 반복적인 접근 권한, 그리고 배포 조건을 점검할 권한을 확보해야 한다.

유용한 평가 보고서는 단순한 합격·불합격 표시 이상을 공개해야 한다. 모델 버전, 사용 가능한 도구, 스캐폴딩, 테스트 환경, 인간의 지원, 시도 횟수, 실패 방식 등을 명시해야 한다. 이런 정보가 없으면 독자는 결과가 기반 모델 자체를 반영하는지, 주변 소프트웨어 시스템을 반영하는지, 혹은 유난히 유리한 테스트 조건을 반영하는지 판단할 수 없다.

두 번째 과제는 제도 설계다. 현재 어느 단일 연방 기관도 최첨단 AI 위험의 모든 측면을 담당하지 않는다. 사이버보안, 소비자 보호, 국방, 수출 통제, 노동, 경쟁 문제는 서로 다른 부처에 걸쳐 있다.

새 규제 기관은 전문성을 중앙화할 수 있지만, 설립에는 시간이 걸린다. 기존 기관은 더 빨리 움직일 수 있지만, 권한이 분산되면 기준이 일관되지 않을 위험이 있다. 의회는 조정과 통합 중 어느 쪽이 더 나은 경로인지 결정해야 한다.

세 번째 과제는 규제 포획이다. 가장 큰 연구소들은 입법자보다 더 많은 정보를 보유하고 있으며, 이를 설명할 전문가도 제공할 수 있다. 그 지식은 유용하지만, 규제 대상 기업이 정의, 임계값, 준수 방식을 형성하게 만들 수 있다.

경영진이 규제를 지지할 때 문제는 더욱 선명해진다. 그 지지는 진정한 우려를 반영할 수 있지만, 동시에 기존 시장 선도 기업의 지위를 굳히는 규칙을 선호하는 것일 수도 있다. 두 동기는 동시에 작용할 수 있다.

네 번째 과제는 개방형 시스템에 관한 것이다. 일부 폐쇄형 연구소에 초점을 맞춘 제한은 다운로드 가능한 가중치나 수정된 배포 방식을 통해 역량이 확산되는 모델을 놓칠 수 있다. 그러나 광범위한 오픈소스 제한은 연구를 위축시키고 통제를 집중시킬 수 있다.

다섯 번째 과제는 국제 검증이다. 정부는 대규모 국내 데이터센터와 칩 공급망을 감시할 수 있지만, 분산된 개발은 감독을 복잡하게 만든다. 국가마다 유인, 집행 역량, 국가안보 우선순위도 다르다.

AI 멸종 위험은 이 캠페인의 가장 극적인 주장인 동시에 가장 큰 증거 부담을 지닌 주장이다. 옹호자들은 입증된 역량과 예측을 분리해야 한다. 또한 그럴듯한 경로와 재앙이 불가피하다는 주장을 구분해야 한다.

반대자들도 그에 상응하는 부담을 진다. 불확실성을 안전의 증거로 합리적으로 취급할 수는 없다. 최근 시스템들은 예상치 못한 행동, 통제된 테스트에서의 사이버보안 역량, 일부 장기 과업에서 제약을 따르는 데 어려움을 보였다. 다만 그러한 결과의 빈도, 심각성, 현실 세계로의 이전 가능성은 여전히 사례별 증거가 필요하다.

좋은 정책은 확신과 일축 사이에서 작동할 수 있다. 역량이 높아질수록 더 강한 안전장치를 요구하고, 증거가 바뀌면 임계값을 조정할 수 있다. 이 접근법은 멸종 예측 하나를 모든 규칙의 유일한 근거로 삼는 일을 피한다.

또한 반증의 기회도 만든다. 표준화된 평가가 까다로운 조건에서도 안정적인 통제를 보여준다면, 일부 제한의 근거는 약해진다. 시스템이 점점 감시를 회피하거나 자율 공격을 지속한다면 그 근거는 강해진다.

Future of Life Institute AI 캠페인은 이러한 증거 기반 구조를 환영할 때 신뢰를 얻을 것이다. 모든 역량 향상을 재앙이 임박했다는 증거로 삼는다면 신뢰를 잃게 될 것이다.

이 운동의 자금 조달 역시 투명하게 다뤄질 필요가 있다. 기업 자금 지원이 자동으로 주장을 반증하지 않듯이, 자선적 지원도 논증을 무효화하지 않는다. 공개는 독자가 유인과 영향력의 집중을 평가하는 데 도움이 된다.

미디어 보도에도 비슷한 책임이 있다. 옹호자들을 예언자 또는 경각심을 조장하는 사람으로 묘사하는 것은 복잡한 정책 네트워크를 문화적 딱지 하나로 축소한다. 보도는 자금, 접근성, 기술적 증거, 반대자, 제안된 규칙을 함께 살펴봐야 한다.

그러한 검증은 안전에서 주의를 돌리는 일이 아니다. 이는 안전 거버넌스의 일부다. 극심한 불확실성 아래 설계되는 정책에는 기술 전문성만큼이나 공적 정당성이 필요하다.

워싱턴이 실제로 움직이는지 보여줄 세 가지 신호

다음 시험대는 정치적 관심이 연구소, 의회, 정부의 검증 가능한 약속으로 이어지는지 여부다.

첫 번째 신호는 AI 기업의 운영상 조치다. Anthropic은 추가 평가와 외부 접근 방안을 제시했으며, 다른 경영진들도 속도 조절에 대한 지지를 표명했다. 다음 공개에서는 누가 모델을 평가하는지, 평가자가 어떤 접근 권한을 받는지, 어떤 발견이 배포를 막을 수 있는지를 설명해야 한다.

공개 지지는 구속력 있는 절차보다 약하다. 기업은 출시를 늦추는 조건을 정의하고, 예외를 문서화하며, 독립 검토자가 내부 결정에 이의를 제기할 수 있는 방법을 설명해야 한다. OpenAI, Google, Meta, xAI의 유사한 약속은 공조된 행동의 근거를 강화할 것이다.

사용자와 기업 고객은 출시 문서에서 그 차이를 확인하게 될 것이다. 의미 있는 약속이라면 어떤 평가에서 실패했는지, 어떤 역량이 지연을 촉발했는지, 모델이 수정됐는지 아니면 단지 제한됐는지, 최종 배포를 누가 승인했는지를 밝혀야 한다. 모델이 “안전성 테스트를 거쳤다”는 일반적 설명은 이런 정보를 전혀 제공하지 않는다.

두 번째 신호는 구체적인 의회 법안이다. 의미 있는 법안은 적용 대상 시스템, 측정 가능한 임계값, 집행 권한, 보고 의무, 위반 시 결과를 명시해야 한다. 인간 통제에 관한 광범위한 선언만으로는 이러한 세부 사항이 해결되지 않는다.

내부고발자 보호, 사고 보고, 사이버보안 평가, 평가자 접근 권한은 그럴듯한 출발점이다. 이는 의회가 초지능에 관한 모든 논쟁을 결론낼 필요 없이 관찰 가능한 실패를 다룬다.

법안의 발의자도 중요하다. Pro-Human Assembly에서 제시된 연합은 한 정당의 지지만으로는 약화될 것이다. 안정적인 위원회 지지를 받는 초당적 제안은 이 사안이 일시적인 미디어 주기를 넘어선다는 점을 보여줄 것이다.

세 번째 신호는 국제 검증 체계다. 행정부 관계자들은 백악관이 광범위한 감속을 거부했음에도 중국과 공동의 AI 위험을 논의하는 데 열린 태도를 보인 바 있다. 그러한 발언은 공개된 합의나 검증 메커니즘이 뒤따르지 않는 한 외교적 관심의 표현으로 다뤄져야 한다.

대화는 공조가 아니며, 공조는 검증이 아니다. 신뢰할 수 있는 체계는 적용 대상 역량을 정의하고, 준수 여부를 확인하는 방법을 마련하며, 모델 탈취나 은밀한 훈련을 다뤄야 한다. 이런 요소가 없다면 국제적 속도 조절은 열망에 그친다.

이 신호들은 현재의 순간이 정책 변화인지 정치적 연극인지 드러낼 것이다. 기업 규칙은 경영진이 자신들의 선택에 대한 제한을 수용하는지를 보여줄 것이다. 법안은 의회가 우려를 집행 가능한 의무로 옮길 수 있는지를 보여줄 것이다. 국제 검증은 일방적 자제를 약화시키는 경쟁 압력을 다룰 것이다.

Future of Life Institute AI 캠페인은 이미 하나의 어려운 장벽을 넘었다. 영향력 있는 인사들이 일자리, 사이버보안, 기업 권력과 함께 인류 멸종을 논의하도록 설득했다. 하지만 이 연합이 지속 가능한 통치 체계에 합의할 수 있다는 점은 아직 보여주지 못했다.

개발자와 기업 구매자에게 실질적 영향은 먼 미래의 재앙을 넘어선다. 새로운 평가 규칙은 출시 일정, 최첨단 모델 접근, 법적 책임 노출, 조달 요건을 바꿀 수 있다. 안전 문서는 핵심 벤치마크 점수만큼 중요해질 수 있다.

지식 노동자는 에이전트 배포에 더 강한 권한 제어, 감사 추적, 인간 승인 요건이 적용되는지 지켜봐야 한다. 이러한 안전장치는 입법자들이 멸종 논쟁을 해결하기 훨씬 전부터 일상적인 시스템에 영향을 미친다. 재무팀은 에이전트가 결제를 시작하기 전에 승인을 요구할 수 있고, 소프트웨어팀은 검토 없이 에이전트가 코드를 병합하지 못하게 할 수 있으며, 기록 관리자는 자동 삭제를 허용하기 전에 복구 가능한 로그를 요구할 수 있다. 이것이 “인간 통제”의 구체적인 시험이다.

따라서 앞으로 몇 달의 핵심 질문은 구체적이다. 워싱턴은 증거와 집행 가능한 통제를 요구할 것인가, 아니면 멸종은 실행 정책 없는 설득력 있는 정치적 메시지로 남을 것인가?