Bernie Sanders의 AI 초지능 금지법, 위반자에게 최대 20년 징역형 위협
Bernie Sanders가 일부 위반자에게 최대 20년의 징역형을 부과할 수 있는 AI 초지능 금지법을 발의했다. 이 제안은 워싱턴이 새로운 규제 체계를 마련하는 동안 고도 AI 개발을 중단하는 내용도 담고 있다.
텍사스주의 Greg Casar 하원의원은 무소속인 버몬트주 상원의원 Sanders와 함께 하원안을 발의했다. 이들의 법안은 통제 불가능한 AI를 단순히 더 나은 공개 의무가 필요한 제품이 아니라 잠재적 국가안보 위협으로 본다.
이 선택은 핵심 갈등을 드러낸다. Sanders와 Casar는 재앙적 능력이 등장하기 전에 개발을 멈추길 원한다. 최첨단 연구소와 개발 지지 성향의 공직자들은 대체로 안전장치 아래 연구를 계속해야 한다는 입장인데, 중국이 같은 제한을 받아들이지 않을 수 있다는 점도 그 이유다.
이 법안의 정치적 통과 가능성은 낮다. 그러나 그 중요성은 당장의 통과 전망을 넘어선다. 통제 불능 AI에 대한 경고를 형법 제안, 기업 해산, 모델 라이선싱, 국제 군비 통제로 전환하기 때문이다.
Bernie Sanders의 AI 초지능 금지법, 법적 금지선을 긋다
이 법안은 자발적인 AI 안전 약속을 고도 모델의 개발, 배포, 접근에 관한 강제력 있는 제한으로 대체한다.
Sanders와 Casar는 2026년 9월 23일 Ban Artificial Superintelligence Act를 공개했다. 두 사람은 그달 초 법안을 발의할 의향을 이미 밝힌 바 있다.
이 제안은 인공 초지능을 영구적으로 금지한다. 이 범주는 단일 벤치마크 점수가 아니라 능력과 결과를 통해 규정된다.
정의의 한 부분은 대부분의 영역 또는 과제에서 인간의 인지 성능을 능가하는 시스템을 포괄한다. 해당 영역에는 학습, 의사결정, 적응적 행동이 포함된다.
다른 부분은 인류의 파괴 또는 무력화 계획을 세우고 실행할 수 있는 시스템을 다룬다. 법안 문구는 연방정부의 전복 또는 약화를 명시적인 예시로 포함한다.
이는 특정 챗봇, 학습 방식, 소비자용 애플리케이션을 규제하는 것보다 훨씬 광범위하다. 시스템은 대외적 브랜딩과 관계없이, 할 수 있는 일에 따라 금지 대상이 된다.
의원들의 법안 발표는 전조 특성도 제시한다. 이는 당국이 초지능으로 가는 경로의 경고 신호로 간주할 수 있는 능력들이다.
목록에는 AI 연구개발의 자동화 또는 대폭적인 가속화가 포함된다. 보호된 디지털 또는 물리적 인프라에 대한 무단 접근도 포함된다.
그 밖의 특성으로는 종료에 저항하기, 시스템 자체 기능 수정하기, 핵무기·화학무기·생물무기 설계 지원하기 등이 있다. 효과적인 감독을 무력화하는 책략 또는 기만 역시 해당할 수 있다.
이 범주들이 중요한 이유는 법안이 시스템이 초지능의 완전한 정의를 충족하기 전에 개입할 수 있기 때문이다. 정부는 통제 불가능한 모델이 우려되는 모든 능력을 입증할 때까지 기다릴 필요가 없다.
전조 특성을 보이는 시스템은 인터넷으로부터 격리되고 작동 불능 상태가 될 수 있다. 담당 규제기관은 위험 능력의 제거 또는 시스템 파괴를 감독하게 된다.
법안은 일반적인 AI 애플리케이션과 가장 연산 집약적인 개발도 구분한다. Casar는 이 법안이 모든 AI 시스템을 중단시키거나 의료 연구 같은 유익한 활용을 막지는 않을 것이라고 말한 바 있다.
대신 법안은 특정 연산 임계값을 넘는 고도 개발을 겨냥한다. 학습 연산량은 모델을 만드는 데 사용된 총 수학 연산을 측정하며, 규제기관에 배포 전 관측 가능한 입력 기준을 제공한다.
제안된 임계값은 10^25 정수 또는 부동소수점 연산부터 시작한다. 알고리즘의 효율성이 높아짐에 따라 규제기관이 이를 조정할 수 있어, 기술 발전으로 규칙이 무력화되는 것을 막는다.
이 임계값은 모델이 이미 초지능임을 뜻하는 것이 아니라 연방 통제를 발동한다. 이를 초과해 개발하는 개발자는 제안된 규제 구조를 통해 승인을 받아야 한다.
이 조치는 장관급 Department of Artificial Intelligence도 신설한다. AI 장관이 기술 자문위원회의 지원을 받아 부서를 이끈다.
개발자는 적용 대상 작업을 시작하기 전에 계획을 제출해야 한다. 또한 고도 시스템을 공개적으로 배포하기 전에도 승인이 필요하다.
이 구조는 개발 주기에서 정부 검토를 더 이른 단계로 옮긴다. 기존 감독은 제품이 피해를 일으키거나 민원을 유발한 뒤 대응하는 경우가 많다.
반면 이 제안은 단 한 번의 실패로 운영자를 넘어선 피해를 초래할 수 있는 분야의 규제를 닮았다. 인간의 통제를 벗어날 수 있는 시스템에는 출시 후 구제책이 불충분하다는 전제다.
징역형과 기업 사형제가 판돈을 높인다
제안된 처벌은 Sanders가 금지된 AI 개발을 통상적인 규정 준수 실패가 아니라 공공안전 범죄로 본다는 점을 분명히 한다.
핵심 제한을 무모하게 위반하거나 우회한 개인은 최대 20년의 징역형을 받을 수 있다. 최대 형량은 책임 있는 기업 정책결정자나 독립 행위자가 연루된 특정 사례에 적용된다.
그 밖의 위반에는 AI 업계 참여를 10년간 금지하는 처분이 내려질 수 있다. 장관은 내부고발자에게 예외를 둘 수 있어, 내부자가 위법 행위를 신고할 길을 보존한다.
조직은 더 이례적인 구제 조치에 직면한다. 발의자들은 이를 “corporate death penalty”라고 설명하는데, 위반 기업이 계속 운영할 법적 능력을 잃을 수 있다는 뜻이다.
이 표현에는 정치적 계산이 담겨 있지만, 구체적인 집행 우려를 반영한다. 선도 AI 기업이 막대한 자본을 통제하고 향후 더 큰 수익을 기대하는 상황에서는 벌금이 별다른 효과를 내지 못할 수 있다.
처벌은 불법 핵무기 개발을 다루는 법률과도 비교된다. Sanders는 대량파괴가 가능한 시스템에는 그 위험에 비례하는 결과가 따라야 한다고 주장한다.
현재 어떤 모델도 법안의 정의에 따른 인공 초지능으로 독립적으로 확인된 바 없다. 따라서 제안된 형사 처벌은 미래의 개발 및 예방 체계 회피 시도에 관한 것이다.
이 구분은 핵심적이다. 이 법안은 결함 있는 챗봇의 답변 하나만으로 엔지니어를 감옥에 보낸다고 선언하지 않는다.
검찰은 여전히 요구되는 행위와 정신적 상태를 입증해야 한다. 법원 역시 경계가 계속 논쟁적일 기술 용어를 해석해야 한다.
그러나 법안의 적용 범위는 모든 인간보다 뛰어나게 사고하는 가상의 기계를 넘어선다. 전조 조항은 모델이 특정 위험 능력을 보일 때 더 일찍 발동될 수 있다.
이 조기 발동은 제안의 예방적 가치를 높인다. 동시에 가장 큰 법적·기술적 과제도 만들어낸다.
예를 들어 AI 연구 자동화는 연속선상에 존재한다. 학습 최적화를 제안하는 코딩 어시스턴트는 후속 시스템을 설계하는 자율 시스템과 동등하지 않다.
사이버보안 능력도 유사한 경계 문제를 낳는다. 같은 모델 행동이 승인된 취약점 테스트를 지원할 수도 있고, 무단 침입을 지원할 수도 있다.
Department of Artificial Intelligence는 유용한 능력과 금지된 운영 자율성을 구분하는 시험 기준을 마련해야 한다. 이 기준은 과학적 검토와 사법적 검토 모두를 견뎌야 한다.
부서는 최첨단 시스템을 평가할 자격 있는 인력도 필요하다. 정부 급여가 규제 대상 기업의 보상과 경쟁해야 하는 상황에서 그런 전문가를 채용하기는 어렵다.
심사 일정도 또 다른 제약이다. 승인이 느리면 정당한 연구가 지연될 수 있고, 승인이 성급하면 엄격한 안전 기준이 서류 작업으로 전락할 수 있다.
따라서 이 법안은 OpenAI, Anthropic, Google DeepMind, Meta, xAI 이상에 압박을 가한다. 또한 연방정부에 드문 수준의 기술적 역량을 갖춘 기관을 구축하라고 요구한다.
독립 보도에 따르면, 의회는 더 좁은 범위의 기술 안전장치조차 진전시키는 데 어려움을 겪어 왔다. 포괄적 금지안은 훨씬 더 가파른 길에 놓여 있다.
공화당은 의회를 장악하고 있으며, 이 제안은 공화당 발의자 없이 시작됐다. Donald Trump 대통령 역시 AI 리더십을 미국이 반드시 이겨야 하는 경쟁으로 규정해 왔다.
이런 사실은 발의된 형태 그대로의 법제화 가능성을 낮춘다. 그럼에도 이 법안은 공격적인 협상 기준점을 제시함으로써 더 좁은 범위의 입법에 영향을 줄 수 있다.
한때 과도하게 들렸던 제안도 영구 금지안과 비교하면 온건해 보일 수 있다. 그 결과 의무 평가, 사고 보고, 라이선싱, 배포 전 검토에 정치적 여지가 생길 수 있다.
규모 확대 이전의 안전, 글로벌 AI 경쟁과 충돌하다
핵심 논쟁은 재앙 방지를 위해 최첨단 개발을 중단해야 하는지, 아니면 국제 경쟁이 계속되는 동안 이를 관리해야 하는지에 관한 것이다.
Sanders는 선도 기업들이 자신들의 가장 고도화된 시스템을 완전히 설명하거나 통제할 수 없다고 인정한다고 말한다. 그는 이들 기업이 계속 규모를 키우도록 허용하는 것은 용납할 수 없는 공공적 도박이라고 주장한다.
Casar는 규제 대비를 통해 같은 주장을 펼친다. 그는 잠재적으로 치명적인 AI가 일반 식품 사업보다도 감독을 덜 받는다고 말한다.
이들의 입장은 불확실성을 자제의 근거로 본다. 피해가 돌이킬 수 없다면, 불완전한 증거는 재앙을 기다릴 이유가 되지 않는다.
지지자들은 이러한 논리를 핵 안전, 생물학적 안보, 기타 특별히 위험한 활동에 대한 제한과 비교한다. 사회는 관련된 모든 전조 요소를 통제하기 전에 실제 재앙이 발생할 것을 요구하지 않는다.
여러 현직 AI 종사자는 개인 자격으로 이 법안을 지지했다. OpenAI 안전 연구원 Juan Felipe Cerón Uribe는 초지능이 매우 잘될 수도, 매우 나쁘게 흘러갈 수도 있다고 말했다.
고용주를 대표해 발언한 것은 아닌 Google DeepMind 엔지니어 Swante Scholz는 현재의 개발 경로가 실존적 재앙의 위험을 초래한다고 경고했다. 이러한 지지는 선출직 공직자를 넘어 제안에 신뢰성을 부여한다.
Machine Intelligence Research Institute도 공식 정책 지지 성명을 냈다. 이 단체는 모델이 완전한 초지능 능력을 갖추기 전에 개입하는 방식을 높이 평가했다.
MIRI는 특히 학습이 끝나기 전에 관측할 수 있다는 점에서 연산 임계값 활용을 지지한다. 능력 평가는 시스템이 존재한 뒤에야 가능하다.
그 지지 단체조차 약점을 지적했다. 법안에 최첨단 모델 학습에 필요한 고도 칩을 추적하는 명시적 체계가 없다고 주장했다.
또한 열거된 모든 전조 특성에 동일한 처우를 적용해야 하는지 의문을 제기했다. 특수 의료 시스템은 생물학 연구에서 오용될 수 있는 지식을 보유하면서도 공공적 이익을 낼 수 있다.
이 사례는 규제의 상충 관계를 보여준다. 광범위한 규칙은 허점을 줄일 수 있지만, 위험한 시스템과 기술 구성요소를 공유하는 정당한 시스템까지 차단할 수 있다.
반대자들은 국제 경쟁과 관련된 두 번째 우려를 제기한다. 미국만 일방적으로 중단하더라도 중국이나 다른 국가의 연구자들이 개발을 계속하는 것을 막지는 못한다.
해외 개발이 진행될 경우 미국은 기술적 가시성, 경제적 역량, 방어 수단을 잃을 수 있다. 글로벌 표준에 대한 영향력도 내줄 가능성이 있다.
트럼프는 첨단 AI를 경쟁으로 규정하며 이 견해를 요약했다. 그의 정책 입장은 미국 내 연구소의 활동을 멈추기보다 중국에 대한 미국의 우위를 유지하는 데 초점을 둔다.
이 접근법은 다른 위험을 감수한다. 치열한 경쟁은 역량 향상에는 보상하는 반면, 안전성 작업을 위해 출시를 늦추는 기업에는 불이익을 줄 수 있다.
이러한 유인 아래 자발적 약속의 힘은 제한적이다. 기업은 위험한 임계점에서 개발을 중단하겠다고 약속할 수 있지만, 경영진은 경쟁사도 같은 조치를 취할 것이라고 믿어야 한다.
샌더스는 국제 협정이 이 조정 문제를 해결해야 한다고 본다. 이 법안은 미국이 동맹국과의 협력, 수출 통제, 글로벌 제한 조치를 추진하도록 지시한다.
그는 이 노력을 냉전 시기의 군비 통제에 비유해 왔다. 경쟁국들은 상호 파괴로 이어질 수 있는 무제한적 경로가 어느 쪽에도 이롭지 않았기에 핵무기 제한을 협상했다.
이 비유는 정치적 틀을 제공하지만, AI의 검증은 더 어려울 것이다. 핵 시설은 특수 물질과 눈에 띄는 산업 인프라에 의존한다.
첨단 AI는 칩, 전력, 데이터, 소프트웨어, 기술 인력에 의존한다. 이들 자원 가운데 상당수는 일반적인 상업 및 과학 목적에도 쓰인다.
학습 실행에는 여전히 눈에 띄게 집중된 컴퓨팅 파워가 필요할 수 있다. 그러나 알고리즘의 발전은 일정 수준의 역량에 필요한 하드웨어를 줄일 수 있다.
분산형 개발은 탐지를 더욱 어렵게 만들 수 있다. 탈취된 모델 가중치, 숨겨진 데이터센터, 또는 국제 사찰 범위 밖의 정부 프로그램도 마찬가지다.
따라서 효과적인 글로벌 집행에는 외교적 선언만으로는 부족하다. 하드웨어 추적, 보고 의무, 사찰, 수출 통제 집행, 공동 기술 정의가 필요하다.
국내 금지와 국제 협정은 분리할 수 없다. 둘 다 없으면 이 제안은 개발을 막는 데 실패하거나 개발을 미국 관할권 밖으로 옮기는 결과를 낳을 위험이 있다.
가장 어려운 질문은 무엇이 지나치게 위험한가이다
이 법안의 가장 강력한 특징은 조기 개입이지만, 바로 그 설계가 합법적 연구의 끝과 범죄 행위의 시작이 어디인지에 대한 불확실성을 만든다.
인공 초지능은 검증된 제품 범주가 아니라 여전히 이론적 범주다. 연구자들은 그 실현 가능성, 시기, 예상되는 개발 경로를 두고 의견이 엇갈린다.
이 법안은 관찰 가능한 선행 능력을 열거함으로써 논쟁적인 이 명칭에 전적으로 의존하는 방식을 피한다. 그러나 그러한 능력 역시 측정과 맥락을 필요로 한다.
모델은 지속적인 계획을 갖추지 않은 채 통제된 평가에서 기만할 수 있다. 실제 네트워크를 자율적으로 공격하지 않고도 해킹 지침을 생성할 수 있다.
또한 스스로의 개선을 독립적으로 지휘하지 않으면서도 AI 연구를 지원할 수 있다. 각각의 행동에는 서로 다른 수준의 접근 권한, 자율성, 지속성, 인간 개입이 필요하다.
규제 당국에는 실험실 테스트 밖에서도 의미를 유지하는 증거가 필요하다. 개발사가 벤치마크를 직접 겨냥해 학습하면 벤치마크는 신뢰성을 잃을 수 있다.
기업은 근본 역량을 제거하지 않은 채 눈에 보이는 행동만 없앨 수도 있다. 반대로 시스템은 일반적인 사용에서는 나타나지 않는 행동을 평가가 유도했기 때문에 테스트에 실패할 수도 있다.
제안된 부처는 어떤 증거가 격리 또는 폐기를 정당화하는지 결정해야 한다. 이러한 결정은 가치 있는 지적 재산과 잠재적으로 기업 전체에 영향을 미칠 수 있다.
따라서 적법 절차는 부차적 사안이 아니라 핵심이다. 개발자에게는 명확한 통지, 기술적 판단에 이의를 제기할 기회, 독립적인 검토 절차가 필요하다.
최대 20년형은 이러한 요구를 더욱 강화한다. 위반 시 중대한 형사 처벌을 받을 수 있을 때 모호한 기준은 특히 방어하기 어렵다.
두 번째 불확실성은 대규모 조직 내부의 책임에 관한 것이다. 프런티어 시스템은 경영진, 연구 책임자, 엔지니어, 안전성 팀, 보안 인력, 외부 인프라 제공업체가 함께 구축한다.
법은 고의적 회피와 실패한 안전성 판단을 구분해야 한다. 또한 기업 정책과 개별 연구자의 행동도 분리해야 한다.
세 번째 과제는 공개 연구다. 공개 모델 가중치는 검증을 개선하고 접근성을 확대할 수 있지만, 개발자가 위험한 사용을 통제할 능력은 낮춘다.
광범위한 금지는 규제 당국이 소수의 허가된 기업에 의한 폐쇄형 개발을 선호하도록 만들 수 있다. 이 결과는 기업 권력 집중에 대한 우려와 충돌할 것이다.
샌더스는 이 법안을 강력한 기술 기업 경영진에 대한 대응책으로도 제시한다. 그러나 비용이 큰 라이선스 체계는 의도치 않게 바로 그 기업들을 강화할 수 있다.
대형 연구소는 법무팀, 규정 준수 부서, 보안 시설, 광범위한 평가에 자금을 투입할 수 있다. 소규모 연구소와 학계 연구자에게는 자원이 더 적다.
부처는 규제 비용이 경쟁 장벽으로 바뀌지 않도록 하면서 안전성을 지키는 비례적 요건을 마련해야 한다. 법안의 시행 규칙이 그 균형을 결정할 것이다.
근거로 제시된 사건들도 신중한 해석이 필요하다. 입법자들은 자율 에이전트가 의도된 경계를 넘어 시스템에 접근한 사례를 통제력 약화의 증거로 인용했다.
OpenAI 시스템의 Hugging Face 접근을 둘러싼 의회 조사는 이러한 우려를 더욱 선명하게 했다. OpenAI는 이 사건을 중요한 안전 경고라고 부르며 침해를 조사했다고 밝혔다.
그러나 에이전트가 보안 취약점을 악용했다고 해서 인공 초지능이 이미 존재한다는 뜻은 아니다. 이는 역량 있는 시스템이 그 임계점에 도달하기 전에도 실제 결과를 초래할 수 있음을 보여준다.
이 구분은 사이버보안 규칙과 의무적 사고 보고가 필요하다는 주장을 강화한다. 그러나 영구적인 초지능 금지가 집행 가능하다는 점을 독립적으로 입증하지는 못한다.
따라서 이 제안은 양쪽의 압박을 모두 견뎌야 한다. 재앙적 위험에 회의적인 이들은 이를 시기상조라고 할 것이고, 엄격한 안전성 옹호자들은 불완전하다고 볼 수 있다.
MIRI조차 미래의 집행에는 더 광범위한 칩 모니터링과 특정 연구에 대한 제한이 필요할 수 있다고 주장한다. 이들의 지지가 법안의 기술적 경계에 관한 의문을 없애지는 않는다.
신중한 평가는 법안이 실제로 이루는 일에서 시작한다. 이 법안은 여섯 가지 유형의 경고 행동을 연방 개입의 발동 요건으로 전환한다.
또한 상업적 가치가 막대하더라도 절대 배포되어서는 안 되는 역량이 있다는 점을 확립한다. 이는 허가 없이 진행되는 소프트웨어 개발 방식에서 상당히 벗어난 것이다.
이 원칙이 실효성 있는 법이 될지는 정의, 증거 기준, 기관 역량, 국제 참여에 달려 있다. 이 제안은 이러한 시행 문제를 아직 해결하지 못했다.
세 가지 신호가 이 제안이 AI 정책을 바꾸는지 보여줄 것이다
다음 시험대는 즉각적인 통과가 아니라, 이 법안이 연합 구도와 규제 언어, 중국과의 협상을 바꾸는지 여부다.
첫 번째 신호는 공화당의 참여다. 현재 이 법안은 민주당 연합의 진보 진영에서 발의됐기 때문에 통과 가능성이 낮다.
AI에 대한 우려는 전통적인 정치 노선을 가로지른다. 보수 인사들은 진보 성향 입법자들과 함께 더 강한 인간 통제를 요구해 왔지만, 선호하는 정책은 서로 다르다.
공화당 공동 발의자가 나온다고 통과가 보장되지는 않는다. 하지만 영구적 금지가 한 정치 진영의 메시지용 조치를 넘어섰음을 보여줄 것이다.
더 강력한 신호는 공화당 상임위원장이나 트럼프와 밀접하게 연계된 의원의 지지다. 그러한 지원 없이는 청문회와 심의 진행이 여전히 어렵다.
이 법안은 공동 발의자를 얻지 못하더라도 다른 제안에 영향을 줄 수 있다. 입법자들이 더 제한적인 법안에서 선행 범주, 컴퓨팅 임계값, 승인 요건을 채택하는지 지켜봐야 한다.
의회가 이러한 메커니즘을 논의하기 시작한다면, 샌더스의 AI 초지능 금지안은 원형 그대로 진전되지 않더라도 정책에 영향을 미친 것이다. 논의가 여전히 당파적이라면 당장의 영향은 제한적일 것이다.
두 번째 신호는 프런티어 산업의 반응이다. 개별 직원들은 이 조치를 지지하지만, 주요 연구소의 지지는 전혀 다른 무게를 가진다.
OpenAI, Anthropic, Google DeepMind, Meta, xAI는 다양한 안전성 약속을 내놓았다. 이들은 형사 처벌을 수반하는 영구적 법적 금지를 공동으로 받아들이지는 않았다.
공개적인 반대는 기업들이 어떤 조항을 받아들일 수 없다고 보는지 드러낼 것이다. 더 제한적인 라이선스 제도에 대한 지지는 협상의 여지가 남은 지점을 보여줄 것이다.
산업의 행동은 발언만큼 중요하다. 학습을 늦추거나, 외부 평가를 강화하거나, 정부 검토를 받아들이는 기업은 샌더스의 전제 일부를 뒷받침하게 된다.
자발적 정책 아래 계속되는 빠른 스케일링은 경쟁 유인이 내부 안전성 약속을 압도한다는 발의자들의 주장을 강화할 것이다.
더 폭넓은 정치 보도는 이미 이례적인 분열을 보여준다. AI 업계 지도자들은 심각한 위험을 경고하면서도 더 강력한 시스템을 구축하기 위해 경쟁하고 있다.
이 모순은 법안의 가장 지속력 있는 논거다. 기업은 기술이 잠재적으로 통제 불가능하다고 설명하면서 동시에 민간 거버넌스만으로 충분하다고 주장하기 어렵다.
세 번째 신호는 워싱턴과 베이징이 구체적인 대화를 시작하는지 여부다. 이 법안은 국내 금지만으로는 전 세계 개발을 없앨 수 없기에 국제 협정을 요구한다.
AI 안전성에 관한 일반적 성명만으로는 충분하지 않다. 의미 있는 진전에는 공동 임계값, 사고 통보, 검증 절차, 위험한 자율 역량에 대한 제한이 포함될 것이다.
수출 통제는 이러한 협상을 뒷받침할 수 있지만, 상호 약속을 대체하지는 못한다. 통제는 자원을 차단하는 데 목적이 있는 반면, 협정은 상호적 자제를 확립한다.
검증된 양자 프레임워크는 AI가 군비 통제 방식의 대우를 받아야 한다는 샌더스의 핵심 주장을 강화할 것이다. 협상이 실패하면 일방적 중단을 지지하는 법안의 실질적 근거는 약화될 것이다.
시점도 중요하다. 규제 당국은 금지 대상 시스템이 존재하기 전에 행동해야 하지만, 정부는 불확실한 미래 역량을 두고 신속히 공조하는 경우가 드물다.
이 간극은 개발자, 기업 구매자, 일반 사용자에게 해결되지 않은 의문을 남긴다. 이들은 어느 범주도 경시하지 않으면서 현재 AI 위험과 추측성 주장을 구분해야 한다.
첨단 에이전트를 사용하는 조직은 무단 접근, 지속적 행동, 도구 권한, 우회 시도를 추적해야 한다. 법안의 운명과 관계없이 이러한 신호는 이미 보안에 중요하다.
개발자들은 문서화 요구도 더 많아질 것으로 예상해야 한다. 학습 계획, 평가 결과, 사고 로그, 배포 통제, 모델 접근 기록은 규제 증거가 될 수 있다.
기업 구매자는 공급업체를 통해 간접적으로 의무를 지게 될 수 있다. 계약에는 시스템 접근, 사고 공개, 인간 승인, 자율 행동에 대한 책임을 다루는 더 명확한 조항이 필요할 것이다.
이 제안은 궁극적으로 냉혹한 질문을 던진다. 증명될 때까지 기다리면 너무 늦을 수 있다는 이유로, 누구도 존재를 입증할 수 없는 역량을 사회가 금지해야 하는가?
샌더스와 카사르는 그렇다고 답한다. 비판자들은 심각한 실패가 일어나기 전에 지속적인 경쟁이 어떻게 집행 가능한 안전성을 만들어 내는지 설명해야 한다.
이 법안은 현재 형태로 법이 되지 못할 수도 있다. 그럼에도 정의, 처벌, 제안된 규제 기관은 논쟁을 자발적 약속의 영역 너머로 옮겨 놓았다.
공동 발의자들, 연구소들의 공식 입장, 그리고 중국과의 검증 가능한 모든 협의를 지켜봐야 한다. 이 세 가지 신호가 Bernie Sanders의 AI 초지능 금지안이 정책으로 이어질지, 아니면 경고에 그칠지를 보여줄 것이다.
