Guterres의 AI 가드레일, AI 경쟁에 맞선 글로벌 협력 시험대에
António Guterres는 9월 16일 조율된 AI 안전장치 마련을 촉구하며, 자발적 개발 중단만으로는 국경을 넘어 확산하는 위험을 억제할 수 없다고 경고했다. Guterres AI 가드레일 제안은 정부, 프런티어 AI 개발자, 그리고 경쟁하는 국가 전략을 하나의 갈등 구도 안에 놓는다. AI 역량은 글로벌 경쟁 속에서 발전하고 있지만, 대부분의 안전 약속은 지역적이고 자발적이거나 검증하기 어렵다.
유엔 사무총장은 뉴욕에서 열리는 제81차 유엔 총회 고위급 주간에 앞서 이 같은 호소를 했다. 그는 정부가 교육, 보건, 개발, 기후 회복력을 위한 기술의 이점을 보존하면서도 시민을 AI 위험으로부터 보호해야 한다고 주장했다.
그의 개입은 책임 있는 혁신을 요구하는 일반적 호소보다 더 구체적이었다. Guterres는 고립된 개발 중단이 충분한 대응책이라는 견해를 거부하고, 고도 AI 역량을 보유한 국가들 간 접촉, 정보 교환, 공동 안전장치를 촉구했다. 이 입장은 제한 없는 경쟁과 개별 기업이 시스템적 위험을 단독으로 관리할 수 있다는 믿음 모두에 도전한다.
핵심 쟁점은 집행이다. 정부들은 대체로 AI가 안전하고 투명하며 책임성을 갖춰야 한다는 데 동의하지만, 누가 한계를 정해야 하는지를 두고는 견해가 갈린다. 개발 속도를 늦추는 것이 대중을 보호하는 일인지, 아니면 경제적·전략적 우위를 포기하는 일인지에 대해서도 의견이 다르다.
Guterres AI 가드레일, 논의를 자발적 개발 중단 너머로 이끌다
Guterres는 정부에 산발적인 약속을 프런티어 AI 위험을 탐지하고 관리하는 조율된 체계로 대체할 것을 요구하고 있다.
Guterres는 9월 기자회견에서 AI 개발이 사회의 위험 이해보다 더 빠르게 진행되고 있다고 말했다. 일부 개발자는 개발 중단을 요구했고, 더 많은 이들은 가드레일을 원한다고 그는 언급했다.
그의 대응은 즉각적인 전 세계 개발 중단을 지지하는 것이 아니었다. 대신 그는 자발적 개발 중단은 고립돼 있고, 검증할 수 없으며, 불균등하게 적용될 경우 실패할 것이라고 말했다. 한 연구소가 속도를 늦추더라도 다른 곳의 경쟁자들이 더 강력한 모델 개발을 계속한다면 효과는 미미하다.
이 구분이 제안의 성격을 규정한다. 개발 중단은 개발 속도에 초점을 두는 반면, 가드레일은 개발·테스트·배포가 진행될 수 있는 조건을 정한다. 이러한 조건에는 독립 평가, 사고 보고, 접근 통제, 보안 요건, 또는 추가 감독을 촉발하는 기준선이 포함될 수 있다.
Guterres는 완성된 규제 체계를 제시하지 않았다. 그는 역량이 계속 강화되는 시스템에 더 강한 안전장치가 언제 필요한지에 관한 공동의 이해를 촉구했다. 따라서 당면한 목표는 단일하고 세부적인 글로벌 법률이 아니라 정치적 조율이다.
그는 또한 정부에 일차적 책임을 부여했다. AI 기업이 시스템을 설계하고 운영하지만, 법적 권한, 외교 채널, 공적 책임성을 보유한 것은 정부다. 그의 주장은 실패가 기업의 본국 시장 밖 사람들에게 영향을 미칠 때 기업의 약속이 이런 기능을 대신할 수 없다는 것이다.
동일한 모델이 여러 국가의 사용자에게 서비스를 제공할 수 있기 때문에 국제적 차원은 중요하다. 사이버 역량, 기만적 합성 미디어 도구, 자동화 연구 시스템은 소프트웨어 접근을 통해 국경을 넘을 수 있다. 국내 규칙은 공급자를 제약할 수 있지만, 다른 곳에서 생성되거나 유통된 피해를 완전히 막을 수는 없다.
Guterres는 AI를 기후 위기와 심화하는 불평등과 함께 세계가 직면한 세 가지 실존적 위협 중 하나로 불렀다. 이 표현은 AI 거버넌스를 집단적 위험에 대한 유엔의 더 넓은 책임 안에 위치시키지만, 현존하는 모든 AI 시스템이 실존적 위험을 제기한다는 뜻은 아니다.
그는 다음 주 세계 지도자들과의 논의에서 AI가 주요 의제가 될 것이라고도 말했다. 그러나 총회 기간 중 즉각적인 AI 정상회의를 소집하자는 생각은 거부했다. 진지한 정상회의는 정부, 기업, 과학자, 시민사회의 준비와 참여를 필요로 한다.
이 신중한 일정은 중요하다. 하나의 외교 회의를 기술적·지정학적 문제의 해법으로 제시하는 일을 피하기 때문이다. 동시에 더 어려운 시험을 만든다. 유엔은 고위급 주간의 관심을 구체적이고 검증 가능한 약속을 만들어내는 절차로 전환해야 한다.
따라서 Guterres AI 가드레일 제안은 정책 질문을 바꾼다. 논의는 더 이상 고도 AI가 단순히 속도를 늦춰야 하는지에 그치지 않는다. 경쟁 압력이 자제를 정치적으로 받아들이기 어렵게 만들기 전에 정부가 공동의 발동 기준, 테스트 방법, 소통 채널을 마련할 수 있는지가 관건이다.
압박은 정부와 프런티어 AI 연구소에 집중된다
정부는 집행 가능한 안전 기대치를 정의해야 한다는 압박을 받고 있으며, AI 연구소는 신중하게 관리된 시연 환경 밖에서도 내부 통제가 작동함을 보여야 한다.
Guterres는 가장 강한 제도적 주장을 국가 정부를 향해 제기했다. 그는 시민을 AI 위협으로부터 보호하는 일을 정부의 기본 책임으로 설명했다. 이 입장은 안전 결정을 주로 개발자에게 맡기려는 정책 입안자들에게 도전한다.
이는 가장 강력한 범용 모델을 개발하는 조직, 즉 프런티어 연구소에도 압박을 가한다. 이들 기업은 안전 프레임워크, 모델 평가, 배포 정책을 자주 공개한다. 그러나 각 조직은 자체 기준선을 정의하고, 많은 테스트를 직접 선택하며, 공개할 증거의 양도 결정한다.
자발적 약속은 진정성 있게 이뤄졌더라도 공공정책으로서는 실패할 수 있다. 경쟁사마다 위험을 다르게 측정할 수 있다. 신규 진입자는 참여를 거부할 수 있다. 정부와 외부 연구자는 기업이 밝힌 절차를 따랐는지 검증하는 데 필요한 기술적 접근 권한이 부족할 수 있다.
경쟁 유인은 이 약점을 강화한다. 한 연구소가 추가 테스트를 위해 모델 출시를 늦추면 비용을 부담하게 되는 반면, 다른 개발자는 사용자, 수익, 인재, 전략적 영향력을 확보할 수 있다. 안전은 개별적으로 합리적인 결정이 전체적으로는 덜 안전한 결과를 만드는 집단행동 문제가 된다.
최근 업계 논쟁은 이러한 갈등을 보여준다. 일부 주요 경영진은 모델 평가, 모니터링, 제한적 형태의 조율된 속도 조절을 지지해 왔다. 다른 이들은 광범위한 제한이 기존 연구소에 권력을 집중시키거나 해외 경쟁자에게 유리하게 작용할 것이라고 경고한다.
이 분쟁은 단순히 안전 옹호자와 기술 기업 간의 대립이 아니다. AI 개발자들 사이에도 존재한다. 기업들은 어떤 위험을 우선시해야 하는지, 평가자가 어떻게 운영돼야 하는지, 정부가 경쟁을 얼어붙게 하지 않고 기술 작업을 감독할 수 있는지를 두고 서로 다르다.
한 가지 우려는 규제 포획이다. 소수의 대형 연구소가 글로벌 기준선을 정의하는 데 도움을 준다면, 그 규칙은 이들의 시스템, 자원, 상업적 이해관계를 반영할 수 있다. 기존 개발자에게는 감당 가능한 것으로 보이는 준수 비용이 소규모 기업과 학계 팀을 배제할 수도 있다.
Cohere CEO Aidan Gomez는 조율된 AI 속도 조절을 둘러싼 더 광범위한 논쟁에서 이러한 우려를 제기했다. 그는 중대한 영향을 미치는 기술의 규칙을 상업적으로 연계된 소수 기업이 작성해서는 안 된다고 주장했다. 그의 반론이 안전장치의 필요성을 없애는 것은 아니지만, 누가 이를 설계할 권한을 갖는지에는 의문을 제기한다.
독립 전문가들은 내재된 평가자가 진정으로 독립적일 수 있는지도 의문을 제기했다. 접근권, 자금, 지속적인 협력 면에서 기업에 의존하는 감사자는 불리한 결과를 보고할 때 제약을 받을 수 있다. 공동 표준은 외부인이 실제 작동 방식을 시험할 수 있을 때만 의미가 있다.
동시에 정부는 프런티어 개발에 대한 완전한 가시성을 갖고 있지 않다. 당국자는 모델이 위험한 역량을 언제 획득하는지, 내부 평가가 어떻게 구성됐는지, 또는 보고된 완화 조치가 배포 후에도 효과적인지 알지 못할 수 있다. 전문성은 기관과 국가 간에 불균등하게 분포돼 있다.
이러한 비대칭성은 연구소에 자신들을 규제하는 데 쓰이는 증거에 대한 영향력을 부여한다. 또한 Guterres가 정치적 조율을 독립적인 과학적 평가와 연결한 이유이기도 하다. 정책 입안자들은 기준선에 합의하거나 국가별 집행을 비교하기 전에 공동의 기술적 근거가 필요하다.
기업 구매자들도 관련 압박에 직면한다. 이들은 소프트웨어 개발, 연구, 고객 지원, 채용, 지식 업무에 AI를 점점 더 활용하고 있다. 글로벌 규제 분절화는 이들 조직이 시장마다 서로 다른 공개 및 준수 요건을 평가하도록 만들 수 있다.
우수한 내부 기록은 팀이 어떤 시스템이 민감한 정보를 처리했는지, 어떤 출력이 의사결정에 영향을 미쳤는지, 정책이 언제 변경됐는지를 이해하는 데 도움이 된다. 검색 가능한 AI 지식 베이스는 규제를 대체할 수 없지만, 감사와 사고 검토에 필요한 증거를 보존할 수 있다.
따라서 요구되는 대응은 두 갈래다. 정부는 국제 경쟁 속에서도 유지될 수 있는 집행 가능한 요건을 개발해야 한다. AI 연구소는 자사의 안전 주장에 대한 신뢰에 전적으로 의존하지 않는 형태의 테스트와 공개를 수용해야 한다.
글로벌 조율은 AI 경쟁과 충돌하고 있다
핵심 갈등은 조율된 안전과, 각국이 자제가 경쟁국에 이익을 줄 것이라고 우려하는 전략적 경쟁 사이에 있다.
Guterres는 지정학적 분열이 주요 국가들로 하여금 AI를 가능한 한 빠르게 개발하도록 몰아갈 수 있음을 인정했다. 이런 환경에서 한 정부는 다른 나라의 안전 제안을 대중 보호가 아니라 자국 역량을 제한하려는 시도로 볼 수 있다.
미국과 중국이 이 긴장의 중심에 있지만, Guterres는 조율이 두 강대국을 넘어 확장돼야 한다고 분명히 말했다. 다른 국가들도 고도 연구소, 반도체 공급망, 데이터센터, 연구기관, 상당한 규모의 기술 인재 풀을 보유하고 있다.
이들 정부를 단지 규칙 수용자로 취급하는 보편적 프레임워크는 작동할 수 없다. 컴퓨팅 역량이 더 적은 국가들도 고유한 이해관계를 갖고 있다. 이들은 AI의 경제적 이익에 대한 접근, 표준 설정 과정에서의 대표성, 다른 곳에서 구축된 시스템으로부터의 보호를 원한다.
이 때문에 AI 거버넌스는 단순한 제품 안전 체제와 다르다. 기반 기술은 과학 연구, 군사 계획, 사이버 작전, 산업 경쟁력, 정보 시스템에 영향을 미친다. 정부들은 동일한 모델에서 상업적 기회와 국가적 힘을 모두 본다.
미국은 중국에 대한 리더십 유지와 국내 개발자를 약화시키는 제한 회피를 강조해 왔다. 광범위한 속도 조절 조치에 대한 정치적 저항은 일자리, 투자, 국방, 전략적 우위에 대한 우려를 반영한다. 이는 중앙집중적 국제 통제에 대한 회의론도 반영한다.
중국 역시 자체적인 안보, 개발, 거버넌스 우선순위를 갖고 있다. 의미 있는 글로벌 합의에는 양측이 모두 신뢰할 수 있다고 여기는 장치가 필요하다. 책임 있는 AI에 관한 일반적 선언만으로는 모델 접근, 반도체 통제, 검사, 민감한 기술 정보에 관한 분쟁을 해결할 수 없다.
Guterres는 냉전기의 소통을 역사적 참고 사례로 들었다. 미국과 소련은 심각한 적대 관계에도 불구하고 접촉을 유지하고 위험 감소 조치를 협상했다. 이 비유는 정치적 정렬을 요구하지 않으면서도 경쟁국 간 제한적 조율을 뒷받침한다.
그러나 AI는 핵무기와 동일하지 않다. 최첨단 개발은 민간 기업, 연구기관, 클라우드 제공업체, 정부에 분산되어 있다. AI 시스템은 주요 무기 플랫폼보다 더 빠르게 복제·수정·배포되기도 한다.
여기서 얻을 수 있는 교훈은 더 제한적이다. 사고, 오판 또는 통제되지 않은 경쟁이 양측 모두를 위협할 때 경쟁국들은 소통 채널을 만들 수 있다. AI 분야에서는 이러한 채널이 사고 통지, 공통 평가 개념, 또는 이례적으로 위험한 역량을 지닌 시스템 배포 전 협의를 뒷받침할 수 있다.
유용한 합의는 관찰 가능한 행동을 식별해야 한다. 정부는 연구소들이 사이버 또는 생물학적 위험을 어떻게 평가하는지 비교하고, 중대한 사고의 보고 요건을 정의하거나, 관할권 간 동등한 시험 절차를 인정할 수 있다.
검증은 여전히 어렵다. 새로운 프롬프팅, 도구 접근, 파인튜닝 또는 외부 시스템과의 상호작용을 통해 모델 역량이 나타날 수 있다. 통제된 시험에서 관리 가능한 것으로 보인 모델도 배포되거나 자율 워크플로에 통합된 뒤에는 다르게 행동할 수 있다.
정보 공유는 또 다른 상충 관계를 낳는다. 규제기관은 안전성을 평가할 만큼의 접근권이 필요하지만, 기업과 정부는 지식재산과 국가안보를 보호하려 한다. 제한 없는 공개를 요구하는 프레임워크는 저항에 부딪힐 것이다. 기밀 주장을 그대로 받아들이는 프레임워크는 신뢰성을 잃게 된다.
유럽연합은 지역적 대안을 보여준다. AI Act는 범용 AI와 시스템적 위험에 영향을 미치는 요건을 포함해 제공업체와 배포업체에 법적 의무를 부과한다. 유럽 당국은 공식 AI Act framework에 따라 2026년 8월 관련 조항의 집행을 시작했다.
이 시스템은 구체적인 규제 모델을 제공하지만, 글로벌 공조는 아니다. 이는 유럽의 법적 권한과 시장 접근을 통해 적용된다. 다른 관할권은 서로 다른 기준치, 집행 구조, 정의를 채택할 수 있다.
이 대조는 구테흐스 AI 가드레일의 목적을 분명히 한다. 이는 반드시 지역 또는 국가 법률을 대체하려는 것은 아니다. 실질적 가치는 어느 국가 규제기관도 단독으로 관리할 수 없는 심각한 위험을 위한 최소한의 공통 언어를 확립하는 데서 나올 것이다.
UN은 과학적 기반을 갖추고 있지만 글로벌 규제기관은 없다
UN은 공동의 증거와 대화를 위한 기구를 구축했지만, 이들 기구는 AI 규칙을 집행하거나 연구소에 민감한 정보 공개를 강제할 수 없다.
구테흐스의 제안은 제도적 공백에서 나온 것이 아니다. 2024년 9월 UN 회원국들은 미래를 위한 협약의 일부로 글로벌 디지털 콤팩트를 채택했다. 이 합의는 국제 협력, 인간의 감독, 책임성, 증거 기반 AI 거버넌스를 요구했다.
Global Digital Compact는 또한 정부들이 독립 과학 패널과 글로벌 정책 대화를 마련하기로 약속했다. 이 메커니즘은 기술적 증거를 국가 및 기타 이해관계자 간 협상과 연결하도록 설계됐다.
총회는 2025년 8월 26일 이 약속을 진전시켰다. 결의 A/RES/79/325는 AI 독립 국제 과학 패널과 AI 거버넌스 글로벌 대화를 설립했다. 이 결의는 표결 없이 채택되어 해당 기구들에 대한 폭넓은 지지를 보여줬다.
패널은 개인 자격으로 활동하는 40명의 위원으로 구성된다. 이들은 UN의 5개 지역 모두에서 왔으며 학계, 산업계, 시민사회, 기술 분야의 전문성을 갖추고 있다. 선정은 140개국이 넘는 국가에서 2,600건 이상의 지원을 끌어모은 공개 공모를 거쳐 이뤄졌다.
그 임무는 AI의 기회, 위험, 영향에 관한 연례 증거 기반 평가를 작성하는 것이다. 보고서는 정부가 산업계, 연구자, 시민사회, 기술 커뮤니티와 거버넌스 접근법을 논의할 수 있는 글로벌 대화에 정보를 제공하도록 마련됐다.
패널의 예비 보고서는 정신건강 피해, 파괴적 활용, 사회·환경 시스템에 미치는 영향, 첨단 기술 통제의 어려움 등 대규모 AI 배포와 관련된 위험을 식별했다. 이 범주는 외교관들이 어떤 위험이 공동 대응을 요구하는지 결정할 출발점을 제공한다.
이 구조는 국제 AI 논의에서 반복되는 한 가지 약점을 다룬다. 정부는 종종 양립할 수 없는 정의, 비공개 증거 또는 추측성 주장에 의존한 채 협상한다. 공동의 과학적 평가는 전문가들이 어디에서 의견을 같이하는지, 증거가 어디에서 여전히 제한적인지, 어떤 평가 방식이 개선돼야 하는지를 명확히 할 수 있다.
그러나 패널은 명시적으로 규제기관이 아니다. UN의 panel mandate에 따르면, 패널은 규칙을 부과하거나 기준을 집행하거나 구속력 있는 정책을 처방할 수 없다. 그 영향력은 작업의 질과 정부의 행동 의지에 달려 있다.
글로벌 대화에도 비슷한 한계가 있다. 참여를 확대하고 공동의 이해를 발전시킬 수는 있지만, 국가에 법률 채택을 강제할 수는 없다. 또한 AI 개발자에게 모델 가중치, 학습 세부사항, 내부 시험 결과 또는 외부 평가자의 접근권 제공을 강제할 수도 없다.
이는 이 글의 핵심 상충 관계를 만든다. 포용적 기구는 특히 소규모 기술 포럼에서 배제된 국가들의 정당성을 높인다. 하지만 보편적 참여는 합의를 늦추고, 상충하는 국가적 입장을 수용할 만큼 광범위한 문구를 만들어낼 수 있다.
더 좁은 연합은 더 빠르게 움직일 수 있다. 최첨단 연구소와 고도화된 컴퓨팅 인프라를 보유한 국가들은 기술 표준이나 긴급 소통 메커니즘을 마련할 수 있다. 그러나 그러한 집단은 AI 개발을 통제하지 못하면서도 그 영향을 받는 국가들을 주변화할 수 있다.
구테흐스는 두 층위를 모두 추구하는 것으로 보인다. UN 패널은 글로벌 과학 평가를 제공하고, 역량 있는 국가들은 보다 직접적인 접촉과 공통 가드레일을 마련할 수 있다. 이후 더 폭넓은 회원국은 정당성, 접근성, 개발, 인권에 미치는 영향을 논의할 수 있다.
이 접근법은 과학적 평가, 정치적 협상, 국가별 집행을 분리하는 다른 국제 위험 체제와 닮아 있다. 하나의 기구가 모든 기능을 수행할 수 있다고 가장하지 않는다. 동시에 진전이 멈출 수 있는 지점도 여러 곳 만든다.
과학적 합의가 자동으로 정치적 합의를 낳지는 않는다. 정부는 어떤 역량이 위험하다는 데 동의하면서도 이를 측정하는 방법에는 이견을 보일 수 있다. 시험을 수용하면서도 검사를 거부할 수 있다. 보고를 지지하면서도 국가안보를 이유로 사고를 숨길 수 있다.
따라서 UN의 기반은 의미 있지만 불완전하다. 증거와 협상을 조직할 수는 있다. 그러나 경쟁이 격화될 때 가장 역량 있는 연구소나 정부가 동일한 규칙을 따를 것이라고 보장할 수는 아직 없다.
가장 어려운 질문은 자제를 어떻게 검증할 것인가다
관찰 가능한 기준치, 독립 시험, 위반에 대한 결과가 없는 가드레일은 또 하나의 자발적 약속에 불과하다.
구테흐스는 검증을 일방적 중단의 핵심 약점으로 지목했다. 그가 지지하는 어떤 대안에도 같은 기준이 적용된다. 조율된 안전장치는 무엇을 측정하는지, 누가 증거를 검토할 수 있는지, 참여자가 의무를 지키지 못했을 때 어떤 일이 일어나는지를 명시해야 한다.
첫 번째 과제는 규제 대상 역량을 정의하는 일이다. 모델 규모와 학습 컴퓨팅은 많은 하류 행동보다 쉽게 측정할 수 있지만, 위험을 완벽하게 예측하지는 못한다. 더 작은 모델도 도구, 특화 데이터 또는 파인튜닝을 통해 상당한 역량을 얻을 수 있다.
역량 시험에도 한계가 있다. 연구소는 모델이 사이버 공격이나 생물학 연구를 지원할 수 있는지 평가할 수 있지만, 성능은 프롬프트, 접근권, 스캐폴딩, 평가자 역량에 따라 달라진다. 하나의 벤치마크를 통과했다고 해서 실제 배포 전반의 안전성이 입증되는 것은 아니다.
두 번째 과제는 평가자의 독립성이다. 기업은 필수적인 기술 지식과 시스템 접근권을 보유하고 있어 평가에는 협력이 필요하다. 하지만 제공업체가 통제하는 평가는 외부 기관이 설계하고 검토한 평가와 같은 신뢰성을 가질 수 없다.
정부는 공인 평가자를 승인하거나, 보안 시험 환경을 구축하거나, 규제기관에 대한 기밀 보고를 요구할 수 있다. 이러한 선택지는 감독을 제공하면서 민감한 정보를 보호한다. 그럼에도 명확한 이해충돌 규칙과 충분한 기술적 역량에 의존한다.
세 번째 과제는 국제적 비교 가능성이다. 한 국가가 사이버 위험을 평가하고 다른 국가가 허위정보에 초점을 맞춘다면, “안전”과 같은 공동의 라벨은 거의 아무것도 알려주지 못한다. 공통 가드레일에는 최소 시험 범주, 문서화 기준, 사고 정의가 필요하다.
네 번째 과제는 시점이다. 출시 전 평가는 시험 조건에서 모델의 알려진 행동만 포착한다. 사용자가 모델을 소프트웨어 도구, 민감한 데이터베이스, 금융 시스템 또는 물리 장비와 연결하면 배포 후에 위험이 나타날 수 있다.
따라서 배포 후 모니터링은 출시 전 검토를 보완해야 한다. 제공업체와 배포업체는 심각한 실패를 기록하고, 관련 발견을 공유하며, 보호 장치를 업데이트하는 절차가 필요하다. 규제기관에도 증거가 바뀔 때 시정 조치를 요구할 권한이 필요하다.
다섯 번째 과제는 결과다. 참여자가 시장 접근, 라이선스, 공공 계약, 컴퓨팅 자원 또는 다른 의미 있는 혜택을 잃지 않고 기준치를 무시할 수 있다면, 합의는 거의 가치가 없다. 집행은 행동을 바꿀 만큼 신뢰할 수 있어야 한다.
그러나 강경한 집행은 의도치 않은 효과를 낳을 수 있다. 주요 연구소의 자원을 기준으로 만든 규칙은 기존 사업자의 지위를 고착시킬 수 있다. 오픈 모델에 대한 제한은 독립 연구를 제한하는 동시에 폐쇄형 제공업체에 더 큰 통제권을 남길 수 있다.
거버넌스는 보호무역주의의 가면이 될 수도 있다. 한 국가는 투명한 증거 없이 외국 모델을 안전하지 않다고 낙인찍을 수 있다. 한 기업은 자사 아키텍처보다 경쟁사에 더 큰 부담을 주는 기준을 지지할 수 있다.
이런 우려는 단계적 접근을 뒷받침한다. 정부는 피해가 심각하고, 시험이 가능하며, 이해관계가 겹치는 좁은 영역에서 시작할 수 있다. 예로는 생물무기 제작을 지원하는 행위에 대한 제한이나 주요 모델 기반 사이버 사고 보고 요건이 있다.
공동 훈련을 통해 상호 신뢰를 구축할 수도 있다. 독립 팀은 보호된 조건에서 같은 위험 범주에 대해 비교 가능한 모델들을 시험할 수 있다. 규제기관은 민감한 기술 세부사항의 공개를 요구하지 않고도 결과를 비교할 수 있다.
이러한 조치 중 어느 것도 미래 시스템에 대한 통제를 보장하지는 않는다. 옥스퍼드대 기술 규제 연구자 산드라 바흐터는 현재의 지정학적 조건에서 광범위한 글로벌 공조는 매우 비현실적이라고 설명했다. 이 회의론은 각주처럼 다뤄지기보다 중심에 남아야 한다.
따라서 구테흐스 AI 가드레일 제안은 집행 가능한 시스템이 이미 존재한다는 증거가 아니다. 이는 정부가 검증 문제에 정면으로 맞설 것을 요구하는 주장이다. 성공의 기준은 또 하나의 원칙 선언이 아니다. 고위험 시스템이 어떻게 시험되고, 출시되며, 모니터링되는지를 바꾸는 관찰 가능한 협력이다.
세 가지 신호가 협력이 현실이 되는지를 보여줄 것이다
다음 시험대는 정치적 관심이 구체적인 기구, 기술 절차, 그리고 최첨단 개발을 이끄는 국가와 기업의 참여로 이어지는지 여부다.
첫 번째 신호는 총회 고위급 주간 동안 이뤄지는 구테흐스의 논의 내용이다. 안전한 AI에 대한 일반적 지지는 큰 의미를 더하지 못할 것이다. 더 강한 신호는 역량 있는 국가들이 정기적 접촉을 구축하고, 심각한 사고에 관한 정보를 교환하거나, 공통 평가 범주를 개발하기로 합의하는 것이다.
참여는 언어만큼 중요하다. 미국이나 중국 중 어느 한쪽이라도 배제하는 절차로는 Guterres가 설명한 전략 경쟁을 관리할 수 없다. 또한 첨단 연구, 컴퓨팅 인프라, 규제 역량을 갖춘 다른 국가들의 의견도 필요하다.
각국 정부가 참여국을 명시하고 범위를 정한 지속적 협의 채널을 발표한다면, 핵심 주장은 힘을 얻는다. 반대로 포괄적 선언만 내놓는다면 외교적 우려와 실질적 공조 사이의 간극은 그대로 남는다.
두 번째 신호는 Independent International Scientific Panel이 예비 작업을 반복 가능한 평가 체계로 어떻게 전환하는지다. 연례 보고 의무는 공동의 사실 기반을 만들 수 있지만, 이를 위해서는 증거의 질, 해소되지 않은 이견, 실무적 평가 방법을 설명해야 한다.
이 패널은 규제기관, 연구자, 기업이 그 분류 체계를 실제로 활용할 수 있는지로 평가받아야 한다. 입증된 피해와 불확실한 미래 위험을 구분하는 보고서는 정책 논의를 강화할 것이다. 명확한 방법론은 정부가 기존 입장을 뒷받침하는 결과만 선택하기도 어렵게 만든다.
패널의 독립성도 면밀히 검토할 필요가 있다. 위원들은 개인 자격으로 활동하며 관련 이해관계를 공개해야 하지만, 패널은 최첨단 시스템과 최신 증거에도 접근할 수 있어야 한다. 신뢰도는 투명한 방법론과 과도한 경고 및 위험 축소 주장을 모두 비판하려는 분명한 의지에 달려 있다.
패널이 정부가 채택하는 유용한 테스트 개념을 발표한다면, UN 절차는 단순한 소집을 넘어선 것이 된다. 반대로 국가 규제기관 및 연구실 평가와 동떨어진 채 남는다면 그 영향력은 주로 자문 수준에 머물 것이다.
세 번째 신호는 정부가 공동 약속에 검증과 결과를 부여하는지 여부다. 독립 평가, 표준화된 사고 보고서, 보호된 규제기관 접근권, 더 강력한 안전장치를 발동하는 명확한 기준을 주시해야 한다.
AI slowdown debate는 이미 테스트와 모니터링을 둘러싼 잠정적 합의를 보여준다. 동시에 전면적 속도 조절, 감사인의 독립성, 경쟁, 표준 설정에 대한 통제권을 두고 깊은 견해차도 드러낸다.
좁은 범위라도 검증 가능한 합의가 야심차지만 집행 불가능한 중단보다 더 중요하다. 정부는 재앙적 사이버 또는 생물학적 오용에 대한 모델 평가부터 시작해, 기밀 보고와 중대한 사고에 대한 공조 대응으로 나아갈 수 있다.
결과가 부재하면 그 신호는 약해진다. 참여자가 증거를 보류하거나 모델이 기준을 통과하지 못한 뒤 임계값을 재정의할 수 있게 하는 약속은 Guterres가 비판한 자율적 시스템을 재현하게 된다.
규제의 파편화는 준수 비용을 높이고 글로벌 배포를 복잡하게 만들기 때문에 기업은 이러한 전개를 주시해야 한다. 안전 기준은 컴퓨팅 접근, 테스트 요건, 출시 일정, 법적 책임에 영향을 줄 수 있으므로 개발자도 관심을 가져야 한다.
지식 노동자와 일반 사용자 역시 이해관계가 있다. 가드레일은 AI 생성 콘텐츠의 표시 여부, 자동화된 결정에 대한 인간 검토 여부, 모델이 심각한 피해를 낼 때 제공업체의 대응 방식에 영향을 미칠 수 있다. 잘못 설계된 규칙은 최고 위험 시스템을 해결하지 못한 채 유용한 도구를 제한할 수도 있다.
모든 국가가 동일한 AI 법률을 채택할지가 쟁점은 아니다. 그런 결과는 현실적이지도, 필요하지도 않다. 당면한 질문은 경쟁 관계의 정부들이 어느 누구도 홀로 마주하고 싶어 하지 않는 소수의 위험에 합의할 수 있는지다.
Guterres는 선택지를 분명히 제시했다. 고립된 자제만으로는 국경 없는 기술을 통제할 수 없으며, 제한 없는 경쟁은 최저 수준을 향한 경쟁을 부른다. 이제 각국 정부는 Guterres AI 가드레일이 또 하나의 외교적 열망이 아니라 측정 가능한 의무가 될 수 있는지 보여줘야 한다.
다음 세 가지 움직임을 지켜보라. 최첨단 AI 국가들 간의 공식 소통, UN 과학 패널의 기술적으로 유용한 작업, 독립 검증으로 뒷받침되는 약속이다. 이러한 신호는 글로벌 협력이 경쟁을 실제로 제약하기 시작했는지, 아니면 그 위험을 묘사하는 데 그치는지를 드러낼 것이다.
