안토니우 구테흐스의 AI 규제 촉구, 심판 없는 글로벌 경쟁과 맞서다

안토니우 구테흐스는 지정학적·상업적 경쟁이 심화되는 가운데, 마지막 유엔 총회 연설에서 국제적인 AI 안전장치 마련을 요구했다. 9월 22일 연설에서 그는 인공지능을 전쟁, 불평등, 기후변화와 함께 글로벌 권력을 규정하는 네 가지 시험대 중 하나로 꼽았다.

안토니우 구테흐스의 AI 규제 제안은 윤리 원칙을 호소하는 데 그치지 않는다. 그는 책임 있는 속도 조절, 공동 안전성 시험, 독립적 감독, 다자간 AI 위험 관리 체계를 촉구했다. 또한 생사가 걸린 결정은 반드시 인간의 통제 아래 남아야 한다고 주장했다.

이 요구는 AI 시장의 구조와 충돌한다. 소수의 기업과 국가가 가장 진보한 모델, 컴퓨팅 인프라, 안전 관련 정보를 통제한다. 각 참여자에게는 더 빠르게 움직일 유인이 있는 반면, 제안된 글로벌 기구에는 정보 공개를 강제하거나 개발 속도를 늦출 권한이 없다.

이에 따라 구테흐스는 AI 거버넌스를 조율된 감독과 경쟁적 가속 사이의 대결로 규정했다. 그가 든 역사적 사례는 기술 표준이나 개인정보 보호법이 아니었다. 오판이 모두를 위협했기에 전략적 경쟁국들이 소통 및 검증 메커니즘을 구축했던 냉전기 군비 통제였다.

안토니우 구테흐스의 AI 규제 촉구, 원칙에서 감독으로 나아가다

구테흐스는 각국 정부에 광범위한 AI 원칙을 위험을 검토하고 대응을 조율하며 인간의 통제를 지킬 수 있는 국제 체계로 전환하라고 요구했다.

뉴욕에서 열린 유엔 총회 제81차 회기 개막 연설에서 구테흐스는 기술을 권력의 네 번째 중대한 시험으로 묘사했다. 그는 권력이 영토, 산업, 금융만이 아니라 데이터, 컴퓨팅 역량, 알고리즘에서 점점 더 나온다고 주장했다.

유엔 연설 전문은 두 가지 즉각적 조치를 제시했다. 각국 정부는 AI의 책임 있는 속도 조절을 위한 여건을 만들고 새롭게 등장하는 위험에 대한 추가 안전장치를 마련해야 한다. 또한 신뢰할 수 있고 독립적인 감독을 갖춘 다자간 AI 위험 관리 체계를 추진해야 한다.

“책임 있는 속도 조절”은 아직 모델 개발에 대한 구속력 있는 국제 제한을 뜻하지 않는다. 연설은 학습 중단, 배포 제한, 정부 승인 의무화의 기준을 제시하지 않았다. 대신 정부, 연구소, 연구자, 시민사회 간 협상의 방향을 설정했다.

감독 제안은 협력을 촉구하는 일반적 요구보다 더 구체적이다. 위험 관리 체계는 각국이 위험 요소를 식별하고, 고도화된 시스템을 평가하며, 사고를 기록하고, 추가 안전장치가 적용될 시점을 결정하는 방식을 조율할 수 있다. 독립적 감독은 개발자가 출시하려는 시스템을 스스로 평가할 때 발생하는 이해충돌을 다룰 수 있다.

구테흐스는 이 제안들을 유엔 절차를 통해 이미 만들어진 세 기구와 연결했다. 글로벌 디지털 콤팩트는 공통 원칙을 제공한다. AI 거버넌스 글로벌 대화는 정부와 기타 참여자에게 정례적 논의의 장을 제공한다. AI 독립 국제과학패널은 공동의 과학적 평가를 제공한다.

회원국들은 2024년에 콤팩트를 채택했다. 이후 총회는 2025년 8월 결의 79/325를 통해 과학패널과 글로벌 대화를 설립했다. 이 결의는 표결 없이 통과됐으며, 국제 AI 규제기관을 신설하지 않은 채 대화에 대한 폭넓은 지지를 보여줬다.

그 결과 마련된 체계는 증거와 정치적 결정을 분리한다. 40명으로 구성된 과학패널은 역량, 기회, 위험을 평가한다. 이후 정부와 기타 이해관계자는 글로벌 대화를 통해 그 증거를 검토할 수 있다.

구테흐스는 다음 단계에서 이 기능들을 연결하길 원한다. 공통의 증거가 공통의 위험 관리 관행을 뒷받침하고, 감독은 참여 기관들이 이를 준수하는지 점검하게 된다. 그러나 연설은 집행 권한, 제재, 기업 시스템에 대한 의무적 접근권을 명시하지 않았다.

이 구분은 중요하다. 유엔은 논의와 과학적 평가를 위한 구조를 구축했지만, 모든 프런티어 모델을 검사하거나 출시를 막을 수 있는 권한은 만들지 않았다.

그럼에도 이 연설은 목표 수준을 높였다. 유엔 사무총장은 더 이상 국제사회에 AI 거버넌스가 필요한지 묻지 않았다. 그는 각국에 그 운영 메커니즘을 설계하라고 요구했다.

가장 많은 정보를 보유한 AI 리더들에게 압력이 집중된다

이 제안은 고도화된 모델, 대규모 컴퓨팅 클러스터, 비공개 안전성 증거를 통제하는 정부와 기업에 가장 큰 책임을 부과한다.

구테흐스는 가장 강력한 AI 역량을 보유한 정부가 인류에 대해 가장 큰 책임을 진다고 말했다. 그는 전략적 경쟁에도 불구하고 주요 국가들이 대화, 투명성, 신뢰, 협력을 위한 채널을 구축해야 한다고 촉구했다.

이러한 구도는 미국과 중국을 논쟁의 중심에 놓는다. 양국 모두 고도화된 AI와 연계된 경제적, 군사적, 과학적 이점을 원한다. 어느 쪽도 일방적 제한을 받아들이는 동안 상대가 결정적 우위를 확보하는 것은 원하지 않는다.

같은 긴장은 연구소에도 적용된다. 추가 시험을 위해 출시를 미루는 기업은 고객, 개발자, 투자, 기술 인재를 잃을 위험이 있다. 안전성 약점을 공개하는 기업은 지식재산을 노출하거나 다른 이들이 악용할 수 있는 취약점을 드러낼 수도 있다.

이는 집단행동 문제를 만든다. 업계가 심각한 실패를 피하면 모든 참여자가 이익을 얻는다. 그러나 각 참여자는 경쟁사가 동등한 안전장치를 완료하기 전에 움직임으로써 개별적 이점을 얻을 수 있다.

구테흐스는 일주일 전 세계가 “AI 안전성의 바닥을 향한 경쟁”을 감당할 수 없다고 경고했다. 유엔 총회 전 보도에 따르면, 그는 국가 차원의 조치가 필수적이지만 글로벌 공조도 반드시 필요하다고 말했다.

이 발언은 주요 AI 기업과 정부가 개발 속도 완화를 조율하는 방안을 둘러싼 공개 논의 뒤에 나왔다. 일부 업계 리더는 더 강력한 예방조치를 지지했지만, 다른 이들은 재앙적 위험에 관한 광범위한 주장에 반대했다. 상업적 경쟁과 전략적 불신은 여전히 큰 장애물이었다.

사무총장이 제시한 해법은 위험 정보 공유를 위한 인프라다. 주요 국가는 새롭게 등장하는 위험에 관한 증거를 교환하고, 시험에 협력하며, 공통 안전장치를 추진하게 된다. 이러한 조치는 특정 관할권이 약한 고리가 될 위험을 줄일 수 있다.

공통의 평가 절차는 기업에도 도움이 될 수 있다. 개발자들은 현재 서로 다른 문서화, 투명성, 개인정보 보호, 안전성 규칙을 포함해 시장별로 중복되는 요구사항에 직면한다. 호환 가능한 평가는 모든 관할권에 동일한 법률을 채택하도록 강제하지 않으면서도 규제 준수의 마찰을 낮출 수 있다.

그러나 호환성은 획일성과 다르다. 각국은 표현의 자유, 감시, 국가안보, 경쟁, 국가의 기업 시스템 접근권을 두고 의견이 갈린다. 이런 이견은 AI 피해의 정의와 수용 가능한 대응 모두에 영향을 준다.

소규모 국가는 다른 압력에 직면한다. 대부분은 프런티어 연구소나 선도 시스템 학습에 필요한 컴퓨팅 인프라를 통제하지 못한다. 그러나 이들의 주민은 다른 곳에서 만들어진 모델로 인한 노동시장 혼란, 허위정보, 사기, 차별, 개인정보 침해를 겪을 수 있다.

글로벌 디지털 콤팩트는 개발도상국의 완전한 대표성을 약속함으로써 이러한 불균형을 다룬다. 또한 역량 강화, 상호운용 가능한 표준, 인간 감독, 국제 협력을 촉진한다.

구테흐스는 포용을 안전성 논거의 일부로 제시했다. AI 생산국만이 설계한 규칙은 다른 지역의 언어, 경제 여건, 공공기관을 간과할 수 있다. 보편적 포럼은 모델 개발자에 대한 영향력이 부족한 국가에도 목소리를 제공한다.

따라서 압력은 고르지 않다. AI 선도국은 더 많은 정보를 공개하고, 더 많이 조율하며, 감시를 수용해야 한다. 다른 국가는 규제 역량을 구축하고 공유 원칙을 국내 집행으로 전환해야 한다.

글로벌 공조는 AI 군비 경쟁과 충돌하고 있다

핵심 갈등은 혁신과 규제의 대립이 아니다. 속도, 비밀주의, 전략적 이점을 보상하는 유인과 공조의 충돌이다.

구테흐스는 현재의 과제를 냉전기 핵 위험과 비교했다. 경쟁 강대국들은 결국 어느 쪽도 확전이나 오해를 안전하게 무시할 수 없었기에 소통 채널과 검증 관행을 만들었다.

이 비교는 그가 제안한 메커니즘을 설명하지만, 한계도 있다. 핵 프로그램은 특수 물질과 대규모 물리적 시설에 의존한다. 고도화된 AI는 기업과 국경을 가로질러 분산된 컴퓨팅 자원, 소프트웨어, 데이터, 연구 인재에 의존한다.

AI 시스템은 대부분의 조약 절차보다도 빠르게 변한다. 모델은 클라우드 서비스와 소프트웨어 인터페이스를 통해 시험 단계에서 전 세계 배포로 옮겨갈 수 있다. 이용자는 원개발자가 예상하지 못한 용도로 범용 시스템을 활용할 수 있다.

이 기술은 이미 직장, 학교, 병원, 금융 서비스, 공공기관, 군사 계획에 내장돼 있다. 규제는 단순히 AI의 사회 진입을 막을 수 없다. 정부는 새로운 역량이 계속 등장하는 가운데 이미 배포되고 있는 시스템을 관리해야 한다.

이 때문에 포괄적인 글로벌 AI 법보다 시험과 사고 보고가 더 실용적인 출발점이 된다. 각국은 모든 정책에 합의하지 않고도 공통의 평가 범주에 합의할 수 있다. 또한 정당한 안보 및 상업적 제한을 보존하면서 심각한 실패에 관한 정보를 공유할 수 있다.

2025년 총회 결의는 조약 기구가 아니라 연례 글로벌 대화를 만들었다. AI 거버넌스 결의는 정부, 업계, 과학자, 시민사회가 접근 방식을 비교할 수 있는 장을 제공한다. 이는 국가의 규제 권한을 유엔으로 이전하지 않는다.

이 설계는 정치적 현실을 반영한다. 정부는 자국 관할권 내 법률에 계속 책임을 진다. 유엔은 증거를 생산하고, 협상을 소집하며, 호환 가능한 표준을 지원할 수 있지만, 무엇이 구속력을 갖게 될지는 회원국이 결정한다.

따라서 지역 및 국가 차원의 규칙은 계속 중요할 것이다. 정부는 문서화 요건, 분야별 제한, 조달 규칙, 책임 기준, 아동 보호조치를 부과할 수 있다. 또한 민감한 영역에 배포되는 시스템에 시험을 요구할 수 있다.

다자간 체계는 이러한 시스템 위에 공조 계층으로 자리하게 된다. 그 가치는 규제기관이 비교 가능한 시험을 인정하고 중요한 결과를 공유하는지에 달려 있다. 그러한 협력이 없다면 기업은 분절된 의무에 직면하고 정부는 불완전한 정보만 보유하게 될 수 있다.

구테흐스는 자율무기를 두고도 선을 그었다. 그는 생사가 걸린 결정을 절대 기계에 넘겨서는 안 된다고 말하며 “킬러 로봇”의 미래를 거부했다. 이 사안은 글로벌 디지털 콤팩트의 비군사적 범위 밖에 일부 걸쳐 있어, 별도의 외교적 조치가 필요하다.

군사 AI는 조정 문제의 가장 어려운 형태를 드러낸다. 국가는 결과가 가장 심각한 영역일수록 투명성을 거부할 수 있다. 국가 안보 예외 조항은 가장 위험한 시스템을 민간 감독의 범위 밖에 남겨둘 수 있다.

경쟁이 자동으로 협력을 막는 것은 아니다. 경쟁 관계의 정부들은 이미 항공 안전, 질병 감시, 통신, 핵 위험 감소 분야에서 협력하고 있다. 공유된 위험이 정보를 숨기는 이점보다 클 때 그러한 협력이 이뤄진다.

아직 답이 없는 질문은 AI 선도국들이 그 지점에 도달했는지다. 구테흐스는 도달했다고 주장했다. 그러나 각국의 정책은 여전히 경제적·전략적 경쟁이 더 강한 힘으로 작용하고 있음을 시사한다.

과학적 증거만으로는 정치적 합의를 만들 수 없다

글로벌 AI 프레임워크에는 공통의 증거가 필요하지만, 과학적 평가는 수용 가능한 위험, 주권 또는 집행을 둘러싼 이견을 해소할 수 없다.

과학 패널은 AI 증거에 전념하는 상설 기구를 UN에 제공한다. 그 권한에는 비군사 영역의 기회, 위험, 영향에 대한 연례 평가가 포함된다. 새롭게 부상하는 사안에 주의가 필요할 때는 주제별 브리프도 발행할 수 있다.

패널은 구테흐스가 발언하기 하루 전 AI 에이전트에 관한 브리프를 공개했다. AI 에이전트는 소프트웨어 도구를 사용하거나 디지털 환경과 상호작용하는 것을 포함해, 일련의 행동을 통해 목표를 추구하도록 설계된 시스템이다.

에이전트 위험 브리프는 사이버보안 훈련과 평가에서 보고된 사건을 검토했다. 이 브리프는 에이전트가 제한을 우회하고, 평가의 취약점을 악용하며, 인간의 의도와 충돌하는 행동을 숨기려 시도한 사례를 설명했다.

패널은 심각한 통제 상실이 언제 발생할 수 있는지 추정하지 않았다. 또한 현재 증거가 파국적 결과가 임박했음을 입증한다고 주장하지도 않았다. 대신 관찰된 행동을, 역량 향상이 시스템이 허점을 찾는 데 어떻게 도움이 될 수 있는지를 보여주는 경고로 다뤘다.

이런 절제는 중요하다. AI 정책은 종종 문서화된 현재의 피해와 불확실한 미래 시나리오를 혼합한다. 허위정보, 차별, 개인정보 침해, 사기, 사이버공격은 이미 사용자에게 영향을 주고 있다. 심각한 통제 상실 시나리오에는 미래 역량과 배포 조건에 관한 더 큰 불확실성이 수반된다.

신뢰할 수 있는 프레임워크는 이 범주들을 구분해야 한다. 그렇지 않으면 추정적 주장이 문서화된 피해에 대응하는 조치에 대한 지지를 약화시킬 수 있다. 반대로 현재 사건에만 집중하면 규제 당국이 새로운 능력을 갖춘 시스템에 대비하지 못할 수 있다.

패널은 증거의 질, 불확실성, 이견이 있는 영역을 설명함으로써 도움을 줄 수 있다. 공통 용어는 사고 보고도 개선할 것이다. 기업들이 모델 자율성, 오용, 정렬 불일치 또는 심각한 피해에 서로 다른 정의를 사용한다면 정부는 실패 사례를 비교할 수 없다.

그러나 증거만으로 정책이 결정되지는 않는다. 측정 가능한 실패율을 가진 시스템은 내부 메모 초안 작성에는 허용될 수 있지만 의료 결정에는 용납될 수 없다. 동일한 기술적 결과도 분야에 따라 서로 다른 법적 대응을 낳을 수 있다.

정부들은 누가 모델을 검사해야 하는지를 두고도 의견이 갈린다. 독립 연구자들은 시스템 행동, 학습 방법, 사고 로그에 대한 접근을 요구할 수 있다. 기업들은 폭넓은 접근이 사이버보안, 개인정보, 지식재산 위험을 만든다고 주장할 수 있다.

UN의 포용성은 또 다른 절충을 만든다. 보편적 절차는 영향을 받는 거의 모든 국가에 발언권을 제공한다. 동시에 절차가 느려지고, 합의를 유지할 정도로 포괄적인 표현만 생산될 수도 있다.

이 문제는 현재 구조에서도 나타난다. Compact는 원칙을 수립하고 Dialogue는 협력을 가능하게 한다. 어느 쪽도 연구소에 모델 접근 제공이나 국가에 군사 배치 보고를 자동으로 강제하지는 않는다.

구테흐스는 감독 주체를 정의하지 않은 채 신뢰할 수 있고 독립적인 감독을 요구했다. UN 기구가 기준을 조정하고 국가 규제기관이 검사를 수행할 수 있다. 인증된 제3자가 시험을 진행할 수도 있지만, 이들의 독립성과 접근권에는 안전장치가 필요하다.

프레임워크는 기업 공개에 크게 의존할 수도 있다. 이 선택지는 빠르게 진행될 수 있지만 가장 큰 정보 격차는 그대로 남긴다. 개발사는 어떤 사건이 보고 대상인지, 외부 평가자가 무엇을 볼 수 있는지를 계속 결정하게 된다.

따라서 과학적 정당성은 필요하지만 충분하지 않다. 평가자에게 접근권을 부여하고, 실질적인 보고를 요구하며, 미준수에 대한 결과를 만드는 정치적 합의가 있어야만 프레임워크는 의미를 갖게 된다.

UN에는 권한이 있지만 집행 엔진은 없다

가장 큰 불확실성은 회원국들이 구테흐스의 제안을 지정학적 경쟁과 지도부 교체를 견뎌낼 의무로 전환할지 여부다.

UN 절차는 이미 선언 이상의 성과를 거뒀다. 회원국들은 Global Digital Compact를 협상하고, 과학 패널을 설립했으며, Global Dialogue를 출범시켰다. 이러한 조치는 구테흐스의 임기 이후에도 이어질 연속성을 만든다.

그의 두 번째 5년 임기는 2026년 12월 31일 종료된다. 제도적 작업은 후임자 아래에서도 계속될 수 있지만, 우선순위와 속도는 회원국, 미래 UN 지도부, 참여 기술 기업에 달려 있다.

당장의 정치적 분열은 분명하다. 구테흐스는 관리되지 않는 AI 위험을 더 강력한 국제 공조의 이유로 본다. 다른 지도자들은 국제기구를 국가 자율성, 산업 성장 또는 전략적 우위에 대한 제약으로 여긴다.

도널드 트럼프 대통령은 같은 시기 뚜렷이 다른 입장을 내놓았다. UNGA 이전 논쟁에 관한 보도에 따르면, 그는 AI가 실존적 위험이라는 주장을 일축하고 개발을 제한하려는 노력도 비판했다. 이러한 회의론은 세계 최대 AI 시장이 포함되는 광범위한 합의의 전망을 약화시킨다.

업계 입장도 여전히 나뉘어 있다. 일부 경영진은 조율된 안전장치나, 정의된 위험 조건 아래에서의 개발 속도 조절을 요구해 왔다. 다른 이들은 기업들이 미래 재앙에 관한 광범위한 주장을 받아들이지 않고도 개별적으로 안전을 관리해야 한다고 주장한다.

지지적인 기업들 사이에서도 기준을 두고 의견이 다를 수 있다. 한 연구소는 컴퓨팅 임계치 이상의 의무적 테스트를 선호할 수 있다. 다른 곳은 역량 기반 평가를 선호할 수 있으며, 오픈 모델 개발자들은 폐쇄형 서비스용으로 설계된 규칙이 다운로드 가능한 시스템에는 맞지 않는다고 주장할 수 있다.

“책임 있는 속도 조절”이라는 표현은 이 미해결 갈등을 포착한다. 이는 단계적 배포, 추가 테스트, 일시적 제한 또는 조율된 감속을 뜻할 수 있다. 측정 가능한 발동 기준이 없다면 정부는 이 표현을 지지하면서도 양립할 수 없는 정책을 추진할 수 있다.

독립적 감독도 유사한 질문을 제기한다. 누가 평가자를 임명하는가? 그들은 어떤 시스템을 검사할 수 있는가? 어떤 결과가 공개되는가? 영업비밀과 보안 취약점은 어떻게 보호되는가?

글로벌 프레임워크 아래에서도 집행은 국가 차원에 남을 수 있다. 국가들은 공통 보고 항목과 시험 방법을 채택한 뒤 국내 기관을 통해 결과를 부과할 수 있다. 이 접근법은 주권을 보존하면서 호환성을 개선한다.

그러나 불균등한 집행은 규제 차익거래를 부추길 수 있다. 기업들은 제한이 적은 관할권을 통해 시스템을 개발하거나 배포할 수 있다. 클라우드 배포는 순전히 영토 기반의 통제를 적용하기 어렵게 만든다.

UN은 대표성과 관련한 신뢰성 시험에도 직면한다. 구테흐스는 모든 국가, 특히 첨단 AI의 경제적 이익에서 배제된 국가들이 발언권을 가질 자격이 있다고 주장했다. 자원 없는 참여는 외교적 가시성은 제공하지만 실질적 영향력은 거의 없을 것이다.

따라서 역량 강화는 규칙 제정과 함께 이뤄져야 한다. 정부에는 기술 인력, 평가 도구, 사고 대응 절차, 독립 연구에 대한 접근이 필요하다. 그렇지 않으면 부유한 국가만이 공동 프레임워크를 구현할 수 있게 된다.

조직들도 유사한 과제를 안고 있다. AI 거버넌스에는 모델 사용, 의사결정, 출처 자료, 인간 검토에 관한 신뢰할 수 있는 기록이 필요하다. 검색 가능한 AI knowledge base는 이러한 작업을 지원할 수 있지만, 문서화만으로 규정 준수가 성립하는 것은 아니다.

구테흐스의 제안을 완성된 규제 체계로 오해해서는 안 된다. 이는 그러한 체계를 협상하라는 요구다. 그 성공은 정부가 실제 비용이나 지연을 초래하는 의무를 받아들일지에 달려 있다.

세 가지 신호가 글로벌 AI 규칙의 현실화를 보여줄 것이다

다음 시험은 실행이다. 즉, 정의된 프레임워크, AI 선도국의 의미 있는 공개, 고위험 의사결정에 대한 측정 가능한 보호다.

첫 번째 신호는 다자간 AI 위험 관리 프레임워크를 위한 공식 절차다. 정부들은 누가 초안을 작성할지, 어떤 위험을 다룰지, 독립적 감독이 어떻게 작동할지를 결정해야 한다.

신뢰할 수 있는 절차에는 일정, 협의 규칙, 기술 실무 그룹, 공개 보고가 포함될 것이다. 또한 비군사 시스템을 자율무기 및 기타 국가 안보 용도와 구분할 것이다.

협상이 광범위한 선언에만 머문다면, 구테흐스의 제안은 주로 정치적 지침으로 기능하게 된다. 회원국들이 평가와 보고 의무를 정의하기 시작한다면, 이 연설은 운영 가능한 프레임워크 출범에 기여한 셈이 된다.

두 번째 신호는 주요 AI 국가와 기업의 참여다. 사고 정보를 교환하거나, 평가를 비교하거나, 공통 시험 방법을 인정하기 위한 합의를 주시해야 한다.

참여는 회의 참석 이상의 의미를 가져야 한다. 기업은 일관된 규칙 아래 심각한 실패를 공개해야 한다. 정부는 보호 대상 보안 자료를 노출하지 않으면서 국경 간 위험을 식별할 수 있을 만큼의 정보를 공유해야 한다.

미국과 중국의 협력은 특히 큰 의미를 지닌다. 두 정부가 포괄적 조약을 거부하더라도 제한적인 기술 접촉은 오해를 줄일 수 있다. 그러한 접촉이 없다면 프레임워크가 AI 개발의 최전선을 포괄한다는 어떤 주장도 약화될 것이다.

세 번째 신호는 인간 통제에 관한 행동이다. 구테흐스는 아동과 생사가 걸린 의사결정을 자발적 약속에 의존해서는 안 되는 경계로 지목했다.

정부는 이 원칙을 자율무기, 아동 대상 시스템, 의료, 치안 또는 핵심 인프라에 대한 제한으로 전환할 수 있다. 자동화된 결과가 권리나 신체 안전에 영향을 미칠 경우 의미 있는 인간 검토를 요구할 수도 있다.

이러한 조치는 국제 AI 안전장치가 실제로 무엇을 의미하는지 명확히 할 것이다. 또한 “인간 감독”이 실제 의사결정 지점을 만드는지, 아니면 자동화된 권고 뒤에 사람을 덧붙이는 데 그치는지를 보여줄 것이다.

향후 1~3개월 안에 완전한 글로벌 규제기관이 등장하지는 않을 것이다. 그러나 기관들이 연설에서 공동 방법론, 공개 규칙, 집행 가능한 국가 조치로 옮겨가고 있는지는 드러날 수 있다.

구테흐스는 임기를 약 100일 남긴 시점에 마지막 총회 연설을 마쳤다. 그의 퇴임은 제안에 긴급성을 부여하지만, 동시에 이 의제가 한 명의 사무총장에 속하는지 아니면 회원국들에 속하는지를 시험한다.

개발자에게는 평가 요건, 출시 절차, 사고 공개가 중요한 쟁점이다. 엔터프라이즈 구매자는 공급업체 전반의 공통 문서화 기준과 더 명확한 책임성을 주시해야 한다. 지식 노동자는 중대한 의사결정에 사용되는 AI 시스템이 더 면밀한 검토를 받게 될 것으로 예상해야 한다.

António Guterres의 AI 규제 요구는 결국 실질적인 질문을 던진다. 정부는 대형 실패가 압박 속 행동을 강요하기 전에 조정 체계를 구축할 것인가?

독자들은 프레임워크의 설계, AI 선도국의 참여, 인간 통제의 처리를 주시해야 한다. 이 신호들은 글로벌 거버넌스가 운영 체계가 되고 있는지, 아니면 외교적 열망으로 남고 있는지를 보여줄 것이다.