Trump의 AI 안전 정책, 업계 리더들이 안전장치를 요구하는 가운데 UN에서 미국을 고립시켜

Trump의 AI 안전 정책은 유엔에서 이틀간 열린 회의에서 기술 업계 경영진과 국제기구 관계자들이 내놓은 메시지와 뚜렷하게 충돌했다.

Donald Trump 대통령은 총회에서 미국이 첨단 인공지능에 대한 글로벌 통제를 거부한다고 밝혔다. 하루 뒤 OpenAI, Anthropic, Hugging Face의 리더들은 어느 기업이나 국가도 단독으로 관리할 수 없는 위험에 맞서야 한다고 안전보장이사회에 촉구했다.

대조는 이례적으로 직접적이었다. 주요 AI 기업 대부분이 자리한 국가는 국제적 안전장치에 저항하는 반면, 해당 기업의 경영진은 더 큰 공조를 요청하고 있었다.

이는 미국이 유일한 반대국으로 남는 공식 표결은 아니었다. 안전보장이사회 역시 구속력 있는 글로벌 AI 규칙을 채택하지 않았다. 여기서의 고립은 표결로 기록된 일국 소수 의견이 아니라 정치적·수사적 고립이었다.

이 구분은 중요하다. 유엔은 AI를 둘러싼 과학·외교 기구를 구축하고 있지만, 그 틀은 아직 대체로 비구속적이다. 미국의 적극적인 참여가 없다면, 이들 기구는 가장 강력한 모델을 개발하는 기업들에 영향을 미치기 어려울 것이다.

이제 핵심 갈등은 분명하다. 워싱턴은 특히 중국을 상대로 한 신속한 개발을 전략 경쟁으로 본다. 많은 정부와 AI 업계 리더들은 같은 경쟁 때문에 경쟁 압력이 자발적 자제를 압도하기 전에 공동 안전장치를 마련해야 한다고 본다.

유엔에서 실제로 달라진 것

유엔 회의는 추상적인 정책 논쟁을 백악관과 미국의 주요 AI 경영진 사이의 가시적인 분열로 바꿔 놓았다.

Trump는 2026년 9월 22일 뉴욕에서 열린 제81차 유엔 총회에서 연설했다. 그의 입장은 국제적 통제를 거부하고, 공조된 자제보다 경쟁 우위를 앞세웠다.

공식 White House account에 따르면 Trump는 AI를 위한 “글로벌리스트 통제 체계”를 구축하려는 어떤 시도도 미국은 전적으로 거부한다고 말했다.

Trump는 연설 중 이 기술을 “Super Intelligence”로도 명명했다. 이러한 수사적 변화는 첨단 AI를 글로벌 거버넌스 문제라기보다 국가적 성취로 규정하려는 그의 시도를 강화했다.

보다 완전한 녹취록은 이러한 구도가 AI 개발을 지정학적 경쟁과 얼마나 밀접하게 연결하는지 보여준다. Trump는 슈퍼인텔리전스 경쟁에서 승리하는 자가 “승리한다”고 말했고, 미국이 중국을 앞서고 있다고 주장했다.

그는 이어 개발 속도를 늦출 수 있는 제약을 거부했다. Trump는 법무부를 통한 감시를 약속하면서도 “우리는 이를 장려할 것이며, 억제하지 않을 것”이라고 말했다.

이 접근법은 다른 정부와 AI 리더들이 제안한 안전 체계보다 범위가 좁다. 법무부의 감독은 통상 식별 가능한 위반이 발생한 뒤 경쟁, 사기, 시민권, 범죄 행위를 다룬다.

프런티어 AI 안전 제안은 다른 문제에 초점을 둔다. 고성능 모델이 심각한 피해를 일으키기 전에 시험, 모니터링, 공개, 공조를 구축하려는 것이다.

다음 날 안전보장이사회는 AI와 국제 안보에 관한 고위급 브리핑을 열었다. OpenAI CEO Sam Altman은 직접 참석했다. Anthropic CEO Dario Amodei와 Hugging Face CEO Clément Delangue는 원격으로 참여했다.

유엔 AI 독립 국제 과학 패널 공동의장인 Yoshua Bengio도 안보리 이사국에 브리핑할 것으로 예상됐다. 이 자리는 과학적 증거, 기업 권력, 국제 안보를 한 공간에 모았다.

가장 기억에 남는 발언들은 국가적 통제의 논리를 정면으로 문제 삼았다. Altman은 어떤 개인, 기업, 국가도 가장 강력한 모델을 이용해 자신의 세계관을 모두에게 강요해서는 안 된다고 말했다.

Amodei는 제대로 관리되지 않는 AI가 인류 전체에 대한 위험이 될 수 있다고 경고했다. Delangue는 첨단 시스템을 통제하는 조직과 그 영향에 노출되는 공동체 사이의 불균형에 주목했다.

Semafor의 AI safety account는 이 모순을 포착했다. 미국 대통령이 그 전제를 일축한 뒤, 미국에 기반을 둔 경영진들이 글로벌 안전장치를 요청한 것이다.

이 일련의 과정은 이견을 정부와 산업계의 논쟁으로만 취급하기 어렵게 만들었다. 영향력 있는 여러 업계 리더는 백악관의 공개 메시지보다 유엔의 입장에 더 가까웠다.

이것이 진정한 변화다. AI 거버넌스는 더 이상 예측 가능한 방식으로 규제기관과 기업을 가르는 문제가 아니다. 이는 미국 정부와, 미국의 기술적 우위를 떠받치는 성공을 거둔 일부 기업 사이를 갈라놓고 있다.

Trump의 AI 안전 정책이 이제 업계와 충돌하는 이유

Trump의 AI 안전 정책은 속도를 보호 수단으로 여기지만, 여러 프런티어 연구소는 통제되지 않은 속도 자체가 위험이라고 점점 더 강조하고 있다.

백악관의 입장은 익숙한 전략적 주장에서 출발한다. 미국이 개발 속도를 늦추면 중국이나 다른 경쟁국이 더 강력한 AI가 제공하는 경제적·군사적 이점을 차지할 수 있다는 것이다.

이 논리에서 규제는 미국 기업을 약화시켜 위험을 만든다. 성장, 인프라 투자, 신속한 배포는 국가 안보 정책의 일부가 된다.

행정부는 미국의 주권을 제한할 수 있는 국제기구도 신뢰하지 않는다. Trump의 총회 연설은 AI 거버넌스를 글로벌 과세와 중앙집중적 국제 통제에 대한 자신의 폭넓은 거부와 연결했다.

이 주장은 유엔이 동등한 준수를 보장할 수 없기 때문에 정치적 설득력을 가진다. 엄격한 제한을 따르는 국가는 경쟁국이 이를 무시할 경우 뒤처질 수 있다.

AI 연구소도 같은 공조 문제에 직면한다. 안전성 시험을 위해 모델 출시를 미루는 기업은 더 빠른 경쟁사에 고객, 투자, 직원, 시장 영향력을 빼앗길 위험이 있다.

그러나 여러 업계 리더는 이제 경쟁 때문에 공동 규칙이 더 필요하다고 주장한다. 모든 경쟁자가 계속 가속할 것이라 예상하는 상황에서 어느 연구소도 자제를 유지할 수 없다.

Anthropic의 Amodei는 독립 평가자에게 지속적으로 접근 권한을 부여하는 방안을 제안했다. 이런 평가자들은 공개 주장에만 전적으로 의존하지 않고 프런티어 연구소 내부에서 안전 관행을 모니터링하게 된다.

그는 사이버보안 및 생물학적 위험에 대한 공통 시험도 지지했다. 더 야심 찬 제안은 재귀적 자기개선이 가능한 시스템, 즉 더 나은 후속 모델의 개발을 실질적으로 가속할 수 있는 모델을 제한하는 방안을 포함한다.

OpenAI의 Altman은 독립 평가와 연방 차원의 안전 프레임워크를 공개적으로 지지했다. 이 입장이 집행, 투명성, 책임에 관한 모든 이견을 해소하는 것은 아니다.

다만 이는 정책 분열이 단순히 정부 대 기업의 구도가 아님을 보여준다. 주요 기업들은 혁신의 여지를 원하지만, 동시에 모든 연구소가 최고 속도로 경쟁하는 상황을 막을 규칙도 원하는 곳이 있다.

AI slowdown debate는 이 공조 과제를 잘 보여준다. OpenAI, Anthropic, SpaceXAI 및 기타 업계 인사들은 특정 형태의 개발을 늦추는 데 지지를 표명했다.

이들의 제안은 상당히 다르다. 일부는 독립 시험에 관한 것이고, 다른 일부는 위험한 사용에 대한 제한적 금지나 개발 속도에 대한 더 폭넓은 제한을 포함한다.

Meta는 같은 방식의 공동 감속을 받아들이지 않았다. 이는 선택된 프런티어 연구소만 포괄하는 모든 합의가 인재와 자본을 그 밖의 기업으로 이동시킬 수 있기 때문에 중요하다.

국제 경쟁은 더 큰 격차를 만든다. 미국 기업에 대한 규제가 중국, 유럽, 중동 또는 신흥 AI 시장의 개발자에게 자동으로 적용되지는 않는다.

바로 그 때문에 지금 유엔에서의 분쟁이 불거졌다. 역량과 우려는 이를 관리하도록 기대받았던 제도보다 더 빠르게 움직이고 있다.

백악관은 이러한 가속을 보고 미국이 더 빨리 달려야 한다고 결론짓는다. 안전 옹호자들은 같은 가속을 보며, 공동 규칙 없이 달리는 일이 점점 더 위험해진다고 결론짓는다.

어느 쪽도 상대방의 가장 강력한 주장을 피할 수 없다. 규제는 전략적 우위를 이동시킬 수 있지만, 무제한 경쟁은 자발적 안전 약속을 불안정하게 만들 수 있다.

해결되지 않은 문제는 정부가 워싱턴이 거부할 광범위한 국제 권한을 만들지 않으면서 상호적인 안전장치를 설계할 수 있는지다.

AI 경영진, 일방적 통제의 논리를 거부하다

업계가 유엔에 전한 메시지는 백악관의 반규제 입장뿐 아니라 정부 통제와 기업 통제 모두에 이의를 제기했다.

권력 집중에 대한 Altman의 경고는 OpenAI가 정부가 관리하려는 프런티어를 규정하는 데 일조한다는 점에서 이례적인 무게를 지녔다.

그의 주장은 유엔에 한 기업을 신뢰할 수 있는 관리자로 선택해 달라고 요청한 것이 아니었다. 어떤 기업도 인류가 첨단 AI에 노출되는 방식을 홀로 결정해서는 안 된다는 전제를 제시했다.

이러한 입장은 새롭게 부상하는 정당성 문제를 반영한다. 프런티어 연구소는 고객, 직원, 본국을 훨씬 넘어서는 결과를 낳는 결정을 내린다.

미국에서 학습된 모델은 몇 시간 안에 전 세계 사용자를 지원할 수 있다. 또한 국경을 넘는 사이버보안, 생물학, 선전, 감시 위험을 초래할 수도 있다.

국가 규제기관은 국내 기업을 규제할 수 있지만, 그러한 영향을 완전히 억제할 수는 없다. 국제기구는 정부 간 공조를 이끌 수 있지만, 민간 연구소에 대한 집행 권한은 제한적이다.

Delangue가 비대칭성에 주목한 것은 이 공백을 겨냥한다. 소수의 기업만이 프런티어 시스템을 이해하는 데 필요한 컴퓨팅 인프라, 기술 인력, 독점 정보를 보유하고 있다.

대부분의 정부에는 그에 상응하는 전문성이 없다. 많은 정부는 모델 안전장치를 독립적으로 시험하거나 개발사가 제기하는 주장을 검증할 수 없다.

유엔 총회 의장도 9월 초 관련 경고를 내놓았다. 그는 AI governance speech에서 주요 기술 기업들이 점점 준주권 행위자처럼 활동하고 있다고 말했다.

이 설명은 기업 규모 이상의 의미를 담는다. 이들 기업은 접근 정책을 정하고, 출시 일정을 결정하며, 허용 가능한 사용을 정의하고, 어떤 사고를 공개할지 판단한다.

이들의 내부 결정은 선거, 군사 계획, 노동시장, 과학 연구, 공공 정보에 영향을 미칠 수 있다. 그러나 그러한 선택의 영향을 받는 많은 국가는 결정 과정에서 의미 있는 역할을 하지 못한다.

유엔에 따르면 118개국은 주요 AI 거버넌스 논의에 아직 참여하지 못했다. 개발도상국 가운데 국가 AI 전략을 갖춘 곳은 3분의 1 미만이다.

이 수치는 이 분쟁이 실존적 위험을 넘어서는 이유를 보여준다. 정부들은 경제적 배제, 문화적 영향력, 불평등한 인프라, 해외 플랫폼 의존도 우려하고 있다.

경영진들은 통일된 규제 청사진을 제시하지 않았다. OpenAI, Anthropic, Hugging Face는 서로 다른 사업 모델과 개방성에 관한 서로 다른 견해를 갖고 있다.

Hugging Face는 공유 모델과 개발 도구로 구성된 광범위한 생태계를 지원한다. OpenAI와 Anthropic은 독점 프런티어 시스템에 대한 통제된 접근에 더 크게 의존한다.

그러한 차이는 누구를 감독해야 하는지에 관한 현실적인 질문을 낳는다. 폐쇄형 연구소를 위해 작성된 규칙은 최대 컴퓨팅 역량이 집중된 곳을 다루지 못한 채 오픈 개발에 부담을 줄 수 있다.

모델 역량을 겨냥한 규칙도 또 다른 문제에 직면한다. 아키텍처와 학습 방식이 바뀌어도 계속 유효한 신뢰할 수 있는 테스트가 정부에 필요하다.

그럼에도 기업들은 한 가지 원칙에 수렴했다. 역량이 커질수록 일방적인 기업 약속을 넘어서는 거버넌스의 필요성도 커진다는 것이다.

이러한 합의는 Trump AI safety policy에 압박을 가한다. 행정부는 글로벌 통제가 미국의 리더십을 저해할 것이라고 주장하지만, 미국 기업 경영진들은 집중된 일방적 권력에 경고를 보내고 있다.

이들의 증언이 제기된 모든 위험이 임박했다는 점을 입증하는 것은 아니다. 다만 기술에 가장 가까이 있는 연구소들이 조정을 중대한 정책 요건으로 본다는 점은 분명히 보여준다.

UN은 규범을 만들 수 있지만, 단독으로 집행할 수는 없다

UN의 AI 기구는 공동의 기대치를 정의할 수 있지만, 그 영향력은 강대국 정부와 최첨단 연구소의 참여에 달려 있다.

총회는 2025년 8월 결의 79/325를 통해 AI에 관한 독립 국제 과학 패널을 설립했다.

이 패널은 AI의 기회, 영향 및 위험에 대한 공동의 과학적 평가를 제공하기 위한 것이다. 대규모 기술 기관이 없는 정부에도 공통된 증거 기반에 접근할 수 있도록 한다.

같은 결의는 AI 거버넌스에 관한 글로벌 대화도 지지한다. 이 절차는 정부와 다른 이해관계자들이 우선순위를 파악하고 공동의 이해를 발전시키도록 한자리에 모은다.

이 기구들은 실질적인 제도적 공백을 다룬다. 기후 정책에는 기후변화에 관한 정부간 협의체가 있고, 글로벌 공중보건에는 확립된 과학·외교 구조가 있다.

AI 거버넌스에는 폭넓은 참여를 갖춘 이에 상응하는 포럼이 부족했다. 가장 영향력 있는 안전 이니셔티브의 대부분은 소수 정부, 연구소 또는 기술 전문가 집단이 주도해 왔다.

하지만 UN의 틀이 구속력 있는 글로벌 규제에 해당하는 것은 아니다. 총회 결의는 일반적으로 기업에 집행 가능한 의무를 부과하기보다 공동의 입장을 표명하고 절차를 수립한다.

안전보장이사회는 특정 상황에서 UN 헌장에 따라 구속력 있는 결정을 채택할 수 있다. 그러나 수요일 회의는 AI 집행 체제의 채택이 아닌 브리핑이었다.

이는 “UN AI 규칙”이라는 표현을 신중히 사용해야 한다는 뜻이다. 현재 이 기구는 실행 가능한 기술법보다는 지식, 규범, 외교적 조정을 구축하고 있다.

비구속적 규칙도 여전히 중요하다. 용어를 표준화하고, 국가 입법에 영향을 미치며, 조달을 안내하고, 책임 있는 기업 행동에 대한 기대를 형성할 수 있다.

국제 규범은 사고 발생 후에도 기준점이 될 수 있다. 정부, 법원, 고객, 투자자는 기업이 여러 관할권에서 인정된 관행을 따랐는지 물을 수 있다.

그러나 가장 영향력 있는 국가가 공개적으로 절차를 거부하면 규범의 힘은 약해진다. 미국에는 OpenAI, Anthropic, Google, Meta, Microsoft와 여러 주요 컴퓨팅 제공업체가 자리하고 있다.

이들 조직은 모델, 클라우드, 반도체 공급망의 상당 부분을 통제한다. 미국의 지지가 없는 글로벌 안전 프레임워크는 처음부터 큰 운영상 공백을 안고 출발한다.

중국의 참여도 필수적이다. 특히 첨단 모델이 군사, 정보, 경제 분야에 활용될 수 있는 만큼 양자 간 경쟁은 조정을 어렵게 만든다.

가장 현실성 있는 접근법은 좁은 범위의 금지 조항에서 시작될 수 있다. 정부는 생물무기 지원, 핵심 인프라 공격, 또는 완전 자율적 치명적 결정에 초점을 맞출 수 있다.

좁은 합의에도 검증은 필요하다. 각국은 경쟁국이 비교 가능한 시스템을 시험하고 관련 실패 사례를 보고한다는 확신이 필요하다.

모델 평가는 여전히 불완전하다. 시스템은 테스트 중에는 안전하게 작동하다가도 배포, 수정 또는 외부 도구 연결 이후에는 다른 결과를 낼 수 있다.

이 기술은 법적 범주도 가로지른다. 동일한 모델이 연구자의 질병 이해를 도울 수도 있고, 공격자의 유해 물질 설계를 도울 수도 있으며, 감시를 수행하는 정부를 지원할 수도 있다.

이러한 불확실성은 더 강한 감독을 뒷받침하지만, 규제 당국이 할 수 있는 주장에도 한계를 둔다. 어떤 프레임워크도 범용 모델이 보편적으로 안전하다고 인증할 수는 없다.

UN은 국가 정책의 호환성을 높일 수 있다. 그러나 주요 AI 생산국 내부의 기술 규제기관, 법원, 감사기관, 집행기관을 대체할 수는 없다.

미국의 동의가 없더라도 다른 국가들은 표준을 개발할 수 있다. 이들은 그 표준을 조달, 시장 접근 규칙, 국내법에 반영할 수 있다.

그 결과는 규제 분절화와 비슷할 것이다. 기업들은 관할권마다 서로 다른 공개, 테스트, 접근 요건을 따라야 할 수 있다.

그러한 결과가 AI 개발을 멈추게 하지는 않을 것이다. 다만 가장 중대한 안전 결정이 국가별 체계에 분산된 채 규제 준수 비용은 늘어날 것이다.

이 분열은 정부, 기업, 엔터프라이즈 구매자에게 압박을 가한다

이견은 모든 참여자에게 안전이 자발적 약속인지, 시장 요건인지, 법적 의무인지 판단하도록 요구한다.

첫 번째 압박은 미국의 동맹국에 가해진다. 이들 중 다수는 미국의 기술 리더십과 더 강력한 국제 AI 안전장치를 모두 지지한다.

이제 이들은 워싱턴 없이 거버넌스 체계를 구축할지 결정해야 한다. 앞서 나가는 것은 추진력을 유지할 수 있지만, 미국 기업이나 규제 당국이 나중에 거부할 표준을 만들 위험이 있다.

미국의 합의를 기다리는 데에는 다른 비용이 따른다. 국제 협상이 미완성인 동안 최첨단 시스템은 계속 발전할 것이다.

유럽 정부들은 이미 시장 접근을 활용해 글로벌 기술 관행에 영향을 미친 경험이 있다. 이들의 접근법은 국경 밖에서도 실질적인 표준을 만들 수 있다.

그러나 공격적인 규제 준수 체계는 국제 통제에 대한 백악관의 의심을 심화시킬 수 있다. AI 거버넌스가 무역 갈등의 또 다른 원인이 될 가능성도 있다.

두 번째 압박은 AI 기업에 가해진다. 안전장치에 대한 공개적 지지는 정부가 행동하기 전에 이들 기업이 무엇을 할 것인지에 관한 질문을 불러온다.

의미 있는 평가에 필요한 접근 권한을 제공하지 않으면서 독립적 감독을 요청하는 연구소는 신뢰를 얻기 어렵다. 어떤 시스템, 테스트, 사고가 이 약속의 범위에 포함되는지 정의해야 한다.

기업들은 안전 관련 결정이 출시 일정과 어떻게 맞물리는지도 설명해야 한다. 심각한 문제가 나타난 뒤에야 모델을 지연하는 것은 사전에 정해진 기준치를 유지하는 것과 다르다.

세 번째 압박은 엔터프라이즈 고객에게 가해진다. 기업들은 코딩, 연구, 고객 지원, 문서 분석, 자동화된 의사결정을 위해 AI 제공업체에 점점 더 의존하고 있다.

제공업체의 공개적인 안전 관련 표현이 집행 가능한 보호를 만든다고 가정해서는 안 된다. 고객은 데이터 사용, 사고 보고, 접근 통제, 모델 변경을 다루는 계약 조건이 필요하다.

이는 AI 시스템이 연결된 소프트웨어를 통해 행동할 수 있을 때 특히 중요하다. 자율 에이전트는 제한적인 인간 개입 하에 여러 단계를 계획하고 수행하는 시스템이다.

자율성이 커지면 생산성은 높아질 수 있지만, 오류의 결과도 확대된다. 챗봇의 오답은 에이전트가 기록을 변경하거나, 메시지를 보내거나, 소프트웨어를 수정하는 것과는 다르다.

따라서 엔터프라이즈 구매자는 이 거버넌스 분쟁을 운영상의 문제로 봐야 한다. 엇갈린 규칙은 어떤 모델을 계속 사용할 수 있는지, 벤더가 어떤 증거를 제공해야 하는지에 영향을 줄 수 있다.

조달팀은 입법자가 요구하기 전에 제공업체에 평가 결과를 요청할 수 있다. 보험사와 감사기관도 위험 평가와 보장 조건을 통해 비슷한 압박을 만들 수 있다.

개발자들도 관련된 과제에 직면한다. 모델 계층에서 부과된 안전 제한은 사전 통지 없이 애플리케이션 동작을 바꿀 수 있다.

업데이트된 정책이 이전에는 작동하던 워크플로를 차단할 수 있다. 모델 업데이트는 신뢰성, 도구 사용, 조작된 지시에 대한 저항성도 바꿀 수 있다.

팀은 제공업체의 모델을 고정된 구성 요소로 취급해서는 안 된다. 자체 애플리케이션과 데이터에 연계된 평가가 필요하다.

지식 노동자는 덜 눈에 띄는 위험에 직면한다. AI가 생성한 요약, 분석, 권고는 공식적인 자동화가 없을 때도 의사결정에 영향을 줄 수 있다.

근거를 자신 있게 누락하는 모델은 보고서, 채용 결정, 의료 상담 또는 재무 검토에 영향을 미칠 수 있다. 이는 극단적인 재앙이 없어도 거버넌스의 문제다.

Trump AI safety policy는 국가 경쟁을 강조하지만, 사용자는 개별 제품과 워크플로를 통해 위험을 경험한다. 이 간극은 제도적 안전장치를 일상적인 기술 의사결정과도 관련 있게 만든다.

이 논쟁은 더 명확한 증거를 요구하는 압박도 만든다. 기업은 검증하기 어려운 먼 미래의 시나리오에 정책 논쟁이 집중될 때 이익을 얻는다.

정부는 기술적·법적 메커니즘을 구체화하지 않은 채 광범위한 안전장치를 설명할 때 이익을 얻는다. 양측 모두 측정 가능한 약속을 요구받아야 한다.

신뢰할 수 있는 체계라면 누가 모델을 평가하는지, 평가자가 어떤 접근 권한을 받는지, 어떤 사고를 공개해야 하는지, 기준치를 넘었을 때 무엇이 일어나는지를 정의할 것이다.

그런 세부 사항이 마련되기 전까지 혁신이나 안전을 지지하는 발언은 모두 불완전하다. UN에서의 갈등은 입장을 드러냈지만, 이행 문제를 해결하지는 못했다.

안전성 주장은 여전히 큰 불확실성을 안고 있다

백악관은 조정 실패의 위험을 과소평가하지만, 안전 옹호자들도 가장 광범위한 제안이 실행 가능하다는 점을 아직 입증하지 못했다.

협력의 근거는 강력한 관찰에서 출발한다. 경쟁 압력은 기업이 모든 심각한 위험을 이해하기 전에 시스템을 출시하도록 몰아갈 수 있다.

이러한 패턴은 많은 산업에서 나타난다. 안전 투자는 종종 공동의 편익을 만들지만, 지연과 비용은 이를 감수하는 기업에 돌아간다.

공통 규칙은 그러한 유인을 바로잡을 수 있다. 신중한 참여자만 덜 조심스러운 경쟁자가 피하는 비용을 부담하는 상황을 막는다.

AI는 연구자들이 학습 이전에 모든 역량을 예측할 수 없다는 점에서 추가적인 어려움을 만든다. 예상치 못한 행동은 규모 확대, 새로운 도구 또는 다른 배포 조건에서 나타날 수 있다.

그러나 불확실성은 양방향으로 작용한다. 이는 예방 원칙을 뒷받침하지만, 실존적 위험에 관한 모든 주장을 정당화하지는 않는다.

공개 논의는 종종 단기적 피해와 추측적 시나리오를 함께 다룬다. 사기, 차별, 개인정보 침해, 사이버 공격, 신뢰할 수 없는 자동화에는 이미 관찰 가능한 증거가 있다.

자율 AI로 인한 인류 멸종은 미래 역량, 접근, 통제, 의도에 관한 더 큰 가정을 수반한다. 이러한 가정은 확정된 사실로 제시되지 않은 채 검토될 가치가 있다.

이 구분은 정책 설계에 중요하다. 사이버 악용을 다루는 규칙에는 접근 통제, 모니터링, 보고가 필요할 수 있다.

초인적 시스템에 대한 통제력 상실을 다루는 규칙에는 개발 제한, 컴퓨팅 모니터링 또는 재귀적 자기개선 제한이 필요할 수 있다.

모든 우려를 “AI 안전” 아래 결합하면 우선순위가 불분명한 광범위한 제안이 나올 수 있다. 또한 반대자들이 가장 추측적인 시나리오를 공격해 입증된 피해까지 일축하도록 만들 수 있다.

업계의 지지도 면밀히 검토할 필요가 있다. 대형 연구소는 소규모 경쟁자에게 진입장벽을 높이는 규제를 선호할 수 있다.

비용이 많이 드는 감사, 전문 보안팀, 광범위한 보고를 요구하는 요건은 이미 이를 감당할 자금이 있는 기업을 강화할 수 있다.

따라서 공정한 프레임워크는 역량과 위험에 따라 의무의 수준을 조정해야 한다. 모든 오픈 모델, 스타트업 또는 기업용 애플리케이션이 동일한 위험을 제기한다고 가정해서는 안 된다.

기업의 경고는 전략적 이해관계에도 기여할 수 있다. 자사의 기술이 세계를 바꿀 가능성이 있다고 설명하는 기업은 기술 리더십에 대한 인식을 강화할 수 있다.

그렇다고 그 우려가 거짓이라는 뜻은 아니다. 규제 당국은 규제 대상 기업의 주장에 의존하기보다 독립적인 증거를 필요로 한다는 의미다.

유엔 과학 패널은 증거와 기업의 포지셔닝을 구분하는 데 도움이 될 수 있다. 그 신뢰도는 투명한 방법론, 다양한 전문성, 불확실성에 대한 명확한 처리에 달려 있다.

정치적 독립성도 중요할 것이다. 각국 정부는 신속한 개발 또는 더 강력한 통제를 정당화하는 결론을 선호할 수 있다.

트럼프의 입장에는 별도의 모순도 있다. 그는 미국이 AI를 안전하고 책임감 있게 개발하겠다고 말하면서 국제적 규제를 거부했다.

이러한 주장은 작동 메커니즘을 필요로 한다. 법무부의 개입은 체계적인 모델 테스트, 사고 공개, 전문 기술 감독을 대체할 수 없다.

행정부가 연설에서 설명하지 않은 국내 안전 조치를 마련했을 가능성은 있다. 그러나 유엔에서 제시한 공개 논리는 그러한 조치가 국경을 넘는 위험에 어떻게 대응할지 설명하지 못했다.

안전 옹호론자들은 반대의 부담을 안고 있다. 조율이 상호적이고 검증 가능하며 유용한 개발을 보존할 만큼 제한적이라는 점을 보여야 한다.

잘못 설계된 감속 조치는 개발을 덜 투명한 관할권으로 옮길 수 있다. 또한 이미 가장 많은 자원을 보유한 정부와 기업에 통제력을 집중시킬 수도 있다.

가장 강력한 결론은 어느 한쪽이 거버넌스를 해결했다는 것이 아니다. 상호의존적인 시스템과 글로벌 경쟁이 만들어낸 문제에는 일방적 통제로 답할 수 없다는 점이다.

세 가지 신호가 이 분열이 영구적인지 보여줄 것이다

다음 단계는 혁신이나 책임에 관한 또 한 차례의 연설이 아니라 구체적인 약속에 달려 있다.

첫 번째 신호는 백악관이 상세한 국내 안전 프레임워크를 공개하는지 여부다. 이 프레임워크는 테스트 기준, 평가자 접근권, 사고 보고, 집행 책임을 명시해야 한다.

공개 문서는 트럼프가 모든 안전장치를 반대하는지, 아니면 국제적 통제만을 거부하는지를 분명히 할 것이다. 이 두 입장은 매우 다른 결과를 낳는다.

국내 규칙은 동맹국과의 조율을 위한 기반도 제공할 수 있다. 각국의 시스템이 호환 가능한 안전 결과를 낸다면 동일한 법률을 도입할 필요는 없다.

행정부가 측정 가능한 요건을 공개한다면 유엔에서의 분열은 트럼프의 연설이 시사한 것보다 좁아 보일 것이다. 일반적인 감독 방안만 제시한다면 분열은 더 깊어질 것이다.

두 번째 신호는 OpenAI, Anthropic 및 기타 연구소들이 지속적인 독립 평가를 시행하는지 여부다. 외부 전문가에게 지속적인 접근권이 제공될 때에만 공개적 지지는 의미를 갖는다.

평가자에게는 연출된 시연 이상의 것이 필요하다. 충분한 기술 정보, 반복 가능한 테스트, 상업적 압력으로부터의 보호가 필요하다.

기업들은 평가에서 용납할 수 없는 위험이 발견됐을 때 어떤 조치를 취하는지도 설명해야 한다. 출시 결과와 연결되지 않는 테스트는 문서화 작업에 그친다.

공동의 약속은 업계가 집행 가능한 조율을 원한다는 주장을 강화할 것이다. 참여가 고르지 않다면 경쟁 유인이 여전히 안전 약속을 지배한다는 점이 확인될 것이다.

Meta의 대응은 특히 중요할 것이다. 최대 AI 개발사 중 하나를 제외한 프레임워크는 업계 표준이 되기 어려울 것이다.

중국 연구소들의 참여는 훨씬 더 중요하다. 가장 야심 찬 조율 제안은 경쟁국들이 다른 국가도 유사한 제약을 받는다고 믿는 데 달려 있다.

세 번째 신호는 유엔 절차가 일반 원칙을 제한적이고 검증 가능한 우선순위로 전환하는지 여부다. 다음 Global Dialogue와 2027년 Global Digital Compact 검토는 중요한 논의의 장을 제공한다.

측정 가능한 목표의 짧은 목록은 광범위한 선언보다 더 신뢰할 수 있다. 생물학적 안전장치, 사이버 평가, 사고 보고는 가능한 출발점이다.

각국 정부는 어떤 시스템이 각 요건의 적용 대상인지 명시해야 한다. 또한 민감한 지식재산권을 노출하지 않고 준수 여부를 어떻게 평가할지도 설명해야 한다.

유엔은 자신이 보유하지 않은 권한을 주장해서는 안 된다. 유엔의 비교우위는 국가들을 소집하고, 증거를 정리하며, 공통의 기대를 수립하는 데 있다.

국가 정부는 법적 강제력을 제공해야 한다. 기업은 기술적 접근권을 제공해야 한다. 연구자들은 제안된 안전장치가 실제로 작동하는지 검증해야 한다.

독자들은 이 세 집단이 책임을 어떻게 분담하는지 지켜봐야 한다. 각 참여자가 다른 누군가의 행동을 기대하는 시스템은 현재의 공백을 유지할 것이다.

유엔에서의 대립은 규제에 대한 이견보다 더 깊은 문제를 드러냈다. 미국은 광범위한 국제적 통제를 받아들이지 않으면서 AI 개발을 주도하는 전략적 이익을 원한다.

많은 다른 정부는 자국 국경 밖에서 구축된 시스템에 대한 영향력을 원한다. 미국의 주요 경영진들은 그러한 정부들이 참여할 정당한 이유가 있다고 점점 더 말하고 있다.

트럼프의 AI 안전 정책은 제한적인 국제 조율을 뒷받침하는 상세한 국가 프레임워크로 발전할 수 있다. 또한 책임 있는 개발에 대한 일반적인 약속을 주된 근거로 하는 가속화 정책에 머물 수도 있다.

향후 1~3개월이면 워싱턴이 어느 길을 선택했는지 드러날 것이다. 공개된 기준, 독립 평가자의 접근권, 구체적인 유엔 거버넌스 우선순위를 주시해야 한다.

이러한 신호는 유엔 총회에서의 분쟁이 일시적인 연극이었는지, 아니면 지속적인 거버넌스 분열의 시작이었는지를 보여줄 것이다.