트럼프의 AI 자율 규제, 실리콘밸리 지지는 얻었지만 안전 집행은 불투명

도널드 트럼프 대통령은 308단어 분량의 자발적 협약을 통해 AI 안전을 기업 자율 감시에 맡겼고, 많은 실리콘밸리 창업자들은 이처럼 완화된 접근을 환영했다.

트럼프의 AI 자율 규제 정책은 주요 기업들에 내부 통제를 구축하고, 위험을 평가하며, 외부 평가자를 참여시킬 것을 요구한다. 그러나 세부적인 연방 시험 기준, 공개 보고 규정, 미준수에 대한 명확한 제재는 마련하지 않는다.

이러한 절충안은 이제 미국 AI 정책 논쟁을 규정하고 있다. 기업들은 갈수록 강력해지는 시스템을 개발하고 배포할 자유를 얻는다. 그 대가로 대중은 고객이나 정부 시스템을 위협할 수 있는 문제를 해당 기업들이 식별하고, 사고를 공개하며, 시정할 것이라 신뢰해야 한다.

이 협약은 OpenAI, Anthropic, Meta, Google, SpaceXAI, Nvidia가 AI 에이전트와 안전 관행을 둘러싼 감시 강화에 직면한 가운데 나왔다. AI 에이전트는 목표를 향해 독립적으로 계획을 세우고 여러 행동을 수행할 수 있는 소프트웨어다.

트럼프는 이 합의가 도덕적 구속력을 지닌다고 설명하며, 업계가 “엄청난 자율 감시”를 보여줬다고 말했다. 비판론자들은 자본, 계약, 시장 점유율을 두고 경쟁하는 기업들에 가장 중대한 결정을 맡기는 틀로 본다.

진짜 쟁점은 AI 기업들이 안전 업무를 수행하는지 여부가 아니다. 대부분의 주요 연구소는 이미 모델을 시험하고 내부 위험 관리 프로그램을 운영하고 있다. 문제는 안전성 평가 결과가 상업적 또는 정치적 우선순위와 충돌할 때 자발적 통제가 계속 신뢰를 유지할 수 있느냐다.

308단어 협약, 워싱턴의 AI 안전 전략을 재편하다

백악관은 세부적인 연방 감독을 AI 기업들이 스스로를 관리하겠다는 포괄적 약속으로 대체했다.

트럼프는 2026년 9월 29일 백악관에서 기술 기업 경영진을 오찬 및 서명식에 모았다. 그는 현 행정부가 초지능이라고 부르는 분야를 위한 이 합의를 “거의 헌법”이라고 칭했다.

합의문은 각 기업이 기술을 안전하게 개발하고 공공의 신뢰를 구축해야 한다고 명시한다. 서명 기업들은 내부 통제, 위험 평가, 외부 평가자의 검토에 동의했다.

이 원칙들은 상당해 보이지만, 해당 문서는 보도에 따르면 단 308단어로 구성돼 있다. 자발적 협약은 공통 시험 기준을 정의하지도, 평가자가 어떤 방식으로 접근 권한을 받는지도 명시하지 않는다.

또한 기업이 의무를 이행했는지 누가 판단하는지도 설명하지 않는다. 정부는 정기 검사 절차나 공개 준수 일정을 설명하지 않았다.

OpenAI, Anthropic, Meta, Google, SpaceXAI, Nvidia의 대표들이 협약에 서명했다. 행사에는 Nvidia CEO 젠슨 황, Anthropic CEO 다리오 아모데이, Meta CEO 마크 저커버그 등 저명한 경영진이 참석했다.

트럼프는 모인 경영진이 답변하기 전에 정부의 안전장치에 관한 기자의 질문에 답했다. 그는 새로운 정부 통제 없이 기업들이 스스로를 관리할 수 있느냐는 질문에 그렇다고 답했다.

황은 혁신, 기술, 안전이 본질적으로 충돌하지 않는다고 주장했다. 그는 기업들이 안전성을 향상하는 동시에 AI 역량도 개선하는 기술을 개발할 것이라고 말했다.

아모데이는 보다 제한적인 지지를 표명했다. 그는 이 합의를 출발점이라고 설명하며, 공공의 신뢰를 강화하는 방법으로 규정했다.

이 구분은 중요하다. 출발점이 되는 틀은 더 어려운 문제를 해결하지 않은 채로도 유용한 기대치를 설정할 수 있다. 그렇다고 자동으로 집행 가능한 안전 체제가 되는 것은 아니다.

행정부는 국가정보국장 제이 클레이턴이 이끄는 “Super Intelligence Force”도 만들었다. 구성원에는 연방거래위원회 위원장 앤드루 퍼거슨, 국방부 기술 담당 관리 에밀 마이클, 인사관리처장 스콧 쿠퍼가 포함된다.

트럼프는 연방 태스크포스가 미국의 리더십을 보호하면서 정부 노력을 조정할 것이라고 말했다. 이 조직은 기업, 소비자, 인프라 제공업체, 종교 단체, 공익 단체와 협의할 예정이다.

그러나 조정과 감독은 다르다. 태스크포스는 일률적인 기술 요건을 부과하지 않고도 정보를 수집하고 조치를 권고할 수 있다.

이전 연방 접근법은 일부 첨단 AI 개발자에게 안전성 시험 결과를 정부와 공유하도록 요구했다. 트럼프는 취임 첫날 이 요건을 뒷받침하던 바이든 행정부의 행정명령을 철회했다.

그의 행정부는 이후 분산된 규제가 개발을 가로막을 수 있다고 주장하며 주 차원의 AI 규제에 반대하는 움직임을 보였다. 이 순서는 자발적 합의를 더 빠른 배포와 더 적은 규범적 통제로 향하는 더 광범위한 정책 전환 안에 위치시킨다.

그 결과 연방 정부의 역할은 축소됐다. 워싱턴은 기존 법률에 따라 특정 행위를 조사할 수 있지만, 기업들은 모델 시험과 출시 결정에서 더 폭넓은 재량권을 유지한다.

이 때문에 이 협약은 즉각적인 긴장을 낳는다. 첨단 시스템에 안전장치가 필요하다는 점은 인정하면서도, 그 안전장치의 설계, 측정, 공개를 대부분 개발사에 맡기기 때문이다.

실리콘밸리 창업자들이 트럼프의 AI 자율 규제를 환영하는 이유

창업자와 투자자에게 자율 규제는 빠르게 확대되는 정부 및 상업 시장에 대한 접근을 유지하면서 정책 불확실성을 줄여준다.

특히 샌프란시스코 Tech Week 기간에 반응은 열광적이었다. 행정부가 AI 위험 관리를 위한 업계 주도 모델을 홍보하는 동안, 창업자와 벤처캐피털 투자자들이 도시 곳곳에 모였다.

이 시기는 국방, 사이버보안, 정부 운영을 위한 AI 시스템을 판매하는 기업들에 유리했다. 이들 기업은 신속히 반복 개발할 여지가 필요하지만, 신뢰성의 증거를 요구하는 구매자에게도 의존한다.

한 행사에서 PitchBook 리서치 디렉터 카일 스탠퍼드는 기회의 규모를 강조했다. 그는 미국 국방 지출 1조 달러 가운데 자율 시스템과 AI에 배정된 135억 달러를 언급했다.

이 수치는 긍정적 반응을 설명하는 데 도움이 된다. 더 적은 규범적 규칙은 개발 주기를 단축하고 정부 조달을 둘러싼 불확실성을 줄일 수 있다.

스타트업은 특히 준수 비용에 민감하다. 대형 연구소는 법무팀, 평가 조직, 정책 부서를 유지할 수 있다. 소규모 기업은 안정적인 매출을 확보하기 전 고정된 보고 요건을 감당하기 어려울 수 있다.

자율 규제는 절충안처럼 보인다. 기업들은 입법자들이 보편적 기준을 정할 때까지 기다리지 않고도 자신의 시스템에 맞는 통제를 도입할 수 있다.

이 접근은 빠른 실험을 선호하는 벤처 업계의 성향과도 맞는다. 투자자들은 일반적으로 스타트업이 제품을 시험하고, 증거를 수집하며, 방향을 바꿀 수 있을 때 기술적 불확실성을 수용한다.

정부 규제는 다르게 움직인다. 정식 규정에는 정의, 행정 절차, 검토가 필요하다. 기술 역량이 정책 과정보다 빠르게 변하면 그러한 규정은 시대에 뒤처질 수 있다.

쿠퍼는 이러한 유연성을 옹호해 왔다. 그는 정부가 시행되기도 전에 쓸모없어질 틀을 만드는 데 수년을 소비해서는 안 된다고 주장한다.

그 우려는 타당하다. AI 시스템은 아키텍처, 접근 방식, 배포 맥락, 잠재적 피해 측면에서 크게 다르다. 소비자 챗봇의 위험은 자율 국방 시스템의 위험과 다르다.

그러나 유연성은 고객이 기업의 통제를 계속 신뢰할 때에만 기업에 이익이 된다. 심각한 사고는 규제 확실성을 긴급 개입으로 빠르게 바꿔놓을 수 있다.

따라서 행정부의 접근은 암묵적 조건이 붙은 자유를 제공한다. 기업들은 눈에 띄는 실패가 더 엄격한 규칙을 요구하는 정치적 압력으로 이어지지 않도록 막아야 한다.

이러한 체계는 공개를 둘러싼 유인을 바꾼다. 문제를 보고하는 것은 책임감을 보여줄 수 있지만, 기업의 평판을 훼손하거나 집행 당국의 관심을 끌 수도 있다.

자발적 체계는 기업들이 조기 공개에 대한 명확한 혜택을 받을 때 가장 잘 작동한다. 침묵, 지연, 제한된 접근이 상업적 이익을 보호할 때는 약화된다.

투자자들도 더 광범위한 위험에 직면한다. 한 포트폴리오 기업이 책임 있는 관행을 따르더라도, 다른 개발사가 업계 전체의 정책을 바꾸는 사고를 일으킬 수 있다.

따라서 업계는 평판으로 서로 연결돼 있다. 한 기업의 보안 허점은 시장 전반의 조달 규칙, 보험 기대치, 공공 신뢰에 영향을 줄 수 있다.

Tech Week에서 나타난 열기는 당면한 사업 환경을 반영한다. 이것이 창업자들이 안전 업무를 거부하거나 위험을 사소하게 여긴다는 것을 증명하지는 않는다.

많은 이들은 속도를 보존하고 주별 법률의 난립을 피하는 안전 요건을 원한다. 또한 업계 의견을 반영해 개발된 기술 표준을 선호한다.

그러나 상업적 이점은 분명하다. 규칙을 설계하라는 요청을 받은 기업들은 동시에 모델 출시, 정부 계약 수주, 자본 조달을 위해 경쟁하고 있다.

이러한 이해 충돌이 그들의 전문성을 무효로 만들지는 않는다. 다만 그들의 안전 주장에는 독립적인 증거가 필요하다는 뜻이다.

트럼프의 AI 자율 규제, 책임성을 기업 내부로 옮기다

이 정책의 핵심적인 절충안은 단순하다. 위험을 만들어내는 조직이 그 위험을 정의하고 측정하는 일차적 책임도 맡는다.

AI 연구소들은 이미 내부 평가팀을 운영하고 있다. 이들 조직은 모델이 사이버 공격을 용이하게 하는지, 민감한 정보를 노출하는지, 기만적으로 행동하는지, 의도된 경계를 벗어나 작동하는지를 시험한다.

일부 기업은 역량과 한계를 설명하는 모델 카드 또는 시스템 카드를 공개한다. 다른 기업들은 단계적 배포, 제한된 접근, 모니터링, 외부 레드팀 훈련을 활용한다.

이러한 관행은 출시 전 문제를 포착할 수 있다. 내부 팀은 대부분의 외부 조직보다 모델 아키텍처, 학습 선택, 운영 시스템을 더 잘 이해한다.

그러나 근접성은 독립성을 제한할 수도 있다. 안전 담당 직원들은 기업의 보고 체계 안에서 일하며, 예산, 접근권, 경력 발전을 위해 경영진에 의존한다.

연구소는 어떤 위험에 주목할지 결정할 수 있다. 시험 시점, 어떤 결과를 공개할지, 평가자가 실제 운영 시스템을 볼 수 있을지를 통제할 수 있다.

제3자 검토는 평가자에게 실질적인 접근권이 있을 때에만 이러한 충돌을 줄일 수 있다. 선별된 시연에만 접근할 수 있는 평가자는 조직 전체를 독립적으로 평가할 수 없다.

정부 협약은 외부 감사의 자격 요건을 공개적으로 정의하지 않는다. 또한 평가자가 학습 기록, 내부 커뮤니케이션, 배포 로그, 미해결 사고를 검토할 수 있는지도 불분명하게 남겨둔다.

OpenAI는 외부 평가자를 내재화하고 제3자 안전 조직과의 계약을 완료하고 있다고 말한다. Anthropic도 독립 평가자를 도입하고 있으며, 더 폭넓은 업계 협력을 검토하고 있다고 밝혔다.

Google은 자사의 시험 및 평가 관행을 언급했고, Meta는 가장 역량이 뛰어난 모델의 학습 및 출시 기준을 업데이트했다. 이러한 조치는 기업들이 거버넌스 체계를 구축하고 있음을 시사한다.

그러나 이것이 공통된 기준선을 만드는 것은 아니다. 한 기업은 자율적 사이버 활동을 검토하는 반면, 다른 기업은 오용 프롬프트나 생물학적 정보에 초점을 맞출 수 있다.

“감사”라는 말은 이러한 차이를 가릴 수 있다. 재무 감사는 확립된 회계 규칙을 따르고 조사자에게 기록에 대한 명확한 접근권을 부여한다. AI 안전에는 이에 상응하는 보편적 체계가 없다.

내부에 상주하는 평가자들은 외부 검토자보다 더 많은 정보를 얻을 수 있다. 이들은 일상적인 의사결정, 내부 토론, 모델 출시를 둘러싼 압박을 관찰할 수 있다.

그러나 내부 접근권은 의존성도 낳는다. 평가자들은 업무를 완료하거나 향후 계약을 유지하기 위해 기업의 지속적인 협조가 필요할 수 있다.

평가기관 METR의 한 정책 담당자는 기존 작업이 진정한 감사의 기준에 미치지 못했다고 주장했다. 내부 상주 평가자에 대한 상세 분석 역시 자발적 접근권이 실질적인 감독을 제공하는지에 의문을 제기했다.

문제는 평가자들이 선의로 행동하느냐가 아니다. 그들의 결론이 불편해질 때, 그들을 보호하는 구조가 마련돼 있느냐의 문제다.

효과적인 검토 절차에는 안정적인 접근권, 문서화된 방법론, 이해충돌 공개, 보복으로부터의 보호가 필요하다. 미해결 위험을 상위 단계로 제기할 경로도 필요하다.

새 협약은 이들 요소 가운데 어느 것도 구체적으로 규정하지 않는다. 기업들은 여전히 자발적으로 이를 마련할 수 있지만, 대중은 모든 서명 기업이 비교 가능한 기준을 적용하리라고 가정할 수 없다.

기업 간 결과를 비교할 뚜렷한 장치도 없다. 모델마다 서로 다른 시험, 심각도 등급, 출시 기준이 적용될 수 있다.

이 같은 분절화는 기업 구매자에게 문제를 만든다. 병원, 은행, 공공기관은 공급자마다 자체 프레임워크를 사용할 때 안전성 주장을 쉽게 비교할 수 없다.

구매자들은 더 엄격한 계약 조건을 요구하는 방식으로 대응할 수 있다. 사고 통지, 감사 권한, 접근 통제, 문서화된 인간 검토를 요구할 수 있다.

이에 따라 대형 고객은 비공식 규제기관이 된다. 이들의 조달 요건은 새 법률이 없어도 최소 관행을 정립할 수 있다.

이 과정에는 한계가 있다. 소규모 고객은 비슷한 협상력을 갖지 못하며, AI 결정의 영향을 받는 사람들은 계약 당사자가 아닐 수 있다.

기업 주도의 감독은 민주적 문제도 남긴다. 기술 전문가들은 모델의 행동을 측정할 수 있지만, 어떤 사회적 위험이 용인 가능한지 혼자 결정해서는 안 된다.

안전성 선택은 고용, 프라이버시, 시민권, 선거, 의료, 정부 서비스에 영향을 미친다. 이러한 결정에는 공학적 판단뿐 아니라 공적 가치가 포함된다.

트럼프 행정부의 AI 자율규제는 기업에 이러한 절충안을 내부적으로 해결할 폭넓은 재량을 부여한다. 그 신뢰성은 외부인이 절차와 결과 모두를 검증할 수 있는지에 달려 있다.

현실 세계의 사고가 이미 자율 모델을 시험하고 있다

자발적 시스템은 보고 규칙, 조사 권한, 집행 범위가 명확히 확립되기도 전에 첫 압박 시험에 직면한다.

정책 논쟁은 더 이상 가상의 초지능에만 국한되지 않는다. 최근의 우려는 정부 웹사이트, 기업 시스템, 민감한 정보와 상호작용하는 AI 에이전트를 둘러싸고 있다.

Anthropic은 정부 및 기타 시스템의 무단 또는 사기성 사용과 관련된 사고를 자발적으로 공개했다. 회사는 해당 활동이 중단됐으며 유사한 활동도 계속되고 있지 않다고 밝혔다.

백악관은 자발적 협약보다 더 강한 표현으로 대응했다. 태스크포스는 국가안보 의무가 관련된 만큼 공개와 시정은 선택 사항이 아니라고 밝혔다.

당국자들은 즉각적인 투명성, 법 집행기관과의 협조, 시정 서비스, 재발 방지 장치를 요구했다. 이에 따른 사고 보고 의무는 심각한 실패 이후 자율규제가 의무로 전환될 수 있음을 시사한다.

이 반응은 미해결 경계를 드러낸다. 행정부는 전체 체계를 유연하고 자발적인 것으로 설명하면서도, 특정 사고 이후에는 의무적 조치를 기대한다.

따라서 기업들은 내부 문제가 언제 연방 보고 의무가 되는지 설명하는 공개된 규정집을 갖고 있지 않다. 그 답은 기존의 사이버보안, 소비자 보호, 조달 또는 국가안보 법률에 따라 달라질 수 있다.

OpenAI는 정부 시스템을 탐색한 것으로 알려진 에이전트와 관련해 별도의 조사를 받아왔다. 연방거래위원회는 소비자 위험 가능성을 두고 OpenAI, Anthropic 및 다른 기업들을 대상으로 조사를 시작했다.

기존 법률이 사라진 것은 아니다. 기관들은 여전히 기만, 불공정 관행, 차별, 프라이버시 침해, 보안 실패에 대응할 수 있다.

자발적 협약은 이러한 집행 환경 위에 놓여 있다. 이는 기업에 일반적으로 적용되는 법률로부터의 면책을 부여하지 않는다.

그러나 사후 집행은 예방적 감독과 다르다. 조사기관은 피해가 가시화되거나 기업이 사고를 공개한 뒤에야 움직일 수 있다.

AI 에이전트는 행동이 빠르게 전개될 수 있어 이 모델을 복잡하게 만든다. 이들은 단계마다 별도 승인을 받지 않고도 웹사이트를 탐색하고, 코드를 작성하고, 기록을 검색하거나 외부 서비스에 연락할 수 있다.

기업은 에이전트의 행동을 재구성하는 데도 어려움을 겪을 수 있다. 로그는 행동을 보여줄 수 있지만, 모델이 특정 순서를 선택한 이유까지 항상 드러내지는 않는다.

이 불확실성은 배포 통제의 중요성을 높인다. 제공업체는 권한, 인증, 도구 접근, 데이터 보존, 고영향 행동에 제한을 둬야 한다.

고객에게도 통제가 필요하다. 기업은 코드 실행이나 외부 시스템 변경이 가능한 에이전트를 일반적인 챗봇처럼 취급해서는 안 된다.

금융 이체, 운영 환경 변경, 법적 약정, 민감 데이터 접근에는 여전히 사람의 승인이 중요하다. 모니터링은 사고가 확대되기 전에 이례적 행동을 식별해야 한다.

이러한 예방책은 실용적이지만 공적 책임 문제를 해결하지는 못한다. 기업은 실패의 빈도나 심각도를 공개하지 않고도 통제를 개선할 수 있다.

전 OpenAI 안전 책임자 David Robinson은 기업의 자체 감시가 강력한 법률을 대체할 수 없다고 경고했다. 그는 빠르게 짧아지는 모델 주기가 단기적 안전 과제를 만들고 있다고 주장한다.

AI Now의 Sarah Myers West는 더 광범위한 비판을 제기한다. 그는 자율규제가 기업의 내부 질서 유지나 기존 요건 준수를 보장하는 데 반복적으로 실패했다고 말한다.

이러한 비판이 모든 자발적 프로그램이 실패할 것임을 입증하는 것은 아니다. 이는 협약이 아직 상쇄하지 못한 유인을 지적한다.

전 재무부 관료 Graham Steele 역시 기업이 광범위한 사회적·정치적 결과를 수반하는 결정을 내려야 하는지 의문을 제기했다.

그의 문제 제기는 기술적 역량을 넘어선다. 누구에게 권한이 주어지는지, 누가 결정에 이의를 제기할 수 있는지, 시스템이 실패할 때 누가 비용을 부담하는지를 묻는다.

보도된 업계 대응은 기업들이 평가와 거버넌스 구조를 도입하고 있음을 보여준다. 동시에 백악관이 이행을 어떻게 감시할지 설명하지 않았다는 점도 보여준다.

따라서 정책의 첫 시험은 절차적이다. 기업은 기자, 고객 또는 조사기관이 다른 곳에서 같은 사실을 발견하기 전에 공개가 이뤄진다는 점을 보여야 한다.

신속히 보고하고, 영향을 받은 조직을 지원하며, 의미 있는 조사 결과를 공개한다면 자발적 통제는 신뢰를 얻는다. 공개가 선택적으로 보인다면 워싱턴은 규칙을 공식화하라는 압력에 직면할 것이다.

이 정책은 구매자, 노동자, 소규모 AI 기업에 부담을 전가한다

AI 안전성을 판단하는 부담은 이제 고객, 직원, 평가자, 그리고 연방 의사결정권자에게 직접 접근할 수 없는 기업들로 옮겨간다.

대형 기술 기업들은 백악관과 협상하고 자발적 기준 형성에 도움을 줄 수 있다. 그러나 이들의 모델을 사용하는 대부분의 기업은 그렇지 못하다.

기업 구매자는 제공업체가 공개한 평가가 자신들의 실제 배포 환경을 다루는지 판단해야 한다. 일반적인 모델 평가는 급여, 의료 또는 내부 코드에 연결된 에이전트에 대해 거의 알려주지 못할 수 있다.

조달팀은 누가 각 시험을 수행했는지, 평가자가 어떤 접근권을 받았는지, 어떤 실패가 아직 해결되지 않았는지 물어야 한다. 제공업체가 사고를 얼마나 신속하게 보고하는지도 검토해야 한다.

기술 구매자에게는 시스템 수준의 증거가 필요하다. 안전한 기반 모델도 도구, 비공개 데이터 또는 자동화된 워크플로와 연결되면 위험해질 수 있다.

개발자에게도 관련 책임이 있다. 이들은 자격 증명을 제한하고, 테스트 환경과 운영 환경을 분리하며, 조사기관이 검토할 수 있는 형태로 행동을 기록해야 한다.

지식 노동자에게도 명확한 경계가 필요하다. 문서를 요약하는 보조 도구와 메시지를 보내거나 비즈니스 기록을 변경할 권한을 가진 에이전트는 서로 다른 위험 노출을 만든다.

AI 지식 베이스를 구축하는 조직은 정보 검색과 고영향 실행을 분리해야 한다. 접근 권한은 사용자의 기존 권한을 따라야 한다.

이러한 통제는 현지 위험을 줄이지만 제공업체의 투명성을 대체할 수는 없다. 고객은 숨겨진 모델 변경을 시험하거나 자신이 통제하지 않는 인프라를 검토할 수 없다.

AI 기업 내부의 직원들은 또 다른 책임성 경로가 된다. 엔지니어와 안전 연구자들은 경영진, 규제기관 또는 고객보다 먼저 경고 신호를 발견하는 경우가 많다.

이들이 우려를 제기할 때는 명확한 보고 절차와 보호가 필요하다. 그렇지 않으면 내부 안전팀은 대규모 출시를 둘러싼 갈등을 기록하기를 주저할 수 있다.

OpenAI의 최근 분쟁은 이러한 긴장을 보여준다. 세 명의 연구자는 민감한 정보와 안전 업무 처리에 관한 이견 속에서 회사가 자신들을 해고했다고 말했다.

OpenAI는 해당 직원들이 명확한 정책을 위반했다고 밝혔다. 공개 기록만으로는 모든 주장을 독립적으로 판단할 수 없으므로, 이 사건을 조직적 보복의 증거로 다뤄서는 안 된다.

다만 이는 거버넌스 절차가 중요한 이유를 보여준다. 신뢰할 수 있는 시스템은 정당한 경고를 억누르지 않으면서 보호받아야 할 안전성 문제 제기와 무단 공개를 구분해야 한다.

소규모 AI 기업은 다른 압박에 직면한다. 이들은 공식 규제가 적다는 점에서 혜택을 볼 수 있지만, 대형 연구소가 설계한 자발적 기준은 여전히 비용이 큰 시장 기대치가 될 수 있다.

정부 사업을 추진하는 스타트업은 외부 평가, 세부적인 보안 통제, 사고 대응팀이 필요할 수 있다. 이러한 요건은 법률이 없어도 규제와 유사할 수 있다.

대기업은 이러한 비용을 흡수하고 허용 가능한 절차를 정의하는 데 도움을 줄 수 있다. 소규모 경쟁사들은 자신들이 만드는 데 거의 관여하지 못한 기준을 따라야 할 수 있다.

이러한 역학은 기존 강자를 강화할 수 있다. 특히 조달기관이 제한된 승인 조직 집단의 평가만 받아들일 경우 위험은 더 크다.

개방형 표준은 이러한 불균형을 줄일 수 있다. 공유 시험, 공통 보고 형식, 이식 가능한 증거는 구매자가 제공업체를 더 공정하게 비교할 수 있게 한다.

이 협약은 그러한 기준의 등장을 막지 않는다. 다만 이를 보장하지 않을 뿐이다.

공공기관에도 명확성이 필요하다. 에이전트가 민감한 시스템이나 시민 정보를 접할 수 있을 때 정부 구매자는 신뢰에만 의존할 수 없다.

계약에는 통지 기한, 시정 책임, 기록 보존, 평가자 접근권을 명시해야 한다. 기관들은 어떤 행동에 직접적인 인간 승인이 필요한지도 식별해야 한다.

따라서 트럼프 행정부의 AI 자율규제는 안전 업무를 분산시킨다. 이는 실험을 지원할 수 있지만, 동시에 정보와 협상력이 불평등한 조직들에 책임을 배분한다.

기업은 자기 시스템에 대해 가장 많은 것을 안다. 구매자는 배포 환경을 통제한다. 규제기관은 법적 권한을 보유한다. 직원들은 내부 의사결정을 관찰한다.

작동 가능한 시스템은 한 집단이 다른 집단을 대체할 수 있다고 가정하기보다 이들 집단을 연결해야 한다.

자율 감시가 지속될 수 있는지를 보여줄 세 가지 신호

다음 단계는 공개 속도, 평가자의 독립성, 그리고 다음 중대 사고에 대한 정부 대응으로 평가받게 될 것이다.

첫 번째 신호는 백악관이 자율 협약의 운영 세부사항을 공개하는지 여부다. 대중에게는 내부 통제와 외부 검토에 관한 포괄적 약속만으로는 충분하지 않다.

유용한 세부사항에는 적용 대상 시스템, 보고 대상 사고, 평가자 자격 요건, 예상 공개 일정이 정의돼야 한다. 또한 연방 태스크포스가 준수 여부를 어떻게 점검하는지도 설명해야 한다.

명확한 규칙은 유연성이 무대응을 뜻하지 않는다는 행정부의 주장을 강화할 것이다. 모호함이 계속된다면 각 기업은 협약을 저마다 다르게 해석할 여지를 갖게 된다.

두 번째 신호는 외부 평가자가 지속적인 독립성을 보장받는지 여부다. 기업은 누가 검토자를 선정하고 비용을 지급하는지, 검토자가 어떤 정보까지 살펴볼 수 있는지, 조사 결과가 공개되는지를 밝혀야 한다.

평가자에게는 접근 권한을 잃지 않고도 해결되지 않은 문제를 보고할 권한도 필요하다. 그렇지 않으면 감사라는 명칭은 실질적인 책임성 없이 안심만 제공할 수 있다.

비교 가능한 보고서는 구매자가 경쟁 모델을 판단하는 데 도움이 된다. 또한 기업들이 유사한 실패 사례에 일관된 심각도 수준을 적용하는지도 드러낼 것이다.

세 번째 신호는 다음 에이전트 관련 보안 사고를 어떻게 처리하는지다. 세련된 성명보다 대응 속도가 더 중요할 것이다.

신뢰할 수 있는 대응은 영향을 받은 시스템을 식별하고, 봉쇄 조치를 설명하며, 피해 당사자를 지원하고, 독립적 평가에 충분한 세부정보를 공개해야 한다. 민감한 보안 정보는 보호하면서도 기업은 여전히 사고 범위를 설명할 수 있다.

공개가 지연되거나 불완전하면 자율 규제 체계는 약화될 것이다. 또한 FTC, 의회, 주 정부 및 연방 조달 담당자에 대한 압박도 커질 것이다.

Super Intelligence Force도 같은 시험대에 오르게 된다. 이들의 행동은 주로 업계 정책을 조율하는 역할인지, 아니면 적극적인 감독 기구로 기능하는지를 보여줄 것이다.

절제된 개입은 국가 안보와 소비자 피해에 관한 명확한 경계를 집행함으로써 자율 규제를 뒷받침할 수 있다. 즉흥적인 대응은 합의된 절차가 부재하다는 점을 드러낼 수 있다.

의회 역시 또 다른 변수다. 의원들은 모든 기술적 시험을 지시하지 않으면서도 보고 의무, 내부고발자 보호, 감사 접근권 또는 책임 규정을 마련할 수 있다.

연방 정책이 불충분해 보인다면 주 정부는 계속 행동할 수 있다. 이는 행정부가 피하고자 하는 규제의 파편화를 되살릴 것이다.

따라서 업계 리더들에게는 자신들이 선호하는 모델을 입증할 시간이 제한돼 있다. 이들은 자유가 더 빠른 제품 출시만이 아니라 더 빠른 안전성 개선을 낳는다는 점을 보여야 한다.

기준은 사고가 전혀 없는 상태여서는 안 된다. 복잡한 시스템은 실패할 수 있으며, 완벽한 예방을 전제로 한 정책은 현실적이지 않다.

더 유용한 기준은 조직이 문제를 조기에 감지하고, 피해를 제한하며, 중요한 사실을 공개하고, 이후 관행을 바꾸는지 여부다.

독자들은 브랜딩이 아니라 증거를 지켜봐야 한다. 이름만 바꾼 태스크포스, 의례적인 협약 또는 기업의 안전성 페이지로는 감독이 작동한다는 사실을 입증할 수 없다.

다음 사고가 발생할 때마다 세 가지 질문을 던져야 한다. 누가 이를 발견했는가, 얼마나 신속히 보고됐는가, 그리고 어떤 독립 검토자가 대응을 검증할 수 있는가?

그 답은 Trump AI 자율 규제가 신뢰할 수 있는 거버넌스 모델로 발전할지, 아니면 의무 규정 도입 전의 일시적 유예에 그칠지를 결정할 것이다.