독재 정권이 AI로 감시와 정치적 통제를 확대하는 방식

Google News는 인공지능이 권위주의 정부의 인식상 반대 세력을 전례 없는 속도로 식별하고, 감시하며, 침묵시키는 데 활용되고 있다는 냉혹한 충돌을 부각했다.

이 변화는 단순히 더 많은 카메라를 설치하거나 더 많은 웹사이트를 차단하는 문제가 아니다. 이제 정부는 그동안 분리돼 있던 데이터베이스 전반에서 얼굴, 이동 경로, 메시지, 관계, 행동 패턴을 연결할 수 있다.

이 통합은 통치자와 이에 도전하는 시민 사이의 힘의 균형을 바꾼다. 전통적인 탄압은 시위, 출판물, 정치 조직에 대응한다. AI 지원 탄압은 이런 활동을 더 이른 단계에 감지하고, 중요도를 평가하며, 확산되기 전에 방해하려 한다.

중국은 이 모델의 가장 광범위한 형태를 구축했다. 러시아, 이란 및 다른 정부들도 안면 인식, 자동화 검열, 데이터 융합, 온라인 영향력 작전이 겹쳐진 조합을 도입했다.

이들 시스템은 여전히 불완전하다. 오류를 내고, 정치적 편향을 물려받으며, 여전히 인간 공무원에게 의존한다. 그러나 권위주의 정부는 우위를 얻기 위해 완벽한 예측이 필요하지 않다.

조직화하고, 발언하고, 이동하고, 익명성을 유지하는 데 드는 비용을 높일 만큼의 정보면 충분하다. 알고리즘이 자주 실수하더라도 이러한 위축 효과는 정권을 강화할 수 있다.

따라서 핵심 경쟁 구도는 독재 정권과 단일 기술 기업 사이의 대결이 아니다. 자동화된 정치 통제와 책임 있는 AI 거버넌스의 대결이다.

이 충돌은 국경을 넘어 확장된다. 감시 구성 요소는 다국적 공급망에서 나오며, 정부들은 인프라, 운영 지식, 규제 모델을 서로 교환한다.

Google News가 드러내는 AI 기반 탄압

중요한 변화는 단일한 배치가 아니라, 분리돼 있던 통제 도구들이 갈수록 통합된 정치 시스템으로 전환되는 데 있다.

권위주의 정부는 언제나 비판자에 관한 정보를 수집해 왔다. 비밀경찰은 회의를 감시하고, 통신을 가로채며, 정보원을 포섭하고, 정치적으로 위험하다고 판단한 사람들의 파일을 만들었다.

이런 방식에는 많은 노동력이 필요했다. 공무원들은 누구를 미행할지, 어떤 메시지를 읽을지, 서로 다른 기관에 저장된 정보 조각을 어떻게 연결할지 결정해야 했다.

AI는 이러한 행정 부담을 줄인다. 컴퓨터 비전은 카메라 영상을 검색할 수 있고, 자연어 처리는 메시지를 분류하고 금지된 주제를 감지할 수 있다.

여러 출처의 기록을 결합하는 데이터 융합은 얼굴을 전화번호, 차량, 주소, 직장, 사회적 네트워크와 연결할 수 있다. 이후 예측 분석은 정부가 정의한 위험 점수에 따라 사람이나 사건의 순위를 매길 수 있다.

그 결과 더 넓은 범위의 그물망이 형성된다. 당국은 짧은 용의자 명단이 아니라 전체 인구를 출발점으로 삼을 수 있다.

Freedom House는 디지털 탄압 연구에서 이러한 더 광범위한 변화를 기록했다. 연구진은 전 세계 인터넷 사용자의 88%를 대표하는 70개국의 동향을 조사했다.

이 단체는 2023년 보고 기간에 인터넷 자유가 13년 연속 하락했다고 밝혔다. 조사 대상 70개국 중 55개국에서는 사람들이 온라인 표현을 이유로 법적 처벌에 직면했다.

최소 21개국 정부는 플랫폼이 비선호 콘텐츠에 맞서 머신러닝을 사용하도록 요구하거나 장려하는 법적 규정을 만들었다. 이런 규정은 민간 플랫폼을 국가 검열의 연장선으로 만들 수 있다.

생성형 AI는 또 다른 층위를 더한다. 이는 전통적인 선전 조직보다 더 빠르게 기사, 이미지, 오디오, 댓글, 조작된 신원을 만들어낼 수 있다.

Freedom House는 보고 기간 중 최소 16개국에서 정부나 정치 행위자가 생성형 도구를 활용해 공적 토론을 왜곡했다고 밝혔다. 최소 47개국 정부는 온라인 토론을 조작하기 위해 논평자를 동원했다.

이러한 활동은 일반적인 정치 메시지와 다르다. 조직적인 캠페인은 겉보기의 합의를 만들어내거나, 독립 보도를 압도하거나, 진짜 증거를 조작된 자료와 구별할 수 없게 만들 수 있다.

정권에 혼란은 설득만큼이나 유용할 수 있다. 모든 영상, 계정, 문서를 신뢰하지 못하는 시민은 사건에 관한 공통된 이해를 바탕으로 조직화하기가 더 어려워진다.

이 때문에 Google News의 헤드라인은 해당 발행 매체를 넘어 의미가 있다. 이는 정치 통제가 작동하는 방식의 구조적 변화를 가리킨다.

AI는 검열, 체포, 인터넷 차단, 위협을 대체하지 않는다. 정부가 이런 수단을 어디에 적용할지, 그리고 그 규모를 어떻게 감출지 결정하도록 돕는다.

시스템은 집행 과정에서도 학습한다. 체포는 이후 수사에 활용될 수 있는 새로운 기기 기록, 연락처, 이동 이력, 심문 자료를 만들어낸다.

이 피드백 고리는 각 개입을 추가 훈련 데이터로 바꾼다. 또한 결정적인 연결이 접근할 수 없는 정부 데이터베이스 안에서 이뤄질 수 있어 탄압을 조사하기 더 어렵게 만든다.

이 변화는 심각한 책임성 격차를 낳는다. 영향을 받은 사람은 어떤 데이터가 주목을 촉발했는지, 알고리즘이 이를 어떻게 평가했는지, 누군가 결과를 검증했는지를 끝내 알지 못할 수 있다.

보안 기관이 그 과정을 비밀로 규정하면 의미 있는 이의 제기는 거의 불가능해진다. 불투명성은 단순한 기술적 문제가 아니다. 이는 시스템을 사용하는 기관의 정치적 이해에 봉사한다.

권위주의 정권의 우위는 완벽한 정확성이 아니라 규모에 있다

독재 정권은 책임 있는 법 체계라면 거부해야 할 오류를 감수할 수 있기 때문에 AI로부터 영향력을 얻는다.

공적 논의는 흔히 정확성을 감시 시스템의 핵심 척도로 다룬다. 하지만 이러한 틀은 정치적 질문을 놓친다.

안면 인식 모델은 시위자, 기자, 행인의 신원을 잘못 일치시킬 수 있다. 언어 모델은 풍자를 반체제 표현으로 오인할 수 있다. 위험 시스템은 무고한 연관성을 불충성의 증거로 취급할 수 있다.

권리를 존중하는 시스템에서 이런 실패는 공개, 검토, 정정, 보상을 촉발해야 한다. 법원, 규제기관, 언론인, 선출직 공직자는 책임 기관에 이의를 제기할 수 있다.

권위주의 체제는 제약이 더 적다. 지도자들은 위협 자체가 정권을 뒷받침할 때 대량의 오탐을 받아들일 수 있다.

잘못 심문받은 사람도 참여에는 위험이 따른다는 사실을 배우게 된다. 그 가족과 동료들 역시 같은 메시지를 받는다. 당국이 접촉하기도 전에 다른 이들이 물러설 수 있다.

이는 위축 효과를 낳는다. 즉, 사람들이 감시나 처벌을 예상하기 때문에 합법적인 행동을 바꾸는 현상이다. 정부는 모두를 기소할 필요가 없다.

시민이 익명성이 사라지고 있다고 믿게 하면 된다.

AI는 감시가 포괄적으로 이뤄지는 듯 보이게 함으로써 이런 믿음을 강화한다. 연결된 카메라는 실제로는 사각지대가 있어도 당국이 도시 전체의 이동을 재구성할 수 있다는 인상을 준다.

자동화된 모니터링은 온라인에서도 비슷한 인상을 만든다. 사용자는 삭제된 문구가 알고리즘, 인간 검토자, 정부 지시 중 무엇을 촉발했는지 알 수 없다.

이러한 불확실성은 자기검열을 부추긴다. 또한 사람들이 스스로 행동을 단속하기 시작하면서 집행 비용을 정부에서 인구 전체로 전가한다.

Carnegie의 감시 지수는 기반 기술이 2019년까지 얼마나 널리 확산됐는지를 보여줬다.

이 연구는 176개국 중 최소 75개국에서 AI 감시가 적극적으로 사용되고 있음을 확인했다. 스마트시티 또는 세이프시티 플랫폼은 56개국, 안면 인식은 64개국, 스마트 치안은 52개국에서 사용됐다.

이 수치가 학대를 증명하는 것은 아니다. Carnegie는 합법적 배치와 불법적 배치를 지수만으로 구분할 수 없다고 명시했다.

이 구분은 필수적이다. 민주주의 정부 역시 치안, 국경 관리, 공공 안전을 위해 안면 인식, 예측 시스템, 영상 분석을 사용한다.

정치적 환경은 법적 안전장치가 이러한 역량을 제약하는지 여부를 결정한다. 독립적인 법원, 자유 언론, 조달의 투명성, 실효성 있는 이의 제기 절차는 오용을 줄일 수 있다.

폐쇄된 체제에는 이런 보호 장치가 없다. 보안 기관은 정치적 비판을 극단주의, 공공질서 교란, 분리주의, 허위 정보로 규정할 수 있다.

그 분류가 감시 목록에 들어가면 AI는 그 결과를 자동화할 수 있다. 개인은 추가 수색, 출국 차단, 계정 제한, 고용상 압박, 반복적인 경찰 접촉에 직면할 수 있다.

컴퓨터가 정치적 범주를 만드는 것은 아니다. 다만 수백만 건의 기록에 그 범주를 적용하기 쉽게 만든다.

이것이 중립적 알고리즘에 관한 주장이 불충분한 이유를 설명한다. 기술적으로 정확한 모델도 학대적인 정책을 지원할 수 있다.

정부가 평화적 시위자를 식별하라고 시스템에 지시했다면, 정확도를 높이는 것은 인권 문제를 해결하지 못한다. 오히려 침해를 더 효율적으로 만든다.

자동화 검열에도 같은 우려가 적용된다. 분류기는 금지된 사건, 소수자, 야권 인사에 대한 모든 언급을 정확하게 인식할 수 있다.

공학적 관점에서 모델은 잘 작동한다. 정치적 관점에서 이는 대중이 말하고 정보를 얻을 수 있는 능력을 좁힌다.

따라서 AI는 권위주의 정부에 세 가지로 연결된 이점을 제공한다. 규모, 속도, 그리고 그럴듯한 거리 두기다.

규모는 감시 대상 인원을 늘린다. 속도는 표현과 집행 사이의 시간을 줄인다. 그럴듯한 거리 두기는 공무원이 결정의 책임을 플랫폼, 공급업체, 자동화 과정에 돌리도록 해준다.

어느 것도 인공일반지능을 필요로 하지 않는다. 기존의 컴퓨터 비전, 데이터베이스 매칭, 추천 시스템, 언어 모델만으로도 필요한 구성 요소를 제공한다.

중국은 AI 통제 스택을 구축하고 있다

중국의 모델은 상업적 혁신, 법적 의무, 국가 조달을 결합해 정치 통제를 위한 재사용 가능한 인프라를 만든다.

중국은 그 시스템이 온라인 콘텐츠, 물리적 감시, 치안, 법원, 교도소 전반으로 확장돼 있기 때문에 가장 발전된 사례로 남아 있다.

Australian Strategic Policy Institute는 중국의 AI 시스템에 관한 2025년 보고서에서 이러한 통합을 조사했다.

연구진은 조달 기록, 기업 공시, 채용 공고, 모델 행동을 분석했다. 또한 정치적으로 민감한 이미지 200개로 구성된 데이터세트를 사용해 중국의 대규모 언어 모델을 시험했다.

이들의 조사 결과는 하나의 감시 제품이 아니라 통제 스택을 묘사한다. 서로 다른 시스템이 정보를 분류하고, 사람을 식별하며, 경보를 생성하고, 공무원을 지원하며, 콘텐츠 규칙을 집행한다.

중국의 대규모 언어 모델은 텍스트만 필터링하지 않는다. ASPI는 정치적으로 민감한 이미지에도 영향을 미치는 검열 메커니즘을 발견했다.

이는 멀티모달 모델이 텍스트, 사진, 오디오, 비디오를 포함한 여러 형식을 처리하기 때문에 중요하다. 따라서 검열 시스템은 서로 다른 매체 전반에 동일한 정치적 규칙을 적용할 수 있다.

이 역량은 우회를 더 어렵게 만든다. 사용자는 직접적인 텍스트가 차단됐을 때 역사적으로 이미지, 동음이의어, 스크린샷, 암호화된 언어에 의존해 왔다.

여러 형식을 해석하도록 훈련된 모델은 이러한 대체 표현을 더 많이 식별할 수 있다. 인간 검토자는 여전히 문화적·정치적 판단을 제공하지만, 자동화는 그들의 영향 범위를 넓힌다.

ASPI는 온라인 검열 업무 채용 공고 100여 건을 검토했다. 검토 인력에 대한 지속적인 수요는 중국의 시스템이 사람을 완전히 배제하지 않았음을 보여준다.

오히려 인간 노동자들은 변화하는 정치적 경계를 해석하고 그 판단을 자동화 프로세스에 반영한다. 기계는 규모를 제공하고, 사람은 용납할 수 없는 발언의 정의를 갱신한다.

중국의 규제는 상업적 수요도 만들어낸다. 주요 기술 기업들은 소규모 기업이 콘텐츠를 심사하는 데 사용할 수 있는 컴플라이언스 플랫폼을 개발했다.

이러한 체계는 디지털 경제 전반에 집행을 분산시킨다. 신규 서비스가 검열 운영 체계 전체를 처음부터 구축할 필요는 없다.

기존 국가 요구사항에 맞춰 설계된 시스템을 구매하거나 통합할 수 있다. 컴플라이언스는 예외적인 개입이 아니라 일상적인 인프라 비용이 된다.

형사사법 시스템에서는 위험 부담이 더 크다. ASPI는 중국이 치안, 기소, 법원, 교도소 전반에 AI를 도입하고 있다고 밝혔다.

보도에 따르면 이러한 도구는 문서, 증거 처리, 양형 권고, 기관 운영을 지원한다. 각 활용 방식은 투명성과 불복 절차에 대해 서로 다른 질문을 제기한다.

자동화된 권고는 학습 데이터가 선택적 치안을 반영하더라도 객관적으로 보일 수 있다. 정치적으로 지시되는 시스템에서 과거의 체포와 유죄 판결은 중립적인 기록을 구성하지 않는다.

당국이 과거 특정 공동체를 집중적으로 표적 삼았다면, 그 이력을 학습한 알고리즘은 같은 패턴을 재현할 수 있다. 이어 그 반복을 통계적 증거로 제시할 수도 있다.

소수 언어 시스템은 이러한 우려를 더 키운다. ASPI는 위구르어, 티베트어, 몽골어, 한국어 처리와 관련된 정부 지원 작업을 확인했다.

상업 개발자들은 비교적 작은 언어 집단을 위해 고비용 모델을 개발할 유인이 제한적이다. 감시와 정보 통제가 투자를 정당화할 때 국가는 자금을 제공할 수 있다.

이러한 모델은 이전에는 부족한 인적 전문 인력이 필요했던 발언을 모니터링할 수 있다. 또한 텍스트, 오디오, 비디오 전반으로 분석을 확장할 수도 있다.

따라서 통제 체계는 여러 공백을 한꺼번에 메운다. 언어 적용 범위를 넓히고, 온라인과 오프라인 신원을 연결하며, 정부 의사결정 과정에 자동화 권고를 더 깊이 끌어들인다.

중국의 시스템은 완전히 중앙집중화되어 있거나 일관되게 역량을 갖춘 것은 아니다. 기관마다 예산이 다르고, 공급업체의 제품 품질도 균일하지 않으며, 지방 관리들은 여전히 중대한 선택을 내린다.

그러한 불균일성이 잘못된 안도감을 만들어서는 안 된다. 정치 체계가 공포를 조성하거나 특정 집단을 처벌하기 위해 기술적 일관성을 갖출 필요는 없다.

Google News 독자들은 이 이야기를 중국에만 특유한 현상으로 축소해서도 안 된다. 중국은 가장 분명한 대규모 모델을 제공하지만, 그 구성 요소와 운영 관행은 국경을 넘어 확산된다.

일부는 상업 수출의 형태로 이동한다. 다른 일부는 교육 관계, 회의, 표준화 기구, 치안 교류 또는 모방을 통해 퍼진다.

따라서 중국 사례는 국내 인권 문제이자 다른 곳에서도 이용 가능한 역량의 예고편이다.

글로벌 기술 공급망이 시스템을 계속 가동한다

권위주의적 감시는 밀폐된 국가 시스템 내부에서 만들어지지 않는다. 그것은 국제적인 하드웨어, 소프트웨어, 전문지식, 자금 조달에 의존한다.

카메라 네트워크에는 센서, 저장장치, 프로세서, 통신 장비, 데이터베이스, 분석 소프트웨어가 필요하다. 각 계층에는 여러 관할권에서 활동하는 기업이 관여할 수 있다.

이러한 복잡성은 책임 부인의 여지를 만든다. 칩 제조업체는 범용 하드웨어를 판매한다고 말할 수 있다. 소프트웨어 기업은 현지 파트너가 배치를 통제했다고 주장할 수 있다.

유통업체는 최종 정부 고객을 만난 적이 없다고 주장할 수 있다. 당국은 조달을 계약업체나 무해한 이름의 공공안전 프로젝트 뒤에 숨길 수 있다.

그러나 조립된 시스템은 여전히 정치적 감시를 뒷받침할 수 있다.

Associated Press의 한 조사는 외국 기술이 중국의 디지털 경찰국가에 어떻게 기여했는지 살펴봤다.

이 조사는 수만 건의 유출 이메일과 데이터베이스, 기밀 기록, 조달 문서, 100명 이상의 인터뷰를 바탕으로 했다.

AP는 미국, 유럽, 아시아 기업과 연결된 기술이 중국의 치안 및 감시 인프라에 등장했다고 보도했다.

사례에는 데이터베이스 소프트웨어, 클라우드 시스템, 저장장치, 지도 제품, 칩, 카메라, 생체인식 도구, 분석 애플리케이션이 포함됐다.

여러 기업은 AP에 과거의 관계는 종료됐고 수출 통제를 준수했으며, 주장된 오용은 자신들의 인지와 통제 범위 밖에서 발생했다고 밝혔다.

이런 답변은 집행 문제를 보여준다. 부품은 판매 후 수년간 유용하게 쓰일 수 있고, 소프트웨어는 다른 기업에 의해 복제·수정·통합될 수 있다.

수출 규칙은 흔히 명시된 기관, 목적지 또는 제품에 초점을 맞춘다. 감시 시스템은 그러한 목록보다 빠르게 진화하며, 자주 일반적인 상용 기술을 결합한다.

그러므로 공급망 책임은 협소한 제재 확인으로 끝날 수 없다. 공급업체는 의도된 사용자, 현지 파트너, 배치 환경, 예측 가능한 2차적 사용을 검토해야 한다.

또한 계약상 통제, 기술적 제한, 감사, 신뢰할 수 있는 철수 절차도 필요하다. 특히 정부가 운영을 은폐할 경우, 어느 것도 완전한 해법을 제공하지는 못한다.

서구의 관여 이력은 권위주의적 AI가 단일 국가 모델을 따른다는 주장에 복잡성을 더한다. Carnegie는 2019년 지수에서 미국 기업의 기술이 32개국에 존재한다는 사실을 확인했다.

중국 기업이 주요 공급업체였지만, 프랑스, 독일, 이스라엘, 일본, 미국에 기반을 둔 기업들도 세계적 확산에 기여했다.

이는 모든 공급업체가 억압을 의도했다는 증거는 아니다. 다만 민주주의 대 독재라는 단순한 공급 지도로는 설명이 실패하는 이유를 보여준다.

상업적 유인은 개방 사회의 기업과 공개적 감독 없이 운영되는 기관을 연결할 수 있다. 투자자와 경영진은 정치적 위험보다 공공안전 계약을 먼저 볼 수 있다.

같은 인프라도 목적이 바뀔 수 있다. 도시는 교통 관리를 위해 카메라를 구매한 뒤 시위가 시작되면 이를 안면인식과 연결할 수 있다.

국경 데이터베이스는 국내 감시 명단이 될 수 있다. 콘텐츠 안전 분류기는 정치적 금기를 집행할 수 있다. 사기 탐지 플랫폼은 반체제 인사의 금융 네트워크를 드러낼 수 있다.

이러한 용도 전환 문제는 최초의 판매 설명에만 근거한 보장을 약화시킨다. 거버넌스는 기술의 유효 수명 전반에 걸쳐 이를 따라가야 한다.

기업은 유지보수도 고려해야 한다. 업데이트, 클라우드 서비스, 교체 부품, 기술 지원은 남용되는 시스템의 운영을 계속 가능하게 할 수 있다.

신규 판매를 중단한다고 해서 이미 배치된 장비가 즉시 작동을 멈추는 것은 아니다. 정부는 하드웨어를 비축하거나 중개업체를 이용하거나 현지 대체품을 개발할 수 있다.

그 결과 세계 시장은 독재 체제에 회복력을 제공한다. 이들은 서로 다른 공급업체의 기술을 혼합하고 시간이 지나며 제한된 부품을 교체할 수 있다.

이러한 회복력은 조율된 규칙에 대한 압력을 만든다. 동등한 제품이 다른 곳에서 계속 제공된다면 한 국가의 엄격한 수출 통제는 효과가 제한적이다.

공유된 기준은 금지된 고객뿐 아니라 금지된 사용 방식도 정의해야 한다. 정부는 프로젝트를 부처, 지방 기관, 연계 계약업체 사이에서 옮길 수 있다.

Google News 보도는 개별 거래를 드러낼 수 있지만, 대중의 관심은 전체 사슬을 끝까지 따라가는 경우가 드물다. 조달 기록, 기업 공시, 기술 연구가 그 공백을 메워야 한다.

결정적인 질문은 부품이 AI로 판매됐는지가 아니다. 완성된 시스템이 정부의 합법적 활동 식별·분류·처벌 능력을 확대하는지 여부다.

진정한 상충 관계는 책임성 없는 안보에 있다

가장 어려운 정책 과제는 정당한 공공안전과 정치 권력에 도전하기 어렵게 만드는 시스템을 구분하는 일이다.

정부는 안면인식, 데이터 분석, 자동화 모니터링을 범죄자 발견, 공격 예방, 실종자 수색을 위한 도구로 제시한다.

그 목적들이 본질적으로 부당한 것은 아니다. 같은 기술도 서로 다른 법과 제도 아래에서 서로 다른 결과를 낼 수 있다.

알려진 용의자에 대한 엄격히 제한된 검색은 모든 공공 카메라를 통한 지속적 식별과 다르다. 둘 다 유사한 소프트웨어를 사용할 수 있다.

차이는 필요성, 비례성, 보존 기간, 접근 권한, 감독에 있다. 또한 영향을 받는 사람들이 오용을 발견하고 이의를 제기할 수 있는지에도 달려 있다.

권위주의 정부는 이러한 구분을 지운다. 광범위한 국가안보법은 평화로운 반대를 범죄적 위험과 동등하게 만들 수 있다.

이들은 전체 인구를 잠재적 불안정의 원천으로 규정할 수 있다. 그러면 대규모 수집은 예외적 조치가 아니라 기본값이 된다.

유엔 인권최고대표사무소는 원격 생체인식 감시가 프라이버시, 표현, 이동, 평화적 집회에 영향을 미칠 수 있다고 경고해 왔다.

해당 지침은 군중이나 시위를 스캔하는 시스템에 대한 엄격한 제한을 지지한다. 또한 보호 특성에 기반한 개별 범죄 예측과 생체인식 분류에도 반대한다.

이러한 입장은 근본적인 문제를 반영한다. 시위 현장의 모든 사람을 스캔하는 카메라는 단지 의심되는 위법 행위만 관찰하는 것이 아니다.

그것은 합법적 참여를 기록하고 조직자, 기자, 변호사, 행인, 지지자들의 네트워크를 식별할 수 있다. 이 지식은 사람들이 다음 행사에 참석하는 것을 안전하다고 느끼는지에 영향을 준다.

여러 시스템이 연결되면 위험은 커진다. 안면인식이 개인을 식별하고, 휴대전화 데이터가 연락처를 지도화하며, 언어 분석이 그들의 소통을 분류한다.

관리자는 그 결합된 결과를 개별 기록 어느 하나보다 더 강력한 것으로 취급할 수 있다. 그러나 불확실한 추론을 연결한다고 해서 자동으로 신뢰할 수 있는 증거가 만들어지는 것은 아니다.

오류는 누적될 수 있다. 취약한 안면 일치는 잘못된 사람을 주소와 연결할 수 있고, 잘못 번역된 메시지는 허위 동기를 제공할 수 있다.

불투명한 공급업체와 기밀 기관은 그러한 실패를 발견하기 어렵게 만든다. 영향을 받은 사람은 최종 제한 조치나 혐의만 보게 될 수 있다.

따라서 유엔은 배치 전 투명성, 독립적 감독, 인권 영향평가를 강조해 왔다.

이러한 보호장치는 정치적 위험이 가장 높은 곳에서 정확히 가장 취약하다. 권위주의 입법부는 통치 질서를 유지하는 보안 기관을 신뢰성 있게 제약하지 않을 것이다.

기술적 안전장치만으로는 그러한 제도적 실패를 바로잡을 수 없다. 검토자가 기계의 결과를 거부할 권한, 독립성, 유인을 갖춘 경우에만 인간 검토가 도움이 된다.

위협을 놓치면 처벌받을 것으로 예상하는 관리는 더 많은 오탐 경보를 받아들일 것이다. 자동화는 경보에 수치 점수를 부여함으로써 이런 편향을 강화할 수 있다.

시스템은 정부 내부의 행동도 바꾼다. 기관이 고가의 인프라를 구매하면 관리자는 성과를 입증해야 한다는 압박을 받는다.

더 많은 감시 명단, 경보, 개입은 투자를 정당화하는 것처럼 보일 수 있다. 반대로 낮은 활동량은 시스템 성능 부진으로 해석될 수 있다.

이러한 유인은 임무 확장을 부추긴다. 테러 대응을 위해 도입된 플랫폼은 일반 범죄, 시위, 이민, 정치적 발언, 직장 모니터링으로 확대될 수 있다.

러시아의 안면인식 경험은 공공안전 인프라가 정치 집회에까지 이를 수 있음을 보여준다. Human Rights Watch는 러시아 관리들이 모스크바 시위에서 대규모 감시를 위해 facial recognition을 사용했음을 인정했다고 보도했다.

이란은 또 다른 경로를 보여준다. 당국은 대규모 반대 시기 인터넷 제한, 플랫폼 차단, 카메라 네트워크, 디지털 모니터링을 결합했다.

Freedom House는 2022년 9월 구금 중 사망한 지니 마흐사 아미니의 죽음으로 촉발된 시위 이후 이란의 인터넷 자유가 크게 후퇴했다고 기록했다.

이 사례들은 모델 정확도에만 초점을 맞추는 것으로는 충분하지 않은 이유를 보여준다. 핵심 불확실성은 누가 목표를 정의하는지, 그리고 식별 이후 어떤 일이 벌어지는지에 있다.

시스템은 설계된 대로 정확히 작동하면서도 권리를 침해할 수 있다. 설계 목표 자체가 정치적 통제일 수 있기 때문이다.

민주 정부 역시 자국의 제도가 이러한 위험을 제거한다고 가정해서는 안 된다. Carnegie는 자유민주주의 국가와 권위주의 국가 모두에서 AI 감시를 발견했다.

개방 사회는 더 강력한 시정 메커니즘을 갖추고 있지만, 그 메커니즘은 정보 접근을 필요로 한다. 비밀 조달과 광범위한 안보 예외는 이를 약화시킬 수 있다.

따라서 적절한 경계선은 국가 브랜드가 아니라 책임성 있는 사용이다. 정부는 법적 권한, 허용된 목적, 보존 기간, 오류 시험, 공급업체 신원, 감사 결과를 공개해야 한다.

또한 실효성 있는 구제 수단을 제공해야 한다. 시스템이 비밀로 유지되어 행사할 수 없는 권리는 실질적인 보호를 거의 제공하지 못한다.

디지털 통제의 다음 단계는 어떤 모습일까

다음 경쟁의 중심은 예측적 표적화, 생성형 선전, 그리고 정부가 두 분야를 모두 공급하는 기업을 제약할 수 있는지 여부가 될 것이다.

가장 먼저 주시해야 할 신호는 식별에서 예측으로의 이동이다.

전통적인 얼굴 인식은 관찰된 얼굴이 저장된 이미지와 일치하는지를 묻는다. 예측 시스템은 한 사람이 무엇을 할 수 있는지에 대해 더 야심 찬 주장을 제기한다.

이 시스템은 이동, 구매, 접촉, 언어, 위치 패턴을 분석해 위험 평가를 생성할 수 있다. 정부는 그 결과를 최종 결정이 아닌 수사 단서라고 부를 수 있다.

그러나 그런 명칭이 그 영향력을 없애지는 않는다. 담당자들은 그 단서에 따라 주의를 배분하고, 강화된 감시는 원래 점수를 검증하는 것처럼 보이는 더 많은 기록을 만들어 낸다.

이 순환은 정치적 가정을 통계적 패턴으로 바꿀 수 있다. 가장 집중적으로 감시받는 공동체가 가장 많은 경보를 생성하게 된다.

조달 문서에서 여론 분석, 사회 안정, 조기 경보, 위험 프로파일, 선제적 거버넌스를 언급하는 표현을 살펴봐야 한다. 이러한 문구는 종종 AI라는 라벨보다 의도된 기능을 더 분명하게 드러낸다.

독립 감사는 예측이 실제 행위를 식별하는지, 아니면 단지 당국의 의심을 재생산하는지를 검증해야 한다. 데이터와 결과에 접근할 수 없다면 정확도 주장은 검증되지 않은 채 남는다.

두 번째 신호는 자동화된 설득이다.

생성형 모델은 설득력 있는 다수의 계정을 운영하고, 서로 다른 집단에 맞춰 메시지를 조정하며, 정치적 위기 상황에서 빠르게 대응하는 비용을 낮춘다.

정부는 더 이상 모든 선전 인력이 독창적인 게시물을 작성하도록 할 필요가 없다. 모델은 대규모로 변형본, 번역문, 댓글, 합성 미디어를 만들어 낼 수 있다.

생성된 콘텐츠에는 항상 안정적인 기술적 서명이 남는 것이 아니기 때문에 탐지는 계속 어려울 것이다. 운영자는 사람과 기계의 작업을 섞을 수도 있다.

목표는 모든 사람의 생각을 바꾸는 것보다 덜 야심 찰 수 있다. 토론을 범람시키는 것만으로도 운영진을 지치게 하고, 기자들의 주의를 분산시키며, 진정성 있는 증언을 묻어버릴 수 있다.

합성 미디어는 이른바 “거짓말쟁이의 배당금”도 뒷받침할 수 있다. 설득력 있는 가짜가 존재하기 때문에, 당국자는 진짜 녹화물을 조작된 것으로 치부할 수 있다.

플랫폼이 조직적 영향력 작전을 어떻게 보고하는지 주시해야 한다. 유용한 공개는 계정 생성, 증폭, 표적화, 결제, 국가 기관과의 연계를 설명해야 한다.

삭제된 게시물의 단순한 수치는 도달 범위나 효과에 대해 거의 알려주지 못한다. 플랫폼이 증거를 삭제하기 전에 연구자들은 보존된 데이터세트에 접근할 수 있어야 한다.

세 번째 신호는 수출 통제와 기업 실사가 약속에서 집행 가능한 관행으로 옮겨가는지 여부다.

정부는 일부 감시 기업과 첨단 부품에 제한을 부과해 왔다. 이러한 조치는 마찰을 만들지만, 광범위한 상업적 경로는 열어 둔다.

향후 규칙은 중개업체, 재판매업체, 클라우드 지원, 소프트웨어 업데이트, 기술 서비스를 다뤄야 한다. 겉보기에는 합법적인 판매 이후의 전용도 포함해야 한다.

기업 보고는 초기 시험대가 된다. 공급업체는 고위험 정부 계약을 식별하고, 검토 절차를 설명하며, 서비스 중단 시점을 공개해야 한다.

투자자는 수익이 감사를 차단하거나 최종 사용자를 숨기는 고객에게 의존하는지 물을 수 있다. 직원은 내부 에스컬레이션 채널에 배포를 중단시킬 권한이 있는지 살펴볼 수 있다.

시민사회 단체는 조달을 조사하고 배포된 시스템을 시험할 자원이 필요하다. 권위주의 정부는 책임성을 위해 필요한 증거를 의도적으로 제한한다.

기자와 연구자 역시 이 네트워크를 추적할 때 개인적 위험에 직면한다. 내부고발자 보호와 기록에 대한 안전한 접근은 무엇이 공개적으로 알려질 수 있는지를 좌우할 것이다.

이 세 가지 신호는 서로를 강화한다. 예측 감시는 표적을 생성하고, 생성형 선전은 서사를 형성하며, 글로벌 공급업체는 인프라를 제공한다.

세 가지를 모두 통제하는 정권은 더 이르게 행동하고, 자신이 한 일을 감추며, 결과를 기록하는 이들의 신뢰성을 의심하게 만들 수 있다.

대항 수단 역시 하나의 시스템으로 작동해야 한다. 규제, 기술 시험, 탐사 보도, 기업 책임성, 법적 구제는 고립된 상태로는 작동할 수 없다.

Google News는 이 문제를 대중의 시야로 끌어올릴 수 있지만, 관심은 첫 단계일 뿐이다. 독자는 각 주장 뒤에 어떤 증거가 있는지, 그리고 어느 기관이 책임을 물을 수 있는지 물어야 한다.

이제 문제는 독재 정권이 AI를 사용할지 여부가 아니다. 문서화된 배포 사례는 그들이 이미 사용하고 있음을 보여준다.

시급한 질문은 통합 통제 시스템이 일상적인 공공 인프라가 되기 전에 기업과 민주 정부가 한계를 설정할 것인지다.

앞으로 몇 달 동안 조달 기록, 생체인식 법률, 플랫폼 영향력 보고서, 공급업체 공개를 추적해야 한다. 이러한 신호는 책임성이 따라잡고 있는지, 아니면 더 뒤처지고 있는지를 보여줄 것이다.