AI의 기술적 실패는 자본주의의 문제와 같지 않다

Bruce Schneier는 수년간 모든 피해를 기술적 결함으로 다뤄 온 AI 논쟁에 분명한 경계를 그었다. Schneier의 보안 논지는 신뢰할 수 없는 모델은 엔지니어링 문제인 반면, 감시, 일자리 대체, 권력 집중은 흔히 자본주의의 인센티브에서 비롯된다고 본다.

Schneier는 Tech Policy Press에 게재한 에세이에서 데이터 과학자 Nathan E. Sanders와 함께 이 논지를 전개했다. 두 사람은 인공지능을 초기 산업혁명에 비유한다. 당시 기계는 전례 없는 규모로 육체노동을 인간의 몸 밖으로 옮겼다. AI는 이제 인지 노동을 대규모로 우리 몸 밖으로 옮기겠다고 약속한다.

이 비교에는 약속만큼이나 경고도 담겨 있다. 증기기관이 누가 공장을 소유할지, 노동자에게 어떻게 임금을 지급할지, 오염이 어디에 축적될지를 결정한 것은 아니다. 그런 선택은 제도와 소유주가 내렸다.

AI에도 같은 구분이 중요하다. 챗봇은 예측 과정이 여전히 신뢰할 수 없기 때문에 존재하지 않는 법률 인용을 만들어낼 수 있다. 기업은 경영진이 인건비 절감을 원한다는 이유로 그 챗봇을 이용해 숙련된 직원을 줄일 수 있다.

이러한 실패에는 서로 다른 처방이 필요하다. 더 나은 학습, 테스트, 시스템 설계는 조작된 답변을 줄일 수 있다. 하지만 생산성 향상의 이익을 노동자, 고객, 경영진, 투자자 중 누구에게 돌아가게 할지는 결정할 수 없다.

이것이 에세이의 핵심 갈등이다. 대중적 논의는 계속해서 경제적 배분 문제를 엔지니어링 과제로 취급한다. Schneier와 Sanders는 그렇게 하면 중대한 결정을 내리는 제도가 보호된다고 주장한다.

Schneier 보안 에세이는 분석 단위를 바꾼다

이 에세이는 AI 모델이 무엇을 할 수 있는지에서, 누가 그 역량을 통제하고 그 가치를 가져가는지로 관심을 옮긴다.

Schneier와 Sanders는 인간의 정신 밖에서 인지 작업을 수행하는 AI의 이례적인 능력에서 출발한다. 소프트웨어는 수십 년간 계산을 자동화해 왔지만, 생성형 시스템은 이제 광범위한 분야에서 초안 작성, 분류, 요약, 번역, 추천을 수행할 수 있다.

저자들은 현 세대 시스템이 인간의 판단과 동등하다고 주장하지 않는다. 그들이 주목하는 것은 규모와 통합이다. 불완전한 인지 자동화라도 저렴하고 빠르며 표준 소프트웨어를 통해 이용 가능해지면 제도를 바꿀 수 있다.

기업들은 이미 생성형 모델을 검색, 고객 지원, 프로그래밍, 마케팅, 행정 업무 흐름에 내장하고 있다. 정부는 기록 처리, 점검 우선순위 설정, 복지나 공공 서비스에 영향을 주는 의사결정 지원에 알고리즘 시스템을 사용한다.

이러한 도입은 적어도 세 가지 서로 다른 위험 범주를 결합한다. 기술적 위험은 시스템이 작동하는 방식에서 발생한다. 제도적 위험은 조직이 시스템을 어디에 배치하고 어느 정도의 권한을 부여하는지에서 발생한다.

정치경제적 위험은 소유권, 협상력, 비용 분배와 관련된다. 하나의 도입 사례에 세 가지가 모두 포함될 수 있지만, 각각에는 다른 개입이 필요하다.

채용 지원서를 심사하는 데 사용되는 모델을 생각해 보자. 학습 데이터가 특정 집단을 제대로 대표하지 못해 지원자를 부정확하게 분류할 수 있다. 이는 부분적으로 데이터와 평가의 문제다.

고용주는 채용 담당자를 늘리지 않은 채 더 많은 지원자를 처리하기 위해 자동 심사를 사용할 수도 있다. 이 조직적 선택은 채용의 규모와 속도를 바꾼다. 또한 인간의 검토 기회를 줄일 수 있다.

세 번째 질문은 책임성에 관한 것이다. 탈락한 지원자가 시스템의 판단에 이의를 제기할 수 없다면, 그 제도는 실질적인 구제 수단 없이 권한을 부여한 셈이다. 어떤 정확도 기준도 사라진 이의제기권을 만들어낼 수 없다.

이 구분이 기술적 실패를 면책하는 것은 아니다. 오히려 어떤 도구가 이를 해결할 수 있는지를 분명히 한다. 모델이 예측 가능한 피해를 만들 때 보안 테스트, 독립 평가, 사고 보고, 책임 규정은 여전히 필요하다.

하지만 그러한 통제 장치는 소유권을 재분배하거나 협상력을 회복시킬 수 없다. 완벽하게 정확한 시스템도 침해적인 감시, 차별적 정책, 생산성 이익의 불공정한 분배를 뒷받침할 수 있다.

이 구분은 전통적인 보안 분석과 닮아 있다. 취약점은 누군가가 악용할 수 있는 약점을 뜻한다. 그 주변의 인센티브가 누가 그 약점을 찾는지, 누가 이익을 얻는지, 누가 피해를 떠안는지를 결정한다.

Schneier는 오랫동안 코드만이 아니라 인센티브를 통해 시스템을 분석해 왔다. 그의 작업은 규칙이 어떻게 악용되는지, 강력한 참여자들이 왜 그러한 규칙을 형성할 수 있는지를 묻는다. AI는 자동화가 악용의 속도와 범위를 키우기 때문에 이러한 우려를 확장한다.

이 틀은 이 에세이를 또 하나의 AI 위험 목록 이상으로 만든다. “AI 안전”이라는 범주가 지나치게 넓어졌는지를 묻는다. 모든 사회적 갈등에 이 라벨이 붙으면, 기술 기관은 근본적으로 정치적인 결정에 대한 권한을 얻게 된다.

이러한 권한 이전은 중요하다. 엔지니어, 모델 개발자, 기업의 안전팀은 기존 소유 구조 안에서 활동하기 때문이다. 이들은 배치의 목표는 건드리지 않은 채 시스템을 개선할 수 있다.

따라서 이 에세이는 분석 단위를 바꾼다. 관련 대상은 단지 모델이 아니다. 모델, 소유자, 비즈니스 모델, 사용자, 그리고 모델에 권한을 부여하는 제도까지 포함한다.

기술적 문제에는 여전히 기술적 해답이 필요하다

자본주의의 문제와 기술적 문제를 구분하려면, 실제 엔지니어링 실패가 계속 드러나고 책임을 물을 수 있어야 한다.

현 AI 시스템은 허위 정보를 생성하고, 민감한 데이터를 노출하며, 유해한 패턴을 재현하고, 테스트되지 않은 조건에서 예측 불가능하게 작동할 수 있다. 이는 잘못된 경제 분석이 만들어낸 가상의 결함이 아니다. 실제 배포된 시스템에서 관찰되는 특성이다.

조작된 답변은 흔히 환각이라고 불리며, 이는 신뢰할 수 있는 근거로 뒷받침되지 않는 그럴듯한 출력을 뜻한다. 검색 보강 시스템, 인용, 제한된 도구, 인간 검토는 위험을 줄일 수 있다. 그러나 어떤 조건에서도 진실을 보장하지는 않는다.

편향에도 기술적 요소가 있다. 학습 데이터는 일부 인구 집단을 충분히 반영하지 못하거나, 역사적 차별을 보존하거나, 오해를 부르는 대리 변수를 인코딩할 수 있다. 평가 세트는 평균 성능만 측정하고 영향을 받는 집단의 결과를 보지 않을 때 이러한 실패를 놓칠 수 있다.

보안은 또 다른 층위를 더한다. 공격자는 모델 입력을 조작하고, 보호된 정보를 추출하며, 학습 데이터를 오염시키거나, 강력한 시스템을 대규모로 악용할 수 있다. 개발자에게는 위협 모델링, 접근 제어, 모니터링, 대응 절차가 필요하다.

국제 안전 보고서는 고도 AI가 초래할 수 있는 여러 형태의 피해를 구분한다. 분석은 악의적 사용, 시스템 실패, 더 광범위한 시스템적 위험을 다룬다.

이러한 폭넓은 접근은 유용하지만 책임의 경계를 흐릴 수도 있다. 자격 증명을 유출하는 모델에는 합법적 소프트웨어로 직원을 감시하는 기업과 다른 해결책이 필요하다. 둘 다 보안에 영향을 미치지만, 주로 모델 수정에 달린 것은 전자뿐이다.

자율 시스템에도 같은 원칙이 적용된다. AI 에이전트는 단순히 텍스트를 생성하는 대신 외부 도구를 통해 행동을 실행할 수 있다. 개발자는 권한을 제한하고, 중요한 행동을 검증하며, 조사를 위한 기록을 유지해야 한다.

그러나 권한 설계가 고용주가 모든 노동자 상호작용을 추적해야 하는지에 답할 수는 없다. 감시 시스템을 침해하기 어렵게 만들 수는 있다. 그러나 감시 관계를 공정하게 만들 수는 없다.

신뢰할 수 있는 AI는 배포 맥락에도 달려 있다. 개인 독서 목록의 요약 오류는 영향이 제한적이다. 같은 오류라도 의료 기록이나 복지 수급 결정에서는 더 엄격한 테스트와 감독이 필요하다.

규제는 이러한 차이를 반영해야 한다. 고위험 용도에는 잠재적 피해에 비례하는 증거가 필요하다. 조직은 일반적인 면책 조항을 불확실한 시스템을 어디에나 배포할 수 있는 허가로 취급해서는 안 된다.

Schneier와 Sanders는 이전에도 오류가 사람을 죽게 하거나 필수 서비스를 거부할 수 있을 때 사회가 기술을 규제한다고 주장해 왔다. 이 논리는 개발 동결을 요구하지 않는다. 예측 가능한 실패가 일상이 되기 전에 의무를 정의하라는 뜻이다.

기술 표준은 이러한 의무를 뒷받침할 수 있다. 개발자는 학습 방법을 문서화하고, 현실적인 조건에서 성능을 평가하며, 중대한 사고를 보고할 수 있다. 독립 감사인은 내부 팀이 놓칠 수 있는 주장을 검증할 수 있다.

조달 규정도 행동을 바꿀 수 있다. 정부 기관이나 대기업은 추적 가능성, 이의제기 메커니즘, 최소 보안 통제를 요구할 수 있다. 그러면 공급업체는 더 명확한 공적 기대 안에서 경쟁하게 된다.

이러한 조치는 기술의 행동을 다룬다. 하지만 조직이 해로운 목표를 선택할 때는 충분하지 않다. 노동자 산출 극대화에 최적화된 시스템은 자율성을 약화시키면서도 설계된 대로 정확히 작동할 수 있다.

소프트웨어가 정책을 기술적 매개변수로 번역하기 때문에 이 차이는 놓치기 쉽다. 대시보드는 관리자의 요구를 중립적으로 보이게 만들 수 있다. 점수는 논쟁적인 판단을 측정처럼 보이게 만들 수 있다.

더 나은 모델은 오히려 이 문제를 심화할 수도 있다. 정확도가 높아지면 조직은 자동화를 더 신뢰하게 된다. 제도가 자동화된 권한이 어디에 속하는지에 대한 의미 있는 한계를 세우기 전에 배포가 확대될 수 있다.

따라서 기술 의제에는 불확실성, 오용, 시스템 보안이 포함되어야 한다. 그러나 엔지니어에게 정당성이 없는 판단까지 흡수해서는 안 된다. 명확한 경계는 두 형태의 감독 모두를 더 강하게 만든다.

AI 자본주의의 문제는 인센티브에서 시작된다

우려되는 많은 AI 결과는 비용 절감, 시장 장악, 협상력이 약한 사람들에게 위험을 전가하려는 일반적인 인센티브에서 비롯된다.

기업이 일자리를 없애기 위해 악의적인 모델을 필요로 하지는 않는다. 자동화가 인건비를 줄일 것이라고 기대하는 경영진만 있으면 된다. 시스템은 신뢰성 있게 작동할 수 있지만, 영향을 받는 노동자는 생산성 향상의 이익을 전혀 받지 못할 수 있다.

경제학자 Daron Acemoglu는 AI의 피해에 관한 연구에서 이와 관련된 구분을 제시한다. 그는 해로운 결과가 반드시 AI 기술에 내재한 것은 아니라고 주장한다. 그러한 결과는 노동자와 시민보다 기업과 정부에 유리한 개발 선택에서 비롯될 수 있다.

이는 시장이 모든 사회적 이익이 아니라 사적 수익에 보상하기 때문에 자본주의의 문제다. 기업은 낮아진 급여 총액을 절감액으로 계산한다. 일자리를 잃은 노동자의 소득 상실을 자동으로 자신의 비용으로 계산하지는 않는다.

경제학자들은 이를 외부효과라고 부른다. 이는 거래 밖에 있는 사람들에게 부과되는 비용이나 혜택을 뜻한다. 오염이 익숙한 사례다. 사업자는 이익을 얻는 반면, 인근 주민은 건강 및 환경 피해를 떠안을 수 있다.

AI는 일자리 대체, 감시, 허위정보, 차별, 자원 소비를 통해 외부효과를 만들 수 있다. 기술 개선은 일부 비용을 줄일 수 있다. 그러나 그러한 비용을 만든 기업이 남은 비용을 부담하도록 강제할 수는 없다.

경쟁은 압박을 더 키울 수 있다. 한 기업은 더 느리고 노동자 중심적인 도입을 선호할 수 있다. 그럼에도 경쟁사가 더 빠르게 자동화해 더 낮은 비용으로 운영할 것을 우려한다.

이 역학은 경영진의 선택을 조정 문제로 바꾼다. 각 기업은 시장 안에서 합리적으로 대응하지만, 결합된 결과는 노동자의 안정성을 약화시킬 수 있다. 자발적 윤리 프로그램은 이러한 인센티브에 맞서기 어렵다.

투자 시장도 유사한 압력을 만들어낸다. AI 투자 경쟁은 미국 역사상 가장 큰 기술 주도 투자 붐 중 하나가 되었다. 국제결제은행 연구진은 그 경쟁 역학을 과거 인프라 열풍과 비교한다.

이 분석은 승자독식에 가까운 경쟁을 묘사한다. 기업들은 전략적으로 중요한 시장을 놓칠까 두려워 과잉투자할 수 있다. 승리의 사적 가치는 프로젝트가 제공하는 더 광범위한 사회적 수익을 초과할 수 있다.

이는 기업 지출이 그에 비례하는 공공 가치를 입증하지 않는 이유를 설명하는 데 도움이 된다. 막대한 데이터센터, 모델 학습 실행, 인재 보상 패키지는 전략적 경쟁을 반영한다. 그것만으로 경제 전반의 생산성이 더 높아졌다는 사실이 독립적으로 입증되지는 않는다.

국제노동기구는 AI 생산성을 둘러싼 “집계의 역설”을 설명한다. 과업 수준의 연구에서는 상당한 향상이 발견될 수 있지만, 기업 및 경제 전체 수준의 결과는 여전히 엇갈린다. 도입 또한 규모가 크고 디지털 역량이 앞선 조직에 유리하게 작용한다.

이 불일치는 Schneier의 보안 논지에 중요하다. 어떤 도구는 직원 한 명의 업무 속도를 높일 수 있지만, 기관 전체를 개선하지는 못할 수 있다. 관리자는 조직 성과가 향상되는지 확인하기도 전에 인력을 줄일 수 있다.

자동화는 숨은 업무도 만들어낼 수 있다. 직원들은 모델의 출력을 검토하고, 오류를 수정하며, 누락된 맥락을 복구하고, 예외 상황을 관리해야 한다. 이런 업무는 제품 시연에 좀처럼 드러나지 않는다.

AI가 감시 계층이 되면 노동자는 또 다른 유인 문제에 직면한다. 시스템은 키 입력, 메시지, 통화, 위치 또는 추정된 감정을 측정할 수 있다. 고용주는 정보를 얻지만, 노동자는 자신의 행동이 해석되는 방식을 통제하기 어려워진다.

ILO의 직장 분석은 AI 지원 감시가 업무 강도 증가, 자율성 감소, 프라이버시 우려, 심리사회적 위험과 연결된다고 지적한다. 이러한 피해에는 초인적 지능이 필요하지 않다.

평범한 분류 시스템도 노동자의 순위를 매기거나 행동을 표시할 수 있다. 그 경제적 가치는 대규모 인력 전반으로 관리 통제를 확장하는 데서 나온다. 분류 정확도를 높인다고 해서 근본적인 권력 불균형이 해소되지는 않는다.

소비자 AI도 관련된 문제를 제기한다. 개인 비서는 메시지, 문서, 캘린더, 브라우징 활동에 접근할수록 더 유용해진다. 그 접근은 가치 있는 행동 데이터와 더 높은 전환 비용도 만들어낸다.

사용자는 정보가 어디에 저장되는지, 누가 이를 재사용할 수 있는지, 서비스의 유인이 자신의 필요와 일치하는지를 고려해야 한다. 개인 지식 베이스는 정보 파편화를 줄일 수 있지만, 누가 통제권을 갖는지는 여전히 아키텍처와 거버넌스에 달려 있다.

같은 긴장은 창작 작업에서도 나타난다. 생성형 시스템은 작가가 아이디어를 탐색하거나 초안을 수정하는 데 도움을 줄 수 있다. 동시에 유급 노동을 더 저렴한 합성 결과물로 대체하는 플랫폼을 뒷받침할 수도 있다.

이는 기술에 대한 모순된 설명이 아니다. 같은 역량을 서로 다르게 배치한 결과다. 소유권, 계약, 노동 보호, 시장 구조가 어떤 배치가 지배적으로 자리 잡을지를 결정한다.

더 나은 AI가 더 나은 제도를 보장하지는 않는다

가장 불편한 함의는 더 안전하고 더 유능한 AI가 목표에 대한 책임을 지지 않는 제도를 강화할 수 있다는 점이다.

공적 논의는 정확성, 정렬, 투명성이 AI를 사회적으로 유익하게 만들 것이라고 종종 가정한다. 이러한 특성은 중요하지만 시스템의 행동을 다룬다. 정당한 목적이나 공정한 결과를 보장하지는 않는다.

정확한 모델을 사용해 조사 대상 사례를 식별하는 복지 기관을 상상해 보자. 이 도구는 행정 오류를 줄이고 복잡한 패턴을 탐지할 수 있다. 그러나 다른 곳의 부유한 시민보다 취약한 신청자들을 더 엄격하게 조사할 수도 있다.

모델의 정밀도는 집행 우선순위가 공정한지 여부를 결정하지 않는다. 조사에 착수하기 위해 어느 정도의 증거가 필요한지도 결정하지 않는다. 이는 제도를 통해 이루어지는 정책 선택이다.

신뢰할 수 있는 감시 도구도 같은 긴장을 만든다. 더 나은 안면 인식은 오탐을 줄일 수 있다. 동시에 지속적인 추적을 더 저렴하게 만들고, 당국이나 민간 운영자에게 더 매력적인 수단으로 만든다.

기술이 강력해질수록 이러한 권한 부여의 문제는 더 중요해진다. 취약한 시스템은 단순한 무능 때문에 해로운 야심을 제한하기도 한다. 이를 개선하면 그 우연한 제약이 사라질 수 있다.

이 글에서 핵심 대립은 자본주의 대 기술이 아니다. 기술적 교정 대 제도 개혁이다. 첫 번째 접근은 완전한 대응책으로 제시될 때 오해를 부를 수 있다.

기업 AI 안전팀은 모델 실패를 조사하고 악용을 줄일 수 있다. 그러나 전체 수익 전략이 사라져야 한다고 결정할 수는 대개 없다. 그들의 예산과 권한은 배포로 이익을 얻는 조직의 통제를 받는다.

외부 감사도 비슷한 한계에 직면한다. 감사인은 시스템이 정의된 기준을 충족하는지 시험할 수 있다. 그러나 그 기준이 무엇을 보호하고 어떤 사용이 계속 금지되어야 하는지는 여전히 누군가가 결정해야 한다.

투명성은 관찰자가 시스템의 행동을 보도록 돕는다. 그것이 자동으로 영향력을 만들어내지는 않는다. 자동화된 점수를 이해하는 노동자도 고용을 잃지 않고 이를 거부하지 못할 수 있다.

사용자 동의도 형식적 절차가 될 수 있다. 필수 서비스에 실질적인 대안이 없기 때문에 사람들은 긴 정책에 일상적으로 동의한다. 한쪽 당사자가 접근권과 조건을 통제할 때 동의는 거의 보호를 제공하지 못한다.

시장 집중은 이 취약성을 심화한다. 주요 모델을 학습하려면 광범위한 컴퓨팅 인프라, 데이터 접근권, 전문 인력, 유통 채널이 필요하다. 소수의 기업이 기술 개발과 허용 가능한 정책 모두에 영향을 미칠 수 있다.

집중은 연구 우선순위를 좁힐 수 있다. 기업은 당연히 수익이나 전략적 이점을 낼 가능성이 높은 응용 분야에 투자한다. 사회적 가치가 높더라도 수익이 불확실한 공익 목적의 활용은 지원을 덜 받는다.

Schneier와 Sanders는 이에 대한 한 가지 대응으로 공공 AI를 지지한다. 공공 선택지는 공공기관을 통해 운영되는 모델이나 인프라를 제공할 것이다. 이는 민간 제공업체가 맞춰야 할 기준선을 설정할 수 있다.

그 제안에도 고유한 위험이 따른다. 정부는 데이터를 오용하거나 감시를 추진할 수 있고, 충분한 기술 전문성 없이 운영할 수도 있다. 공공 소유가 자동으로 민주적 책임성을 만들어내는 것은 아니다.

그럼에도 공공 선택지는 유인 구조를 바꾼다. 그 공식적 목표는 광고 수익, 투자자 수익, 공급업체 종속을 극대화할 필요가 없다. 감독은 접근성, 투명성, 연속성, 공공 가치에 초점을 맞출 수 있다.

경쟁 정책은 또 다른 경로를 제공한다. 당국은 인수, 클라우드 의존성, 독점적 파트너십, 사용자의 서비스 전환을 막는 관행을 검토할 수 있다. 이러한 개입은 모델 가중치가 아니라 시장 구조를 다룬다.

노동 정책도 그만큼 중요하다. 단체교섭은 감시, 배포 일정, 인력 배치, 생산성 향상에 대해 노동자가 영향력을 행사할 수 있게 한다. 통지 및 이의 제기 권리는 자동화된 관리를 제약할 수 있다.

세금 정책은 시장이 무시하는 외부효과에 가격을 매길 수 있다. 환경 규칙은 정확한 보고와 완화를 요구할 수 있다. 책임 제도는 부주의한 배포의 비용을 이를 통제하는 조직 쪽으로 되돌릴 수 있다.

이 정책들 중 어느 것도 기술 안전을 대체하지 않는다. 이들은 서로 다른 층위에서 작동한다. 보안 테스트는 시스템이 예상대로 행동할지를 묻는다. 제도 개혁은 누가 그 행동을 선택했고 누가 이의를 제기할 수 있는지를 묻는다.

모든 AI 피해가 자본주의에 속한다고 보는 데에는 합리적으로 의문을 제기할 수 있다. 권위주의 정부는 시장 유인 없이도 감시를 배포할 수 있다. 공공기관은 불공정한 정책을 자동화할 수 있고, 비영리 조직도 개인 데이터를 오용할 수 있다.

기술적 실패 역시 정치경제적 결과를 형성한다. 신뢰할 수 없는 모델은 시간, 돈, 법적 지원이 부족한 사람들에게 불균형적으로 피해를 줄 수 있다. 기술과 제도는 분리된 범주에 머무르기보다 상호작용한다.

따라서 이 글의 구분은 절대적인 분할이 아니라 진단 도구로 기능해야 한다. 분석가는 각 피해에서 어떤 메커니즘이 지배적인지 물어야 한다. 그리고 그 메커니즘에 맞는 해결책을 선택해야 한다.

산업혁명과의 비교가 보여주는 것

산업 비유가 중요한 이유는 역사가 생산성 향상이 저절로 분배되지 않는다는 사실을 보여주기 때문이다.

증기력은 사회의 기계적 작업 역량을 확장했다. 이는 공장, 운송, 자원 추출, 대량생산을 뒷받침했다. 동시에 위험한 작업장, 오염, 극심한 교섭력 불평등을 용인하는 제도 안에서 발전했다.

이러한 조건은 증기기관의 불가피한 속성이 아니었다. 이는 법적 규칙, 소유권, 정치 권력, 취약한 보호 제도를 반영했다. 기술은 그러한 배치의 이해관계를 더욱 크게 만들었다.

노동자들은 결국 안전 기준, 노동시간 제한, 단체교섭권, 사회보험을 쟁취했다. 정부는 환경 규제와 공공 인프라를 발전시켰다. 이들 중 어느 것도 더 효율적인 기계에서 자동으로 나오지 않았다.

AI는 인지적 생산을 둘러싼 유사한 분배 문제를 만든다. 시스템이 분석, 글쓰기, 조정, 소프트웨어 개발 비용을 낮춘다면 누군가는 그 잉여를 확보하게 된다. 기존 규칙은 누가 이를 차지할지에 강하게 영향을 미친다.

기업은 임금 인상, 근로시간 단축, 서비스 개선, 가격 인하를 통해 이익을 분배할 수 있다. 또한 이를 경영진 보상, 시장 확장, 자본 소유자 수익으로 전환할 수도 있다.

역사는 기업이 압력 없이 가장 폭넓은 분배를 선택하는 경우가 드물다는 점을 시사한다. 경쟁 시장은 가격을 낮출 수 있지만, 이는 실질적 경쟁을 뒷받침하는 조건에서만 가능하다. 노동자는 노동 제도가 교섭력을 제공할 때 이익을 얻는다.

이 비유에는 한계가 있다. 산업 기계는 비싸고 물리적이며 지리적으로 제약됐다. 생성형 소프트웨어는 클라우드 서비스와 기존 기기를 통해 이례적인 속도로 확산될 수 있다.

AI는 또한 범용적이고 적응 가능하다. 하나의 모델은 공장을 다시 짓지 않고도 많은 과업을 지원할 수 있다. 이러한 유연성은 확산을 가속하는 한편 책임 소재를 찾기 어렵게 만들 수 있다.

인지 자동화는 이전의 기계가 대체하기보다 지원했던 전문직에 영향을 미친다. 변호사, 프로그래머, 교사, 분석가, 디자이너, 공무원은 이제 자신의 업무 일부를 직접 겨냥한 시스템에 직면한다.

관련 단위는 직업보다 과업인 경우가 많다. 하나의 직업에는 판단, 소통, 일상적 생산, 책임, 대인적 지식이 포함된다. AI는 일부 요소를 자동화하는 동시에 다른 요소에 대한 수요를 늘릴 수 있다.

이 과정은 노동자를 보완할 수도, 역할을 저하시킬 수도 있다. 간호사는 돌봄 기록에 쓰는 시간을 줄일 수 있다. 같은 시스템이 경직된 생산성 목표를 부과하고 환자와 함께하는 시간을 줄일 수도 있다.

교사는 AI를 활용해 수준별 연습 문제를 준비할 수 있다. 그러나 기관은 대신 학급 규모를 늘리고 자동화된 튜터링이 그 공백을 메우기를 기대할 수 있다. 역량은 비슷하게 유지되지만 조직의 목표는 달라진다.

이 때문에 AI 자본주의의 문제는 벤치마크 점수만으로 예측할 수 없다. 성능은 무엇이 기술적으로 가능해지는지를 보여준다. 그러나 경영진이 어떤 배포에 자금을 지원할지, 입법자가 어떤 보호 조치를 부과할지는 알려주지 않는다.

산업 비유는 확실성을 기다리지 말라는 경고도 제공한다. 노동 및 환경 규칙은 종종 눈에 보이는 피해가 발생한 뒤에야 마련됐다. 그때에는 인프라와 소유 구조를 바꾸기 어려워져 있었다.

AI 인프라는 이제 클라우드 플랫폼, 기업용 소프트웨어, 학교, 정부 시스템에 내재화되고 있다. 초기 조달 및 상호운용성 선택은 미래의 의존성을 결정할 수 있다.

조직은 퇴출 옵션을 보존해야 한다. 이를 위해서는 이식 가능한 데이터, 명확한 기록, 사람이 담당하는 이의제기 채널, 그리고 공급업체를 교체할 수 있는 능력이 필요하다. 이러한 안전장치는 잘못된 제도적 선택을 바로잡는 비용을 낮춘다.

지식 노동자 역시 유용한 지원과 위임된 권한을 구분해야 한다. 모델은 문서 검색이나 선택지 초안 작성에 도움을 줄 수 있다. 그러나 결정이 권리, 고용, 건강 또는 안전에 영향을 미칠 때 최종 책임의 소재는 분명히 식별 가능해야 한다.

산업사가 주는 교훈은 AI가 또 다른 한 세기의 착취를 보장한다는 것이 아니다. 사회적 결과에는 의도적인 제도 설계가 필요하다는 점이다. 기술 발전은 역량을 제공할 뿐, 정의를 제공하지는 않는다.

Schneier의 보안 논증을 시험할 세 가지 신호

기관들이 모델 성능만큼이나 배포 유인을 엄격하게 규제한다면 이 논증은 더욱 설득력을 얻을 것이다.

첫 번째 신호는 정부가 영향력이 큰 활용 사례에 대해 집행 가능한 규칙을 도입하는지 여부다. 조달 기준, 이의제기 권리, 책임, 그리고 직장이나 공공 부문 감시에 대한 제한을 지켜봐야 한다.

모델 테스트 요건만으로는 제도적 대응이 약화될 것이다. 시스템이 일정 성능 기준을 넘으면 배포가 허용된다는 뜻이 되기 때문이다. 이 접근법은 목적, 권한, 권력의 문제를 대체로 건드리지 않는다.

의사결정 권한을 다루는 규칙은 Schneier와 Sanders의 주장을 뒷받침할 것이다. 자동화된 판단의 영향을 받는 사람은 자동화가 사용됐다는 사실을 알아야 한다. 또한 그 사람은 책임 있는 기관이 제공하는 실질적인 검토를 받을 수 있어야 한다.

두 번째 신호는 기업들이 측정 가능한 생산성 향상을 어떻게 배분하는지다. 더 빠른 산출에 관한 주장과 함께 인력 결정, 업무 강도, 임금, 근로시간, 가격을 살펴봐야 한다.

AI를 활용해 임금을 줄이지 않고 주당 근로시간을 단축하는 기업은 하나의 제도적 모델을 제시한다. 인력을 감축하면서 모니터링을 강화하는 기업은 또 다른 모델을 제시한다. 두 기업 모두 기술적으로 유사한 소프트웨어를 배포할 수 있다.

여기서도 신뢰할 수 있는 증거는 필수다. 작업 단위의 속도 개선을 경제 전반의 생산성으로 간주해서는 안 된다. 조직은 검증 작업, 통합 비용, 오류, 그리고 사라진 전문성을 계산해야 한다.

세 번째 신호는 집중된 기업 인프라의 대안이 신뢰를 얻는지 여부다. 공공 모델, 개방형 표준, 상호운용 가능한 서비스, 경쟁적인 클라우드 시장은 소수 제공업체에 대한 의존도를 낮출 수 있다.

공공 AI는 신중하게 평가해야 한다. 공공이라는 명칭보다 거버넌스, 개인정보 보호, 보안, 자금 조달, 독립적 감독이 더 중요하다. 관리가 부실한 국가 시스템은 소유 구조만 달리한 채 동일한 집중을 재현할 수 있다.

그럼에도 신뢰할 만한 대안은 협상 역학을 바꿀 것이다. 민간 공급업체는 더 나은 투명성, 이식성, 장기 접근성을 제공해야 한다는 압박을 받게 된다. 사용자는 한 회사가 계속 바꾸는 조건을 수용하는 것 외의 선택지를 얻게 된다.

향후 몇 달 안에 AI가 사회에 미치는 영향이 결론 나지는 않을 것이다. 직장과 정부로의 통합은 수년에 걸쳐 전개될 것이다. 그럼에도 초기 선택은 되돌리기 비용이 큰 기본값을 설정하게 된다.

새로운 AI 논란이 등장할 때마다 독자들은 Schneier의 보안 구분을 적용해야 한다. 먼저 그 피해가 기술적 행동, 배포 권한, 경제적 유인 중 어디에서 비롯되는지 물어야 한다. 이어 이를 엔지니어링 문제라고 규정함으로써 누가 이익을 얻는지 살펴봐야 한다.

마지막 질문은 중요하다. 분류 방식이 책임을 배분하기 때문이다. 노동 갈등이 “정렬 문제”가 되면 모델 개발자가 해결책을 책임지는 것처럼 보인다. 고용주, 투자자, 입법자는 배경으로 물러난다.

유효한 대응은 모든 책임 주체를 계속 드러내야 한다. 개발자는 시스템을 더 안전하고 신뢰할 수 있게 만들어야 한다. 배포 주체는 활용 목적을 정당화해야 하며, 정부는 시장이 제공하지 않을 권리를 확립해야 한다.

핵심은 AI를 면죄하거나 모든 시장을 비난하는 데 있지 않다. 더 나은 소프트웨어가 논쟁적인 권력 분배를 바로잡아 줄 것이라는 기대를 멈추자는 데 있다. 기술적 해결책은 기계를 개선할 수 있지만, 이를 지휘하는 제도는 여전히 사람이 개혁해야 한다.

오늘날 귀하의 조직은 어떤 층위를 AI 문제로 다루고 있는가? 기술적 실패 하나, 배포 결정 하나, 그리고 이를 형성하는 유인 하나를 찾아보라. 각각에 책임 있는 담당자를 지정한 뒤, 제안된 해결책이 실제 원인에 도달하는지 검증하라.