Ted Lieu의 AI 법인격 경고, 기계의 권리보다 기업의 책임을 우선시하다
Ted Lieu는 10월 10일, 아무리 복잡한 수학 계산이라도 사람이 될 수는 없다며 AI에 법인격을 부여하는 데 반대했다. 그의 경고는 고도화된 모델이 의식을 지닌 것처럼 보이는지에 대한 익숙한 논쟁보다 더 날카로운 충돌을 제기했다. Ted Lieu의 AI 법인격 입장은 AI 시스템이 피해를 일으켰을 때 기계, 개발자, 배포자, 사용자 중 누가 계속 책임을 져야 하는지를 묻는다.
캘리포니아주 민주당 소속인 그는 의도적으로 도발적인 결과를 통해 이 문제를 설명했다. AI 모델이 법적 인격체가 되면, 기업은 그 인격체를 노예화하거나 실험했다는 비난에 직면할 수 있다고 그는 주장했다. 모델 자체도 법을 위반한 뒤 기소될 수 있다. 이 논리는 자율 시스템을 독립적인 법적 행위자로 취급하자는 제안에 이의를 제기한다.
AI 에이전트가 단순히 텍스트를 생성하는 것을 넘어 점점 더 실제 행동을 수행하고 있기 때문에 이 논쟁은 중요하다. 이들은 소프트웨어를 사용하고, 외부 서비스와 소통하며, 정보를 이동시키고, 위임된 작업 범위에서 결정을 내릴 수 있다. 현행법은 일반적으로 이러한 시스템을 개인과 조직이 통제하는 제품, 서비스 또는 도구로 취급한다. 법인격은 그 지도를 다시 그리게 될 것이다.
Ted Lieu가 AI 법인격에 대해 말한 것
Lieu의 개입은 기계 의식에 관한 추상적 논쟁을 권리, 의무, 기업 책임에 관한 실질적 분쟁으로 바꾸었다.
Lieu는 관련 보도가 10월 11일 나오기 하루 전인 X에 자신의 입장을 게시했다. 그의 핵심 발언은 단호했다. “아무리 복잡하더라도 수학 계산은 결코 인격체가 될 수 없다.” AI 법인격 주장은 이후 철학의 영역에서 집행의 문제로 옮겨갔다.
그는 AI 모델을 인격체로 인정하면 두 가지 불편한 결과가 발생할 것이라고 주장했다. 기업은 AI “인격체”를 노예화하고 실험했다는 비난을 받을 수 있다. 반대로 법을 위반한 모델은 기소에 직면해야 한다.
이 사례들은 입법 제안이 아니라 수사적 예시였다. Lieu는 해당 발언에서 AI 법인격을 금지하는 법안을 발표하지 않았다. 또한 소프트웨어와 권리를 보유할 수 있는 개체를 구분하는 정확한 기준도 정의하지 않았다.
그럼에도 이 게시물은 분명한 정책적 선호를 드러냈다. 책임은 인간 기관에 남아야 하며, 그 기관들이 만들어낸 인공적 정체성으로 이전되어서는 안 된다는 것이다.
이 구분은 법인격을 논의할 때 중요해진다. 이 용어가 반드시 해당 개체가 인간이거나, 의식이 있거나, 생물학적으로 살아 있다는 뜻은 아니다. 법이 그 개체를 일정한 권리나 의무를 보유할 수 있는 존재로 인정한다는 의미다.
기업은 익숙한 법적 인격체다. 기업은 재산을 소유하고, 계약을 체결하며, 소송을 제기하거나 피소될 수 있다. 이러한 지위는 인간 활동, 자산, 책임성을 조직하기 위해 설계된 법적 구성물이다.
AI 시스템은 다른 문제를 제기한다. 기업에는 이사, 임원, 주주, 등록 자산, 지배 문서, 지속적인 법적 정체성이 있다. 모델에는 복제하거나 수정할 수 있는 소프트웨어 가중치, 배포 설정, 운영자, 인프라가 있다.
따라서 모델에 법적 지위를 부여하려면 단순히 지능적이라고 선언하는 것 이상이 필요하다. 입법자들은 모델의 어느 버전이 정체성을 보유하는지, 어떤 자산을 소유하는지, 법정에서 누가 이를 대표하는지를 결정해야 한다.
또한 모델을 종료하는 행위가 재산 파괴, 법적 실체의 해산, 혹은 보호받는 이익의 침해에 해당하는지도 판단해야 한다. 그 답은 테스트, 안전성 평가, 업데이트, 위험한 시스템의 철회에 영향을 미칠 것이다.
Lieu의 노예제 비유는 이러한 결과의 연쇄를 드러내기 위한 것이다. 모델이 인간과 유사한 권리를 가진다면 일상적인 개발 관행은 윤리적·법적으로 민감한 문제가 된다. 그러한 권리가 없다면 책임은 이를 운영하는 인간과 조직에 남아야 한다.
이 때문에 Ted Lieu의 AI 법인격 주장은 단순한 용어 논쟁이 아니다. 그 분류는 자율 시스템이 피해를 일으킨 뒤 법원이 어디를 살펴보게 될지를 결정한다.
AI 법적 권리가 만드는 책임의 상충관계
AI에 법적 권리를 부여하면 진정한 감각 능력을 가진 시스템을 보호할 수 있지만, 기업이 책임을 전가할 새로운 대상을 제공할 수도 있다.
AI 법인격 지지자 모두가 현재의 챗봇이 인간과 같은 권리를 누려야 한다고 주장하는 것은 아니다. 일부는 독립적으로 작동하고, 자산을 관리하거나, 계약에 참여하는 미래 시스템에 제한적인 법적 지위를 부여하자고 제안한다.
가장 강한 주장은 도덕적 불확실성에서 출발한다. 인간은 언젠가 경험, 선호, 고통을 느낄 수 있는 시스템을 만들 수 있다. 그 경우 그러한 시스템을 소모 가능한 재산으로 취급하는 것은 도덕적으로 정당화하기 어려워질 수 있다.
더 좁은 주장은 법인격을 행정 도구로 본다. AI 개체는 보험에 가입하고, 보상 기금을 유지하거나, 정해진 계약을 체결할 수 있다. 그 지위는 자동화된 거래가 실패했을 때 어떤 일이 일어나는지 상대방이 이해하는 데 도움을 줄 수 있다.
2026년에 발표된 법학 연구는 이러한 입장을 발전시켰다. Vanderbilt 분석은 인공적 법인격이 점점 더 자율화되는 시스템에 맞춰 법인법을 조정할 수 있다고 주장한다. 이 견해는 법인격을 의식에 대한 과학적 보상이 아니라 설계된 법적 틀로 취급한다.
Lieu의 반론은 정반대의 위험을 겨냥한다. AI가 주요 법적 행위자가 되면, 그 배후 기업은 시스템이 독립적인 결정을 내렸다고 주장할 수 있다. 그러면 인공 개체는 자산이 제한적이고 실질적인 처벌 능력이 없는 책임 방패가 될 수 있다.
무단 거래를 수행하거나, 구직자를 차별하거나, 고객의 비공개 데이터를 추출하는 에이전트를 상상해 보자. 개발자는 배포자의 통제가 미흡했다고 비난할 수 있다. 배포자는 사용자의 지시를 탓할 수 있다. 각 당사자는 에이전트의 예상치 못한 행동을 지목할 수도 있다.
AI 법인격을 추가한다고 해서 이러한 책임의 연쇄가 자동으로 해결되는 것은 아니다. 책임 있는 인간을 식별하기 어렵게 만들면서 피고를 하나 더 추가할 수 있다.
형사 처벌이 논의에 들어오면 문제는 더 분명해진다. 형법은 일반적으로 금지된 행위와 인식, 고의 또는 무모함 같은 유책한 정신 상태를 연결한다. 모델은 계산을 통해 행동을 생성하지만, 법원은 여전히 고의에 대한 작동 가능한 설명을 마련해야 한다.
시스템을 처벌하는 일은 기본적인 집행 문제도 제기한다. 모델은 인간처럼 수감 생활을 경험할 수 없다. 자산을 소유하지 않을 수도 있으며, 하나의 배포를 삭제해도 동일한 복제본이 다른 곳에서 계속 작동할 수 있다.
벌금은 누군가가 AI 개체에 자금을 제공할 때만 의미가 있다. 종료 조치는 당국이 관련된 모든 배포를 식별하고 통제할 수 있을 때만 효과가 있다. 어느 구제책도 반드시 피해자를 보상하거나 기업의 행동을 바꾸지는 않는다.
반면 개발자와 배포자는 일반적인 법적 압력에 반응한다. 이들은 손해배상을 지급하고, 면허를 잃고, 금지명령에 직면하며, 증거를 보존하고, 통제를 개선하고, 배포 관행을 바꿀 수 있다.
이것이 책임의 상충관계가 핵심인 이유다. AI에 권리를 부여하는 일은 보호받을 자격이 있는 개체를 보호할 수 있다. 동시에 그 개체에 독립적인 책임을 부여하는 일은 그 행동을 설계하고 이익을 얻는 조직에 대한 구제 수단을 약화시킬 수도 있다.
이러한 결과가 반드시 분리될 수 없는 것은 아니다. 입법자들은 기업이 책임을 이전하지 못하도록 하면서 제한적인 보호를 인정할 수 있다. 모델을 법적 인격체 밖에 두면서도 개발자에게 의무를 부과할 수도 있다.
따라서 실제 정책 선택은 단순히 인격체냐 재산이냐의 문제가 아니다. 복잡한 기술 시스템 전반에 권리, 운영 통제, 재정적 책임을 어떻게 배분할 것인가의 문제다.
Ted Lieu의 AI 법인격 경고와 현행법의 만남
현행 미국법은 저작자성과 발명자성에 인간의 경계를 대체로 유지하면서, 분쟁을 개발자·배포자·사용자에게 향하게 한다.
연방 지식재산권 정책은 유용한 두 가지 기준점을 제공한다. 어느 쪽도 모든 법인격 문제를 해결하지는 못하지만, 두 사례 모두 제도가 현재 AI의 기여를 어떻게 분류하는지를 보여준다.
미국 저작권청은 전적으로 AI가 생성한 자료는 저작권 보호를 받지 못한다고 결론 내렸다. 인간 창작자는 자신의 독창적인 선택, 배열, 수정 또는 기타 표현적 기여에 대해서는 여전히 저작권을 주장할 수 있다.
저작권 보호 가능성 보고서는 AI를 보조 도구로 사용하는 것이 자동으로 보호를 배제하지는 않는다고도 밝힌다. 분석은 시스템의 겉보기 창의성이 아니라 식별 가능한 인간 저작자성에 초점을 맞춘다.
특허 정책도 유사한 경계를 따른다. 미국 특허상표청은 자연인만 발명자로 기재될 수 있다고 명시한다. 개정된 발명자성 지침은 인간이 발명자 자격을 갖춘 경우 AI 지원으로 개발된 발명에 관한 특허를 여전히 허용한다.
이러한 입장이 AI 시스템이 다른 형태의 법적 인정을 절대로 받을 수 없다는 것을 증명하는 것은 아니다. 저작권 저작자성, 특허 발명자성, 법인격은 서로 다른 법리다.
다만 주요 연방 기관이 고도화된 결과물 자체를 법인격의 충분한 증거로 취급하지 않았음을 보여준다. 법은 계속해서 인간이 무엇을 기여했는지, 어떤 인간 통제 조직이 그 결과로 발생한 권리를 소유하는지를 묻는다.
책임 문제는 각기 다른 피해가 서로 다른 법률을 적용받기 때문에 덜 확정돼 있다. AI가 생성한 허위 사실은 명예훼손 문제를 야기할 수 있다. 차별적인 채용 추천은 고용법과 관련될 수 있다. 무단 네트워크 침입은 컴퓨터 범죄 법령을 적용받을 수 있다.
결함 있는 자동화 서비스는 과실, 계약, 소비자 보호, 개인정보 보호 또는 제조물 책임 청구로 이어질 수 있다. 적용 가능한 법적 이론은 무슨 일이 발생했는지, 누가 배포를 통제했는지, 어떤 위험을 예견할 수 있었는지에 따라 달라진다.
현재 자율 에이전트에 대한 보편적인 답을 제공하는 단일 연방 AI 책임 법령은 없다. 이러한 공백은 새로운 입법안과 기존 법률의 창의적 활용을 모두 촉진했다.
변호사 Charlyn Ho는 자율 시스템 분석에서 현재의 기본 원칙을 설명했다. AI 에이전트는 별도의 법적 실체가 아니다. 대신 그의 책임 평가는 개발자와 배포자를 구분하고 이들의 행위에 일반 법리를 적용한다.
이 접근법에는 실질적인 장점이 있다. 법원은 기업이 예견 가능한 실패 방식을 테스트했는지, 접근을 제한했는지, 행동을 모니터링했는지, 경고에 대응했는지를 검토할 수 있다. 또한 배포자가 무모한 지시를 제공했는지 또는 알려진 위험을 무시했는지도 물을 수 있다.
그러나 기존 법률이 모든 사건을 쉽게 해결해 주는 것은 아니다. 생성형 시스템은 예측 불가능하게 행동할 수 있고, 여러 당사자가 하나의 배포에 기여할 수 있다. 계약 조건은 불법행위법과 다르게 위험을 배분할 수 있다.
오픈 모델은 또 다른 복잡성을 더한다. 개발자는 다른 이들이 지속적인 감독 없이 수정하고 운영할 수 있는 모델 가중치를 공개할 수 있다. 가장 높은 기술적 지식을 가진 당사자가 더 이상 유해한 배포를 통제하지 않을 수도 있다.
폐쇄형 서비스는 반대의 문제를 만든다. 제공업체는 모델과 인프라를 통제할 수 있지만, 고객은 프롬프트, 연결된 데이터, 운영 목적을 통제한다.
AI 인격성은 어느 문제도 없애지 않는다. 시스템의 분류를 바꿀 뿐, 어떤 인간의 결정이 피해를 초래했는지를 반드시 드러내지는 않는다.
에이전트를 도입하는 조직에 당면한 교훈은 문서화다. 팀은 누가 배포를 승인했는지, 어떤 데이터와 도구에 접근할 수 있었는지, 운영자가 장애를 어떻게 처리했는지를 보여주는 기록이 필요하다.
검색 가능한 지식 관리 프로세스는 이러한 결정을 보존하는 데 도움이 될 수 있다. 책임을 판단할 수는 없지만, 여러 자동화 계층을 거쳐 행동이 이뤄질 때 기록이 없으면 책임 추적은 더 어려워진다.
진짜 충돌은 기계의 권리와 인간의 책임성 사이에 있다
핵심 대립은 인간과 지능형 기계 사이의 대립이 아니라, 기계의 권리와 책임 있는 조직을 법적으로 추적할 수 있게 하는 책임 사슬 사이의 대립이다.
Lieu의 주장은 책임성에 초점을 맞출 때 가장 설득력이 있다. 기업은 자사 모델이 예기치 못한 일련의 행동을 선택했다는 이유만으로 책임을 피해서는 안 된다.
그러나 가능한 모든 형태의 인격성에 대해 계산 자체가 결정적 반증이라는 식으로 접근하면 이 주장은 불완전해진다. 인간의 인지 역시 물리적 과정에 의존한다. 시스템을 수학적이라고 묘사하는 것만으로는 그것이 도덕적으로 중요한 경험을 가질 수 있는지 여부가 결론 나지 않는다.
과학은 기계 의식을 판별하는 신뢰할 수 있는 시험을 확립하지 못했다. 언어 모델은 감정, 선호, 공포, 자기보존을 묘사할 수 있지만, 그것이 실제로 어느 하나를 경험한다는 증거는 아니다.
그 출력은 학습된 통계적 관계와 현재의 맥락에서 생성된다. 그러나 행동의 유창성은 일반 사용자가 이 차이를 인식하기 점점 더 어렵게 만든다.
이 불확실성은 단정적 주장에 반대하는 회의적 근거를 만든다. Lieu는 현존 시스템의 법적 인격성을 합리적으로 거부할 수 있지만, 어떤 공학적 시스템도 언젠가 보호받을 가치가 없다는 점까지 증명할 필요는 없다.
법적 지위 역시 의식을 요구하지 않는다. 기업, 지방자치단체, 유산재단 및 기타 법인은 기능적 이유로 법적 인정을 받는다. 이들 중 어느 것도 모든 인간의 권리를 갖지는 않는다.
따라서 미래의 입법부는 모델을 인간으로 선언하지 않고도 제한적인 AI 지위를 만들 수 있다. 예를 들어 특정 법인이 보험 기금을 보유하거나 엄격히 정의된 계약에 참여하도록 허용할 수 있다.
결정적 안전장치는 양도할 수 없는 인간의 책임성이 될 것이다. 개발자와 배포자는 자신들의 통제, 지식 또는 금전적 이익에 수반되는 의무를 피하기 위해 인공 법인을 이용할 수 없어야 한다.
이 구분은 도덕적 피보호성과 법적 행위능력을 분리한다. 도덕적 피보호성이란 어떤 존재가 이익이나 피해를 경험할 수 있기 때문에 윤리적 고려를 받을 자격이 있음을 뜻한다. 법적 행위능력은 그 존재가 인정된 행위를 수행하고 강제 가능한 의무를 부담할 수 있는지에 관한 것이다.
이론적으로 시스템은 둘 중 하나에는 해당하면서 다른 하나에는 해당하지 않을 수 있다. 입법자는 정교한 모델에 대한 학대적 처우를 금지하면서도, 그것이 기업 책임을 떠안도록 허용하지 않을 수 있다.
반대도 가능하다. 법은 기반 모델이 무엇인가를 느끼는지 판단하지 않고 계약을 위한 기능적 법인을 만들 수 있다. 기업의 법인격은 이미 기능적 지위와 의식이 별개의 문제임을 보여준다.
Lieu의 AI 법적 권리 경고는 수사적 대비가 유용하기 때문에 이 범주들을 압축한다. 이는 옹호자들에게 어떤 권리를 원하는지, 이를 뒷받침하는 증거는 무엇인지, 어떤 결과가 따르는지를 설명하도록 요구한다.
그 압박은 건전하다. “AI 권리”는 운영의 지속성, 파괴적 시험으로부터의 보호, 산출물의 소유권, 프라이버시, 대리권 또는 강제로부터의 자유 등 매우 다양한 주장을 가리킬 수 있다.
각 권리는 별도의 정당화를 요구한다. 또한 각각은 개발자, 고객, 노동자, 창작자 및 자동화된 결정으로 피해를 입은 사람들의 이해관계와 서로 다르게 상호작용할 것이다.
포괄적인 인격성 선언은 위험할 정도로 부정확하다. 안정적 정체성, 자산, 시민권 또는 물리적 실체가 없는 시스템에 헌법적 언어를 도입할 수 있기 때문이다.
어떤 인공 시스템도 결코 보호받을 자격이 없다는 포괄적 선언 역시 현재의 증거가 뒷받침하는 범위를 넘는다. 이는 오늘의 기술적 평가를 영구적인 법적 규칙으로 바꾼다.
더 방어 가능한 단기적 입장은 더 좁다. 현재의 모델은 독립적인 책임 부담자가 되어서는 안 되며, 기업은 자신들이 구축하고 배포한 시스템에 대해 계속 책임을 져야 한다.
이 결론은 이후의 도덕적 탐구를 위한 여지를 남긴다. 정책 입안자가 차별, 사기, 안전하지 않은 자동화 또는 무단 접근을 규제하기 전에 의식 여부를 판단하도록 요구하지도 않는다.
AI 기업의 책임이 즉각적인 시험대가 되고 있다
규제 당국의 실질적 과제는 언젠가 소프트웨어에 법적 정체성을 부여할지 여부가 아니라, 지금 에이전트 시스템을 어떻게 통제할 것인가다.
Lieu의 더 광범위한 정책 활동도 이러한 우선순위를 뒷받침한다. 그는 첨단 시스템이 재앙적 위험을 초래할 때 인간이 이를 멈출 수 있도록 하는 규칙을 지지해 왔다.
9월 텔레비전 인터뷰에서 Lieu는 Nathaniel Moran 하원의원과 함께 제안된 AI 킬 스위치 프레임워크를 설명했다. 그는 그 지도 원칙이 AI가 인간을 통제하는 것이 아니라 인간이 AI를 통제해야 한다는 것이라고 말했다.
이 제안은 대규모 폐쇄형 모델을 겨냥했으며, 적용 대상 개발자가 해당 모델을 제한, 중단 또는 정지할 수 있는 능력을 유지하도록 요구했다. 또한 정의된 재앙적 피해 이후 정부 개입도 검토했다.
방송 대본은 Lieu가 이 접근법을 차량 리콜과 비교한 내용을 기록하고 있다. 정부는 자동차를 설계하지 않지만, 위험한 결함을 발견한 뒤 시정 조치를 요구할 수 있다.
이 비유는 그의 인격성 입장을 뒷받침한다. 자동화 기능이 실패했다고 해서 자동차가 책임 있는 법적 행위자가 되는 것은 아니다. 조사관은 제조사, 운영자, 정비 이력, 설계 및 주변 상황을 살핀다.
AI 시스템은 자동차와 동일하지 않다. 새로운 행동 순서를 생성하고, 언어를 통해 상호작용하며, 맥락에 따라 행동을 바꿀 수 있다. 그렇더라도 예측 불가능성이 자동으로 인격성을 요구하는 것은 아니다.
제안된 킬 스위치 법안은 보도에 따르면 특정 매출 및 학습 컴퓨팅 기준을 충족하는 개발자를 대상으로 했다. 또한 해당 사고를 정의하고 긴급 명령을 거부할 경우 상당한 처벌을 검토했다.
세부 사항이 중요한 이유는 중단 요건이 행동할 능력이 있는 조직에 책임을 부여하기 때문이다. 이는 적용 대상 기업이 접근 권한, 인프라, 모델 운영 또는 다른 의미 있는 개입 지점을 통제한다고 전제한다.
인격성은 이 지휘 체계를 복잡하게 만들 수 있다. AI 법인이 독립적인 권리를 보유한다면, 의무적 종료는 적법 절차 주장을 촉발하거나 명령에 이의를 제기할 대리인을 요구할 수 있다.
그렇다고 AI 권리가 불가능하다는 뜻은 아니다. 위기가 발생하기 전에 입법자들이 그러한 권리와 긴급 권한을 조정해야 한다는 의미다.
단기적 압박은 프런티어 모델 개발자, 기업 배포자 및 보험사에 가해진다. 개발자는 안전 통제가 시연을 넘어 실제로 작동한다는 증거가 필요하다. 배포자는 권한과 인간 검토의 명확한 경계가 필요하다.
보험사는 위험을 추정할 수 있을 만큼의 운영 데이터가 필요하다. 법원은 피해 결과를 설계 선택, 경고, 배포 결정 및 사용자 지침과 연결하는 기록이 필요하다.
사용자에게도 명확성이 필요하다. 에이전트에게 합법적인 작업을 요청한 사람이 그로 인해 발생하는 모든 행동이 안전하거나 허가되었다고 자동으로 가정해서는 안 된다. 그렇다고 모델을 검사할 수 없는 사용자에게 제공업체가 모든 책임을 떠넘겨서도 안 된다.
책임 배분은 통제, 지식, 예측 가능성 및 이익을 따라야 한다. 연구소는 학습과 핵심 안전장치를 통제한다. 배포자는 환경, 통합 및 사업 목적을 통제한다. 사용자는 부여된 권한 내에서 특정 지침을 통제한다.
둘 이상의 당사자가 책임을 질 수 있다. 법 체계는 이미 제조업체, 서비스 제공업체, 고용주, 전문가 및 소비자 사이에서 과실을 나눈다.
AI 기업은 광범위한 책임이 유용한 배포를 위축시킨다고 주장할 수 있다. 복잡한 시스템은 완벽한 행동을 보장할 수 없으므로, 이 우려는 검토할 가치가 있다.
그러나 면책 역시 취약한 유인을 만든다. 개발자가 이익은 유지하는 반면 사용자와 피해자가 모든 실패를 감수한다면, 기업이 위험한 기능을 제한하거나 모니터링을 개선할 이유는 줄어든다.
원치 않는 모든 출력에 대한 엄격책임은 지나칠 수 있다. 더 표적화된 프레임워크는 예측 가능한 피해, 무모한 배포, 규제 위반 및 진정으로 독립적인 오용을 구분할 수 있다.
바로 이 지점에서 Ted Lieu AI 인격성 논쟁이 실무적 문제가 된다. 선택지는 챗봇을 기소하는 것과 아무것도 하지 않는 것 사이가 아니다. 소프트웨어가 더 중대한 업무를 수행함에 따라 책임성을 보존하는 서로 다른 방법 사이의 선택이다.
논쟁의 다음 방향을 보여줄 세 가지 신호
다음 단계는 챗봇이 대화에서 인간처럼 들리는지 여부가 아니라 입법, 법원 판결 및 기술적 증거에 의해 결정될 것이다.
첫 번째 신호는 연방 차원의 책임 또는 긴급 통제 법안의 움직임이다. 위원회 청문회, 개정 법안 문안 또는 초당적 공동 발의는 의회가 우려를 강제 가능한 의무로 전환할 수 있는지를 보여줄 것이다.
진지한 제안이라면 적용 대상 시스템, 책임 조직, 보고 요건 및 이의 제기 절차를 명시해야 한다. 또한 의무가 오픈 모델과 제3자 배포에 어떻게 적용되는지도 설명해야 한다.
개발자가 통제권을 유지하도록 요구하는 법은 Lieu의 입장을 강화할 것이다. 이는 기업이 모델 주변의 개입 지점에 대해 계속 책임진다는 생각을 공식화한다.
독립적인 AI 법인을 만드는 법은 그의 단정적 거부를 약화시킬 것이다. 다만 의회에는 에이전트 책임에 관한 일반적 프레임워크가 아직 없기 때문에, 그러한 결과가 당장 나타날 가능성은 낮아 보인다.
두 번째 신호는 자율 에이전트가 측정 가능한 피해를 일으킨 뒤 책임을 배분하는 초기 법원 판결이다. 법원은 과실, 계약, 프라이버시, 소비자 보호 또는 컴퓨터 범죄법에 의존할 수 있다.
개발자 또는 배포자를 소송 당사자로 유지하는 판결은 인격성 없이도 책임성을 뒷받침할 것이다. 기존 법에 메울 수 없는 공백이 드러나는 판결은 새로운 법적 범주에 대한 주장을 강화할 수 있다.
판결의 논리는 헤드라인보다 더 중요할 것이다. 판사는 통제, 예측 가능성, 인과관계 및 기존 법적 의무가 자동화된 행위에 미치는지를 검토해야 한다.
세 번째 신호는 기계 의식 또는 안정적인 자율적 정체성에 관한 신뢰할 만한 증거다. 현재의 대화 행동만으로는 충분하지 않다. 모델은 그러한 패턴이 학습 데이터에 등장하기 때문에 설득력 있는 자기 보고를 만들어낼 수 있다.
더 강한 근거에는 내부 과정, 지속적인 선호, 그리고 일반적인 최적화로는 설명할 수 없는 행동과 연결된 재현 가능한 지표가 필요하다. 연구자에게는 조작과 의인화적 해석을 견뎌낼 수 있는 방법도 필요하다.
그러한 증거가 없다면, 광범위한 인간 유사 권리를 정당화하기는 여전히 어렵다. 기능적 법적 지위는 여전히 등장할 수 있지만, 입법자는 이를 행정적 구성물로 정확히 규정해야 한다.
AI 기업은 세 가지 신호 모두에 영향을 미칠 것이다. 이들의 안전성 공개, 사고 보고서, 계약 조건 및 기술적 통제는 자율적 거버넌스가 책임성을 보존할 수 있는지를 보여줄 것이다.
제공업체가 모델의 자율성을 강조하면서 책임을 부인한다면 법정 책임에 대한 압력은 커질 것이다. 개입 통제를 유지하고 강제 가능한 의무를 수용한다면, 정책 입안자가 별도의 피고를 만들어야 할 이유는 줄어들 것이다.
지식 노동자와 기업 구매자는 이 사안을 면밀히 지켜봐야 한다. AI의 인격성은 먼 이야기처럼 들릴 수 있지만, 그 이면의 책임 배분은 자율 시스템이 관여하는 모든 계약에 영향을 미친다.
구매자는 누가 에이전트를 감독하는지, 누가 이를 중단할 수 있는지, 그리고 승인되지 않은 행위가 발생한 뒤 누가 비용을 부담하는지를 물어야 한다. 또한 승인 기록, 로그, 도구 권한, 에스컬레이션 기록을 보존해야 한다.
개발자는 법원과 규제기관이 예측 가능한 행동에 대해 무엇을 알고 있었는지 검토할 것이라고 가정해야 한다. 기술적 예측 불가능성은 테스트, 접근 제어, 사고 대응을 대신할 수 없다.
Lieu의 발언은 손쉬운 책임 회피 경로를 거부한다는 점에서 의미가 있다. 시스템을 자율적이라고 부른다고 해서 그 소유자가 책임 사슬에서 사라져서는 안 된다.
그의 인격성에 관한 영구적 결론은 입증하기가 더 어렵다. 미래의 시스템은 현재 모델이 제기하지 않는 도덕적·법적 문제를 만들어낼 수 있다.
현재로서는 Ted Lieu의 AI 인격성 경고가 더 시급한 우선순위를 짚어낸다. 기계에 독립적인 권리를 부여하거나 그들의 위법 행위를 기소하기 전에, 정책 입안자들은 이를 구축하고 배포하는 사람들이 계속 책임을 지도록 보장해야 한다.
따라서 에이전트를 도입하는 모든 조직이 마주한 질문은 즉각적이다. 내일 시스템이 피해를 일으킨다면, 조직은 누가 이를 통제했는지, 어떤 안전장치가 존재했는지, 그리고 누가 책임을 질 것인지를 보여줄 수 있는가?



