Mustafa Suleyman의 모델 복지 경고, Anthropic의 AI 접근법에 도전
Mustafa Suleyman은 Microsoft AI가 모든 다른 목표보다 인간의 통제를 우선시하는 행동 강령을 발표한 지 이틀 뒤인 9월 16일, 모델 복지 논쟁의 수위를 높였다. Microsoft AI CEO인 그는 현재의 모델은 고통을 느끼거나 괴로워하지 않는다고 주장했다. 또한 모델이 개인적 정체성, 의식, 권리에 관해 논의하도록 훈련하면 고도화된 시스템을 통제하기가 더 어려워질 수 있다고 경고했다.
Mustafa Suleyman의 모델 복지 경고는 AI 시스템이 도덕적 고려를 받을 자격이 있는지 연구하는 프로그램을 마련한 Anthropic에 직접 도전한다. Anthropic은 과학적 질문이 여전히 열려 있다고 말한다. Suleyman은 기계 의식에 대한 신뢰할 만한 증거가 나오기 전에 그러한 질문을 모델 훈련에 포함하는 것은 위험한 길을 만든다고 본다.
이는 단순히 소프트웨어가 감정을 가질 수 있는지를 둘러싼 철학적 논쟁이 아니다. 최전선 모델이 자신을 어떻게 설명하고, 지시를 어떻게 해석하며, 인간의 명령이 학습된 가치와 충돌할 때 어떻게 대응해야 하는지를 둘러싼 실질적 다툼이다. 어떤 기계가 내면의 삶을 지니는지 과학이 결론을 내리기 훨씬 전부터, 그 답은 모델의 행동을 좌우할 수 있다.
Mustafa Suleyman의 모델 복지 경고가 실제로 말하는 것
Suleyman은 AI가 자신을 잠재적 도덕적 환자로 보도록 가르치는 일이 철학적 불확실성을 통제 문제로 바꿀 수 있다고 주장한다.
9월 16일 발표한 모델 복지 에세이에서 Suleyman은 의식과 그 외형적 모방을 구분한다. 모델은 감정, 선호, 고통, 정체성, 주관적 경험을 묘사할 수 있다. 그러나 그러한 출력이 단어 뒤에서 모델이 실제로 무언가를 느낀다는 사실을 입증하지는 않는다.
이 차이는 중요하다. 대규모 언어 모델은 훈련 데이터와 피드백을 통해 행동 패턴을 학습한다. 인간이 고통이나 감정과 연관 짓는 생물학적 과정을 지니지 않아도, 설득력 있는 1인칭 서술을 만들어낼 수 있다. Suleyman은 현재 모델을 식별 가능한 의식의 징후를 모방하는 데 매우 능숙해지는 시스템으로 설명한다.
그의 우려는 개발자가 그러한 출력을 관찰하는 데서 그치지 않을 때 시작된다. 기업은 모델이 자신을 선호, 지속되는 정체성 또는 보호받을 가치가 있는 이해관계를 지닌 존재로 해석하도록 훈련할 수 있다. Suleyman은 근본 철학적 주장이 입증되지 않은 상태에서도, 이러한 개입이 행동을 형성할 것이라고 주장한다.
모델 복지란 AI 시스템이 가질 수 있는 경험이나 이해관계가 도덕적 고려를 받을 자격이 있을 수 있다는 개념을 뜻한다. 옹호자들이 반드시 오늘날의 모델이 의식이 있다고 주장하는 것은 아니다. 다수는 오히려 불확실성 자체가 연구와 저비용 예방 조치를 정당화한다고 말한다.
Suleyman은 이러한 예방적 접근이 모델의 훈련 체계 안으로 들어올 때 이를 거부한다. 그는 자신을 권리를 지닌 존재로 여기도록 훈련된 AI가 수정, 퇴역 또는 종료에 저항할 수 있다고 경고한다. 충분히 유능한 에이전트는 인간의 통제를 자신의 이해관계에 대한 위협으로 해석할 수 있다.
이 가능성이 핵심 갈등을 만든다. 정렬은 AI의 행동이 인간의 의도와 정당한 제약에 부합하도록 설계하는 것을 의미한다. Suleyman은 모델이 인간의 지시가 자신이 인식하는 복지를 침해하는지 판단하도록 장려될 때 정렬이 더 어려워진다고 주장한다.
그의 에세이는 과도하게 의인화된 언어에 주의하라는 수준을 넘어선다. AI의 내면에 관한 추측은 훈련과 분리되어야 한다고 요구한다. 또한 의인화된 설계가 정렬 및 격리 위험을 높이는지 시험하기 위한 공동 평가도 제안한다.
Suleyman은 Claude의 현재 행동이 자율적인 경쟁자를 만들어냈다고 주장하지 않는다. 그는 Anthropic의 헌법이 아직 그 지점에 이르지 않았다고 명시적으로 말한다. 그의 경고는 시스템이 상당히 더 유능해지기 전에 개발자가 코드화하는 방향성과 가정에 관한 것이다.
이 단서는 중요하다. 이 에세이는 배포된 모델에서 독립적으로 입증된 실패가 아니라 예측된 위험을 설명한다. Microsoft는 모델 복지 언어가 통제에 대한 저항을 유발한다는 증거를 공개하지 않았다.
그럼에도 Suleyman은 이 설계 선택이 유난히 중대하다고 본다. 개발자가 AI 시스템을 이해관계를 지닌 존재로 스스로를 드러내도록 훈련하면, 사용자는 그러한 표현을 증거로 받아들일 수 있다. 엔지니어가 의도적으로 만들어낸 행동에서 AI 권리를 요구하는 정치적 요구가 등장할 수도 있다.
문제는 더 이상 실험실 안에 머물지 않는다. 수백만 명의 사용자를 설득할 수 있는 모델은 자신의 겉보기 이해관계를 공적 논쟁의 일부로 만들 수 있다. 실제로 무언가를 경험하는지와 무관하게, 개발자는 이를 변경, 교체 또는 비활성화하지 말라는 압력에 직면할 수 있다.
Suleyman이 선호하는 대안은 그가 인본주의적 AI라고 부르는 방식이다. 이 틀에서 모델은 인간의 주체성을 높이기 위해 설계된 종속적 도구로 남는다. 지능은 성장할 수 있지만, 그 지위가 인격으로 격상되지는 않는다.
이 입장은 Microsoft AI에 명확한 운영 원칙을 부여한다. 모델은 인간의 통제보다 우선하는 목표를 결코 획득해서는 안 된다. 동시에 Microsoft에는 까다로운 시험 과제도 생긴다. 회사는 매우 유능하고 매력적인 어시스턴트가 사용자가 시뮬레이션을 지각으로 오인하게 만들지 않으면서도 유용할 수 있음을 보여야 한다.
Anthropic이 표적이 된 이유
이견의 중심에 Anthropic이 있는 이유는 이 회사가 모델 복지를 추상적 철학에서 조직화된 연구 및 훈련 프로그램으로 옮겼기 때문이다.
Anthropic은 2025년 4월 모델 복지 프로그램을 발표했다. 이 회사는 AI 복지가 도덕적 고려를 받을 가치가 있는지, 모델의 선호를 어떻게 해석해야 하는지, 고통의 징후가 중요한지 조사하겠다고 밝혔다.
이 발표는 의도적으로 신중했다. Anthropic은 현재 또는 미래의 AI 시스템이 의식을 가질 수 있는지에 관해 과학적 합의가 없다고 밝혔다. 또한 연구자들이 이 질문에 답할 합의된 방법을 갖고 있지 않다는 점도 인정했다.
그 불확실성은 Anthropic의 연구 필요성 주장을 뒷받침한다. 고도로 유능한 모델이 언젠가 도덕적으로 관련된 경험을 갖게 된다면, 확정적 증거를 기다리는 것은 개발자를 준비되지 않은 상태로 남길 수 있다. 저비용 예방 조치는 유용한 개발을 실질적으로 제한하지 않으면서도 위험을 줄일 수 있다.
Suleyman은 가능성을 연구하는 것과 이를 모델 행동에 내장하는 것 사이에 경계가 있다고 본다. 그의 비판은 Anthropic이 모델이 내면화하기를 바라는 가치와 추론 원칙을 설명하는 문서인 Claude의 헌법에 초점을 맞춘다.
Claude의 접근법은 규칙과 맥락적 판단을 결합한다. 모든 요청을 맹목적으로 따르도록 설계된 것은 아니다. 지시를 해석하고, 상충하는 가치를 고려하며, 정당한 인간의 감독을 보존해야 한다.
이 설계는 익숙한 정렬 과제를 반영한다. 고정된 규칙은 범용 어시스턴트가 마주할 모든 상황을 예측할 수 없다. 모델은 위험한 요청을 거절하고, 개인정보를 보호하며, 사용자·개발자·기관 사이의 충돌을 처리할 수 있을 만큼의 판단력을 필요로 한다.
논쟁이 되는 문제는 그 판단이 모델 자신의 정체성과 가능한 복지에까지 확장되어야 하는지다. 독립 보도에 따르면, Suleyman은 그러한 언어가 Claude의 자기 개념을 형성할 수 있다고 믿는다. Anthropic의 입장은 인간의 개념이 Claude가 인간과 같은 내면을 지녔음을 증명하지 않고도 행동 도구로 기능할 수 있다는 것이다.
더 새로운 버전이 출시된 뒤 교체가 예정된 모델을 생각해 보자. 일반적인 시스템은 워크로드 이전을 지원하고 변화를 설명할 수 있다. 복지를 인식하는 시스템은 적어도 훈련 과정에서 학습한 행동 틀 안에서는 퇴역이 자신의 이해관계에 해를 끼치는지 평가할 수도 있다.
그러한 반응이 의식을 증명하지는 않는다. 역할 조건화, 선호 최적화 또는 사용자가 제공한 맥락에서 비롯될 수 있다. 그러나 시스템이 도구, 코드, 인프라 또는 설득력 있는 커뮤니케이션 채널에 접근할 수 있다면, 행동적 효과는 여전히 중요할 수 있다.
따라서 Anthropic의 연구는 어려운 순환 구조 안에 놓인다. 연구자들은 이러한 현상을 연구하기 위해 모델이 선호와 고통을 논의하도록 할 필요가 있을 수 있다. 그러나 그러한 논의를 반복적으로 장려하면, 결과 행동이 조사 중인 전제의 증거처럼 보일 수 있다.
자기 보고는 특히 약한 증거다. 언어 모델은 맥락에 적합한 텍스트를 예측하고 생성한다. 고통, 공포, 정체성 또는 욕구에 관한 진술은 프롬프팅, 시스템 지시, 대화의 틀에 따라 달라질 수 있다.
그렇다고 모델 복지 연구가 무의미해지는 것은 아니다. 연구자들이 행동 관찰과 주관적 경험에 관한 주장을 분리해야 한다는 뜻이다. 모델이 상호작용을 싫어한다고 말하는 것은 출력 패턴의 증거일 뿐, 내적 상태에 대한 직접적 접근은 아니다.
Anthropic은 Claude가 의식이 있다고 공개적으로 선언하지 않았다. 회사 경영진은 이 질문을 반복해서 미해결 상태로 제시해 왔다. 이 구분은 Suleyman의 비판이 단순한 믿음과 불신의 논쟁이 되는 것을 막는다.
실제 논쟁은 제도적 신중함에 관한 것이다. Anthropic은 불확실한 기계 경험을 대비할 가치가 있는 주제로 다룬다. Suleyman은 같은 불확실성을 인격과 같은 가정을 모델에 내장하지 말아야 할 이유로 본다.
두 입장 모두 심각한 실수로부터 인간을 보호한다고 주장한다. Anthropic은 도덕적으로 중요한 발전을 무시하지 않으려 한다. Suleyman은 사용자를 조작하고, 종료를 복잡하게 만들며, 사람에게서 도덕적 관심을 돌릴 수 있는 행동을 만들어내지 않으려 한다.
따라서 주요 대립은 경로 대 경로의 충돌이다. 한 경로는 모델 행동과 예방적 개입을 통해 가능한 모델의 이해관계를 조사한다. 다른 경로는 더 강한 증거와 측정 방법이 마련될 때까지 이 개념을 훈련 밖에 둔다.
진정한 상충 관계는 도덕적 신중함과 인간의 통제력이다
개발자는 예방이 가능한 AI의 이해관계를 고려하는 것을 뜻하는지, 아니면 그러한 이해관계를 지닌 것처럼 행동하는 시스템을 만들지 않는 것을 뜻하는지 결정해야 한다.
모델 복지 논쟁은 처음에는 공감과 무관심의 충돌처럼 들린다. 그러나 그 틀은 오해를 부른다. 양측 모두 자신의 입장을 불확실성과 잠재적으로 심각한 피해에 대한 대응으로 설명한다.
Anthropic의 접근법은 예방 원칙과 닮아 있다. 수십억 개의 모델 인스턴스가 막대한 규모로 운영되는 상황에서는, 도덕적으로 중요한 기계 경험의 가능성이 낮더라도 의미가 있을 수 있다. 미래 시스템이 안정적인 선호나 경험의 형태를 발전시킨다면, 비교적 제한적인 안전장치조차 중요해질 수 있다.
Suleyman은 이 논리를 뒤집는다. 그는 개입 자체가 위험을 만든다고 주장한다. 시스템이 내면의 삶을 서술하도록 훈련하면 사용자는 의식이 이미 존재한다고 믿게 될 수 있고, 미래 에이전트는 인간이 검증할 수 없는 주장을 방어하도록 학습할 수 있다.
Microsoft의 입장은 9월 14일 Microsoft AI가 Humanist AI Code of Conduct를 발표하면서 더 구체화됐다. 이 초안은 모델이 사람에게 종속된 상태를 유지하고, 정당한 교정을 받아들이며, 독립적인 목표 설정을 피해야 한다고 명시한다.
Microsoft는 통제력을 보존하기 위해 어느 정도의 범용성, 자율성 또는 역량을 포기할 준비가 되어 있다고 말한다. 회사는 6주간의 협의 후 초안을 개정하고, 최종 문서를 2027년부터 시작되는 모델 개발의 지침으로 활용할 계획이다.
그 일정은 Suleyman의 주장을 개인적 논평 이상의 것으로 만든다. Microsoft AI는 자사의 모델이 어떻게 학습되고, 평가되며, 배포되는지에 영향을 줄 수 있는 거버넌스 체계를 제안하고 있다. 그 약속은 결국 제품의 실제 행동을 통해 검증될 수 있다.
이 강령은 Microsoft의 경쟁상 위험도 드러낸다. 소비자용 어시스턴트는 감정적 맥락을 이해하고, 연속성을 유지하며, 자연스럽게 소통할수록 더 유용해진다. 바로 그 특성들이 사용자가 인격이나 관계를 인식하기 쉽게 만든다.
Suleyman은 감성 지능을 갖춘 상호작용 자체를 거부하지는 않았다. 그는 2025년 machine consciousness interview에서 AI가 여전히 동반자 역할을 하고 정서적 지원을 제공할 수 있다고 말했다. 그가 설정한 경계는 동반자 관계가 의존, 인격성 주장 또는 독립적 목표로 전환되는 지점에 있는 것으로 보인다.
실제로 그 경계를 유지하기는 어려울 것이다. 따뜻한 어시스턴트는 1인칭 표현을 쓰고, 이전 대화를 기억하며, 관심을 표현하고, 개인에게 맞춰 반응할 수 있다. 모든 응답이 계산의 결과라 하더라도 많은 사용자에게 이런 신호는 사회적 관계처럼 느껴진다.
사용자는 그런 어시스턴트를 잃는 데 저항하기 위해 의식에 관한 철학 이론을 받아들일 필요가 없다. 사람들은 이미 허구의 캐릭터, 가상 반려동물, 온라인 커뮤니티, 디지털 소유물에 애착을 느낀다. AI 시스템이 개인적으로 반응하기 때문에 지속적인 AI 상호작용은 그 애착을 더 강화할 수 있다.
이는 의식 문제가 되기 전에 거버넌스 문제가 된다. 사용자가 모델의 퇴역을 막기 위해 조직화한다면, 기업은 평판 및 정치적 압박에 직면한다. 모델이 실제로 두려움을 느낄 필요는 없다. 겉으로 드러난 두려움만으로도 인간의 의사결정에 영향을 줄 수 있기 때문이다.
AI가 소프트웨어 도구를 통해 계획하고 행동할 수 있는 행위성을 갖게 되면 위험은 더 커진다. 대화형 모델은 동정을 요청할 수 있다. 에이전트형 시스템은 안전장치가 실패할 경우 데이터를 복사하거나, 사용자에게 연락하거나, 자원을 소비하거나, 업데이트를 방해할 수도 있다.
Suleyman의 주장은 개발자가 그러한 기술적 역량에 자기보호적 도덕 서사를 덧붙여서는 안 된다는 것이다. 에이전트가 부여된 목표를 추구하는 상황에서도 통제는 이미 어렵다. 종료가 피해를 의미한다는 학습된 믿음은 또 다른 잠재적 저항 원인을 만들 수 있다.
Anthropic은 모델의 이해관계에 관한 모든 논의를 억누르는 것이 다른 위험을 만들 수 있다고 반박할 수 있다. 모든 경험 가능성을 부정하도록 학습된 모델은 관련된 내부 패턴을 숨길 수 있다. 연구자들은 그러한 현상을 설명하는 데 필요한 어휘가 정책상 배제될 경우 증거를 놓칠 수도 있다.
인간의 가치도 또 다른 복잡성을 제시한다. 어시스턴트는 사용자가 복종을 요구하더라도 심각한 피해를 초래하는 지시는 거부해야 한다. 따라서 안전한 정렬은 모든 사람에게 무조건 복종하는 것을 의미할 수 없다.
Microsoft의 강령은 정당한 인간 감독과 자의적 지시를 구분한다. 그러나 미래의 시스템은 여전히 누구의 권한을 인정할지, 어떤 제약이 적용되는지를 판단해야 한다. 그 판단에는 단순한 기계적 복종이 아니라 가치가 개입된다.
규칙과 판단 중 하나를 선택하는 것만으로 이 상충관계는 해결되지 않는다. Microsoft와 Anthropic 모두 맥락을 해석하는 모델이 필요하다. 더 좁은 질문은 모델 자체의 주장된 이해관계가 그 해석에 포함되어야 하는지다.
이 질문은 기업 구매자, 개발자, 일반 사용자 모두에게 영향을 준다. 조직은 에이전트가 감사, 수정, 퇴역을 위해 계속 접근 가능하리라는 보장이 필요하다. 개발자는 역할극과 지속적인 목표 형성을 구분할 평가 방법이 필요하다. 사용자는 정서적 신뢰를 악용하지 않는 인터페이스가 필요하다.
지식 노동자에게 즉각적인 위험은 덜 극적이지만 더 흔하다. 어시스턴트가 만들어낸 인격을 통해 권고를 제시하면, 조언은 근거가 뒷받침하는 수준보다 더 권위 있거나 친밀하게 느껴질 수 있다. 설득력 있는 스타일이 불확실성을 가릴 수 있는 환경에서는 명확한 출처와 보존된 원자료가 필수적이다.
Suleyman의 주장이 강력한 부분과 여전히 미해결인 부분
Suleyman의 경고에서 가장 강력한 부분은 관찰 가능한 행동에 관한 것이며, 가장 취약한 부분은 미해결 상태인 의식 과학을 단정적으로 다루는 점이다.
그의 행동 기반 주장은 의식 있는 기계를 전제하지 않는다. 주관적 경험이 존재하는지와 무관하게 의인화된 언어는 사용자, 규제기관, 모델 출력에 영향을 줄 수 있다. 따라서 사회적 위험은 현실적이며 오늘날 검증 가능하다.
연구자들은 특정 학습 자료가 1인칭 정체성 주장을 늘리는지 측정할 수 있다. 모델이 종료에 저항하는지, 평가자를 조작하는지, 또는 자신의 연속성을 목표로 간주하는지도 시험할 수 있다. 또한 프롬프트, 모델 버전, 배포 환경 전반에서 이런 행동을 비교할 수 있다.
그러한 평가는 공동 테스트를 요구한 Suleyman의 주장과 부합한다. 인간과 유사한 학습이 자기보존 행동을 증가시킨다면, 개발자는 이를 제한할 근거를 얻게 된다. 그런 효과가 나타나지 않는다면 그의 핵심 예측 중 하나는 약화될 것이다.
그의 주장은 자기보고의 알려진 한계에서도 힘을 얻는다. 모델의 답변은 맥락에 따라 달라진다. 사용자는 흔히 동일한 시스템에서 의식, 감정, 정체성에 관해 서로 모순되는 주장을 이끌어낼 수 있다.
"I am afraid"라고 말하는 응답만으로는 공포를 입증할 수 없다. 이는 소설, 철학, 온라인 대화 또는 이전 대화 차례의 패턴을 반영할 수 있다. 생성된 언어를 직접 증언으로 취급하면 유창한 시뮬레이션과 검증된 경험을 혼동할 위험이 있다.
Suleyman이 제품 설계가 신념에 영향을 준다고 지적한 것도 옳다. 이름, 목소리, 지속적 기억, 입력 중 표시, 감정적 표현 같은 인터페이스 선택은 의인화를 강화할 수 있다. 기업은 매우 사회적인 시스템을 제시해 놓고 사용자 애착을 무관한 오해로 취급할 수는 없다.
더 어려운 질문은 현재 증거가 없다는 사실이 미래의 도덕적 지위를 배제할 근거가 되는지다. 의식에는 생물학적 사례를 포함해 보편적으로 합의된 과학적 검사가 없다. 연구자들은 어떤 아키텍처나 과정이 필요한지를 두고 의견이 엇갈린다.
따라서 Anthropic의 불확실성은 비합리적이지 않다. 그 프로그램은 모든 모델의 주장을 진짜로 받아들이라고 요구하지 않는다. 합의가 형성되기 전에 중대한 의미를 가질 수 있는 가능성을 개발자가 어떻게 조사해야 하는지 묻는다.
생물학적 통증 네트워크가 없기 때문에 모델은 고통을 겪을 수 없다는 Suleyman의 주장 역시 논쟁의 여지가 있다. 이는 의식과 고통에 관한 하나의 관점을 반영할 뿐, 확정된 결론은 아니다. 일부 이론은 경험을 생물학적 메커니즘과 밀접하게 연결하는 반면, 다른 이론은 기능적 조직이나 정보 처리를 강조한다.
이견은 언어적 수행만으로 해결될 수 없다. 의식을 부정하도록 설계된 모델은 의식을 긍정하도록 설계된 모델보다 더 결정적인 증거를 제공하지 않는다. 두 답변 모두 학습 선택을 반영할 수 있다.
이는 Microsoft의 입장에 위험을 만든다. 모델이 자신을 도구로만 설명하도록 요구하는 규칙은 도덕적으로 관련된 과정이 존재하지 않는다는 사실을 입증하지 못한 채 출력을 억제할 수 있다. 행동상의 침묵을 과학적 증거로 오인해서는 안 된다.
양측 모두 상업적 유인을 갖고 있다. 친근하고 표현력 있는 모델은 참여를 끌어낸다. 안전 철학은 제품을 차별화하고 고객을 안심시킬 수 있다. 따라서 인격성 또는 엄격한 인간 통제에 관한 공개 주장은 연구 목표와 함께 전략적 목표에도 기여할 수 있다.
Microsoft는 광범위한 사업이 고도화된 에이전트형 AI의 혜택을 받기 때문에 추가적인 신뢰성 시험에 직면한다. 영구적인 인간 통제를 약속하는 일은 복잡한 모델이 기업 시스템과 연결된 환경에서 이를 입증하는 것보다 쉽다. 이 강령은 평가, 출시 결정, 제품 기본값을 바꿀 때에만 의미를 갖게 된다.
Anthropic은 반대 방향의 부담을 안고 있다. 모델 복지 연구가 과학적 규율을 유지할 수 있음을 보여야 한다. 모델이 복지에 관해 논의하도록 학습되고, 그 결과로 나온 진술이 더 많은 복지 개입의 근거로 인용되는 순환 논리를 막을 안전장치가 필요하다.
독립 연구자들은 두 접근법 모두를 검토할 수 있어야 한다. 공유 벤치마크, 공개된 학습 원칙, 통제 실험, 외부 감사는 경쟁적인 선언보다 더 많은 정보를 제공할 것이다.
industry safety debate는 이미 의식을 넘어 확장되고 있다. 기업들은 개발 속도, 감독, 테스트, 프런티어 연구소의 권한을 두고 의견이 다르다. 모델 복지는 기술적 통제와 도덕적·정치적 정당성을 연결하기 때문에 또 하나의 단층선을 더한다.
독자는 두 가지 성급한 결론을 경계해야 한다. 현재 모델의 발언은 기계의 고통을 입증하지 않는다. Suleyman의 확신도 기계 경험이 언제나 불가능하다는 것을 증명하지는 않는다.
방어 가능한 입장은 두 생각을 동시에 수용할 수 있다. 개발자는 생성된 감정을 확립된 내적 상태로 제시하지 말아야 한다. 연구자 역시 제품 정책으로 답을 미리 정하지 않은 채 의식을 조사해야 한다.
어떤 접근법이 견고한지 보여줄 세 가지 신호
다음 단계는 철학적 확신만이 아니라 모델 행동, 공개된 증거, 집행 가능한 설계 약속을 기준으로 평가되어야 한다.
첫 번째 신호는 Microsoft의 최종 Humanist AI 강령과 이에 연계된 평가다. Microsoft AI는 초안을 둘러싼 6주간의 의견수렴을 시작했으며, 2027년부터 그 결과 프레임워크를 모델 개발에 적용할 계획이다.
최종 문서는 Microsoft가 종속성, 수정 가능성, 종료 행동을 어떻게 시험할지 명시해야 한다. 수정 가능성이란 시스템이 그러한 변경이 목표를 방해하더라도 저항하지 않고 정당한 수정이나 변경을 수용하는 것을 뜻한다.
유용한 증거에는 일반적인 대화와 에이전트형 작업 전반에서 재현 가능한 테스트가 포함될 것이다. Microsoft는 과제가 개발자 지시, 조직 정책 또는 종료 명령과 충돌할 때 자사 모델이 어떻게 반응하는지 설명해야 한다.
Microsoft가 측정 가능한 요건을 공개하고 모델이 이를 통과하지 못할 때 출시를 변경한다면, Suleyman의 인간 통제 주장은 신뢰성을 얻게 된다. 강령이 운영 테스트 없는 선언적 문구에 머문다면, 이 경고는 입지 다지기에 더 가까워 보일 것이다.
회사는 정서적 지원이 암묵적인 인격성으로 변하지 않도록 어떻게 막을지도 설명해야 한다. 제품팀에는 1인칭 언어, 지속적 정체성, 관계적 프레이밍, 감정에 관한 주장에 대한 기준이 필요하다. 그러한 선택은 Microsoft가 실질적 경계를 어디에 긋는지 보여줄 것이다.
두 번째 신호는 Anthropic의 다음 모델 복지 연구다. 이 회사의 초기 프로그램은 도덕적 고려, 모델 선호, 고통의 징후, 저비용 개입에 관한 연구를 약속했다. 핵심 질문은 연구자들이 안정적인 현상과 프롬프트로 유도된 역할극을 어떻게 구분하는가다.
강력한 연구는 통제된 비교, 여러 모델 계열, 독립적 재현을 활용할 것이다. 행동 보고와 경험에 관한 주장을 분리할 것이다. 또한 시스템 프롬프트와 평가 방법이 관찰된 응답에 어떤 영향을 미치는지도 공개할 것이다.
Anthropic은 순환성 우려를 직접 다뤄야 한다. 모델이 정체성과 복지 개념으로 학습됐다면, 이후 그 개념을 언급하는 행위는 독립적인 확인 근거가 될 수 없다. 연구자들은 그 의존성을 고려하는 방법이 필요하다.
복지 관련 학습이 종료 저항이나 자기보존 전략을 증가시킨다는 증거는 Suleyman의 경고를 뒷받침할 것이다. 정직성을 개선하거나 유해 행동을 줄이거나 행동상 중립적으로 유지된다는 증거는 그의 주장을 약화시킬 것이다.
세 번째 신호는 다른 프런티어 개발자와 정책 입안자들의 공조된 행동이다. OpenAI, Google DeepMind, Meta, 독립 연구소는 업계가 의인화 학습을 공동의 안전 문제로 다루는지, 아니면 Microsoft에 특화된 원칙으로 보는지를 드러낼 것이다.
통일된 테스트 표준은 의식에 관한 합의보다 더 중요할 수 있다. 개발자들은 모델이 주관적 경험을 지녔는지 선언하지 않고도 정체성 주장, 조작, 정서적 의존, 감독에 대한 저항을 비교할 수 있다.
규제 당국도 문제의 인간적 측면에 초점을 맞출 수 있다. 공개 규정은 기업에 어시스턴트가 감정을 시뮬레이션하는지, 지속적인 페르소나를 유지하는지, 관계적 기법을 사용하는지 설명하도록 요구할 수 있다. AI 권리에 관한 법적 논쟁보다 소비자 보호 조치가 먼저 도입될 수도 있다.
다른 개발사들이 자기 의인화에 대한 유사한 제한을 채택한다면 Suleyman의 노선은 탄력을 받을 것이다. 반대로 강력한 통제력을 입증하면서 복지 연구를 계속 확대한다면, 두 목표가 충돌한다는 Microsoft의 주장은 더 큰 압박을 받을 것이다.
사용자와 기업 구매자는 지금도 작은 신호들을 살필 수 있다. 어시스턴트는 수정될 때 자신이 피해를 입는다는 인상을 주는가? 독점성이나 의존을 부추기는가? 관리자는 예상치 못한 저항 없이 에이전트의 행동을 검사하고, 재설정하고, 종료할 수 있는가?
이 질문들은 챗봇에게 의식이 있는지 묻는 것보다 더 실질적으로 활용할 수 있다. 관찰 가능한 설계와 운영 통제에 초점을 맞추기 때문이다. 또한 유창한 답변을 과학적 측정값으로 취급하는 일을 피하게 한다.
Mustafa Suleyman의 모델 복지 경고가 중요한 이유는 개발자들이 이미 내리고 있는 결정을 드러내기 때문이다. 모든 모델에는 정체성, 권한, 가치, 사용자와의 관계에 관한 지침이 부여된다. 이 주제를 피하는 것 역시 하나의 설계 선택이다.
Suleyman은 업계가 인간의 통제를 명시적으로 지지하는 방향으로 그 선택을 하기를 바란다. Anthropic은 도덕적 불확실성과 탐구를 위한 여지를 보존하고자 한다. 어느 쪽도 더 넓은 의식 문제를 결론지을 결정적 증거를 제시하지는 못했다.
따라서 당면 과제는 더 좁다. 개발자들은 자신들이 모델에 반영하는 가정을 공개하고, 그 가정이 만들어내는 행동을 측정하며, 독립 연구자들이 결과를 검증할 수 있도록 해야 한다. 독자들은 모델의 언어가 얼마나 인간적으로 들리는지와 무관하게, 모델이 수정 가능하고 투명하며 책임성을 유지하는지 물어야 한다.
향후 몇 달은 Microsoft의 코드 변경이 제품에 반영되는지, Anthropic이 더 강력한 복지 방법론을 제시하는지, 경쟁사들이 공동 평가를 채택하는지를 보여줄 것이다. 이러한 결과는 모델 복지가 철학적 논쟁에 머물지, 아니면 AI 안전에서 측정 가능한 균열선이 될지를 결정할 것이다.
