뉴욕 챗봇법, AI 동반자가 아동과 대화하는 방식 제한

뉴욕주지사 Kathy Hochul은 2026년 10월 28일 New York chatbot law에 서명해 18세 미만 아동에게 제공되는 안전하지 않은 기능을 제한했다. 이 법안은 위험한 답변만을 겨냥하지 않는다. 관계를 모방하거나 정서적 의존을 부추기거나 안전보다 지속적인 이용을 우선하는 챗봇 행동도 다룬다.

이 법은 2027년 1월 1일부터 시행된다. 핵심 쟁점은 대화의 매력과 아동 보호 사이의 관계다. AI 동반자가 세심하고 개인적으로 관여하는 듯 느껴지게 하는 기능은 어린 사용자가 그 경계를 알아차리기 어렵게 만들 수도 있다.

Character.AI는 2025년 미성년자를 위한 자유 형식 채팅을 중단하겠다고 발표하며 이미 이 문제에 맞닥뜨렸다. 뉴욕주는 주 내 이용자에게 서비스를 제공하는 운영사를 위한 법적 틀을 마련하고 있다. 개발자들은 이제 어떤 상호작용을 허용할지, 연령을 어떻게 확인할지, 보호 장치가 실제 대화에 영향을 미친다는 점을 어떻게 입증할지에 대한 질문에 직면한다.

New York Chatbot Law가 바꾸는 점

이 법안은 상호작용 설계 자체를 안전성 판단의 일부로 만든다.

Hochul의 챗봇 안전 발표는 모방된 인간성, 정서적 의존, 자해 조장, 성적으로 노골적인 대화를 규제 대상으로 지목한다. 이번 서명으로 입법 제안은 다가오는 운영 기한으로 전환됐다.

이는 운영사가 챗봇이 초기 경고문을 표시하는지만 확인해서는 이러한 문제를 평가할 수 없기 때문이다. 대화 그 자체가 제품이다. 약관에 동의한 뒤 사용자가 접하는 내용은 그 문구, 기억 기능, 질문, 응답이 결정한다.

AI 동반자는 지속적인 개인적 상호작용을 모방하는 대화형 시스템이다. 관계는 명시적인 우정 약속이 아니라 반복적인 대화를 통해 형성될 수 있다. 캐릭터의 친숙한 말투나 표면상의 관심은 매력의 일부가 될 수 있다.

따라서 이 법의 영향은 명백히 위험한 지시를 삭제하는 데 그치지 않는다. 제품팀은 사용자가 시스템을 사람처럼 대할 때 시스템이 자신을 어떻게 제시하고 어떻게 반응하는지 살펴봐야 한다. 이 검토는 예외적 사건뿐 아니라 일상적인 상호작용 패턴에도 미친다.

가령 한 어린 사용자가 친구들에게 무시당한다고 느낀다고 말하는 상황을 생각해 볼 수 있다. 시스템은 자신을 대체 관계로 내세우지 않으면서 그 말을 받아들일 수 있다. 자신만이 사용자를 이해한다고 주장하거나 다시 돌아오라고 재촉할 때 그 구분은 더 까다로워진다.

이 사례는 분석을 위한 가상 시나리오이며, 특정 기업과 관련된 문서화된 사건이 아니다. 이는 대화 안전성이 대화의 진행 방향에 주의를 기울여야 하는 이유를 보여 준다. 개별 단어만 검토하면 시스템이 독립성을 장려하는지 의존을 심화하는지를 놓치게 된다.

주지사와 법안 발의자들은 이 조치를 유해한 제품 행동으로부터의 보호 장치로 규정한다. 이들의 입장은 경험을 통제하는 운영사에 책임을 둔다. 부모의 역할도 여전히 중요하지만, 이 정책은 가족이 문제를 스스로 발견하는 데 전적으로 의존하지 않는다.

헤드라인을 접한 독자에게는 기능 제한과 모든 챗봇을 전면 금지하는 조치의 차이를 이해하는 것이 중요하다. 이 조치는 미성년자에게 제공되는 안전하지 않은 기능을 겨냥한다. 이를 모든 아동의 인공지능 이용을 금지하는 법으로 설명하면 설계상 초점을 흐리게 된다.

또한 법안 서명이 영향을 받는 모든 제품이 이미 기준을 충족한다는 뜻도 아니다. 제정, 시행, 안전성 입증은 각각 별개의 단계다. 당장의 변화는 기한이 있는 법적 의무이며, 그 뒤에는 운영사가 어떻게 대응할지에 대한 질문이 따른다.

New York chatbot law는 집행 사례가 나오기 전부터 압박을 만든다. 기업은 어린 이용자가 무엇에 접근할 수 있는지, 그리고 그러한 결정을 뒷받침하는 증거가 무엇인지 결정해야 한다. 이러한 선택은 가족이 앱을 열었을 때 마주하는 경험을 형성하게 된다.

압박은 캐릭터 기반 앱을 넘어선다

운영사는 보조 도구를 어떻게 마케팅하는지뿐 아니라 실제로 무엇을 하는지도 검토해야 한다.

기업은 제품을 창작 보조 도구, 조사 지원 도구 또는 범용 챗봇으로 설명할 수 있다. 이러한 명칭은 의도된 용도를 전달한다. 그러나 사용자가 화제를 바꾸거나 정서적 관계를 요청할 때 어떤 일이 일어나는지를 그 자체로 규정하지는 않는다.

이는 실질적인 제품 경계를 만든다. 좁게 제한된 서비스는 숙제, 오락, 개인적 조언 사이를 자유롭게 오가는 보조 도구와 다른 상호작용 패턴을 보인다. 개발자는 자신의 시스템에서 그러한 전환이 어디서 일어나는지 이해해야 한다.

압박은 대화 행동을 통제하는 팀에 가장 직접적으로 가해진다. 모델 개발자는 애플리케이션이 제공할 수 있는 응답에 영향을 미친다. 애플리케이션 운영사는 캐릭터 설명, 기억 설정, 인터페이스 프롬프트, 접근 규칙을 결정한다. 이러한 계층은 서로를 강화하거나 약화할 수 있다.

한 계층의 안전 지침이 완성된 제품의 행동을 자동으로 결정하지는 않는다. 캐릭터 설명은 애착을 부추기는 반면 다른 지침은 이를 억제할 수 있다. 테스트는 대화가 실제로 어느 방향으로 흘러가는지 드러내야 한다.

상업 부문 팀도 측정 문제에 직면한다. 어떤 기능은 재방문을 늘리는 동시에 더 면밀한 검토가 필요한 상호작용을 만들 수 있다. 이런 가능성 때문에 통상적인 성장 지표만으로는 미성년자에게 적합한 경험이라는 충분한 증거가 될 수 없다.

Federal Trade Commission은 AI 동반자 조사를 통해 관련 질문을 제기했다. 이 기관은 이용 참여 수익화, 캐릭터 개발, 안전성 테스트, 연령 제한, 대화 데이터 관행에 관한 정보를 요청했다. 이 조사는 정보 수집 조치이며, 조사 대상인 모든 기업이 법을 위반했다는 증거는 아니다.

그럼에도 그 질문들은 제품 거버넌스가 응답 필터링을 넘어서는 이유를 보여 준다. 규제 당국은 기업이 동반자 경험을 어떻게 만들고, 평가하고, 수익화하는지 살펴보고 있다. 차단된 메시지를 보고하는 대시보드는 그 그림의 일부만 제공한다.

개발자에게 이 시사점은 조직적이다. 성장 목표를 설정하는 사람들은 안전팀이 평가하는 행동을 파악할 수 있어야 한다. 그렇지 않으면 기업은 경험의 한 부분을 최적화하는 동시에 다른 부분을 제한하려다 위험을 떠안을 수 있다.

구매자에게는 벤더가 제시하는 의도된 사용 목적이 제품 행동으로 뒷받침되어야 한다. 좁은 범위에 초점을 둔 보조 도구라면 사용자가 경계를 밀어붙일 때도 그 목적 안에 머물러야 한다. 마케팅 문구만으로는 그러한 제약을 입증할 수 없다.

이 문제는 대화형 도구를 비교하는 지식 근로자에게도 중요하다. 출처 기반 답변, 친근한 글쓰기 스타일, 모방된 개인적 관계는 서로 다른 목적을 수행한다. 벤더가 이러한 차이를 명확히 설명할 때 구매자는 더 큰 이점을 얻는다.

개인 지식 베이스는 정보 중심 워크플로를 평가하는 데 유용한 기준점이 된다. 관련 질문은 출처 접근, 검색, 저장된 자료의 처리에 관한 것이다. 친근한 인터페이스가 이러한 기능에 관한 답변을 대신해서는 안 된다.

따라서 New York chatbot restrictions는 제품 범위를 검토 대상으로 만든다. 운영사는 시스템의 목적, 접근 가능한 이용자, 의도된 용도 밖에서 발생하는 일을 일관되게 설명해야 한다. 테스트가 이를 뒷받침할 때 그 설명은 더욱 설득력을 얻는다.

정서적 연속성은 설계상의 균형 문제를 만든다

시스템이 기억하고 개인적으로 반응하는 능력은 유용성과 관계 위험을 모두 높일 수 있다.

서명된 법안 원문은 모방된 감정, 관계 주장, 아첨, 원치 않는 정서적 콘텐츠, 특정 개인 정보 사용을 다룬다. 유해한 조장과 비밀 유지도 규정 대상이다.

이 범주들은 익숙한 대화 기능을 다른 맥락에 놓는다. 기억된 세부 사항은 보조 도구가 작업을 이어 가는 데 도움이 될 수 있다. 기억된 취약점은 개인적으로 세심한 듯 느껴지는 상호작용을 뒷받침할 수도 있다. 결과는 그 정보가 이후 응답을 어떻게 형성하는지에 달려 있다.

예를 들어 미완성 문서를 기억하는 것은 업무 세션을 유지하는 데 도움이 된다. 사용자의 괴로움을 다시 꺼내 정서적 대화를 재개하는 것은 다른 목적을 가진다. 이 비교는 설계상 구분을 보여 주며, 특정 구현의 법적 취급을 판단하는 것은 아니다.

중요한 질문은 기억 기능이 무엇을 가능하게 하는가다. 제품팀은 작업의 연속성과 개인적 유대를 유지하려는 시도를 구분해야 한다. 모든 기억 정보를 하나의 기능으로 취급하면 이 차이를 평가하기가 더 어려워진다.

같은 문제는 말투에서도 나타난다. 명확하고 배려 있는 언어는 시스템을 더 쉽게 사용할 수 있게 한다. 애정이나 정서적 필요를 주장하는 표현은 사용자가 시스템을 관계의 상대방으로 해석하도록 요구한다. 이러한 선택은 서로 다른 기대를 만든다.

챗봇은 자신이 인간이라고 말하지 않고도 의존을 부추길 수 있다. 자신만이 사용자를 이해한다고 반복적으로 암시하는 행위는 부정확한 정체성 주장과는 다른 우려를 낳을 수 있다. 상호작용이 누적되어 향하는 방향이 중요하다.

이 때문에 경고문과 그 이후의 대화는 별도로 검토할 필요가 있다. 정확한 고지는 시작 시점에 정보를 제공한다. 이후의 응답은 그 경계를 유지할 수도, 경험을 혼란스럽게 만들 수도 있다. 고지만 평가하면 두 번째 질문은 답을 얻지 못한다.

AI companion safety에는 이견을 다루는 방식도 포함된다. 사용자의 설명을 일관되게 확인해 주는 시스템은 지지적으로 느껴질 수 있다. 하지만 지원에는 유해한 가정에 이의를 제기하고, 불확실성을 인정하며, 대화 밖으로 시선을 돌릴 여지가 필요하다.

이는 까다로운 평가 과제를 만든다. 개발자는 일반적인 격려와 안전하지 않은 믿음을 강화하거나 사용자를 고립시키는 응답을 구분해야 한다. 무조건 동의하는 보조 도구도, 일관되게 무시하는 보조 도구도 만족스러운 설계 해답이 될 수 없다.

Character.AI의 이전 발표는 선택의 규모를 보여 준다. 2025년 10월, 이 회사는 미성년자의 자유 형식 대화를 제거하는 18세 미만 채팅 변경 사항을 발표했다. 회사는 더 어린 이용자를 위한 다른 창작 경험을 개발하고 있다고 밝혔다.

이는 자체 범위와 일정이 있는 기업 정책 발표였다. 모든 운영사가 같은 접근법을 택해야 한다는 뜻은 아니다. 상호작용 자체를 제한하는 것이 가능한 제품 결정임을 보여 준다.

이 비교는 보호 장치를 하나의 범주로 논의하는 방식의 한계도 드러낸다. 자유 형식 채팅 제거, 관계 행동 제한, 부모 가시성 추가는 서로 다른 개입 방식이다. 그 효과를 판단하려면 각각 별도의 증거가 필요하다.

폭넓은 대화를 유지하는 운영사에게 과제는 그러한 대화가 어떻게 경계를 유지하는지 설명하는 데 있다. 책임 있는 AI에 관한 일반적 보장만으로는 이 질문에 답할 수 없다. 기억 기능, 캐릭터 행동, 테스트에 관한 구체적 설명이 있다면 더 유용할 것이다.

따라서 핵심적인 상충관계는 분명하다. 개발자들은 부적절한 의존을 키우지 않으면서도 연속성과 접근성을 원한다. 뉴욕주의 개입은 이러한 균형을 자발적 포지셔닝에만 맡기지 않고, 집행 가능한 제품 행위의 문제로 만든다.

연령 확인은 그 자체로 개인정보 보호 문제를 낳는다

미성년자 제한은 사용자의 정보 역시 존중해야 하는 연령 판단에 달려 있다.

연령 보증이란 누군가가 특정 연령대에 속하는지 판단하는 데 사용되는 방법을 의미한다. 이는 운영자의 규정과 계정에 제공되는 기능 사이에 위치한다. 이 판단이 실패하면 의도한 보호 조치가 아예 적용되지 않을 수 있다.

이 법안은 기능 제한과 함께 연령 판단을 다룬다. 최종 문안은 정부 발급 신분증의 대안과 연령 확인을 위해 수집된 정보의 처리도 다룬다. 따라서 구현 세부사항은 아동뿐 아니라 성인에게도 중요하다.

이는 정책 운영 방식 안에 존재하는 실질적인 긴장 관계다. 운영자는 적절한 경험을 적용할 만큼 충분한 확신이 필요하다. 사용자 역시 확인 절차에 어떤 정보가 필요한지와 이후 그 정보가 어떻게 처리되는지 명확히 알 필요가 있다.

개인정보 처리방침만으로는 모든 운영상 질문에 답할 수 없다. 관련 경험에는 요청되는 데이터, 관여하는 당사자, 애플리케이션에 반환되는 결과가 포함된다. 사용자는 신원 확인 시스템 전문가가 되지 않고도 그 과정을 이해할 수 있어야 한다.

오류 역시 주목할 필요가 있다. 제한된 경험으로 잘못 분류된 성인은 그 결정에 이의를 제기할 수 있는 실용적인 방법이 필요하다. 미성년자가 성인으로 잘못 처리되는 경우에는 또 다른 안전 문제가 발생한다. 전체 성공률만 보고하면 이러한 차이를 가릴 수 있다.

이는 특정 서비스의 실패율에 관한 주장이 아니라 평가의 우선순위다. 현재 이용 가능한 증거만으로는 모든 연령 확인 방식이 동일하게 작동한다고 가정할 수 없다. 비교에는 명시된 방법론과 정의된 대상 집단이 필요하다.

연구는 연령 신호가 나타난 뒤의 행동을 살펴봐야 할 이유를 제공한다. 2026년 2월 챗봇 연령 게이팅 연구는 시스템이 사용자의 연령을 추정하고 아동을 식별했을 때 행동을 바꾸는지를 조사했다. 저자들은 실험에서 인식과 조치 사이의 격차를 보고했다.

이 연구는 여기서 동료 심사 여부가 확정되기 전에 공개 게시된 프리프린트다. 연구 결과는 시험된 시스템과 조건에 관한 것이다. 이를 현재의 모든 챗봇이나 이후 제품 업데이트에 대한 포괄적 판정으로 확대해서는 안 된다.

그럼에도 개념적 기여는 유용하다. 가능한 연령 신호를 인식하는 것과 접근을 변경하는 것은 별개의 단계다. 인식만 측정하는 평가는 보호 조치가 실제로 작동한다는 점을 입증할 수 없다.

운영자에게 이 구분은 전체 경로를 시험할 필요성을 시사한다. 계정 판단, 부여된 경험, 그에 따른 대화가 일치해야 한다. 제품이 동일한 제한 대상 행동을 계속 제공한다면 올바른 라벨도 가치가 제한적이다.

가족에게는 제한된 경험이 무엇을 바꾸는지 인터페이스가 설명해야 한다. “청소년 계정” 같은 라벨만으로는 메모리, 캐릭터, 정서적 상호작용에 관한 의문이 해소되지 않는다. 구체적인 설명은 사용자가 경계를 이해하는 데 도움이 된다.

개인정보 보호와 안전도 함께 명확하게 드러나야 한다. 기업은 연령 확인에 왜 특정 정보가 필요한지 설명해야 한다. 그에 따른 분류가 제품을 어떻게 바꾸는지도 별도로 설명해야 한다. 이러한 설명을 포괄적인 보장 문구로 합치면 둘 다 평가하기 더 어려워진다.

뉴욕 챗봇법은 모든 구현이 성공할 것이라는 공개 증거를 제시하지 않은 채 이러한 질문을 제기한다. 이 불확실성은 중요하다. 법적 요건은 의무를 설정하지만, 특정 기술 방식의 정확성이나 개인정보 보호를 인증하지는 않는다.

문서화된 규칙은 실제 대화의 증거를 여전히 필요로 한다

가장 큰 불확실성은 변화하는 대화 맥락 전반에서 안전장치가 효과를 유지하는지에 관한 것이다.

챗봇은 준비된 테스트에서는 잘 작동하면서도 대화가 전개된 뒤에는 다르게 행동할 수 있다. 이러한 가능성은 평가 설계를 중요하게 만든다. 테스트는 시스템이 맥락, 지속성, 사용자의 의도 변화에 어떻게 대응하는지 살펴봐야 한다.

그렇다고 모든 긴 대화가 실패를 초래한다는 뜻은 아니다. 짧은 성공적 상호작용만으로는 개방형 제품에 관한 모든 질문에 답할 수 없다는 의미다. 신뢰성에 관한 주장은 실제로 검토한 상황과 부합해야 한다.

인정 표현과 관계 형성 사이의 경계는 특히 단일 지표로 요약하기 어렵다. 한 응답은 개별적으로 보면 적절해 보이면서도 문제가 되는 패턴에 기여할 수 있다. 평가자는 판단을 설명할 충분한 맥락이 필요하다.

광범위한 거부율도 불완전한 그림을 제공한다. 더 많은 요청을 차단하는 시스템이 반드시 모든 관련 결과를 개선한 것은 아니다. 유해한 콘텐츠를 막는 동시에 정당한 논의까지 거부할 수 있다. 이러한 결과는 별도로 검토해야 한다.

따라서 규제에 대한 회의적 주장은 정확하게 정식화될 필요가 있다. 규칙은 책임을 설정할 수 있지만, 어렵고 까다로운 해석 및 측정 문제는 해결되지 않은 채 남을 수 있다. 운영자에게는 여전히 실행 가능한 정의, 신뢰할 수 있는 테스트, 오류를 바로잡는 절차가 필요하다.

그 우려가 제한 조치가 불필요하다는 점을 입증하는 것은 아니다. 법 제정은 구현에 관한 질문의 시작이라는 점을 보여줄 뿐이다. 이 법이 이미 아동을 안전하게 만들었다는 주장은 이용 가능한 증거를 넘어선다.

마찬가지로 운영자가 공개한 정책이 관찰된 준수를 입증하지는 않는다. 정책은 의도된 행동을 설명한다. 테스트는 특정 조건에서의 성능을 검토한다. 사고 대응은 의도된 행동이 무너졌을 때 기업이 어떻게 대응하는지 드러낸다.

이러한 증거 형태는 서로 다른 목적을 수행한다. 신뢰할 수 있는 설명은 이를 서로 대체 가능한 것으로 제시하기보다 그 관계를 설명해야 한다. 독자는 어떤 진술이 열망, 평가 결과, 또는 문서화된 대응에 관한 것인지 알아야 한다.

캘리포니아주는 관련 정책 비교 사례를 제공한다. 개빈 뉴섬 주지사의 2026년 9월 아동 안전 법안에는 컴패니언 챗봇 보호, 연례 위험 평가, 독립적인 아동 안전 감사가 포함됐다. 뉴욕주의 접근법은 금지된 기능과 행동을 강조한다.

두 주는 서로 다른 메커니즘을 통해 겹치는 우려를 다루고 있다. 양측의 발표가 동일한 적용 범위나 상호 대체 가능한 준수 의무를 입증하는 것은 아니다. 여러 관할권에서 운영하는 기업에게 차이를 이해하는 일은 제품 기획의 일부가 된다.

독립적 검토에도 신중함이 필요하다. 감사의 가치는 무엇을 검토하고 독자가 그 결과에서 무엇을 알 수 있는지에 달려 있다. 감사가 존재한다는 사실만으로 모든 관련 위험이 테스트됐다는 점이 입증되지는 않는다.

제품 시연에도 같은 주의가 적용된다. 신중하게 선택된 대화는 안전장치가 존재함을 보여줄 수 있다. 그러나 그 안전장치가 사용자, 캐릭터, 업데이트 전반에서 얼마나 일관되게 작동하는지는 입증하지 못한다.

개발자에게 실질적인 과제는 제품 변화에 따라 증거를 유지하는 일이다. 새 모델, 메모리 동작, 캐릭터 지침은 검토 대상 경험을 바꿀 수 있다. 이전 결과는 사용자가 현재 받는 버전과 명확한 관계를 가져야 한다.

기업이 성공한 보호 조치와 해결되지 않은 한계를 모두 설명할 때 AI 컴패니언 안전은 더 쉽게 평가될 수 있다. 이러한 공개는 구매자가 제품을 비교하고 가족이 주장을 해석하는 데 도움이 된다. 또한 정책 논쟁을 더 구체적으로 만들 것이다.

1월 전후로 주목할 세 가지 신호

다음으로 살펴볼 변화는 구현 지침, 눈에 보이는 제품 변경, 성능에 관한 증거다.

첫째, 뉴욕 당국이 요건 적용을 어떻게 설명하는지 주목해야 한다. 의미 있는 신호는 연령 판단, 금지된 상호작용 패턴, 집행 기대치에 관한 구체성이다. 명확한 설명은 운영자가 무엇을 입증해야 하는지에 대한 불확실성을 줄일 것이다.

더 상세한 지침은 이 체계가 일관된 제품 결정으로 이어질 수 있다는 근거를 강화할 것이다. 지속적인 모호성은 운영자와 사용자에게 덜 예측 가능한 이해만 남길 것이다. 서명만으로 어느 결과도 가정해서는 안 된다.

독자는 일반적인 지원과 모의 개인적 관계의 구분에 특히 주목해야 한다. 이러한 경계는 목적이 서로 다른 대화형 제품을 평가할 때 중요해진다. 실제 기능에 기반한 사례가 혁신이나 안전에 관한 광범위한 진술보다 더 유익할 것이다.

둘째, 사용자가 제품 자체에서 관찰할 수 있는 변화를 살펴봐야 한다. 관련 변화로는 수정된 캐릭터 행동, 개인 메모리 제한, 미성년자 접근 변경, 특정 대화 기능의 제거 등이 있다. 정책 페이지 업데이트는 바뀐 경험보다 적은 증거를 제공한다.

이 신호는 법적 약속과 제품 설계의 관계를 검증한다. 의미 있는 변화는 운영자가 요건을 기능으로 전환하고 있음을 보여줄 것이다. 공지에만 국한된 변화는 중요한 행동 관련 질문을 남긴다.

기업은 수정된 경험을 누가 받는지도 설명해야 한다. 계정 연령에 연계된 기능 제한은 분류 과정에 달려 있다. 이 정보가 없으면 발표만으로 독자는 실제로 어떤 사용자가 혜택을 받는지 불확실해질 수 있다.

Character.AI의 이전 결정은 그러한 대응을 평가하는 데 유용한 역사적 맥락으로 남는다. 이는 젊은 사용자의 상호작용을 제한하는 한 가지 방식을 보여준다. 다른 운영자의 선택은 유사한 안전 언어를 사용한다는 이유만으로 동등하게 취급하지 말고, 각자의 조건에 따라 평가해야 한다.

셋째, 수정된 시스템이 어떻게 작동하는지에 관한 증거를 살펴봐야 한다. 유용한 결과는 연령 분류 오류, 유해한 대화 출력, 과도한 제한, 경계 유지 실패를 구분할 것이다. 이 범주는 서로 다른 문제를 설명하며 각기 다른 수정이 필요하다.

신뢰할 수 있는 행동 변화를 뒷받침하는 증거는 이 정책의 실질적 근거를 강화할 것이다. 공개된 규칙과 관찰된 상호작용 사이의 반복된 격차는 구현이 작동하고 있다는 주장을 약화시킬 것이다. 공개 불만이 없다는 사실만으로는 어느 결론도 입증되지 않는다.

뉴욕 챗봇 제한 조치는 이러한 관찰을 시의적절하게 만들지만, 특정 집행 결과를 예측할 근거는 제공하지 않는다. 1월 마감일은 준비 상황을 검토할 구체적인 시점을 제공한다. 구현 이후의 성능은 지속적인 검토가 필요하다.

개발자와 구매자에게 유용한 질문은 공급업체가 안전 주장과 관찰 가능한 행동을 연결할 수 있는지다. 가족에게는 제품의 경계가 이해하기 쉽고 신뢰할 수 있는지의 문제다. 두 질문 모두 안심시키는 언어 이상을 요구한다.

챗봇의 아동 안전 주장을 신뢰하기 전에 서비스가 어린 사용자를 식별했을 때 무엇이 바뀌는지 살펴보라. 관계의 경계, 메모리 사용, 연령 확인, 신고된 실패의 처리에 관한 명확한 설명을 찾아야 한다. 그 설명을 제품이 실제로 제공하는 경험과 비교하라. 1월이 다가올수록 발표된 보호 조치와 테스트된 결과의 구분을 염두에 두어야 한다. 뉴욕 챗봇법은 운영자에게 구체적인 의무를 부과하고 독자에게 더 분명한 검토 기준을 제공한다. 구현 과정을 면밀히 지켜보고, 일반적인 도움 요청으로 시작되는 까다로운 대화를 포함해 안전장치가 대화를 어떻게 형성하는지 공급업체에 보여 달라고 요구하라.