OpenAI Dots의 개인정보 보호 약속, 지금껏 가장 어려운 시험대에 오르다

OpenAI는 핵심적인 충돌에도 불구하고 상시 작동하는 에이전트인 Dots를 출시했다. OpenAI Dots의 개인정보 보호 기능은 제품이 사용자의 삶을 더 많이 이해해야 한다는 전제를 필요로 한다.

Dot은 연결된 앱을 모니터링하고, 대화 전반에서 맥락을 유지하며, 소유자가 자리를 떠난 뒤에도 작업을 계속할 수 있다. 이런 기능은 에이전트를 유용하게 만든다. 동시에 소유자를 규정하는 메시지, 문서, 일정, 자격 증명, 인간관계에 접근할 수 있게 한다.

OpenAI는 Dots가 해당 정보를 통제된 환경 안에 유지하고 위험한 작업을 일시 중단할 수 있다고 말한다. 경쟁 개인 에이전트인 Muse에 대해서도 Meta는 비슷한 주장을 내놓고 있다. 이는 단지 어느 비서가 더 많은 작업을 처리하는지를 가리는 경쟁이 아니다.

어느 회사가 광범위한 데이터 접근을 안전하게 느끼게 만들 수 있는지를 겨루는 경쟁이다.

이 약속을 평가하기 어려운 시점이기도 하다. 개인 에이전트는 채팅 창을 넘어 이메일, 브라우저, 워크스페이스, 커뮤니케이션 플랫폼으로 이동하고 있다. 연결되는 계정이 늘어날수록 가치도 커지지만, 실수의 영향도 함께 커진다.

이 때문에 개인정보 보호는 법적 각주가 아니라 제품 기능이 됐다. OpenAI와 Meta는 에이전트가 작동할 수 있을 만큼의 맥락을 사용자가 공유하길 원한다. 독립적인 증거가 완비되기 전에 사용자가 시스템을 신뢰하지 않는다면, 어느 쪽도 그 목표에 도달할 수 없다.

OpenAI Dots 개인정보 보호가 실제로 약속하는 것

OpenAI Dots의 개인정보 보호는 격리, 제한된 권한, 가시적인 활동, 민감한 작업에 대한 사용자 승인에 기반한다.

OpenAI는 2026년 9월 29일 DevDay 행사에서 Dots를 공개했다. 회사는 이를 개별 프롬프트를 기다리는 대신 지속적인 책임을 관리할 수 있는 영속형 에이전트라고 설명한다.

Dot은 전용 클라우드 컴퓨터에서 작동한다. 사용자가 추가 서비스를 연결하지 않는 한, 이는 에이전트의 작업 환경을 사용자의 물리적 기기와 분리한다.

Dots 발표에 따르면, 사용자는 데스크톱, 웹, 모바일의 ChatGPT를 통해 이 에이전트와 소통할 수 있다. Slack과 Teams 지원은 여러 채널에 걸쳐 동일한 작업 맥락을 확장한다.

이러한 연속성은 제품의 중요한 부분이다. 에이전트가 ChatGPT와 업무 대화 사이를 이동할 때마다 사용자가 같은 프로젝트를 다시 설명할 필요가 없어야 한다.

OpenAI는 에이전트의 백그라운드 활동을 “선제적 리서치”라고 부른다. 이 과정에서 Dot은 읽기 전용 도구를 통해 연결된 앱의 정보를 살펴볼 수 있다. 이 도구들은 메시지를 보내거나, 콘텐츠를 수정하거나, 사용자의 브라우저를 제어할 수 없다.

OpenAI는 모니터링 시스템이 안전 문제를 감지할 경우 Dot을 일시 중지하거나 중단할 수 있다고도 말한다. Custom Rules를 통해 사용자는 특정 작업을 허용, 차단하거나 승인을 요구하도록 설정할 수 있다.

읽기와 행동의 구분은 중요하다. 일정을 읽는 에이전트는 한 종류의 위험을 제시한다. 약속을 취소하거나, 이메일을 보내거나, 티켓을 구매할 수 있는 에이전트는 또 다른 위험을 제시한다.

OpenAI가 공개한 개인정보 보호 FAQ에 따르면, 매우 민감한 작업에는 사용자의 직접적인 개입이 필요하다. 비밀번호 변경이나 송금은 사용자가 직접 처리하도록 해야 한다.

다른 작업은 실행 전에 승인을 요구할 수 있다. 여기에는 소프트웨어 설치나 정보의 영구 삭제가 포함된다. OpenAI는 사용자가 범위가 좁은 반복 작업에 대해 사전 승인을 제공할 수 있는 경우도 있다고 말한다.

이러한 제어 장치는 경계를 설정하지만, 근본적인 노출을 없애지는 않는다. 읽기 전용 에이전트도 기밀 정보를 발견하고, 관계를 추론하거나, 잘못된 맥락에 맞춰 정보를 요약할 수 있다.

데이터 사용 방식도 계정 유형에 따라 다르다. OpenAI는 기본적으로 ChatGPT Business, Enterprise, Edu 워크스페이스 데이터를 모델 학습에 사용하지 않는다고 말한다.

개인 요금제에서는 “Improve the model for everyone” 설정이 적격 Dots 대화와 작업을 모델 개선에 활용할 수 있는지를 결정한다. 이 작업에는 위임된 작업, 연결된 앱 데이터, 에이전트가 수행한 행동이 포함될 수 있다.

OpenAI는 선제적 리서치나 Dot의 비공개 작업 메모를 직접 학습에 사용하지 않는다고 말한다. 그러나 해당 리서치의 정보는 적격 대화로 들어갈 수 있다. 일단 대화에 들어오면 그 처리 방식은 사용자의 설정에 달려 있다.

이 구분은 많은 사용자가 놓치기 쉽다. 데이터는 보호된 백그라운드 프로세스에서 대화로 이동할 수 있지만, 관련 사용자에게는 의미 있게 달라 보이지 않을 수 있다.

따라서 회사가 제시한 것은 절대적 보장이 아니라 다층적인 개인정보 보호 모델이다. 그 신뢰성은 실제 환경의 압박 속에서도 이러한 계층이 일관되게 작동하는지에 달려 있다.

개인 에이전트가 챗봇보다 더 많은 데이터를 필요로 하는 이유

상시 작동하는 에이전트는 자신이 대변하는 사람에 대해 더 많이 알지 않고서는 더 유용해질 수 없다.

챗봇은 하나의 프롬프트를 사용해 고립된 질문에 답할 수 있다. 개인 에이전트는 이전에 무슨 일이 있었는지, 무엇이 미완료 상태인지, 어떤 미래 행동이 사용자의 의도에 맞는지를 이해해야 한다.

이를 위해서는 기억이 필요하다. 또한 결정이 결과를 만들어내는 실시간 시스템에 접근해야 한다.

업무 출장을 관리하는 에이전트를 생각해 보자. 이 에이전트는 여행자의 일정, 목적지, 항공사 선호도, 비용 정책, 여권 요건, 커뮤니케이션 이력이 필요하다.

또한 이메일, 결제 도구, 기업 파일, 다른 사람들의 일정에 접근해야 할 수도 있다. 유용한 답변은 이들 출처를 따로 읽는 것이 아니라 결합하는 데 달려 있다.

개인 AI 세컨드 브레인이 맥락을 축적할수록 더 가치 있어지는 이유도 같다. 시스템은 관련 지식을 보존하고 정리해 왔기에 이를 찾아낼 수 있다.

자율 에이전트는 같은 모델을 한 단계 더 나아가게 한다. 맥락을 검색하는 데 그치지 않고, 그 맥락을 이용해 행동한다.

그 결과 발생하는 개인정보 보호 문제에는 세 가지 층위가 있다.

첫째, 에이전트는 사용자가 의도적으로 제공한 정보에 접근할 수 있다. 여기에는 메시지, 파일, 선호도, 연결된 계정이 포함된다.

둘째, 사용자가 공식적인 사실로 입력하지 않은 정보도 추론할 수 있다. 반복되는 일정은 의료 치료 사실을 드러낼 수 있다. 이메일 패턴은 사업 협상이나 개인적 관계를 노출할 수 있다.

셋째, 에이전트는 약관에 동의한 적 없는 사람들의 데이터를 마주한다. 사용자의 받은편지함에는 동료, 고객, 친척, 친구들과 주고받은 서신이 담겨 있다.

에이전트는 정당한 작업을 완료하려면 그 서신이 필요할 수 있다. 다른 참여자들은 AI 시스템이 자신의 말을 처리하거나 관계에 대한 작업 모델을 구축하고 있다는 사실을 알지 못할 수 있다.

이 때문에 동의는 표준 애플리케이션 권한 화면이 암시하는 것보다 더 복잡해진다. 이메일 접근 권한을 부여한다고 해서 그 메시지 안의 정보를 어떻게 해석하거나 보존해야 하는지에 관한 모든 문제가 해결되는 것은 아니다.

영속형 에이전트는 최소 권한의 의미도 바꾼다. 최소 권한은 시스템이 당장의 작업에 필요한 접근 권한만 받아야 한다는 보안 원칙이다.

상시 작동하는 에이전트에는 좀처럼 하나의 당면 과업만 존재하지 않는다. 기회를 포착하고, 작업을 준비하며, 향후 요청까지 맥락을 이어가도록 설계됐기 때문이다.

광범위한 접근 권한은 이러한 유연성을 뒷받침한다. 좁은 접근 권한은 잠재적 피해를 줄이지만, 에이전트가 달성할 수 있는 일도 제한한다.

OpenAI는 선제적 읽기 전용 활동과 외부 시스템을 변경하는 행동을 분리함으로써 이 긴장을 관리하려 한다. 이 분리는 타당하지만, 읽기 자체도 결과를 만들 수 있다.

침해된 에이전트는 원본 문서를 수정하지 않고도 민감한 요약을 노출할 수 있다. 또한 기밀 자료를 공유 채널로 가져오거나, 관련 없는 응답을 작성할 때 사용할 수도 있다.

프롬프트 인젝션은 또 다른 층위를 더한다. 프롬프트 인젝션은 콘텐츠 안에 숨겨진 지시문으로, AI 시스템을 사용자의 실제 목표에서 벗어나도록 유도하려는 시도다.

웹사이트를 탐색하고 이메일을 처리하는 에이전트는 끊임없이 신뢰할 수 없는 지시문을 접한다. 정당한 콘텐츠와 행동을 조작하도록 설계된 텍스트를 구분해야 한다.

OpenAI는 Dots에 모니터링 및 권한 제어 기능이 포함돼 있다고 말한다. 그러나 현재 어떤 설계도 프롬프트 인젝션을 사라지게 만들지는 못한다. 진짜 질문은 방어 체계가 얼마나 자주 실패하는지, 그리고 실패했을 때 얼마나 많은 접근 권한이 남아 있는지다.

이로써 개인정보 보호는 아키텍처 시험이 된다. 정책 문구도 중요하지만, 격리 경계, 자격 증명 처리, 감사 로그, 복구 절차는 더 중요하다.

OpenAI Dots 대 Meta Muse는 신뢰 경쟁이다

OpenAI Dots 대 Meta Muse 경쟁은 어느 회사가 더 강한 개인정보 보호 문구를 사용하는지가 아니라, 검증 가능한 한계에 의해 결정될 것이다.

Meta는 OpenAI가 Dots를 공개하기 몇 주 전 Muse를 소개했다. 두 제품 모두 지속적인 지원, 영속적 메모리, 클라우드 기반 실행, 민감한 작업에 대한 사용자 제어를 약속한다.

Muse는 전용 가상 머신, 즉 VM 내부에서 실행된다. VM은 에이전트의 파일, 도구, 브라우저, 운영 환경을 담는 격리된 소프트웨어 컴퓨터다.

Meta는 각 사용자가 격리된 환경을 제공받는다고 말한다. 자격 증명은 별도의 컨테이너에 보관되며, Sentinel 에이전트가 Muse의 외부 송신 활동을 검토한다.

회사의 Muse 출시 발표에 따르면, 에이전트는 이메일 전송이나 구매 같은 행동 전에 권한을 요청한다. 사용자는 감사 추적도 확인할 수 있다.

이 기능들은 OpenAI의 접근 방식과 닮아 있다. 두 회사 모두 클라우드에서 에이전트 활동을 격리하고, 모델에서 자격 증명을 감추며, 중요한 결과를 초래하는 행동에 승인 절차를 둔다.

중요한 차이는 각 회사가 접근 권한과 미래 보호 조치를 설명하는 방식에서 나타난다.

Meta는 현 아키텍처가 기술적으로 회사가 Muse 데이터에 접근하는 것을 막지는 못한다고 인정한다. 정책상 직원의 접근은 제한되지만, Meta는 서비스 운영, 보안 유지, 지원 과정에서 정보에 접근할 수 있다.

Meta는 2026년 후반에 Confidential VM을 도입할 계획이라고 말한다. 회사는 이 버전이 암호학적으로 Meta와 다른 서비스 제공업체가 환경 내부의 정보를 볼 수 없게 할 것이라고 주장한다.

Meta가 이를 설명했을 당시 이 강화된 기능은 아직 테스트와 외부 검토를 받고 있었다. 따라서 이는 모든 현재 Muse 세션의 속성이 아니라 계획된 보호 조치로 다뤄져야 한다.

Meta는 Muse의 대화 궤적이 학습에 활용될 수 있다고도 말한다. 궤적에는 대화, 도구 호출, 에이전트 간 인계가 포함된다.

회사는 해당 궤적을 사용하기 전에 핵심 개인 식별 정보를 제거한다고 말한다. 사용자는 설정을 통해 학습을 비활성화할 수 있다.

OpenAI 역시 개인 계정 사용자에게 학습에 대한 제어권을 제공한다. 두 모델 모두 사용자가 이해하고 구성해야 하는 설정에 상당한 책임을 둔다.

Meta가 공개한 보안 설명은 또 하나의 중요한 한계를 인정한다. Muse가 공격에 면역이 아니며, 프롬프트 인젝션이 여전히 업계 전반의 미해결 문제라고 밝힌다.

이러한 인정은 무조건적인 안전 주장보다 더 유용하다. 이는 구매자가 적용해야 할 실제 기준, 즉 공격이 가능한지가 아니라 시스템이 피해를 어떻게 제한하는지를 제시한다.

OpenAI의 강점은 소비자와 기업 모두에게 구축된 ChatGPT 관계다. Dots는 해당 플랫폼의 연결, 계정 제어, 업무 환경 배포를 이어받을 수 있다.

Meta의 강점은 WhatsApp, Instagram, Facebook, 연결 기기에 걸친 존재감이다. 이러한 서비스는 광범위한 관계 및 행동 맥락을 제공할 수 있다.

동일한 장점은 압박도 만들어낸다. OpenAI는 점이 민감한 맥락을 잘못된 워크스페이스로 옮기지 않는다는 점을 보여야 한다. Meta는 광고 사업이 Muse의 프라이버시 경계를 훼손하지 않는다고 사용자를 설득해야 한다.

Meta는 Muse 대화와 VM 데이터가 자사의 광고 시스템으로 직접 흘러가지 않는다고 말한다. 또한 에이전트의 브라우징 활동이 간접적으로 광고에 영향을 줄 수 있다고 언급한다.

예를 들어 Muse가 방문한 소매업체는 나중에 그 방문 기록을 활용해 Instagram에서 광고를 타겟팅할 수 있다. 에이전트 데이터 자체는 Meta의 광고 시스템 밖에 남아 있을 수 있지만, 그 행동은 여전히 광고 신호를 생성한다.

이러한 구분은 기술적으로 의미가 있다. 그러나 에이전트에 위임한 작업과 관련된 광고를 보게 되는 사용자에게는 의미 있게 느껴지지 않을 수 있다.

OpenAI도 유사한 커뮤니케이션 문제에 직면해 있다. 사용자는 선제적 조사가 언제 학습 데이터에서 제외되는지, 그리고 동일한 정보가 대화에 입력된 뒤 언제 학습 대상이 되는지를 이해해야 한다.

두 경우 모두 프라이버시 모델에는 요약하기 어려운 경계가 존재한다. 하나의 프라이버시 토글로 메모리, 추론, 학습, 브라우징, 행동 사이의 모든 전환을 설명할 수는 없다.

따라서 두 회사는 사용자가 전체 시스템을 독립적으로 검증하기 전에 신뢰를 판매하고 있다. 더 명확한 로그, 더 강력한 기본 설정, 감사 가능한 인프라를 제공하는 쪽이 더 신뢰할 만한 주장을 하게 될 것이다.

프라이버시 제어 기능은 프라이버시 보장이 아니다

권한 요청은 우발적인 피해를 줄일 수 있지만, 에이전트가 올바른 경계를 이해했다는 사실을 증명할 수는 없다.

전통적인 권한 시스템은 접근 권한이 리소스에 명확히 대응한다고 가정한다. 앱은 카메라 사용, 연락처 읽기, 폴더 보기 권한을 받을 수 있다.

에이전트 권한은 소프트웨어가 정보를 해석하고 동적으로 행동을 선택하기 때문에 더 복잡하다. 동일한 이메일 접근 권한도 무해한 요약을 지원할 수 있고, 기밀 협상을 노출할 수도 있다.

승인 화면은 즉각적인 행동을 보여줄 수 있지만, 그 행동에 영향을 준 모든 사실을 드러내지는 않는다. 사용자는 초안이 다른 계정의 자료에 의존했다는 사실을 모른 채 이메일을 승인할 수 있다.

사전 승인은 추가적인 불확실성을 만든다. 매번 사용자를 방해하지 않고도 에이전트가 예측 가능한 반복 업무를 수행하도록 도울 수 있다.

그러나 상황은 변한다. 주간 업데이트를 보내는 상시 권한은 프로젝트가 기밀이 되거나 수신자의 역할이 바뀐 뒤에도 활성 상태로 남을 수 있다.

이러한 경우 로그는 필수적이다. 사용자는 에이전트가 무엇에 접근했는지, 무엇을 추론했는지, 어떤 도구를 사용했는지, 왜 해당 행동을 선택했는지 확인할 수 있어야 한다.

완전한 이벤트 기록은 조사자가 실패를 재구성하는 데에도 도움이 된다. 그렇지 않으면 기업은 에이전트가 잘못 행동했다는 사실은 알 수 있어도, 어떤 신뢰할 수 없는 지시가 그 행동을 바꿨는지는 알지 못할 수 있다.

사고 이후의 가시성은 사고 자체를 막지 못한다. 일부 행동은 되돌릴 수 있지만, 정보 공개는 대개 되돌릴 수 없다.

에이전트는 이메일을 회수하거나 수정된 파일을 복원할 수 있다. 그러나 수신자가 기밀 정보를 잊게 만들 수는 없다.

동일한 한계는 메모리에 저장된 개인 데이터에도 적용된다. 원본 메시지를 삭제한다고 해서 에이전트가 추출한 사실을 다른 곳에 보관하고 있는지 반드시 알 수 있는 것은 아니다.

사용자는 백업에 대해서도 명확한 설명이 필요하다. 시스템은 활성 데이터를 삭제하면서도 보안 또는 운영상의 이유로 복구 가능한 사본을 보관할 수 있다.

데이터 삭제 권리는 이러한 복잡성의 일부를 해결할 수 있다. OpenAI는 해당되는 경우 사용자가 개인정보에 대한 접근, 정정, 삭제 또는 사본을 요청할 수 있다고 말한다.

그러나 에이전트는 비사용자에 관한 정보도 처리할 수 있다. 이들은 어느 고객의 에이전트가 정보를 수집했는지, 어디에 요청을 보내야 하는지 알지 못할 수 있다.

Muse에 관한 초기 보도는 이러한 우려를 보여준다. 한 독립 보안 연구자는 사용자의 삶에 있는 사람들에 관한 페이지를 설명하는 내부 지침을 추출한 것으로 알려졌다.

그 결과인 Muse memory findings는 그러한 페이지에 가족, 동료, 친구 및 기타 연락처가 포함될 수 있음을 시사했다. 이 발견이 모든 Muse 사용자에게 모든 연락처에 관한 상세 프로필이 있다는 점을 입증하는 것은 아니다.

다만 에이전트 메모리가 계정 소유자를 넘어 확장될 수 있음을 보여준다. 어떤 사람은 제품을 한 번도 사용하지 않았더라도 다른 사용자의 관계 맥락에 등장할 수 있다.

OpenAI는 Dots가 동일한 메모리 구조를 사용한다고 공개적으로 제시하지 않았다. Muse 사례를 동일한 행동의 증거로 취급해서는 안 된다.

그럼에도 이는 관련성 있는 경고다. 개인 에이전트에는 관계에 관한 지식이 필요하며, 관계 지식은 한 사람에게만 속하는 경우가 드물다.

업계가 선호하는 해답은 사용자 통제다. 이 원칙은 여전히 필요하지만, 한 사용자가 많은 다른 사람과 관련된 데이터를 통제하는 경우에는 불완전하다.

따라서 더 강력한 프라이버시에는 설정보다 더 많은 것이 필요하다. 수집, 보존, 추론, 맥락 간 재사용, 직원 접근, 2차 학습에 대한 제한이 필요하다.

기업은 이러한 제한을 검증 가능하게 만들어야 한다. 독립 감사인은 시스템 설계, 위협 모델, 재현 가능한 증거에 접근할 수 있어야 한다.

버그 바운티 프로그램은 연구자가 취약점을 안전하게 신고하도록 도울 수 있다. 특히 실패가 소프트웨어 익스플로잇이 아니라 일반적인 제품 동작과 관련된 경우, 이는 공식 평가를 대체하지 못한다.

결정적인 증거는 사고와 대응에서 나올 것이다. 기업의 프라이버시 약속은 실패를 공개하고, 피해를 억제하며, 원인을 수정하고, 사용자에게 명확히 알릴 때 신뢰를 얻는다.

첫 번째 실패 사례가 드러내는 에이전트 프라이버시

기저 모델이 비밀번호를 전혀 보지 않고 사용자가 모든 연결을 승인했더라도 에이전트 프라이버시는 실패할 수 있다.

자격 증명 격리는 한 가지 심각한 위협에 대응한다. 모델이 저장된 비밀번호를 읽을 수 없다면 악성 프롬프트가 이를 직접 탈취할 기회는 줄어든다.

그러나 이러한 보호 조치는 에이전트가 인증된 세션을 오용하는 것을 막지 못한다. 에이전트는 유효한 토큰을 통해 서비스에 접근하고 사용자가 의도하지 않은 행동을 수행할 수 있다.

따라서 보안 경계는 비밀 정보와 기능 권한을 모두 통제해야 한다. 에이전트가 자격 증명이 제공하는 접근 권한을 자유롭게 사용할 수 있다면 자격 증명을 숨기는 것만으로는 충분하지 않다.

OpenAI는 Dots가 저장된 비밀번호를 모델과 분리한다고 말한다. Meta도 Muse에 대해 비슷한 주장을 한다. 두 접근 방식은 노출을 줄이지만, 권한 부여 결정은 더 넓은 에이전트 시스템 내부에 남겨둔다.

공개 테스트의 첫 물결은 명백한 실패에 집중할 것이다. 연구자들은 에이전트가 시스템 프롬프트를 공개하게 하거나, 권한 규칙을 무시하거나, 웹페이지에 삽입된 지시를 따르게 만들려 할 것이다.

더 어려운 실패는 맥락적인 실패다. 에이전트는 올바른 정보를 잘못된 사람에게 공개하거나, 잘못된 시간에 행동을 예약하거나, 여러 프로젝트의 사실을 결합할 수 있다.

각 개별 단계가 합리적으로 보일 수 있기 때문에 이러한 실패는 예방하기 어렵다. 피해는 순서에서 발생한다.

어떤 점이 연결된 이메일과 내부 파일을 사용해 고객 제안서를 작성한다고 가정해 보자. 이 점은 고객, 제품 요구사항, 이전 협상을 정확히 식별한다.

공유 문서에는 다른 고객의 할인에 관한 오래된 메모가 들어 있다. 에이전트는 이 메모를 일반적인 가격 책정 규칙으로 간주하고 새 제안서에 반영한다.

공격자가 비밀번호를 탈취할 필요는 없었다. 악성코드가 클라우드 컴퓨터를 벗어날 필요도 없었다. 에이전트가 단지 맥락적 경계를 넘었을 뿐이다.

인간 검토는 일부 실수를 잡아낼 수 있다. 그러나 항상 작동하는 에이전트의 약속은 필요한 검토량을 줄이는 데 달려 있다.

사용자가 모든 출처와 추론을 검사해야 한다면 효율성의 상당 부분이 사라진다. 행동을 신속히 승인한다면 승인은 의례적인 절차가 된다.

이는 제품 설계상의 트레이드오프를 만든다. 잦은 경고는 사용자가 이를 무시하도록 만들고, 경고가 적으면 에이전트에 더 큰 재량권이 주어진다.

기업은 일상적이고 되돌릴 수 있는 업무와 이례적이거나 되돌릴 수 없는 행동을 구분하는 위험 기반 승인 시스템이 필요하다. 이러한 시스템은 행동이 위험해 보이는 이유도 설명해야 한다.

더 광범위한 보안 환경은 위험성을 높인다. DevDay coverage는 OpenAI가 안전성 우려로 다른 모델 출시를 중단한 직후 Dots를 도입했다고 언급했다.

그 순서가 Dots가 안전하지 않다는 점을 증명하는 것은 아니다. 다만 OpenAI의 보장이 면밀한 검증을 받게 될 이유를 보여준다.

OpenAI는 사용자에게 계속 활성화된 상태로 연결된 정보를 관찰하고 외부 서비스 전반에서 작업을 완료하는 시스템을 받아들이도록 요구하고 있다. 입증의 부담은 그 정도의 권한에 걸맞아야 한다.

Meta도 같은 부담에 직면해 있다. Muse는 웹을 탐색하고, 양식을 작성하고, 커뮤니케이션을 전송하고, 구매를 진행하며, 장기 맥락을 유지할 수 있다.

두 회사의 공개된 안전장치는 합리적인 출발점을 마련한다. 하지만 실제 환경에서의 실패율을 입증하지는 않는다.

독립 테스트는 에이전트가 불필요한 접근을 요청하는 빈도, 민감한 행동을 잘못 분류하는 빈도, 계정 간에 정보를 노출하는 빈도를 살펴봐야 한다.

기업 고객은 관리자 통제에 관한 증거도 원할 것이다. 개인의 승인은 보존, 법적 보존 명령 또는 규제 대상 정보에 관한 조직 규칙을 충족하지 못할 수 있다.

소비자는 다른 질문에 직면한다. 이들에게는 가상 머신, 모델 학습, 기밀 컴퓨팅에 대한 전문 지식을 요구하지 않는 프라이버시 설명이 필요하다.

시스템은 기술적으로 정교하면서도 설정이 잘못된 안심을 만든다면 실패할 수 있다. 사용자 인터페이스는 보안 모델의 일부다.

승리하는 설계는 안전한 행동을 안전하지 않은 행동보다 쉽게 만들 것이다. 또한 사용자가 경고를 놓치고, 과도한 접근 권한을 부여하며, 데이터 흐름을 오해한다는 점을 전제로 해야 한다.

에이전트는 마찰을 없애겠다고 약속하기 때문에 이 기준은 까다롭다. 프라이버시 보호 장치는 자동화가 제거하려는 바로 그 지점에서 마찰을 더하는 경우가 많다.

약속의 이행 여부를 결정할 세 가지 시험

OpenAI Dots 프라이버시의 다음 단계는 독립 테스트, 투명한 사고 처리, 과도한 권한 없이 이루어지는 도입을 통해 평가받게 될 것이다.

첫 번째 신호는 기술적 검증이다.

OpenAI는 외부 연구자가 격리, 권한 집행, 자격 증명 처리, 프롬프트 인젝션 방어를 검토할 수 있도록 충분한 세부 정보를 제공해야 한다. 자격 있는 연구자가 기저 증거를 재현할 수 있을 때 보안 주장은 더 강해진다.

Meta가 계획한 Confidential VM도 유사한 시험을 만든다. Meta는 외부 감사인이 설계를 검사하고, 지속적인 감사 정보가 공개적으로 보이게 될 것이라고 말한다.

해당 시스템이 접근 가능한 증거와 함께 출시된다면, 모든 개인 에이전트 제공업체에 대한 기대치를 높일 것이다. 제한적이거나 지연된 상태로 남는다면 Meta의 가장 강력한 프라이버시 약속은 입증되지 않은 채로 남을 것이다.

기술적 검증은 서비스 간 경계도 다뤄야 한다. Dots는 ChatGPT, Slack, Teams 및 연결된 앱 전반에서 맥락을 유지할 수 있다.

연구자들은 정보가 의도된 사용자 및 워크스페이스 경계를 따르는지 테스트해야 한다. 맥락이 권한 없는 채널에 도달한다면 안전한 클라우드 컴퓨터는 거의 보호를 제공하지 못한다.

두 번째 신호는 사고 공개다.

에이전트는 실수할 것이다. OpenAI와 Meta 모두 직접적으로 또는 설명한 안전장치를 통해 이러한 현실을 인정한다.

중요한 질문은 각 기업이 실패를 얼마나 빨리 감지하고, 영향을 받은 사용자에게 얼마나 많은 정보를 알리는가다. 유용한 공개는 관련된 정보, 실패한 통제 수단, 시정 조치를 식별해야 한다.

기업이 모호한 설명을 내놓는지, 측정 가능한 변화를 공개하는지 지켜봐야 한다. 안전성이 개선됐다는 모호한 보장은 어떤 경계가 실패했는지 보여주지 않는다.

사용자는 에이전트가 완전한 활동 이력을 제공하는지도 살펴봐야 한다. 감사 추적에는 모델 오류와 권한 실패 또는 악의적인 지시를 구분할 수 있을 만큼 충분한 세부 정보가 필요하다.

세 번째 신호는 사용자 행동이다.

프라이버시 아키텍처는 설득력 있어 보일 수 있지만, 사용자가 민감한 계정을 계속 연결하지 않는다면 의미가 제한적이다. 위험도가 낮은 시연만으로는 사람들이 재정 정보, 업무 문서, 건강 정보, 사적인 커뮤니케이션을 에이전트에 맡긴다고 증명할 수 없다.

기업 고객의 도입 추이는 유용한 척도가 될 것이다. 보안팀은 일반적으로 더 명확한 통제 수단, 계약상 약속, 관리 가시성을 요구한다.

소비자 행동도 중요하다. 사용자는 에이전트를 폭넓게 도입하더라도 쇼핑, 여행 조사, 공개 정보로 용도를 제한할 수 있다.

이런 양상은 완전한 신뢰 없이도 자동화에는 관심이 있음을 보여준다. 이메일, 캘린더, 개인 아카이브와의 더 깊은 연결은 더 큰 신뢰를 의미하겠지만, 기업은 이러한 지표를 신중하게 공개해야 한다.

권한 사용 패턴은 단순 계정 수보다 더 의미 있다. 수백만 명의 사용자를 보유한 에이전트라도 중요한 시스템에 대한 접근 권한은 제한적일 수 있다.

독자들은 프라이버시 기본 설정이 더 엄격해지는지도 지켜봐야 한다. OpenAI와 Meta는 모두 개인 사용자가 특정 상호작용을 모델 학습에 활용할지 제어할 수 있도록 한다.

2차 활용을 최소화하는 기본 설정은 설정을 변경하지 않는 사용자들의 부담을 줄인다. 더 폭넓은 활용을 허용하는 기본 설정은 고지와 충분한 정보에 기반한 동의에 더 큰 비중을 둔다.

근본적인 질문은 OpenAI나 Meta가 설득력 있는 프라이버시 정책을 작성할 수 있는지가 아니다. 두 회사 모두 다층적 통제와 책임 있는 의도를 설명할 수 있다.

문제는 그 통제 장치가 일반 사용자, 악의적인 콘텐츠, 모호한 지시, 그리고 에이전트를 더 자율적으로 만들라는 압력 속에서도 유지되는지다.

개인 에이전트는 약속한 가치를 제공하려면 친밀한 맥락 정보가 필요하다. 이는 우발적인 프라이버시 위험이 아니다. 제품이 작동하기 위한 핵심 요건이다.

OpenAI Dots의 프라이버시가 신뢰를 얻으려면, 사용자가 에이전트가 무엇을 알고 있었는지, 왜 행동했는지, 자신의 정보가 어디로 갔는지를 확인할 수 있어야 한다. Meta Muse도 같은 기준에 직면해 있다.

항상 켜져 있는 에이전트를 디지털 생활의 중심에 연결하기 전에 학습 설정을 검토하고, 권한을 제한하며, 활동 기록을 점검하라. 그리고 더 어려운 질문을 던져야 한다. 에이전트가 내일 잘못된 추론을 한다면, 이를 확인하고 멈추며 피해를 복구할 수 있는가?