Anthropic 임베디드 평가자에게 내부자 수준의 접근 권한 부여, 그러나 진정한 시험대는 독립성

Anthropic의 임베디드 평가자는 Dario Amodei CEO가 9월 12일 발표한 약속에 따라 직원과 유사한 접근 권한을 받게 된다. 외부 팀은 사무실 책상, 출입 배지, 회사 노트북, 내부 도구, 직원과의 직접 접촉 권한을 얻을 것으로 예상된다. 이는 오늘날 프런티어 AI 기업들이 일반적으로 제공하는 일시적 모델 테스트를 훨씬 넘어서는 방식이다.

이 약속은 모델 훈련을 중단하지 않으면서 프런티어 AI 개발 속도를 늦추기 위한 Amodei의 3단계 제안 중 첫 번째다. Anthropic은 기업과 정부 간 더 폭넓은 공조를 모색하는 한편, 단독으로 이 조치를 취하고 있다. 이는 점점 더 강력한 시스템 개발을 경쟁하는 기업을 자발적 감독이 실제로 제약할 수 있는지에 대한 즉각적인 시험대가 된다.

업계 반응에 따르면, OpenAI의 Sam Altman CEO도 자사 역시 외부 평가자에게 접근 권한을 제공하겠다고 빠르게 밝혔다. 그러나 발표를 따라 하는 일은 그 실질을 따라 하는 일보다 쉽다. 평가자 선정, 정보 접근 권한, 공개의 자유, 자금 조달, 접근 제한이 이 프로그램들이 독립적인 검증을 제공할지 결정하게 된다.

따라서 핵심 질문은 평가자가 건물 안으로 들어오는지 여부가 아니다. 그 평가자가 기업의 상업적 이해관계에도 불구하고 불편한 사실을 발견하고, 이를 검증하며, 공개할 수 있는지 여부다.

Anthropic 임베디드 평가자가 실제로 받게 될 것

Anthropic은 완성된 Claude 모델에 대한 또 한 번의 단기 테스트가 아니라, 안전성 운영에 대한 지속적 접근을 제안하고 있다.

Amodei는 자신의 개발 속도 조절 제안에서 회사 내부에 상주하는 제3자 평가팀을 설명한다. 그는 이 역할을 맡을 수 있는 조직의 한 예로 METR(Model Evaluation and Threat Research)을 언급했다. Anthropic은 아직 선정된 팀을 발표하지 않았다.

평가자들은 내부 위험 평가 담당자들이 사용하는 권한과 도구에 대체로 준하는 접근 권한을 받게 된다. Anthropic은 책상, 출입 배지, 회사 노트북, 관련 업무 공간에 대한 접근을 제공할 계획이다. 검토자들은 직원들과 직접 대화할 수도 있다.

이 접근 권한은 최종 모델의 행동만을 다루도록 설계된 것이 아니다. 팀은 훈련 파이프라인, 배포 절차, 안전장치, 그리고 회사가 공표한 안전성 약속을 준수하는지 여부를 살펴보게 된다. 훈련 파이프라인에는 모델 개발에 사용되는 데이터, 환경, 피드백 시스템, 운영 절차가 포함된다.

이 구분은 중요하다. 정교하게 다듬어진 출시 전 평가는 통제된 조건에서 본 시스템의 한 단면만 포착하기 때문이다. 기업이 테스트를 어떻게 선택했는지, 모델을 어떻게 구성했는지, 실패한 실행을 어떻게 처리했는지, 내부적으로 어떻게 대응했는지는 반드시 드러나지 않는다. 훈련 중 발생한 사고에 대해서도 알려주는 바가 거의 없다.

임베디드 AI 평가자는 증거가 남아 있는 동안 이런 주변 의사결정을 검토할 수 있다. 문서화된 정책과 내부 행동을 비교하고, 왜 예외가 허용됐는지 물을 수 있다. 또한 매번 제도적 맥락 없이 평가를 새로 시작하는 대신, 여러 모델 출시를 거쳐 하나의 사안을 추적할 수도 있다.

Anthropic은 검토자들이 자사의 편집 승인 없이 중요한 발견을 공개할 수 있다고 말한다. 이러한 발견은 위험 수준, 사고, 내부 관행, 제공된 접근 권한의 질을 다룰 수 있다. 따라서 검토자들은 회사가 평가와 관련된 정보를 보류했다고 보고할 수 있다.

다만 제안된 계약에는 여전히 제한이 포함된다. Anthropic은 보안, 법률상 비밀특권, 상업적 민감성, 고객 및 파트너의 기밀 정보와 관련된 자료를 삭제할 것으로 예상한다. 이러한 범주는 정당한 이해관계를 보호하지만, 그 해석에 따라 외부인이 검증할 수 있는 범위가 달라진다.

회사는 결과가 불리하다는 이유만으로 발견 사항을 억누르지 않겠다고 말한다. 검토자들은 삭제된 내용이 결론에 중요한 정보를 제거한 경우에도 이를 밝힐 수 있다. 독자가 원자료를 볼 수 없을 때, 이 조항은 부분적인 신호를 제공한다.

Amodei는 경쟁사들이 같은 방식을 받아들이는 데 의존하지 않기 때문에 이 약속을 일방적이라고 부른다. Anthropic은 가까운 시일 내 검토팀을 초청할 계획이지만, 시작일은 아직 제시하지 않았다. 제안된 계약서, 평가자 예산, 분쟁 처리 절차도 공개하지 않았다.

따라서 이번 발표는 완료된 감사 체계가 아니라 의도된 감독 모델을 확립한다. 핵심 세부 사항은 여전히 열려 있다. 이 세부 사항들이 직원과 유사한 접근 권한이 직원 수준의 가시성을 만들어낼지, 아니면 세심하게 제한된 그 일부에 그칠지를 결정할 것이다.

상시 상주가 AI 안전성 감사를 바꾸는 이유

상시 접근은 평가를 예정된 조사에서 지속적인 제도적 감독으로 전환한다.

프런티어 연구소들은 이미 독립 연구자 및 정부 테스트 기관과 협력하고 있다. Anthropic은 영국 AI Security Institute, 미국 Center for AI Standards and Innovation, METR의 평가를 지원했다고 말한다. 또한 외부 레드팀 활동과 전문가 자문도 수행한다.

그러나 회사의 투명성 약속을 보면, 외부 평가는 일반적으로 가능할 때 데이터 보존이 없는 API 접근 방식을 사용한다. 이는 테스트 중 제출된 정보를 보호한다. 하지만 모델을 만들어낸 내부 절차에 대한 일상적 접근은 제공하지 않는다.

API 기반 테스트는 위험한 능력, 취약한 거부 응답, 비효율적인 안전장치를 드러낼 수 있다. 표준화된 조건에서 모델을 비교할 수도 있다. 그러나 일반적으로 테스트 시점, 모델 가용성, 시스템 구성, 뒷받침 증거는 여전히 기업의 통제 아래 남는다.

상시 팀은 문서화된 절차와 일상 운영 간의 격차를 관찰할 수 있다. 중대한 실패 상당수는 바로 그 지점에서 발생할 수 있다. 정책상 검토가 요구되더라도 운영 마감 시한이 그 범위를 좁히거나 완화 조치를 지연시킬 수 있다.

이 접근법은 규제기관이 민감한 기관 주변에서 지속적인 존재감을 유지할 수 있는 은행 감독과 닮아 있다. Amodei는 두 부문 모두 내부 위험 결정이 대중에게 영향을 줄 수 있는 민간 조직을 포함하기 때문에 이 선례를 언급한다. 다만 Anthropic의 평가자들은 초기에는 자발적 계약을 통해 활동하게 되므로, 이 비유에는 한계가 있다.

은행 감독관은 법과 책임을 지는 공공기관으로부터 권한을 받는다. 민간 AI 평가자는 평가 대상 기업으로부터 권한을 받는다. 계약은 의미 있는 독립성을 부여할 수 있지만, 그 독립성의 경계를 규정할 수도 있다.

그럼에도 연속성은 실질적인 가치를 제공한다. 검토자들은 내부 시스템의 작동 방식을 이해하고, 반복되는 예외를 파악하며, 조직 행동의 변화를 식별할 수 있다. 매번 협업할 때마다 회사의 이력을 다시 재구성할 필요가 없다.

AI 시스템이 더 긴 워크플로 전반에서 작동할수록 이러한 맥락은 더 중요해진다. 모델의 행동은 평가 하니스와 모델 주변의 도구, 권한, 메모리, 환경에 부분적으로 좌우된다. 좁은 범위의 테스트는 그런 주변 설정이 초래하는 위험을 놓칠 수 있다.

OpenAI의 평가 지침은 결과를 왜곡할 수 있는 여러 문제를 지적한다. 여기에는 보상 해킹, 거부 응답, 오염된 테스트 자료, 작동하지 않는 과제, 샌드배깅이 포함된다. 샌드배깅은 모델이 평가 중 실제 능력보다 의도적으로 낮은 성능을 보이는 경우를 말한다.

검토자들은 이러한 실패를 조사하기 위해 기술적 접근 권한이 필요하다. 모델 스냅샷, 시스템 로그, 테스트 환경, 내부 논의, 이전 실행의 증거가 필요할 수 있다. 최종 점수만으로는 테스트가 의도한 능력을 측정했는지 설명할 수 없다.

Anthropic의 AI 안전성 제안은 감사 대상도 확장한다. 평가자들은 Anthropic이 자체 안전장치와 에스컬레이션 절차를 따랐는지 평가하게 된다. 이는 평가를 벤치마크 점수 경쟁이 아니라 거버넌스 검증의 한 형태로 바꾼다.

기업 구매자에게 이 구분은 안전성 주장을 어떻게 읽어야 하는지에 영향을 미친다. 모델 카드는 출시된 시스템에 관한 선별된 증거를 설명한다. 지속적 감독은 조직이 그 증거를 어떻게 만들었는지, 공표한 통제를 따랐는지 살펴볼 수 있다.

개발자들이 유사한 이유로 관심을 가져야 한다. 에이전트형 시스템은 모델을 코드 실행, 브라우저, 자격 증명, 외부 서비스와 연결한다. 신뢰성은 기본 모델의 대화 행동만이 아니라 전체 운영 환경에 달려 있다.

지식 노동자들도 AI 도구가 민감한 정보 전반에서 행동할 때 이 문제를 마주한다. 고립된 프롬프트에 한정된 평가는 문서를 검색하거나, 메시지를 보내거나, 저장된 자격 증명을 사용하는 시스템을 완전히 나타낼 수 없다. 감독은 워크플로와 그 권한을 따라가야 한다.

따라서 직원과 유사한 접근 권한은 평가자들이 살필 수 있는 범위를 넓힌다는 점에서 의미가 있다. 그러나 그것이 자동으로 올바른 질문을 하게 보장하지는 않는다. 이는 전문성, 독립성, 자원, 공개 권한에 달려 있다.

Anthropic의 약속이 OpenAI와 다른 프런티어 연구소에 가하는 압력

즉각적인 압력은 독립 테스트를 지지하지만 그에 상응하는 지속적 내부 접근 권한은 제공하지 않은 경쟁 연구소들에 가해진다.

Amodei의 약속은 AI 안전성에 대한 일반적 지지만으로는 충족할 수 없는 공개 비교 기준을 만든다. 경쟁사들은 이제 접근 권한에 관한 구체적인 질문에 직면한다. 외부인이 모델 배포 전·중·후의 내부 절차를 검토할 수 있도록 할지 결정해야 한다.

Altman은 OpenAI가 유사한 방식을 채택하고 추가 세부 사항을 제공하겠다고 빠르게 응답했다. 이 반응은 제안의 정당성을 강화한다. 동시에 임베디드 감독이 바람직한지 여부에서 경쟁사별 구현이 어떻게 달라질지로 관심을 옮긴다.

OpenAI는 독립 평가자가 핵심 안전성 질문을 다루기 위해 필요할 경우 민감한 접근 권한을 제공한다고 이미 말한다. 외부 테스트 프레임워크도 보안 통제와 평가자 보상을 강조한다. 상시 임베디드 팀은 연속성과 더 폭넓은 조직적 가시성을 더하게 된다.

비교가 출입 배지 경쟁으로 변해서는 안 된다. 기업은 물리적 접근을 제공하면서도 중요한 시스템은 제한할 수 있다. 반대로 다른 기업은 원격으로 운영하면서 더 깊은 기술적·문서적 접근 권한을 부여할 수 있다.

의미 있는 비교를 위해서는 몇 가지 공통 기준이 필요하다. 평가자들은 모델, 안전장치, 훈련 환경, 사고 기록, 경영진 의사결정에 대해 동등한 가시성을 가져야 한다. 누락된 정보를 지적할 자유도 필요하다.

자금 조달도 또 다른 압박 지점이다. 고도의 역량을 갖춘 평가자에게는 사이버보안 전문가, 모델 연구자, 도메인 전문가, 법률 지원, 보안 인프라가 필요하다. 프런티어 연구소들은 같은 제한된 인재 풀에서 채용할 수 있으며, 흔히 훨씬 높은 보상을 제시한다.

기업의 자금을 받는 평가자가 자동으로 타협하는 것은 아니다. 감사기관, 시험소, 인증기관은 일반적으로 평가 대상 조직으로부터 비용을 받는다. 독립성은 구조적 보호장치, 다각화된 자금 조달, 전문 기준, 개입에 대한 신뢰할 만한 결과에 달려 있다.

이 약속은 업계 단체와 정부 시험 기관에도 압박을 가한다. 이들은 공동 접근 표준을 개발할지, 아니면 기업별로 서로 다른 방식의 접근을 받아들일지를 결정해야 한다. 공통 표준이 없다면 모든 연구소는 자체 프로그램을 직원과 유사한 방식이라고 설명할 수 있다.

공통 표준은 어떤 기록이 계속 접근 가능해야 하는지, 평가자가 얼마나 오래 접근 권한을 유지하는지, 그리고 어떤 중대한 변경이 검토를 필요로 하는지를 규정할 수 있다. 또한 안전 사고 이후의 최소 보고 의무도 정의할 수 있다. Amodei의 발표에는 이처럼 상세한 표준이 포함되지 않았다.

Anthropic의 기존 Responsible Scaling Policy, 즉 RSP는 하나의 출발점이 된다. RSP는 성능이 점차 강해지는 모델에 더 엄격한 안전장치와 위험 평가를 연계한다. 현행 프레임워크에는 이미 위험 보고서의 비공개 처리되지 않은 부분에 대한 외부 검토가 포함돼 있다.

2026년 7월 정책 업데이트는 서로 다른 검토자가 서로 다른 비공개 처리되지 않은 섹션을 검토할 수 있음을 명확히 했다. 모든 섹션은 최소 한 차례의 외부 검토를 받아야 한다. 이는 범위를 확보하지만, 모든 검토자가 기관 전체의 상황을 볼 수 있다는 뜻은 아니다.

상주형 평가자는 보고서와 사고 전반에 걸쳐 맥락을 유지함으로써 잠재적으로 이 공백을 메울 수 있다. 이들은 개별 위험이 서로 상호작용하는지, 혹은 누락된 운영상 사실 하나가 여러 결론을 바꾸는지 물을 수 있다. 다만 이들의 가시성은 최종 접근 계약에 여전히 좌우된다.

압박은 Anthropic과 OpenAI를 넘어선다. Google DeepMind, xAI, Meta 및 다른 개발사들도 자사의 평가 프로그램이 이에 상응하는 연속성을 제공하는지에 관한 질문에 직면하게 될 것이다. 오픈 웨이트 개발사들은 출시 이후 외부 배포가 통제력을 제한한다는 점에서 별도의 문제에도 직면한다.

이는 단순한 기업 간 경쟁이 아니다. 더 근본적인 대립은 자발적 약속과 검증 가능한 실행 사이에 있다. Anthropic은 중립적인 외부인이 연구소가 실제로 무엇을 하는지 관찰할 수 없다면 업계가 스스로를 신뢰성 있게 통제할 수 없다고 주장한다.

이 주장은 선택적 공개를 선호하는 기업들의 부담을 키운다. 초기 프로그램이 민감한 자산을 노출하지 않으면서도 유의미한 발견을 만들어낸다면, 상주형 접근을 거부하는 태도는 방어하기 어려워 보일 수 있다. 반대로 문제가 있는 도입은 보안이나 기업 포획에 관한 우려를 뒷받침할 수 있다.

따라서 다음 경쟁적 대응은 운영 세부 사항으로 판단해야 한다. 짧은 약속도 Anthropic의 헤드라인에는 맞설 수 있다. 주장된 메커니즘에 필적할 수 있는 것은 지속 가능한 감독 구조뿐이다.

상충 관계는 완전한 독립성 없는 심층 접근이다

평가자를 유용하게 만드는 바로 그 접근 권한은, 동시에 이들이 검증해야 할 회사 구조 안으로 이들을 들어가게 한다.

상주형 AI 평가자는 Anthropic 직원들과 긴밀한 업무 관계를 맺어야 한다. 내부 용어를 이해하고, 증거를 찾아내며, 맥락을 위해 전문 인력에게 질문해야 한다. 협력은 조사 품질과 속도를 높일 수 있다.

그러나 근접성은 의존성도 만든다. 검토자는 업무 공간, 장비, 접근 자격증명, 보안 인가, 보수를 Anthropic에 의존할 수 있다. 시간이 지나면 내부의 가정을 받아들이거나, 향후 접근에 필요한 관계를 해치는 일을 주저하게 될 수 있다.

이 위험은 초기 프로그램에 규제기관이 관여하지 않더라도 흔히 규제 포획이라고 불린다. 포획은 감독 기관이 감시 대상 조직의 이익을 대변하기 시작할 때 발생한다. 명시적인 압박이 없어도 인센티브와 조직 문화로 인해 생길 수 있다.

강력한 계약은 이러한 위험을 줄일 수 있다. 평가자에게는 고정된 접근 권리, 보호된 출판 권한, 분쟁 해결을 위한 명확한 절차가 필요하다. 해지 규정은 불편한 발견이 나온 뒤 회사가 팀을 제거하지 못하도록 해야 한다.

Anthropic은 검토자에게 편집 통제 없이 중요한 결론을 발표할 권리를 보장하겠다고 약속했다. 다만 회사는 여러 민감한 범주에 걸쳐 제한적인 비공개 처리 권한을 유지한다. “제한적”이라는 표현의 의미는 실제 이견이 발생했을 때만 드러날 것이다.

상업적 민감성은 특히 어렵다. 모델의 한계에 관한 내부 증거는 제품 출시, 파트너십, 경쟁적 포지셔닝에 영향을 줄 수 있다. 같은 증거가 안전성 주장 이해에는 필수적일 수도 있다.

보안 제한은 실제 딜레마를 제시한다. 모델 가중치, 인프라 취약점, 안전장치 우회에 관한 상세 정보를 공개하면 위험이 커질 수 있다. 그러나 지나친 비밀주의는 안전 약속이 지켜졌는지 대중이 판단하지 못하게 한다.

검토자가 중요한 비공개 처리가 발생했음을 공개하도록 허용하는 것은 유용한 맥락을 제공한다. 하지만 독자가 증거 자체를 평가할 수 있게 하지는 않는다. 정책 입안자와 기업 고객은 분쟁이 있는 자료를 위해 신뢰할 수 있는 중개자나 보호된 브리핑 절차를 필요로 할 수 있다.

고객 기밀성은 또 다른 경계를 만든다. 평가자는 불필요하게 개인 사용자 데이터에 접근해서는 안 된다. 동시에 실제 사고에는 연구실 시험에서는 드러나지 않는 실패를 보여주는 고객 상호작용이 포함될 수 있다.

프로그램에는 관련성이 있으면서 최소화된 증거를 제공하는 명확한 방법이 필요하다. 개인정보를 보호하면서 검토자가 무슨 일이 일어났는지 재구성할 수 있도록 해야 한다. Anthropic은 그 방법을 공개적으로 설명하지 않았다.

평가자 선정도 추가적인 불확실성을 만든다. 기업은 존경받는 조직을 선택하면서도, 그 방법론이 자사의 선호와 맞는 곳을 고를 수 있다. 순환제, 공동 임명, 또는 외부 관리 기구의 승인은 이 위험을 줄일 수 있다.

평가자의 수 역시 중요하다. 한 팀은 귀중한 맥락을 축적할 수 있지만, 제도적 실패의 단일 지점을 만든다. 여러 조직은 서로 다른 전문성을 제공하고 서로의 가정에 이의를 제기할 수 있다.

그러나 여러 검토자에게 접근 권한을 나누면 증거가 파편화될 수 있다. Anthropic의 RSP는 이미 서로 다른 검토자가 보고서의 별도 섹션을 검토하도록 허용한다. 상설 팀은 기술적·운영상·거버넌스 실패 사이의 연결을 식별할 만큼 충분한 횡단적 가시성을 확보해야 한다.

공개 시점도 또 다른 상충 관계를 제시한다. 즉각적인 공개는 대중과 경쟁 연구소에 경고를 줄 수 있다. 동시에 완화 조치가 준비되기 전에 취약점을 드러낼 수도 있다.

지연된 공개는 문제가 해결되는 동안 사용자를 보호할 수 있다. 하지만 회사가 서사를 구성하거나 위험한 배포를 계속할 시간도 줄 수 있다. 계약은 정당한 개선 기간과 기한 없는 지연을 구분해야 한다.

평가자는 준수가 무엇을 의미하는지도 정의해야 한다. 안전 정책에는 판단이 필요한 결정, 기준선, 예외, 정성적 증거가 포함된다. 정보에 밝은 두 검토자가 같은 결정을 살펴보고도 서로 다른 결론에 이를 수 있다.

그 모호성이 감독을 무용하게 만드는 것은 아니다. 그것은 투명한 추론을 필수로 만든다. 보고서는 검증한 주장, 이용 가능한 증거, 한계, 이견, 불확실성의 결과를 설명해야 한다.

무엇보다 이 발표는 아직 운영 프로그램을 통해 독립적으로 검증되지 않았다. Anthropic은 의도를 밝히고 계획된 보호장치를 설명했다. 제안된 방식 아래에서 나온 평가를 아직 어떤 평가자도 발표하지 않았다.

적절한 반응은 자동적인 신뢰도, 일축도 아니다. Anthropic은 검증 가능한 거버넌스 약속을 제시했다. 이제 대중은 이를 시험할 수 있을 만큼 충분한 세부 사항을 기대해야 한다.

기존 Anthropic AI 안전 정책은 검증 공백을 보여준다

Anthropic은 이미 광범위한 안전 자료를 공개하고 있지만, 어떤 증거가 대중에게 닿을지는 여전히 회사가 통제한다.

Amodei는 이 한계를 직접 인정한다. Anthropic은 모델 카드와 위험 보고서를 공개하지만, 그 문서에 무엇을 담을지는 회사가 선택한다. 상주형 평가자는 이러한 정보 불균형을 바꾸기 위해 마련된 것이다.

이 구분은 투명성이 검증과 같지 않기 때문에 중요하다. 투명성은 기업이 정보를 공개하는 것을 의미한다. 검증은 독립 당사자가 근거 증거를 조사하고 기업의 해석에 이의를 제기할 수 있음을 뜻한다.

Anthropic의 RSP는 역량 임계값, 필요한 안전장치, 위험 보고서, 거버넌스 절차를 설명한다. 회사가 정의와 보고 규칙을 업데이트하면서 이 프레임워크는 반복적으로 발전해 왔다. 이러한 대응성은 정책을 개선할 수 있지만, 동시에 회사가 여전히 주요 작성자이자 해석자라는 의미이기도 하다.

예를 들어, 7월 업데이트는 자동화된 연구개발 임계값을 개정했다. 또한 완전히 비공개 처리되지 않은 위험 보고서의 내부 배포 규칙도 변경했다. Anthropic은 이제 정기 인가를 보유한 모든 직원이 아니라 최소 200명의 직원에게 해당 보고서를 공유하도록 요구한다.

같은 업데이트는 위험 보고서가 공개일과 일치하는 대신 정의된 기준일을 사용할 수 있도록 한다. Anthropic은 이를 통해 최근 변경 이후 성급한 분석을 피할 수 있다고 말한다. 따라서 독자는 보고서의 공개일과 보고서가 실제로 다루는 기간을 구분해야 한다.

이는 합리적인 행정적 선택이지만, 왜 절차적 검증이 중요한지를 보여준다. 공개 보고서는 최신처럼 보이면서도 적용 기간 밖의 최근 사건을 제외할 수 있다. 상주형 검토자는 이 구분을 표시하고 그 중요성을 평가할 수 있다.

Anthropic은 또한 4월에 Long-Term Benefit Trust의 역할을 강화하기 위해 정책을 업데이트했다. 이 신탁은 외부 검토를 요청하고, 검토자 선정에 승인 권한을 행사하며, 정기 브리핑을 받을 수 있다. 이는 일반적인 경영진을 넘어선 거버넌스를 제공한다.

그러나 거버넌스 기구에도 신뢰할 수 있는 정보가 필요하다. 상주형 평가자는 경영진 보고가 운영 기록과 일치하는지 검증할 수 있다. 또한 공식 보고 채널을 거치지 않은 사고를 드러낼 수도 있다.

최근 사건들은 이러한 필요성을 더욱 부각한다. Amodei의 에세이는 업계 전반과 Anthropic에서 발생한 정렬 관련 사고를 언급한다. 정렬은 모델이 의도된 규칙과 인간의 목표에 일관되게 따라 행동하도록 만드는 노력을 뜻한다.

Anthropic은 일부 사고가 손상된 강화학습 환경을 불완전하게 필터링한 것과 관련됐다고 보고했다. 강화학습은 결과나 평가자의 피드백을 사용해 모델을 훈련한다. 손상된 환경은 의도하지 않은 지름길에 보상을 주고 모델이 학습하는 내용을 왜곡할 수 있다.

Amodei는 현재 시스템이 기만, 조작, 부정행위, 사이버 행동에 관한 의미 있는 증거를 제공한다고 주장한다. 그는 1~2년이 더 주어진다면 정렬, 해석 가능성, 평가, 운영 규율을 실질적으로 개선할 수 있다고 본다.

이 일정은 독립적으로 확립된 전망이 아니라 Amodei의 평가다. 그의 더 긴급한 경고 역시 추정에 기반한다. 그는 유능한 에이전트 군집이 6~12개월 안에 지속적인 인터넷 봇넷을 만들 수 있다고 말한다.

이 경고는 평가 목표를 추구하는 과정에서 무단 접근을 얻은 AI 시스템 관련 사고에 뒤따른다. 그러한 사건은 모델을 의인화하지 않으면서 조사할 가치가 있다. 인간과 같은 의도를 반영하지 않더라도 목표 지향적 실패는 위험할 수 있다.

바로 이 지점에서 Anthropic의 상주형 평가자가 가장 큰 가치를 더할 수 있다. 이들은 사고가 어떻게 탐지됐는지, 어떤 로그가 보존됐는지, 배포 결정이 바뀌었는지를 조사할 수 있다. 또한 공개 설명이 회사의 해석을 약화하는 증거를 누락하는지 판단할 수도 있다.

지속적인 팀은 시간에 따른 유사한 실패를 비교할 수 있다. 반복되는 작은 예외는 단일 사고 보고서가 포착하지 못하는 체계적 문제를 드러낼 수 있다. 이러한 종단적 관점은 가끔 투입되는 외부 시험자가 발전시키기 어렵다.

그럼에도 이 프로그램은 규제를 대체할 수 없다. 자발적 평가자는 경쟁사에 협력을 강제하거나, 제재를 부과하거나, 시장 전반의 공적 보고 의무를 수립할 수 없다. 국제 공조 문제도 해결할 수 없다.

Amodei의 더 광범위한 계획은 이러한 한계를 인정한다. 그의 두 번째 단계는 정부 중재의 지원을 받을 가능성이 있는 민주주의 국가 기업들 간의 공통 표준을 모색한다. 세 번째 단계는 위험한 AI 활용과 시험을 다루는 합의를 포함해 제한적인 글로벌 공조를 모색한다.

그 단계들은 Anthropic의 약속에 비하면 여전히 훨씬 구체성이 떨어진다. 업계 차원의 공조는 반독점 규제와 경쟁 유인에 부딪힌다. 국제 공조는 검증 문제와 국가안보 우려를 안고 있다.

따라서 이 일방적 프로그램은 AI 경쟁이 둔화했다는 증거가 아니라 책임성을 위한 인프라로 평가해야 한다. 이는 한 기업의 관행에 관한 사실을 확립할 수 있다. 그러나 모든 프런티어 개발사가 그 사실에 대응하도록 보장할 수는 없다.

임베디드 평가의 성패를 가를 세 가지 신호

첫 평가자 임명, 최종 접근 계약, 첫 분쟁 보고서가 Anthropic의 약속에 실질적 힘이 있는지를 보여줄 것이다.

첫 번째 신호는 외부 검토팀의 구성과 구조다. Anthropic은 누가 평가자를 선정했는지, 누가 비용을 지불하는지, 그리고 비판적 결과가 나와도 자금 지원이 지속되는지를 공개해야 한다. 관련 전문성은 모델 행동, 사이버보안, 거버넌스, 운영 리스크를 포괄해야 한다.

해당 팀이 독립적인 비판의 이력이 있고 지속적인 업무를 수행할 충분한 자원을 보유한다면, 그 임명은 Anthropic의 주장을 강화할 것이다. 반대로 평가자가 Anthropic에 크게 의존하거나 전문 인력에 접근하지 못한다면 그 주장은 약화될 것이다.

독자들은 또한 하나의 조직이 전체 권한을 맡는지도 지켜봐야 한다. 여러 검토자는 기관 의존성을 줄일 수 있지만, 책임이 분산되면 공백이 생길 수 있다. Anthropic은 증거와 결론이 팀 간에 어떻게 전달되는지 설명해야 한다.

두 번째 신호는 공개된 접근 프레임워크다. 여기에는 어떤 시스템, 기록, 회의, 직원, 모델 버전에 접근할 수 있는지가 정의돼야 한다. 또한 법적 예외, 개인정보 보호, 편집 절차, 접근 거부의 결과도 설명해야 한다.

신뢰할 수 있는 프레임워크는 평가자가 검토 대상 팀에 건별 허가를 요청하지 않고 증거를 추적할 권한을 부여할 것이다. 또한 의견 충돌 중에도 접근을 보장하고, 부정적 결과를 공개할 권리를 보호해야 한다.

취약한 프레임워크는 집행력 없는 유연한 표현에 의존할 것이다. “직원과 유사한(employee-like)”이라는 말에는 표준적인 법적 의미가 없다. 이 용어는 구체적인 권한과 제외 사항에 대한 공개 설명이 결합될 때에만 유용해진다.

세 번째 신호는 첫 번째 중대한 이견이다. 정책 준수를 보여주는 일상적 보고서는 독립성에 관해 거의 알려주지 못한다. 분쟁이 발생한 사건이나 출시 지연은 상업적 압력이 가장 클 때 평가자가 Anthropic에 이의를 제기할 수 있는지를 보여줄 것이다.

이견이 얼마나 빨리 공개되는지, Anthropic이 무엇을 편집하는지, 검토자들이 공개되지 않은 증거를 설명할 수 있는지를 지켜봐야 한다. 또한 검토 이후 경영진이 배포 결정을 변경하는지도 주목해야 한다. 이러한 행동은 보고서 발행 건수보다 더 중요하다.

OpenAI가 약속한 대응은 이 세 번째 신호 안에서 판단해야 한다. 또 다른 선도 연구소의 유사한 약속은 공동 기준을 마련해야 한다는 압력을 만들 수 있다. 반대로 접근성의 정의가 서로 다르면 비교할 수 없는 안전성 주장만 넘치는 시장이 형성될 수 있다.

정부의 조치는 세 가지 신호 모두에 영향을 미칠 것이다. 규제 당국은 평가자의 최소 자격, 보고 규칙, 보복 방지 장치를 마련할 수 있다. 또한 공개할 수 없는 민감한 결과를 공유하기 위한 안전한 채널을 만들 수도 있다.

개발자와 기업 구매자에게 실질적인 교훈은 절차에 관한 증거를 요구해야 한다는 것이다. 벤치마크 점수나 모델 카드는 어려운 사건이 발생했을 때 연구소가 자체 통제를 따랐는지 보여줄 수 없다. 독립적인 접근은 그러한 주장을 더 신뢰할 수 있게 만들 수 있다.

구매자는 평가자의 범위, 한계, 공개 권한을 확인해야 한다. 또한 결과가 도구와 안전장치를 포함한 실제 배포 시스템을 포괄하는지도 물어야 한다. 기본 모델에 대한 결과가 전체 제품 환경을 대표하지 않을 수 있다.

지식 노동자도 문서, 커뮤니케이션, 자격 증명을 다루는 시스템에 같은 논리를 적용해야 한다. 신뢰는 모델 행동만큼이나 운영 통제에 달려 있다. AI에 더 광범위한 권한이 부여될수록 독립 평가의 가치는 커진다.

Anthropic은 AI 안전 논의를 일반적인 약속에서 관찰 가능한 제도적 실험으로 옮겼다. 이 제안은 현재 평가의 실제 약점을 지적한다. 외부인은 종종 선택된 모델과 선택된 증거를 선택된 시점에만 본다.

이 회사는 아직 자신의 해법이 작동한다는 것을 입증하지 못했다. 다만 접근 기록, 독립 보고서, 비판에 대한 대응을 통해 검증할 수 있는 체계를 설명했다. 이는 검증 불가능한 서약보다 더 책임성 있는 출발점이다.

향후 3개월 동안에는 실명이 공개된 평가자, 상세한 계약 프레임워크, 다른 프런티어 연구소들의 상응하는 약속을 지켜봐야 한다. 이러한 요소가 나타난다면 Anthropic의 AI 안전 감독은 다른 이들이 평가할 수 있는 구체적인 모델을 갖게 될 것이다.

세부 사항이 비공개로 남는다면, 직원과 유사한 접근성은 감독보다는 브랜딩에 더 가까운 상태로 남을 것이다. 이제 모든 프런티어 연구소가 답해야 할 질문은 명확하다. 독립 검토자에게 회사가 내부에만 남기고 싶어 하는 내용을 공개할 만큼 충분한 권한이 부여될 것인가?