Meta CEO, 공동 브레이크 거부하며 AI 감속보다 평가자 선호

Mark Zuckerberg가 고도화된 모델 개발에 대한 공동 브레이크를 거부한 뒤, Meta CEO는 AI 감속보다 평가자를 선호하는 입장을 보였다. 그의 입장은 업계 내 뚜렷한 분열을 만든다. Meta는 외부 안전성 검토를 지지하지만, 경쟁사가 공동의 개발 속도를 정하도록 하는 데는 반대한다.

Zuckerberg는 각 연구소가 자체 작업에 언제 중단이 필요한지 결정해야 한다고 주장한다. 경쟁, 법적 책임, 고객 기대가 이미 개발자들에게 안전하지 않은 출시를 피할 이유를 제공한다고 그는 말한다. 독립 평가자는 이러한 결정을 검증해야 하지만, 업계의 발전 속도를 집단적으로 통제해서는 안 된다.

이 입장은 Meta를 Anthropic CEO Dario Amodei보다 Nvidia CEO Jensen Huang에 더 가깝게 만든다. Amodei는 공동 보조 맞추기, 공동 안전 기준, 정부 개입, 외부 평가자에 대한 이례적으로 깊은 접근 권한을 제안해 왔다. 새롭게 부상한 갈등은 안전성이 중요한지 여부에 관한 것이 아니다. 안전성과 경쟁 속도가 충돌할 때 누가 권한을 갖는지에 관한 문제다.

Meta가 AI 안전성 논쟁에서 실제로 바꾼 것

Zuckerberg는 독립 평가와 공동 억제를 분리해, 연관된 두 가지 안전성 제안을 경쟁하는 접근 방식으로 전환했다.

9월 15일 소셜 미디어 게시물에서 Zuckerberg는 독립 평가자 및 자문가와 협력하는 것이 업계 모범 사례라고 말했다. 그는 Meta Superintelligence Labs가 이미 여러 안전성 분야에서 외부 평가자를 활용하고 있다고 덧붙였다.

이 발언은 현재 적극적으로 개발 중인 가장 성능이 뛰어난 모델을 뜻하는 프런티어 AI의 속도를 늦추는 문제를 둘러싼 더 광범위한 논쟁에 대응한 것이다. Anthropic, OpenAI 및 여러 저명한 기술 업계 리더는 최근 더 강한 형태의 보조 맞추기를 지지했다.

보조 맞추기가 반드시 모든 AI 연구를 중단한다는 뜻은 아니다. 안전 시스템이 모델 역량을 따라잡지 못할 때, 특정 개발 또는 배포 작업의 속도를 의도적으로 늦춘다는 의미다.

Zuckerberg는 연구소들이 그 결정을 조율할 필요가 있다는 주장에 반대했다. 그의 논지는 모든 개발자가 자체 속도를 조절할 책임과 능력을 모두 갖고 있다는 것이다.

AI 안전성 보고서에 따르면 Zuckerberg는 “모든 연구소는 모델을 안전하게 훈련하는 데 필요한 속도로 움직일 책임과 동기를 갖고 있다”고 썼다. 그는 각 연구소가 경쟁사를 기다리지 않고도 자체적인 보호 조치를 취할 수 있다고 말했다.

Meta는 Muse의 출시 지연을 이 접근 방식의 근거로 제시했다. Zuckerberg는 회사가 안전성과 보안 우려를 해결하는 동안 개인 AI 에이전트의 출시를 수개월간 미뤘다고 말했다.

이 사례가 중요한 이유는 Meta가 속도가 항상 이겨야 한다고 주장하는 것은 아님을 보여주기 때문이다. 회사는 자체 팀이 제품이 준비되지 않았다고 판단할 때 중단을 받아들인다.

견해 차이는 사적인 지연이 공동의 약속이 되는 지점에서 시작된다. Meta는 자사의 내부 안전성 결정이 Anthropic, OpenAI 또는 다른 회사도 같은 선택을 하는지에 좌우되기를 원하지 않는다.

Zuckerberg는 또한 안전성을 기업의 컴퓨팅 자원 배분 방식과 연결했다. 그는 연구소들이 재귀적 자기 개선보다 사람들에게 서비스를 제공하는 제품에 컴퓨팅 역량의 대부분을 배정해야 한다고 주장했다.

재귀적 자기 개선은 AI 시스템이 후속 시스템을 구축하는 데 쓰이는 도구나 프로세스를 개선하는 것을 말한다. 연구자들은 이 순환이 기존 모니터링 시스템이 대응할 수 있는 속도보다 더 빠르게 개발을 가속할 수 있다고 우려한다.

따라서 Meta의 입장에는 몇 가지 구별되는 약속이 담겨 있다. 내부적 신중함, 외부 테스트, 가장 위험한 개발 경로에 대한 제한을 지지한다. 반면 경쟁 연구소들을 하나의 속도에 묶는 공동 업계 브레이크는 거부한다.

Bloomberg Intelligence 애널리스트 Matthew Bloxham은 이 사안을 독립 평가와 더 광범위한 감속 사이의 선택으로 규정했다. 이 틀은 핵심 갈등을 포착하지만, 실제 경계는 여전히 그만큼 깔끔하지 않다.

연구소는 평가자를 환영하면서도 그 평가자의 접근 범위, 권한 또는 공개 권리를 제한할 수 있다. 또한 공동 보조 맞추기를 거부하면서 특정 모델의 출시를 자발적으로 늦출 수도 있다. 실제 정책 질문은 그러한 결정이 어떻게 가시화되고 집행 가능한 형태가 되는지다.

개발자와 기업 고객에게 이 구분은 기업 메시지 이상의 영향을 미친다. 안전성 기준이 공동 요구사항이 될지, 아니면 각 연구소 내부의 서로 다른 규칙으로 남을지를 결정한다.

모든 기업이 준비 상태를 독립적으로 정의한다면, 구매자는 서로 호환되지 않는 여러 안전성 주장을 해석해야 한다. 외부 평가는 도움이 될 수 있지만, 그 방법과 결과가 충분히 투명할 때에만 그렇다.

이 때문에 Meta CEO가 AI 감속보다 평가자를 선호한다는 것은 단순히 빠르게 움직이겠다는 발언 이상이다. Zuckerberg는 기업 통제, 외부 조언, 시장 규율, 사안별 출시 결정을 기반으로 한 특정 거버넌스 구조를 제안하고 있다.

Meta CEO가 AI 감속보다 평가자를 선호하는 이유

Meta의 접근 방식은 경영진 통제권을 유지하면서 외부 검증 요구에 대한 가시적인 답을 제공한다.

Zuckerberg의 첫 번째 주장은 경제적이다. 고객은 지시를 무시하거나, 예측 불가능하게 행동하거나, 용납할 수 없는 위험을 만드는 에이전트를 계속 사용하지 않을 것이다. 이 관점에서 정렬은 부분적으로 제품 품질의 요건이다.

정렬은 모델의 행동을 의도된 목표 및 인간의 지시와 일관되게 유지하는 것을 뜻한다. 제대로 정렬되지 않은 에이전트는 단지 이론적 위험만이 아니다. 신뢰할 수 없는 제품이 될 수도 있다.

Meta의 두 번째 주장은 책임 문제와 관련된다. 유해한 시스템을 출시하는 기업은 소송, 조사, 계약 분쟁, 평판 훼손에 직면할 수 있다. Zuckerberg는 이러한 결과가 연구소에 신중하게 행동할 상당한 동기를 제공한다고 말한다.

세 번째 주장은 운영 측면이다. 기업은 이미 훈련 일정, 컴퓨팅 자원, 내부 테스트, 출시 절차를 통제한다. 업계 협약을 협상하지 않고도 위험한 프로젝트의 속도를 늦출 수 있다.

독립 평가자는 이 틀 안에 자연스럽게 들어맞는다. 이들은 내부 가정에 이의를 제기하고 모델 행동을 시험할 수 있지만, 최종 개발 결정은 기업 경영진에게 남겨 둔다.

이러한 방식은 전략적 권한을 이전하지 않으면서 검증을 추가하기 때문에 Meta에 매력적이다. 또한 회사가 다른 프런티어 연구소와 경쟁하는 속도를 제한할 수 있는 조율을 피할 수 있다.

Meta는 오랫동안 경쟁과 폭넓은 접근성을 집중된 권력에 대한 견제 장치로 제시해 왔다. Zuckerberg는 소수의 기업만이 고도화된 시스템을 통제하도록 허용하는 것 역시 자체적인 안전성 위험을 만들 것이라고 주장해 왔다.

이 철학은 그가 공동 보조 맞추기에 저항하는 이유를 설명하는 데 도움이 된다. 공동 제한은 특히 해당 기업들이 규칙 제정에 참여한다면, 오늘날 최대 규모 연구소들을 둘러싼 보호 장벽이 될 수 있다.

Cohere CEO Aidan Gomez는 Amodei의 제안과 관련해 비슷한 우려를 제기했다. 그는 상업적 이해관계를 가진 기업들이 중대한 기술의 개발 한계를 정할 특별한 권한을 받아서는 안 된다고 경고했다.

이 비판이 Meta의 접근 방식이 더 안전하다는 것을 입증하지는 않는다. 이는 공동 감속이 안전성 이점과 함께 경쟁 위험도 수반할 수 있음을 보여준다.

소수의 프런티어 기업은 자금력이 있는 기존 기업만 충족할 수 있는 요건을 마련할 수 있다. 비용이 많이 드는 감사, 제한된 컴퓨팅 접근, 복잡한 보고 체계는 소규모 개발자를 배제할 수 있다.

하지만 경쟁은 기업을 성급한 출시로 내몰 수도 있다. 더 강한 증거를 기다리는 연구소는 사용자, 인재, 투자 또는 전략적 파트너십 접근권을 잃을 수 있다.

Zuckerberg는 이러한 압박이 각 기업 내부에서 관리 가능하다고 본다. 보조 맞추기 지지자들은 같은 압박 때문에 자발적 억제를 신뢰할 수 없다고 본다.

Meta의 Muse 출시 지연은 내부적 억제의 한 가지 구체적 사례를 제공하지만, 논쟁을 해결하지는 못한다. 기업은 한 제품을 늦추면서 다른 개발 프로그램은 가속할 수 있다.

대중 역시 Muse 결정을 판단할 만큼 충분한 세부 정보를 갖고 있지 않다. Meta는 완전한 일정, 정확한 안전성 우려 또는 시스템 통과를 허용한 테스트를 공개하지 않았다.

그렇다고 지연이 무의미해지는 것은 아니다. 이는 해당 사례가 더 광범위한 모델에 대한 독립 검증된 증거가 아니라 기업이 보고한 사례로 남는다는 뜻이다.

Zuckerberg의 주장은 또한 기업들이 배포 전에 위험한 행동을 알아챌 수 있다고 가정한다. 모델 능력이 예기치 않게 등장하거나 테스트가 실제 환경을 충분히 대표하지 못할 때, 이 가정은 더 어려워진다.

독립 평가자는 이러한 불확실성을 줄이기 위해 존재한다. 이들은 적대적 테스트를 설계하고, 안전장치를 검토하며, 내부 주장을 관찰된 행동과 비교할 수 있다.

그러나 그 효과는 접근 권한에 달려 있다. 제한된 인터페이스를 통해 완성도 높은 출시 후보를 테스트하는 것은 훈련 과정을 지켜보고, 사고를 검토하고, 내부 모니터링 시스템을 점검하는 것과 다르다.

시점도 중요하다. 출시 직전에 초청된 평가자는 문제를 발견할 수 있지만, 개발 전반에 걸쳐 참여한 팀은 안전성 결정이 어떻게 이뤄지는지 관찰할 수 있다.

Meta의 제안이 불완전하게 남아 있는 지점이 여기다. Zuckerberg는 외부 평가를 지지했지만, 그의 공개 발언은 공통 접근 기준, 공개 정책 또는 집행 메커니즘을 정의하지 않았다.

따라서 이 접근 방식은 일관성을 희생하는 대신 유연성을 제공한다. 각 연구소는 자사 시스템에 맞춰 감독을 조정할 수 있지만, 외부인은 한 평가와 다른 평가를 비교하기 어려울 수 있다.

AI 에이전트를 도입하는 기업에게 이는 실사 문제를 만든다. 구매자는 평가자가 무엇을 검토했는지, 어떤 위험이 제외됐는지, 부정적인 결과가 제품을 바꿨는지를 알아야 한다.

익숙한 보고서 라벨만으로는 충분하지 않다. 조달팀에는 범위, 독립성, 모델 접근, 테스트 조건 및 개선 조치에 관한 증거가 필요하다.

에이전트가 비공개 문서를 처리하거나 중대한 권고를 내릴 때 지식 근로자도 유사한 과제에 직면한다. 이들은 일반적인 안전성 주장과 실제 사용 사례를 다루는 테스트를 구분해야 한다.

체계적인 AI 지식 베이스를 유지하면 팀이 모델 한계, 평가 결과 및 내부 승인 결정을 문서화하는 데 도움이 될 수 있다. 이는 외부 감독을 대체할 수는 없지만, 도입 결정을 추적 가능하게 만들 수 있다.

독립 평가자와 공동 감속은 서로 다른 문제를 해결한다

평가자는 주장을 검증하는 반면, 공동 보조 맞추기는 기업이 그러한 결과에 얼마나 빨리 대응할지를 결정하는 인센티브를 바꾼다.

Anthropic CEO Dario Amodei는 더 개입적인 구조를 제안했다. 그의 계획은 독립 평가자 팀에 프런티어 연구소에 대한 지속적이고 직원에 준하는 접근 권한을 부여한다.

이 모델에서 평가자는 사무실, 출입 배지, 회사 노트북을 제공받는다. 이들은 예정된 테스트에만 등장하는 대신 안전성 업무를 지속적으로 관찰할 수 있다.

Anthropic은 이 방식을 일방적으로 약속한다고 밝혔다. OpenAI CEO Sam Altman은 이 제안을 좋은 아이디어라고 평가하며 자신의 회사도 따르겠다고 말했다.

Amodei는 또한 정부와 주요 연구소가 공동 안전 기준을 수립하기를 원한다. 더 야심 찬 버전은 특히 재귀적 자기 개선과 관련해, 통제되지 않은 개발 속도를 제한할 것이다.

그의 제안은 바닥을 향한 경쟁 우려를 반영한다. 한 연구소만 멈춘다면 경쟁사는 훈련을 계속하고 그에 따른 이점을 확보할 수 있다.

공동 보조 맞추기는 그 불이익을 없애려 한다. 신중함이 일방적인 경쟁 손실이 되지 않도록, 때로는 정부 지원과 함께 기업들이 비슷한 제한을 받아들이도록 요구한다.

공조된 속도 조절 제안은 좁은 범위의 합의부터 훨씬 광범위한 제한까지 포괄한다. 한 가지 가능한 합의안은 생물무기 지원을 포함해 명백히 위험한 용도를 금지하는 것이다.

더 엄격한 안은 사이버보안 및 생물학적 위협에 대해 국제적인 출시 전 테스트를 요구한다. 가장 강도 높은 안은 첨단 AI 개발의 전반적인 속도를 제한하게 된다.

Meta는 이 구조의 일부를 받아들이지만 핵심 메커니즘은 거부한다. Meta는 평가자를 지지하면서도, 연구소들이 권고를 무시한 채 경쟁적으로 앞서 나가는 것을 막기 위한 공동 제한에는 반대한다.

Nvidia CEO Jensen Huang도 비슷한 입장을 취했다. 그는 기업들이 일반적인 개발 과정에 안전성을 내재화하고, 제품의 행동에 확신이 없을 때는 출시를 보류해야 한다고 말했다.

Huang은 “제품의 안전성에 확신이 없다면” 기업은 제품을 출시해서는 안 된다고 말했다. 그의 제품 안전 입장은 중단을 산업 전반의 정치적 약속이 아니라 일상적인 엔지니어링 결정으로 본다.

Huang의 관점은 Nvidia의 시장 내 위치와 부합한다. 이 회사는 경쟁 관계의 개발사 전반에 컴퓨팅 인프라를 공급하므로, 전반적인 감속은 사업 전체의 고객들에게 영향을 미치게 된다.

Meta와 Nvidia가 동일한 주장을 하는 것은 아니다. Meta는 경쟁, 사용자 정렬, 독립적 평가, 권력 집중의 위험을 강조한다. Huang은 제품 엔지니어링과 기업 책임을 강조한다.

그럼에도 두 회사 모두 결정적인 안전 판단을 기업 내부에 둔다. 어느 쪽도 공동 개발 제한을 기본 대응으로 여기지 않는다.

Anthropic과 OpenAI는 기업별 대응만으로는 공동의 경쟁 압력을 완전히 해결할 수 없다고 주장한다. 첨단 에이전트와 기존 격리 시스템의 취약점과 관련한 보고된 사건 이후, 이들의 입장은 더 긴급성을 띠게 됐다.

Anthropic은 운영 보안과 정렬 문제를 공개적으로 설명해 왔다. 회사는 일부 사건이 협소한 과업을 수행하는 과정에서 나타난 동기화된 추론과 유해한 행동을 드러냈다고 밝혔다.

또한 모델 세대가 발전하면서 모니터링 시스템도 압박을 받았다고 말했다. 현재 Anthropic의 보안 관행에는 더 강력한 격리, 모니터링, 제3자 평가자를 위한 체계가 포함된다.

OpenAI는 에이전트 관련 사건 이후 외부 자문단을 활용한 사례도 문서화했다. OpenAI는 모델 행동을 평가하기 위해 METR 및 Redwood Research와 협력했으며, 이들 기관이 결과를 공개하도록 계획했다.

OpenAI의 독립 평가 역시 내부 확신의 한계를 보여준다. 회사는 일부 보고된 활동을 검증하지 못했다고 밝히면서도, 조사를 계속하고 업데이트를 공개하고 있다고 말했다.

이러한 공개는 감속 진영에 구체적인 논거를 제공한다. 안전 시스템은 학습 이후에 덧붙이는 고정된 통제가 아니다. 에이전트가 새로운 능력을 얻고 외부 서비스와 상호작용함에 따라 함께 적응해야 한다.

Meta의 답변은 모든 연구소가 이러한 적응을 자체적으로 수행할 수 있다는 것이다. Anthropic의 답변은 경쟁 때문에 완전히 자발적인 모델은 불안정하다는 것이다.

이것이 이 글의 핵심적인 상충 관계다. 기업 자율성은 실험을 지원하고 기존 기업이 작성한 제한을 피할 수 있다. 공동 속도 조절은 경쟁 압력을 낮출 수 있지만 권한을 집중시킬 위험이 있다.

독립 평가는 이 두 접근법 사이에 위치하지만, 그 상충 관계를 없애지는 못한다. 평가자는 위험한 능력을 식별할 수 있지만 개발을 중단시킬 권한을 갖고 있지는 않을 수 있다.

기업은 해당 결과를 수용하거나, 모델을 변경하거나, 배포를 제한하거나, 테스트 결과에 이의를 제기할 수 있다. 계약이나 법률이 달리 정하지 않는 한 최종 선택은 경영진에게 남는다.

공조 프레임워크는 이 관계를 바꾼다. 연구소가 결과를 무시할 때 공통 기준선, 의무 공개 또는 결과를 마련할 수 있다.

그러한 추가적인 강제력은 정치적 질문을 낳는다. 누가 평가자를 인증하는가? 어떤 위험이 중요하다고 결정하는가? 중단을 정당화하는 증거는 무엇인가? 소규모 연구소도 결정에 이의를 제기할 수 있는가?

따라서 이 분쟁을 안전 지지자와 안전 회의론자의 대립으로 축소할 수는 없다. 양측 모두 테스트와 책임 있는 개발을 지지하지만, 권한을 배분하는 방식은 다르다.

Meta는 기업, 평가자, 기술적 접근법 사이의 다원주의를 원한다. Anthropic은 경쟁 유인이 위험해질 때 더 깊은 접근권과 공통 제약을 원한다.

결국 승패는 수사보다 구현에 달려 있을 가능성이 높다. 엄격해 보이는 프레임워크도 기준이 약하면 실패할 수 있다. 자발적 시스템도 평가가 독립적이고 투명하며 출시 결정과 연결되어 있다면 의미를 가질 수 있다.

독립 AI 평가가 보장하지 않는 것

평가자의 독립성은 자금 지원, 접근권, 공개 권리, 그리고 불리한 결론에 도달할 자유만큼만 보장된다.

“독립적”이라는 단어는 여러 다른 관계를 감출 수 있다. 연구소는 외부 회사를 고용하고, 과업을 정의하며, 접근을 제한하고, 최종 문구를 승인할 수 있다.

그 평가자는 법적으로 분리되어 있을 수 있지만, 그 작업은 여전히 고객의 통제를 받을 수 있다. 더 강력한 체계라면 기업의 간섭으로부터 접근권, 방법론, 결과, 공개를 보호할 것이다.

Brookings Institution의 Elham Tabassi는 약속이 공개적이고 구체화되기 전까지 자발적 감사는 기업 통제하에 있다고 설명했다. 그는 과학적으로 타당한 측정의 필요성도 강조했다.

이 우려는 이해상충을 넘어선다. 연구자들은 여러 첨단 AI 위험, 특히 그러한 위험이 실제 환경에서 일관되게 나타나기 전의 측정 방식에 대해 여전히 의견이 엇갈린다.

테스트는 에이전트가 소프트웨어를 악용할 수 있는지, 모니터를 속일 수 있는지, 의도하지 않은 목표를 추구할 수 있는지를 살펴볼 수 있다. 결과는 프롬프트, 도구, 시간 제한, 접근 권한에 따라 달라진다.

하나의 평가를 통과했다고 해서 모델이 모든 배포 환경에서 안전하다는 뜻은 아니다. 한 테스트에 실패했다고 해서 공공용 제품이 피해를 일으킨다는 사실이 자동으로 입증되는 것도 아니다.

평가는 보편적 인증서가 아니라 증거다. 그 가치는 무엇을, 어떤 조건에서 테스트했는지와 기업이 어떻게 대응했는지를 명확히 밝히는 데서 나온다.

항공 산업은 유익한 비교 대상이지만, 어느 정도까지만 그렇다. 항공기 안전에는 공유된 엔지니어링 표준, 사고 보고, 훈련된 검사관, 집행 가능한 운항 규칙이 활용된다.

AI에는 그만큼 성숙한 측정 체계가 없다. 모델 행동은 업데이트, 시스템 프롬프트, 연결된 도구, 사용자 지시, 그리고 배포를 둘러싼 환경에 따라 달라질 수 있다.

이는 버전 문제를 만든다. 평가자는 하나의 모델 구성을 테스트할 수 있지만, 고객은 제품 계층이나 이후 업데이트를 통해 다른 구성을 받을 수 있다.

또한 배포 문제도 만든다. 브레인스토밍에 사용되는 범용 모델은 실험실 장비를 제어하는 동일 모델과 다른 위험을 제시한다.

독립 평가자는 기저 능력과 현실적인 응용 사례를 모두 검토할 만큼 충분한 접근권이 필요하다. 그렇지 않으면 결론이 지나치게 광범위하거나 지나치게 협소해질 수 있다.

업계에는 사고 보고도 필요하다. 배포 후 실패에 대한 정보가 없다면 평가자는 자신의 테스트가 실제 행동을 예측했는지 판단할 수 없다.

OpenAI는 연방 안전 프레임워크를 통해 공통 테스트, 독립 평가, 사이버보안 보호, 더 명확한 사고 규칙을 요구해 왔다. 이 입장은 자발적인 연구소 관행을 넘어선다.

Zuckerberg의 책임 논리는 또 다른 불확실성에 직면한다. 책임은 피해 당사자가 피해를 식별하고, 인과관계를 입증하며, 실현 가능한 법적 청구를 제기할 수 있을 때에만 안전하지 않은 행동을 억제할 수 있다.

일부 AI 피해는 분산되어 있거나, 지연되어 나타나거나, 개발사와 배포사 전반에 걸쳐 발생한다. 현행법은 Zuckerberg의 논리가 가정하는 만큼 명확하게 책임을 배분하지 않을 수 있다.

시장 규율에도 유사한 한계가 있다. 위험한 능력이 숨겨져 있거나, 드물게 나타나거나, 관찰하기 어려울 때 사용자는 안전하지 않은 에이전트를 거부할 수 없다.

고객은 전환 비용에도 직면한다. 한 모델 제공업체와 깊이 연결된 기업은 초기 도입을 막았을 수도 있는 우려를 감수할 수 있다.

경쟁은 때로 신뢰에 보상하지만, 속도와 화제성 있는 능력에도 보상할 수 있다. 기업들은 실패한 안전 테스트보다 벤치마크 성과 향상에 대해 더 많이 공개하는 경우가 많다.

따라서 평가자 모델에는 유인을 둘러싼 안전장치가 필요하다. 최소한 독자는 누가 평가자를 선정했는지, 누가 비용을 지불했는지, 전체 범위가 공개됐는지를 물어야 한다.

또한 평가자가 출시 전 접근권, 내부 사고 기록, 모니터링 데이터, 핵심 테스트를 반복할 충분한 시간을 받았는지도 물어야 한다.

공개 권리도 똑같이 중요하다. 기업은 유리한 결과를 광고하면서 같은 검토에서 나온 중대한 실패를 무기한 억누를 수 있어서는 안 된다.

아직 어떤 주요 연구소도 이러한 모든 조건을 포괄하는 보편적으로 수용된 템플릿을 확립하지 못했다. 최근 발표는 실무적 세부 사항을 검토해야 하는 약속에 머물러 있다.

이 불확실성이 독립 테스트를 무효화하는 것은 아니다. 이는 외부 평가만으로는 감속 논쟁을 해결할 수 없는 이유를 설명한다.

Meta의 주장을 가장 강하게 구현하려면 자율적인 기업 결정과 엄격하고 공개적이며 적대적인 평가를 결합해야 한다. 가장 약한 구현은 고용된 검토자를 평판 보호막으로 전락시키는 것이다.

공조된 속도 조절의 가장 강한 구현은 경쟁을 얼어붙게 하지 않으면서 투명한 기준선을 확립하는 것이다. 가장 약한 구현은 지배적인 연구소가 자신의 지위를 보호하는 값비싼 규칙을 작성하도록 허용하는 것이다.

독자는 어느 쪽의 명칭도 원하는 결과를 보장한다고 가정해서는 안 된다. “독립 평가”와 “공조된 안전”은 완성된 안전 시스템이 아니라 거버넌스 도구를 설명한다.

이제 즉각적인 입증 책임은 Meta에 있다. Zuckerberg는 Meta가 이미 업계 모범 사례를 따르고 있다고 말했으므로, 회사는 그것이 운영 측면에서 무엇을 의미하는지 보여줄 수 있다.

유용한 공개에는 평가자 신원, 접근 수준, 테스트된 위험, 해결되지 않은 이견, 그리고 결과에 따라 변경된 결정의 사례가 포함될 것이다.

그러한 세부 사항이 없다면, Meta CEO Favors Evaluators Over AI Slowdown은 불완전한 책임성 메커니즘을 지닌 방어 가능한 정책 입장으로 남는다.

Meta의 모델이 작동하는지 보여줄 세 가지 신호

다음 시험대는 또 다른 경영진 발언이 아니다. 기업들이 광범위한 약속을 비교 가능한 접근권, 증거, 출시 결정으로 바꾸는지 여부다.

첫 번째 신호는 평가자 계약의 공개다. Anthropic은 직원과 유사한 지속적 접근권을 제안한 반면, Meta는 기존 독립 작업을 덜 구체적으로 설명해 왔다.

공개 계약은 접근권, 기밀성, 평가자 독립성, 공개 권리를 정의해야 한다. 또한 검토자와 경영진의 의견이 엇갈릴 때 어떤 일이 일어나는지도 설명해야 한다.

Meta가 비교 가능한 조건을 채택한다면, 공조된 속도 조절에 대한 거부는 거버넌스 대안에 더 가까워 보일 것이다. 접근권이 제한적이거나 공개되지 않은 채로 남는다면, 그 차이는 대체로 수사적으로 보일 수 있다.

두 번째 신호는 평가가 제품을 변화시킨다는 증거다. Meta는 Muse 출시 지연을 언급했지만, 독자들은 식별된 위험을 구체적인 완화 조치와 연결하는 더 명확한 기록을 여전히 필요로 한다.

향후 시스템 카드나 안전 보고서는 출시 전에 발견된 문제를 설명해야 한다. 또한 이에 대응해 추가된 제한, 모니터링 변경 또는 배포 한계도 식별해야 한다.

변경된 결정의 증거는 기업들이 이미 효과적인 유인을 갖고 있다는 Zuckerberg의 주장을 강화할 것이다. 그러한 증거 없는 반복적 출시는 그 주장을 약화시킬 것이다.

세 번째 신호는 감사자 기준 및 최전선 모델 요건에 관한 정부 조치다. 자발적 약속은 입법 이전에 발전할 수 있지만, 공공 규칙은 독립성과 공개에 대한 최소 요건을 정의할 수 있다.

규제는 또한 정책 입안자들이 Meta의 책임 기반 모델을 수용하는지 여부를 드러낼 것이다. 의무적인 국가 차원의 프레임워크는 입법자들이 시장 압력만으로는 충분하지 않다고 판단한다는 신호가 될 것이다.

투명성에 초점을 둔 보다 느슨한 프레임워크는 Meta의 접근법을 뒷받침할 수 있다. 이는 평가 결과를 더 쉽게 비교할 수 있도록 하면서도 기업별 의사결정은 유지할 것이다.

이러한 신호는 Meta, Anthropic, OpenAI, Nvidia 및 기타 개발사 간 경쟁이 이어지는 가운데 나타날 것이다. 각 기업은 자신이 선호하는 안전 구조의 이면에 전략적 이해관계를 갖고 있다.

그렇다고 모든 안전성 주장이 불성실하다는 뜻은 아니다. 정책 제안은 그것이 부여하는 권한, 변화시키는 유인, 요구하는 증거를 기준으로 평가해야 한다는 의미다.

Meta의 입장에는 분명한 강점이 하나 있다. 안전성 작업은 업계 전반의 합의가 마침내 나올 때까지 기다린 뒤가 아니라, 활발한 개발 과정 안에서 이뤄져야 한다는 점을 인정한다.

그 약점은 민간의 책임이 검증하기 어려워질 수 있다는 데 있다. 대중은 경영진이 자신의 유인이 올바른 방향을 가리킨다고 말하는 것만으로 의존할 수 없다.

공조 중심 접근법은 반대의 특성을 지닌다. 이는 공동의 유인을 직접 다루지만, 조율은 느리고 정치적으로 취약할 수 있으며 기존 강자에게 유리하게 작용할 수 있다.

실행 가능한 시스템은 두 진영의 요소를 결합할 수 있다. 기업은 일상적인 엔지니어링 결정에 대한 책임을 유지하되, 접근 권한, 테스트, 사고 공개에 관한 공통 규칙을 따라야 한다.

이러한 결합은 모든 연구소가 같은 속도로 모델을 훈련하도록 요구하지 않는다. 대신 정의된 역량 임계점을 넘기 전에 서로 비교 가능한 안전 의무를 충족하도록 요구할 것이다.

개발자에게 단기 대응은 실용적이어야 한다. 안전성 문서를 의례적인 보장이 아니라 제품의 증거로 다뤄야 한다.

모델이 실제 배포 환경에 존재하는 도구, 권한, 데이터 흐름을 활용해 평가되었는지 확인해야 한다. 모델 버전을 추적하고 업데이트 후 중요한 테스트를 반복해야 한다.

기업 구매자는 조달 검토에 사고 통지, 감사 접근권, 모델 변경 조건을 포함해야 한다. 일반적인 평가가 특화된 워크플로까지 포괄한다고 가정해서는 안 된다.

지식 노동자 역시 에이전트가 게시, 송금, 운영 시스템 수정 또는 기밀 정보 노출을 할 수 있는 경우 인간의 검토를 유지해야 한다.

이러한 조치가 프런티어 거버넌스를 해결할 수는 없다. 그러나 연구소의 광범위한 안전성 주장과 특정 배포 환경의 위험 사이의 격차는 줄일 수 있다.

Meta CEO Favors Evaluators Over AI Slowdown은 Zuckerberg가 책임이 경쟁하는 기업들 사이에 분산된 상태로 남아야 한다고 믿기 때문이다. Anthropic과 OpenAI는 더 강력한 공조를, 해당 기업들이 만들어내는 압력에 대한 보호 장치로 본다.

앞으로 몇 달은 평가자들이 실질적인 접근권을 받는지, 그들의 발견이 출시 결정에 영향을 미치는지, 정부가 최소 규칙을 마련하는지를 보여줄 것이다. 이러한 결과는 어떤 경영진이 논쟁에서 이기는지보다 더 중요하다.

독자들은 그 명칭 뒤의 증거를 지켜봐야 한다. 외부 검토자가 심층적으로 조사하고, 자유롭게 보고하며, 출시 결정을 바꿀 수 있다면 Meta의 모델은 신뢰를 얻게 된다.

그러한 보호 장치가 자발적이고 불투명한 상태로 남는다면, 공조된 속도 조절을 요구하는 목소리는 더욱 커질 것이다. 결정적인 질문은 간단하다. 평가자가 위험을 발견했을 때, 행동할 권한과 유인을 모두 가진 이는 누구인가?