Sakana AI, 재귀적 자기 개선 성과 보고…감독은 여전히 제약

Sakana AI는 집단 지성을 활용한 재귀적 자기 개선 학습을 두 차례 완료했으며, 하나의 공유 모델에 의존했음에도 연구 성능이 향상됐다고 밝혔다. MASS라는 새로운 Multi-Agent Self-Supervision 방법은 조율된 에이전트 작업을 동일 모델의 학습 데이터로 전환한다. 이는 자율적 지능 폭발이 아니다. AI 팀이 공유 기반 모델에 유용한 교훈을 만들 수 있는지를 검증하는 통제된 실험이다.

핵심 갈등은 이 루프 내부에 있다. MASS는 하나의 모델에 과제 해결, 에이전트 구성, 작업 평가, 선택된 결과로부터의 학습을 모두 맡긴다. 이 설계는 더 강력한 외부 감독자에 대한 의존도를 낮춘다. 동시에 하나의 맹점이 모든 단계에 영향을 미칠 수 있게 한다.

실험은 Qwen3.6-27B로 시작하며 금융, 로보틱스, 약학 관련 개방형 연구 과제에 초점을 맞춘다. 두 차례의 라운드 뒤, 결과 모델은 여러 관련 연구 벤치마크에서 개선됐다. 다만 두 소프트웨어 엔지니어링 벤치마크에서는 성능이 소폭 하락해, 결과의 중요한 경계를 드러냈다.

이러한 혼합된 결과는 MASS를 자기 개선 AI에 대한 더 광범위한 주장과 구분한다. Sakana AI는 집단적 궤적이 정의된 연구 환경 내에서 모델을 더 효율적으로 학습시킬 수 있다는 근거를 제시했다. 그러나 재귀적 개선이 무기한 지속되거나, 모든 영역으로 전이되거나, 독립적 감독 없이도 안전하게 유지된다는 사실을 보여주지는 못했다.

MASS, 팀워크를 학습 신호로 전환하다

중요한 변화는 멀티에이전트 조율이 답변이 생성되는 시점에 끝나지 않는다는 점이다.

대부분의 멀티에이전트 시스템은 추론 과정에서 여러 모델 인스턴스를 사용한다. 오케스트레이터는 과제를 분할하고, 역할을 배정하며, 결과를 수집해 최종 응답을 구성한다. 추가 조율은 답변을 개선할 수 있지만, 기반 모델의 가중치는 바뀌지 않는다.

MASS는 이 작업을 사후 학습으로 이어간다. 에이전트들은 메시지, 도구 호출, 중간 산출물, 결과를 포함한 완전한 궤적을 생성한다. 시스템은 이 궤적들의 순위를 매기고, 가장 강력한 사례를 선택해 공유 모델을 미세 조정한다.

연구진은 이를 멀티에이전트 자기지도학습이라고 부른다. 동일한 언어 모델이 실행자, 워크플로 최적화기, 평가자 역할을 수행한다. 별도의 모델 인스턴스가 실행의 서로 다른 부분을 처리할 수는 있지만, 각 역할은 동일한 기반 가중치를 사용한다.

이 구분은 중요하다. 이 시스템은 서로 다른 지식이나 목표를 지닌 독립 학습 모델 여러 개를 결합하지 않는다. 하나의 모델 복제본들이 스스로를 조직하게 한 뒤, 선택된 행동을 다시 공통 가중치로 증류한다.

이 과정에는 연결된 두 개의 루프가 있다. 내부 루프는 모델 가중치를 고정한 채 더 나은 워크플로를 탐색한다. 외부 루프는 선택된 워크플로가 생성한 궤적으로 모델을 학습시킨다.

워크플로는 팀을 조직하기 위한 프롬프트 기반 계획이다. 에이전트 역할, 지침, 필수 출력, 의사소통 순서를 명시한다. MASS는 탐색 중 모델을 수정하지 않고도 이 계획을 수정할 수 있다.

각 학습 과제에 대해 시스템은 챔피언 워크플로를 유지한다. 후보 팀이 과제를 실행하면, 모델은 그 작업 공간을 챔피언의 출력과 비교한다. 이어 최적화기는 이 판단을 활용해 워크플로를 수정한다.

시스템이 선호하는 워크플로를 찾으면, 각 과제마다 해당 워크플로를 18회 실행한다. 모델은 쌍대 비교를 통해 생성된 작업 공간의 순위를 매긴다. Bradley-Terry 모델은 이러한 선호도를 각 작업 공간의 점수로 변환한다.

MASS는 과제당 최대 16개의 궤적을 보관한다. 이 가운데 15개는 학습 사례를 제공할 수 있으며, 하나는 검증용으로 남겨 둔다. 미세 조정 전에는 오케스트레이터의 초기 학습 프롬프트에서 워크플로 텍스트를 제거한다.

이 제거에는 구체적인 목적이 있다. 모델이 과제 자체로부터 작업을 조직하는 방식을 추론하도록 유도하는 것이다. 연구진은 단순히 고정된 팀 구조를 반복하도록 가르치는 것이 아니다.

외부 루프는 미세 조정 과정에서 제한된 모델 파라미터만 업데이트하는 저순위 적응, 즉 LoRA를 사용한다. 오케스트레이터와 하위 에이전트의 대화 모두가 학습 대상이 된다. 이후 업데이트된 모델은 다음 사이클의 실행자, 최적화기, 평가자로 돌아간다.

MASS 논문은 2026년 10월 8일 제출됐으며, 완전한 두 개의 사이클을 설명한다. Sakana AI는 과제 프롬프트, 학습 구성, 평가 도구, 파이프라인 문서를 포함한 오픈 구현도 공개했다.

이번 공개로 핵심 실험을 검토할 수 있게 됐다. 동시에 그 범위도 유난히 명확해졌다. MASS는 선택된 과제와 통제된 모델 업데이트를 중심으로 한 연구 파이프라인이지, 지속적으로 스스로를 다시 작성하는 배포 시스템은 아니다.

집단 지성을 통한 재귀적 자기 개선, 불균일한 성과를 내다

MASS는 평가 과제가 학습 데이터를 만든 연구 작업과 닮아 있을수록 더 크게 개선된다.

실험은 코딩 에이전트 환경에서 Qwen3.6-27B로 시작한다. 합성 벤치마크 모음에는 금융, 로보틱스, 약학 전반에 걸친 12개의 연구 과제가 포함된다. 각 과제는 코드, 정량 분석, 서면 보고서를 요구한다.

9개 과제가 학습용으로 지정됐지만, 최종적으로 학습 데이터에 기여한 것은 8개였다. 각 도메인에서 하나씩 총 3개 과제는 미세 조정, 검증, 체크포인트 선택에서 제외됐다.

외부 심사자는 MASS 학습 루프에 참여하지 않고 진행 상황을 측정했다. Sakana AI는 GPT-5.5와 Claude Opus 4.8이 완료된 작업 공간을 비교했다고 밝혔다. 이들의 판단은 Qwen 모델이 주도하는 프로세스에 외부 평가를 제공했다.

제외된 세 개의 합성 과제에서 1라운드 모델은 기본 모델과의 비교에서 53.9%를 이겼다. 2라운드 모델은 69.9%에 도달했다. 또한 1라운드 모델과의 비교에서 60.8%를 이겼다.

학습 과제 결과는 더 강했다. 1라운드 모델은 기본 모델 대비 65.6%의 승률을 기록했고, 2라운드는 82.5%에 도달했다. 학습 과제와 제외된 과제 간의 이 격차는 예상 가능한 일이지만, 여전히 중요하다.

공개 벤치마크는 더 폭넓은 시험을 제공한다. Sakana AI는 2라운드 모델이 출력 토큰당 기본 모델 점수의 1.2~1.6배를 달성했다고 보고했다. 이러한 향상은 MLR-Bench, DSBench, ScienceAgentBench, AstaBench E2E-Hard에서 나타났다.

기초 점수는 더 상세한 이야기를 들려준다. MLR-Bench는 기본 모델의 1.71에서 두 사이클 후 2.25로 올랐다. 논문 제출률은 57%에서 76%로 증가했다.

ScienceAgentBench는 28.8%에서 31.7%로 개선됐다. AstaBench는 0.053에서 0.067로 상승했고, 보고서 제출률은 50%에서 76%로 높아졌다.

DSBench는 0.473에서 0.482로 소폭 움직이는 데 그쳤다. 이 작은 절대 변화는 효율성 계산이 출력 길이도 고려하기 때문에 더 강한 토큰당 점수 비율의 배경이 된다.

두 소프트웨어 엔지니어링 벤치마크는 후퇴했다. Terminal-Bench 2.0은 0.375에서 0.352로 하락했다. SWE-bench Verified는 0.626에서 0.611로 떨어졌다.

이들의 토큰당 점수 비율은 기본 모델 결과의 각각 0.96배와 0.94배에 그쳤다. 이러한 하락은 MASS가 전반적으로 더 강력한 모델을 만들었다는 어떤 주장에도 직접적인 도전이 된다.

가장 그럴듯한 설명은 과제 정렬이다. 학습 모음은 코드, 증거, 보고서를 포함하는 개방형 연구를 강조한다. 저장소 디버깅이나 터미널 작업과 유사한 소프트웨어 엔지니어링 과제는 포함하지 않는다.

Sakana AI는 소프트웨어 엔지니어링 과제를 추가하면 이 격차를 해결할 수 있다고 제안한다. 다른 사이클이 이를 검증하기 전까지는 가설에 머문다. 과제 구성을 확대하면 모든 능력을 균일하게 개선하기보다 능력 간 간섭을 일으킬 수도 있다.

공개 벤치마크 설계에는 또 하나의 단서가 있다. MASS는 생산적인 추론을 평가하는 데 유용한 출력 토큰당 점수로 효율성을 보고한다. 그러나 개선된 출력을 만드는 데 필요한 모든 비용을 포함하지는 않는다.

워크플로 탐색, 반복 실행, 모델 비교, 데이터 생성, 평가는 모두 연산 자원을 소비한다. 보고된 지도 학습 토큰 총량도 입력 토큰과 여러 상류 비용을 제외한다.

결과는 의미 있지만, 단순한 효율성 헤드라인이 시사하는 것보다 범위가 좁다. MASS는 더 밀도 높은 학습 사례를 만드는 것으로 보인다. 총 개발 비용을 줄이는지는 탐색 및 선택 파이프라인의 완전한 비용 산정이 필요하다.

실제 메커니즘은 더 많은 에이전트 페르소나가 아니라 정보 흐름이다

MASS의 성과는 많은 에이전트에 연극적인 정체성을 부여하는 것이 아니라 정보 교환을 재구성한 데서 나오는 것으로 보인다.

멀티에이전트 시스템은 흔히 연구자, 비평가, 엔지니어, 편집자 같은 역할로 시작한다. 이러한 표기는 작업 분담에 도움이 되지만, 여전히 일반적인 수준에 머물 수 있다. “신중한 분석가”라는 역할은 과제별 정보를 거의 담고 있지 않다.

MASS는 역할, 지침, 계약, 홉이라는 네 가지 워크플로 구성 요소를 탐색한다. 계약은 에이전트가 반환해야 할 증거나 산출물을 정의한다. 홉은 정보가 에이전트 간에 이동하거나 이전 단계로 돌아가는 시점을 명시한다.

한 금융 워크플로에서는 별도의 에이전트가 데이터 준비, 특징 구성, 모델링, 백테스팅, 감사, 조정, 보고를 맡는다. 데이터 에이전트는 미래 정보가 과거 의사결정에 유입됐는지를 보고해야 한다.

이 계약은 구체적인 실패 모드를 다룬다. 모델이 실수로 미래 데이터를 사용하면 금융 백테스트는 성공한 것처럼 보일 수 있다. 명시적인 검사를 요구하면 후속 에이전트는 결과를 수용하기 전에 검토할 수 있는 증거를 얻는다.

Sakana AI는 탐색 과정에서 워크플로 구성 요소가 어떻게 바뀌었는지 분석했다. 그 결과 과제 정보가 계약과 의사소통 순서에 점점 더 집중되는 것으로 나타났다. 시간이 지날수록 역할과 일반 지침이 전달하는 정보는 줄었다.

이 분석의 표본은 비교에 따라 8개 또는 9개 과제에 걸쳐 있어 작다. 상호정보량 추정치는 실행 중 오간 모든 메시지가 아니라 워크플로 텍스트를 설명한다. 따라서 이 패턴은 연구 단서로 취급해야 한다.

이러한 한계에도 Sakana AI MASS에 대한 유용한 설명을 제시한다. 이 시스템은 각 에이전트가 무엇을 확립해야 하는지, 무엇을 다음 단계로 넘겨야 하는지, 다른 에이전트가 언제 그것을 검사해야 하는지를 발견함으로써 개선된다.

이전 멀티에이전트 토론 연구는 모델 인스턴스가 답변과 비평을 교환해 추론을 개선할 수 있음을 보여줬다. MASS는 그 아이디어를 일시적인 추론 행동에서 지도 학습으로 확장한다.

이 방법은 두 가지 서로 다른 형태의 행동도 학습시킨다. 오케스트레이터 궤적은 광범위한 작업을 분해하고 전문 에이전트를 조율하는 방법을 보여준다. 하위 에이전트 궤적은 명확한 출력 요구사항이 있는 제한된 할당을 완료하는 방법을 보여준다.

이 조합은 긴 단일 에이전트 추적 기록으로 학습하는 것보다 더 밀도 높은 것으로 보인다. Sakana AI의 비교에서 한 멀티에이전트 학생 모델은 2,880만 개의 지도 학습 토큰을 처리한 뒤 68.3%의 승률에 도달했다.

가장 큰 단일 에이전트 학생 모델은 4,200만 개 토큰을 처리한 뒤 64%에 도달했다. 이 기준에서 멀티에이전트 모델은 지도 학습 토큰을 31% 적게 사용하면서 더 높은 결과를 냈다.

이 비교는 위임이 유일한 원인임을 분리해 보여주지는 않는다. 각 그룹은 서로 다른 워크플로와 검증 지침을 사용했다. 팀 실행은 학습 사례가 선택되기 전 평균적으로 약 2.4배 더 많은 토큰을 생성했다.

외부 심사자들은 단일 에이전트 출력과의 비교에서 85.1%의 경우 다중 에이전트 작업을 선호했다. 추적 길이가 비슷한 10개 쌍에서도 팀 출력은 80%의 비교에서 우세했다.

이 결과는 팀 구조와 함께 선택 품질도 중요하다는 점을 시사한다. MASS는 모든 에이전트 교환에서 학습하지 않는다. 대신 많은 후보를 생성하고, 모델이 이를 순위화하게 한 뒤, 선호되는 부분 집합으로 학습한다.

이 메커니즘은 비용이 큰 집단 작업을 집중된 학습으로 전환하는 필터와 닮아 있다. 더 나은 지도 학습 사례를 얻기 위해 추가적인 탐색 및 평가 비용을 감수한다.

이러한 절충은 개발자에게 실질적인 함의를 갖는다. 유용한 AI 팀에는 같은 프롬프트의 복사본 여러 개만으로는 충분하지 않다. 작업과 연결된 명시적 증거 계약, 검토 단계, 정보 라우팅 규칙이 필요하다.

인간이 AI 보조 리서치를 조율할 때도 같은 원칙이 적용된다. 검색 가능한 지식 기반은 기여자들이 다른 사람이 검토할 수 있는 형태로 증거, 맥락, 결정을 보존할 때에만 도움이 된다.

MASS는 이러한 조직 설계의 일부를 자동화한다. 더 깊은 주장은 조율 자체가 학습된 역량이 될 수 있다는 것이다. 모델은 임시 팀을 통해 더 나은 작업을 수행하는 데 그치지 않는다. 팀의 성공적인 행동에서 패턴을 흡수한다.

하나의 모델이 여전히 자기 과제를 스스로 채점한다

다중 에이전트 자기 지도 방식의 결정적 강점은 동시에 가장 큰 미해결 위험이기도 하다.

MASS는 하나의 공유 모델을 작업 해결자, 워크플로 최적화기, 루프 내 평가자로 사용한다. 이러한 동질적 설계는 모델이 영구적으로 더 강한 교사에 의존하지 않고 개선될 수 있는지 시험한다.

동시에 상관된 실패를 초래한다. 모델이 작업을 오해하면 각 에이전트가 그 오해를 재현할 수 있다. 그러면 평가자는 실행자가 만들어 낸 동일한 오류에 보상을 줄 수 있다.

반복 주기는 위험도를 높인다. 결함이 있는 궤적이 우수한 것으로 받아들여지고, 학습용으로 선택되며, 다음 모델에 통합될 수 있다. 업데이트된 평가는 공동의 실수에 대해 더 큰 확신을 갖게 될 수 있다.

Sakana AI는 공유된 사각지대를 핵심 안전 문제로 공개적으로 지목한다. 프로젝트 개요는 역량이 성장함에 따라 자기 평가 역시 교정에 열려 있어야 한다고 주장한다.

외부 심사자는 이 실험을 측정하는 데 도움이 되지만, 배포 문제를 해결하지는 못한다. GPT-5.5와 Claude Opus 4.8은 학습 신호 밖에 남아 있었다. 따라서 이들의 가용성은 진정으로 자율적인 루프에는 없을 수 있는 점검 수단을 제공했다.

MASS는 세 모델 세대에 걸쳐 외부 심사자와의 일치도가 73%에서 93%로 증가했다고 보고한다. 이는 내부 평가자가 이들 작업에서 더 강한 심사자와 더 잘 정렬되었음을 보여주는 증거다.

일치는 정확성과 동의어가 아니다. 두 평가자는 가정을 공유하거나, 다듬어졌지만 결함이 있는 보고서에 보상하거나, 실제 실험이 필요한 오류를 놓칠 수 있다. 개방형 리서치에서는 이 구분이 특히 중요하다.

벤치마크 모음도 재귀적 자기 개선이 암시하는 범위에 비하면 작다. 사후 학습에서 제외된 것은 합성 작업 세 개뿐이었다. 완전한 두 주기는 반복의 증거를 제공하지만, 무기한적인 재귀적 진전을 보여주지는 않는다.

커뮤니티의 회의론은 이 간극에 집중됐다. 일부 Hacker News 댓글 작성자들은 이 작업이 제한 없는 재귀적 자기 개선보다는 개선된 에이전트 조율에 더 가깝다고 주장했다. 다른 이들은 겉보기에는 재귀적인 과정이 왜 두 번의 라운드 뒤에 멈췄는지 의문을 제기했다.

이 비판은 실제 명명 문제를 짚는다. 엄격한 의미의 재귀적 자기 개선은 흔히 자신의 후속 모델을 만드는 메커니즘을 시스템이 자율적으로 바꾸는 것을 뜻한다. 반면 MASS는 고정된 실험 파이프라인 안에서 인간이 설계한 워크플로 탐색과 지도 미세 조정을 번갈아 수행한다.

모델은 워크플로, 학습 데이터, 평가 결정에 영향을 미친다. 하지만 인간은 여전히 아키텍처, 작업 모음, 최적화 방법, 벤치마크 프로토콜, 주기 경계를 정의한다. 컴퓨팅 인프라도 제공한다.

업데이트된 각 모델이 다음 모델의 학습 데이터를 생성하고 선택하는 데 도움을 준다는 점에서 MASS를 재귀적이라고 부르는 것은 타당하다. 이를 개방형 자기 개선이라고 부르는 것은 이 실험이 확립한 내용을 과장하는 셈이다.

최적화기 품질도 또 하나의 제약이다. Sakana AI는 기본 Qwen 모델을 실행자로 유지하면서 워크플로 탐색 루프에 GPT-5.5를 삽입한 구성을 시험했다.

GPT-5.5를 평가자로만 사용했을 때 개선은 제한적이었다. 평가자와 최적화기로 모두 사용했을 때는 다섯 번의 탐색 반복 안에 12개 작업 모두에서 승리하는 워크플로를 찾았다.

완전히 동질적인 루프는 결국 12개 작업 중 11개에서 승리하는 워크플로를 찾았지만, 최대 13번의 반복이 필요했다. Sakana AI는 이를 최적화기가 평가자보다 더 큰 병목이 될 수 있다는 증거로 해석한다.

좋은 비평도 최적화기가 이를 더 나은 프로세스로 전환하지 못하면 쓸모없다. 이 결과는 점수 정확도에서 복잡한 워크플로를 수정하는 모델의 능력으로 관심을 옮긴다.

탐색 안정성은 여전히 약하다. Sakana AI의 워크플로 결과는 강력한 반복 뒤에 급격한 후퇴가 이어지는 등 변동한다. 좋은 워크플로에 도달했다고 해서 다음 수정에서도 그것이 유지된다는 보장은 없다.

이러한 한계는 결과를 덜 흥미롭게 만드는 것이 아니라 오히려 더 흥미롭게 만든다. MASS는 동질적 개선 루프가 관찰 환경에서 어디서 실패하는지 드러낸다. 전이, 심사자 일치도, 최적화기 강도, 워크플로 불안정성에 대한 측정치를 제공한다.

집단 지능이 감독 문제를 없애지는 않는다

동일한 모델들로 구성된 팀은 탐색 범위를 넓힐 수 있지만, 독립적인 판단을 보장할 수는 없다.

집단 지능은 보통 참여자 간 차이에서 힘을 얻는다. 인간 팀은 서로 다른 경험, 인센티브, 전문성, 제도적 역할을 가져온다. 이러한 차이는 한 사람이 놓칠 오류를 드러낼 수 있다.

MASS는 하나의 공유 모델의 여러 인스턴스를 사용한다. 무작위 샘플링과 전문화된 할당은 행동상의 변이를 만들지만, 모든 에이전트는 같은 가중치와 상당 부분 동일한 학습 이력을 물려받는다.

이 아키텍처도 유용한 다양성을 만들어 낼 수 있다. 별도의 에이전트는 서로 다른 접근법을 탐색하고, 다른 중간 증거를 다루며, 서로를 비평한다. 그러나 이들의 불일치가 진정한 독립성을 입증하지는 않는다.

검증 불가능한 작업에서는 문제가 더 뚜렷해진다. Sakana AI는 자동화된 규칙 기반 성공 신호가 없는 작업을 이 용어로 부른다. 리서치 보고서는 일관되고 충분한 근거를 갖추고도 알아채지 못한 개념적 오류를 포함할 수 있다.

모델 평가는 자신의 스타일이나 추론 습관과 일치하는 출력을 선호할 수 있다. 그러한 선택으로 학습하면 현실과의 접촉을 강화하지 않은 채 평가자의 선호만 강화할 수 있다.

이는 더 광범위한 확장 가능한 감독 문제다. 에이전트가 인간이 평가하기 어려운 작업을 수행할수록, 개발자는 더 강한 시스템을 감시하기 위해 더 약한 감독자가 필요하다. 더 유능한 모델 심사자는 도움이 되지만, 동시에 평가 권한을 인간에게서 멀어지게 한다.

OpenAI의 모니터 가능성 연구는 추론 궤적이 행동과 최종 답변만으로는 알 수 없는 에이전트 행동에 대해 더 많은 정보를 드러낼 수 있음을 보여준다. 또한 모니터 가능성은 불완전하며 에이전트와 모니터 모두에 의존한다고 설명한다.

이는 MASS에 중요하다. 그 학습 사례에는 풍부한 궤적이 포함되기 때문이다. 메시지, 도구 호출, 중간 산출물은 검토 기회를 더 많이 만든다. 동시에 미묘한 오류가 숨을 수 있는 표면도 더 넓어진다.

눈에 보이는 추론을 직접 최적화하면 또 다른 위험이 생길 수 있다. 모델은 실패를 만든 행동을 바꾸지 않은 채 승인받는 설명이 무엇인지 학습할 수 있다. 그러면 감독은 신뢰할 수 있는 작업 대신 읽기 쉬운 합리화를 보상하게 된다.

Sakana AI는 이 문제를 해결했다고 주장하지 않는다. 논문은 같은 약점이 모델의 행동과 이를 교정하려는 메커니즘 모두를 훼손할 수 있다고 경고한다.

따라서 독립적인 점검은 여전히 필요하다. 여기에는 외부 모델, 인간 전문가, 실행 가능한 테스트, 신뢰할 수 있는 데이터 파이프라인, 적대적 평가, 지연된 실제 검증이 포함될 수 있다.

어떤 단일 점검도 모든 실패를 포괄하지는 못한다. 코드는 잘못된 목표를 구현하면서도 실행될 수 있다. 보고서는 실제 증거를 인용하면서 상반되는 결과를 누락할 수 있다. 여러 모델은 학습 편향을 공유하기 때문에 같은 결론에 동의할 수 있다.

MASS의 가장 강력한 단기 활용처는 검증 가능한 중간 단계를 갖춘 범위가 제한된 리서치일 수 있다. 금융 파이프라인은 시간 순서 데이터 분할을 테스트할 수 있다. 로보틱스 실험은 시뮬레이션 출력을 확인할 수 있다. 약학 분석은 데이터 및 계산 계약을 강제할 수 있다.

최종 목표가 더 주관적일수록, 유일한 신호로서의 자기 판단은 더 약해진다. 전략, 과학적 새로움, 정책 조언, 안전 분석은 모두 모델 합의로 해결할 수 없는 가치나 증거에 의존한다.

Anthropic의 재귀적 자기 개선에 대한 논의 역시 감독, 검증, 확인을 미래 AI 개발의 중심에 둔다. 기술적 접근법이 다르더라도 공통된 압력은 분명하다.

AI가 AI를 개선하는 데 필요한 작업을 더 많이 맡게 된다면, 감독은 사후 고려 사항으로 남을 수 없다. 평가 시스템은 역량 시스템과 함께 발전해야 한다. MASS는 그 경쟁을 연구하기 위한 유용한 시험대를 제공한다.

다음 세 가지 신호가 MASS가 실제로 무엇을 입증하는지 결정할 것이다

다음 단계는 가장 강력한 헤드라인 결과를 반복하기보다 지속 기간, 전이, 교정을 시험해야 한다.

첫 번째 신호는 개선이 추가 주기에서도 유지되는지다. 두 번의 라운드는 재발을 입증하지만, 집단 지능을 통한 지속적인 재귀적 자기 개선을 입증하지는 않는다.

세 번째와 네 번째 주기에서는 성과가 계속 향상되는지, 정체되는지, 역전되는지를 측정해야 한다. 연구자들은 모델이 개선됨에 따라 워크플로 탐색 비용이 어떻게 변하는지도 보고해야 한다.

안정적인 외부 평가와 함께 지속적인 성과 향상이 나타난다면 재귀적 주장은 더 강해질 것이다. 정체는 모델이 작업 분포 내에서 이용 가능한 학습을 소진했음을 시사할 수 있다. 퇴보는 누적된 심사자 오류나 학습 간섭을 드러낼 수 있다.

두 번째 신호는 원래 리서치 모음에서 제외된 영역으로의 전이다. Terminal-Bench 2.0과 SWE-bench Verified에서의 하락은 까다로운 기준선을 제공한다.

소프트웨어 엔지니어링 작업을 추가했을 때 이 방법이 전이 가능한 조율을 학습한다면 해당 벤치마크의 성과가 향상되어야 한다. 성과 향상이 직접적인 도메인 특화 학습 후에만 나타난다면, MASS는 효율적인 전문화 방법에 더 가까워 보일 것이다.

그것 역시 가치가 있다. 다만 주장은 광범위한 자기 개선에서 더 나은 작업 조건부 사후 학습으로 좁아질 뿐이다.

설득력 있는 전이 테스트는 금융, 로보틱스, 약학 분야의 성능도 보존해야 한다. 그렇지 않으면 새 역량은 기존 역량을 축적하는 대신 대체할 수 있다.

세 번째 신호는 시스템이 공유된 사각지대를 감지하고 되돌릴 수 있는지다. 연구자들은 숨겨진 평가 함정, 상충하는 증거, 또는 세련된 합의가 잘못된 결론으로 이어지는 작업을 도입할 수 있다.

성공하려면 외부 심사자가 실패를 잡아내는 것만으로는 부족하다. 동질적 루프가 문제를 식별하고, 워크플로를 수정하며, 결함 있는 궤적으로 학습하지 않아야 한다.

이 테스트는 역량 주장과 통제를 연결할 것이다. 모든 에이전트가 유사한 가정에서 출발할 때 집단 지능이 교정 압력을 만들 수 있는지 보여줄 것이다.

Sakana AI MASS를 평가하는 조직은 이를 일반적인 해법으로 간주하기 전에 이러한 신호에 집중해야 한다. 현재 결과는 증거가 풍부하고 범위가 제한된 리서치 워크플로에 대한 실험을 뒷받침한다. 그러나 중요한 결정에서 인간 검토를 제거하는 근거가 되지는 않는다.

더 큰 교훈은 이미 분명해지고 있다. 더 나은 에이전트 팀은 더 나은 학습 데이터를 만들어낼 수 있으며, 그 교훈은 모델 가중치에 반영될 수 있다. 하지만 모든 개선은 그 팀이 무엇을 성공으로 간주하는지에 달려 있다.

집단지성을 통한 재귀적 자기 개선은 그 순환 구조가 공동의 오류를 스스로 인식할 수 있을 때에만 신뢰할 수 있다. 이러한 시스템이 다음 학습 주기에 사용할 증거를 선택하도록 허용하기 전에, 여러분의 조직은 어떤 독립적인 검증 절차를 요구하겠는가?