GPT-6.1 Sol, Agent Arena 데뷔에서 5위…비용 곡선도 다시 그리다

Arena의 10월 2일 발표에 따르면 OpenAI의 GPT-6.1 Sol은 Agent Arena 데뷔에서 순개선 점수 11.23%로 5위에 올랐다. 순위 자체도 주목할 만하다. 그러나 더 날카로운 쟁점은 Sol이 완료 작업당 훨씬 적은 컴퓨팅을 사용하면서도 더 비싼 선두 모델들에 매우 근접했다는 점이다.

Arena는 Max 추론 설정의 GPT-6.1 Sol이 성능과 작업 비용 모두에서 다른 모델에 뒤지지 않는 모델 집합인 파레토 프런티어에 합류했다고 밝혔다. 이 위치는 Sol을 단순한 또 하나의 고순위 OpenAI 출시작 이상으로 만든다. 모든 까다로운 에이전트 워크플로에 여전히 가장 비싼 모델 구성이 필요한지 시험하는 결과이기 때문이다.

이 비교는 OpenAI와 Anthropic의 프리미엄 모델 모두에 압박을 가한다. Arena 발표 시점의 스냅샷에서는 GPT-6 Astra, Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5가 앞서 있었다. 하지만 성능 격차가 매우 작아 비용 차이를 무시하기 어려웠다.

GPT-6.1 Sol Agent Arena 결과가 구매 기준을 바꾸다

GPT-6.1 Sol은 1위를 차지하지는 못했지만, 많은 프로덕션 의사결정에서 1위의 결정적 의미를 약화시켰다.

Arena는 첫 Agent Arena 결과를 발표하면서 에이전트 순위에서 GPT-6.1 Sol을 5위에 올려놓았다. 순개선 점수 11.23%는 실시간 에이전트 활동을 통해 측정된 시스템 가운데 이 모델을 최상위권에 위치시켰다.

순개선은 전통적인 시험 점수가 아니다. Arena는 여러 행동 신호 전반에서 각 모델을 평균 모델 기준선과 비교한다. 양수 결과는 해당 모델로 대체했을 때 그 기준선 대비 측정된 결과가 개선됐음을 뜻한다.

따라서 5위라는 위치가 GPT-6.1 Sol이 정확히 11.23% 더 많은 작업을 완료했다는 의미는 아니다. 이는 Arena가 추적하는 행동 전반에 걸친 복합적인 상대 효과를 반영한다. 이러한 행동에는 확인된 작업 완료, 사용자 반응, 조종 가능성, 명령줄 복구, 도구 신뢰성이 포함된다.

Arena의 출시 게시물은 GPT-6.1 Sol이 스냅샷에서 선두 모델과 약 3%포인트 차이까지 근접했다고 강조했다. 다른 여러 프리미엄 구성과는 그보다도 더 가까웠다.

이 모델은 Max 추론 설정의 Claude Fable 5.1에 3.08%포인트 뒤졌다. High 추론 설정의 Claude Opus 5.5와의 격차는 2.59포인트였다. Max 추론 설정의 Claude Sonnet 5.5에는 불과 1.29포인트 뒤처졌다.

OpenAI 내부 비교도 마찬가지로 중요했다. Arena는 GPT-6.1 Sol이 작업 비용을 39% 줄이면서 GPT-6 Sol보다 1.52포인트 높은 점수를 기록했다고 전했다. 또한 작업 비용을 81% 낮추면서 GPT-6 Astra와 1.04포인트 차이 안에 들었다.

이 수치들은 가장 높은 측정 결과와 가장 경제적인 결과를 실질적으로 구분한다. 순위만으로 선택하는 구매자는 여전히 Sol보다 높은 모델 중 하나를 고를 것이다. 그러나 반복 작업, 재시도, 운영 예산을 고려하는 구매자는 이제 다른 계산에 직면한다.

이 구분은 에이전트 비용이 일반적인 챗봇 비용과 다르게 누적되기 때문에 중요하다. 에이전트는 웹을 검색하고, 파일을 살피고, 명령을 실행하고, 오류를 수정하며, 앞선 자료를 다시 검토할 수 있다. 추가 행동 하나하나가 작업에 투입되는 총자원을 늘린다.

토큰 요금은 여전히 중요하지만 전체 워크플로를 포착하지는 못한다. 공개 요금이 비슷한 두 모델도 한쪽이 더 많은 단계를 밟거나, 더 긴 출력을 생성하거나, 실패한 도구 호출을 반복하면 작업 비용은 달라질 수 있다.

이에 따라 Arena는 작업당 중앙값 비용을 보완 지표로 사용한다. 이 수치는 단일 응답에서 비용을 추정하는 대신 완료된 작업 단위 전반에서 관찰된 지출을 설명한다. 따라서 GPT-6.1 Sol Agent Arena 결과는 대규모로 에이전트를 배포하는 팀에 의미가 있다.

수천 건의 리서치, 코딩, 문서 처리 작업에 적용하면 작은 차이도 상당해진다. 가장 높은 순위의 모델이 가장 어려운 작업에는 여전히 적절한 선택일 수 있다. 그러나 같은 모델이 모든 단계를 처리해야 한다는 결론이 더는 따라오지 않는다.

이것이 핵심 변화다. GPT-6.1 Sol은 성능 위계를 없애지 않았다. 대신 프리미엄 성능과 저비용 대안 사이의 실질적 격차를 줄였다.

Agent Arena는 선호 답변이 아니라 작업을 측정한다

이 결과가 무게를 갖는 이유는 Agent Arena가 확장된 워크플로 안에서의 행동을 평가하기 때문이지만, 방법론에는 여전히 중요한 한계가 있다.

많은 공개 모델 리더보드는 고립된 답변을 비교한다. 사용자는 프롬프트를 제출하고 두 응답을 살핀 뒤 더 선호하는 쪽에 투표한다. 이 접근법은 폭넓은 범위를 제공하지만, 모델이 더 긴 작업 전반에서 도구를 제어할 때 어떤 일이 벌어지는지를 완전히 포착하지는 못한다.

Agent Arena는 어떤 도구를 사용할지와 행동 순서를 어떻게 정할지를 책임지는 오케스트레이터 모델을 평가한다. Arena의 Agent Mode는 웹 검색, 파일 처리, 이미지 생성, 코딩 도구, 샌드박스 명령줄을 제공할 수 있다.

이러한 기능으로 사용자는 단일 대화가 아니라 프로젝트를 시도할 수 있다. 예를 들면 주제 조사, 산출물 편집, 코드 디버깅, 소규모 웹사이트 구축 등이 있다. 각 프로젝트는 짧은 답변에서는 드러나지 않는 실패를 노출할 수 있다.

Arena의 평가 방법론은 무작위 모델 할당으로 시작한다. 세션은 서로 다른 모델로 전송되며, 이를 통해 Arena는 플랫폼 평균 모델 대신 특정 모델을 사용했을 때의 효과를 추정할 수 있다.

핵심 순위는 다섯 가지 신호를 결합한다. 확인된 성공은 사용자가 작업 완료를 명시적으로 표시했는지를 기록한다. 칭찬과 불만은 워크플로 중 나타난 직접적인 긍정 또는 부정 반응을 포착한다.

조종 가능성은 수정 이후 모델이 얼마나 효과적으로 반응하는지를 측정한다. Bash 복구는 명령줄 오류를 얼마나 신속하게 해결하는지를 추적한다. 도구 환각은 에이전트가 보유하지 않은 도구를 호출하려 하는지를 측정한다.

각 신호는 결합 결과에서 동일한 가중치를 받는다. Arena는 이후 모델의 위치를 무작위 기준선 대비 퍼센트포인트 차이로 표현한다. 이 구조는 공개된 수치를 전통적인 정확도 점수로 읽어서는 안 되는 이유를 설명한다.

개별 측정값은 에이전트 품질이 응답 품질과 다른 이유도 보여준다. 세련된 답변도 비효율적인 과정에서 나올 수 있다. 반대로 에이전트는 중간 실수를 복구한 뒤 유용한 산출물을 만들 수 있다.

Arena는 방법론이 고정된 합성 프롬프트 묶음이 아니라 자연 발생적 사용자 흔적을 활용한다고 밝혔다. 이 선택은 작업이 사용 가능한 모델로 사람들이 실제 시도하는 일을 반영한다는 점에서 현실성을 높인다. 동시에 통제된 벤치마크라면 제거됐을 변동성도 도입한다.

사용자마다 기대치, 숙련도, 성공의 정의가 다르다. 어떤 작업은 단순하지만, 다른 작업은 긴 컨텍스트, 여러 도구, 반복 수정이 필요하다. 이를 집계한 리더보드는 모든 기업 배포 환경이 아니라 플랫폼 성능을 설명한다.

Arena가 더 강력한 모델을 추가하고 새 세션을 받으면 기준선도 움직인다. 모델의 기본 행동이 변하지 않아도 순개선은 하락할 수 있다. 평균 모델이 더 유능해질 때 이런 일이 발생할 수 있다.

순위 역시 스냅샷이다. 새 모델이 등장하거나 신뢰구간이 좁아지거나 작업 구성이 바뀌면 Arena의 실시간 보드는 변할 수 있다. 5위라는 위치는 발표 기간을 설명할 뿐, GPT-6.1 Sol에 영구적으로 붙는 라벨은 아니다.

비용에도 유사한 맥락이 있다. Arena는 자체 에이전트 환경에서 실현된 지출을 계산한다. 다른 시스템 프롬프트, 도구 하니스, 캐싱 정책, 재시도 전략을 사용하는 기업은 다른 결과를 관찰할 수 있다.

신호 정의는 이러한 구분을 유난히 명확하게 보여준다. 예를 들어 확인된 성공에는 Arena의 완료 프롬프트에 대한 명시적 답변이 필요하다. 칭찬만으로는 해당 신호를 충족하지 못한다.

이러한 정밀성은 독자가 순위를 해석하는 데 도움을 준다. 또한 가장 쉬운 과장을 막는다. GPT-6.1 Sol의 위치는 Arena가 관찰한 워크플로에서 좋은 성과를 냈다는 견해를 뒷받침하지만, 보편적 우월성을 입증하지는 않는다.

가장 방어 가능한 결론은 더 좁다. Sol은 하나의 대규모 실시간 평가 시스템 아래에서 행동 결과와 관찰된 작업 효율성의 강력한 조합을 제공했다.

낮아진 에이전트 비용이 프리미엄 모델에 압박을 가한다

주요 경쟁은 더 이상 OpenAI 대 Anthropic만이 아니라, 프리미엄 성능 대 경제적으로 충분한 성능이다.

Arena의 스냅샷에서는 Max 추론 설정의 Claude Fable 5.1이 1위를 유지했다. High 추론 설정의 Claude Opus 5.5와 Max 추론 설정의 Claude Sonnet 5.5 역시 GPT-6.1 Sol보다 앞섰다.

Sol이 이들 모델을 무효화한 것은 아니다. 대신 구매자가 이들의 우위에 비용을 지불하기 전에 필요로 하는 근거를 바꿨다. 이제 작은 성능 우위는 훨씬 큰 비용 차이를 정당화해야 한다.

Arena는 GPT-6.1 Sol이 1위인 Claude Fable 구성과 비교해 작업 비용을 88% 줄였다고 밝혔다. 측정된 성능 격차는 3.08%포인트였다. 이 비교가 이 글의 핵심 긴장을 규정한다.

같은 패턴은 다른 곳에서도 나타났다. Arena는 High 추론 설정의 Claude Opus 5.5 대비 비용이 65% 낮았으며 성능 격차는 2.59포인트였다고 전했다. Max 추론 설정의 Claude Sonnet 5.5와 비교하면 80%의 비용 절감과 1.29포인트의 격차를 보고했다.

이 수치가 저렴한 모델이 모든 조달 결정에서 승리한다는 뜻은 아니다. 작은 평균 차이는 특정 작업에서의 큰 차이를 감출 수 있다. 한 번의 실패가 심각한 결과를 낳는 경우 선두 모델은 비용을 정당화할 수 있다.

복잡한 코드 마이그레이션이 한 예다. 미묘한 회귀를 피하는 모델은 추가 추론 비용보다 훨씬 큰 비용을 절감할 수 있다. 같은 논리는 보안 분석, 규제 문서화, 되돌릴 수 없는 인프라 변경에도 적용된다.

일상적인 워크플로는 반대의 경우를 만든다. 리서치 분류, 1차 데이터 정리, 문서 비교, 초안 생성은 종종 검토를 허용한다. 이러한 작업에서는 작은 평균 품질 향상이 더 높은 처리량보다 가치가 낮을 수 있다.

이 패턴에서는 모델 라우팅이 더 매력적이 된다. 팀은 대부분의 작업을 Sol에 할당하고 어려운 사례는 Astra나 다른 프리미엄 모델로 에스컬레이션할 수 있다. 저비용 시도에서 불확실성이 나타날 때 인간 검토자가 작업을 재배정할 수도 있다.

OpenAI는 GPT-6.1 Sol을 유사한 방식으로 포지셔닝한다. 모델 문서는 Sol이 복잡한 코딩, 컴퓨터 사용, 전문 업무에서 Astra에 근접하면서 비용을 낮춘다고 설명한다.

이 모델은 Max를 포함한 여러 추론 노력 설정을 지원한다. 추론 노력은 답변을 생성하거나 행동을 취하기 전에 모델이 적용할 수 있는 내부 계산량을 제어한다. Arena는 보고된 비교에서 Max 구성을 평가했다.

GPT-6.1 Sol은 OpenAI의 Responses API를 통한 도구 사용도 지원한다. 사용 가능한 기능에는 웹 검색, 파일 검색, 코드 실행, 호스팅 셸 접근, 컴퓨터 사용, Model Context Protocol 연결이 포함된다.

이러한 기능은 Arena 결과를 배포된 에이전트와 더 직접적으로 연결한다. Sol은 단순한 텍스트 생성기로만 경쟁하는 것이 아니다. Arena가 관찰하는 워크플로와 유사한 흐름을 위한 오케스트레이터로 자리매김하고 있다.

그러나 하니스는 여전히 중요하다. 하니스는 모델 주변에서 도구, 프롬프트, 권한, 메모리, 복구 로직을 제공하는 소프트웨어 계층이다. 이 계층을 바꾸면 성공률과 자원 소비 모두 달라질 수 있다.

Arena의 하니스에서 효율적으로 수행하는 모델이 기업의 내부 시스템에서는 다른 경로를 택할 수 있다. 도구 설명이 덜 명확할 수 있다. 권한은 더 제한적일 수 있다. 데이터 검색은 지연이나 신뢰할 수 없는 결과를 초래할 수 있다.

이 때문에 이 비율은 평가의 끝이 아니라 시작점이 되어야 한다. 이는 Sol을 프리미엄 구성과 비교해 테스트할 만한 신뢰할 수 있는 근거를 제공한다. 하지만 워크로드별 증거를 대체하지는 않는다.

따라서 Anthropic과 OpenAI의 고사양 모델이 받는 압박은 상업적이면서도 아키텍처적이다. 각 모델은 남아 있는 성능 우위가 효율성 격차를 상쇄할 만큼 충분한 운영 가치를 어디에서 만들어내는지 보여야 한다.

이 압박은 제품 팀에도 이어진다. 모든 작업을 사용 가능한 가장 강력한 모델로 보내는 고정 정책은 이제 정당화하기가 더 어려워 보인다. 동적 라우팅, 에스컬레이션, 작업 세분화가 더 합리적인 대응책을 제공한다.

개발자에게 핵심 비교는 단지 GPT-6.1 Sol과 Claude의 비교가 아니다. Sol 우선 라우팅과 프리미엄 전용 라우팅의 비교다. Arena의 결과는 전자를 뒷받침하는 근거를 제공하지만, 그것이 보편적으로 우수하다고 선언하지는 않는다.

GPT-6.1 Sol 순위가 입증하지 않는 것

파레토 위치는 측정된 환경 내 효율성에 대한 강력한 증거이지, 신뢰성·안전성 또는 모든 워크로드에 대한 보장은 아니다.

측정된 대안 가운데 성능은 더 우수하면서 비용은 더 낮은 모델이 없을 때, 해당 모델은 파레토 프런티어에 위치한다. 이 지위는 2차원 비교에서 명확히 열세인 선택지를 제거한다는 점에서 가치가 있다.

그렇다고 하나의 보편적 승자를 가리키는 것은 아니다. 여러 모델이 같은 프런티어에서 서로 다른 지점을 차지할 수 있다. 저비용 모델이 한 구매자에게 최적일 수 있는 반면, 더 높은 성능의 모델은 다른 구매자에게 여전히 최적일 수 있다.

프런티어는 축의 설정에도 좌우된다. Arena는 종합 순개선 점수와 관측된 작업 비용을 비교한다. 조직은 지연 시간, 지역별 제공 여부, 개인정보 보호, 감사 가능성, 예측 가능한 출력 구조 같은 추가 차원을 중요하게 여길 수 있다.

컴플라이언스 팀은 평균 사용자 만족도보다 재현성을 더 중시할 수 있다. 코딩 팀은 특정 리포지토리에서의 테스트 통과율을 중요하게 볼 수 있다. 고객 지원 조직은 어조와 정책 준수를 우선할 수 있다.

Agent Arena의 유기적 트래픽은 이런 각 환경을 완전히 대표할 수 없다. 작업 분포는 Arena 사용을 선택한 사람들로부터 나온다. 이 집단은 기업의 직원, 고객 또는 자동화 시스템과 다를 수 있다.

평가의 행동 신호도 일부는 사용자 응답에 의존한다. 확인된 성공에는 명시적 피드백이 필요하다. 칭찬과 불만은 사용자가 이를 표현할 때에만 나타난다. 말 없는 만족과 말 없는 이탈은 해석하기 어려울 수 있다.

Arena는 신호 정의와 인과 비교를 통해 이러한 문제를 다룬다. 그럼에도 어떤 통계 방법도 한 플랫폼의 활동을 에이전트 행동의 완전한 지도로 바꿀 수는 없다.

신뢰구간도 중요하다. 근접한 헤드라인 점수는 안정적인 순위라기보다 실제 유사성을 나타낼 수 있다. 구간이 겹칠 경우, 한 단계의 순위 차이는 공개된 목록이 시사하는 것보다 덜 강조할 가치가 있다.

따라서 11.23%라는 결과는 Arena의 모델 풀과 데이터 기간에 연결된 추정치로 읽어야 한다. 향후 세션은 이 추정치를 움직일 수 있다. 더 강력한 신규 참가자는 비교 기준선도 바꿀 수 있다.

비용 비교도 비슷한 이유로 달라질 수 있다. 작업당 중앙값 비용은 작업 길이, 도구 사용, 출력량, 모델이 선택한 경로에 따라 달라진다. 다른 작업 구성은 다른 중앙값을 낼 수 있다.

OpenAI 자체의 안전성 자료는 또 다른 차원을 더한다. 회사의 시스템 카드 부록은 OpenAI가 GPT-6.1 Sol을 핵심 사이버보안 역량과 높은 생물학·화학 역량을 지닌 모델로 취급한다고 밝힌다.

OpenAI는 Sol이 GPT-6 Astra와 동일한 보호 체계를 사용한다고 말한다. 이러한 진술은 회사의 평가와 배포 결정을 설명한다. 구매자가 높은 벤치마크 순위를 모든 에이전트 구성이 안전하다는 증거로 간주할 수 있게 하지는 않는다.

도구 권한은 여전히 주요한 통제 지점이다. 명령 실행, 비공개 파일 접근 또는 외부 서비스 운영이 허용된 에이전트는 기반 모델이 유능하고 잘 정렬되어 있어도 피해를 초래할 수 있다.

따라서 팀은 모델 선택과 권한 설계를 분리해야 한다. Sol의 효율성은 더 폭넓은 배포를 뒷받침할 수 있지만, 더 넓은 접근 권한은 범위가 제한된 자격 증명, 승인 게이트, 로그, 롤백 경로의 중요성을 높인다.

실용적인 평가는 의도한 하니스에서 대표 작업을 재현해야 한다. 완료 품질, 사람의 수정, 도구 실패, 지연 시간, 총 리소스 사용량을 기록해야 한다. 테스트에는 적대적이거나 모호한 지시도 포함해야 한다.

이 벤치마크는 유용한 사전 근거를 제공한다. GPT-6.1 Sol이 복잡한 에이전트 작업에 대해 진지하게 검토할 가치가 있다고 말한다. 그러나 내부 테스트의 필요성을 없애지는 않는다.

이 구분은 분석의 양쪽을 모두 보호한다. 보편적이지 않다는 이유로 결과를 무시하면 의미 있는 실시간 증거를 간과하게 된다. 이를 최종 증거로 취급하면 벤치마크 설계가 뒷받침하는 범위보다 더 큰 권위를 부여하게 된다.

Sol의 우위가 지속되는지 보여줄 세 가지 신호

다음 시험대는 GPT-6.1 Sol이 사용량 확대, 경쟁사의 대응, 평가의 전문화 속에서도 효율성을 유지하는지 여부다.

첫 번째 신호는 리더보드 안정성이다. GPT-6.1 Sol은 Arena가 더 많은 세션을 수집하고 신뢰구간이 좁아지는 동안 상위권에 머물러야 한다. 지속적인 위치는 이 결과가 반복 가능한 행동을 반영한다는 주장을 강화할 것이다.

순위 변동만으로 반드시 성능 저하를 뜻하지는 않는다. Agent Arena의 기준선은 참여 모델과 작업 분포에 따라 변한다. 중요한 질문은 Sol이 연속된 스냅샷 전반에서 파레토 프런티어에 남아 있는지다.

5위에서 6위로 내려가는 일은 다른 모델에 의해 지배되는 것보다 덜 중요하다. 경쟁 모델이 더 높은 순개선과 더 낮은 관측 작업 비용을 달성한다면 Sol의 핵심 우위는 약화될 것이다.

두 번째 신호는 카테고리별 성능이다. Arena는 에이전트 작업을 코드, 채팅, 업무 등의 영역으로 나눈다. 종합 점수는 한 카테고리에서는 뛰어나지만 다른 카테고리에서는 크게 뒤처지는 모델을 가릴 수 있다.

Sol의 종합 결과는 카테고리 전반에서 반복될 경우 더 가치가 커진다. 일관된 위치는 더 폭넓은 기본 사용을 뒷받침할 것이다. 불균등한 결과는 작업 유형에 기반한 표적 라우팅을 지지할 것이다.

개발자는 특히 코딩 워크플로에 주목해야 한다. 이러한 작업은 도구 선택, 명령 실행, 복구, 검증 행동을 드러낸다. 작은 신뢰성 차이도 긴 경로에 걸쳐 누적될 수 있다.

비즈니스 구매자는 업무 카테고리 결과를 살펴봐야 한다. 리서치, 파일 처리, 분석, 산출물 제작은 많은 내부 자동화 프로젝트와 닮아 있다. 이 영역의 강력한 결과는 효율성 주장을 개발자 도구 밖에서도 관련성 있게 만들 것이다.

세 번째 신호는 경쟁 대응이다. Anthropic, Google 및 기타 모델 제공업체는 신규 출시, 수정된 추론 모드 또는 더 효율적인 에이전트 행동으로 대응할 수 있다. OpenAI 역시 Sol 업데이트를 통해 격차를 더 좁힐 수 있다.

가장 중요한 대응이 반드시 1위를 차지하는 모델일 필요는 없다. 더 낮은 작업 비용으로 Sol의 점수를 맞추는 경쟁 모델은 Sol의 파레토 위치에 직접 도전하게 된다. 다른 모델은 명확히 더 큰 신뢰성 우위를 통해 더 높은 비용을 정당화할 수 있다.

하니스 개선은 모델 출시만큼 중요할 수 있다. 더 나은 도구 설명, 메모리 제어, 컨텍스트 압축, 복구 전략은 불필요한 단계를 줄일 수 있다. 이러한 변화는 기반 모델을 바꾸지 않고도 작업 경제성을 재편할 수 있다.

구매자는 OpenAI의 Astra에 근접한 위치가 독립 배포에서도 유지되는지 역시 모니터링해야 한다. 좁은 품질 격차를 재현하는 내부 평가는 Sol 우선 라우팅을 뒷받침할 것이다. 워크로드별 격차가 크다면 그 주장은 약화될 것이다.

현재로서는 GPT-6.1 Sol Agent Arena 결과가 신중한 결론을 뒷받침한다. OpenAI는 비용 조정 선택을 더 이상 부차적인 문제로 취급할 수 없을 만큼 선도 모델에 근접한 모델을 내놓았다.

이 이야기는 5위가 비밀리에 1위를 뜻한다는 것이 아니다. 순위만으로는 더 이상 프로덕션의 질문에 답할 수 없다는 것이다. 관련된 선택은 성능이 추가로 1포인트 높아질 때 얼마나 큰 가치를 창출하는지에 달려 있다.

AI 에이전트를 평가하는 팀은 이제 동일한 대표 작업에서 Sol을 현재의 프리미엄 모델과 함께 실행해야 한다. 성공적인 완료, 수정, 재시도, 지연 시간, 총 작업 소비량을 측정해야 한다. 그런 다음 프리미엄 옵션이 추가 리소스를 정당화하는 사례를 식별해야 한다.

이 과정은 둘을 혼동하지 않으면서 공개 리더보드를 배포 결정으로 전환한다. Sol이 프런티어 위치를 유지한다면 계층형 모델 라우팅의 근거는 더 강해질 것이다. 경쟁 모델이 우위를 지운다면, 같은 측정이 그 변화를 드러낼 것이다.