Merlin AI 모델 벤치마크: 비용은 9배, 정확도 우위는 없어

Merlin Search Technologies는 7개 AI 모델을 테스트한 결과 뚜렷한 역전을 확인했다. 가장 비싼 모델은 보고서당 비용이 9배 이상 들었지만, 인용 정확도는 더 높지 않았다.

Merlin AI 모델 벤치마크는 모든 시스템에 동일한 오피오이드 소송 문서, 두 가지 조사 질문, 하나의 보고서 작성 과제를 제공했다. 가장 저렴하고 빠른 모델이 공급업체의 충실도 지표에서 1위를 차지했다. 가장 비싼 모델은 4위에 그쳤다.

이 결과는 흔히 쓰이는 구매 판단 기준에 의문을 제기한다. 더 새롭거나 더 비싼 프런티어 모델이 모든 전문 업무에서 자동으로 최선의 모델이 되는 것은 아니다. 다만 Merlin은 익명화된 각 라벨이 어느 제품에 해당하는지 공개하지 않았고, 6개 모델은 통계적으로 동률이었다.

이 연구는 또한 좁은 범위의 품질만 측정했다. 진술이 제공된 문서로 거슬러 올라갈 수 있는지를 확인했다. 어떤 보고서가 가장 강력한 법률적 추론을 제공했는지, 가장 중요한 증거를 식별했는지, 또는 최선의 판단을 내렸는지는 판정하지 않았다.

이러한 단서는 결과의 가치를 낮추기보다 높인다. Merlin의 테스트는 기업이 모든 업무를 고가 모델에 맡기기 전에 과업별 평가, 신뢰구간, 감사 가능한 인용을 확보해야 하는 이유를 보여준다.

Merlin AI 모델 벤치마크가 실제로 테스트한 것

Merlin은 하나의 통제된 법률 조사 워크플로에서 7개 모델을 비교한 뒤, 인용과 출처 충실도를 평가했다.

이 회사는 조사 및 디스커버리 플랫폼인 Alchemy를 통해 OpenAI, Anthropic, Google의 모델을 테스트했다. 대상에는 GPT-6 Astra, GPT-5.6 Sol, GPT-5.6 Terra, Claude Fable 5.1, Claude Opus 5, Claude Sonnet 5, Gemini 3.1 Pro가 포함됐다.

각 모델에는 공개적으로 이용 가능한 동일한 오피오이드 소송 문서 모음이 제공됐다. 자료는 Mallinckrodt를 다루면서 McKesson, Insys, Valeant도 언급했다.

Merlin은 고객 데이터를 사용하지 않았다. 이 선택은 기밀성 우려를 줄이고 문서 모음을 재사용하기에 더 안전하게 만들었지만, 기본 보고서는 공개적으로 독립 재현 가능한 벤치마크 패키지로 제시되지는 않았다.

모델들은 두 가지 질문에 답했다. 하나는 해당 회사의 통증 관리 제품 전반의 쟁점에 관한 것이었다. 다른 하나는 내부 메모와 애널리스트 논평이 재정적 어려움 및 신용 문제에 대해 무엇을 드러내는지를 묻는 것이었다.

두 번째 질문에는 의도적인 함정이 포함됐다. 일부 신용 관련 논평은 다른 회사를 다뤘고, Mallinckrodt 기록의 일부는 통상적인 청구 분쟁을 설명했다. 부주의한 시스템은 이 흐름을 합쳐 증거로 뒷받침되지 않는 재정 위기를 암시할 수 있었다.

이후 모든 모델은 인용이 포함된 완전한 조사 보고서를 작성했다. 공개된 방법론에 따르면, 7개 보고서에서 시스템들은 777개의 인용과 454개의 인용 문장을 생성했다.

Merlin은 평가 전에 결과물을 모델 A부터 G까지로 익명화했다. 따라서 평가자들은 제공업체명을 받지 못했지만, 회사는 라벨을 복원할 수 있도록 기록된 무작위 시드를 보관했다.

공개 점수표에서도 이러한 익명화는 유지됐다. 독자는 결과를 비교할 수 있지만, 모델 D가 OpenAI, Anthropic, Google 중 어느 제품이었는지는 독립적으로 확인할 수 없다.

모델 D는 낮을수록 좋은 충실도 점수 3.3으로 선두를 차지했다. 보고서당 평균 37초 만에 작업을 완료했고, 표시된 결과에서 깨지거나 잘못 연결된 인용은 없었다.

모델 C는 충실도 점수 4.1을 받았고 평균 110초가 걸렸다. 이 모델은 테스트에서 가장 비싼 시스템으로, 모델 D의 보고서 비용보다 9배 이상을 소비했다.

모델 E는 충실도 점수 4.9로 최하위를 기록했다. 나머지 6개 모델은 신뢰구간이 겹쳤기 때문에 Merlin은 잘못된 정밀 순위를 제시하는 대신 통계적으로 동률로 처리했다.

이 구분은 중요하다. 이 연구 안에서 헤드라인의 역전은 실제지만, 모델 D가 보편적인 정확도 우위를 가진다는 점을 입증하지는 않는다. 이 특정 테스트에서 훨씬 더 많은 비용을 지불해도 감지 가능한 충실도 개선이 나타나지 않았다는 점을 보여줄 뿐이다.

가장 저렴한 모델이 좁지만 중요한 테스트에서 승리했다

이 벤치마크는 가격이 정확도의 대리 지표라는 생각을 약화시키지만, 특정 모델 하나를 보편적 승자로 지목하지는 않는다.

모델 D는 비교 대상 중 가장 깔끔한 인용 기록, 가장 짧은 평균 완료 시간, 가장 낮은 운영 비용을 보였다. 모델 C는 비용이 9배 이상 높았지만 표시된 점수표에서 4위였다.

최신 출시작 두 종인 GPT-6 Astra와 Claude Fable 5.1도 1위에 오르지 못했다. Merlin이 라벨 대응표를 공개하지 않았으므로, 대중은 각 모델이 정확히 몇 위를 기록했는지 알 수 없다.

이 비공개 방식은 구매 판단 가치를 제한한다. 법률팀은 이 기사를 읽고 특정 제공업체를 자신 있게 선택할 수는 없다. 하지만 최신 고가 옵션이 기본적으로 모든 워크로드를 맡아야 한다는 가정은 버릴 수 있다.

결과는 단일 순위로는 포착할 수 없는 차이도 드러냈다. 모델 A는 서로 다른 쟁점을 가장 폭넓게 다뤘으며, 폭 점수 24.9를 기록했다. 깨진 인용은 없었지만, 뒷받침하는 구절을 잘못 가리킨 인용이 두 개 있었다.

모델 G도 23.6점으로 거의 비슷한 폭을 달성했다. 그러나 검토한 93개 주장 중 9개는 독자를 잘못된 문단으로 안내했다. Merlin은 해당 사실이 다른 곳에는 존재한다고 밝혔지만, 그 참조를 따라가는 변호사는 직접 찾아야 했다.

모델 D는 더 정확했지만 범위는 좁았다. 폭 점수는 15.9로, 모델 A와 G보다 크게 낮았다. 결정적인 주제를 놓친 신중한 보고서는, 수정 가능한 인용 오류가 몇 개 있는 더 폭넓은 보고서보다 여전히 덜 유용할 수 있다.

이것이 핵심적인 역전이다. 가장 저렴한 모델이 충실도 순위에서 선두를 차지했지만, 그 승리가 포괄성, 종합 능력, 법률적 판단의 가치를 없앤 것은 아니다.

이 연구에서는 7개 보고서 어디에서도 조작된 사실을 발견하지 못했다. Merlin의 평가 시스템상 모든 구체적인 이름, 수치, 날짜, 인용문은 문서 모음으로 거슬러 올라갔다.

이 발견은 고무적이지만, 과업의 범위 안에서 해석해야 한다. 모델들은 통제된 증거 세트를 바탕으로 Alchemy 내부에서 인용 보고서를 작성했다. 개방형 웹 법률 조사를 수행하거나 제한 없는 데이터베이스에서 판례나 법적 권위를 검색하도록 요청받지는 않았다.

정제된 문서 모음 안에서 근거를 유지하는 모델은 기억에 의존해 질문에 답하는 챗봇과는 다른 문제에 직면한다. 검색 제어, 인용 구조, 주변 애플리케이션은 실패율을 크게 바꿀 수 있다.

이전 학술 연구는 이러한 맥락을 보여준다. 상업용 법률 리서치 제품을 평가한 Stanford 연구진은 환각을 부정확하거나 적절한 근거가 없는 응답으로 정의했다. 이들의 법률 AI 연구는 검색만으로 근거 없는 답변을 제거할 수 없었다고 밝혔다.

따라서 Merlin의 결과는 기본 모델만이 아니라 전체 시스템에 관한 것이다. Alchemy는 문서 요약, 인용 표식, 프롬프트, 보고서 구조, 검증 과정을 제공했다. 승리한 결과물은 이 결합된 환경에서 나왔다.

올바른 결론은 저렴한 모델이 항상 더 정확하다는 것이 아니다. 모델 가격만으로는 정의된 기업 워크플로에서의 성능에 대한 근거가 거의 되지 않는다는 점이다.

8단계 평가가 모든 인용을 검증한 방식

Merlin의 가장 강력한 기여는 산술로 모델의 판단을 대체할 수 있는 곳에서 결정론적 검사를 활용한 평가 파이프라인이다.

절차는 모델의 정체를 가리고 보고서에서 우발적인 언급을 제거하는 것으로 시작됐다. 이후 단계에는 고정된 익명 라벨만 제공됐다.

두 번째 단계에서는 Alchemy 자체의 출처 요약을 감사했다. 각 요약에는 원문 문서의 문단과 연결하는 표식이 포함됐지만, 일부 표식에는 결함이 있었다.

감사 결과 결함이 있는 요약 섹션 24개가 발견됐다. Merlin은 플랫폼이 잘못된 표식을 제공한 탓에만 실패한 인용은 면제했다. 이를 통해 벤치마크가 상류 데이터 오류 때문에 모델에 불이익을 주는 일을 막았다.

이 단계는 간과하기 쉽다. 평가에서는 검색, 파싱, 문서 준비 과정이 문제를 일으킨 경우에도 눈에 보이는 모든 실패를 언어 모델에 귀속하는 경우가 많다.

세 번째 단계에서는 인용을 기계적으로 확인했다. 코드는 인용된 각 문서와 섹션이 존재하는지, 인용 문단이 식별된 범위 안에 있는지를 점검했다.

섹션이나 문단 없이 단순히 문서를 참조한 경우는 실패한 인용이 아니라 일반 문장으로 처리했다. 이 규칙은 지나치게 공격적인 파싱으로 검사기가 오류 수를 부풀리는 일을 방지했다.

네 번째 단계에서는 인용 문장이 제공된 요약에 근거하는지를 평가했다. 이는 AI 심사 모델을 사용한 첫 단계였다.

Merlin은 이전 버전이 나열된 인용에 없는 모든 사실을 만들어낸 것으로 처리했다고 밝혔다. 이 접근 방식은 모델이 여러 출처에 근거한 문장에서 증거 일부만 인용했을 때 종합을 부당하게 처벌했다.

개정된 시스템은 두 단계를 사용했다. 먼저 평가자가 인용된 자료에서 찾지 못한 정보를 식별했다. 이후 두 번째 단계에서 판정을 내리기 전에 더 넓은 문서 모음을 검색했다.

가능한 결과는 뒷받침됨, 미인용 출처, 과도한 해석, 조작이었다. 미인용 출처는 해당 사실이 문서 모음 내 다른 곳에 존재한다는 뜻이다. 과도한 해석은 검증 가능한 사실을 만들어내지는 않았지만 결론이 증거를 넘어선 경우를 의미한다.

조작은 문서 모음 어디에서도 찾을 수 없는 구체적인 이름, 수치, 날짜, 인용문을 포괄했다. Merlin은 만들어낸 세부 정보가 법원 제출 문서나 고객 메모에 들어갈 수 있기 때문에 이 범주에 3배의 가중치를 뒀다.

다섯 번째 단계에서는 폭과 반복을 측정했다. 시스템은 문장을 의미의 수학적 표현인 시맨틱 벡터로 변환하고, 각 보고서에 담긴 독립적인 아이디어의 수를 추정했다.

이 설계는 단순한 분량 자체에 보상을 주지 않으려는 시도였다. 더 긴 보고서라도 추가 문장이 같은 요점을 반복한다면 자동적인 이점을 받지 못했다.

여섯 번째 단계에서는 점수와 불확실성 범위를 계산했다. 비용과 속도는 점수표에 표시됐지만 정확도 순위에는 영향을 주지 않았다.

Merlin은 두 질문에 걸친 리샘플링으로 신뢰구간을 추정했다. 구간이 겹치면 모델들을 동률로 처리했다. 이것이 순서대로 표시됐음에도 7개 시스템 중 6개가 선두 통계 그룹에 속한 이유다.

일곱 번째 단계에서는 평가자를 평가했다. 서로 다른 제공업체의 추가 AI 심사 모델 두 개가 표시된 모든 주장과 통과한 주장 표본을 검토했다.

다수결로 의견 불일치를 해결했다. 초기 경고 33건 중 3건이 번복돼 보고된 오경보율은 9%가 됐다. 검토자들은 통과한 주장 37건도 표본 점검했으며, 어느 것도 문제로 표시하지 않았다.

세 심사 모델은 검토한 70개 주장 중 58개에 대해 완전히 일치했다. 이는 의미 있는 수준의 의견 불일치가 남아 있음을 뜻하지만, 이러한 공개는 독자에게 측정 불확실성을 더 명확히 보여준다.

여덟 번째 단계에서는 서면 메모를 생성했다. AI 시스템이 문안을 작성했고, 계산된 지표가 모든 수치를 제공했으며, 코드는 점수표를 만들었다.

Merlin은 또한 모든 비판에 더 우수한 성과를 낸 비교 모델을 명시하도록 요구했다. 전체 평가 보고서에는 정의, 지표, 발견 사항별 부록이 포함돼 있다.

결정론적 검사와 범위가 제한된 AI 판단의 조합은 건전한 일반 원칙을 따른다. 존재 여부 테스트, 범위, 개수, 재현 가능한 계산에는 코드를 사용해야 한다. 산술로 답할 수 없는 의미론적 질문에는 확률적 평가기를 활용해야 한다.

이는 조직이 테스트 세트, 지표, 불확실성, 배포 조건을 문서화해야 한다는 NIST의 권고와도 닮아 있다. AI RMF Core 역시 반복 가능한 평가와 배포 이후 지속적인 모니터링을 요구한다.

검색 가능한 지식 베이스를 구축하는 팀에 이 교훈은 소송을 넘어 적용된다. 인용 검증은 검색과 생성 어느 계층에서든 증거 사슬이 끊어질 수 있으므로 둘 다 테스트해야 한다.

이 결과가 엔터프라이즈 AI 구매자에게 주는 압력

이 벤치마크는 실제 업무 부하를 측정하기 전에 하나의 프리미엄 모델을 표준화하는 구매자들에게 압박을 가한다.

엔터프라이즈 조달에서는 흔히 모델을 소프트웨어 에디션처럼 취급한다. 더 비싸거나 최신인 선택지가 더 강력한 추론, 더 큰 컨텍스트 윈도, 일반 벤치마크에서의 더 높은 점수를 약속하기 때문에 더 안전해 보인다.

Merlin의 테스트는 이러한 논리의 약점을 보여 준다. 일반적인 역량 우위가 문서 기반 조사 워크플로 안에서의 더 나은 성능을 보장하지는 않는다.

기본 과제에는 여러 구별되는 역량이 요구됐다. 모델은 요약을 읽고, 서로 다른 회사에 관한 증거를 구분하며, 통상적인 분쟁을 과장하지 않고, 제품 이슈를 종합하며, 유용한 인용을 첨부해야 했다.

한 모델은 인용을 깔끔하게 처리했지만 다룬 이슈 수는 적었다. 다른 모델들은 더 많은 고유 쟁점을 찾아냈지만 인용 측면에서는 더 많은 마찰을 일으켰다. 올바른 선택은 어떤 오류가 더 큰 직업적 위험을 초래하는지에 따라 달라진다.

대규모 컬렉션의 1차 검토에서는 속도와 폭넓은 재현율이 더 중요할 수 있다. 법률 자문을 위해 작성하는 최종 보고서에서는 정확한 인용, 완전한 종합, 절제된 결론에 더 큰 비중을 둘 수 있다.

이 차이는 측정된 요구사항에 맞춰 각 작업에 모델을 배정하는 모델 라우팅을 뒷받침한다. 그렇다고 가장 저렴한 시스템을 자동으로 선택해야 한다는 뜻은 아니다.

방어 가능한 라우팅 정책은 위험에서 출발해야 한다. 팀은 과제가 사실 추출, 쟁점 식별, 장문 종합, 법률 판단, 최종 고객 커뮤니케이션 중 무엇을 요구하는지 파악해야 한다.

그다음 운영 환경에서 사용하는 것과 동일한 프롬프트, 검색 설정, 문서 조건 아래에서 대표 사례를 테스트해야 한다. 공개 리더보드로는 그러한 조건을 재현할 수 없다.

모델 선택은 검토 비용에도 영향을 미친다. 더 좁은 범위의 보고서를 만드는 빠른 시스템은 누락된 주제를 찾아야 하는 변호사에게 업무를 다시 전가할 수 있다. 인용 정확도가 낮은 광범위한 시스템은 검토자가 주장들을 수동으로 추적해야 하므로 다른 부담을 만들 수 있다.

벤치마크의 운영 비용 지표는 이러한 후속 인력을 제외했다. 보고서 생성에 드는 모델 사용량을 측정했을 뿐, 검토·수정·승인에 드는 총비용은 측정하지 않았다.

법률 구매자에게 이 구분은 특히 중요하다. 미국변호사협회의 AI 윤리 의견서는 변호사가 역량, 기밀성, 소통, 감독, 성실성, 합리적 보수와 관련한 의무를 고려해야 한다고 밝힌다.

모델의 유창한 결과물이 변호사의 책임을 대신하지는 않는다. 변호사는 과제의 성격과 부정확하거나 근거 없는 진술이 초래하는 위험에 비례하는 검토 절차를 여전히 마련해야 한다.

같은 원칙은 법률 밖에서도 적용된다. 금융 분석가, 컴플라이언스 팀, 연구자, 제품 관리자는 모두 대규모 증거 컬렉션을 의사결정으로 압축한 결과물에 의존한다.

모델은 실제 문서를 인용하면서도 결정적인 쟁점을 놓칠 수 있다. 또한 타당한 결론에 도달하면서도 잘못된 구절을 가리킬 수 있다. 이는 별개의 실패 방식이며 별도의 지표가 필요하다.

따라서 구매자는 단일 복합 “품질” 점수에 의존하지 않아야 한다. 인용 유효성, 주장 근거성, 범위, 모순 처리, 지연 시간, 사람의 수정 시간을 반영하는 스코어카드가 필요하다.

Merlin은 모델 제공업체 전반에 걸친 사용자 선택권도 주장한다. Alchemy가 여러 모델 계열을 제공하기 때문에 이 입장은 회사의 상업적 설계에도 부합한다.

그럼에도 증거는 더 제한적인 결론을 뒷받침한다. 6개 모델이 충실도에서 통계적으로 동률이지만 속도, 범위, 운영 비용에서 차이를 보인다면, 모든 작업을 하나의 제공업체에 묶는 것은 측정 가능한 트레이드오프를 활용하지 못하게 한다.

이 벤치마크가 입증하지 못하는 것

이는 숨겨진 모델 식별자와 의도적으로 제한된 정확도 정의를 사용한, 공급업체 주도의 단일 워크플로 평가였다.

Merlin은 Alchemy를 개발하고, 벤치마크를 실행하고, 채점 절차를 설계하고, 해석을 공개했다. EDRM은 견해가 저자들의 것이라는 주석과 함께 이 글을 재게시했다.

그렇다고 이 작업이 무효가 되는 것은 아니다. 다만 독자는 결과를 독립적인 비교 시험이 아니라 문서화된 공급업체 평가로 받아들여야 한다는 뜻이다.

비공개 정답 키는 또 다른 제약을 만든다. 익명화는 평가자를 브랜드 편향에서 보호했지만, 지속적인 비공개는 공개적인 모델 수준의 검증을 막는다.

독자는 보고된 순위를 다른 벤치마크와 비교할 수 없다. 또한 모델의 알려진 행동 특성이 범위, 속도, 인용 오류의 특정 패턴을 설명하는지 테스트할 수도 없다.

벤치마크는 하나의 소송 컬렉션에서 가져온 두 가지 질문을 사용했다. 두 질문으로도 의미 있는 실패 방식을 드러낼 수 있지만, 모든 증거개시 과제나 법률 영역을 대표할 수는 없다.

보고된 신뢰구간은 이러한 불확실성을 인정하려는 시도다. 그러나 두 질문을 재표본화한다고 해서 계약, 규제 사안, 비밀특권 검토, 연표 작성, 상충하는 증인 진술을 포괄하는 더 큰 테스트 세트의 다양성이 생기지는 않는다.

모델들은 하나의 구성에서 평가 대상 실행을 한 번 완료한 것으로 보인다. 특히 생성 설정이 서로 다른 표현이나 증거 선택을 허용한다면, 반복 시험은 출력 변동성을 드러낼 수 있다.

또한 공개 자료만으로는 프롬프트, 요약 품질, 검색 한계, 모델 구성이 전체 시스템 효과에 미치는 영향을 독립적으로 계산할 정보가 충분하지 않다. 다른 애플리케이션 하니스는 순위를 바꿀 수 있다.

가장 중요한 점은 충실도가 법률적 정확성과 동의어가 아니었다는 것이다. 이 테스트는 진술이 출처로 추적되는지, 인용이 올바른 자료를 가리키는지를 측정했다.

법률 추론의 품질은 평가하지 않았다. 모델이 가장 중요한 증거를 식별했는지, 충돌을 설득력 있게 조정했는지, 상대방의 주장을 예상했는지도 판단하지 않았다.

Merlin은 이 한계를 직접 인정했다. 모델은 조사 보고서를 유용하게 만드는 어려운 결론을 피하면서도, 신중하게 뒷받침된 사실을 나열해 높은 순위를 기록할 수 있다.

감지된 허구 정보가 없었다는 사실도 신중하게 해석해야 한다. 이는 평가 파이프라인이 이 7개 보고서에서 특정하게 꾸며낸 사실을 발견하지 못했다는 뜻이다. 모델, Alchemy, 또는 법률 AI 전반의 환각률이 0이라는 사실을 입증하지는 않는다.

시스템의 실패율은 과제에 따라 달라진다. 개방형 조사, 불완전한 컬렉션, 모호한 질문, 적대적 문서는 통제된 종합 작업과는 다른 압력을 만든다.

자동화된 채점도 자체적인 불확실성을 도입한다. Merlin의 추가 평가자들은 초기 플래그 3건을 뒤집었으며, 이는 단일 모델이 의심 없이 평가자 역할을 해서는 안 되는 이유를 보여 준다.

평가자들은 검토된 70개 주장 중 58개에 만장일치로 동의했다. 이는 상당한 합의이지만, 의미론적 분류가 여전히 논쟁의 여지가 있음을 보여 주기도 한다.

독립적인 인간 법률 검토는 증거를 강화할 수 있다. 도메인 전문가는 평가 범주가 전문적 기대에 부합하는지, 뒷받침된 것으로 간주된 주장이 원문의 의미를 보존하는지 판단할 수 있다.

NIST의 생성형 AI 프로필은 위험이 모델, 애플리케이션, 생태계 수준에서 서로 다르다는 점을 인정하면서도 배포 전 테스트를 강조한다. Merlin의 벤치마크는 세 계층을 함께 평가하지만 완전히 분리해낼 수는 없다.

따라서 이 결과는 조사를 끝내기보다는 구매 행동을 바꿔야 한다. 이는 가격 기반 선택에 반하는 증거이지, 익명의 경제적 모델 하나가 프런티어 시스템을 대체해야 한다는 증거는 아니다.

비용 대비 정확도 역전을 검증할 세 가지 신호

다음 검증 과제는 Merlin의 역전이 더 폭넓은 작업, 독립적 검토, 반복되는 모델 업데이트에서도 유지되는지 확인하는 것이다.

첫 번째 신호는 더 큰 판단 벤치마크다. Merlin은 상충하는 증거, 인과 추론, 쟁점 중요도, 상대방 주장에 대한 별도의 평가를 구축하고 있다고 말한다.

프리미엄 모델은 인용 메커니즘보다 추론을 통해 더 높은 운영 비용을 정당화하는 경우가 많기 때문에 이 테스트는 중요하다. 경제적인 모델이 그 분야에서도 경쟁력을 유지한다면, 기본적으로 프런티어 모델로 라우팅해야 한다는 논거는 크게 약화될 것이다.

프리미엄 시스템이 분명한 우위를 보인다면, 현재 결과는 과제 전문화에 더 가까워 보일 것이다. 그러면 팀은 복잡한 종합에는 프런티어 모델을, 증거 기반 보고에는 경제적인 시스템을 활용할 수 있다.

두 번째 신호는 독립적인 재현이다. 신뢰할 수 있는 후속 연구는 라이선스가 허용하는 범위에서 프롬프트, 설정, 모델 버전, 반복 실행, 채점 코드, 재사용 가능한 문서 패키지를 공개해야 한다.

또한 플랫폼 공급업체를 위해 일하지 않는 인간 법률 검토자도 포함해야 한다. 결정론적 검사, 자동화된 평가자, 도메인 전문가 간의 합의는 이 방법론을 강화할 것이다.

재현 연구는 채점 중에는 익명성을 유지하되 이후 라벨 키를 공개할 수 있다. 이런 설계는 브랜드 편향에 대한 보호를 유지하면서 구매자에게 실행 가능한 모델 수준의 증거를 제공한다.

세 번째 신호는 모델 및 플랫폼 업데이트 이후의 성능 드리프트다. 제공업체는 모델 스냅샷, 추론 시스템, 가격 구조를 자주 수정한다. 검색 파이프라인과 요약 프롬프트도 변한다.

Merlin은 새로 추가되는 모델에도 동일한 테스트를 적용한다고 말한다. 안정적인 시계열을 공개한다면 순위가 지속되는지, 아니면 단지 한 번의 유리한 스냅샷을 포착한 것인지 알 수 있을 것이다.

팀은 승자만 봐서는 안 된다. 깨진 인용, 잘못 연결된 참조, 범위, 평가자 간 불일치, 지연 시간, 수정 시간의 변화는 워크플로가 개선되고 있는지 드러낼 것이다.

Merlin AI 모델 벤치마크는 구매자에게 실질적인 과제를 남긴다. 어떤 모델이 추상적으로 가장 뛰어난지 묻는 일을 멈춰야 한다. 업무를 정의하고, 비용이 큰 실패를 식별하며, 자체 증거를 대상으로 통제된 평가를 실행해야 한다.

법률 팀에게 이는 인용이 존재하는지, 구절이 주장을 뒷받침하는지, 보고서가 중요한 쟁점을 포착하는지 확인하는 것을 의미한다. 또한 최종 판단에 대한 책임은 변호사에게 남겨 두는 것을 의미한다.

다른 지식집약적 팀에게도 질문은 비슷하다. 시스템이 사람들이 방어 가능한 결론에 도달하도록 돕는가, 아니면 그저 유창한 텍스트를 만들어 내는가?

9배의 비용 격차는 기억하기 쉬운 헤드라인을 만든다. 그러나 지속되는 교훈은 더 까다롭다. 과제를 측정하고, 증거 사슬을 감사하며, 불확실성을 포함하고, 모델이나 워크플로가 바뀔 때마다 다시 테스트해야 한다.