Amazon Bedrock 평가 편향이 Property Finder에서 더 나은 모델을 가렸다

Property Finder는 모델 선정 과정에서 Amazon Bedrock 평가 편향을 발견했다. 평가 레이블의 96.8%가 기존 모델의 예측에서 비롯된 것이었다. 이로 인해 기존 시스템과의 일치가 정확성처럼 보였다. 이 발견은 기업 환경에서 흔히 깔린 가정에 의문을 제기한다. 즉, 운영 모델이 축적한 출력 결과가 교체 대상 모델을 평가하는 신뢰할 수 있는 기준이라는 가정이다.

직접적인 쟁점은 독립적인 증거와 기존 답안의 충돌이다. 기존 모델의 오류를 그대로 반복하는 도전자는 이 평가를 통과할 수 있다. 반대로 그 오류를 바로잡는 도전자는 실패할 수 있다. 따라서 구매자는 기존 동작과의 호환성과 독립적으로 확립된 기준에 대한 정확성을 구분해야 한다.

개발자와 기업 구매자에게 이 사안의 의미는 단순한 모델 이전을 넘어선다. 평가는 어떤 공급업체가 경쟁력을 유지하고 어떤 비용 절감이 수용 가능한 것으로 보일지를 결정한다. 잘못된 정답 키는 구매 결정을 과거의 동작을 유지하는 작업으로 바꿀 수 있다.

Amazon Bedrock 평가 편향이 모델 선정 결정을 바꿨다

10월 27일 공개된 비전 평가 사례에 따르면, Property Finder는 11개 이미지 품질 속성 전반에서 Meta의 Llama 4 Maverick 17B Instruct를 선택했다. AWS는 더 높은 측정 정확도와 약 86%의 비용 절감을 보고했다.

결정적인 변화는 대안을 판단하는 데 사용한 기준이었다.

예측 결과를 채점하는 기준 답안인 그라운드 트루스는, 평가 대상 시스템이 그 답안을 제공할 경우 신뢰하기 어려워진다. 기준은 모든 후보를 반박할 수 있어야 하므로 독립성이 중요하다. 그렇지 않으면 기존 모델은 비교가 시작되기 전부터 특권적인 위치를 차지한다.

이는 이전 테스트와 역량 테스트의 차이를 만든다. 이전 테스트는 교체 모델이 기존 출력을 유지하는지를 묻는 것이 합리적일 수 있다. 역량 테스트는 그 출력이 애초에 올바른지 묻는다. 두 질문 모두 중요하지만, 서로 다른 의사결정을 뒷받침한다.

하위 소프트웨어가 정확한 레이블에 의존한다면 기업은 의도적으로 호환성을 우선할 수 있다. 이는 여전히 정당한 운영상 요구사항이다. 다만 정확성의 정의가 되기보다는 별도의 요구사항으로 명시되어야 한다.

여러 합리적인 설명이 가능한 가상의 매물 사진을 생각해 보자. 저장된 답안이 과거의 임의적인 선택을 반영한다면, 다른 유효한 설명은 기록된 오류가 된다. 이때 결과 점수는 기업이 어느 설명이든 수용할 수 있는 상황에서도 그 선택에 대한 일치도를 측정한다.

보고서가 불일치를 평균값으로 압축하면 문제를 발견하기가 더 어려워진다. 대시보드는 기준 답안이 어떻게 만들어졌는지를 드러내지 않은 채 명확한 승자를 보여줄 수 있다. 정밀해 보이는 백분율도 이처럼 빠진 맥락을 해결하는 데는 별 도움이 되지 않는다.

따라서 이 사례는 일반적인 모델 우수성 주장보다 더 제한적으로 해석해야 한다. 이는 원래의 측정 방식이 기존 시스템에 유리했던 구매 과정을 보여준다. 그 측정을 바로잡으면서 다른 결정이 가능해졌다.

공개 시점도 신중히 다뤄야 한다. 새로 게시된 고객 사례는 보고된 작업을 문서화하지만, 새로 출시된 서비스나 기능을 자동으로 의미하지는 않는다. 독자는 공개일과 개별 측정의 기반이 된 날짜를 구분해야 한다.

이제 Property Finder AI 평가는 조달 검토에서 유용한 질문을 제시한다. 벤치마크는 현재 공급업체가 공정하게 질 수 있도록 하는가? 답이 해당 공급업체의 이전 출력을 신뢰하는 데 달려 있다면, 비교에는 더 견고한 기반이 필요하다.

기존 모델의 답안은 조달상의 이점이 되었다

상속된 정답 키는 계약상 제한 없이도 전환 저항을 만들 수 있다.

압박은 먼저 교체를 승인해야 하는 엔지니어링 리더에게 가해진다. 이들은 기존 서비스와 제안된 변경 모두를 방어해야 한다. 평가가 기존 모델에 유리할 때는 독립적으로 더 나은 동작보다 익숙한 동작을 정당화하기가 더 쉽다.

조달팀도 관련된 문제에 직면한다. 더 저렴한 대안은 측정된 성능이 낮아 보이면 수용 불가능한 선택처럼 보일 수 있다. 그러나 기준이 현재 모델 특유의 오류를 보상한다면 그 하락은 의사결정 가치가 거의 없다.

기존 공급업체가 이 과정을 의도적으로 조작할 필요는 없다. 운영 출력을 저장하고, 이를 레이블로 취급하며, 그 결과물을 재사용하는 일반적인 지름길에서 이점이 생겨날 수 있다. 각 단계는 따로 보면 실용적으로 보인다.

그러나 이런 결정들이 합쳐지면 연속성을 보상하는 벤치마크가 만들어질 수 있다. 그에 따른 전환 저항은 공급업체의 계약 조건이 아니라 고객의 증거 안에 존재한다. 그래서 상업적 협상 과정에서 특히 식별하기 어렵다.

따라서 Bedrock 모델 비교는 공급업체 성능과 평가 설계를 구분해야 한다. 그렇지 않으면 대체 모델에 대한 접근권은 실제로 제공하는 것보다 실용적인 선택권이 적다. 조직은 기술적으로는 공급업체를 바꿀 수 있지만, 내부적으로 그 변경을 정당화하지 못할 수 있다.

같은 긴장은 원래 애플리케이션을 구축한 팀에도 영향을 미친다. 레이블을 재검토하는 일은 과거의 엔지니어링 결정을 다시 검토하는 것처럼 느껴질 수 있다. 리더십은 발견된 모든 오류를 부주의한 작업의 증거로 취급하지 않으면서도 그러한 검토를 위한 여지를 만들어야 한다.

일부 기존 동작을 유지해야 할 사업상 이유도 있다. 고객, 검토자, 연동 애플리케이션이 이미 그 동작에 적응했을 수 있다. 독립적으로 더 정확한 대체 모델도 레이블이나 출력 구조가 예기치 않게 바뀌면 운영 중단을 초래할 수 있다.

이 우려는 별도의 스코어카드가 필요하다는 근거를 강화한다. 하나는 독립적으로 검토된 사례에 대한 정확성을 설명해야 한다. 다른 하나는 호환성, 통합 노력, 워크플로 영향에 대해 설명해야 한다. 이 질문들을 하나의 정확도 수치로 합치면 상충 관계가 가려진다.

이 구분은 오픈 웨이트 모델과 독점 모델 모두에 중요하다. 오픈 웨이트 모델은 정해진 조건에 따라 학습된 파라미터를 제공한다. 이 특성만으로 특정 워크플로에 적합하다는 것이 입증되지는 않으며, 독점 서비스 역시 더 높은 정확성을 입증하지는 않는다.

어느 범주도 정답 키에서 자동적인 우위를 가져서는 안 된다. 유용한 비교는 애플리케이션 요구사항, 전체 구성, 독립적으로 평가된 결과에 초점을 맞춘다. 브랜드 평판은 초기 후보군을 정하는 데 도움이 될 수 있지만, 그 증거를 대체할 수는 없다.

즉각적인 조직적 대응은 레이블 출처에 대한 책임성을 갖추는 것이다. 이는 기준 답안이 어디서 비롯됐는지 기록하는 것을 뜻한다. 구매자는 누가 이를 만들었는지, 어떤 지침이 적용됐는지, 후보 모델이 그 과정에 영향을 미쳤는지를 알아야 한다.

이 문서는 구매 대화를 바꾼다. 공급업체의 점수는 검토 가능한 기반을 갖춘 주장이 된다. 도전자의 불일치는 자동으로 기각하는 대신 검토자가 조사할 수 있는 대상이 된다.

독립 레이블은 프롬프트 최적화를 측정할 가치가 있게 한다

프롬프트 최적화는 그 목표가 기업이 실제로 원하는 결과를 반영할 때만 의미가 있다.

프롬프트 옵티마이저는 측정된 결과를 개선하는 지시문을 탐색한다. 그 성공은 전달받는 기준 답안과 채점 규칙에 달려 있다. 편향된 벤치마크를 대상으로 한 효율적인 탐색은 근본적인 구매 오류를 더욱 설득력 있게 만들 수 있다.

더 넓은 연구 맥락은 이러한 방법이 주목받는 이유를 설명한다. Reflective prompt evolution은 이전 시도의 분석을 활용해 수정된 지시문을 제안하고 시험한다. GEPA 연구진은 실행 추적을 검토하고, 실패를 진단하며, 서로 다른 후보에서 유용한 교훈을 결합한다고 설명한다.

이 접근법은 오류를 지시문을 수정하는 방법에 대한 정보로 다룬다. 실패한 사례는 모호성, 누락된 맥락, 상충하는 요구사항을 드러낼 수 있다. 이후 탐색은 제안된 수정이 정의된 목표를 개선하는지 시험한다.

이는 더 긴 프롬프트가 반드시 더 낫다고 가정하는 것과 다르다. 추가 지시문은 모호성을 해소할 수 있지만 모순을 도입할 수도 있다. 중요한 질문은 문구의 겉보기 정교함이 아니라 수정 후 측정된 동작에 관한 것이다.

AWS는 이 작업에서 오류 기반 프롬프트 수정이 사용됐고, 이후 최적화에 MIPROv2가 도움을 줬다고 밝혔다. MIPROv2는 언어 모델 프로그램 구축 프레임워크인 DSPy의 옵티마이저다.

MIPROv2 옵티마이저는 지시문과 예시 조합을 탐색한다. 문서는 후보를 생성하고 지정된 지표에 따라 조합을 평가한다고 설명한다. 이는 팀이 달리 수작업으로 수행하는 실험의 일부를 체계화한다.

상업적 의미는 모델 이름만으로 경쟁 시스템을 완전히 설명할 수 없다는 점이다. 지시문, 예시, 출력 처리, 검토 규칙은 모두 배포된 결과에 영향을 준다. 모델 정체성만 비교하는 구매자는 애플리케이션 엔지니어링의 성과를 기반 모델에 귀속시킬 위험이 있다.

따라서 질문에 따라 서로 다른 공정한 비교 방식이 존재한다. 동일한 튜닝 예산은 비슷한 노력 아래에서 상대적 동작을 분리하는 데 도움이 된다. 독립적으로 최적화된 구성은 구매자가 실제 배포할 시스템 중에서 선택하는 데 도움이 된다.

어느 설계도 모든 질문에 답하지는 않는다. 통제된 비교는 후보 모델이 추가 엔지니어링으로 달성할 수 있는 수준을 과소평가할 수 있다. 운영 환경 비교는 승리한 구성에 얼마나 많은 노동력이 기여했는지를 가릴 수 있다. 보고서는 자신이 어떤 결정을 뒷받침하는지 밝혀야 한다.

Bedrock 모델 비교에서 중요한 분석적 구분은 선택과 인과관계에 관한 것이다. 기업은 더 나은 전체 구성을 합리적으로 선택할 수 있지만, 그 모델 하나만으로 모든 개선을 야기했다고 입증하는 것은 아니다.

같은 구분은 진화적 용어에도 적용된다. 유용한 프롬프트 수정을 반복적으로 선택한다고 해서 기반 모델이 추가 학습을 받았다는 뜻은 아니다. 독자는 무엇이 바뀌었는지 물어야 한다. 지시문, 예시, 애플리케이션 로직, 학습된 파라미터 중 무엇이 바뀌었는가?

전문가 레이블링은 최적화와 다른 역할도 수행한다. 레이블러는 무엇이 수용 가능한 답안인지 정한다. 옵티마이저는 그러한 답안을 만들어 내는 구성을 탐색한다. 이 책임을 분리하면 증거를 더 쉽게 검토할 수 있다.

이러한 실험을 유지하는 팀에게 검색 가능한 지식 베이스는 주석 결정과 실패한 수정안을 보존하는 데 도움이 될 수 있다. 문서는 감사 추적을 뒷받침하지만 점수를 독립적으로 검증하지는 않는다.

핵심 쟁점은 여전히 목표의 소유권이다. 옵티마이저의 진전을 축하하기 전에 구매자는 그 진전이 더 나은 사업 성과를 의미한다는 확신이 필요하다. 그렇지 않으면 자동화는 잘못된 목표를 향한 움직임을 가속할 뿐이다.

더 나은 레이블이 최종 벤치마크를 독립적으로 만들지는 않는다

보고된 비교에는 개발 이미지 256장을 포함해 UAE 이미지 356장이 사용됐다. Llama의 Micro F1은 0.80이었고, 이름이 공개되지 않은 기존 시스템은 0.56이었다. Micro F1은 개별 라벨 판정 전반에서 정밀도와 재현율을 결합한 지표다.

AWS는 튜닝과 평가가 겹쳤기 때문에 점수가 낙관적으로 나올 수 있음을 인정한다. Llama에는 더 많은 튜닝 작업도 투입됐다.

독립적인 주석과 독립적인 테스트는 서로 다른 문제를 해결한다.

새로운 전문가 답변은 기준 라벨의 편향 문제를 다룬다. 손대지 않은 테스트 컬렉션은 최적화가 개발에 영향을 준 사례를 넘어 일반화되는지를 검증한다. 전자를 개선했다고 해서 후자가 자동으로 입증되는 것은 아니다.

이는 이 고객 계정을 위해 새로 만들어진 비판이 아니라, 오랫동안 이어져 온 연구상의 우려다. 적응형 데이터 분석에 관한 연구는 재사용된 평가 데이터에서 반복적으로 피드백을 받으면 과적합으로 이어질 수 있음을 설명한다. 과적합이란 개선이 새로운 사례로 옮겨 가기보다 검토한 사례에 더 밀접하게 맞춰지는 현상을 의미한다.

이 메커니즘에는 의도적인 부정행위가 필요하지 않다. 엔지니어는 실패 사례를 관찰하고, 지침을 수정하며, 점수를 개선하는 변경 사항을 유지한다. 반복적인 노출은 점차 검토 중인 사례의 특성에 맞춰 애플리케이션을 형성할 수 있다.

이는 미래 입력에서 개선 폭이 어느 정도인지에 대한 불확실성을 만든다. 그렇다고 개선 효과가 사라진다는 뜻은 아니다. 신중한 평가는 신뢰할 만한 개선 방향과 그 규모에 대한 독립 측정치를 구분한다.

연구는 재사용된 모든 벤치마크가 쓸모없어진다고 가정해서도 안 된다고 경고한다. Rebecca Roelofs와 동료들의 테스트 재사용 연구는 검토한 대회 전반에서 실질적인 과적합이 거의 발견되지 않았다고 밝혔다. 이들의 분석은 공개 순위와 별도의 최종 테스트 결과를 비교했다.

이러한 결과는 맥락을 제공할 뿐, Property Finder의 결과를 독립적으로 확인해 주지는 않는다. 서로 다른 과제, 피드백 과정, 개발 선택은 서로 다른 결과를 낳을 수 있다. 합리적인 대응은 임의의 불이익을 부과하는 것이 아니라 더 강한 증거를 요청하는 것이다.

불균등한 튜닝 노력은 또 다른 질문을 제기한다. 목표가 현재 이용 가능한 최선의 애플리케이션을 선택하는 것이라면, 유망한 후보에 추가 노력을 투입하는 것은 타당할 수 있다. 목표가 모델 고유의 역량을 순위화하는 것이라면, 이러한 불균형은 해석을 어렵게 만든다.

이름이 공개되지 않은 기존 시스템 역시 경쟁 비교의 결론을 제한한다. 독자는 일반적인 기준선 라벨만으로 완전히 식별된 정면 비교를 독립적으로 재구성할 수 없다. 이 사례를 Meta와 다른 공급업체 간의 보편적 순위로 확대 해석해서는 안 된다.

계산이 정확하더라도 집계 점수는 추가적인 비즈니스 질문을 만든다. 빈번한 성공이 결합 결과를 지배할 수 있다. 구매자는 남아 있는 실패가 일상적 사례에 영향을 미치는지, 혹은 상업적으로 민감한 의사결정에 영향을 미치는지를 여전히 이해해야 한다.

애플리케이션은 전체적으로 개선될 수 있지만, 가장 비용이 큰 오류는 해결되지 않은 채 남을 수 있다. 이러한 가능성은 빈도와 함께 오류의 심각성도 중요하게 만든다. 장식적 기능의 오분류와 등록을 막는 잘못된 결정이 동일한 운영상 결과를 낳을 필요는 없다.

Property Finder의 AI 평가 사례는 측정 과정을 검토하는 데 대한 신뢰를 뒷받침한다. 다만 그 한계는 정확한 일반화 수준과 공급업체 순위에 관한 신중함을 요구한다. 보고된 프로덕션 의사결정을 무시하지 않으면서도 두 판단은 동시에 성립할 수 있다.

비용 주장은 운영상의 분모가 필요하다

절감 추정치는 US East (Ohio)의 2025년 12월 가정을 사용한다. 비용 기준선은 정확도 기준선과 다르다. Property Finder는 모델 응답 대기 시간이 짧아졌다는 의미로 프로덕션 지연 시간이 40~60% 감소했다고 별도로 보고한다.

보고된 비용 절감은 현재의 보편적 절감률이 아니라, 특정 비교를 위한 추정치다.

구매자는 비용과 품질 수치를 증거가 허용하는 수준보다 더 긴밀하게 연결하는 경우가 많기 때문에 이 구분은 중요하다. 한 구성에 대한 비율이 다른 정확도 비교의 재무적 결과로 자동 전환될 수는 없다.

유용한 분모는 구매하려는 비즈니스 결과다. 모델 요청당 비용은 인프라 질문에 답한다. 허용 가능한 의사결정당 비용은 운영 질문에 답한다. 재시도, 검토, 실패, 후속 수정이 비슷하게 유지될 때에만 이 지표들은 수렴한다.

가정상 더 저렴한 시스템은 이 문제를 잘 보여 준다. 더 많은 수동 검토가 필요하다면, 낮은 처리 비용이 전체 노력 감소로 이어지지 않을 수 있다. 반대로 더 나은 의사결정은 수정 작업을 줄여 모델 비용을 넘어서는 가치를 만들 수 있다.

어느 결과도 여기서 단정할 수는 없다. 이는 구매자가 공개된 비율을 다른 워크로드에 적용하기 전에 필요한 정보를 보여 준다. 이 사례는 모든 고객에 대한 예측이 아니라 경제성을 조사할 이유를 제공한다.

날짜 민감성은 또 다른 한계를 만든다. 과거 추정치는 과거 의사결정을 이해하는 데 여전히 유용하지만, 현재의 상업 조건을 입증하지는 않는다. 10월의 게시일이 이전 분석에 사용된 가정을 새로 고치지는 않는다.

지역적 맥락도 같은 이유로 중요하다. 워크로드의 배포 선택은 가용성, 성능, 운영 제약에 영향을 줄 수 있다. 조달 팀에는 다른 구현의 조건을 빌려오기보다, 의도한 환경을 반영한 비교가 필요하다.

프롬프트 튜닝과 비용의 관계도 면밀히 검토할 가치가 있다. 더 상세한 지침은 처리 요구 사항을 바꿀 수 있다. 따라서 측정된 품질을 개선하는 구성은 이전 버전의 추정치를 그대로 물려받기보다 자체적인 경제성 평가가 필요하다.

독립 증거라는 주제가 재무로 이어지는 지점이 바로 여기다. 라벨에 추적 가능한 출처가 필요하듯, 절감 주장에도 추적 가능한 기준선이 필요하다. 검토자는 비교된 구성과 계산에 포함된 비용을 이해해야 한다.

지연 시간은 이와 유사한 해석 문제를 제기한다. 대화형 애플리케이션에서는 더 빠른 응답이 매우 중요할 수 있다. 백그라운드 워크플로에서는 등록 마감 전 완료 여부나 대기열 누적 감소가 더 관련 있는 결과일 수 있다.

더 낮은 지연 시간 수치가 어느 쪽의 이점도 자동으로 입증하지는 않는다. 운영상 연결고리는 실제 워크플로 내에서 측정되어야 한다. 구매자는 속도를 추상적인 장점으로 취급하기보다 어떤 사용자 또는 비즈니스 제약이 개선됐는지 물어야 한다.

인적 검토 역시 경제성 관점에 포함돼야 한다. 정확도가 개선된 뒤에도 검토는 애플리케이션의 합리적인 일부로 남을 수 있다. 핵심 질문은 전문가의 주의가 어디에서 가장 큰 가치를 더하는지, 그리고 그 주의에 얼마의 비용이 드는지에 관한 것이다.

따라서 Amazon Bedrock 평가 편향은 모델 선택을 넘어 재무적 측면도 지닌다. 측정이 취약하면 조직은 유용한 절감을 거부하거나 오해의 소지가 있는 절감을 받아들일 수 있다. 건전한 평가는 불확실하게 남은 가정을 포함해 경제적 의사결정을 검토 가능하게 만든다.

다음 분기에 사례를 강화할 수 있는 요소

다음으로 유용한 증거는 전이, 프로덕션 오류, 비교 가능한 경제성에 관한 것이다.

이는 다음 분기의 관찰 우선순위이지, 발표된 공개 약속은 아니다. 각각은 보고된 결과의 서로 다른 불확실성을 다룬다. 함께라면 독자가 유용한 지역적 배포 의사결정과 광범위하게 전이 가능한 성능 주장 사이를 구분하는 데 도움이 될 것이다.

첫 번째 신호는 점수 산정 전에 구성이 고정된 상태에서 수행하는 손대지 않은 평가다. 개발 의사결정에서 제외된 사례를 뜻하는 홀드아웃 세트는 익숙하지 않은 입력에서의 성능을 더 명확히 보여 줄 수 있다. 중요한 특성은 튜닝 피드백으로부터의 독립성이다.

그 컬렉션에서 지속적인 우위가 나타난다면 선택된 구성이 일반화된다는 신뢰가 강화될 것이다. 격차가 좁아진다면 공개된 규모에 대한 신뢰는 낮아질 것이다. 어느 결과든 개발 과정이 실제로 무엇을 제공했는지 분명히 함으로써 증거를 개선한다.

비교 가능한 튜닝 예산은 공급업체 수준에서 유용한 관점을 더할 수 있다. 이는 추가 엔지니어링의 이점과 후보 간 차이를 구분하는 데 도움이 된다. 이러한 비교는 완전히 최적화된 프로덕션 시스템에 대한 별도 평가와 공존할 수 있다.

다음 신호는 독립적으로 검토된 프로덕션 오류 데이터다. 집계 점수는 배포 후 사람들이 겪는 실수와 연결돼야 한다. 독자는 편의적인 기술 범주만이 아니라 비즈니스 결과를 중심으로 정리된 검토 결과를 찾아야 한다.

수정 부담이 감소한다면 전환의 실질적 근거가 강화될 것이다. 민감한 범주에서 실패가 지속된다면 전체 점수가 유리하게 유지되더라도 결론은 좁아질 것이다. 사용자는 벤치마크 평균이 아니라 개별 의사결정을 경험하기 때문에 이 구분은 중요하다.

프로덕션 증거는 사례가 검토에 들어오는 방식도 밝혀야 한다. 쉬운 사례가 지배적인 컬렉션은 문제를 감출 수 있다. 에스컬레이션 사례만으로 구성된 컬렉션은 문제를 과장할 수 있다. 그 결과의 오류율을 해석하기 전에 이러한 선택 과정을 이해하는 것이 필요하다.

마지막 신호는 실제 배포된 구성을 활용한 최신 경제성 비교다. 이는 처리 비용을 검토 노력, 재시도, 운영 결과와 연결해야 한다. 그러면 재무 주장을 구매 논의로 옮기기가 더 쉬워진다.

낮은 총 노력이 허용 가능한 품질과 함께 나타난다면 상업적 결과에 대한 신뢰는 높아진다. 이러한 비용이 계산에 들어간 뒤 절감이 줄어든다면, 원래의 추정치는 역사적으로는 유익하지만 구매 지침으로서는 덜 유용해진다.

현재로서는 가장 강한 결론은 의사결정 과정에 관한 것이다. 독립적인 기준 답변은 평가가 기존 행동 방식에 이의를 제기할 수 있게 했다. 이는 더 나은 비교를 수행한 뒤 현재 모델을 유지하는 조직에도 관련이 있다.

Amazon Bedrock 평가 편향을 다른 사람의 라벨링 문제로 보기 전에, 자신이 선호하는 모델을 뒷받침하는 증거를 살펴보라. 기준 답변의 출처를 추적하라. 독립적으로 검토된 판단과 프로덕션 출력을 구분하고, 개발 피드백과 최종 테스트를 구별하라. 그런 다음 재무 비교가 품질 비교와 동일한 구성을 사용하는지 물어보라. 유용한 구매 검토는 엔지니어, 재무 팀, 제품 책임자 모두가 검토할 수 있는 언어로 이러한 구분을 보존해야 한다. 목표는 벤치마크의 구성 방식이 드러났을 때에도 방어 가능한 의사결정이다. 기존 시스템이 더 이상 정답지를 제공하지 않는다면 현재 모델 평가의 어떤 결론이 바뀌겠는가?