AWS, Bedrock에 NeMo Switchyard 라우팅 도입
AWS는 11월 13일 NeMo Switchyard 라우팅 아키텍처를 공개하며, 개발자가 라우팅된 코딩 에이전트를 단일 모델 대안과 비교할 수 있는 방법을 제시했다. 핵심 질문은 실패한 시도까지 포함해 모델 전환이 작업 완료 비용을 낮추는지 여부다. 단순히 모델 호출 비용이 저렴하다는 사실만으로는 이 질문에 답할 수 없다.
이 아키텍처는 AWS의 관리형 모델 서비스인 Amazon Bedrock을 애플리케이션과 모델 제공업체를 연결하는 오픈 소스 게이트웨이 LiteLLM과 연결한다. NVIDIA NeMo Switchyard는 모델 선택 로직을 제공한다. AWS는 코드로 클라우드 인프라를 정의하는 프레임워크인 Cloud Development Kit를 사용해 게이트웨이를 배포한다.
이 비교는 고정 모델 방식과 에이전트 작업 중 모델 선택을 바꾸는 라우팅 방식을 대조한다. 어느 쪽도 자동으로 우위를 갖는 것은 아니다. 성능이 뛰어난 모델은 더 빨리 작업을 마무리해 높은 추론 비용을 정당화할 수 있고, 효율적인 모델은 일상적인 작업을 안정적으로 완료할 때 우위를 차지할 수 있다.
NeMo Switchyard 라우팅, Bedrock 레퍼런스 아키텍처 확보
AWS는 라우팅이 언제나 비용을 절감한다는 결론이 아니라 배포 및 평가 경로를 공개했다.
11월 13일 공개된 라우팅 아키텍처는 컨테이너 실행을 위한 AWS 서비스인 Amazon ECS와 Fargate에서 NVIDIA 플러그인과 함께 LiteLLM을 배포한다. 벤치마크 워크플로는 라우팅된 모델 그룹을 각 후보 모델의 단독 운영 결과와 비교한다.
이 구분이 이번 소식의 핵심이다. 개발자는 인프라와 결과를 조사할 방법을 제공받는다. 그러나 모든 코딩 요청을 어떤 모델이 처리해야 하는지에 대한 보편적인 답을 받는 것은 아니다.
모델 그룹은 구성된 모델 배포가 뒷받침하는 공개 모델 이름이다. 애플리케이션은 그 이름을 요청하고, 게이트웨이는 응답할 배포를 선택한다. 이는 에이전트가 요청한 경로와 개별 턴을 처리하는 모델을 분리한다.
엔지니어링 팀에는 이러한 분리를 통해 모든 정책을 별도 애플리케이션으로 취급하지 않고도 선택 정책을 바꿀 수 있는 지점이 생긴다. 동시에 평가할 구성 요소도 하나 더 추가된다. 게이트웨이가 존재한다고 해서 그 선택이 에이전트의 작업을 개선한다는 사실이 입증되는 것은 아니다.
비교에서 중요한 단위는 완료된 과제다. 파일을 읽고, 수정안을 제시하고, 테스트 실패를 해석하는 일은 모두 동일한 개발 작업에 속한다. 요청별로 따로 측정하면 그러한 결정이 남은 작업에 미치는 영향을 놓치게 된다.
가령 버그 수정 사례를 생각해 볼 수 있다. 에이전트가 함수를 살펴보고 동작을 바꾼 뒤 테스트가 여전히 실패한다는 사실을 발견한다. 라우팅은 이후의 선택이 앞선 작업을 정당화할 만큼 최종 결과를 개선할 때에만 유용해진다.
비용이 낮은 첫 시도는 성공할 경우 이점이 될 수 있다. 반면 다른 모델이 복구해야 하기 전에 시간과 컨텍스트를 소모할 수도 있다. 평가는 두 가능성을 모두 보존해야 한다.
따라서 이 변화는 이미 모델 선택 결정을 내리고 있는 팀에 가장 큰 의미가 있다. 이제 이들은 유연한 대안을 시험할 구체적인 AWS 사례를 갖게 됐다. 고정 모델에 만족하는 팀 역시 추가된 복잡성을 받아들이기 전에 근거가 필요하다.
이는 Switchyard의 최초 출시가 아니라 통합에 관한 이야기이기도 하다. 실질적인 발전은 통제된 비교와 함께 모델 선택을 배치하는 Bedrock 배포 경로다. 그 가치는 비교가 무엇을 보여 주는지에 달려 있다.
따라서 이 발표를 가장 강하게 해석하더라도 범위는 제한적이면서 유용하다. AWS는 실험을 재현하기 쉽게 만든다. 개발자는 그 실험이 자신의 리포지토리, 승인 기준, 운영 제약을 반영하는지 판단할 책임을 계속 진다.
실패한 시도는 토큰 기반 비교에 부담을 준다
유용한 경제성 비교에는 실패한 작업도 포함된다. 실패한 작업 역시 자원을 소비하기 때문이다.
샘플의 코딩 작업 실행기는 구성된 턴 예산 안에서 테스트를 통과하는지를 성공 기준으로 정의한다. 기본 예산은 모델 턴 6회다. 검토를 위해 트랜스크립트, 워크스페이스, 패치, 결과를 보존한다.
해결된 작업당 비용 계산은 모든 실행의 추정 지출을 성공 실행 수로 나눈다. 실패한 실행은 분자에 남는다. 아무것도 성공하지 못하면 이 계산은 성공 결과에 대한 의미 있는 비용을 산출할 수 없다.
이 회계 방식은 유인을 바꾼다. 어떤 경로도 저렴한 요청을 보냈다는 사실만으로 효율성을 입증할 수 없다. 해당 워크로드를 시도하는 데 들어간 모든 비용을 정당화할 만큼 충분히 많은 작업을 완료해야 한다.
즉각적인 부담은 모델을 비교하는 엔지니어링 관리자와 플랫폼 팀에 돌아간다. 토큰 요금은 카탈로그 전반에서 비교하기 쉽다. 성공적인 개발 결과에는 완료의 정의, 일관된 조건, 실패 기록이 필요하다.
수학적 관계는 단순하다. 지출이 줄면 해결된 작업당 비용은 개선될 수 있지만, 성공 횟수가 적어지면 오히려 악화될 수 있다. 지출만을 기준으로 한 결정은 이 지표를 유용하게 만드는 분모를 무시한다.
반대의 경우도 같은 수준으로 주목할 필요가 있다. 추론 비용이 높은 모델도 비생산적인 시도를 피한다면 더 나은 결과를 낼 수 있다. 이 가능성은 평가가 테스트 시작 전부터 선호하는 승자를 가정하지 않게 한다.
실행기의 추정치에도 한계가 있다. 캐시된 입력, 누락된 사용량 정보, 알 수 없는 모델 가격 항목은 가격이 매겨지지 않은 상태로 남는다. 그렇다고 무료 추론이 되는 것은 아니다. 이러한 추정치를 조정이 완료된 청구 기록으로 제시해서는 안 된다.
이 구분은 구성을 비교할 때 중요하다. 회계가 불완전한 상태에서 겉보기에는 저렴한 실행은 불완전한 관측값이다. 최종 코드가 테스트를 통과했더라도 완전히 측정된 실행과 같은 결론을 뒷받침할 수는 없다.
구매자에게 더 넓은 의미는 모델 조달과 워크플로 평가가 함께 이뤄져야 한다는 점이다. 모델 요금은 결과에 기여한다. 에이전트의 행동은 그 요금이 얼마나 자주 적용되는지와 지출이 수용 가능한 작업을 만들어 내는지를 결정한다.
공정한 비교에는 동일한 성공 기회도 필요하다. 라우팅된 에이전트에 기준선보다 더 많은 시도를 허용하면 실험이 달라진다. 조건별로 작업 지시, 사용 가능한 도구, 승인 테스트를 바꿔도 마찬가지다.
단 한 번의 성공 시도는 일관성에 대해 거의 말해 주지 않으므로 반복 평가는 중요하다. 설득력 있는 결과는 다른 실행에서도 유지돼야 하며, 검토자가 실패 사례를 살펴볼 때도 이해 가능해야 한다. 고립된 유리한 결과는 조사를 위한 단서일 뿐이다.
팀은 벤치마크의 완료 정의와 자사의 개발 프로세스도 분리해야 한다. 제공된 테스트 통과는 관찰 가능한 결과다. 유지보수 가능한 변경 사항을 출시하려면 그 테스트 외에도 추가 검토, 문서화, 확인 절차가 필요할 수 있다.
그렇다고 테스트 기반 평가가 도움이 되지 않는 것은 아니다. 그 범위를 명확하게 할 뿐이다. 독자가 성공의 정확한 의미와 계산에 포함된 비용을 이해할 때 이 지표는 가치가 있다.
따라서 이 아키텍처가 만드는 압력은 상업적인 측면만큼 방법론적인 측면도 크다. 모델을 선택하는 팀은 해당 모델이 완료하는 작업을 설명해야 한다. 라우팅을 선택하는 팀은 전환이 왜 같은 결과를 개선하는지 설명해야 한다.
단계 라우팅은 실행 이력에 반응한다
라우팅 메커니즘은 초기 요청만으로 전체 작업이 드러난다고 가정하지 않고 에이전트 활동에서 얻은 근거를 활용한다.
Switchyard의 실행 기반 선택 전략인 단계 라우팅은 도구 활동과 결과를 읽어 성능이 뛰어난 모델과 효율적인 모델 중 선택한다. NVIDIA의 실행 라우팅 문서는 진행 상황, 오류, 정체된 작업과 관련된 신호를 설명한다.
이 접근 방식은 처음에 난이도를 판단하는 방식의 한계를 다룬다. 단순해 보이는 요청도 예상치 못한 종속성을 드러낼 수 있다. 부담스러워 보이는 요청도 에이전트가 관련 코드를 찾은 뒤에는 일상적인 작업이 될 수 있다.
중요한 근거는 실행 중에 도착한다. 실패한 명령, 반복되는 미성공 수정, 생산적인 편집은 다음 모델 요청이 달성해야 할 바를 바꾼다. 라우팅은 모델을 선택할 때 이 근거를 활용하려 한다.
NVIDIA는 efficient_first를 근거가 불확실할 때 효율적인 모델을 기본으로 사용하는 정책으로 설명한다. 신뢰도 임계값은 점수화된 신호가 다른 선택을 정당화하는 시점을 제어한다. 이는 라우팅 설정이지, 작업 성공 확률이 아니다.
이 구분은 흔한 오해를 막는다. 라우터는 다음 요청을 어떤 모델이 처리해야 하는지 추정한다. 최종 패치의 정확성을 보증하거나 결과를 판단하는 테스트를 대체하지는 않는다.
NeMo Switchyard 라우팅에서 핵심적인 운영 질문은 유용한 근거가 선택 로직에 도달하는지 여부다. 관련 도구 이력을 생략하는 에이전트는 선택의 근거를 약화시킨다. 따라서 호환성에는 턴 사이에 전달되는 정보도 포함된다.
가상의 수정 사례는 이러한 절충을 보여 준다. 효율적인 모델은 국소적인 편집을 성공적으로 처리할 수 있다. 반대로 실패한 접근을 반복한다면 전환은 복구 기회를 만들지만, 앞선 시도 역시 작업 비용의 일부로 남는다.
성능이 뛰어난 모델도 이미 수행된 작업을 물려받는다. 그 이력은 문제를 설명하는 데 도움이 될 수 있지만, 오도하는 가정을 담고 있을 수도 있다. 모델을 전환한다고 해서 에이전트를 잘못된 방향으로 이끈 추론이 자동으로 사라지는 것은 아니다.
따라서 이 메커니즘은 사전에 최고 모델을 식별하겠다는 약속과는 다르다. 이는 관찰 가능한 실행에 적응한다. 그 성공 여부는 이러한 관찰이 다음 턴에 필요한 역량과 얼마나 잘 부합하는지에 달려 있다.
이는 고정 모델 방식과 유용하게 비교할 수 있다. 처음부터 끝까지 하나의 모델을 유지하면 인계 결정을 없앨 수 있다. 라우팅은 유연성을 더하지만, 더 나은 결과가 지연된 상향 전환과 불필요한 전환을 상쇄할 때에만 그 유연성의 가치가 입증된다.
어느 모델의 역할도 제품에 대한 영구적인 판단이 되어서는 안 된다. “성능이 뛰어난” 모델과 “효율적인” 모델은 특정 구성에서 배정된 위치를 설명한다. 서로 다른 작업은 다른 강점, 약점, 경제적 관계를 드러낼 수 있다.
튜닝에도 같은 주의가 적용된다. 더 많은 요청을 효율적인 후보로 보내는 정책은 행동을 바꾼 것이다. 그렇다고 반드시 경제성이 개선된 것은 아니다. 완료율과 복구 패턴이 그러한 행동 변화가 도움이 되는지를 결정한다.
실행 기반 선택은 트랜스크립트의 가치도 높인다. 검토자는 전환 전에 어떤 일이 있었는지, 선택된 모델이 이후 무엇을 했는지, 그 변화가 완료에 영향을 주었는지 이해해야 한다. 경로 라벨만으로는 그 순서를 설명할 수 없다.
이 아키텍처의 핵심 가설은 여전히 검증 가능하다. 일상적인 작업과 어려운 복구 작업에 항상 같은 모델이 필요한 것은 아니다. 실질적인 기여는 개발자가 실제 에이전트 행동을 바탕으로 이 가설을 검토할 방법을 제공한다는 데 있다.
이 플러그인은 Switchyard 자체보다 범위가 좁다
Switchyard의 다른 곳에 문서화된 기능이 이 특정 통합을 통해 작동한다고 가정해서는 안 된다.
NVIDIA의 LiteLLM plugin은 중간 judge-model 호출 없이 Stage 및 Random 라우팅을 지원합니다. Stage에는 서로 다른 후보가 정확히 두 개 필요합니다. Random은 선택적으로 가중치를 사용해 후보 중 하나를 선택합니다.
Task 및 Composite 라우팅을 포함한 classifier 기반 전략에는 이 통합이 처리할 수 없는 중간 모델 호출이 필요합니다. 이 adapter는 지원되는 메시지 형식도 제한합니다. 텍스트 메시지, function tool 호출, 텍스트 tool 결과가 지원되는 대화 경로를 구성합니다.
이러한 경계가 중요한 이유는 “Switchyard 지원”이라는 표현만으로는 호환성을 완전하게 설명할 수 없기 때문입니다. 어떤 라우팅 동작을 사용할 수 있는지는 통합 방식이 결정합니다. 더 넓은 프로젝트의 기능 목록만으로는 배포된 이 gateway가 무엇을 수용하는지 확인할 수 없습니다.
Random 라우팅은 Stage와 다른 분석 목적을 수행합니다. 실행 진행 상황을 해석한다고 주장하지 않고 트래픽을 분할합니다. 두 방식의 결과를 비교하면, 기록에 민감한 선택이 요청을 모델 간에 분산하는 것 이상의 가치를 제공하는지 조사하는 데 도움이 될 수 있습니다.
이 비교에는 주의가 필요합니다. 라우팅 결정은 이전 턴이 이후 턴에 영향을 주는 작업 안에서 이루어집니다. 요청 수준의 분할을 독립적이고 완결된 개발 과제 간의 깔끔한 비교로 자동 해석해서는 안 됩니다.
이 plugin은 공개 route와 응답 모델도 구분합니다. x-litellm-model-name 응답 헤더는 선택된 모델을 식별하지만, 응답 본문에는 group 이름이 남습니다. 비용 집계는 실제로 요청을 처리한 모델을 따라야 합니다.
이는 시스템이 수행한 일을 점검할 수 있는 능력, 즉 관측 가능성 요건을 만듭니다. 클라이언트가 선택 정보를 버리면 검토자는 route에 관한 근거를 잃게 됩니다. 그러면 최종 통과나 실패의 원인을 설명하기가 더 어려워집니다.
reference implementation은 Claude Opus 5.5와 NVIDIA Nemotron 3 Super 120B를 함께 사용합니다. AWS는 이 조합이 미국 동부, 버지니아 북부에서 테스트되었다고 밝힙니다. 이 범위만으로는 모든 모델과 Region에서의 지원을 입증할 수 없습니다.
AWS는 이 코드를 비프로덕션 평가용으로도 표시하며, 통합을 실험적이라고 명시합니다. 따라서 더 장기적인 서비스를 계획하는 팀에는 구성 및 인터페이스 변경이 중요한 우려 사항입니다.
성공적인 배포는 그에 맞게 해석해야 합니다. 구성된 시스템이 테스트된 조건에서 실행될 수 있음을 보여줄 뿐입니다. 다른 agent, 모델 조합, 워크로드 또는 조직에 대해 수용 가능한 동작을 입증하지는 않습니다.
위치 제약도 비슷한 정밀함이 필요합니다. 샘플의 글로벌 inference profile은 배포 Region 밖에서 처리를 허용할 수 있습니다. 선택한 위치에서 gateway를 실행한다고 해서 모든 모델 요청이 어디에서 처리되는지가 자동으로 결정되지는 않습니다.
더 큰 회의적 논점은 경제성입니다. 라우팅 시스템은 inference 비용과 함께 인프라, 유지보수, 조사 작업을 추가합니다. 조직은 benchmark 결과를 운영 비용 주장으로 바꾸기 전에 이러한 의무를 고려해야 합니다.
작은 작업도 중요한 질문을 남깁니다. 장기 조사, 낯선 repository, 테스트가 불완전한 변경은 서로 다른 실패 패턴을 만들 수 있습니다. 이는 샘플을 기각할 이유가 아니라 평가를 확장해야 할 이유입니다.
이 아키텍처는 범위가 제한된 실험으로 볼 때 가장 신뢰할 수 있습니다. 명시된 한계는 개발자가 아직 확인해야 할 사항을 파악하는 데 도움이 됩니다. 이러한 한계를 무시하면 그에 따른 비용 절감 주장의 신뢰도는 낮아집니다.
Bedrock은 이미 또 다른 라우팅 방식을 제공합니다
핵심 선택은 어떤 선택 메커니즘이 워크로드와 운영 모델에 맞는가입니다.
Amazon Bedrock의 intelligent prompt routing은 예측된 응답 품질을 사용해 모델 계열 내에서 라우팅하는 관리형 endpoint를 제공합니다. AWS는 지원 모델과 Region에 따라 사용 가능 여부가 달라지는 기본 router와 구성 가능한 router를 문서화하고 있습니다.
이는 Switchyard 샘플의 실행 기록 기반 접근법 및 Anthropic–NVIDIA 조합과 다릅니다. 이 비교는 아키텍처와 선택 동작에 관한 것입니다. 현재 제공되는 문서만으로는 어느 방식이 더 나은 코딩 결과를 만든다고 입증할 수 없습니다.
플랫폼 팀에서 관리형 라우팅은 소유권 문제를 바꿉니다. 서비스 제공 메커니즘과 자체 배포 gateway는 조직에 서로 다른 책임을 부여합니다. 이러한 책임은 사용 가능한 모델 선택지와 함께 평가되어야 합니다.
이 이야기에서 주된 비교 대상은 여전히 고정 모델 실행입니다. 관리형 라우팅은 유용한 업계 맥락을 제공하지만, 기준선을 대체하지는 않습니다. 팀은 기존 모델이 이미 경제적으로 워크로드를 완료하는지 여전히 알아야 합니다.
그 기준선에는 실질적인 강점이 있습니다. 모든 턴이 동일하게 구성된 모델을 사용하므로 동작의 원인을 더 쉽게 추적할 수 있습니다. 검토자는 선택 정책이 실패에 기여했는지 먼저 판단하지 않고도 실패를 조사할 수 있습니다.
라우팅은 다른 장점을 제공합니다. 과제 전체에서 일정하게 유지되는 대신, 작업에 맞춰 모델 할당이 반응하도록 합니다. 이 유연성은 팀의 실제 제약 아래에서 결과를 개선할 때만 의미가 있습니다.
이 비교는 팀이 모델 순위를 해석하는 방식도 바꿉니다. 독립 실행에서 강한 결과가 라우팅 시스템 내에서 최적의 역할을 자동으로 예측하지는 않습니다. 복구 성능과 일상 작업 성능의 중요도는 서로 다를 수 있습니다.
마찬가지로, 독립 실행에서는 약한 후보라도 할당된 작업이 강점에 맞으면 유용한 작업에 기여할 수 있습니다. 이는 여전히 측정이 필요한 가설입니다. route에 참여한다는 사실은 route가 최적의 할당을 찾았다는 증거가 아닙니다.
따라서 엔터프라이즈 구매자는 기초 워크로드와 의사결정 조건을 요구해야 합니다. inference 비용 절감에 관한 주장은 그에 상응하는 완료율을 포함해야 합니다. 품질 향상에 관한 주장은 그에 상응하는 리소스 소비량을 포함해야 합니다.
여러 사람이 이 실험을 검토할 때는 지식 관리가 중요해집니다. 작업 정의, 구성 변경, 실패 설명은 계속 찾아볼 수 있어야 합니다. 그렇지 않으면 팀은 아무도 조건을 재구성할 수 없는 비교를 반복할 위험이 있습니다.
검색 가능한 engineering knowledge base는 이 평가 맥락을 기술 문서와 함께 보존할 수 있습니다. 이는 이후 검토를 지원하지만, 결과를 검증하는 데 필요한 실행 기록을 대체하지는 않습니다.
따라서 업계적 의미는 router에 대한 관심 증가보다 더 구체적입니다. 모델 선택은 개발 워크플로에서 측정 가능한 부분이 되고 있습니다. 이는 편리하게 잘라낸 비용 일부가 아니라 완전한 결과를 보고해야 한다는 압력을 만듭니다.
현재로서는 이 아키텍처가 가능한 실험의 범위를 확장합니다. 고정 실행, 관리형 선택, gateway 정책 중 어느 것을 택할지는 해결하지 못합니다. 결정적 근거는 여전히 워크로드입니다.
다음 근거에는 재현 가능한 성과와 완전한 비용 집계가 필요합니다
다음으로 유용한 결과는 실패와 누락된 측정치가 드러나는 상태에서, 비교 가능한 조건 아래 반복 가능한 개선을 보여주는 것입니다.
가장 먼저 살펴볼 신호는 더 폭넓은 작업 평가입니다. 앞으로 몇 달 동안 라우팅 실행은 대표적인 작업에서 두 독립 후보 모두와 비교되어야 합니다. 동일한 지침, tools, 시작 상태, 종료 조건을 적용해야 합니다.
해결된 작업당 더 낮은 비용이 반복 실행과 까다로운 과제에서도 유지되면 결과는 라우팅의 근거를 강화합니다. 실패를 비용 집계에 포함하거나 작업이 덜 익숙해졌을 때 장점이 사라지면 근거는 약화됩니다.
중요한 근거는 단순한 평균이 아닙니다. 검토자는 어떤 작업이 개선되고 어떤 작업이 악화되는지, 그리고 그 이유를 살펴봐야 합니다. 일상 유지보수에는 도움이 되지만 복잡한 수리에는 해를 끼치는 route는 더 제한적인 배포 결정을 뒷받침합니다.
NVIDIA의 benchmark integration은 평가 프레임워크인 NeMo Gym을 통해 관련 비교 원칙을 제공합니다. 이는 배포 조건을 기록하고 선택된 모델을 route 이름과 구분합니다. 또한 전략이 judges를 사용할 경우 judge-token 집계도 식별합니다.
이 세부 사항을 AWS plugin에서 활성화된 기능과 혼동해서는 안 됩니다. 이는 더 완전한 평가 기록에 포함될 수 있는 내용을 보여줍니다. 구성 차이가 명시되고 개별 결과를 계속 추적할 수 있을 때 비교 가능성은 높아집니다.
두 번째 신호는 운영 성숙도입니다. 통합 지원, 메시지 처리, 배포 가이드의 변화는 실험과 신뢰할 수 있는 사용 사이에 얼마나 많은 작업이 남았는지 보여줄 것입니다. 명확한 업그레이드 경로는 지속적 도입의 근거를 강화할 것입니다.
반대 신호는 업데이트 후 결과를 재현하기 어렵게 만드는 반복적인 비호환성입니다. 팀은 변경된 결과가 모델, 정책, adapter, agent 중 어디에서 비롯됐는지 이해해야 합니다. 기록되지 않은 변경은 그러한 이해를 훼손합니다.
세 번째 신호는 완전한 비용 집계입니다. inference 추정치는 결국 인프라 비용과 gateway 운영에 필요한 노력까지 포함해 평가되어야 합니다. route가 상당한 수리를 요구하는 작업을 만들 때는 개발자 개입도 중요합니다.
이처럼 더 폭넓은 비용 집계에서도 유지되는 라우팅 이점은 더 강력한 비즈니스 근거를 뒷받침할 것입니다. 사라지는 이점도 여전히 유용한 근거가 됩니다. 더 단순한 고정 모델 구성이 더 나은 선택으로 남는 지점을 보여주기 때문입니다.
다음 평가는 수용 가능한 작업에 대한 명시적 정의로 시작해야 합니다. 대표적인 과제를 선택하고 시작 상태를 보존하며, 라우팅 실행을 각 독립 후보와 비교하십시오. 실패한 시도도 보이게 유지하고, 유난히 유리한 실행에 의존하는 결과를 조사하십시오.
그다음 실제 handoff를 살펴보십시오. 전환이 agent의 복구를 도왔습니까, 아니면 유능한 모델이 더 빨리 완료했을 작업을 미뤘습니까? 테스트 결과는 유지보수성에 관한 주장과 분리하고, 추정 inference 비용과 총 운영 비용을 구분하십시오. NeMo Switchyard 라우팅은 Bedrock에서 이러한 질문을 조사할 구체적인 방법을 제공합니다. 기본 구성을 선택하기 전에 어떤 구성이 가장 적은 총 노력과 비용으로 수용 가능한 변경을 반복적으로 제공하는지 물어보십시오.



