Amazon SageMaker AI 증류, 4B 쇼핑 에이전트를 교사 모델에 가깝게 끌어올려
AWS는 11월 2일 Amazon SageMaker AI 증류 사례를 공개하며, 4B 쇼핑 에이전트가 더 큰 교사 모델의 벤치마크 성능에 근접했다고 밝혔다. 지식 증류는 학생 모델이 교사 모델의 출력을 모방하도록 훈련하는 방식이다. 이 결과는 에이전트 내부의 반복적인 의사결정이 성능 좋은 모델의 운영 비용을 높일 수 있다는 현실적인 긴장에 대응한다.
AWS에 따르면 증류된 Qwen3.5-4B는 ShoppingBench에서 평균 54.1%의 성공률을 기록했다. 이는 훈련 전 29.7%와 결정론적 생성 방식을 사용한 GLM-5.3 교사 모델의 54.0%와 비교된다. 평가는 보류된 324개 문제를 대상으로 이뤄졌다. AWS는 예상되는 변동성이 있는 단일 실행 결과라고 설명했다.
핵심 비교는 프런티어 모델 추론을 반복하는 방식과 특화 학생 모델에 선투자하는 방식 사이에 있다. Anthropic은 일상적인 요청은 소형 모델로 라우팅하고 어려운 작업에는 대형 모델을 남겨 두는 또 다른 기준점을 제시한다. AWS의 사례는 관련된 질문을 던진다. 반복되는 에이전트 작업에서 일반 지능이 필요한 부분은 얼마나 되며, 성공 사례가 축적된 뒤 재현 가능한 행동이 되는 부분은 얼마나 될까?
Amazon SageMaker AI 증류, 전문성을 성과 지표에 올리다
AWS는 범용 프런티어 역량의 대체재가 아니라 특화 쇼핑 에이전트에 관한 근거를 제시한다.
AWS의 쇼핑 에이전트 증류 워크플로는 행동과 관찰의 연속인 성공적인 교사 모델 궤적을 보존한다. 서버리스 인프라에서 생성된 시퀀스를 교육 사례로 활용하는 시퀀스 수준 지식 증류를 통해 훈련한다. 애플리케이션 코드는 여전히 도구를 실행한다. AWS는 일반적인 지시 이행 능력이 일부 감소했다고도 보고했다.
이러한 세부 사항은 발표의 적용 범위를 설정한다. 쇼핑 벤치마크는 인식 가능한 작업과 채점 체계를 갖춘 정의된 환경을 시험한다. 엔터프라이즈 어시스턴트는 구축자가 정한 경계 안에서 작동한다. 그 경계가 안정적이고 반복 가능한 작업과 가까울수록 이 실험의 관련성은 커진다.
상품을 추천하는 일과 제한 없는 고객 요청을 처리하는 일의 차이를 생각해 볼 수 있다. 추천에는 시스템이 카탈로그 정보와 대조할 수 있는 명시적 제약 조건이 있을 수 있다. 제한 없는 요청에는 추가 설명, 정책 해석 또는 에스컬레이션이 필요할 수 있다. 비슷한 인터페이스는 기반 모델에 요구되는 수준이 매우 다르다는 사실을 가릴 수 있다.
따라서 제품 팀에 유용한 해석은 조건부다. 반복 작업이 학습 가능한 패턴을 따른다면, 교사 모델이 생성한 사례는 프런티어 모델을 계속 사용하는 방식과 비교할 가치가 있다. 요청이 이러한 패턴을 자주 벗어난다면, 모델의 더 폭넓은 역량은 계속해서 제품 가치의 일부가 된다.
이 구분은 구매자가 벤치마크 결과를 읽는 방식을 바꾼다. 특정 작업에서 교사 모델과 성능이 일치한다고 해서 두 모델이 상호 교체 가능하다는 뜻은 아니다. 이는 시험 조건 안에서 가능한 대체 후보를 제시할 뿐이다. 다음 판단은 그 조건이 의도한 서비스를 충분히 대표하는지에 관한 것이다.
작업 역량을 입증하는 것과 수용 가능한 제품 품질을 확립하는 것 사이에도 차이가 있다. 벤치마크 점수는 해당 채점 규칙 아래의 성능을 설명한다. 제품 책임자는 어떤 실패가 중요한지, 어떤 실패에 개입이 필요한지, 어떤 실패가 서비스를 배포하기에 부적합하게 만드는지를 결정해야 한다.
쇼핑 어시스턴트의 경우 잘못된 추천은 불편을 초래하거나 신뢰를 훼손할 수 있다. 되돌릴 수 없는 행동을 실행하는 워크플로에는 다른 수용 기준이 필요하다. 벤치마크만으로는 운영자를 대신해 그 기준을 선택할 수 없다.
이 뉴스의 가치는 이 대체를 평가할 만큼 구체적으로 만들었다는 데 있다. 팀은 동일한 비즈니스 기능을 중심으로 범용 모델과 훈련된 전문 모델을 비교할 수 있다. 이는 작업을 명시하지 않은 채 모델 크기만 비교하는 것보다 더 유용한 논의를 만든다.
또한 이는 익숙한 조달 가정에 압박을 가한다. 성공적인 프로토타입에 선택된 모델이 모든 운영 의사결정을 계속 맡아야 한다는 가정이다. 이 실험은 팀이 그 가정을 재검토할 이유를 제공한다. 그렇다고 대체 모델을 검증할 책임이 사라지는 것은 아니다.
반복되는 의사결정이 전체 작업에 비용 압력을 가한다
SageMaker 에이전트 효율성은 실패와 복구를 포함해 수용 가능한 작업을 완료하는 비용으로 판단해야 한다.
모델 호출은 에이전트 작업의 한 구성 요소일 뿐이다. 관찰에 따라 행동을 선택하는 시스템인 에이전트는 여러 차례의 의사결정을 이어갈 수 있다. 각 의사결정은 유용한 진전, 불필요한 작업 또는 오류가 발생할 또 다른 기회를 만든다.
따라서 개별 응답의 낮은 비용만으로는 경제성을 완전하게 측정할 수 없다. 반복 재시도가 필요한 소형 모델은 겉보기 이점을 소진할 수 있다. 안정적으로 작업을 마치는 더 비싼 모델이 여전히 더 바람직할 수 있다. 관련 비교는 사용자의 요청이 수용 가능한 결과에 도달할 때까지 추적해야 한다.
전문화 검토 팀은 사례 생성, 데이터 검토, 훈련, 평가, 호스팅 및 유지보수를 회계에 포함해야 한다. 이 비용들은 서로 다른 시점에 발생한다. 그 결과 행동이 잦은 교체 없이 반복 수요를 충족할 때 선투자의 정당화는 쉬워진다.
트래픽 패턴도 중요하다. 사용량이 적은 서비스와 지속적으로 바쁜 서비스는 호스팅 구성에 서로 다른 요구를 부과한다. 팀은 실제 워크로드를 유지할 것으로 예상하는 용량과 비교해야 한다. 모델 크기만으로는 이 비교를 해결할 수 없다.
압력은 이미 작동하는 에이전트를 보유했지만 불확실한 운영 마진에 직면한 제품 책임자에게 가장 직접적으로 가해진다. 이들은 유용한 행동을 보존하면서 이를 제공하는 데 필요한 자원을 줄여야 한다. 이는 이용 가능한 모델 중 가장 성능 좋은 모델을 찾는 문제보다 더 좁은 문제다.
엔지니어링 팀도 이에 상응하는 책임 변화를 맞는다. 호스팅된 범용 모델을 계속 사용하면 모델 개발의 상당 부분은 애플리케이션 팀 외부에 남는다. 전문 모델을 유지하면 사례, 평가 결정, 버전 변경에 대한 소유권이 생긴다. 모든 재무 평가는 이 추가 작업을 인식해야 한다.
대안은 전체 모델을 교체하는 데만 국한되지 않는다. Anthropic의 에이전트 아키텍처 가이드는 단순한 설계에서 시작해 필요할 때 복잡성을 추가할 것을 권고한다. 또한 요청의 요구 수준에 따라 라우팅하는 방법도 설명한다. 이는 훈련된 전문 모델을 고려하는 구매자에게 유용한 비교 기준을 제공한다.
서로 다른 요청을 서로 다른 처리 경로로 보내는 라우팅은 어려운 사례에 더 폭넓은 역량을 계속 활용할 수 있게 한다. 증류는 반복 작업 자체에서 소형 모델의 행동을 개선하려 한다. 이 접근 방식들은 함께 사용할 수 있지만, 결합하면 평가가 필요한 또 하나의 의사결정이 추가된다.
운영상의 질문은 전문 모델의 책임이 어디에서 끝나는가가 된다. 서비스는 지원되지 않는 요청이나 실패한 진행을 인식할 수 있는 방어 가능한 방법이 필요하다. 그렇지 않으면 계속된 시도가 자원을 소비하면서 사용자가 실제로 필요로 하는 도움을 늦출 수 있다.
이 분석은 보편적인 비용 절감 주장을 확립하지 않는다. 그러한 주장을 뒷받침할 측정 기준, 즉 수용 가능한 완료 건당 총 자원의 지속적인 감소를 제시한다. 자동화 경로가 실패할 때의 사람 지원도 이 측정에 포함해야 한다.
엔터프라이즈 구매자에게 이는 요청할 만한 근거를 바꾼다. 유창한 응답의 시연은 역량에 관한 질문에 답한다. 완료, 복구 및 운영 노력의 기록은 배포에 관한 질문에 답한다. 후자가 전문화가 경제적 이점을 제공하는지 결정한다.
성공 사례는 팀이 유지해야 할 자산이 된다
증류의 전략적 가치는 성공적인 행동을 포착하고, 검증하고, 재사용할 수 있는지에 달려 있다.
기저 아이디어는 현재의 에이전트 시장보다 앞선다. Yoon Kim과 Alexander Rush는 2016년 기계 번역에서 시퀀스 수준 지식 증류를 연구했다. 이들의 연구는 대형 시스템의 시퀀스 생성 행동을 소형 모델로 이전하는 방식을 살폈다. 이 메커니즘에 확립된 연구 계보가 있다는 점에서 역사적 연결은 중요하다.
그렇다고 결과가 도메인 전반에 자동으로 이전되는 것은 아니다. 번역과 대화형 도구 사용은 실패 조건이 다르다. 관련된 연결점은 훈련 패턴이다. 더 강한 시스템이 다른 모델의 감독 신호가 되는 출력을 제공한다.
에이전트 제품의 경우 이는 팀이 재사용 가능한 자산으로 간주해야 할 대상의 변화를 시사한다. 자산은 단순한 대화 기록 저장소가 아니다. 특정 훈련 목적을 뒷받침하는 입력, 행동, 관찰 및 결과의 사례 모음이다.
사례는 그럴듯해 보여도 유용한 감독 신호가 아닐 수 있다. 세련된 최종 응답은 뒷받침되지 않은 가정을 숨길 수 있다. 성공적인 결과는 배포 환경에서 이용할 수 없는 정보에 의존했을 수 있다. 마지막 메시지만 검토하면 이러한 차이를 놓치게 된다.
이는 비즈니스 작업을 이해하는 사람들에게 일을 만든다. 자동화된 필터나 검토자가 이를 적용하기 전에, 성공의 의미를 정의해야 한다. 이 정의가 없으면 사례 수를 늘리는 일은 학생 모델을 개선하기보다 모호성을 확대할 수 있다.
소유권 문제도 있다. 작업이 바뀌면 조직은 어떤 사례가 여전히 유효한지 알아야 한다. 수정된 도구, 새 정책 또는 다른 카탈로그 구조는 모방할 가치가 있는 행동을 바꿀 수 있다. 따라서 훈련 데이터에는 유지보수 절차가 필요하다.
가상의 내부 엔지니어링 어시스턴트라면 이 절차에는 사례가 기록된 시점에 어떤 문서가 권위 있는 자료였는지 확인하는 일이 포함될 수 있다. 같은 우려는 검색 가능한 지식 기반에도 적용된다. 검색 품질은 부분적으로 이용 가능하게 만든 정보에 달려 있다. 훈련 사례도 출처에 대해 이와 비슷한 주의가 필요하다.
이 연결을 특정 제품의 훈련 파이프라인에 관한 주장으로 오해해서는 안 된다. 이는 실용적인 비유다. 검색 시스템과 특화 모델 모두 어떤 정보를 신뢰할 가치가 있는지에 관한 결정에 의존한다.
훈련 방법도 실험의 범위에 영향을 미친다. 저랭크 적응, 즉 LoRA는 원래 모델 가중치를 고정한 채 압축된 업데이트를 훈련한다. 저자들은 적응 과정에서 훈련이 필요한 매개변수를 줄이는 방법을 연구했다.
구매자에게 이것이 의미하는 바는 모든 모델 가중치가 바뀌어야 한다고 가정하지 않고도 전문화를 평가할 수 있다는 점이다. 그렇다고 모델 거버넌스가 사라지는 것은 아니다. 적응된 행동에는 여전히 고유한 식별, 테스트 및 출시 결정이 필요하다.
따라서 방어 가능한 경쟁 우위는 학생 모델을 선택하는 데만 있을 가능성이 낮다. 더 강한 우위는 작업 지식, 신뢰할 수 있는 사례, 의미 있는 평가 및 안정적인 애플리케이션 행동을 결합할 것이다. 이러한 요소는 훈련 레시피를 복제한다고 해서 유용한 제품이 자동으로 재현되지 않는 이유를 설명한다.
일치하는 평균은 중요한 신뢰성 질문을 남긴다
평가가 헤드라인 평균을 넘어설 때 SageMaker 증류의 트레이드오프가 드러난다.
평균은 성능을 요약할 수 있지만 작업 범주 간 차이를 가릴 수도 있다. 구매자에게 중요한 질문은 남아 있는 실패가 제품이 가장 큰 위험을 만드는 영역에 집중되는지다. 전체 점수가 같다고 해서 실패 양상까지 같다는 뜻은 아니다.
전문 모델은 반복적인 요청에는 잘 대응하면서도 낯선 제약 조건의 조합에서는 어려움을 겪을 수 있다. 범용 모델은 다른 유형의 실수를 할 수 있다. 어느 한 시스템을 교체하기 전에 팀은 실패 사례를 검토하고 대안이 중요한 실패를 개선하는지 판단해야 한다.
인터랙티브 시스템은 추가적인 복잡성을 만든다. 모델의 행동은 다음에 관찰하는 내용을 바꾼다. 초기 행동이 이례적인 상황으로 이어지면 이후 결정은 그 새로운 상황을 처리해야 한다. 개별 응답만 평가해서는 이 관계를 완전히 포착할 수 없다.
Stéphane Ross, Geoffrey Gordon, J. Andrew Bagnell의 연구는 순차적 모방 학습에서 이 문제를 다룬다. 이들의 연구는 초기 예측이 이후 관찰에 영향을 줄 때 전문가 행동으로부터 학습하는 일이 왜 어려워지는지 설명한다. 이는 AWS 결과에 대한 독립적인 평가가 아니라 관련 이론적 맥락을 제공한다.
이를 여기 적용하면 우려는 명확하다. 성공적인 전문가 행동의 사례가 학생 모델의 실수로 만들어진 상황까지 반드시 포괄하는 것은 아니다. 따라서 배포 평가는 성공적인 모방뿐 아니라 복구 능력도 살펴봐야 한다.
부적합한 카테고리를 검색하는 쇼핑 어시스턴트를 생각해 보자. 다음으로 유용한 행동은 관련 없는 결과를 계속 살피는 것이 아니라 검색을 수정하는 일일 수 있다. 일반적인 요청을 능숙하게 처리하는 모델이라도 현재 경로가 실패했음을 인식할 방법이 필요하다.
이는 AWS 실험에서 보고된 결과가 아니라 예시적 실패 시나리오다. 이는 제품 평가가 답에 도달하는 것과 오류 후 복구하는 것을 구분해야 하는 이유를 보여 준다. 둘 다 사용자 경험과 소모되는 자원에 영향을 준다.
일반적인 지시 이행에는 별도의 주의가 필요하다. 전문 모델은 지정된 작업에는 더 능숙해지면서 다른 지시에 대해서는 덜 신뢰성 있게 반응할 수 있다. 그러한 변화가 수용 가능한지는 주변 제품이 해당 모델에 준수하도록 요구하는 지시가 무엇인지에 달려 있다.
지시 이행 평가 또는 IFEval은 기계적으로 확인할 수 있는 요구사항이 포함된 지시를 사용해 이 역량을 평가한다. 저자들은 인간의 판단이나 다른 모델의 선호에 전적으로 의존하는 방식의 대안을 제시한다. 이러한 테스트는 작업 평가를 대체하지 않으면서 보완할 수 있다.
더 넓은 교훈은 평가가 동일한 시스템을 여러 관점에서 살펴봐야 한다는 것이다. 작업 성공 평가는 원하는 결과가 발생했는지를 확인한다. 지시 검사는 명시적 요구사항 준수 여부를 살핀다. 복구 분석은 진행이 잘못된 뒤의 행동을 검토한다.
이러한 지표 중 어느 것도 단독으로 제한 없는 배포 준비 상태를 입증하지는 못한다. 팀은 각 지표를 수용 결정과 연결해야 한다. 형식 지시를 따르지 못한 일과 무단 행동이 같은 구분 없는 평균 속으로 사라져서는 안 된다.
바로 이 지점에서 신중한 해석이 이야기를 강화한다. 벤치마크는 전문화를 조사할 가치가 있음을 보여 준다. 동시에 운영자에게 적용 범위, 복구, 수용 가능한 행동에 관해 답해야 할 구체적인 질문을 남긴다.
전문 모델 호스팅은 운영상의 거래 조건을 바꾼다
더 작은 모델은 책임을 없애는 대신 시스템 전반에 재배분한다.
전문 모델의 경제적 매력은 팀이 모델 아티팩트에 집중하도록 만들 수 있다. 프로덕션 환경에서 아티팩트는 도구, 자격 증명, 데이터 소스, 사용자 기대가 있는 서비스 내부에서 작동한다. 이러한 주변 구성 요소는 어떤 행동이 가능해지는지를 계속 결정한다.
모델은 행동을 제안할 수 있지만, 그 제안을 실행으로 전환할지 결정하는 것은 애플리케이션 코드다. 이 분리는 운영자가 인수를 검증하고, 권한을 강제하며, 사용할 수 없는 서비스를 처리할 위치를 제공한다. 학습 품질이 이러한 통제를 대체하지는 않는다.
추천 제품의 경우 경계는 카탈로그 정보에 대한 읽기 전용 접근일 수 있다. 다른 제품에서는 도구가 레코드를 수정하거나 거래를 시작할 수 있다. 적절한 실행 규칙은 모델 크기와 무관하게 그 차이에 달려 있다.
이는 호스팅 유연성이 추가적인 운영 책임과 함께 제공될 수 있기 때문에 조달에도 중요하다. 팀에는 전문 모델을 위한 릴리스 프로세스, 버전을 비교할 방법, 행동이 악화될 때의 대응책이 필요하다. 이러한 요구사항은 최초 비즈니스 사례에 포함되어야 한다.
버전 변경 역시 모델 가중치 교체보다 넓게 정의할 필요가 있다. 도구 설명을 변경하면 모델이 행동을 선택하는 방식이 달라질 수 있다. 검색이 반환하는 정보를 바꾸면 이후 결정도 달라질 수 있다. 평가 대상 시스템에는 이러한 인터페이스도 포함된다.
따라서 유용한 릴리스 기록은 모델, 학습 예시, 도구 계약, 평가 조건을 식별해야 한다. 목적은 실용적인 재현성이다. 실패가 발생하면 엔지니어는 어떤 변경이 이를 도입했는지, 어떤 이전 구성이 여전히 적합한지 판단해야 한다.
같은 규율은 오해를 부르는 비교를 방지하는 데도 도움이 된다. 전문 모델이 기준선보다 더 나은 인터페이스를 제공받는다면 결과는 모델 적응 이상의 요인을 반영한다. 그 개선은 여전히 가치 있을 수 있지만, 구매자는 무엇이 그 결과를 만들었는지 이해해야 한다.
기업 팀은 예측 가능한 반복 업무와 폭넓은 해석이 필요한 요청도 구분해야 한다. 전문 모델은 서비스에서 유일한 모델이 되지 않으면서도 명확하게 정의된 운영 역할을 가질 수 있다. 그 역할을 명시적으로 유지하면 이후 성능 주장을 더 쉽게 평가할 수 있다.
그러면 비즈니스 책임자는 더 구체적인 트레이드오프에 직면한다. 전문화는 반복적인 추론 수요를 줄일 가능성을 제공한다. 그 대가로 조직은 변화하는 요구사항에 맞춰 더 좁은 행동 범위를 유지할 책임을 맡는다.
SageMaker 에이전트 효율성은 이 전체 거래 조건이 작동할 때 의미를 갖는다. 성능은 좋지만 지속적인 수동 보수가 필요한 모델은 서비스를 개선하지 못할 수 있다. 책임 범위가 안정적이고 유지보수가 관리 가능한 더 좁은 모델은 그럴 수 있다.
같은 논리는 개발자 경험에도 적용된다. 프로토타입은 문제가 발생했을 때 조사를 감수할 수 있다. 프로덕션 팀에는 관찰 가능한 실패, 재현 가능한 구성, 명확한 에스컬레이션 경로가 필요하다. 운영상의 명확성은 가치 제안의 일부다.
재현, 완료 작업 경제성, 변화하는 워크로드를 지켜봐야 한다
다음으로 유용한 증거는 재현성, 운영 가치, 지속 가능성을 그 순서대로 검증해야 한다.
첫째, 고정된 조건과 명확히 분리된 학습 및 테스트 자료를 사용한 반복 평가를 지켜봐야 한다. 이는 보고된 관계가 샘플링과 학습 변동의 변화에도 유지되는지를 보여 줄 것이다. 독립적인 재현은 동일한 실험에 대한 또 다른 설명을 넘어 신뢰를 더할 수 있다.
중요한 신호는 한 번의 유리한 결과가 아니라 일관성이다. 문서화된 조건에서 유사한 학생 모델이 반복적으로 교사 모델에 근접한다면 작업 전문화의 근거가 강화된다. 결과가 크게 달라진다면 운영자는 어떤 조건이 성공을 결정하는지 이해해야 할 것이다.
재현은 비교의 경계도 보존해야 한다. 다른 작업에서 수행한 새 실험은 원래 결과를 직접 확인하지 않더라도 가치가 있을 수 있다. 명확한 보고는 발견을 재현하는 것과 일반적 아이디어를 확장하는 것을 구분해야 한다.
둘째, 요청을 완료까지 추적하는 측정을 지켜봐야 한다. 여기에는 실패한 시도, 에스컬레이션, 학습된 시스템을 유지하는 데 필요한 노력도 포함되어야 한다. 그러한 증거는 모델 성능을 증류의 경제적 동기와 연결할 것이다.
관련된 결과는 수용 가능한 품질 수준에서 지속되는 운영상 이점이다. 더 저렴한 응답만으로는 이를 입증할 수 없다. 완료된 작업당 총 노력이 줄어든다는 사실은 제품 팀이 아키텍처를 바꿔야 할 더 강력한 이유를 제공할 것이다.
구매자는 이러한 측정이 언제 수집되었는지 살펴봐야 한다. 한산한 기간, 수요 피크, 변화하는 요청 구성은 서로 다른 조건을 만들 수 있다. 유용한 운영 보고는 다른 조직이 관련성을 판단할 수 있을 만큼 워크로드를 충분히 설명한다.
셋째, 환경이 변할 때 전문 모델이 어떻게 반응하는지 지켜봐야 한다. 수정된 도구, 업데이트된 카탈로그, 낯선 요청, 새로운 비즈니스 규칙은 학습 예시에 대한 의존성을 드러낼 수 있다. 적응에 관한 증거는 초기 투자가 얼마나 지속 가능한지 명확히 해줄 것이다.
팀이 수용된 행동을 보존하면서 전문 모델을 업데이트할 수 있다면 장기적 근거는 개선된다. 작은 변경에도 광범위한 재구성이 필요하다면 유지보수는 의사결정에서 더 큰 비중을 차지할 것이다. 이것이 학습된 에이전트의 핵심적인 지속 가능성 질문이다.
향후 몇 달 동안 이러한 신호는 또 하나의 고립된 리더보드 순위보다 더 주목할 가치가 있다. Amazon SageMaker AI 증류는 전문화된 학생 모델을 평가할 구체적인 이유를 제공했다. 다음 단계에는 그 역량을 신뢰할 수 있는 서비스 운영과 연결하는 증거가 필요하다.
개발자에게 실질적인 대응은 방어 가능한 성공 조건을 갖춘 반복 작업을 식별하는 것이다. 동일한 도구와 워크로드 가정 아래 현재 시스템을 전문 모델과 비교하라. 일치하는 평균을 기존 모델 교체의 허가로 여기기 전에 실패를 검토하라.
기업 구매자라면 벤더에게 전문 모델의 책임이 어디에서 끝나는지, 그리고 그 경계를 어떻게 유지하는지 설명하도록 요청해야 한다. 벤치마크 점수와 함께 복구, 변경, 완료 작업 경제성에 관한 증거를 요구하라. 수용 가능한 결과를 정의하는 사람들을 그 논의에 참여시켜라. 어떤 반복적 결정이 학습된 전문 모델에 적합하며, 어떤 결정은 여전히 더 폭넓은 모델 역량을 정당화하는가?
