MiniCPM LES, 전문가 제한 없이 35B MoE를 스마트폰으로 가져오다

MiniCPM은 LES 스케줄링 기술이 350억 파라미터 모델이 iPhone 18 Pro Max에서 초당 20.51토큰을 생성하도록 돕는다고 밝혔다. MiniCPM LES는 모델의 어떤 부분이 참여할 수 있는지를 제한하지 않으면서 모델 가중치를 충분히 빠르게 메모리로 옮기는 문제를 겨냥한다.

이 차이는 MoE, 즉 mixture of experts에서 중요하다. MoE는 모든 토큰에 전체 모델을 사용하는 대신, 선택된 파라미터 그룹을 활성화하는 아키텍처다. MiniCPM-V 4.7의 35B-A3B 표기는 전체 파라미터 약 350억 개와 활성 파라미터 30억 개를 뜻한다. 활성 연산량이 적다고 해서 나머지 가중치를 저장하고 접근해야 할 필요가 사라지는 것은 아니다.

핵심 경쟁은 동적인 전문가 선택을 보존하는 것과 로딩 지연을 줄이는 것 사이에 있다. Apple의 이전 플래시 기반 추론 연구는 유용한 기준점을 제시했다. 저장 장치는 제한된 메모리를 확장할 수 있지만, 데이터 이동은 신중하게 관리해야 한다. MiniCPM의 기여는 이 더 넓은 문제 안에서 전문가 스케줄링을 겨냥한다. 공개된 결과 역시 신중한 귀속이 필요하다. 가장 높은 스마트폰 속도는 여러 최적화를 결합한 결과이며, “무손실”은 제목이 암시하는 것보다 더 좁은 의미로 해석해야 한다.

MiniCPM LES, 전문가 로딩을 스케줄링 문제로 전환하다

의미 있는 변화는 모델 본래의 전문가 선택을 보존하면서, 해당 가중치를 기다리는 시간을 줄이려는 시도다.

팀의 35B 모델 카드는 생성되는 각 토큰에 대해 전문가를 선택하는 과정인 토큰 수준 라우팅을 유지하는 배포 방식을 설명한다. 또한 약 3GB의 메모리를 사용해 iPhone 17 Pro Max에서 초당 13토큰 이상을 달성한 별도 결과도 보고한다.

이전의 스마트폰 결과는 더 새로운 iPhone 18 Pro Max 벤치마크와 구분해야 한다. 두 결과는 서로 다른 기기와 문서화된 구성을 다룬다. 이를 동일한 것으로 취급하면 공개 증거가 실제로 입증하는 내용이 흐려진다.

LES는 Lookahead Expert Scheduling을 뜻하며, 다음 모델 레이어에 필요한 전문가를 예측하는 시스템이다. 목적은 로딩 작업을 더 이른 시점으로 옮기는 데 있다. 이 예측은 연산 배치를 돕지만, 모델의 최종 전문가 선택을 대체하지는 않는다.

애플리케이션 개발자 관점에서 배포 문제를 생각해 보자. 어시스턴트는 답변을 생성할 충분한 연산 능력을 갖추고도, 다음 작업에 필요한 가중치가 없어 느릴 수 있다. 연산이 데이터를 기다리는 상황에서는 산술 연산 속도를 높여도 큰 도움이 되지 않는다.

모든 전문가를 작업 메모리에 유지하면 그 지연은 피할 수 있지만, 더 많은 메모리가 필요하다. 가중치를 저장 장치에 두면 상주 메모리 사용량은 줄지만 로딩 작업이 발생한다. 사용 가능한 전문가를 제한하면 접근은 단순해지지만, 답변을 만들어 내는 연산 자체가 바뀔 수 있다.

MiniCPM이 제안한 경로는 전체 전문가 풀에 대한 접근을 유지하면서 가중치가 도착하는 시점을 관리한다. 이는 다른 엔지니어링 목표를 만든다. 핵심 질문은 이미 진행 중인 연산 동안 필요한 데이터가 충분히 도착할 수 있는지다.

이 때문에 이 스케줄링 발표는 모델 크기라는 제목 이상의 관심을 받을 만하다. 스마트폰에서의 큰 파라미터 수만으로는 반응성을 판단하기 어렵다. 로딩과 실행의 배치가 그 성능이 대화형 애플리케이션을 뒷받침할 수 있는지를 결정한다.

사용자에게 이 차이는 연속성으로 나타난다. 텍스트를 생성하기 시작한 뒤 반복적으로 멈추는 답변은 더 안정적으로 출력되는 답변과 다르게 느껴진다. 평균 생성 속도는 이런 경험의 일부를 포착하지만, 지연의 순서도 중요하다.

따라서 실질적 의미는 모델을 실행하는 소프트웨어인 런타임에 달려 있다. 모델 가중치만으로는 모든 호환 애플리케이션이 같은 동작을 재현한다고 입증할 수 없다. 관련 배포 구성에는 모델, 저장소 배치, 스케줄링 구현, 수치 설정이 함께 포함된다.

이 결합된 시스템이 주장 자체의 실제 대상이다. 이는 출시와 함께 제기된 모든 최상급 표현을 받아들이지 않더라도 조사할 수 있는 구체적 근거를 제공한다.

전문가 선택을 보존하면 모바일 배포의 지름길에 압박이 가해진다

즉각적인 압박은 모델이 사용할 수 있는 전문가 풀을 좁혀 속도를 얻는 배포 전략에 가해진다.

메모리와 로딩 시간이 애플리케이션의 자원 예산을 지배할 때 전문가 제한은 매력적으로 보일 수 있다. 사용 가능한 가중치가 적을수록 필요한 로딩도 줄어든다. 문제는 전문가 가용성에 영향을 주는 최적화가 모델 동작에도 영향을 줄 수 있다는 점이다.

이는 개발자가 명시적으로 내려야 하는 선택을 만든다. 원래 모델이 실행되는 방식을 최적화하는가, 아니면 수정된 연산 경로를 배포하는가? 두 접근 모두 평가할 가치가 있지만, 품질 주장에는 서로 다른 증거가 필요하다.

스케줄링 시스템은 유용한 분리를 약속한다. 개발자는 모델의 선택 메커니즘을 그대로 유지하면서 실행 효율을 조사할 수 있다. 이를 통해 어떤 변화가 속도, 답변 품질 또는 둘 다에 영향을 주는지 더 쉽게 식별할 수 있다.

이는 소형 모델과의 비교도 바꾼다. 메모리에 상주하는 경량 모델은 더 단순한 배포 경로를 제공할 수 있다. 스트리밍되는 더 큰 모델은 관련 작업에서 더 나은 결과를 통해 추가 저장 공간과 런타임 복잡성을 정당화해야 한다.

어느 경로도 파라미터 수만으로 승리하지는 않는다. 익숙한 문서에서 짧은 필드를 추출하는 애플리케이션은 더 폭넓은 추론 능력보다 예측 가능한 지연 시간을 더 중시할 수 있다. 낯선 다이어그램을 해석하는 시스템은 답변 품질에 더 큰 비중을 둘 수 있다.

이는 MiniCPM의 검증된 고객 결과가 아니라 배포 시나리오다. 같은 벤치마크가 서로 다른 제품 결정을 뒷받침할 수 있는 이유를 보여준다. 가치는 사용자가 무엇을 요청하는지, 애플리케이션이 어떤 실패를 허용할 수 있는지에 달려 있다.

역사적 비교도 시사하는 바가 있다. Apple의 플래시 기반 추론 연구는 선택적 로딩과 더 효율적인 저장소 접근을 통해 가용 작업 메모리를 넘어서는 모델을 실행하는 방안을 연구했다. 방법은 LES와 다르지만, 공통된 제약은 데이터 이동이다.

이 선례는 신규성 주장을 적절히 제한한다. 플래시 저장소를 사용해 더 큰 모델을 지원하는 방식은 이미 연구 역사를 갖고 있다. 여기서 검토하는 구체적 기여는 전문가 요구 사항을 예측하고 그 실행을 조율하는 데 있다.

모바일 하드웨어 팀에 이 관점은 전체 메모리 및 저장소 경로로 관심을 돌린다. 연산 능력은 여전히 중요하지만, 배포는 산술 연산 한계에 도달하기 전에 멈출 수 있다. 프로세서만 따로 평가하면 이 가능성을 놓치게 된다.

애플리케이션 팀에는 조달 관련 질문을 제기한다. 매력적인 연산 사양을 갖춘 기기라도 의도한 런타임과 워크로드에 맞춰 테스트해야 한다. 저장소 동작, 가용 메모리, 운영 조건이 애플리케이션 성능 프로파일의 일부가 된다.

따라서 경쟁 측면의 의미는 선언된 시장 승리가 아니라 엔지니어링 요구 사항이다. 대안은 비교 가능한 조건에서 품질, 반응성, 자원 사용의 균형을 어떻게 맞추는지 보여야 한다. MiniCPM도 같은 기준을 충족해야 한다.

스케줄링 접근법이 안정적으로 재현된다면, 전문가 제한을 당연한 필수 요소로 정당화하기는 더 어려워진다. 이는 품질 비용과 성능 이점이 드러나야 하는 하나의 설계 선택으로 남는다.

MiniCPM LES가 로딩 지연을 숨기면서 라우팅을 보존하는 방식

LES는 예측을 통해 연산을 준비하고, 실제 라우터는 실행할 전문가를 선택하는 역할을 계속 맡는다.

공식 전문가 스케줄링 문서는 레이어 간 예측과 그에 이은 프리페칭을 설명한다. 이는 실행이 해당 가중치에 도달하기 전에 필요할 가능성이 높은 가중치를 로드한다. 정확히 예측된 전문가는 먼저 실행되고, 그 밖에 필요한 전문가는 그 연산과 동시에 로드된다.

따라서 예측 실패는 필요한 전문가를 건너뛸 권한이 아니라 추가 대기 시간을 만든다. 이 차이가 팀의 무손실 스케줄링 주장을 설명한다. 이는 예측이 언제나 최종 선택과 일치한다고 가정하는 것이 아니라, 전문가 참여를 보존한다는 의미다.

문서는 또한 가중치를 연속적으로 배치하고, 분산된 읽기를 줄이며, 레이어별 혼합 정밀도를 적용하는 방법을 설명한다. 축소된 수치 정밀도로 가중치를 표현하는 양자화는 저장 및 전송 요구량을 낮춘다. 이러한 변화는 로딩 문제의 서로 다른 부분을 다룬다.

이 메커니즘은 실제 배포 환경에서의 측정이 필요하지만 몇 가지 유용한 함의를 제시한다. 예측 정확도만으로는 전체 이점을 판단할 수 없다. 정확한 예측이라도 너무 늦게 도착하면 대기 시간을 거의 줄이지 못할 수 있다.

마찬가지로 적절한 가중치를 일찍 로드하는 일은 기기가 유용한 작업을 겹쳐 수행할 수 있을 때만 도움이 된다. 다른 자원이 제한 요인이 되면 같은 스케줄러도 다른 성능 향상을 낼 수 있다. 성능은 전체 실행 환경에 속한다.

잘못된 예측도 주목할 필요가 있다. 불필요한 항목을 프리페칭하면 전문가 선택을 바꾸지 않더라도 자원을 소비한다. 유용한 질문은 대표적인 요청 전반에서 피한 지연이 그 추가 작업을 상쇄하는지다.

이 때문에 워크로드 선택은 평가의 핵심이 된다. 벤치마크는 스케줄링이 잘 작동하는 상황과 어려움을 겪는 상황을 모두 드러내야 한다. 그러한 분포가 없는 평균값은 애플리케이션 신뢰성에 중요한 패턴을 감출 수 있다.

예를 들어 문서 어시스턴트는 한 세션에서는 익숙한 레이아웃을, 다른 세션에서는 이례적인 시각 구조를 마주할 수 있다. 평가자는 이런 변화가 반응성을 바꾸는지 조사해야 한다. 이 메커니즘은 그 질문을 제기할 이유를 제공하지만, 답을 입증하지는 않는다.

이 접근법은 독자가 쉽게 혼동할 수 있는 두 가지 예측도 구분한다. 전문가 프리페칭은 다가오는 연산에 필요한 가중치를 예측한다. 이후 검증을 위해 후보 출력 토큰을 초안으로 만드는 speculative decoding은 생성 과정 자체와 관련된다.

MiniCPM은 speculative 구성 요소로 DSpark를 통합한다. 이는 처리량을 높일 또 다른 기회를 만들지만, 귀속의 중요성도 커진다. LES에 폭넓게 귀속되는 가속에는 스케줄링, 저장소 접근, 수치 표현, 토큰 초안 생성의 기여가 포함될 수 있다.

개발자에게는 시험 가능한 개념적 이점이 충분히 명확하다. 필요한 작업을 보존한 뒤, 유휴 시간을 줄이도록 준비와 실행을 재배치하는 것이다. 실질적 과제는 기기의 실제 제약 아래에서 그 재배치가 이점을 내도록 하는 데 있다.

이는 큰 모델이 단지 작은 메모리 할당 안에 들어간다고 주장하는 것보다 더 강하고 구체적인 제안이다. 구현이 겨냥하는 대기 시간을 식별하고, 보존한다고 주장하는 모델 동작을 명시한다.

20.51토큰 결과는 여러 최적화를 결합한다

공개된 스마트폰 결과는 lookahead scheduling만이 아니라 전체 최적화 스택에 속한다.

OpenBMB의 온디바이스 벤치마크는 기기 메모리 12GB를 탑재한 iPhone 18 Pro Max를 나열한다. 세부 결과에서 기준선은 초당 3.38토큰으로 시작한다. 룩어헤드 스케줄링은 6.57에 도달하며, 추가 스케줄링 및 로딩 변경을 적용하면 11.34에 이른다.

혼합 정밀도 양자화는 보고된 결과를 초당 17.16토큰까지 끌어올린다. DSpark를 추가하면 초당 20.51토큰, 즉 기준선의 6.07배가 된다. 이에 대응하는 완전 최적화 iPad Pro M4 결과는 초당 17.39토큰이다.

이 수치는 여러 단계가 결과에 기여한다는 구체적인 해석을 뒷받침한다. 전체 가속을 전문가 예측의 단독 효과로 설명하는 근거는 되지 않는다. 이 수치를 재현하려는 개발자에게는 모든 단계의 관련 구성이 필요하다.

기준선도 동등한 수준의 검토가 필요하다. 이러한 최적화가 없는 구현과의 비교는 해당 구현 대비 개선을 보여 준다. 하지만 모든 대체 런타임이나 배포 방식보다 우수함을 자동으로 입증하지는 않는다.

이는 시스템 벤치마크에서 흔히 나타나는 해석 문제다. 큰 상대적 향상은 낮은 출발점과 공존할 수 있다. 독자에게는 절대 성능 결과와 무엇이 바뀌었는지에 대한 명확한 설명이 모두 필요하다.

휴대폰의 총메모리는 모델이 보고한 작업 메모리 사용량과는 다른 질문에 답한다. 기기 용량은 하드웨어 환경을 설명한다. 애플리케이션 메모리는 측정 방법의 영향을 받는, 그 환경 안에서 소비되는 자원을 설명한다.

영구 저장 공간은 또 다른 차원을 더한다. 공식 양자화 모델 파일 목록에서는 Q4_K_M 변형을 21.2GB로 표시한다. 이 목록은 낮은 상주 메모리 사용량 주장을 그만큼 작은 다운로드 용량으로 해석해서는 안 되는 이유를 보여 준다.

파일 목록만으로 이 정확한 아티팩트가 공개된 모든 벤치마크를 생성했음을 입증할 수는 없다. 벤치마크를 정확한 가중치 파일과 일치시키는 작업은 여전히 필요하다. 그렇지 않으면 개발자는 같은 모델명 아래 서로 다른 수치 표현을 비교할 위험이 있다.

이 구분은 제품에 직접적인 영향을 미친다. 모바일 애플리케이션은 설치, 모델 업데이트, 사용 가능한 저장 공간, 실행 동작을 수용해야 한다. 준비 후 효율적으로 생성하는 구성이라도 생성이 시작되기 전에는 허용 가능한 경험을 제공해야 한다.

디코딩 속도는 디코딩이 진행 중일 때의 출력 생성 속도를 측정한다. 이미지를 제출한 시점부터 유용한 답변을 받는 시점까지의 전체 시간으로 취급해서는 안 된다. 입력 처리와 준비에는 별도의 측정이 필요하다.

마찬가지로 토큰은 고정된 수의 영어 단어가 아니라 모델이 사용하는 단위다. 처리량 수치는 명시된 조건에서 기술적 비교를 제공한다. 그것이 보편적인 읽기 또는 말하기 경험으로 직접 변환되는 것은 아니다.

따라서 보고된 결과는 의미가 있지만 범위가 제한적이다. 이는 팀이 명시된 하드웨어에서 자사의 결합된 구현이 도달한다고 말하는 성능을 보여 준다. 이 결과가 현실적인 애플리케이션 세션으로 얼마나 이전되는지는 독립적인 테스트가 판단해야 한다.

“무손실”에는 정의된 기준점이 필요하다

전문가 라우팅을 보존한다는 것은 좁은 기술적 주장을 뒷받침할 뿐, 모든 정밀도 설정·작업·기기에서 동일한 동작을 보장하지는 않는다.

스케줄링 설명을 가장 강하게 해석할 수 있는 부분은 선택에 관한 것이다. 필요한 전문가는 계속 선택 대상에 남으며, 예측 실패가 이들을 연산에서 제외하지 않는다. 이 특성은 사용 가능한 전문가 풀을 제한하면서 발생하는 특정 품질 위험을 다룬다.

완전한 모바일 배포는 추가 질문을 제기한다. 양자화는 가중치 표현을 바꾼다. 따라서 적절한 품질 비교에서는 어떤 참조 모델과 수치 구성이 기준선을 정의하는지 식별해야 한다.

라우팅을 보존한다는 주장이 고정밀도 모델의 모든 출력과 일치한다는 주장으로 조용히 확대되어서는 안 된다. 이 진술들은 서로 다른 특성에 관한 것이다. 평가자에게는 각각에 적합한 증거가 필요하다.

마찬가지로 생성 절차를 보존한다고 해서 답변이 정확하다는 뜻은 아니다. 모델은 의도대로 실행되면서도 차트를 잘못 읽거나, 요청을 오해하거나, 세부 사항을 지어낼 수 있다. 런타임 충실도와 작업 정확도는 별도의 평가가 필요하다.

이 분석에서 검토한 출처를 통해 헤드라인 휴대폰 벤치마크의 독립 재현은 확인되지 않았다. 이 한계가 보고된 결과를 무효화하는 것은 아니다. 다만 독자가 이를 얼마나 자신 있게 일반화해야 하는지를 결정한다.

같은 주의는 회사의 “최초”라는 표현에도 적용된다. 우선순위를 확립하려면 정의된 비교 집합과 일관된 정의가 필요하다. 매끄러운, 실시간, 무손실과 같은 용어는 보편적 순위를 뒷받침하기 전에 측정 가능한 경계가 필요하다.

실시간 여부는 특히 애플리케이션에 좌우된다. 스트리밍되는 텍스트 답변은 실시간 상호작용을 끊을 정도의 지연도 감수할 수 있다. 기술적 처리량 임계값만으로 모든 인터페이스에 적합한지 판단할 수는 없다.

더 긴 세션은 또 하나의 중요한 시험을 제시한다. 평가자는 반복 요청, 변화하는 기기 상태, 경쟁 애플리케이션 활동을 측정해야 한다. 이는 보고된 구현이 반드시 성능 저하를 겪는다는 증거가 아니라 운영상 지속성에 관한 질문이다.

답변 품질 테스트에는 사용자가 인식할 수 있는 실패 사례가 포함되어야 한다. 가상의 비용 처리 워크플로에서는 추출된 항목이 영수증과 일치하는지 확인하는 것을 뜻한다. 문서 분석에서는 설명이 제공된 페이지에 계속 근거하는지 확인하는 것을 뜻한다.

더 폭넓은 지식 워크플로에는 답변에 관련된 저장 자료를 선택하는 과정인 검색이 추가된다. 개인 지식 베이스를 비교하는 독자는 이 계층을 모델 생성 속도와 별도로 평가해야 한다. 더 빠른 출력은 잘못된 원본 문서를 선택한 문제를 보완할 수 없다.

로컬 실행 역시 신중하게 해석해야 한다. 이는 기기에서 입력을 처리하는 배포 옵션을 제공하지만, 완성된 애플리케이션의 모든 데이터 흐름을 설명하지는 않는다. 무엇을 로컬에 유지할지는 애플리케이션 아키텍처가 결정한다.

이러한 구분은 주장을 검증 가능하게 만들어 분석을 강화한다. 질문은 더 이상 “무손실 모바일 AI”가 그럴듯하게 들리는지가 아니다. 어떤 동작이 변하지 않는지, 시스템이 어떤 자원을 소비하는지, 어떤 측정이 결과를 입증하는지가 핵심이다.

MiniCPM LES는 개발자가 조사할 수 있는 구체적인 스케줄링 명제를 제시한다. 수용 여부는 재현 가능한 결과와 애플리케이션 수준의 품질 검증을 따라야 하며, 각 결론은 실제로 측정된 특성과 연결되어야 한다.

이 접근 방식이 제품으로 이전되는지 보여 줄 세 가지 신호

다음 증거는 이 순서대로 재현성, 지속적 사용, 구현 가용성을 연결해야 한다.

첫 번째 신호는 식별 가능한 아티팩트와 설정을 갖춘 독립 재현이다. 앞으로 몇 달 동안 유용한 결과에는 정확한 모델 파일, 런타임 리비전, 프롬프트, 측정 범위가 포함될 것이다. 이러한 세부 정보는 다른 개발자가 동일한 주장을 검토할 수 있게 한다.

재현은 최고 성능을 낸 한 번의 실행만 보고해서는 안 된다. 팀이 대화형 서비스를 계획할 때는 요청 간 변동이 중요하다. 일관된 결과는 공개된 속도가 실제로 사용할 수 있는 구성을 나타낸다는 신뢰를 높일 것이다.

낮은 결과는 즉시 기각하기보다 해석이 필요하다. 서로 다른 가중치 파일이나 설정이 격차를 설명할 수 있다. 일치하는 조건에서 재현 가능한 불일치가 발생한다면 원래 성능 주장을 더 직접적으로 약화시킬 것이다.

두 번째 신호는 대표적인 워크로드에서의 지속 테스트다. 평가자는 입력 제출부터 답변 완료까지 전체 요청을 추적해야 한다. 더 빠르지만 부정확한 출력은 제품 가치가 거의 없으므로, 반응성과 함께 품질도 확인해야 한다.

바로 이 지점에서 모바일 MoE 추론은 기술 시연에서 애플리케이션 결정으로 이동한다. 유용한 평가는 반복적인 문서 또는 이미지 요청 중에도 이점이 지속되는지를 보여 줄 것이다. 또한 더 작은 상주 모델이 여전히 바람직한 조건도 식별할 것이다.

기기 간 결과는 범위를 명확히 해 줄 것이다. 추가 하드웨어에서도 유사한 동작이 나타난다면 더 폭넓은 적용 가능성을 뒷받침한다. 결과가 좁은 구성에 집중된다면 보다 특화된 배포 기회를 시사한다.

세 번째 신호는 필요한 최적화 스택을 접근 가능하게 통합하는 것이다. 개발자에게는 공개된 가중치에서 벤치마크 뒤의 구현으로 이어지는 명확한 경로가 필요하다. 문서는 필요한 런타임과 아티팩트 선택을 모호함 없이 제시해야 한다.

이러한 가용성은 호환성과 동등한 성능이 별개의 성과이기 때문에 중요하다. 지원되는 모델을 로드한다고 해서 애플리케이션이 모든 스케줄링 및 저장 공간 최적화를 활성화한다는 보장은 없다. 완전한 구성을 재현하는 것이 관련된 이정표다.

명확한 통합은 이것이 모바일 애플리케이션을 위한 재사용 가능한 인프라라는 근거를 강화할 것이다. 기본 기술이 건전하더라도, 단편적인 지침이나 구성 의존적 결과는 도입을 더 어렵게 만들 것이다.

파일럿을 고려하는 팀에 적절한 다음 단계는 실제 사용자 요청과 유사한 자료를 사용하는 범위가 제한된 평가다. 추가 모델 용량이 답변을 개선하는지 드러내는 까다로운 문서와 애매한 이미지를 포함하라. 리소스 사용량과 정확성과 함께 사용자가 경험하는 대기 시간을 측정하라. 각 최적화를 평가하는 동안 참조 구성을 고정해 두어야 개선 효과의 원인을 추적할 수 있다. MiniCPM LES는 로딩 지연을 줄이면서 전문가 선택을 보존하는 구체적인 방법을 제시하기 때문에 주목할 가치가 있다. 헤드라인 속도를 중심으로 구축하기 전에, 동일한 구성이 의도한 모바일 워크플로 전반에서 신뢰할 수 있는 답변을 제공하는지 물어야 한다.