AWS SageMaker AI 추론 벤치마크, G7을 G5 및 G6과 비교

AWS가 두 개의 300억 파라미터 모델을 대상으로 네 가지 GPU 인스턴스 패밀리를 비교한 SageMaker AI 추론 벤치마크를 공개했으며, G7이 가격 대비 성능에서 선두를 차지했다. 이 결과는 공통된 실시간 추론 워크플로에서 NVIDIA Blackwell 하드웨어를 이전 세대인 G5, G6, G6e 옵션과 비교한다.

이 비교가 중요한 이유는 최신 GPU를 구매하는 것이 자동으로 최선의 배포 결정으로 이어지지는 않기 때문이다. 모델 아키텍처, 요청 동시성, 응답 길이, 메모리 용량, 지연 시간 목표에 따라 토큰당 실질 비용이 가장 낮은 인스턴스가 달라질 수 있다.

AWS 벤치마크는 네 가지 패밀리에서 Qwen3-Coder-30B와 NVIDIA Nemotron-3-Nano-30B를 테스트한다. 두 모델은 흔히 MoE 모델이라고 불리는 Mixture-of-Experts 모델로, 모든 파라미터를 사용하는 대신 각 토큰마다 선택된 파라미터 그룹을 활성화한다.

AWS는 G7 구성에서 실시간 추론의 처리량과 가격 대비 성능이 측정 가능한 수준으로 향상됐다고 밝혔다. 그러나 핵심은 단순히 Blackwell이 더 빠르다는 데 있지 않다. 이러한 향상이 기존 용량과 신규 가속기 사이의 선택 기준을 어떻게 바꾸는지가 중요하다.

엔지니어링 팀은 검증된 운영 이력을 가진 익숙한 인스턴스와, 프로비저닝된 각 엔드포인트에서 더 많은 작업을 처리할 수 있다고 약속하는 G7 배포 사이에서 선택해야 한다. 이 벤치마크는 그 결정에 공통 기준을 제공하지만, 최종 승자는 여전히 실제 프로덕션 워크로드가 결정하게 된다.

AWS SageMaker AI 추론 벤치마크가 실제로 바꾼 것

AWS는 하드웨어 세대 비교를 토큰, 지연 시간, 엔드포인트 비용에 기반한 배포 결정으로 전환했다.

이 연구는 동일한 대표 파라미터 규모를 가진 두 모델을 평가한다. Qwen3-Coder-30B는 코딩 및 에이전틱 소프트웨어 작업을 겨냥하며, Nemotron-3-Nano-30B는 더 광범위한 추론 및 언어 워크로드를 다룬다.

공통된 30B라는 표기는 이 조합을 유용하게 만들지만, 두 모델의 연산 특성이 동일하다는 뜻은 아니다. 내부 라우팅, 어텐션 패턴, 활성 파라미터 수, 정밀도 선택, 서빙 구현에 따라 하드웨어 동작은 달라질 수 있다.

AWS는 G5, G6, G6e, G7 인스턴스의 SageMaker AI 엔드포인트에 모델을 배포했다. 이후 팀은 통제된 벤치마킹 워크플로에서 지연 시간, 처리량, 가격 대비 성능을 측정했다.

지연 시간은 요청 또는 생성된 토큰을 완료하는 데 걸리는 시간을 설명한다. 처리량은 일반적으로 동시 요청 전반에서 엔드포인트가 일정 기간 동안 처리하는 작업량을 측정한다.

가격 대비 성능은 이 작업량을 운영 비용과 연결한다. 어떤 GPU가 먼저 완료하는지를 묻는 대신, 동일한 지출 수준에서 엔드포인트가 얼마나 많은 유용한 토큰을 제공할 수 있는지를 묻는다.

이 차이는 지속적으로 실행되는 엔드포인트에 중요하다. 더 빠른 인스턴스도 활용률이 낮으면 경제성이 떨어질 수 있으며, 비싼 가속기도 트래픽이 계속 바쁘게 유지하면 효율적일 수 있다.

벤치마크는 또한 애플리케이션이 지속형 엔드포인트로 요청을 보내고 즉각적인 응답을 기대하는 실시간 추론에 초점을 맞춘다. 이는 대기열과 더 긴 완료 시간을 감수할 수 있는 오프라인 배치 처리와 다르다.

실시간 워크로드에는 코딩 어시스턴트, 지원 에이전트, 검색 시스템, 문서 분석, 대화형 추론 도구가 포함된다. 각 사용 사례는 첫 토큰 지연과 지속적인 생성 속도 사이에 서로 다른 균형을 만든다.

AWS는 고립된 GPU 테스트를 제시하는 대신 SageMaker AI 내부에서 평가를 수행한다. 이에 따라 주변 서빙 환경, 배포 구성, 소프트웨어 스택, 엔드포인트 동작도 비교에 포함된다.

그 결과는 원시 가속기 사양보다 관리형 배포에 더 관련성이 높다. 동시에 모든 결과를 다른 클라우드, 프레임워크 또는 자체 관리 클러스터에 그대로 적용해서는 안 된다는 뜻이기도 하다.

AWS는 테스트한 구성에서 G7이 측정 가능한 가격 대비 성능 향상을 제공한다고 보고했다. 회사는 이 우위를 NVIDIA Blackwell GPU와 해당 세대의 추론 지향 기능에 기인한다고 설명한다.

이 결과는 이미 G5 또는 G6를 사용하는 팀의 기본 질문을 바꾼다. 더 이상 G7에 더 새로운 실리콘이 탑재됐는지가 문제가 아니다. 정의된 서비스 목표를 위해 필요한 리소스를 마이그레이션으로 줄일 수 있는지가 관건이다.

서비스 목표에는 최대 첫 토큰 지연, 최소 생성 속도, 또는 정해진 수의 동시 세션 지원이 포함될 수 있다. 하드웨어는 이러한 결과 중 하나를 개선할 때에만 가치를 갖는다.

따라서 이 벤치마크는 보편적인 답이 아니라 팀을 위한 초기 후보 목록을 제공한다. G7 쪽으로 조사의 범위를 좁히면서도 워크로드별 검증의 필요성은 유지한다.

Blackwell은 속도뿐 아니라 비용 측면에서도 기존 GPU 엔드포인트에 압박을 가한다

G7은 높은 처리량으로 하나의 배포가 이전에 더 많은 용량이 필요했던 작업을 흡수할 수 있을 때 기존 엔드포인트에 가장 큰 압박을 준다.

G5 패밀리는 AWS GPU 인프라의 이전 세대에 속한다. 많은 팀이 이미 이 제품군의 운영 특성, 호환 컨테이너, 확장 동작, 용량 패턴을 잘 알고 있다.

이러한 친숙함에는 가치가 있다. 예측 가능한 트래픽을 처리하는 안정적인 배포가 더 새로운 가속기가 더 나은 벤치마크 결과를 냈다는 이유만으로 곧바로 구식이 되는 것은 아니다.

G6는 더 새로운 NVIDIA GPU와 그래픽 및 추론 워크로드 중심의 접근으로 비교를 한 단계 발전시켰다. G6e는 까다로운 생성형 AI 및 공간 컴퓨팅 작업을 겨냥한 더 큰 구성이다.

G7은 이 흐름에 Blackwell을 도입한다. NVIDIA는 AI 워크로드 효율을 높이기 위해 업데이트된 텐서 처리 기능, 메모리 동작, 저정밀 연산을 갖춘 Blackwell을 설계했다.

관련된 압박은 엔드포인트 경제성에서 나온다. G7이 같은 시간 내에 더 많은 토큰 생성을 완료할 수 있다면, 팀은 더 적은 프로비저닝 용량으로 처리량 목표를 충족할 수 있다.

하지만 이 관계는 활용률에 따라 달라진다. 대규모 트래픽 피크를 위해 프로비저닝된 엔드포인트는 오랜 시간 유휴 상태로 있을 수 있으며, 이 경우 이론적 처리량의 이점은 줄어든다.

자동 확장은 활용률을 개선할 수 있지만, 실시간 시스템이 항상 즉시 확장될 수 있는 것은 아니다. 모델 로딩, 컨테이너 시작, 트래픽 급증은 scale-to-zero 전략에 현실적인 한계를 만든다.

수요가 적거나, 리전 용량을 더 쉽게 확보할 수 있거나, 애플리케이션이 검증된 소프트웨어 구성에 의존하는 경우에는 기존 인스턴스가 여전히 매력적일 수 있다. 마이그레이션에는 엔지니어링 및 테스트 비용도 든다.

G7은 트래픽이 밀집되고 일관될 때 더 설득력 있는 선택지가 된다. 높은 동시성은 가속기에 처리량 우위를 드러낼 만큼 충분한 동시 작업을 제공한다.

긴 출력도 비슷한 효과를 낼 수 있다. 생성 작업이 엔드포인트를 더 오래 점유하기 때문이다. 코딩 어시스턴트와 리서치 에이전트는 짧은 분류 서비스보다 긴 응답을 생성하는 경우가 많다.

연구에 포함된 두 모델은 이 점을 보여주는 데 도움이 된다. 코딩 모델은 저장소 관련 질문, 코드 생성, 또는 긴 출력을 수반하는 반복적 디버깅 세션을 처리할 수 있다.

Nemotron은 추론, 종합, 또는 엔터프라이즈 질의응답 요청을 제공할 수 있다. 이러한 워크로드는 오늘날 기준으로 모델이 비교적 작더라도 상당한 컨텍스트와 지속적인 생성을 수반할 수 있다.

따라서 “작다”는 상대적인 표현이다. 30B MoE 모델은 다수의 플래그십 시스템보다 작지만, 여전히 상당한 가속기 메모리와 서빙 인프라를 필요로 한다.

MoE 라우팅은 각 토큰 계산에 모델의 일부만 참여하게 하므로 연산 방정식을 바꾼다. 하지만 전체 가중치는 여전히 스토리지, 로딩, 메모리 계획에 영향을 미친다.

G7 인스턴스 패밀리는 AWS 배포에 Blackwell 하드웨어를 도입하며, 기존 G6 패밀리는 여전히 유의미한 비교 기준으로 남아 있다. 이 벤치마크는 사양표에만 의존하는 대신 실제적인 격차를 테스트한다.

이 격차는 클라우드 구매자에게 중요하다. 가속기는 추상적인 칩이 아니라 임대 용량으로 구매되기 때문이다. 인스턴스 구성, 메모리, 네트워킹, 가용성, 소프트웨어 지원은 모두 최종 서비스 비용에 영향을 준다.

AWS에는 긍정적인 G7 결과가 추론 워크로드를 더 새로운 인프라로 옮겨야 한다는 근거를 강화한다. NVIDIA에는 가장 큰 프런티어 모델의 학습을 넘어 Blackwell의 포지셔닝을 뒷받침한다.

즉각적인 압박은 최신 측정 없이 기존 엔드포인트를 유지하는 팀에 가해진다. 이전 트래픽 또는 모델 가정하에 선택된 배포는 서비스 계약을 계속 충족하면서도 비효율적으로 변할 수 있다.

그렇다고 긴급 마이그레이션이 필요하다는 뜻은 아니다. 다만 장기 용량 가정을 갱신하기 전에 더 새로운 후보를 대상으로 워크로드를 다시 실행할 필요는 있다.

G7의 성능 향상은 엔드포인트에서 왜 나타나는가

Blackwell의 우위는 서빙 스택이 하드웨어 용량을 지연 시간 한계를 넘기지 않으면서 더 많은 완료 요청으로 전환할 때 유용해진다.

가속기만으로 애플리케이션을 서비스할 수는 없다. 모델 서버는 요청을 스케줄링하고, 메모리를 관리하며, 토큰을 배치 처리하고, key-value 캐시를 유지하고, 스트리밍 출력을 반환해야 한다.

연속 배치 처리는 특히 중요하다. 이 기술은 생성 중인 활성 요청을 결합해 GPU가 하나의 시퀀스를 기다리는 대신 여러 사용자의 작업을 처리할 수 있게 한다.

동시성을 높이면 활용률과 처리량이 증가할 수 있다. 그러나 서버가 하드웨어가 목표 시간 내 처리할 수 있는 양보다 많은 작업을 받아들이면 지연 시간도 늘어날 수 있다.

올바른 구성은 이러한 효과의 균형을 맞춘다. 한 번에 하나의 요청으로 얻은 결과는 바쁜 프로덕션 엔드포인트에 대해 거의 알려주지 못하므로, 팀은 일반적으로 여러 동시성 수준을 테스트해야 한다.

프롬프트 처리와 토큰 생성도 하드웨어에 서로 다른 부담을 준다. 입력 프롬프트를 읽는 작업은 병렬 연산을 사용하지만, 이후 토큰 생성은 순차적 의존성을 따른다.

첫 토큰까지의 시간은 출력이 시작되기 전 대기 시간을 포착한다. 토큰 간 지연 시간은 스트리밍이 시작된 뒤의 속도를 측정하며, 엔드투엔드 지연 시간은 전체 응답을 포함한다.

사용자는 이러한 지표의 서로 다른 조합을 받아들일 수 있다. 코딩 어시스턴트는 요청을 빠르게 인지해야 하는 반면, 백그라운드 문서 워크플로는 더 느린 초기 응답을 허용할 수 있다.

처리량은 유일한 지표로서 지연 시간을 대체할 수 없다. 엔드포인트가 많은 총 토큰을 생성하면서도 개별 사용자는 서비스까지 너무 오래 기다릴 수 있다.

마찬가지로 낮은 단일 요청 지연 시간이 경제적인 확장을 보장하지는 않는다. 하나의 요청에 맞춰 최적화된 구성은 실제 트래픽에서 가속기의 상당 부분을 사용하지 못하게 할 수 있다.

Blackwell의 이점은 이 운영 곡선을 개선하는 데 달려 있다. 가장 강력한 구성은 애플리케이션이 여전히 수용할 수 있는 지연 시간 수준에서 더 높은 처리량을 제공한다.

정밀도도 이 곡선에 영향을 미친다. 저정밀 형식은 메모리 사용량을 줄이고 연산 효율을 높이지만, 배포 팀은 변환 또는 양자화 후 모델 품질을 검증해야 한다.

양자화는 모델 가중치를 더 적은 비트로 압축한다. 이를 통해 더 큰 모델이나 캐시를 메모리에 맞출 수 있지만, 공격적인 설정은 출력 품질을 바꿀 수 있다.

벤치마크의 두 MoE 모델은 또 다른 계층을 더한다. 전문가 라우팅은 토큰당 연산을 줄일 수 있지만, 불규칙한 메모리 이동이나 프레임워크별 최적화 요구를 만들 수 있다.

따라서 Qwen3-Coder-30B와 Nemotron-3-Nano-30B는 단순한 원시 행렬 곱셈 이상을 테스트한다. 이들은 관리형 엔드포인트 안에서 모델 아키텍처, 런타임 소프트웨어, GPU 기능이 어떻게 상호작용하는지를 테스트한다.

공식 Qwen 모델 컬렉션은 Alibaba가 확장 중인 언어 및 코딩 모델 제품군을 문서화한다. 각 릴리스는 서로 다른 컨텍스트, 정밀도, 서빙 요구 사항을 지닌다.

NVIDIA의 Nemotron 모델 카드 역시 토큰당 활성화되는 규모가 더 작은 30B급 MoE 시스템을 설명한다. 이러한 특성은 고처리량 추론 테스트와의 관련성을 높인다.

하나의 모델 안에서도 프롬프트 길이는 결과를 바꿀 수 있다. 짧은 채팅 턴, 큰 코드 컨텍스트, 검색된 문서 묶음은 컴퓨팅과 메모리에 서로 다른 부담을 준다.

응답 길이도 중요하다. 짧은 답변은 프롬프트 처리와 첫 토큰 지연을 부각하는 반면, 긴 답변은 지속적인 디코딩 성능을 드러낸다.

이 때문에 토큰당 비용에는 맥락이 필요하다. 단일 통합 수치는 워크로드가 짧은 프롬프트, 긴 프롬프트, 높은 동시성 또는 유리한 출력 조합을 사용했는지를 가릴 수 있다.

AWS의 조사 결과는 G7이 테스트할 가치가 있음을 보여주는 근거로 가장 유용하다. 모든 엔드포인트에서 일정 비율의 개선을 보장하는 근거로는 덜 유용하다.

팀은 실제로 예상하는 요청 분포를 재현해야 한다. 여기에는 입력 길이, 출력 길이, 동시성, 스트리밍, 오류율, 유휴 시간이 포함된다.

또한 성공적으로 처리된 토큰과 중단되거나 실패한 요청을 분리해야 한다. 빠르게 시작하지만 트래픽 급증 시 어려움을 겪는 시스템은 허용 가능한 서비스를 제공하지 못한 채 용량을 낭비할 수 있다.

따라서 G7의 우위 메커니즘은 “새 GPU는 더 빠르다”보다 더 폭넓다. 이는 최신 하드웨어를 더 나은 지연 시간-처리량 프런티어로 전환하는 과정이다.

이 프런티어가 바깥으로 이동하면 팀은 같은 지연 시간으로 더 많은 사용자를 서비스할 수 있다. 또는 처리량을 유지하면서 지연 시간을 낮출 수 있다.

엔드포인트가 충분히 활용된다는 전제에서 어느 결과든 가격 대비 성능을 개선할 수 있다. 하드웨어 우위는 워크로드가 해당 운영 지점에 도달한 뒤에야 비즈니스 우위가 된다.

G7 vs G5와 G6은 보편적인 판결이 아니다

AWS의 벤치마크는 테스트된 워크로드에서 G7을 뒷받침하지만, 모든 모델과 트래픽 패턴에 걸친 영구적인 승자를 확정하지는 않는다.

첫 번째 한계는 출처의 관점이다. AWS는 SageMaker AI를 운영하며 비교에 포함된 각 인스턴스 제품군에 대한 액세스를 판매한다.

그렇다고 측정 결과가 무효가 되는 것은 아니다. 다만 구매자는 이 연구를 공급업체가 제작한 근거로 받아들이고, 자체 워크로드로 방법론을 재현해야 한다는 의미다.

두 번째 한계는 모델 선택이다. 두 개의 30B MoE 모델은 의미 있는 범위를 제공하지만, 밀집형 모델, 비전-언어 시스템, 임베딩 모델 또는 훨씬 더 큰 배포를 대표할 수는 없다.

밀집형 모델은 추론 중 전체 파라미터 세트를 활성화한다. 컴퓨팅 및 메모리 동작은 활성 경로가 더 작은 MoE 모델과 크게 다를 수 있다.

멀티모달 모델은 이미지나 비디오 처리를 도입한다. 임베딩 엔드포인트는 긴 자기회귀 생성보다 요청량과 배칭을 더 중시하는 경우가 많다.

세 번째 한계는 소프트웨어 성숙도다. 새로운 하드웨어는 모든 추론 프레임워크, 커널, 컨테이너, 모니터링 통합이 동등한 안정성에 도달하기 전에 출시될 수 있다.

하드웨어 변경 없이도 이후 소프트웨어 릴리스가 인스턴스를 개선할 수 있다. 반대로 미성숙한 런타임은 새 가속기가 기대 성능에 도달하지 못하게 할 수 있다.

따라서 벤치마크 결과에는 컨테이너 버전, 서빙 프레임워크, 모델 리비전, 정밀도 설정, 컴파일러 옵션이 포함되어야 한다. 이런 정보가 없으면 재현이 어려워진다.

용량 가용성도 또 다른 불확실성을 만든다. 팀이 필요한 리전에서 구할 수 없거나 수요 급증 시 확장할 수 없다면 가장 빠른 구성도 가치가 제한적이다.

리전 지원은 데이터 레지던시와 지연 시간에도 영향을 준다. 조직은 선호하는 가속기에 접근하기 위해 민감한 워크로드를 자유롭게 이전할 수 없다.

신뢰성도 동등한 주의를 받을 만하다. 팀은 평균 처리량과 함께 시작 실패, 메모리 부족 이벤트, 테일 지연 시간, 스로틀링, 복구 동작을 비교해야 한다.

테일 지연 시간은 요청 중 가장 느린 부분을 측정하며, 보통 높은 백분위수 결과로 표현된다. 이러한 요청은 트래픽 급증 시 실제 사용자 경험을 규정하는 경우가 많다.

의미 있는 사용자 집단이 긴 대기 시간을 겪는 동안에도 평균 지연 시간은 양호해 보일 수 있다. 운영 결정에는 일반적인 동작과 높은 백분위수 동작이 모두 포함되어야 한다.

비용 분석도 실행 중인 토큰을 넘어선다. 유휴 엔드포인트, 배포 레플리카, 로깅, 네트워크 전송, 스토리지, 엔지니어링 시간, 마이그레이션 테스트가 총운영비에 영향을 준다.

이 글의 가격 제한으로 시간당 수치를 나열할 수는 없지만, 의사결정 원칙은 명확하다. 벤치마크에서 더 낮은 토큰 비용이 전체 시스템 비용의 감소를 보장하지는 않는다.

팀은 모든 최적화에서 출력 품질도 평가해야 한다. 양자화나 구성 변경으로 재시도, 수정 또는 수동 검토가 늘어난다면 더 빠른 디코딩의 가치는 떨어진다.

코딩 워크로드의 경우 유용한 테스트는 생성 토큰 수만이 아니라 수용된 제안이나 완료된 작업을 측정해야 한다. 더 많은 토큰은 생산적 작업이 아니라 과도한 장황함을 의미할 수 있다.

추론 시스템에서는 정확성과 일관성이 중요하다. 빠르게 답하지만 반복 프롬프트가 필요한 엔드포인트는 총 용량을 더 많이 소비할 수 있다.

보안과 거버넌스도 인스턴스 선택에 영향을 줄 수 있다. 검증된 이미지, 승인된 종속성 체인 또는 확립된 모니터링 프로세스는 새 제품군으로의 마이그레이션을 늦출 수 있다.

운영 친숙성은 일시적인 비효율성을 정당화할 수 있다. 그러나 이는 무기한 유지되는 가정이 아니라 근거로 뒷받침된 명시적 선택이어야 한다.

이 지점에서 Inference Recommender가 도움이 될 수 있다. SageMaker AI 기능은 팀이 선호 옵션을 배포하기 전에 워크로드 및 최적화 목표에 맞춰 모델 서빙 구성을 평가한다.

추천 결과에도 판단은 필요하다. 순위는 유망한 구성을 식별할 수 있지만, 허용 가능한 사용자 경험이나 애플리케이션 품질을 정의할 수는 없다.

올바른 결론은 포괄적인 하드웨어 지지보다 좁다. G7은 테스트된 AWS SageMaker AI 추론 벤치마크를 이끌었지만, 프로덕션 검증은 여전히 최종 관문이다.

이러한 신중한 해석은 연구의 가치를 보존한다. 또한 충분한 맥락 없이 벤치마크 차트가 아키텍처 결정이 되는 일을 막는다.

팀이 처리량, 지연 시간, 토큰당 비용을 해석하는 방법

승리하는 인스턴스는 정의된 서비스 목표를 가장 낮은 총운영 부담으로 충족하는 인스턴스다.

유용한 평가는 GPU가 아니라 애플리케이션에서 시작한다. 팀은 요청 패턴, 예상 응답 길이, 동시성 범위, 허용 가능한 지연을 정의해야 한다.

대화형 서비스에는 보통 엄격한 첫 토큰 생성 시간 목표가 필요하다. 이후 생성이 빠르게 진행되더라도 사용자는 긴 초기 정지를 실패로 해석한다.

그다음 생성 속도는 응답이 매끄럽게 느껴지는지를 결정한다. 이는 코드, 장문 분석, 다단계 에이전트 출력에서 특히 중요하다.

처리량은 시스템이 지원할 수 있는 동시 사용자 수를 정의한다. 그러나 최고 처리량 수치는 지연 시간이 제품의 한계 내에 남을 때에만 유용하다.

팀은 여러 트래픽 수준에서 테스트해야 한다. 경부하는 기본 응답성을 보여주고, 일반 부하는 일상적 경제성을 나타내며, 스트레스 부하는 큐잉 또는 메모리 실패를 드러낸다.

비용 계산에도 같은 수준을 사용해야 한다. 인위적으로 포화된 테스트의 토큰으로 엔드포인트 비용을 나누면 일상 트래픽이 결코 도달하지 못하는 매력적인 수치가 나올 수 있다.

공정한 G7 vs G5 및 G6 비교에서는 모델, 프롬프트 세트, 응답 정책, 품질 설정을 고정해야 한다. 검토 대상인 배포 변수만 바꿔야 한다.

워밍업 동작도 일관되게 유지해야 한다. 초기 요청은 컴파일, 캐시 할당 또는 모델 로딩 효과를 유발해 짧은 테스트를 왜곡할 수 있다.

더 긴 실행은 열 안정성, 메모리 단편화, 지속적인 스케줄러 동작을 보여준다. 또한 평균 측정값에 대한 시작 노이즈의 영향을 줄인다.

요청 추적은 프로덕션과 유사해야 한다. 합성 프롬프트는 재현성에 계속 유용하지만, 실제 입력 및 출력 길이 분포를 재현해야 한다.

평균만으로는 충분하지 않다. 팀에는 각 동시성 수준에서 중앙값, 높은 백분위수 지연 시간, 오류 수, 완료된 요청, 처리량이 필요하다.

평가는 처리량보다 지연 시간이 더 빠르게 상승하기 시작하는 지점을 기록해야 한다. 곡선의 그 굴곡점은 실질적인 용량 한계를 나타내는 경우가 많다.

G7의 우위는 더 높은 요청률에서 그 굴곡점이 발생할 때 가치가 생긴다. 그러면 엔드포인트는 사용자 경험이 저하되기 전에 더 많은 트래픽을 흡수한다.

G5 또는 G6은 낮은 활용률에서 여전히 승리할 수 있다. 엔드포인트가 대부분의 시간을 최신 인스턴스의 효율적인 범위 아래에서 보낸다면 마이그레이션 절감 효과는 실현되지 않을 수 있다.

트래픽 형태는 트래픽 규모만큼 중요하다. 안정적인 내부 자동화는 GPU를 계속 바쁘게 유지할 수 있지만, 공개형 어시스턴트는 유휴 시간과 예측 불가능한 급증 사이를 오갈 수 있다.

멀티모델 배포는 또 다른 선택지를 더한다. 여러 모델을 하나의 가속기에 통합하면 활용률을 높일 수 있지만, 간섭과 복잡한 확장 동작을 유발할 수 있다.

팀은 생성 토큰을 유일한 가치 단위로 취급하지 않아야 한다. 코딩 모델은 해결된 작업, 수용된 코드 또는 완료 시간 단축을 기준으로 평가해야 한다.

문서 분석 모델은 완료된 레코드와 검증된 답변으로 측정할 수 있다. 이러한 애플리케이션 지표는 인프라 효율성을 유용한 결과와 연결한다.

이 벤치마크는 오픈 웨이트 모델을 제공하는 팀에 특히 관련성이 높다. 이들은 런타임을 제어하고 배칭, 정밀도, 컨텍스트 한계, 모델 배치를 조정할 수 있다.

그러한 제어에는 책임이 따른다. 인프라 변경은 출력 동작이나 수치 안정성을 바꿀 수 있으므로 모든 최적화에는 품질 회귀 테스트가 필요하다.

배포 검토는 실험 기록도 보존해야 한다. 구성을 비교하는 엔지니어는 벤치마크가 끝난 뒤에도 프롬프트, 컨테이너 버전, 차트, 의사결정에 접근할 수 있어야 한다.

검색 가능한 엔지니어링 지식 베이스는 이러한 자료를 이후의 인시던트 및 마이그레이션과 연결해 둘 수 있다. 소프트웨어 업데이트가 이전 결론을 바꿀 때 이는 중요하다.

실질적인 프로세스는 반복적이다. 현재 엔드포인트를 벤치마크하고, 후보로 G7을 테스트하며, 지연 시간-처리량 프런티어를 식별한 뒤, 결과를 애플리케이션 성과로 전환한다.

G7이 목표 지표를 개선한다면 팀은 통제된 프로덕션 시험을 실행할 수 있다. 그렇지 않다면 워크로드나 소프트웨어 스택이 바뀔 때까지 기존 배포는 여전히 정당화될 수 있다.

이 접근 방식은 반사적인 마이그레이션과 반사적인 신중론을 모두 피한다. AWS 결과를 현지 근거를 통해 검증되어야 할 신뢰할 만한 신호로 다룬다.

Blackwell의 실제 추론 우위를 확인할 요소

세 가지 신호가 G7의 벤치마크 우위가 유리한 초기 결과가 아니라 지속 가능한 프로덕션 우위가 될지를 결정할 것이다.

첫 번째 신호는 추가 모델 유형 전반에서의 독립적 재현이다. 밀집형 언어 모델, 비전-언어 시스템, 임베딩 서비스, 더 큰 MoE 배포는 이 우위가 일반화되는지를 보여줘야 한다.

서로 다른 아키텍처에서 반복적으로 개선이 나타난다면 Blackwell이 가격 대비 성능 곡선을 광범위하게 이동시킨다는 주장은 더 강해질 것이다. 결과가 혼재한다면 모델별 테스트는 더욱 중요해질 것이다.

두 번째 신호는 프로덕션 동시성 하에서의 지속적인 지연 시간이다. 초기 벤치마크는 종종 최고 처리량을 강조하지만, 실제 서비스는 급증, 가변적인 컨텍스트, 고르지 않은 출력 길이에 직면한다.

G7는 더 많은 동시 요청을 처리하면서도 허용 가능한 첫 토큰 지연 시간과 높은 백분위 지연 시간을 유지해야 한다. 이러한 성능은 원시 용량을 사용자에게 명확한 이점으로 전환할 수 있다.

세 번째 신호는 소프트웨어 스택이 성숙해짐에 따른 운영 안정성이다. 프레임워크 업데이트, 최적화된 커널, 컨테이너 지원, 오토스케일링 동작, 지역별 용량이 장기적인 결과를 좌우할 것이다.

시간이 지남에 따른 개선은 최신 런타임이 Blackwell의 하드웨어 용량을 더 많이 활용할 수 있게 하므로 G7의 경쟁력을 강화할 것이다. 지속적인 배포 마찰은 단기적인 마이그레이션 논거를 약화시킬 것이다.

구매자는 이 세 가지 신호를 함께 살펴봐야 한다. 안정적인 서빙 없이 더 빠른 모델 테스트만으로는 배포 선택이 결정되지 않으며, 성숙한 도구 체계도 취약한 워크로드 경제성을 보완할 수 없다.

AWS는 이미 유용한 출발점을 제시했다. 이 비교는 두 개의 30B MoE 모델, 네 가지 GPU 제품군, 그리고 실시간 추론 계획을 좌우하는 세 가지 지표를 다룬다.

보고된 결과는 특히 처리량과 토큰당 비용이 기존 엔드포인트에 대한 익숙함보다 더 중요한 경우 G7에 유리하다. 또한 팀이 기존의 용량 가정을 다시 검토하도록 촉구한다.

이러한 도전은 건전하다. 어제의 모델, 트래픽, 런타임을 기준으로 내린 GPU 선택은 그 근거가 더 이상 유효하지 않은 뒤에도 오래 지속될 수 있다.

그렇더라도 다음 단계는 자동 교체가 아니라 측정이어야 한다. 프로덕션 환경과 유사한 요청을 활용한 짧은 벤치마크는 광범위한 하드웨어 사양보다 더 많은 것을 드러낼 수 있다.

먼저 서비스 목표를 정의하라. 그런 다음 완료된 요청 수, 첫 토큰 지연, 높은 백분위 지연 시간, 지속 처리량, 실패율, 실효 활용률을 비교하라.

마지막으로 인프라 결과를 제품 성과와 연결하라. 사용자가 동일한 품질로 코딩, 리서치, 지원 또는 분석 작업을 더 빨리 완료할 수 있을 때 더 빠른 생성은 의미가 있다.

AWS SageMaker AI 추론 벤치마크는 이 두 모델에서 G7를 기준점으로 삼는다. 이제 Blackwell이 여러분의 애플리케이션 안에서도 승리하는지는 워크로드가 결정해야 한다.