NVIDIA Nemotron 3.5, 오픈 에이전트를 데이터센터에서 데스크톱으로 확장
NVIDIA는 10월 15일 1,200억 개 파라미터급 모델부터 데스크톱 하드웨어와 엣지 디바이스까지 아우르는 세 가지 Nemotron 3.5 모델을 출시했다. NVIDIA Nemotron 3.5 확장은 유능한 상시 작동 에이전트가 반드시 폐쇄형 클라우드 서비스에 의존해야 한다는 통념에 도전한다.
Nemotron 3.5 Super VL은 하나의 오픈 웨이트 모델 안에서 추론, 도구 사용, 코드, 이미지, 문서, 비디오를 처리한다. Nemotron 3.5 Bolt는 24GB 또는 4GB 메모리를 갖춘 하드웨어에 더 작은 에이전트형 시스템을 제공한다. NVIDIA는 이 제품군이 데이터센터부터 로컬 디바이스까지 모든 배포 계층에 맞는 모델을 조직에 제공한다고 말한다.
이제 핵심 경쟁은 오픈되고 제어 가능한 인프라와 폐쇄형 최첨단 API 간의 대결이다. NVIDIA는 모든 로컬 모델이 모든 작업에서 최고의 호스팅 서비스를 능가한다고 주장하지는 않는다. 대신 특화 에이전트가 맞춤화, 낮은 추론 비용, 데이터 통제, 기업 시스템과의 긴밀한 통합을 통해 우위를 점할 수 있다고 주장한다.
이 주장을 뒷받침하는 신뢰할 만한 근거는 있지만 한계도 있다. 독립 분석 테스트에서는 인상적인 속도와 일상적 분석 작업에서의 충분한 역량이 확인됐다. 그러나 같은 테스트는 숨겨진 패턴, 누락된 데이터, 통계적 함정과 관련한 실패도 드러냈다.
NVIDIA Nemotron 3.5, 세 가지 배포 계층 지원
NVIDIA는 Nemotron을 모델 모음에서 상시 작동 에이전트를 위한 배포 사다리로 전환했다.
Nemotron 출시 발표는 Super VL과 두 가지 Bolt 변형을 함께 소개한다. Super VL과 Bolt 74B-A9B는 즉시 제공됐으며, NVIDIA는 Bolt E4B를 10월 23일 출시할 예정이라고 밝혔다.
Super VL은 1,200억 개 파라미터의 mixture-of-experts 모델이다. mixture-of-experts 아키텍처는 각 토큰마다 대형 네트워크의 일부만 선택적으로 활성화한다. Super VL은 토큰당 120억 개 파라미터를 활성화해 더 넓은 모델 용량에 접근하면서도 연산량을 줄인다.
이 모델은 텍스트 생성과 시각 이해, 추론, 지시 이행, 코딩, 도구 사용을 결합한다. 각 입력을 별도의 비전 시스템으로 옮기지 않고도 웹페이지, PDF, 표, 차트, 이미지, 비디오를 검토할 수 있다.
이 조합은 장시간 실행되는 에이전트에 중요하다. 예를 들어 보험금 청구 처리 에이전트는 스캔 문서를 읽고, 해당 필드를 보험 약관과 비교한 뒤 내부 도구를 호출할 수 있다. 여러 모델을 오가면 지연 시간이 늘어나고 컨텍스트 관리가 복잡해질 수 있다.
반면 Super VL은 이 단계를 하나의 멀티모달 모델 안에서 처리한다. NVIDIA는 이를 금융 문서 분석, 소프트웨어 엔지니어링, 사이버보안 분류, 웹 리서치, 비디오 검토 같은 워크플로에 적합한 모델로 제시한다.
이 모델은 사전학습과 지속 사전학습을 합쳐 약 26조 개 토큰으로 학습됐다. 이후 NVIDIA는 약 380만 개의 후속 학습 샘플과 수십 개 환경에서의 강화학습을 활용했다.
회사는 체크포인트, 데이터세트, 학습 레시피, 평가 자료, 강화학습 환경도 공개하고 있다. 이 패키지는 개발자에게 다운로드 가능한 모델 가중치 이상을 제공한다. 특화 워크플로 안에서 모델의 동작 방식을 바꾸기 위한 구성 요소를 제공한다.
Bolt 74B-A9B는 다른 운용 지점을 겨냥한다. 총 740억 개 파라미터를 포함하지만 토큰당 90억 개만 활성화한다. 네이티브 2비트 양자화로 압축돼 24GB 메모리에 들어간다.
양자화는 모델 값을 더 낮은 수치 정밀도로 저장해 메모리와 연산 요구량을 줄인다. 다만 학습으로 보완하지 않으면 강한 압축은 정확도를 해칠 수 있다는 절충점이 있다.
NVIDIA는 Bolt 74B-A9B가 지원되는 RTX 시스템에서 다른 애플리케이션과 함께 실행되도록 설계했다. 회사는 웹 리서치, 글쓰기, 코드 디버깅을 의도된 로컬 에이전트 작업으로 꼽는다.
Bolt E4B는 이 개념을 4GB 규모로 한층 더 압축한다. GeForce RTX, Jetson, DGX Spark 또는 관련 시스템에서 작동하는 대화형 및 물리적 에이전트를 겨냥한다. 제안된 용도로는 음성 비서, 인터랙티브 캐릭터, 임베디드 인터페이스가 있다.
그 결과 나온 제품군은 하나의 체크포인트가 모든 워크로드를 담당하도록 요구하지 않는다. Super VL은 복잡한 멀티모달 작업을, Bolt 74B-A9B는 일상적인 로컬 에이전트를, Bolt E4B는 제약이 큰 엣지 환경을 겨냥한다.
이러한 세분화는 이 글의 핵심 긴장을 만든다. NVIDIA는 배포 적합성이 단일 리더보드 점수만큼 중요할 수 있다고 본다. 폐쇄형 API 제공업체는 더 강한 경제성, 더 쉬운 맞춤화 또는 더 분명한 신뢰성 우위로 대응해야 한다.
NVIDIA Nemotron 3.5가 효율성 전략인 이유
이번 출시는 챗봇을 단순히 축소하는 데 그치지 않고, 인프라 단위당 완료 작업량을 늘리는 데 초점을 맞춘다.
에이전트 성능은 토큰 생성 속도만으로 판단할 수 없다. 에이전트는 텍스트를 빠르게 생성하면서도 호출을 낭비하거나, 불필요한 컨텍스트를 읽거나, 잘못된 도구를 선택할 수 있다. 유용한 효율성에는 정확도, 응답 시간, 메모리 사용량, 도구 호출 횟수, 작업 완료에 필요한 단계 수가 포함된다.
NVIDIA는 Super VL이 단일 GPU에서 유사한 오픈 모델보다 최대 5배의 처리량을 제공한다고 말한다. 기술 분석에 따르면, 평가 조건에서 호스팅 엔드포인트를 통해 초당 600개 이상의 출력 토큰을 기록했다.
이 수치는 NVIDIA가 선택한 하드웨어, 서빙 스택, 워크로드, 비교 대상에 따라 달라진다. 보편적인 성능 보장으로 받아들여서는 안 된다. 다만 회사가 구매자들에게 이 모델을 어떻게 평가하기를 원하는지는 보여준다.
Super VL은 여러 효율화 메커니즘을 결합한다. mixture-of-experts 설계는 각 토큰마다 1,200억 개 중 120억 개 파라미터를 활성화한다. 이는 전체 지식 용량을 120억 개 파라미터 네트워크 수준으로 제한하지 않으면서 활성 연산량을 줄인다.
멀티 토큰 예측은 내부 초안 생성기가 한 번의 순전파 동안 검증을 위해 여러 토큰을 제안하도록 한다. 여러 제안 토큰을 수용하면 생성 과정에서 반복 연산이 줄어든다.
NVIDIA는 제안된 토큰 간 관계를 평가하는 speculative decoding 방식인 LiLiCorr도 개발했다. speculative decoding은 주 모델이 검증하기 전에 더 작거나 가벼운 프로세스로 텍스트 초안을 생성한다.
회사는 LiLiCorr가 비 speculative decoding과 비교해 DGX Spark에서 토큰 생성을 최대 2.3배 빠르게 할 수 있다고 말한다. 이 역시 모든 설치 환경이 아니라 정의된 NVIDIA 구성의 측정치다.
Super VL은 NVIDIA Blackwell 하드웨어용으로 설계된 4비트 수치 형식인 NVFP4도 사용한다. 양자화 인식 증류는 압축 모델이 더 높은 정밀도의 대응 모델을 모방하도록 학습시킨다. NVIDIA는 평가된 36개 벤치마크에서 중앙값 기준 99.62%의 정확도 회복을 보고했다.
공개된 모델 카드는 압축이 모든 벤치마크에 동일한 영향을 주지 않는다는 점을 보여준다. 일부 NVFP4 결과는 BF16 체크포인트를 약간 웃돌지만, 다른 결과는 하락한다. 이러한 차이는 워크로드별 테스트가 필수임을 뜻한다.
효율성은 서빙 소프트웨어에도 달려 있다. NVIDIA는 Dynamo 구성이 첫 토큰까지의 지연 시간을 85% 낮추면서 최대 8배 더 많은 사용자를 지원할 수 있다고 말한다. 이 측정은 사용자당 초당 50토큰의 상호작용성 목표를 전제로 한다.
이러한 최적화는 모델을 NVIDIA의 광범위한 하드웨어 및 소프트웨어 사업과 직접 연결한다. 오픈 가중치는 개발자를 끌어들이는 한편, 가장 빠르고 검증된 경로는 NVIDIA GPU, NIM 마이크로서비스, NeMo 도구, Dynamo 서빙으로 향한다.
이러한 정렬이 모델의 개방성을 낮추는 것은 아니다. 개발자는 가중치를 다운로드해 수정할 수 있다. 다만 이번 출시는 오픈 모델도 수직 통합 플랫폼을 강화할 수 있음을 보여준다.
기업 구매자에게 이 관계는 양면적이다. 사전 검증된 하드웨어와 소프트웨어 조합은 배포 작업을 단축할 수 있다. 동시에 한 공급업체의 최적화 스택에 대한 의존도를 심화시킬 수도 있다.
Bolt는 이 계산을 더욱 선명하게 한다. 유능한 에이전트 모델을 24GB에 담으면 훨씬 더 넓은 하드웨어 기반에서 로컬 운영이 가능해진다. 그러나 네이티브 2비트 양자화는 코딩, 브라우징, 계획 수립, 장시간 대화 전반의 정확도에 대해 더 까다로운 질문을 제기한다.
NVIDIA는 Bolt를 PinchBench 등급의 선도적인 오픈 모델이자 BrowseComp에서 오픈 모델 중 2위로 제시한다. 이 결과는 유용한 출발점이지만, 실제 도구와 데이터를 활용한 배포 테스트를 대체하지는 못한다.
실질적인 척도는 정확하게 완료된 작업이다. 누락된 기록을 찾아내는 느린 모델이 잘못된 데이터를 자신 있게 처리하는 빠른 모델보다 더 가치 있을 수 있다.
오픈 에이전트, 폐쇄형 클라우드 API에 압박
NVIDIA의 가장 강력한 도전은 순수 지능이 아니라, 조직이 에이전트의 실행 위치와 변화 방식을 통제하도록 하는 데 있다.
폐쇄형 최첨단 서비스는 강력한 범용 성능과 간편한 API 접근을 제공한다. 제공업체는 용량, 모델 업데이트, 보안 패치, 서빙 인프라의 상당 부분을 관리한다. 모델을 직접 운영하고 싶지 않은 팀에는 이러한 편의성이 여전히 매력적이다.
그러나 상시 작동 에이전트는 일반적인 채팅 사용과는 다른 우려를 낳는다. 이들은 내부 문서에 반복적으로 접근하고, 도구를 실행하며, 컨텍스트를 유지하고, 장시간 워크플로에 걸쳐 결정을 내린다. 시스템 경계가 하나 추가될 때마다 권한, 지연 시간 또는 컨텍스트가 실패할 수 있는 지점도 늘어난다.
오픈 웨이트 모델을 사용하면 조직은 민감한 워크로드를 승인된 인프라 안에 유지할 수 있다. 또한 내부 용어, 도구, 정책, 절차에 맞춰 모델을 후속 학습할 수 있다.
NVIDIA는 금융 서비스, 보험, 의료, 보안, 엔지니어링을 초기 목표 분야로 제시한다. 이 분야들은 민감한 데이터와 특화된 규칙을 함께 갖고 있다. 범용 모델은 해당 언어를 이해할 수 있지만 조직의 실제 프로세스를 잘못 처리할 여지도 있다.
Scale AI는 Skydance의 공급업체 신용 처리 업무를 위해 Super VL을 후속 학습했다. NVIDIA는 이 배포가 추론 비용을 40분의 1로, 지연 시간을 5분의 1로 줄일 것으로 예상된다고 말한다.
Ramp는 영수증 이미지를 구조화된 거래 기록으로 변환하기 위해 모델을 조정하고 있다. NVIDIA에 따르면 Ramp는 이 워크플로에서 최대 50% 높은 처리량과 10분의 1 수준의 지연 시간을 기대한다.
AI21과 Alice는 위협 인텔리전스 및 취약점 분석을 위해 후속 학습을 활용했다. NVIDIA는 이 특화 환경에서 정확도가 41% 향상됐다고 보고한다.
이는 기업 및 파트너의 주장이다. 모두가 동등한 운영 시스템 전반에서 독립적으로 재현된 것은 아니다. 이 수치의 가치는 보편적 향상을 입증하는 데 있지 않고, 특화 작업이 무엇을 목표로 할 수 있는지 보여주는 데 있다.
더 폭넓은 파트너 목록에는 Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce, Synopsys가 포함된다. 이들의 활용 사례는 엔터프라이즈 검색, 방어적 보안, 엔지니어링 시뮬레이션, 정부 워크플로, 반도체 검증에 걸쳐 있다.
이 지점에서 폐쇄형 API와의 경쟁은 구체화된다. 호스팅된 최첨단 모델은 전반적으로 더 뛰어난 역량을 유지하면서도, 좁게 정의된 워크플로에서는 뒤처질 수 있다. 후속 학습, 도구 설계, 데이터 접근, 서빙 속도는 범용 벤치마크 우위를 넘어설 수 있다.
오픈 모델은 버전 관리에 대한 통제력도 더 많이 제공한다. 기업은 체크포인트를 테스트하고 고정한 뒤, 업데이트를 언제 채택할지 결정할 수 있다. 폐쇄형 서비스는 제공업체가 관리하는 모델 개정을 통해 동작을 바꿀 수 있다.
통제력이 운영 책임을 없애는 것은 아니다. 팀은 안전성을 평가하고, 출력을 모니터링하며, 서빙 구성 요소에 패치를 적용하고, 모델 엔드포인트를 보호하며, 학습 데이터를 유지해야 한다. 다운로드 가능한 가중치만으로 신뢰할 수 있는 엔터프라이즈 에이전트가 자동으로 만들어지는 것은 아니다.
NVIDIA는 패키지형 추론 마이크로서비스인 NIM으로 그 격차를 메우려 한다. NIM은 검증된 구성과 엔터프라이즈 지원을 제공하며, 보안 및 성능 업데이트는 2주마다 예정돼 있다.
이는 하이브리드 제안을 만든다. 가중치, 데이터세트, 레시피는 공개돼 있으며, NVIDIA는 이를 운영하기 위한 최적화된 경로를 판매한다. 기업은 더 큰 독립성을 선택하거나 NVIDIA의 지원을 받는 배포를 선택할 수 있다.
이 선택지는 폐쇄형 제공업체에 더 적은 통제권의 대가로 고객이 무엇을 얻는지 설명하라는 압박을 가한다. 그 답에는 더 높은 정확도, 더 쉬운 운영, 더 폭넓은 안전성 테스트, 더 큰 모델에 대한 접근 등이 포함될 수 있다.
NVIDIA는 맞춤화가 비용이 많이 드는 엔지니어링 프로젝트로 변하지 않는다는 점을 입증해야 한다. 전문화된 모델은 팀이 학습 데이터, 평가, 신뢰할 수 있는 도구 통합을 만들어낼 수 있을 때에만 범용 서비스를 능가할 수 있다.
지식 집약형 에이전트의 경우, 이러한 평가는 직원들이 실제로 사용하는 정보 환경을 반영해야 한다. 검색 가능한 지식 기반을 구축하는 팀은 실제 문서, 권한, 개정 이력, 상충하는 증거를 포함한 테스트가 필요하다.
결과는 공개형 모델이나 폐쇄형 모델 중 한쪽의 단순한 승리가 아니다. NVIDIA는 모델 효율성, 배포 도구, 하드웨어 지원 범위를 연결함으로써 공개형 경로의 신뢰도를 높였다. 폐쇄형 서비스는 구매자가 편의성과 폭넓은 역량을 우선시할 때 여전히 우위를 지닌다.
독립 테스트에서 확인된 속도와 사각지대
Super VL은 현실적인 분석 작업에서 빠른 모습을 보이지만, 속도는 때때로 더 적은 증거를 검토한 결과일 수 있다.
공급업체 벤치마크는 유리한 하드웨어와 작업 정의를 반영하는 경우가 많기 때문에 NVIDIA의 주장은 독립적인 평가가 필요하다. Plotly의 제3자 테스트는 이를 뒷받침하는 동시에 유용한 경고도 제시한다.
Plotly는 합성 풍력 에너지 데이터세트를 사용한 비공개 데이터 분석 시험에서 Super VL을 평가했다. 이 모델은 43개 문제 중 30개를 통과해 전체 점수 70%를 기록했다. 일반적인 문제에 12초 만에 답해, 테스트된 28개 모델 가운데 가장 빠른 결과를 냈다.
분석 벤치마크는 일상적 분석, 불가능한 요청, 모호한 질문, 통계적 함정, 데이터 품질 문제, 숨겨진 패턴을 다뤘다. 시험을 비공개로 유지하면 답변이 학습 데이터에 포함됐을 가능성을 낮출 수 있다.
Super VL은 일반적인 분석 문제 20개 중 19개에 정확히 답했다. 다단계 SQL 작업, 시간 기반 조인, 병합된 구간을 첫 시도부터 뛰어난 성과로 처리했다.
또한 불가능한 요청 5개를 모두 거부했다. 유용한 엔터프라이즈 에이전트는 이용 가능한 데이터만으로 답을 뒷받침할 수 없는 경우를 인식해야 하므로, 이 동작은 중요하다.
이 모델은 모호한 질문 5개 중 4개를 해결했다. 한 사례에서는 계절별 터빈 성능을 비교하기 전에 겨울로 계산할 월을 정의했다. 이 응답은 불충분하게 명시된 요청을 합리적으로 처리했음을 보여줬다.
실패 사례는 더 많은 것을 드러냈다. Super VL은 의도적으로 삽입된 데이터 품질 문제 3개를 하나도 감지하지 못했다. 탐색적 조사가 필요한 숨겨진 패턴 5개도 하나도 찾아내지 못했다.
한 작업에서 모델은 데이터세트에 한 달의 마지막 날이 누락된 사실을 알아차리지 못했다. 또한 장비 온도의 한 분기를 요약하면서 일주일치 측정값이 없다는 점도 놓쳤다.
모델은 통계적 함정이 포함된 문제 5개 중 2개만 통과했다. 두 관측 효과를 다른 변수가 모두 설명하는지 확인하지 않은 채, 전체적인 관계를 받아들이는 경우가 있었다.
이러한 누락은 더 빠른 작업 완료가 언제나 더 나은 에이전트를 뜻한다는 생각에 의문을 제기한다. Plotly는 Super VL이 문제당 약 4회의 모델 호출을 수행하고 약 15만 토큰을 읽었다고 밝혔다.
Nemotron 3 Ultra는 더 많은 호출을 사용하고 훨씬 더 많은 컨텍스트를 검토했다. Super VL의 가벼운 접근 방식은 응답 시간을 개선했지만, 숨겨진 문제를 발견할 기회도 줄였다.
이는 NVIDIA Nemotron 3.5 전략을 둘러싼 핵심 불확실성이다. 효율성은 지속 실행형 에이전트의 경제성을 개선할 수 있다. 동시에 시스템이 충분한 증거를 확보하기 전에 탐색을 멈추도록 유도할 수도 있다.
사용자가 무엇을 물어봐야 할지 모를 때 이 문제는 특히 심각하다. 모델은 특정 질의에 정확히 답하면서도, 의사결정을 바꾸는 누락 기록이나 의심스러운 패턴을 식별하지 못할 수 있다.
NVIDIA 자체 평가는 더 긍정적인 관점을 제시한다. 회사는 보고된 설정에서 Super VL이 Hermes Bench에서 63.44%, LangChain 평가에서 87.05%를 기록했다고 밝혔다. Nemotron 3 Ultra는 각각 56.33%와 84.3%를 기록했다.
NVIDIA는 차트 추론 벤치마크인 CharXiv에서 80.8%를 기록했다고도 밝혔다. Python 코드 해석을 사용하면 이 결과는 84%로 높아졌다. 회사에 따르면 이 모델은 공개형 모델 OCRBench v2 리더보드에서 최상위권에 올라 있다.
이 결과와 Plotly의 발견은 모두 사실일 수 있다. 벤치마크는 서로 다른 역량, 에이전트 하네스, 도구 정책, 중단 행동을 분리해 측정한다. 에이전트는 차트 해석에는 뛰어나면서도 데이터세트가 완전한지 확인하지 못할 수 있다.
따라서 배포 팀은 체크포인트뿐 아니라 전체 워크플로를 테스트해야 한다. 데이터 검색, 도구 선택, 오류 복구, 출처 범위, 최종 답변 검증을 위한 평가가 필요하다.
고위험 에이전트는 명시적인 점검 단계를 요구할 수 있다. 금융 워크플로는 결론을 내리기 전에 기록 수, 누락 구간, 중복 행, 상충하는 값을 확인하도록 시스템에 강제할 수 있다.
같은 원칙은 리서치 에이전트에도 적용된다. 에이전트가 1차 문서를 건너뛰거나 모순되는 증거를 제시하지 못한다면, 빠른 답변은 가치가 떨어진다. 평가는 유창한 완료뿐 아니라 완전한 조사를 보상해야 한다.
Super VL의 공개된 학습 및 평가 자료는 이러한 테스트를 더 쉽게 검토할 수 있게 한다. 공개성은 신뢰성을 보장하지 않지만, 기술 팀이 실패 행동을 연구하고 수정할 여지를 더 많이 제공한다.
Nemotron 3.5 Bolt, 경쟁을 로컬 하드웨어로 가져오다
Bolt는 유용한 에이전트 자율성이 클라우드 클러스터에만 머무르지 않고 일상 애플리케이션 옆에서도 작동할 수 있는지를 시험한다.
24GB Bolt 모델은 이 수준의 메모리가 데이터센터 밖에서도 접근 가능하다는 점에서 중요하다. NVIDIA는 이 모델이 GeForce RTX PC, DGX Spark, DGX Station, RTX PRO 워크스테이션, 출시 예정 RTX Spark 노트북에서 작동한다고 밝혔다.
로컬 실행은 에이전트와 데이터의 관계를 바꾼다. 문서, 코드, 이미지, 애플리케이션 상태가 호스팅 모델 엔드포인트로 이동하는 대신 기기에 남아 있을 수 있다.
이 구성은 네트워크 지연을 줄이고 오프라인 사용을 지원할 수 있다. 일부 데이터 상주 요건도 간소화할 수 있지만, 로컬 운영이 보안 또는 규정 준수 의무를 없애지는 않는다.
로컬 코딩 에이전트는 프라이빗 리포지토리를 점검하고 개발 도구를 실행하며, 리포지토리를 외부 모델 제공업체에 전송하지 않고도 변경 사항을 제안할 수 있다. 리서치 에이전트는 워크스테이션에 저장된 문서를 정리할 수 있다.
Bolt E4B는 이 개념을 임베디드 인터페이스로 확장한다. 4GB 목표는 24GB 모델이 비현실적인 기기를 지원한다. NVIDIA는 음성 비서, 인터랙티브 캐릭터, 물리적 에이전트를 의도된 워크로드로 설명한다.
더 작은 설치 공간에는 예상되는 역량의 한계가 따른다. 4GB 대화형 모델이 복잡한 계획 수립에서 1,200억 파라미터 멀티모달 시스템과 맞먹을 것으로 가정할 수는 없다.
NVIDIA의 라인업은 그 차이를 라우팅 결정으로 다룬다. 엣지 모델은 즉각적인 대화나 단순한 작업을 처리한다. Super VL은 더 무거운 추론, 시각 분석, 다단계 작업을 처리한다.
이 아키텍처는 일반적인 상호작용을 로컬에 유지하면서 어려운 작업은 더 큰 인프라로 단계적으로 넘길 수 있다. 동시에 권한, 컨텍스트 전송, 모델 간 일관된 행동과 관련된 조정 과제도 발생한다.
개발자는 각 요청을 어떤 모델이 처리할지 결정해야 한다. 잘못된 라우팅은 비공개 작업을 클라우드로 보내거나, 더 큰 모델에 과부하를 주거나, 복잡한 작업을 역량이 부족한 엣지 모델에 할당할 수 있다.
하드웨어 호환성 역시 면밀히 살펴볼 필요가 있다. Super VL은 NVIDIA의 데이터센터 및 로컬 시스템 전반에서 작동하지만, 가장 공격적인 최적화 경로는 최신 NVIDIA 아키텍처에 유리하다. 구형 GPU나 NVIDIA가 아닌 기기에서는 성능이 달라질 수 있다.
llama.cpp, Ollama, LM Studio, Unsloth, vLLM의 지원은 Bolt 74B-A9B에 대한 접근성을 넓힌다. 이러한 통합은 로컬 실험을 쉽게 하고 하나의 서빙 인터페이스에 대한 의존도를 줄인다.
그럼에도 운영 경험은 호환성 목록보다 더 중요할 것이다. 개발자는 시작 시간, 메모리 안정성, 지속 생성 속도, 도구 호출, 컨텍스트 처리, 압축 이후의 정확도를 평가할 것이다.
NVIDIA의 데스크톱 전략은 하드웨어 로드맵에도 도움이 된다. 매력적인 24GB 에이전트는 고객에게 메모리가 풍부한 RTX 시스템을 구매할 또 다른 이유를 제공한다. 로컬 AI는 하드웨어 수요를 이끌 수 있는 애플리케이션 범주가 된다.
이러한 인센티브가 소프트웨어를 무효화하는 것은 아니다. 다만 NVIDIA가 모델 가중치, 추론 라이브러리, 개발자 도구, 기기에 동시에 투자하는 이유를 설명한다.
가장 중요한 시험은 실제 애플리케이션이 사용 가능한 메모리의 일부를 소비한 뒤에도 로컬 에이전트가 유용하게 남는지 여부다. Bolt는 비어 있는 벤치마크 머신을 독점하는 것이 아니라 다른 소프트웨어와 함께 작동해야 한다.
개발자는 발열, 전력 소모, 장시간 세션 안정성도 살펴봐야 한다. 항상 켜져 있는 모델은 짧은 시연과 다른 요건을 가진다. 지속 사용 후 성능이 제한되는 시스템은 초기 속도 우위를 잃을 수 있다.
프라이버시 주장에도 같은 수준의 주의가 필요하다. 추론을 로컬에 유지하면 데이터 전송은 줄어들지만, 에이전트는 로그, 플러그인, 네트워크 도구, 부실하게 범위가 설정된 권한을 통해 여전히 정보를 노출할 수 있다.
로컬 운영은 기기 소유자에게 책임을 이전한다. 팀은 모델 파일, 도구 자격 증명, 저장된 컨텍스트, 생성된 산출물을 보호해야 한다. 신뢰할 수 있는 업데이트 프로세스도 필요하다.
Bolt가 이러한 조건을 잘 처리한다면 프라이빗 에이전트 시장을 확장할 수 있다. 좁은 벤치마크에서만 좋은 성과를 낸다면, 로컬 사용자는 중요한 작업을 위해 계속 클라우드 서비스에 의존하게 될 것이다.
NVIDIA의 승부가 통할지 결정할 세 가지 신호
다음 단계는 독립적인 신뢰성, 지속적인 로컬 성능, 가시적인 프로덕션 도입에 달려 있다.
첫 번째 신호는 독립적인 에이전트 벤치마크 전반에서 Super VL과 Bolt를 더 폭넓게 테스트하는 것이다. 결과는 토큰 생성이나 개별 질문 응답뿐 아니라 전체 작업 완료를 다뤄야 한다.
가장 강력한 증거는 서로 다른 에이전트 하네스, 하드웨어 구성, 도구 정책을 사용한 반복 평가에서 나올 것이다. 일관된 결과는 NVIDIA의 효율성 주장을 강화할 것이다. 큰 성능 변동은 서빙 레시피가 모델만큼 큰 기여를 한다는 점을 보여줄 것이다.
테스트는 조사 깊이도 측정해야 한다. Plotly의 결과는 누락 데이터 탐지와 탐색적 행동이 속도 및 정확도와 함께 평가돼야 하는 이유를 보여준다. 더 많은 작업을 빠르게 완료하는 에이전트라도 증거를 간과한다면 위험을 만들 수 있다.
두 번째 신호는 10월 출시 이후 실제 24GB 시스템에서의 Bolt 성능이다. 개발자는 메모리 사용량, 지속 속도, 애플리케이션 공존, 출시된 2비트 구성에서의 품질을 살펴봐야 한다.
강력한 로컬 결과는 일상적인 에이전트 작업에 더 이상 원격 클러스터가 필요하지 않다는 NVIDIA의 주장을 뒷받침할 것이다. 도구 사용이 약하거나 장시간 세션이 불안정하다면 Bolt의 역할은 가벼운 지원으로 좁아질 것이다.
Bolt E4B는 또 다른 유용한 한계 테스트를 제공할 것이다. 그 가치는 4GB 모델이 엣지 기기에서 도구를 호출하고 빠르게 응답하면서 일관된 여러 차례의 대화 행동을 유지할 수 있는지에 달려 있다.
세 번째 신호는 명시된 파트너의 프로덕션 증거다. NVIDIA는 Super VL을 테스트하거나 맞춤화하는 여러 조직을 식별했다. 다음 단계는 발표된 실험을 넘어선 측정 가능한 배포다.
완료된 업무 처리량, 검증된 정확도 변화, 운영 지연 시간, 에스컬레이션 비율, 그리고 사람의 검토 요구 사항이 유용한 근거가 될 수 있다. 사례 연구에서는 유사한 조건에서 전문화 모델과 그것이 대체하는 시스템을 비교해야 한다.
파트너의 도입 상황은 실제로 사후 학습이 얼마나 까다로운지도 보여줄 것이다. NVIDIA는 모델, 데이터세트, NeMo 도구, 평가 레시피를 제공한다. 그러나 기업은 여전히 도메인 데이터, 정책, 통합, 거버넌스를 제공해야 한다.
폐쇄형 모델 제공업체들도 가만히 있지는 않을 것이다. 이들은 지연 시간을 줄이고, 프라이빗 배포 옵션을 추가하며, 모델 라우팅을 개선하고, 기업 데이터에 대한 더 강력한 제어 기능을 제공할 수 있다.
이들의 대응은 오픈 에이전트가 독자적인 구매 범주로 자리 잡을지, 아니면 기술적으로 앞선 팀을 위한 선택지로 남을지를 결정할 것이다. NVIDIA는 편의성 격차를 줄였지만, 이를 없애지는 못했다.
NVIDIA Nemotron 3.5 출시는 멀티모달 데이터센터 에이전트부터 소형 로컬 어시스턴트까지 아우르는 신뢰할 만한 스펙트럼을 구축한다. 가장 강력한 근거는 의심의 여지 없는 우위가 아니라 효율성과 배포 가능성에 있다.
개발자와 구매자는 이제 대표적인 워크플로 하나를 처음부터 끝까지 테스트해야 한다. 에이전트가 누락된 근거를 찾아내는지, 적절한 도구를 사용하는지, 지속적인 부하 상황에서도 올바른 결과를 내는지를 측정해야 한다. 이 평가는 모델 순위가 답할 수 없는 질문에 답할 것이다. 즉, 오픈 전문화 에이전트가 편리한 폐쇄형 API보다 실제 업무를 더 안정적으로 완료하는가?
