퇴역한 Nvidia Tesla V100, 게이밍 PC를 빠른 로컬 AI 시스템으로 탈바꿈시키다

2017년형 Nvidia 하드웨어가 뜻밖의 결과를 냈다. 270억 매개변수의 로컬 언어 모델에서 초당 32토큰을 기록한 것이다. Nvidia Tom의 보도는 게이밍 PC 내부에서 RTX 4080과 나란히 장착된 Tesla V100 서버 가속기를 다룬다.

이 실험은 합산 32GB의 비디오 메모리를 확보해 양자화된 27B 모델과 긴 컨텍스트 윈도우를 GPU에 유지할 수 있었다. 이는 로컬 AI 하드웨어에 대한 핵심 가정에 도전한다. 가장 유용한 가속기가 언제나 최신 제품인 것은 아니다.

다만 이 구성은 소비자 친화적인 지름길과는 거리가 멀다. 서로 다른 두 GPU 아키텍처, 비공식 어댑터, Linux 설정, 맞춤형 냉각 작업, 그리고 갈수록 좁아지는 소프트웨어 지원 범위를 결합해야 한다. 원래 장착된 팬은 야외 장비 수준의 소음에 가까운 82데시벨까지 올라갔다.

따라서 진짜 경쟁 구도는 구형 Nvidia 하드웨어와 특정 신형 GPU 하나의 대결이 아니다. 저렴하고 풍부한 메모리 용량과 현대 소비자용 하드웨어의 호환성·편의성 간의 대결이다.

Tesla V100 구성은 실제로 무엇을 달성했나

이 결과가 중요한 이유는 퇴역한 데이터센터 하드웨어를 실제로 쓸 만한 로컬 추론 시스템으로 바꿨기 때문이다.

개발자 Oscar Molnar는 16GB VRAM을 탑재한 RTX 4080으로 시작했다. 이 용량은 많은 게임과 소형 언어 모델을 처리할 수 있지만, 더 큰 모델을 온전히 GPU에 상주시킬 수 있는 범위에는 한계가 있다.

모델 일부를 시스템 메모리로 옮기는 것은 가능하지만, CPU 오프로딩은 일반적으로 생성 속도를 떨어뜨린다. 긴 컨텍스트 윈도우 역시 이전 토큰의 어텐션 데이터를 저장하는 키-값 캐시를 통해 메모리를 소비한다.

Molnar는 16GB HBM2 메모리를 추가로 탑재한 Tesla V100 SXM2를 더했다. SXM2는 일반 데스크톱 PCIe 슬롯에 꽂는 대신 특수 보드에 장착하는 서버 지향 모듈 형식이다.

비공식 SXM2-to-PCIe 어댑터가 물리적·전기적 연결을 제공했다. 완성된 시스템은 RTX 4080과 V100에 걸쳐 총 32GB VRAM을 제공했지만, 이 메모리가 하나의 통합 풀로 합쳐진 것은 아니다.

Molnar의 상세한 V100 빌드 로그에 따르면, llama.cpp는 모델을 두 가속기에 나눠 배치했다. 소프트웨어는 워크로드 일부를 각 GPU에 할당하고 추론 중 PCIe를 통해 데이터를 이동시켰다.

이 시스템은 Q5_K_M 양자화를 적용한 Qwen3.6-27B-MTP를 실행했다. 양자화는 모델 가중치를 낮은 정밀도의 표현으로 압축해 메모리 요구량을 줄이면서도 유용한 출력 품질을 유지하려는 기법이다.

생성된 모델 파일은 약 19GB를 차지했다. Molnar는 128,000토큰 컨텍스트 윈도우를 구성하고, 99개 모델 레이어 전체를 오프로드했으며, 워크로드를 두 GPU에 균등 분할했다.

그는 초당 약 32토큰의 생성 속도를 보고했다. 프롬프트 처리는 초당 약 133~160토큰에 도달했다.

이 수치는 독립된 실험실 벤치마크가 아니라 한 애호가의 시스템에서 나온 결과다. 성능은 모델, 양자화, 프롬프트, 소프트웨어 리비전, 컨텍스트 길이, GPU 분할 방식에 따라 달라진다.

이러한 조건을 감안해도 초당 32토큰은 대화형 글쓰기와 코딩 세션에 충분히 반응성이 좋은 수준이다. 많은 사용자는 시스템이 생성하는 속도보다 훨씬 느리게 텍스트를 읽는다.

특히 두 GPU 모두 상대 GPU와 함께 작동하도록 설계되지 않았다는 점에서 이 결과는 주목할 만하다. 한쪽은 Nvidia의 2022년 Ada Lovelace 아키텍처를, 다른 한쪽은 2017년 Volta 아키텍처를 사용한다.

이는 32GB VRAM을 탑재한 단일 카드를 보유한 것과는 다르다. GPU 간 통신은 지연을 유발하며, 각 가속기는 시스템 인터커넥트를 통해 정보를 옮기지 않는 한 로컬에 할당된 데이터에만 접근할 수 있다.

그럼에도 이 실험은 많은 로컬 AI 사용자에게 가장 중요한 기준점을 넘었다. 성능 있는 27B 모델이 합산 GPU 메모리에 완전히 들어갔고, 토큰마다 비현실적인 대기 없이 응답했다.

이 때문에 Nvidia Tom의 사례는 특이한 하드웨어에 관한 단순한 흥밋거리가 아니다. 데이터센터에서 이미 퇴역한 가속기에서도 소프트웨어가 유용한 추론 성능을 끌어낼 수 있음을 보여준다.

구형 Nvidia 메모리가 로컬 LLM에 여전히 중요한 이유

로컬 언어 모델 추론은 최신 게이밍 기능보다 메모리 용량과 대역폭을 더 중시하는 경우가 많다.

모든 언어 모델은 텍스트를 생성하는 동안 가중치를 어딘가에 저장해야 한다. 가중치가 VRAM에 들어가면 GPU는 더 느린 시스템 메모리에 크게 의존하지 않고 이를 반복해서 읽을 수 있다.

270억 매개변수 모델을 완전한 16비트 정밀도로 실행하려면 두 카드 어느 쪽이 제공하는 것보다 훨씬 큰 메모리가 필요하다. 양자화는 각 가중치를 더 적은 비트로 저장해 이 요구량을 낮춘다.

이 과정에는 절충점이 따른다. 더 공격적인 양자화는 메모리를 아끼지만 출력 품질이나 호환성에 영향을 줄 수 있다. 덜 공격적인 형식은 더 많은 모델 정보를 보존하지만 추가 VRAM이 필요하다.

V100이 여전히 관련성이 있는 이유는 Nvidia가 2세대 고대역폭 메모리인 HBM2를 탑재했기 때문이다. Nvidia의 공식 V100 사양은 초당 900GB의 메모리 대역폭을 제시한다.

퇴역한 가속기치고는 여전히 상당한 수치다. 토큰 생성은 생성되는 각 토큰마다 모델 가중치를 메모리에서 자주 이동시키므로, 대역폭은 단일 사용자 추론에서 중요한 한계 요인이 된다.

V100은 5,120개의 CUDA 코어와 640개의 1세대 Tensor Core도 갖췄다. Tensor Core는 신경망에 사용되는 일반적인 행렬 연산을 가속하지만, Volta는 최신 아키텍처보다 지원하는 현대적 수치 형식이 적다.

본래 용도는 장점과 문제를 모두 설명한다. Nvidia는 이 가속기를 게이밍 데스크톱이 아니라 AI 학습, 과학 연산, 고밀도 서버 배치를 위해 만들었다.

SXM2 모델은 최대 300와트 전력 범위를 지원하며 강력한 섀시 공기 흐름을 전제로 설계됐다. 디스플레이 출력, 익숙한 데스크톱 쿨러, 표준 PCIe 엣지 커넥터가 없다.

하지만 이러한 소비자용 기능의 부재는 퇴역 제품이 실험가들의 관심을 끄는 이유이기도 하다. 호스트 프로세서나 다른 GPU가 데스크톱을 처리한다면, 로컬 추론 서버에는 디스플레이 출력이 필요하지 않다.

주변 플랫폼이 유행에서 벗어난 뒤에도 메모리는 여전히 유용하다. 데이터센터는 구형 칩이 갑자기 연산을 못 하게 돼서가 아니라 효율성, 밀도, 지원, 운영 일관성을 위해 가속기를 교체한다.

로컬 사용자는 같은 하드웨어를 다르게 평가한다. 원하는 모델을 비공개로 실행할 수 있다면, 애호가는 수동 설정, 낮은 밀도, 오래된 소프트웨어 환경을 감수할 수 있다.

이로 인해 기업용 장비의 노후화가 기술적 무용함을 뜻하지 않는 중고 시장이 형성된다. 서버 소유자에게는 유지보수 부담인 반면, 실험가에게는 메모리 대역폭과 CUDA 호환성으로 보인다.

이러한 차이는 소비자 GPU 포지셔닝에 압박을 가한다. 많은 신형 게이밍 카드는 뛰어난 그래픽 성능을 제공하지만, 대형 모델을 원하는 로컬 AI 사용자에게는 메모리가 부족하다.

현대적인 카드는 여전히 여러 장점이 있다. 최신 드라이버, 더 나은 효율, 새로운 정밀도 형식, 비디오 엔진, 디스플레이 출력, 더 조용한 냉각, 지원되는 물리적 설계를 제공한다.

그러나 이러한 기능만으로는 카드의 가용 메모리를 초과하는 모델을 불러올 수 없다. 일부 로컬 추론 워크로드에서 용량은 성능 선호가 아니라 넘어야 할 절대적인 관문이다.

V100 실험은 이 불일치를 드러낸다. AI에 관심 있는 소비자는 게이머와 VRAM을 다르게 평가할 수 있지만, 두 집단은 흔히 같은 제품군 안에서 제품을 고른다.

Apple의 통합 메모리 시스템과 최신 워크스테이션 가속기는 더 큰 메모리 풀로 가는 대안을 제공한다. AMD 카드도 경쟁력 있는 용량을 제공할 수 있지만, 소프트웨어 호환성은 모델과 추론 엔진에 따라 달라진다.

중고 V100이 모든 기준에서 이 대안들을 능가하는 것은 아니다. 다만 로컬 AI가 주류 데스크톱 제품이 일관되게 제공하지 않는 구성에 대한 시장을 만들고 있음을 보여준다.

Nvidia Tom의 결과는 실리콘만큼 소프트웨어에 달려 있다

이 하드웨어가 작동하는 이유는 llama.cpp가 일반적인 서버 플랫폼 없이도 서로 다른 GPU에 양자화된 모델을 분산할 수 있기 때문이다.

llama.cpp는 CPU와 여러 GPU 백엔드에서 언어 모델을 효율적으로 실행하도록 설계된 오픈 소스 추론 엔진이다. 이 엔진은 이식 가능한 로컬 추론을 위해 만들어진 모델 파일 형식인 GGUF를 지원한다.

프로젝트의 멀티 GPU 문서는 레이어 분할과 텐서 분할을 구분한다. 두 방식은 서로 다른 방식으로 작업을 여러 장치에 배치한다.

레이어 분할은 연속된 모델 레이어를 개별 GPU에 할당한다. 각 토큰은 이 레이어들을 순차적으로 통과하므로, 더 세밀한 텐서 병렬 처리보다 장치 간 통신량을 줄인다.

텐서 분할은 레이어 내부의 연산을 나눈다. 인터커넥트가 빠르면 생성 지연 시간을 개선할 수 있지만, 참여 GPU 간 더 많은 통신이 필요하다.

Molnar는 모델을 균등하게 배분하기 위해 텐서 분할 설정을 사용했다. 두 카드는 V100의 기본 서버급 NVLink 구성 대신 데스크톱 플랫폼을 통해 통신했다.

이 차이는 합산 VRAM이 자동으로 유용해지는 것은 아니라는 점에서 중요하다. 소프트웨어는 어느 장치의 용량도 초과하지 않도록 모델 가중치, 캐시, 중간 값을 배치하는 방법을 이해해야 한다.

두 GPU의 성능 특성도 다르다. RTX 4080은 훨씬 최신인 반면, V100은 구형 연산 유닛과 고대역폭 메모리를 제공한다.

성능이 불균형한 조합에서는 빠른 카드가 느린 카드를 기다리게 될 수 있다. 따라서 선택한 분할 비율은 모델 아키텍처, 메모리 사용량, 실측 처리량에 따라 조정이 필요할 수 있다.

Molnar의 구성은 양자화된 모델 전체를 GPU 메모리에 유지했다. 이로써 여러 레이어를 CPU로 보내면서 발생할 더 큰 성능 저하를 피했다.

그는 또한 해당 모델의 다중 토큰 예측 아키텍처를 지원하는 소프트웨어 리비전을 사용했다. 다중 토큰 예측은 허용 가능한 제안을 판별하기 전에 모델이 여러 미래 토큰을 제안하도록 한다.

이 기법은 특히 구조화됐거나 예측 가능한 출력에서 예측이 성공할 경우 처리량을 높일 수 있다. 다만 지원 여부는 모델과 추론 엔진에 따라 달라지며, 실제 성능 향상은 프롬프트별로 다르다.

이 세부 사항은 모든 V100이 보고된 속도로 모든 27B 모델을 실행할 수 있다는 단순한 결론을 막는다. 양자화, 컨텍스트 크기, 백엔드, 모델 아키텍처가 달라지면 결과도 크게 달라질 수 있다.

같은 모델을 불러오더라도 동일한 성능을 보장하지는 않는다. 긴 프롬프트는 키-값 캐시 사용량을 늘리고, 동시 요청은 메모리 압박과 스케줄링 동작을 바꾼다.

Nvidia Tom 실험에는 NixOS와 맞춤형 llama.cpp 빌드도 사용됐다. NixOS는 시스템 구성을 선언적으로 정의해 운영자가 버전 관리되는 파일에서 패키지와 서비스를 재현할 수 있도록 돕는다.

이 방식은 변경 후에도 특이한 구성을 복원하기 쉽게 만들 수 있다. 그렇다고 이 하드웨어 조합이 공식 지원되는 것은 아니다.

원래 빌드에서는 Windows가 더 큰 어려움을 보였던 것으로 전해진다. V100은 웜 리부트 후에도 간혹 사라졌으며, 다시 인식하려면 시스템 전원을 완전히 껐다가 켜야 했다.

이러한 불편은 시스템을 직접 구성한 실험가에게는 감수할 만하다. 하지만 매일 아침 예측 가능하게 시작돼야 하는 워크스테이션에서는 심각한 신뢰성 문제가 될 수 있다.

그럼에도 이 빌드는 로컬 AI에서 나타나는 더 큰 변화를 보여준다. 오픈 모델 형식과 유연한 추론 엔진은 하드웨어의 유효 수명을 원래 의도된 운용 기간보다 더 길게 만들 수 있다.

이제 가장 중요한 요소는 가속기 하나만이 아니다. 실용적인 시스템은 모델 형식, 양자화, 런타임, 드라이버, 운영 체제, 냉각, 인터커넥트를 모두 포함한다.

중고 엔터프라이즈 하드웨어를 평가하는 구매자는 이 전체 스택을 살펴봐야 한다. VRAM 용량은 문을 열어 주지만, 모델이 그 문을 통과할 수 있는지는 소프트웨어가 결정한다.

잔디깎이 소음이 드러내는 진짜 트레이드오프

퇴역 서버 GPU는 세련된 사용 경험을 포기하는 대신 용량을 얻으며, 냉각 시스템은 그 대가를 분명하게 드러낸다.

어댑터의 원래 팬은 Apple Watch에서 82데시벨로 측정됐다. 이 수치는 보정된 음향 테스트 결과는 아니지만, 문제를 명확히 보여준다.

서버 하드웨어는 열 배출이 소음보다 중요한 통제된 환경을 전제로 한다. 소형 랙은 하루 종일 바로 옆에 앉아 있을 사람이 없다고 가정하므로 고속 팬을 사용할 수 있다.

게이밍 PC에서는 같은 공기 흐름이 소리로 더 크게 체감된다. 보도에 따르면 어댑터 팬은 원래 커넥터가 일반적인 데스크톱 팬 제어를 지원하지 않아 최대 속도로 작동했다.

Molnar는 배선을 조사한 뒤 맞춤형 케이블을 통해 팬을 메인보드 헤더에 연결했다. 이후 펄스 폭 변조를 통해 메인보드가 팬 속도를 낮출 수 있게 됐다.

보도된 팬 설정 10%에서 V100은 테스트 부하 중 섭씨 50도 이하를 유지했다. Molnar는 소리를 듣기 어려울 정도가 됐다고 말했다.

이 해결책은 영리하지만, 독자들이 이를 보편적인 열 관리 보장으로 받아들여서는 안 된다. 케이스 공기 흐름, 실내 온도, 팬 구조, GPU 부하, 센서 위치는 모두 냉각에 영향을 준다.

팬 배선이 잘못되면 헤더가 손상되거나 팬이 예기치 않게 멈출 수 있다. 온도를 모니터링하지 않은 채 공기 흐름을 줄이면 가속기, 어댑터, 메모리 또는 전력 공급 부품이 과열될 수 있다.

전력 요구 사항도 또 다른 위험을 만든다. SXM2 모듈은 Nvidia가 소비자용 배포를 위해 설계하지 않은 하드웨어를 통해 상당한 전력을 공급해야 하는 비공식 어댑터에 의존한다.

이 카드는 일반 데스크톱 제품에 기대되는 안전성과 편의성 전제를 갖추지 않았다. 구매자는 전원 연결, 어댑터 품질, 물리적 여유 공간, 펌웨어 동작, 전원공급장치 용량을 확인해야 한다.

그다음은 에너지 소비다. 중고 가속기는 구매 시점에는 매력적으로 보일 수 있지만, 매일 장시간 운용한 뒤에는 매력이 떨어질 수 있다.

Molnar는 자신의 작업 부하에서 V100의 소비 전력이 최대 약 150와트였다고 관찰했다. Nvidia는 SXM2 설계의 최대 전력을 300와트로 평가하므로, 작업 부하와 구성에 따라 큰 차이가 난다.

최신 GPU는 일부 작업을 더 적은 전력과 열로 처리할 수 있다. 또한 더 빨리 완료해 최대 전력이 비슷해 보여도 총 에너지 사용량을 줄일 수 있다.

따라서 비교는 활용도에 달려 있다. 가끔 비공개 코딩 세션에 쓰는 머신은 지속적으로 요청에 응답하는 서버와 비용 구조가 다르다.

지원 수명은 더 뚜렷한 우려 사항이다. Volta의 컴퓨트 기능은 7.0인 반면, 새로운 AI 커널은 점점 Ampere 및 그 이후 아키텍처를 겨냥하고 있다.

Nvidia의 CUDA 13 notes는 CUDA 13 툴킷에서 Volta용 오프라인 컴파일과 라이브러리 지원이 제거됐다고 명시한다. CUDA 12.x는 이들 아키텍처를 대상으로 빌드할 수 있는 지원 경로로 남아 있다.

그렇다고 기존 V100 시스템이 비활성화되는 것은 아니다. 운영자는 새 라이브러리가 점차 앞으로 나아가는 동안 호환 가능한 툴체인을 유지해야 한다는 의미다.

향후 추론 엔진 릴리스는 Volta에서 사용할 수 없는 최신 CUDA 라이브러리나 커널을 요구할 수 있다. 사용자는 이전 버전을 고정할 수 있지만, 이는 유지 관리와 보안 작업을 늘린다.

최신 모델은 FP16보다 더 넓은 수치 범위를 제공하는 16비트 부동소수점 형식인 BF16을 전제로 하기도 한다. Volta의 Tensor Cores는 네이티브 BF16 가속을 제공하지 않는다.

일부 런타임은 지원되지 않는 연산을 변환하거나, 더 느린 경로를 사용하거나, 호환되지 않는 구성을 거부한다. 정확한 동작은 모델과 프레임워크에 따라 다르다.

새로운 어텐션 커널도 비슷한 격차를 만든다. Ampere, Hopper 또는 Blackwell에 최적화된 소프트웨어는 유용한 Volta 구현을 제공하지 않을 수 있다.

이러한 제약은 V100을 고정 플랫폼 투자로 만든다. 소유자는 오늘날 고정한 스택이 계속 작동하더라도 호환성은 축소될 것이라고 가정해야 한다.

이 실험의 32토큰 결과는 해당 정확한 머신에서 독립적으로 재현되지 않았다. 이를 보장된 제품 사양이 아니라 문서화된 개인 벤치마크로 이해해야 한다.

또한 이 구성은 RTX 4080과 V100을 함께 사용한다. 구형 가속기 하나만으로 32GB VRAM이나 보고된 전체 결과를 낸 것은 아니다.

이 구분은 중요하다. 헤드라인은 V100이 최신 고메모리 카드 전체를 대체할 수 있는 것처럼 보이게 할 수 있기 때문이다. 이는 신중하게 구성된 시스템 안의 확장 장치로 이해하는 편이 낫다.

적절한 운영자에게는 여전히 매력적인 선택이다. 하지만 조용한 작동, 공식 지원, 예측 가능한 업데이트 또는 최소한의 문제 해결이 필요한 사람에게는 가치가 떨어진다.

구형 데이터센터 GPU가 소비자 AI 시장에 가하는 압력

이 실험은 데스크톱 GPU 공급업체가 여전히 고르게 대응하지 못하는 수요, 즉 로컬 모델 추론을 위한 합리적인 가격의 메모리 용량을 부각한다.

게이밍 벤치마크는 보통 프레임 레이트, 레이 트레이싱, 업스케일링, 전력 효율을 우선시한다. 로컬 AI는 다른 구매 우선순위를 제시한다.

모델은 사용 가능한 메모리에 들어가거나, 들어가지 않는다. 선택한 모델과 컨텍스트가 VRAM 용량을 초과하면 더 빠른 연산 성능으로는 보완할 수 없다.

사용자는 더 강한 양자화, 더 짧은 컨텍스트 창, 더 작은 모델 또는 CPU 오프로딩을 선택할 수 있다. 각 선택지는 품질, 기능 또는 반응성을 바꾼다.

이 때문에 구형 엔터프라이즈 카드, 멀티 GPU 조합, 통합 메모리 컴퓨터에 대한 수요가 생긴다. 어느 쪽도 넉넉한 VRAM을 갖춘 현세대 소비자 GPU의 완전한 편의성을 제공하지는 못한다.

Nvidia는 CUDA가 AI 프레임워크 전반에서 폭넓은 지원을 받기 때문에 여전히 중심적인 위치에 있다. V100은 공식 툴체인이 더 이상 발전하지 않더라도 이 생태계의 혜택을 받는다.

AMD는 대용량 메모리 구성을 갖춘 카드를 제공하지만, 사용자는 선호하는 모델과 런타임이 ROCm 또는 다른 백엔드를 통해 잘 작동하는지 확인해야 한다. 호환성은 개선됐지만 애플리케이션마다 동일하지는 않다.

Apple의 통합 메모리는 CPU와 GPU가 하나의 큰 메모리 풀에 접근하도록 한다. 이는 더 큰 모델을 수용할 수 있지만, 대역폭, 지속 처리량, 소프트웨어 지원, 업그레이드할 수 없는 메모리는 여전히 중요한 고려 사항이다.

최신 Nvidia 워크스테이션 및 데이터센터 제품은 현세대 기능과 함께 높은 용량을 제공한다. 이들은 가정용 애호가와는 다른 예산 및 운영 요구 사항을 가진 구매자를 겨냥한다.

Tesla P40도 또 다른 중고 서버 선택지다. 24GB 메모리를 제공하지만 더 오래된 Pascal 세대에 속하며 Tensor Cores가 없다.

P40은 16GB를 넘는 모델을 로드할 수 있지만, 더 낮은 메모리 대역폭과 구형 연산 경로는 생성 성능을 떨어뜨릴 수 있다. 용량만으로 결과가 결정되지는 않는다.

중고 V100 카드는 독특한 중간 지대를 차지한다. HBM2 대역폭, 1세대 Tensor Cores, 성숙한 CUDA 12 지원을 결합하지만, 뚜렷한 지원 종료 위험도 안고 있다.

따라서 Nvidia Tom 보도는 특정 경쟁사 하나보다 제품 세분화에 압력을 가한다. 일부 사용자가 낮은 VRAM 한계에서 벗어나기 위해 심각한 불편을 감수할 의향이 있음을 보여주기 때문이다.

이 신호는 GPU 제조사에 중요해야 한다. AI 작업 부하는 메모리를 전문 구매자만의 틈새 관심사가 아닌, 소비자에게도 눈에 보이는 사양으로 바꾸고 있다.

이는 모델 개발자에게도 중요하다. 효율적인 양자화와 로컬 런타임은 모델을 실행할 수 있는 설치 기반 하드웨어를 확장한다.

가장 최신 정밀도 형식을 요구하는 모델은 그 외에는 충분한 성능을 갖춘 가속기를 배제한다. 이식성 높은 GGUF 릴리스는 구형 Nvidia, AMD, Apple 또는 CPU 전용 시스템 사용자에게 도달할 수 있다.

그렇다고 개발자가 구식 칩에 맞춰 소프트웨어를 동결해야 한다는 뜻은 아니다. 호환성 선택이 누가 모델을 비공개로 실행할 수 있고, 누가 호스팅 서비스를 써야 하는지를 좌우한다는 의미다.

로컬 운용에는 여러 장점이 있다. 프롬프트가 사용자의 머신에 남고, 생성은 네트워크 가용성에 의존하지 않으며, 운영자가 모델 업데이트를 통제한다.

운영자는 모든 인프라 책임도 떠안는다. 여기에는 드라이버, 모델 파일, 인증, 원격 액세스, 냉각, 모니터링, 백업이 포함된다.

클라우드 서비스는 반대의 선택을 한다. 대부분의 하드웨어 유지 관리를 없애는 대신, 사용자는 가용성, 정책, 데이터 처리 측면에서 외부 서비스를 신뢰해야 한다.

V100 빌드가 이 논쟁을 해결하는 것은 아니다. 다만 편의성보다 통제를 중시하는 기술적으로 자신 있는 사용자에게 로컬 측 선택지를 더 설득력 있게 만든다.

로컬 AI 빌더가 다음으로 주목해야 할 점

세 가지 신호가 V100의 부활이 지속 가능한 틈새가 될지, 아니면 최신 하드웨어로 가는 길의 짧은 경유지가 될지를 결정할 것이다.

첫 번째 신호는 Volta에서의 llama.cpp 지원이다. 이 프로젝트는 새 모델 아키텍처, 양자화 형식, GPU 커널이 등장하면서 빠르게 변화한다.

V100 소유자는 중요한 모델들이 기능하는 CUDA 12 빌드 경로를 유지하는지 지켜봐야 한다. 지속적인 호환성은 이들 시스템을 보존해야 한다는 근거를 강화할 것이다.

더 높은 컴퓨트 기능을 요구하는 커널로 이동하면 그 근거는 약해진다. 버전을 고정하면 그 결과를 늦출 수는 있지만, 새로운 모델 지원을 무기한 제공할 수는 없다.

두 번째 신호는 서로 다른 27B 모델 전반에서 재현 가능한 성능이다. Molnar의 결과는 특정 모델, 양자화, 컨텍스트 구성, 혼합 GPU 배열을 사용한다.

독립 테스트는 생성 속도, 프롬프트 처리, 컨텍스트 길이, 전력 소비, 온도, 정확한 소프트웨어 버전을 보고해야 한다. 단일 초당 토큰 수는 너무 많은 변수를 숨긴다.

밀집형 모델 결과를 전문가 혼합 모델과 가볍게 비교해서도 안 된다. 전문가 혼합 설계는 각 토큰에 대해 전체 파라미터 중 일부만 활성화한다.

여러 테스터가 저렴한 V100 조합에서 반응성 좋은 27B 추론을 재현한다면 핵심 주장은 더 강해진다. 큰 편차는 원래 결과가 전문가 구성에 크게 의존한다는 점을 보여줄 것이다.

세 번째 신호는 향후 소비자 GPU와 워크스테이션의 메모리 용량이다. 더 합리적인 위치의 고메모리 제품이 늘어나면 즉흥적인 서버 전환에 대한 수요는 줄어들 것이다.

소비자 카드가 강력한 연산 성능과 제한적인 VRAM을 계속 결합한다면, 중고 시장의 가속기는 여전히 매력적일 것이다. 사용자는 모델 용량을 위해 계속 효율성과 지원을 맞바꿀 것이다.

소프트웨어 공급업체도 대응할 수 있다. 더 나은 이기종 멀티 GPU 스케줄링은 서로 다른 가속기를 더 쉽게 결합하게 할 수 있는 반면, 더 엄격한 커널 요구 사항은 문을 닫을 수 있다.

예비 빌더는 먼저 GPU를 쇼핑하기보다 사용할 모델부터 정해야 한다. 모델 크기, 양자화 옵션, 컨텍스트 요구 사항, 런타임 지원, 예상 동시성을 확인해야 한다.

또한 실험과 신뢰할 수 있는 프로덕션 사용을 구분해야 한다. 가끔 콜드 리부트가 필요한 리그는 가정에서는 재미있을 수 있지만 비즈니스 워크플로에서는 받아들일 수 없다.

모든 드라이버, 어댑터, 팬 설정, 펌웨어 선택, 모델 개정을 문서화하는 일은 필수다. 검색 가능한 engineering knowledge base는 문제 해결 과정에서 얻은 발견을 반복 가능한 시스템으로 바꿀 수 있다.

Nvidia Tom 하드웨어 기사는 결국 보편적인 추천도, 의미 없는 묘기도 제시하지 않는다. 소프트웨어, 냉각, 운영자의 인내가 맞물릴 때 퇴역 실리콘도 여전히 유용한 로컬 추론을 제공할 수 있음을 보여준다.

더 큰 모델을 로컬에서 실행하기 위해 구형 CUDA 스택, 맞춤형 배선, 수동 복구를 감수하시겠습니까? 어떤 벤치마크보다도 그 답이 Tesla V100이 다음 AI 머신에 어울리는지 결정합니다.