DeepSeek Engram 오프로딩, AI 메모리를 HBM 너머로 확장

DeepSeek Engram 오프로딩은 모델 메모리 189 GiB를 GPU HBM 밖으로 이동시켰으며, DRAM 테스트에서는 때때로 전체 HBM 구성보다 더 높은 성능을 보였다. 이 결과는 대규모 모델 인프라의 기본 가정에 도전한다. 가장 빠른 메모리가 모든 파라미터에 자동으로 최적의 위치가 되는 것은 아니다.

SemiAnalysis는 9월 18일 DeepSeek-V4.1-Flash와 InferenceX 서빙 프레임워크를 사용한 새로운 실험을 공개했다. 테스트에서는 Engram 테이블을 호스트 DRAM 또는 로컬 NVMe 드라이브의 메모리 매핑 파일에 배치했다. DRAM 경로는 텐서 병렬성을 줄여 한 B300 구성의 성능을 개선했지만, 첫 SSD 구현은 여전히 더 느리고 경제성도 낮았다.

이 구분은 중요하다. Engram이 Nvidia GPU나 고대역폭 메모리에 대한 수요를 없애는 것은 아니다. 대신 어떤 모델 파라미터가 그 희소한 용량을 차지할 가치가 있는지를 바꾼다. 따라서 단기적인 경쟁 구도는 HBM 대 SSD가 아니다. 모든 것을 HBM에 배치하는 모델과 HBM, DRAM, 스토리지에 서로 다른 워크로드를 할당하는 계층형 시스템의 대결이다.

DeepSeek Engram 오프로딩이 파라미터 배치를 바꾸다

핵심 변화는 아키텍처에 있다. 학습된 대규모 메모리 블록은 전체 모델을 오프로딩된 신경망처럼 동작하게 만들지 않고도 HBM을 벗어날 수 있다.

DeepSeek는 Engram을 언어 모델을 위한 조건부 메모리 모듈로 도입했다. 이는 일반적인 토큰 임베딩을 반복적으로 등장하는 여러 토큰 패턴에 대한 학습된 조회 기능으로 확장한다. 이러한 패턴에는 이름, 코드 조각, 상용구, 흔히 쓰이는 관계 표현 등이 포함될 수 있다.

일반적인 Transformer는 주의 메커니즘과 피드포워드 계층을 통해 이처럼 지역적인 패턴을 재구성하는 경우가 많다. Engram은 모델에 별도의 조회 경로를 제공한다. 토큰 시퀀스를 해싱하고, 소수의 임베딩 행을 검색한 뒤, 이를 모델의 은닉 상태와 결합한다.

원래의 conditional memory 논문은 이 접근법을 두 번째 형태의 희소성으로 설명한다. Mixture-of-Experts, 즉 MoE는 각 토큰에 대해 모델 연산의 일부만 활성화한다. Engram은 훨씬 큰 메모리 테이블 가운데 극히 일부만 활성화한다.

이 차이는 하드웨어가 모델을 서빙하는 방식을 결정한다. MoE 전문가에는 상당한 연산에 사용되는 가중치 행렬이 들어 있다. 이를 스토리지 계층 간에 이동하면 정확히 가장 부적절한 시점에 대규모 전송이 필요할 수 있다.

Engram 주소는 다르다. 이는 중간 은닉 상태가 아니라 토큰 ID와 해당 토큰의 지역적 시퀀스에 의존한다. 런타임은 이후 모델 계층의 연산이 끝나기 전에 필요한 행을 알 수 있다.

이러한 예측 가능성은 프리페치 구간을 만든다. 서버는 GPU가 앞선 연산을 처리하는 동안 호스트 메모리에서 행을 가져올 수 있다. 조회가 이 구간 안에 완료되면 모델은 일반적으로 오프로딩과 연관되는 지연 시간 상당 부분을 피할 수 있다.

DeepSeek의 공개 연구는 실험적 Engram 테이블을 270억 개 파라미터까지 확장했다. 통제된 비교에서 저자들은 동등한 파라미터 수와 연산량을 가진 MoE 기준 모델보다 높은 성능을 보고했다. 보고된 개선은 사실 지식, 추론, 코드, 수학, 장문맥 검색을 포괄했다.

이 수치는 SemiAnalysis가 테스트한 정확한 프로덕션 시스템이 아니라 연구용 모델에서 나온 것이다. 그럼에도 Engram을 선택적 메타데이터로 취급할 수 없는 이유를 설명한다. Engram은 학습된 모델의 추론 경로 일부가 된다.

SemiAnalysis는 추론 중 Engram을 제거해 이 점을 강화했다. 분석에 따르면, 이전 논문의 절제 실험에서 사실성 벤치마크는 원래 성능의 29~44%만 유지했다. 독해 능력은 81~93%를 유지했다.

이 손실이 Engram이 모든 기존 모델보다 우수하다는 점을 증명하는 것은 아니다. 해당 네트워크는 메모리 모듈에 의존하도록 학습됐다. 그 모듈을 제거하면 학습과 추론 사이에 불일치가 발생한다.

다만 이 실험은 메모리가 부족해졌다고 해서 운영자가 테이블을 단순히 삭제할 수 없음을 보여준다. 효율적으로 서빙하거나, 압축하거나, 다른 위치에 배치해야 한다.

DeepSeek-V4.1-Flash는 이 배치 문제를 구체적으로 보여준다. DeepSeek는 이 모델이 5,520억 파라미터의 MoE 백본을 갖추고 있으며, 입력 처리 시 80억 개, 출력 생성 시 160억 개 파라미터가 활성화된다고 설명한다. Engram은 여기에 또 하나의 대규모 조건부 메모리 풀을 더한다.

V4.1-Flash 출시 발표는 또한 KV 캐시가 이전 모델 대비 HBM은 4분의 1, SSD 스토리지는 8분의 1만 필요하다고 주장한다. KV 캐시는 이전 토큰의 재사용 가능한 주의 상태를 저장한다. Engram과는 별개지만, 두 기능 모두 서버 메모리 요구사항을 재편한다.

SemiAnalysis는 모델의 Engram 테이블에 약 189 GiB를 사용했다. 그러나 처리되는 각 토큰 위치는 두 Engram 계층에서 단 24개 행만 요청했다. 이는 모델 전체에서 약 12.4 KiB, 4-GPU 구성에서 GPU당 3.1 KiB에 해당한다.

테이블은 방대하지만 활성 읽기 작업은 매우 작다. 이 비대칭성은 DeepSeek Engram 오프로딩이 작동할 수 있는 이유다.

DRAM 오프로딩이 전체 HBM 설계에 압박을 가하다

Engram은 GPU 대역폭이 여전히 필수적이더라도 전체 파라미터 수와 필요한 HBM 용량 간의 연결을 약화시킨다.

HBM은 AI 추론에 유용한 두 가지 특성을 지닌다. 높은 대역폭을 제공하며 GPU 연산 장치 가까이에 위치한다. 이러한 장점 때문에 자주 접근하는 가중치와 증가하는 KV 캐시를 위한 자연스러운 위치가 된다.

그러나 시스템 관점에서 용량은 여전히 비싸다. 운영자는 워크로드가 전체 연산 성능을 필요로 하지 않더라도 모델이 들어가지 않는다는 이유만으로 GPU를 추가하는 경우가 많다. 추가 가속기는 이후 통신 비용과 운영 복잡성을 높인다.

Engram은 용량과 연산을 분리하는 방법을 제공한다. 서버는 고밀도 계층, 활성 전문가, 지연 시간에 민감한 상태를 HBM에 유지할 수 있다. 희소 메모리 테이블은 호스트 DRAM에 배치할 수 있다.

SemiAnalysis는 Unified Virtual Addressing, 즉 UVA를 통해 이 구성을 테스트했다. UVA를 사용하면 GPU는 하나의 공유 주소 공간에서 고정된 호스트 메모리를 주소 지정할 수 있다. 동일한 GPU 커널이 HBM 또는 DRAM에서 Engram 행을 선택하고 역양자화했다.

이는 일반적인 CPU 관리형 오프로딩이 아니었다. GPU가 고정된 호스트 할당에 직접 접근했다. 비동기 실행을 통해 조회 작업은 다른 모델 작업과 겹쳐 수행될 수 있었다.

놀라운 결과는 Nvidia의 B300에서 나타났다. SemiAnalysis는 Engram을 DRAM으로 옮기자 구성이 4방향 텐서 병렬성에서 2방향 텐서 병렬성으로 전환될 수 있었다고 보고했다.

텐서 병렬성은 모델 연산을 여러 GPU에 나눈다. 대규모 모델을 수용하게 해주지만, 분할이 늘어날 때마다 동기화와 통신이 추가된다. 따라서 분할을 줄이면 더 느린 메모리 계층을 상쇄할 수 있다.

테스트에 따르면, 그 결과 B300의 처리량과 상호작용성 프런티어는 최대 1.6배 향상됐다. 이 초기 소프트웨어 스택에서 테이블을 다시 HBM으로 옮겨도 실행 간 변동을 넘어서는 측정 가능한 개선은 나타나지 않았다.

이 결과는 가장 단순한 메모리 계층 구조 논리를 뒤집는다. HBM은 개별 조회를 더 빠르게 만들었지만, 그러한 조회는 전체 서빙 경로의 일부에 불과했다. Engram은 그렇지 않았다면 KV 캐시, 배칭 또는 더 작은 복제본을 지원할 수 있는 용량을 차지했다.

DRAM은 토폴로지를 바꿔 전체 시스템을 개선했다. 이점은 DRAM이 순수 접근 속도에서 HBM을 이겼기 때문에 생긴 것이 아니다.

이것이 GPU 시스템 설계에 가해지는 핵심 압박이다. 운영자는 전통적으로 체크포인트 크기, 런타임 상태, 안전 여유분을 더해 모델 적합성을 평가해 왔다. Engram은 접근 패턴에 따라 메모리를 분류하도록 요구한다.

뜨겁고 밀도가 높으며 대역폭 집약적인 가중치는 여전히 HBM에 적합하다. 예측 가능한 희소 행은 연산이 전송을 숨길 수 있을 때 DRAM을 감당할 수 있다. 캐싱과 소프트웨어 오버헤드가 통제된다는 전제 아래, 롱테일 행은 궁극적으로 NVMe에 배치될 수도 있다.

이 변화는 메모리 공급업체에도 영향을 미친다. Engram이 HBM 수요를 끝내는 것은 아니다. 오히려 SemiAnalysis 실험은 일부 추론 구성에서 최대 HBM 용량보다 대역폭이 더 중요할 수 있음을 시사한다.

동시에 서버 DRAM은 모델 서빙 성능 범위의 일부가 된다. 용량 계획은 고정 할당, 메모리 채널, PCIe 동작, 복제본 간 경합을 고려해야 한다.

NVMe도 체크포인트와 KV 캐시를 저장하는 역할을 넘어 잠재적 역할을 확보한다. 모델 파라미터가 로컬 스토리지에서 능동적으로 서빙되기 시작하면 시장 규모가 커진다. 다만 이 기회는 소프트웨어가 스토리지 읽기를 경제적으로 유용하게 만드는 데 달려 있다.

즉각적인 수혜자는 반드시 가장 큰 메모리 풀을 판매하는 업체가 아니다. 비싼 가속기를 멈추게 하지 않으면서 여러 계층을 조율하는 시스템이 수혜자가 될 수 있다.

AI 인프라 구매자에게 전체 모델 크기는 조달 판단 신호로서 약해진다. 활성 파라미터, 토큰당 가져오는 바이트 수, 프리페치 거리, 복제본 토폴로지가 더 유용한 지침을 제공한다.

7,480억 파라미터 시스템은 비슷한 크기의 밀집 모델과 매우 다른 하드웨어 요구사항을 부과할 수 있다. DeepSeek-V4.1-Flash는 희소 백본, 조건부 메모리, 축소된 KV 캐시를 결합한다. 각 구성 요소는 서로 다른 자원에 부담을 준다.

이 복잡성은 비교도 어렵게 만든다. 초당 토큰 수만 측정하는 벤치마크는 개별 동시성 수준의 지연 시간을 감출 수 있다. 메모리 용량만을 위해 GPU를 추가하는 구성에서는 비용 결과도 달라질 수 있다.

가장 유용한 비교는 처리량을 사용자가 체감하는 상호작용성과 함께 제시한다. 이어 고립된 커널 하나가 얼마나 빠르게 작동하는지가 아니라, 완전한 서버 한 대가 얼마나 많은 유용한 작업을 수행하는지를 묻는다.

Engram이 GPU 메모리 밖에서 작동하는 이유

결정론적 주소 지정은 런타임에 메모리를 가져올 시간을 제공하며, 희소 접근은 각 전송이 연산과 겹칠 수 있을 만큼 작게 유지한다.

Engram은 인접한 토큰으로 이루어진 짧은 시퀀스인 N-gram으로 시작한다. 이 아키텍처는 토크나이저의 어휘를 압축하고, 여러 헤드를 통해 지역 시퀀스를 해싱하며, 해당 해시를 학습된 행에 매핑한다.

토크나이저는 시각적으로 비슷한 텍스트에도 서로 다른 ID를 할당하는 경우가 많으므로 어휘 압축은 중요하다. 대소문자, 공백, Unicode 형식은 반복 패턴을 분절시킬 수 있다. 이 논문은 128,000토큰 어휘 하나에서 유효 어휘가 23% 감소했다고 보고한다.

검색된 임베딩은 변경 없이 모델에 들어가지 않는다. 문맥 인식 게이트가 각 조회가 현재 은닉 상태에 미치는 영향을 조절한다. 경량 컨볼루션은 메모리 기여분이 이후 계층에 도달하기 전에 주변 문맥을 추가한다.

이 설계는 Engram의 가치와 한계를 모두 설명하는 데 도움이 된다. 테이블은 재사용 가능한 통계적 패턴을 저장하지만, 모델은 여전히 이를 얼마나 활용할지 결정한다. 정제된 사실 기록을 담은 일반적인 데이터베이스는 아니다.

SemiAnalysis는 DeepSeek-V4.1-Flash에서 높은 게이트 값을 가진 패턴을 조사했다. 이름, 코드 조각, 관계 표현, 라이선스, 참고문헌 조각, 웹 상용구가 발견됐다. 특이한 예시 하나는 Ace Attorney 게임 시리즈를 언급했다.

이 결과는 테이블이 인간이 판단하는 가치 있는 지식이 아니라 다음 토큰 예측을 최적화한다는 점을 시사한다. 반복되는 서식은 예측의 지름길을 제공한다면 유용해질 수 있다.

이 발견은 캐싱을 복잡하게 만든다. 강한 게이트가 반드시 자주 접근되는 행을 식별하는 것은 아니다. 어떤 행은 검색될 때 높은 가치를 지니지만 실제 프로덕션 트래픽에서는 드물게 나타날 수 있다.

런타임은 게이트를 확인한 뒤 모든 약한 조회를 피할 수도 없다. 게이트를 계산하려면 이미 검색을 유발한 해당 키가 필요하다. 이 읽기를 건너뛰려면 메모리 접근 이전에 작동하는 별도의 예측기가 필요하다.

접근 빈도는 여전히 롱테일 분포를 따라야 한다. 일반적인 단어, 프로그래밍 패턴, 일상적인 구문은 희귀한 개체보다 더 자주 나타나야 한다. 그래야 다단계 캐시가 타당해진다.

자주 요청되는 행은 HBM에 남아 있을 수 있다. 더 큰 작업 집합은 호스트 DRAM에 유지할 수 있다. 드문 행은 NVMe에 두고, 트래픽이 유용성을 높이면 더 빠른 계층으로 올릴 수 있다.

CXL 메모리 연구는 이 개념을 한 서버에 직접 연결된 DRAM 너머로 확장한다. 저자들은 공유 메모리 장치에 대한 세밀한 접근을 지원하는 Compute Express Link를 통해 Engram 메모리를 풀링하는 방안을 제안한다.

이 제안은 여전히 연구 단계이며, 프로덕션 환경의 경제성을 입증한 것은 아니다. CXL에는 자체적인 지연 시간, 토폴로지, 소프트웨어 고려 사항이 따른다. 그럼에도 조건부 메모리가 시스템 경계를 어떻게 바꾸는지 보여준다.

운영자는 GPU 연산과 별개로 조회 풀을 확장할 수 있다. 여러 가속기가 모든 GPU 복제본 내부에 전체 테이블을 중복 저장하는 대신 용량을 공유할 수 있다.

프리페칭은 이러한 설계 전반의 핵심 메커니즘이다. 저장소 지연 시간을 숨겨야 한다면 Engram 레이어를 임의로 너무 앞단에 배치할 수는 없다. 선행 연산이 많을수록 검색을 위한 시간 창도 길어진다.

모델 품질은 반대 방향의 요구를 만들 수 있다. 초기 메모리 개입은 네트워크가 첫 레이어에서 일반적인 지역 패턴을 재구성하는 데 자원을 쓰지 않도록 돕는다. Engram을 너무 늦게 배치하면 이 이점이 약해질 수 있다.

이는 실질적인 공동 설계 문제를 만든다. 모델 연구자는 삽입 레이어, 테이블 차원, 해싱 동작, 게이트를 선택한다. 런타임 엔지니어는 그 선택을 중심으로 프리페치 큐, 캐싱, 커널, 전송 경로를 설계한다.

이후 하드웨어 팀은 각 계층이 제공해야 할 대역폭과 용량을 결정한다. 어느 결정도 독립적으로 최적화할 수 없다.

DeepSeek의 논문은 MoE 연산에 할당한 파라미터와 Engram 메모리에 할당한 파라미터 사이에 U자형 관계가 있다고 보고했다. 메모리가 너무 적으면 반복 패턴이 신경망 백본에 남았다. 메모리가 너무 많으면 다른 작업에 쓸 연산 자원이 줄었다.

이 결과는 Engram을 무제한의 저렴한 용량으로 취급해서는 안 된다는 점을 시사한다. 테이블 행을 늘리면 검증 손실이 개선될 수 있지만, 균형 잡힌 시스템 안에서만 가능하다. 학습 데이터 품질 역시 해당 행이 무엇을 학습하는지 결정한다.

더 넓은 아키텍처적 함의는 중요하다. 스케일링은 더 이상 모든 신규 파라미터를 GPU 연산 장치 옆에 배치하는 것을 의미하지 않는다. 모델은 예측 가능한 희소 검색을 통해 용량을 추가하는 한편, 비싼 대역폭은 동적 연산에 남겨둘 수 있다.

SSD 오프로딩은 아직 저렴한 해답이 아니다

첫 NVMe 실험은 할당된 DRAM 용량을 절감했지만, 최적화되지 않은 데이터 경로는 속도와 효율 모두에서 pinned DRAM에 뒤처졌다.

SemiAnalysis는 189 GiB Engram 할당을 로컬 SSD의 메모리 매핑 파일로 대체했다. 메모리 매핑 파일은 운영체제가 가상 메모리 페이지를 통해 스토리지를 노출하도록 한다. 최근 접근한 페이지는 파일시스템 캐시에 남을 수 있다.

이 접근 방식은 운영상 유연성을 제공한다. 다른 애플리케이션에 메모리가 필요할 때 운영체제가 캐시된 페이지를 회수할 수 있다. 운영자는 전체 Engram 테이블을 DRAM에 영구적으로 고정하지 않아도 된다.

하지만 워밍업된 페이지 캐시가 SSD 경로를 네이티브 DRAM 오프로드와 동등하게 만들지는 않는다. 프로토타입은 여전히 행 식별자를 CPU로 옮기고, 중복을 제거하며, 행을 pinned 버퍼에 모은 뒤 다시 복사했다.

그다음 선택된 행을 GPU에서 디양자화했다. 이 단계들은 pinned 호스트 메모리에 사용된 직접 UVA 커널이 아니라 GPU 실행 세그먼트 사이에서 수행됐다.

각 단계는 조율 작업을 추가한다. CPU 스케줄링, 식별자 전송, 행 수집, 버퍼 관리, GPU 복사는 물리적 스토리지 읽기보다 더 큰 비용이 들 수 있다. 따라서 요청이 NAND 플래시에 도달하지 않더라도 캐시된 파일은 pinned DRAM보다 느릴 수 있다.

B200 결과는 그 격차를 드러냈다. 사용자당 초당 약 125토큰 수준에서 DRAM 구성은 지출 단위당 총 1억 2,100만 토큰을 생성했다. SSD 경로는 5,200만 토큰을 생성했다.

따라서 DRAM은 해당 측정 비교에서 약 2.3배 많은 토큰을 제공했다. 또한 지연 시간 분포의 꼬리 부근에 있는 느린 요청의 경험을 측정하는 P90 상호작용성에서도 관측된 SSD 구성을 앞섰다.

연구진은 테스트에서 GPUDirect Storage, 즉 GDS를 활성화할 수 없었다. GDS는 CPU 개입을 줄이며 NVMe와 GPU 메모리 간 데이터를 이동할 수 있다. 이 기능의 부재는 해당 실험이 최적화된 스토리지 경로에 대해 말해줄 수 있는 범위를 제한한다.

이 결과를 NVMe가 Engram에 사용될 수 없다는 증거로 해석해서는 안 된다. 저렴한 스토리지 매체가 자동으로 저렴한 추론을 만들어내지는 않는다는 점을 보여준다.

서버에는 4개의 B200 GPU가 그대로 남아 있었다. CPU, 네트워킹, 전력, 그리고 대부분의 지원 인프라도 마찬가지였다. DRAM을 SSD로 바꾸면 하나의 용량 요건은 줄어들지만, 구성에서 비싼 부분은 줄어들지 않는다.

경제적 이득에는 두 번째 효과가 필요하다. SSD 오프로딩은 더 저렴한 서버를 가능하게 하거나, 더 많은 생산적인 복제본을 수용하거나, 더 큰 모델을 지원하거나, 다른 가치 있는 워크로드를 위해 DRAM을 확보해야 한다.

프로토타입은 측정된 구성에서 어느 결과도 달성하지 못했다. 파일시스템 캐시는 파일 백킹이 절감하려 했던 DRAM 상당 부분을 소비할 수도 있다.

워크로드 지역성은 또 다른 불확실성을 만든다. 반복 프롬프트가 있는 안정적인 서비스는 유용한 웜 캐시를 유지할 수 있다. 다양한 에이전트 워크로드는 더 넓은 범위의 N-gram에 접근해 더 많은 스토리지 미스를 낼 수 있다.

배칭은 다시 방정식을 바꾼다. 여러 요청은 하나의 배치 안에서 행을 재사용할 수 있으며, 중복 제거는 전송량을 줄인다. 하지만 더 큰 배치는 KV 캐시 요구량도 늘리고 지연 시간을 바꿀 수 있다.

SSD 하드웨어 사양만으로는 결과를 예측할 수 없다. 랜덤 읽기 지연 시간, 큐 깊이, 파일시스템 동작, 페이지 크기, CPU 오버헤드, 캐시 정책이 모두 영향을 준다.

추천 시스템은 유용한 역사적 선례를 제공한다. 이들은 수년간 계층형 메모리에서 대형 임베딩 테이블을 제공해 왔다. 일부 시스템은 인기 행을 DRAM에 캐시하고 롱테일은 SSD에 둔다.

언어 모델의 Engram 트래픽은 아이디어를 차용할 만큼 유사하지만, 동일하지는 않다. 자기회귀 생성은 엄격한 순차적 지연 시간 제약을 부과한다. 한 토큰 위치에서의 지연은 이후 위치를 멈춰 세울 수 있다.

AgentX는 이 우려를 더 뚜렷하게 만든다. 이는 짧은 합성 프롬프트 하나가 아니라 긴 컨텍스트의 다중 턴 에이전트형 코딩 트래픽을 나타낸다. 이런 워크로드는 상당한 입력 처리와 지연 시간에 민감한 생성을 번갈아 수행한다.

소프트웨어가 Engram을 일급 서빙 프리미티브로 다룰 때에만 스토리지의 가능성은 개선될 것이다. 범용 메모리 매핑 파일은 실험에는 유용하지만, CPU가 제어하는 경로에 너무 많은 작업을 남긴다.

향후 설계에는 직접 I/O, 비동기 큐, 행 인지형 캐싱, 예측 가능한 프리페치 일정이 필요하다. Engram의 양자화된 행에 맞춘 스토리지 레이아웃도 필요할 수 있다.

따라서 NVMe는 현재의 기본 선택지라기보다 기회로 남아 있다. DRAM은 이미 계층화가 시스템을 개선할 수 있음을 보여줬다. SSD에는 여전히 모델의 희소 접근 패턴을 중심으로 설계된 서빙 스택이 필요하다.

AgentX는 새로운 아키텍처를 둘러싼 소프트웨어 해자를 보여준다

Engram은 메모리 배치를 바꾸지만, 출시 초기의 소프트웨어 지원이 여전히 어떤 가속기가 이 아키텍처를 실사용 가능한 서비스로 전환할 수 있는지를 결정한다.

SemiAnalysis는 Nvidia H100, H200, B200, B300, GB200, GB300 시스템에서 DeepSeek-V4.1-Flash를 평가했다. 또한 InferenceX 프레임워크를 통해 AMD의 MI355X도 테스트했다.

InferenceX 측정치는 실제 하드웨어를 사용하고 상호작용성에 따른 처리량을 추적한다. AgentX는 반복적인 도구 중심 세션과 유사하도록 설계된 긴 컨텍스트 코딩 워크로드를 제공한다.

SemiAnalysis에 따르면, 모델 출시 당시 Nvidia의 vLLM 경로는 테스트한 6개 Nvidia 플랫폼 전체에서 작동했다. AMD의 참조 컨테이너 이미지는 첫 23시간 동안 공개적으로 제공되지 않았다.

AMD 지원은 이후 도착했지만, 분석가의 측정에서 초기 성능 격차는 여전히 컸다. 출시 7일 후 SemiAnalysis는 지출 단위당 MI355X 성능이 B200보다 2배에서 4배 뒤처진다고 평가했다.

이는 한 벤치마킹 기관의 벤더 민감적 주장이다. 클라우드 가정, 런타임 버전, 양자화, 토폴로지, 빠른 소프트웨어 변화에 따라 달라진다. 모든 모델이나 AMD 워크로드에 일반화해서는 안 된다.

그러나 중요한 제약을 드러내긴 한다. 아키텍처는 오프로딩을 위해 설계될 수 있지만, 배포는 여전히 커널, 그래프 캡처, 메모리 주소 지정, 양자화, 분산 스케줄링에 의존한다.

DeepSeek Engram 오프로딩에는 충분한 PCIe 대역폭 이상이 필요하다. 런타임은 디코드 그래프를 깨지 않으면서 전송을 겹쳐 처리해야 한다. 또한 각 플랫폼에서 행을 효율적으로 선택하고 디양자화해야 한다.

따라서 새 모델은 하드웨어 팀이 수개월 동안 튜닝할 시간도 갖기 전에 가속기 생태계를 시험한다. 유지보수자의 익숙함과 정상 작동하는 릴리스 파이프라인은 성능의 일부가 된다.

이러한 역학은 모델 아키텍처가 복제본당 필요한 HBM 용량을 줄이더라도 Nvidia의 소프트웨어 입지를 강화한다. 복제본당 GPU 수가 줄면 통신량은 낮아질 수 있지만, 남은 각 GPU에는 성숙한 커널과 런타임 통합이 필요하다.

전체 가속기 수요에 미치는 영향은 단순하지 않다. 더 나은 메모리 사용은 하나의 모델 복제본에 필요한 GPU 수를 줄일 수 있다. 더 낮은 서빙 비용은 더 많은 애플리케이션의 경제성을 높여 수요를 확대할 수도 있다.

Engram은 조건부 메모리가 활성 연산과 별개로 확장되므로 더 큰 모델을 장려할 수 있다. 운영자는 가속기를 덜 구매하는 대신 절감된 HBM을 더 많은 동시 세션에 사용할 수 있다.

DeepSeek는 출시 자료에 따르면 V4.1-Flash의 KV 캐시 요구량도 줄였다. Engram 오프로드와 KV 압축은 서로 다른 두 방향에서 메모리를 확보한다.

이 조합은 에이전트형 추론에서 중요하다. 에이전트는 긴 이력, 도구 출력, 코드, 중간 계획을 보유한다. 모델 가중치가 이미 들어맞더라도 KV 캐시는 상당한 용량을 차지할 수 있다.

희소 조회 테이블을 DRAM으로 옮기는 서버는 그만큼 더 많은 HBM을 활성 세션에 할당할 수 있다. 실질적 이점은 더 작은 물리적 모델이 아니라 더 높은 동시성으로 나타날 수 있다.

회의적인 관점도 필요하다. DeepSeek가 원 논문의 학습된 연구 모델 2개를 공개하지 않았기 때문에 SemiAnalysis의 Engram 재현은 공개된 코드와 학습 설정을 사용했다. 프로덕션 동작은 통제된 스케일링 실험과 다를 수 있다.

SSD 경로는 명시적으로 최적화되지 않았다. Nvidia와 AMD 결과는 앞으로 바뀔 초기 소프트웨어 스택을 포착한 것이다. 가장 강력한 DRAM 결과조차 특정 B300 토폴로지와 워크로드 프런티어에 의존했다.

Engram은 학습 과정이 보상하는 모든 것을 저장한다. 더 큰 용량은 유용한 개체나 코드와 함께 상용구와 부수적 패턴도 보존할 수 있다. 더 나은 메모리 할당이 더 나은 데이터 선택을 보장하지는 않는다.

증거는 더 제한적인 결론을 뒷받침한다. 조건부 메모리는 더 낮은 메모리 계층과 기술적으로 호환되며, DRAM은 전체 서빙 성능을 개선할 수 있다. 하지만 아직 하나의 보편적 구성을 확립하지는 못했다.

세 가지 신호가 DRAM과 NVMe의 영향을 결정할 것이다

다음 단계는 최적화된 SSD 서빙, 재현 가능한 토폴로지 이득, 그리고 한 모델 출시를 넘어선 폭넓은 런타임 지원에 달려 있다.

첫 번째 신호는 GPU 지향 직접 경로를 사용하는 최적화된 NVMe 구현이다. 중요한 비교 대상은 SSD 최고 대역폭이 아니다. 이는 pinned DRAM 대비 완전한 처리량 및 P90 상호작용성 프런티어다.

GPUDirect Storage 지원은 CPU 왕복 과정의 일부를 제거할 수 있다. 네이티브 행 중복 제거, 비동기 프리페칭, Engram 인지형 스토리지 레이아웃은 더 많은 오버헤드를 없앨 수 있다.

최적화된 경로가 필요한 호스트 메모리를 실질적으로 줄이면서 DRAM 성능에 근접한다면 NVMe의 기회는 신뢰할 만해진다. 캐시된 SSD가 여전히 크게 뒤처진다면, Engram은 오히려 DRAM 수요를 강화할 것이다.

두 번째 신호는 더 작은 복제 토폴로지가 하드웨어와 워크로드 전반에서 반복되는지 여부다. SemiAnalysis가 B300에서 텐서 병렬성을 4방향에서 2방향으로 전환한 결과는 가장 중요한 성과를 냈다.

독립적인 테스트는 B200, H200, MI355X 및 향후 시스템을 검토해야 한다. 또한 다양한 컨텍스트 길이, 배치 크기, 동시성 수준, 캐시 상태를 포함해야 한다.

이러한 성능 향상이 반복된다면, Engram 오프로딩이 통신 감소를 통해 서버 경제성을 바꾼다는 점이 확인될 것이다. 재현에 실패한다면 이 발견은 하나의 초기 구성에 국한될 것이다.

세 번째 신호는 생태계 채택이다. DeepSeek-V4.1-Flash는 눈에 띄는 시험 사례를 제공하지만, Engram과 유사한 메모리가 하드웨어 수요를 재편하려면 더 많은 모델 계열과 서빙 엔진으로 확산되어야 한다.

SemiAnalysis 보고서는 LongCat 및 Qwen 모델의 관련 N-gram 메커니즘을 지적한다. 연구자들은 CXL을 통한 공유 Engram 용량도 제안했다. 이러한 접근 방식에는 vLLM, SGLang 및 벤더 런타임에서의 안정적인 지원이 필요하다.

광범위한 채택은 더 높은 DRAM 대역폭, 성능 좋은 로컬 NVMe, 유연한 인터커넥트를 갖춘 균형 잡힌 서버에 대한 수요를 강화할 것이다. 제한적인 채택은 Engram을 중요한 DeepSeek 전용 최적화로 남길 것이다.

개발자는 파라미터 수치보다 배포 레시피를 주시해야 한다. 엔터프라이즈 구매자는 자사의 컨텍스트 길이와 지연 시간 목표에서의 성능을 요청해야 한다. 인프라 팀은 콜드, 웜 및 혼합 캐시 상태를 별도로 측정해야 한다.

지식 근로자는 그 결과를 간접적으로 경험하게 된다. 더 나은 메모리 배치는 더 긴 세션, 더 낮은 지연 시간, 더 뛰어난 모델에 대한 폭넓은 접근을 지원할 수 있다. 이러한 이점은 완성된 애플리케이션이 이를 안정적으로 활용할 때에만 의미가 있다.

AI 시스템을 평가하는 팀은 벤치마크 주장과 함께 자체적인 근거도 보존해야 한다. 검색 가능한 engineering knowledge base는 모델 카드, 런타임 버전 및 내부 테스트 결과를 연결된 상태로 유지할 수 있다.

DeepSeek Engram 오프로딩은 HBM 주도 추론의 종말이 아니다. 이는 애초에 어떤 파라미터가 HBM을 사용할 가치가 있는지를 모델 아키텍처가 결정할 수 있다는 증거다. 다음 질문은 최적화된 NVMe와 공유 메모리가 병목 현상을 소프트웨어로 옮기지 않고 DRAM의 결과를 반복할 수 있는지 여부다.