SK hynix 메모리 중심 AI 랙, GPU 우선 서버에 도전
SK hynix는 OCP Global Summit 2026에서 메모리 중심 AI 랙을 공개하며 현대 AI 서버를 규정해 온 프로세서 우선 설계에 도전장을 던졌다. MARS 아키텍처는 개별 CPU와 GPU에서 메모리를 분리한 뒤, 그 용량을 랙 전체에서 공유할 수 있도록 한다. 이 제안은 커지는 문제를 겨냥한다. 가속기를 추가한다고 해서 추론 데이터의 이동, 중복, 저장 문제가 자동으로 해결되지는 않는다.
회사는 10월 12일부터 15일까지 열린 San Jose 서밋에서 Memory-Centric AI Rack System의 약자인 MARS를 선보였다. 시연에서는 CXL 메모리, DRAM, SSD, 컴퓨테이셔널 메모리, 그리고 여러 파트너의 소프트웨어가 결합됐다. 핵심 개념은 단순하지만 구현은 그렇지 않다. 메모리는 개별 서버에 묶여 있기보다 랙 수준에서 공유되는 자원이 되어야 한다는 것이다.
이 입장은 SK hynix를 특정 칩 제조사나 메모리 공급업체가 아닌, 기존 GPU 중심 서버 모델과 대립하는 위치에 놓는다. NVIDIA, AMD 등 프로세서 공급업체들은 이미 갈수록 통합도가 높아지는 랙 플랫폼을 구축하고 있다. SK hynix는 특히 에이전트형 워크로드가 대규모 캐시와 더 긴 컨텍스트를 축적하면서, 추론 인프라에도 독립적으로 관리되는 메모리 계층이 필요하다고 주장한다.
SK hynix 메모리 중심 AI 랙, 부품에서 시스템으로 전환
중요한 변화는 새 메모리 모듈이 아니라 AI 랙 전체가 메모리를 구성하는 방식에 대한 SK hynix의 새로운 제안이다.
SK hynix는 전통적으로 서버 설계자가 프로세서 주변에 배치하는 부품을 공급해 왔다. OCP Global Summit 2026에서 회사는 MARS 시스템을 통해 더 폭넓은 아키텍처적 입장을 제시했다. 이 설계는 파트너 하드웨어와 소프트웨어를 하나의 랙에 통합하고, 그 중심에 공유 메모리를 배치한다.
랙은 서버, 네트워킹 장비, 스토리지, 전력 시스템 및 기타 인프라를 수용하는 물리적 구조다. כיום 각 서버는 보통 일정량의 로컬 메모리를 자체적으로 보유한다. 한 서버의 용량이 고갈돼도 같은 랙의 다른 곳에 남아 있는 미사용 메모리에는 접근하지 못할 수 있다.
MARS는 이러한 할당 모델을 바꾸려 한다. PCI Express 기반의 캐시 일관성 인터페이스인 Compute Express Link, 즉 CXL을 사용해 프로세서와 메모리를 연결한다. CXL 풀링은 여러 호스트가 공유 메모리 장치 집합의 용량에 접근할 수 있도록 한다.
회사는 개념도만 제시하는 대신 파트너들과 함께 세 가지 MARS 시연을 선보였다. Arcee, Liqid, Marvell은 여러 서버와 GPU를 풀링 메모리에 연결한 시연에 참여했다. SK hynix는 이 시스템이 기존 네트워크 통신에 전적으로 의존하지 않고 키-값 캐시를 전송하고 재사용했다고 밝혔다.
일반적으로 KV 캐시라 불리는 키-값 캐시는 언어 모델이 이미 계산한 중간 데이터를 저장한다. 이 데이터를 재사용하면 생성되는 토큰마다 동일한 컨텍스트를 다시 계산하지 않아도 된다. 대화, 문서, 다단계 에이전트 작업이 길어질수록 캐시도 커진다.
또 다른 시연은 AMD, Penguin Solutions, XCENA, Arcee의 기술을 결합했다. CXL 기반 하이브리드 메모리 계층 뒤에 DRAM과 SSD 용량을 배치했다. 시스템은 어떤 캐시 데이터가 필요할지를 예측해 DRAM에 적재하고, 전체 캐시는 SSD에 유지했다.
개인 AI 에이전트 제공업체 Pickle과 진행한 세 번째 시연은 여러 모델 간 전송에 초점을 맞췄다. SK hynix에 따르면 풀링 메모리 스트리밍은 이들 모델 사이에서 데이터를 옮기는 데 필요한 시간을 줄였다. 회사는 이를 에이전트가 최종 결과를 반환하기 전의 지연을 단축하는 방법으로 설명했다.
이러한 시연은 제안을 고립된 메모리 벤치마크 수준을 넘어 실제 추론 작업으로 확장한다는 점에서 의미가 있다. 캐시 공유, 멀티모달 파이프라인, 개인 에이전트 등을 풀링 용량이 어떻게 지원할 수 있는지 보여준다. 다만 SK hynix는 MARS 시연에 대한 완전하고 독립적으로 재현 가능한 성능 결과를 공개하지 않았다.
행사 자체도 이러한 아키텍처적 초점을 뒷받침했다. Open Compute Project는 2026년 주제를 AI 시대를 위한 인프라 확장으로 제시했다. 서밋 비전은 칩, 랙, 냉각, 전력, 네트워킹, 데이터센터 시설 전반의 변화를 요구했다.
이러한 맥락은 SK hynix가 또 다른 부품 로드맵 대신 시스템을 강조한 이유를 설명한다. 회사는 운영자가 AI 랙의 동작 방식을 결정할 때 메모리 공급업체도 참여하기를 원한다. 그렇게 되면 서버가 최종 생산 설계에 이르기 전에 메모리 아키텍처가 더 큰 역할을 맡게 된다.
추론이 메모리 용량을 랙 수준의 문제로 바꾸고 있다
AI 추론은 긴 지속형 워크로드를 제공하려면 빠른 연산과 대규모 재사용 가능 메모리가 모두 필요하기 때문에 병목 지점을 바꾼다.
AI 학습은 가속기와 고대역폭 메모리를 인프라 계획의 중심에 놓았다. 학습은 대규모 모델 파라미터 묶음을 병렬 프로세서 사이로 반복 이동시킨다. HBM은 이러한 프로세서 가까이에 위치하며, 프로세서를 계속 가동하는 데 필요한 대역폭을 제공한다.
추론은 다른 압력의 조합을 만든다. 각 요청에는 긴 프롬프트, 저장된 대화 이력, 검색된 문서, 도구 결과, 이미지 또는 오디오가 포함될 수 있다. 에이전트형 시스템은 여러 모델과 서비스를 조율하면서 이러한 워크로드를 여러 개 유지할 수 있다.
이렇게 생성되는 상태는 단일 가속기 안에 깔끔하게 들어맞지 않는다. 컨텍스트가 길어질수록 KV 캐시는 용량을 소비하고, 모델 가중치와 임베딩은 추가 수요를 만든다. 운영자는 어떤 정보를 HBM에 유지하고, 어떤 정보를 시스템 메모리로 옮기며, 어떤 정보를 스토리지로 내릴지 결정해야 한다.
GPU를 하나 더 추가하면 연결된 HBM 용량도 늘릴 수 있지만, 값비싼 연산 자원도 함께 추가된다. 당장의 제약이 연산 처리량이 아니라 용량일 때는 비효율적이다. 또한 서버 간 워크로드가 달라질 때 메모리가 유휴 상태로 고립될 수 있다.
SK hynix는 해답이 메모리 용량을 특정 프로세서에서 분리하고 필요할 때 할당하는 디스어그리게이션이라고 주장한다. 회사의 메모리 시스템 연구 책임자인 Hosik Kim은 서밋 발표에서 GPU 메모리를 둘러싼 물리적·경제적 한계를 설명했다. 그의 랙 수준 제안은 분리형 메모리와 SSD 자원을 중심으로 구축된 시스템을 요구했다.
에이전트로의 전환은 이러한 주장을 강화한다. 일반적인 챗봇은 세션이 끝난 뒤 임시 상태의 상당 부분을 폐기할 수 있다. 지속형 에이전트는 컨텍스트를 보존하고, 이전 작업을 다시 검토하며, 특화 모델을 조율하고, 많은 동시 사용자를 지원해야 할 수 있다.
이로 인해 메모리 재사용의 가치가 달라진다. 여러 추론 서버가 하나의 캐시된 프롬프트나 공유 접두사에 접근할 수 있다면 중복 사본이 줄어든다. 장애가 발생했거나 과부하된 서버가 모든 상태를 네트워크로 옮기지 않고 다른 곳에 작업을 넘길 수 있다면 응답 시간이 개선될 수 있다.
CXL 풀링 메모리는 이러한 공유를 더 직접적으로 만들도록 설계됐다. 모든 전송을 기존 스토리지 또는 네트워크 작업으로 취급하는 대신, 메모리 시맨틱을 통해 랙 수준의 용량을 노출할 수 있다. 제로카피 공유는 프로세서가 또 다른 완전한 사본을 만들지 않고 동일한 데이터에 접근하도록 하는 것을 목표로 한다.
이 접근 방식의 효과는 여전히 워크로드에 따라 달라진다. 일부 추론 작업은 극도로 낮은 지연 시간을 요구하며 가속기 옆에 위치한 HBM이 필요하다. 반면 시스템이 훨씬 더 큰 용량을 확보하거나 중복을 피할 수 있다면, 다른 데이터는 더 큰 지연 시간을 감수할 수 있다.
이 때문에 MARS는 HBM을 대체하자고 제안하지 않는다. SK hynix는 CXL 시스템과 함께 HBM4, HBM4E, 서버 DRAM, 엔터프라이즈 SSD, High Bandwidth Flash를 전시했다. 이 회사의 전략은 소프트웨어가 각 데이터 유형을 적절한 계층에 배치하는 계층 구조다.
시점 역시 업계 전반의 전환을 반영한다. OCP는 다음 추론 물결이 중앙집중형 하이퍼스케일 사이트를 넘어 확산될 것으로 예상한다. 지역 데이터센터, 엔터프라이즈 시설, 통신 거점, 산업 현장에는 서로 다른 전력 및 용량 제약을 가진 시스템이 필요하다.
이러한 환경에서는 가속기 랙을 더 구매하는 것만으로 모든 메모리 부족 문제를 해결할 수 없다. 공유 풀은 불균등한 워크로드 전반에서 활용도를 높일 수 있다. 또한 용량 확장을 특정 프로세서 세대와 더 독립적으로 만들 수 있다.
따라서 엔터프라이즈 구매자에게 핵심 질문은 바뀌고 있다. 더 이상 어떤 가속기가 가장 높은 벤치마크 점수를 내는지만이 선택 기준이 아니다. 구매자는 랙이 모델 상태, 캐시 증가, 데이터 이동, 유휴 메모리를 어떻게 관리하는지도 알아야 한다.
CXL 풀링 메모리는 MARS를 뒷받침하는 메커니즘이다
SK hynix MARS 시스템은 CXL이 메모리를 조합 가능한 인프라로 전환하고, 소프트웨어가 각 계층에 무엇을 배치할지 결정하는 구조에 의존한다.
SK hynix는 CXL 3.2 기반 2세대 256GB CMM-DDR5 모듈을 소개했다. CMM은 CXL Memory Module을 뜻하며, CXL 인터페이스를 통해 메모리를 확장하거나 공유하는 장치다. 회사는 이 모듈이 초당 80GB의 대역폭에 도달한다고 밝혔다.
이 수치는 SK hynix 이전 세대 대역폭의 두 배 이상이다. 회사는 약 30%의 에너지 효율 개선도 주장한다. 이 수치들은 SK hynix의 제품 비교를 설명하며, 폭넓은 제3자 검증을 받지는 않았다.
이 모듈은 CXL 풀링을 지원해 호스트가 공통 자원에서 용량을 가져올 수 있게 한다. 동적 할당은 바쁜 서버에 용량을 영구적으로 배정하지 않고도 더 많은 메모리를 제공할 수 있다. 사용량이 적은 호스트는 미사용 용량을 다른 워크로드에 반환할 수 있다.
이 메커니즘은 고립된 메모리 문제를 겨냥하지만, 장애 및 관리 모델도 바꾼다. 운영자에게는 격리, 접근 권한, 서비스 품질, 텔레메트리, 복구를 위한 제어 장치가 필요하다. 용량이 공유되면 메모리 오류나 패브릭 혼잡이 더 넓은 범위의 장비에 영향을 미칠 수 있다.
MARS는 풀링 DRAM 아래에 하이브리드 계층을 추가한다. CXL 하이브리드 메모리는 DRAM과 SSD 용량을 결합해 자주 접근하는 데이터를 더 빠른 메모리에 유지한다. 활동성이 낮은 데이터는 시스템이 곧 필요해질 것으로 예측할 때까지 더 큰 용량의 스토리지에 남아 있을 수 있다.
SK hynix는 대규모 KV 캐시를 통해 이러한 동작을 시연했다. 이 시연은 이전 대화와 작업 이력에서 유용한 캐시 항목을 예측한 것으로 전해진다. 이후 워크로드가 요청하기 전에 해당 항목을 DRAM에 적재했다.
이 과정은 컴퓨팅의 다른 영역에서 사용되는 캐싱과 유사하지만, AI 추론은 이례적인 규모와 접근 패턴을 더한다. 캐시 결정은 첫 토큰까지 걸리는 시간, 지속적인 토큰 생성, 동시에 지원되는 사용자 수에 영향을 줄 수 있다. 부정확한 예측은 추가 이동과 지연을 초래할 수도 있다.
SK hynix와 연계된 연구진은 ITME라는 2026년 논문에서 이 계층형 접근 방식을 탐구했다. 제안된 시스템은 대규모 추론 상태를 위해 프로덕션급 CXL 메모리와 PCIe Gen5 SSD를 결합한다. 저자들은 평가에서 기존 CPU 오프로딩보다 최대 35.7% 높은 처리량을 보고했다.
이 수치를 일반적인 MARS 벤치마크로 받아들여서는 안 된다. 이 연구는 특정 아키텍처, 구성, 워크로드를 평가했다. 그럼에도 캐시 풋프린트가 로컬 호스트 용량을 초과할 때 계층형 메모리가 추론을 개선할 수 있다는 기술적 근거를 제공한다.
컴퓨테이셔널 메모리는 메커니즘의 또 다른 부분을 제공한다. 모든 데이터세트를 CPU나 GPU로 옮기는 대신, 선택된 작업은 해당 데이터를 저장하는 메모리 근처에서 실행된다. SK hynix는 컴퓨팅 기능을 갖춘 모듈을 CMM-Ax라고 부른다.
서밋에서 CMM-Ax는 효율적인 장문맥 언어 모델 데모를 지원했다. 장문맥이란 모델이 하나의 요청 안에서 더 많은 텍스트나 기타 입력을 처리할 수 있음을 의미한다. 이 기능은 더 많은 메모리를 요구하며 처리 계층과 용량 계층 사이의 데이터 이동을 추가로 발생시킨다.
제한된 연산을 메모리 가까이로 옮기면 트래픽, 전력 사용량, 프로세서 오버헤드를 줄일 수 있다. 그렇다고 메모리 모듈이 GPU를 일반적으로 대체할 수 있는 것은 아니다. 유용한 연산은 모듈의 특화된 컴퓨팅 자원과 프로그래밍 모델에 부합해야 한다.
XCENA의 독립적인 데모는 기회와 부족한 근거를 모두 보여준다. MX1 컨트롤러는 CXL 메모리 디바이스 내부에서 공유 KV 캐시와 벡터 검색을 지원했다. computational memory demo는 수천 개의 소형 RISC-V 코어를 사용했으며 대용량 DRAM 구성을 지원했다.
그러나 XCENA는 해당 서밋 데모의 지연 시간, 처리량 또는 전체 서버 구성 세부 정보를 공개하지 않았다. 이러한 누락은 직접 비교를 어렵게 만든다. 또한 구매자가 기능 데모와 프로덕션 준비가 된 성능 주장를 구분해야 하는 이유를 보여준다.
따라서 더 큰 메커니즘은 조율된 메모리 계층 구조다. HBM은 가속기 옆에서 대역폭 민감도가 가장 높은 데이터를 처리한다. 공유 DRAM은 접근 가능한 용량을 확장하고, 컴퓨테이셔널 메모리는 선별된 연산을 처리하며, SSD는 더 크거나 접근 빈도가 낮은 데이터세트를 보존한다.
소프트웨어는 이 계층 구조를 일관되게 만들어야 한다. 중요한 데이터를 식별하고, 미래 접근을 예측하며, 긴급해지기 전에 정보를 이동시키고, 예측이 실패했을 때 복구해야 한다. 이러한 제어가 없으면 추가 메모리 계층은 유용한 용량 대신 복잡성을 초래할 수 있다.
GPU-First Rack Is Not Standing Still
SK hynix는 프로세서 우선 설계에 도전하고 있지만, 가속기 공급업체들은 이미 네트워킹, 메모리, 소프트웨어를 하나의 랙 규모 컴퓨터의 구성 요소로 다루고 있다.
현대 AI 랙은 긴밀하게 통합된 시스템으로 발전하고 있다. NVIDIA의 플랫폼은 GPU, CPU, 고속 인터커넥트, 네트워킹, 냉각 및 소프트웨어를 결합한다. AMD 역시 가속기와 개방형 인프라 표준을 중심으로 랙 규모 플랫폼을 구축하고 있다.
이러한 통합은 프로세서 공급업체에 중요한 이점을 제공한다. 이들은 AI 프레임워크, 모델 서빙 엔진, 통신 라이브러리 및 오케스트레이션 도구가 사용하는 소프트웨어 경로를 통제한다. 메모리 패브릭은 취약한 맞춤형 통합을 만들지 않으면서 이러한 경로에 맞아야 한다.
SK hynix는 프로세서를 연산의 중심에서 제거하려는 것이 아니다. 이 회사의 주장은 자원 소유권과 데이터 배치에 관한 것이다. 회사는 메모리 용량이 각 서버에 종속된 상태로 남는 대신 랙 수준 서비스로 동작하기를 원한다.
이러한 구분은 핵심 갈등이 기업 간 문제가 아니라 아키텍처 문제임을 뜻한다. GPU 우선 랙은 긴밀하게 결합된 컴퓨팅 노드와 이에 연결된 메모리를 추가하는 방식으로 확장된다. 메모리 중심 랙은 여러 컴퓨팅 유닛이 접근할 수 있는 별도 풀로 용량을 취급한다.
각 경로에는 절충점이 있다. 로컬 가속기 메모리는 예측 가능한 지연 시간과 높은 대역폭을 제공한다. 공유 메모리는 더 큰 용량과 활용도를 제공할 수 있지만, 접근이 추가 링크, 스위치, 컨트롤러 및 소프트웨어 계층을 거친다.
두 설계는 하나의 플랫폼 안에서 공존할 수 있다. GPU는 활성 텐서와 즉시 필요한 캐시 항목을 HBM에 보관하고, 오래된 컨텍스트는 풀링된 DRAM에 둘 수 있다. SSD 기반 용량은 HBM 지연 시간이 필요하지 않은 훨씬 큰 상태를 보존할 수 있다.
Samsung은 OCP Global Summit 2026에서 동적으로 할당된 메모리를 사용하는 에이전트 워크로드를 포함해 자체 CXL 풀링 작업을 시연했다. 이러한 병행 노력은 메모리 풀링이 고립된 SK hynix 프로젝트가 아니라 경쟁력 확보를 위한 요구 사항이 되고 있음을 시사한다.
경쟁에는 컨트롤러 공급업체, 서버 제조사, 클라우드 운영자 및 소프트웨어 개발자도 참여하게 된다. Marvell, Liqid, XCENA, Penguin Solutions, Arcee, NAVER Cloud 및 AMD는 SK hynix의 데모 전반에 등장했다. 배포에 필요한 모든 계층을 단일 공급업체가 통제하지는 않는다.
인터페이스가 개방적으로 유지된다면 이러한 파트너 의존성은 아키텍처를 강화할 수 있다. 반면 펌웨어, 드라이버, 오케스트레이션 소프트웨어 및 관측 도구가 서로 다른 속도로 성숙하면 도입을 늦출 수도 있다. 문제 해결이 예측하기 어려워진다면 운영자는 용량 증가를 받아들이지 않을 것이다.
따라서 표준화는 경쟁의 일부다. SK hynix 임원 Youngpyo Joo는 공급업체 간 소프트웨어 프레임워크와 API 정렬에 관한 OCP 패널에 참여했다. 이 논의는 협력과 경쟁이 혼재한 시장에서 제품을 연결하는 데 필요한 소프트웨어를 다뤘다.
CXL은 공통 하드웨어 기반을 제공하지만, 사양이 제품 간 동일한 동작을 보장하지는 않는다. 메모리 할당 정책, 토폴로지 관리, 보안 및 워크로드 배치에는 여전히 일관된 소프트웨어가 필요하다. 성능 튜닝 역시 CPU, GPU, 스위치 및 메모리 디바이스마다 달라진다.
GPU 우선 접근 방식은 성숙한 개발자 관행의 이점을 누린다. 팀들은 이미 가속기 활용도를 프로파일링하고, GPU 가용성에 맞춰 작업을 예약하며, 특정 플랫폼에 맞게 커널을 최적화한다. 메모리 중심 아키텍처는 이들에게 새로운 병목 지점을 관찰하고 새로운 자원 계층을 조정할 것을 요구한다.
가장 유력한 도입 경로는 이러한 복잡성의 상당 부분을 숨기는 방식일 것이다. 모델 서버는 안정적인 소프트웨어 인터페이스를 통해 용량 또는 공유 상태를 요청해야 한다. 개발자가 모든 물리적 메모리 디바이스를 수동으로 관리할 필요는 없어야 한다.
하이퍼스케일러에게는 경제성이 이러한 작업을 정당화할 수 있다. 대규모 플릿 전반에서는 메모리 활용도의 작은 개선도 중요할 수 있다. 소규모 기업의 경우 공급업체가 명확한 지원 경계를 갖춘 검증된 시스템을 제공하기 전까지 통합 비용이 절감액을 웃돌 수 있다.
따라서 MARS는 양측 모두에 압박을 가한다. 가속기 플랫폼 공급업체는 용량 확장과 캐시 공유에 대한 더 나은 해답이 필요하다. SK hynix와 파트너들은 고객이 이미 사용하는 소프트웨어 환경에서 컴포저블 메모리가 안정적으로 작동한다는 점을 입증해야 한다.
Proof-of-Concept Results Leave the Hard Questions Open
서밋은 기술적 실현 가능성을 입증했지만, AI 인프라에서 MARS가 기본 선택지가 될 것임을 입증하지는 못했다.
SK hynix는 여러 데모를 개념 검증으로 설명했다. 개념 검증은 특정 조건에서 접근 방식이 작동할 수 있음을 확인한다. 이는 플릿 안정성, 전반적 성능, 운영 단순성 또는 상용 가용성을 확립하는 것은 아니다.
회사는 발표에서 성능 개선에 관해 강한 표현을 사용했다. 그러나 풀링 메모리 에이전트 데모에 대한 전체 결과는 제공하지 않았다. 공개된 세부 정보에는 모델 크기, 요청 패턴, 서버 수, 지연 시간 분포, 전력 측정치 및 기준 구성 정보가 빠져 있다.
이러한 세부 사항은 CXL 풀링 메모리가 실제 환경에서 우위를 점하는지 판단한다. 시스템은 가장 느린 요청을 측정하는 테일 지연 시간을 높이면서 총 처리량을 개선할 수 있다. 중복을 줄이는 대신 수요가 정점에 이를 때 패브릭 경합을 초래할 수도 있다.
CXL 접근은 직접 연결된 HBM보다도 느리다. 모든 바이트에 HBM 성능이 필요한 것은 아니므로 이 차이가 풀링의 유효성을 부정하지는 않는다. 다만 자주 접근하는 데이터가 원거리 계층에서 너무 많은 시간을 보내지 않도록 신중한 배치가 필요하다.
워크로드 프로파일은 하드웨어만큼 중요하다. 공유 접두사와 반복되는 대화는 캐시 재사용 기회를 만든다. 예측하기 어려운 프롬프트나 빠르게 바뀌는 컨텍스트는 재사용을 줄이고 공유 캐시의 이점을 약화할 수 있다.
예측은 또 다른 위험을 초래한다. MARS 데모는 가능성이 높은 캐시 항목을 DRAM에 미리 로드했다. 올바른 예측은 더 느린 스토리지 접근을 숨길 수 있다. 잘못된 예측은 대역폭을 낭비하고 다른 워크로드에 필요할 수 있는 공간을 차지한다.
보안 경계도 면밀히 검토해야 한다. 메모리를 공유하는 여러 서버는 한 테넌트의 프롬프트, 임베딩 또는 캐시된 상태를 다른 테넌트에 노출해서는 안 된다. 격리는 하드웨어, 펌웨어, 오케스트레이션 소프트웨어 및 장애 복구를 모두 포괄해야 한다.
지속형 에이전트로의 전환은 중요성을 높인다. KV 캐시는 사용자 대화와 작업 이력을 반영할 수 있다. 이 상태가 풀링 메모리와 SSD 계층을 거쳐 이동할 때 운영자에게는 명확한 삭제, 보존, 암호화 및 감사 동작이 필요하다.
랙이 공유 패브릭에 의존하면 안정성은 더 복잡해진다. 모듈 하나의 장애가 관련 없는 호스트를 멈춰서는 안 된다. 컨트롤러는 예측 가능한 장애 조치를 제공해야 하며, 모니터링 시스템은 지연이 연산, 로컬 메모리, 풀링 메모리, 스토리지 또는 네트워킹 중 어디에서 비롯되는지 식별해야 한다.
전력 주장에도 시스템 수준 측정이 필요하다. 메모리 모듈은 에너지를 더 효율적으로 사용할 수 있지만, 더 광범위한 아키텍처는 스위치, 컨트롤러 또는 추가 데이터 이동을 더할 수 있다. 구매자에게 필요한 것은 구성 요소 비교만이 아니라 랙 수준 결과다.
프로덕션 경제성은 여전히 불분명하다. SK hynix는 MARS의 일반 공급, 고객 가격 또는 배포 물량을 발표하지 않았다. 또한 NAVER Cloud가 이 아키텍처를 고객 대상 프로덕션 서비스에서 운영할 계획인지도 공개하지 않았다.
회사의 2세대 CXL 모듈은 더 구체적인 사양을 제공한다. 독립 보도는 SK hynix가 256GB CXL 3.2 제품과 회사가 제시한 효율성 개선을 전시했음을 확인했다. 그럼에도 memory portfolio summary는 주로 회사가 제공한 정보에 의존한다.
가장 강력한 근거는 운영자가 반복 가능한 결과를 공개할 때 나올 것이다. 관련 측정 지표에는 첫 토큰 생성 시간, 초당 토큰 수, 동시 세션 수, 캐시 적중률, 랙 전력 및 메모리 활용도가 포함된다. 결과는 최대 처리량만이 아니라 동등한 서비스 품질 목표를 비교해야 한다.
소프트웨어 이식성도 또 다른 시험대다. 한 컨트롤러 또는 패브릭에 최적화된 워크로드가 운영자가 서버 공급업체를 바꿀 때 전면 재작성을 요구해서는 안 된다. 개방형 API와 공통 텔레메트리는 CXL이 인프라가 될지, 데모들의 집합으로 남을지에 영향을 미칠 것이다.
따라서 MARS는 초기 시스템 검증을 갖춘 신뢰할 만한 아키텍처 제안으로 이해하는 것이 가장 적절하다. 메모리 중심 랙이 기존 설계를 대체할 것이라는 증거는 아직 아니다. 이 제안은 실제 병목을 식별하고 기술적으로 일관된 대응책을 제시한다는 점에서 주목할 가치가 있다.
Three Signals Will Show Whether Memory-Centric AI Racks Are the Future
다음 단계는 프로덕션 근거, 상호 운용 가능한 소프트웨어, 그리고 랙 규모 플랫폼 공급업체의 명확한 대응에 달려 있다.
첫 번째 신호는 공개된 고객 배포다. SK hynix는 2025년 9월부터 NAVER Cloud와 클라우드 AI 워크로드용 CXL 기반 메모리 솔루션을 협력해 왔다. OCP에서 양사는 KV 캐시 공유와 임베딩 공유 서비스를 포함한 개념 검증 작업을 선보였다.
프로덕션 발표는 워크로드, 배포 규모 및 측정 가능한 결과를 식별해야 한다. 또한 풀링 메모리가 가속기 구매를 줄이는지, 세션 용량을 늘리는지 또는 응답 시간을 개선하는지도 보여야 한다. 이러한 세부 정보가 없다면 고객 이름은 검증이 아니라 보조 근거에 머문다.
반복 가능한 성과를 보이는 NAVER Cloud 배포는 SK hynix의 주장을 강화할 것이다. 프로덕션 이정표 없이 개념 검증 표현이 계속된다면 단기적 주장은 약화될 것이다. 이는 통합이 하드웨어 데모가 시사하는 것보다 여전히 어렵다는 점을 뜻할 수 있다.
두 번째 신호는 공급업체 간 소프트웨어 정렬이다. OCP 워킹 그룹과 CXL 참여자들은 풀 발견, 용량 할당, 성능 모니터링 및 격리 강제를 위한 공통 프레임워크가 필요하다. 모델 서빙 플랫폼도 캐시 데이터를 HBM, DRAM 또는 SSD 기반 메모리 중 어디에 배치할지 알아야 한다.
일회성 데모 코드보다 널리 사용되는 추론 프레임워크와의 지원되는 통합을 주시해야 한다. 안정적인 API, 오케스트레이션 지원 및 공유 텔레메트리는 배포 위험을 낮출 것이다. 분산된 관리 도구는 긴밀하게 통합된 프로세서 주도 랙에 유리하게 작용할 것이다.
세 번째 신호는 GPU 및 랙 플랫폼 공급업체의 대응이다. 이들은 외부 메모리 계층을 수용하거나, 자체 풀링 시스템을 개선하거나, 더 많은 메모리를 가속기에 직접 연결한 상태로 유지할 수 있다. 이들의 플랫폼 로드맵은 컴포저블 메모리가 표준이 될지, 아니면 특정 워크로드에만 머물지를 보여줄 것이다.
프로세서 공급업체가 공통 CXL 풀을 지원한다면, 랙이 여전히 컴퓨팅 중심으로 설계되더라도 메모리 중심 접근의 타당성을 강화할 수 있다. 반면 독점 대안은 시장을 분열시킬 수 있다. 예측 가능한 지연 시간을 우선하는 고객에게는 더 큰 로컬 메모리 구성 역시 풀링 도입을 늦출 수 있다.
SK hynix는 이미 이 논의가 CXL DRAM을 넘어선다는 점을 보여줬다. 이 회사의 포트폴리오는 HBM, 기존 서버 메모리, 연산 메모리, SSD, High Bandwidth Flash를 결합한다. HBF는 HBM보다 훨씬 큰 용량을 제공하면서 기존 스토리지보다 높은 대역폭을 제공하는 것을 목표로 한다.
회사는 HBF를 많은 사용자를 지원하는 추론 환경용 계층으로 제시했다. 서밋에서 공개한 비교 자료는 내부 시뮬레이션에 기반했으므로, 상용 하드웨어는 아직 실제 성능을 입증해야 한다. 가용성, 내구성, 소프트웨어 통합, 전력 특성이 이 계층 구조에서의 위치를 결정할 것이다.
개발자에게 이 아키텍처가 중요한 이유는 더 긴 컨텍스트와 지속형 에이전트가 공짜 소프트웨어 기능이 아니기 때문이다. 모든 제품 결정은 어딘가에 존재해야 하는 물리적 상태를 만든다. 캐시 정책, 검색 패턴, 모델 라우팅은 인프라 비용과 응답 시간에 점점 더 큰 영향을 미친다.
엔터프라이즈 구매자에게는 하드웨어 요구사항이 더욱 구체적이어야 한다. 공급업체에 유휴 메모리를 어떻게 측정하는지, 공유 용량을 어떻게 관리하는지, 테넌트를 어떻게 격리하는지, 패브릭 장애에서 어떻게 복구하는지를 물어야 한다. 계획된 배포와 유사한 모델 및 컨텍스트 길이를 사용한 결과를 요구해야 한다.
시스템이 유용한 텔레메트리를 제공하는지도 물어야 한다. 팀은 캐시 적중률, 계층 간 마이그레이션, CXL 혼잡, 스토리지 읽기, 테일 레이턴시를 확인할 수 있어야 한다. 진단할 수 없는 풀링 리소스는 운영상 부담이 된다.
SK hynix의 메모리 중심 AI 랙이 하룻밤 사이 GPU 우선 서버를 뒤집지는 않는다. 그러나 추론 인프라는 메모리를 수동적인 부속 요소로 취급할 수 없다는 설득력 있는 주장을 제시한다. 더 어려운 질문은 공급업체가 이 통찰을 반복 가능하고 지원 가능한 시스템으로 전환할 수 있는지다.
향후 몇 달 동안은 이름이 공개된 프로덕션 배포, 공통 소프트웨어 인터페이스, 상용 랙 플랫폼으로의 직접 통합을 주목해야 한다. 이 세 가지 발전은 MARS를 서밋의 비전에서 인프라 모델에 더 가깝게 옮겨놓을 것이다.
이들이 실현되지 않는다면 메모리 중심 설계는 새로운 기본값이 아니라 일부 워크로드에 유용한 기법으로 남을 수 있다. 어느 쪽이든 구매자에게 중요한 사실을 알려줄 것이다. 미래 AI 성능은 연산이 어디서 이뤄지는지만이 아니라 데이터가 어디에 존재하는지에 달려 있다.
