SK하이닉스, Google과 함께 HBF 공개… AI 메모리 경쟁사 압박 고조

SK하이닉스가 Sandisk와 함께 최초의 공개 HBF 사양을 발표하며, 512GB 메모리 스택과 3 TB/s 목표를 Google 뉴스 보도권에 올려놓았다. 이번 발표는 AI 칩 설계자들에게 고비용 고대역폭 메모리와 더 느린 솔리드 스테이트 스토리지 사이의 구체적인 대안을 제시한다.

이 사양은 가속기에 최고 속도로 데이터를 공급하는 데 여전히 필수적인 HBM을 대체하지 않는다. 대신 High Bandwidth Flash, 즉 HBF는 프로세서 가까이에 더 큰 NAND 기반 계층을 추가한다. 이 용량은 모델 가중치와 추론 데이터를 연산부 가까이에 유지해 기존 SSD로부터의 반복 전송을 줄일 수 있다.

이제 경쟁은 기술 제안 단계에서 채택 경쟁 단계로 옮겨간다. 회사들에 따르면 Google과 AI 칩 설계사 Tenstorrent는 표준화 작업에 참여했다. 그러나 Nvidia, AMD, Samsung, Micron을 비롯한 주요 반도체 공급사들은 아직 HBF에 대한 공개적인 참여 의사를 밝히지 않았다.

HBF 사양, 메모리 제안을 공개 경쟁으로 전환하다

SK하이닉스와 Sandisk는 HBF를 공동의 목표에서 다른 기업들이 평가하고 구현할 수 있는 사양으로 발전시켰다.

양사는 2026년 8월 4일 캘리포니아에서 열린 Future of Memory and Storage 컨퍼런스를 전후해 첫 HBF 표준 사양을 공개했다. 이 작업은 클라우드 사업자와 하드웨어 공급사가 함께 개방형 인프라 설계를 개발하는 조직인 Open Compute Project를 통해 발표됐다.

이 선택은 HBF가 두 메모리 공급사 이상의 참여를 필요로 한다는 점에서 중요하다. 독점 인터페이스는 프로세서 기업들에게 단일 공급사 의존을 받아들이도록 요구하게 된다. 공개 사양은 칩 설계사, 패키징 기업, 소프트웨어 개발자, 경쟁 메모리 제조사에 공통의 기술적 출발점을 제공한다.

초기 설계는 8다이 및 16다이 NAND 구성을 지원한다. 최고 구성에서는 하나의 패키지가 512GB 용량을 제공할 수 있다. 공개 후 보도된 기술 세부 정보에 따르면 성능 등급은 약 400 GB/s에서 3 TB/s까지다.

이 수치는 HBF를 낯선 영역에 위치시킨다. 기존 엔터프라이즈 SSD는 매우 큰 용량을 제공할 수 있지만 블록 스토리지를 위해 설계된 인터페이스로 연결된다. HBM은 가속기 옆에 배치돼 훨씬 높은 대역폭을 제공하지만 용량은 더 작고 패키징 비용도 여전히 높다.

HBF는 이들 사이의 영역을 차지하려 한다. SK하이닉스는 이를 HBM과 SSD 사이에 위치하며 추론 워크로드를 위해 특별히 설계된 새로운 메모리 계층으로 설명한다. NAND는 고집적도와 비휘발성을 제공하고, 적층 패키징과 병렬 액세스 경로는 대역폭을 높인다.

양사는 이 사양을 공개하기 전부터 공식 표준화 작업을 시작했다. 2월에는 Sandisk의 Milpitas 본사에서 열린 컨소시엄 회의 이후 OCP 산하에 전담 작업 흐름을 구성했다. 표준화 계획은 HBF를 확장 가능하고 에너지 효율을 고려한 AI 추론 인프라로 규정했다.

따라서 8월 공개는 갑작스러운 발명이 아니라 진전의 결과다. 앞선 프레임워크를 용량, 대역폭, 인터페이스, 전기적 특성, 패키징, 신뢰성 및 소프트웨어 요구 사항으로 구체화했다.

보도에 따르면 이 사양은 HBF 패키지와 호스트 프로세서를 연결하기 위해 UCIe, 즉 Universal Chiplet Interconnect Express를 사용한다. UCIe는 하나의 패키지에 조립된 칩렛을 위한 공통 다이 투 다이 연결을 정의한다.

이 인터페이스는 공개 전략의 핵심이다. 공통 연결 방식은 모든 조합에 완전히 독점적인 연결이 필요하지 않도록, 서로 다른 프로세서가 호환 HBF 장치와 통신할 수 있게 한다.

하지만 공개 문서가 곧 공개 시장을 의미하는 것은 아니다. 공급사들은 여전히 제조 가능한 다이, 베이스 로직, 패키징 역량, 컨트롤러 지원, 펌웨어, 운영체제 통합, 그리고 완전한 시스템을 검증할 의지가 있는 고객을 확보해야 한다.

SK하이닉스와 Sandisk는 출발선을 만들었다. 승자를 결정한 것은 아니다.

AI 추론에 HBM과 SSD 사이의 계층이 필요한 이유

HBF의 가장 강력한 근거는 유용한 데이터가 더 이상 가속기의 HBM 용량 안에 충분히 들어가지 않는 추론 워크로드에서 나온다.

학습과 추론은 메모리에 서로 다른 부담을 준다. 학습은 모델 파라미터를 반복적으로 업데이트하며 많은 가속기에 걸쳐 높은 처리량을 요구한다. 추론은 이미 학습된 모델의 요청을 처리하면서 모델 가중치, 어텐션 데이터, 계속 증가하는 캐시를 관리하는 경우가 많다.

중요한 워크로드 중 하나는 일반적으로 KV cache로 줄여 부르는 키-값 캐시다. 이는 모델이 프롬프트를 처리하는 동안 생성된 어텐션 정보를 저장해, 이후 토큰 생성 과정에서 이전 연산을 재사용할 수 있게 한다.

더 긴 컨텍스트와 동시 사용자의 증가는 이 캐시를 키운다. 검색 시스템 역시 상당한 규모의 인덱스나 임베딩을 가속기 가까이에 유지할 수 있다. 대규모 추천 모델은 연산부 근처의 더 큰 용량에서 이점을 얻는 또 다른 데이터 유형을 추가한다.

HBM은 이러한 프로세서가 원하는 대역폭을 제공하지만, 용량은 무한정 확장할 수 없다. 추가되는 스택 하나하나는 패키지 면적, 전력, 신호 라우팅, 수율 및 비용에 영향을 준다. 초과 데이터를 SSD로 옮기면 더 높은 지연시간과 스토리지 중심의 액세스 경로가 도입된다.

HBF는 절충안을 제시한다. 가장 빠른 등급은 현 세대 HBM 제품과 연관된 대역폭 영역에 근접하며, 최고 명시 용량은 일반적인 HBM 스택보다 몇 배 더 크다.

사양에 대한 한 분석에 따르면 512GB HBF 스택은 HBM4 스택의 약 48GB~64GB와 비교된다. 그렇다고 두 기술이 상호 대체 가능해지는 것은 아니다. NAND와 DRAM은 지연시간, 내구성, 쓰기 동작 및 성능 특성이 다르다.

그럼에도 용량은 시스템 설계를 바꾼다. 더 많은 모델 데이터를 가속기 패키지 안에 유지하는 서버는 외부 스토리지와 호스트 메모리를 오가는 트래픽을 줄일 수 있다. 데이터 이동이 줄면 응답 일관성이 개선되고 데이터 전송에 소비되는 에너지도 낮아질 수 있다.

이러한 차이는 이번 발표가 일상적인 Google 뉴스 집계 이상의 관심을 받은 이유를 설명한다. 이 제안은 프로세서 연산 성능뿐 아니라 메모리 배치에 의해 점점 더 좌우되는 병목을 겨냥한다.

Sandisk는 2025년부터 이 주장을 제시해 왔다. HBF 기술 브리프는 1.6 TB/s 읽기 대역폭, 16개 다이에 걸친 512GB, HBM4와 유사한 물리적 프로파일을 갖춘 1세대 개념을 설명했다.

이 수치는 독립적인 성능 결과가 아니라 공급사 목표치였다. 새 사양은 상한을 3 TB/s로 확대했지만, 구매자들은 여전히 현실적인 워크로드에서의 실리콘 측정 결과를 확인해야 한다.

가장 그럴듯한 초기 활용처는 범용 컴퓨팅이 아니다. HBF는 모델 또는 관련 추론 데이터가 사용 가능한 HBM을 초과하지만 SSD가 제공하는 것보다 훨씬 빠른 액세스가 필요한 시스템에 적합하다.

하나의 가속기 플랫폼에서 여러 대형 모델을 운영하는 서비스를 생각해 볼 수 있다. 기존 스토리지는 모든 모델을 보관하고 HBM은 활성 연산을 처리할 수 있다. HBF는 프로세서 가까이에 더 큰 작업 집합을 유지해 모델 교체의 빈도와 시간을 줄일 수 있다.

또 다른 사례는 많은 동시 사용자를 지원하는 장문 컨텍스트 애플리케이션이다. 이들의 KV cache는 HBM 용량을 두고 모델 가중치와 경쟁할 수 있다. 선택한 데이터를 HBF에 배치하면 가장 지연시간에 민감한 작업을 위해 귀중한 HBM을 보존할 수 있다.

벡터 검색은 세 번째 가능성을 제공한다. 연구자들은 대형 인덱스에 상당한 대역폭이 필요한 대규모 근사 최근접 이웃 검색을 위해 HBF 지원 가속기를 탐구해 왔다. 이러한 연구는 아직 실험 단계지만, HBF의 용량이 다룰 수 있는 워크로드를 보여준다.

이 시나리오가 작동할지는 소프트웨어가 결정한다. 개발자들은 무엇을 HBM에 유지하고 무엇을 HBF로 옮기며 무엇을 SSD로 되돌릴지 결정하는 예측 가능한 규칙이 필요하다. 배치가 부실하면 불필요한 전송으로 이점이 사라질 수 있다.

이 때문에 HBF는 계층 구조의 일부로 이해해야 한다. HBM은 가장 빠른 작업 계층으로 남는다. HBF는 더 큰 연산 인접 풀을 제공한다. SSD는 패키지 외부에서 경제적인 영구 용량을 제공한다.

메커니즘은 단순해 보이지만, 조율된 메모리 관리는 어렵다. 하드웨어는 계층을 명확하게 노출해야 하며, 컴파일러와 런타임 시스템은 지연시간, 대역폭, 내구성 및 용량을 이해해야 한다.

인프라 구매자에게 실질적인 질문은 512GB가 인상적으로 보이느냐가 아니다. 모든 시스템 비용을 계산한 뒤 HBF가 초당 토큰 수를 높이고, 더 많은 동시 요청을 지원하거나, 토큰당 에너지를 낮추는지 여부다.

Google 뉴스 관심, AI 메모리 주도권 경쟁에 압박을 가하다

Google의 참여는 HBF에 영향력 있는 평가자를 제공하지만, 폭넓은 공급사 지원은 여전히 이 표준에 가장 중요한 부족 요소다.

SK하이닉스와 Sandisk는 HBF의 자연스러운 지지자다. 두 회사는 메모리 제조, 패키징 및 데이터센터 스토리지를 잘 이해한다. 이들의 상업적 이해관계도 분명하다. 추론 성장은 더 높은 가치의 NAND 기반 제품을 판매할 기회를 만든다.

Google은 다른 관점을 제공한다. 이 회사는 텐서 처리 장치를 설계하고, 거대한 AI 서비스를 운영하며, 극소수의 조직만 따라올 수 있는 규모로 인프라를 관리한다. Google의 참여는 최소 한 곳의 하이퍼스케일러가 사양 형성에 참여할 만큼 충분한 가치를 보고 있음을 시사한다.

그렇다고 Google이 HBF 배포를 약속했다는 의미는 아니다. 참여에는 상업 주문을 보장하지 않고도 기술 평가, 워크로드 지침 또는 인터페이스 개발이 포함될 수 있다.

Tenstorrent는 또 다른 유용한 목소리를 더한다. 이 회사는 칩렛과 오픈 아키텍처 아이디어를 중심으로 AI 프로세서를 개발하고 있어, 공개형 연산 인접 메모리 계층은 설계 전략과 관련성이 높다. 또한 Nvidia보다 시장 영향력은 훨씬 작다.

Google과 Tenstorrent는 함께 컨소시엄에 잠재 구매자와 프로세서 설계사의 관점을 제공한다. 그러나 눈에 띄는 두 참여자만으로 완전한 공급 생태계가 형성되는 것은 아니다.

빠진 이름들은 중요하다. Nvidia는 가속기 시장의 상당 부분을 장악하고 있다. AMD는 경쟁 GPU와 CPU를 판매한다. Broadcom과 Marvell은 클라우드 고객을 위한 맞춤형 실리콘을 만든다. Samsung과 Micron은 메모리 분야에서 경쟁하며, Intel과 Qualcomm은 프로세서, 가속기 및 플랫폼 전반에 걸쳐 있다.

첫 사양이 등장했을 당시 이들 중 어느 곳도 HBF 노력에 공개적으로 참여하지 않았다. 이들의 부재가 반대를 입증하는 것은 아니다. 기업들은 제품 일정, 고객 요구 사항 및 기술적 절충점이 더 명확해질 때까지 초기 표준 지지를 피하는 경우가 많다.

그러나 침묵은 개발자들에게 위험을 만든다. HBF를 지원하는 프로세서가 소수에 그친다면 소프트웨어 투자를 정당화하기 어려워진다. 이를 만드는 메모리 공급사가 두 곳뿐이라면 구매자들은 공급 다변화에 대한 우려를 유지할 수 있다.

공개 표준은 참여자들이 호환성이 독점적 통제보다 더 큰 시장을 만든다고 믿을 때 성공한다. 주요 공급사들이 내부 인터페이스나 기존 제품 로드맵을 통해 더 나은 경제성을 달성할 수 있을 때는 어려움을 겪는다.

예를 들어 Nvidia는 가속기, 인터커넥트, 시스템 및 소프트웨어를 조율할 수 있다. HBF를 채택하지 않고도 더 큰 HBM 용량, 개선된 메모리 풀링 또는 긴밀히 통합된 스토리지가 고객에게 더 나은 서비스를 제공한다고 판단할 수 있다.

메모리 공급사들도 또 다른 계산을 마주한다. Samsung과 Micron은 이미 HBM에 대규모 투자를 하고 있다. HBF 지원은 고성능 NAND의 공략 가능 시장을 확대하겠지만, 또 다른 복잡한 제품 및 패키징 요구 사항을 도입할 수도 있다.

SK Hynix는 이미 선도적인 HBM 공급업체라는 점에서 독특한 위치를 차지한다. HBF를 추진한다고 해서 반드시 기존 사업이 약화되는 것은 아니다. 계층형 시스템은 두 제품을 모두 활용할 수 있어, 이 회사는 가치 있는 두 메모리 계층에 모두 노출될 수 있다.

Sandisk의 관심은 NAND와 더 직접적으로 연결돼 있다. 이 회사는 플래시가 프로세서에 더 가까이 다가가 AI 인프라 지출에서 더 큰 비중을 차지하길 원한다. 이전 HBF 로드맵은 2026년 하반기 메모리 샘플과 2027년 초 HBF 기반 추론 디바이스 샘플을 목표로 제시했다.

이 일정은 컨소시엄이 문서 작업을 빠르게 하드웨어로 전환해야 한다는 압박을 가한다. 지연이 길어질수록 경쟁사에는 HBM 용량, CXL 기반 메모리 확장, SSD 오프로딩, 소프트웨어 캐싱을 개선할 시간이 더 주어진다.

CXL(Compute Express Link)은 프로세서와 메모리 확장 디바이스를 일관성 있게 연결한다. 이는 관련된 용량 문제를 해결하지만, 토폴로지와 성능은 프로세서 옆에 배치되는 적층형 HBF 패키지와 다르다.

DirectStorage 스타일의 데이터 경로, 컴퓨테이셔널 스토리지, 고급 NVMe 디바이스도 같은 워크로드의 일부를 두고 경쟁한다. 이러한 접근 방식은 대규모 데이터 세트를 가속기에서 더 멀리 유지하지만 전송 효율을 개선할 수 있다.

따라서 핵심 경쟁 구도는 SK Hynix와 단일 경쟁업체 간의 대결이 아니다. 이는 HBM, 호스트 메모리, CXL, SSD로 구성된 기존 메모리 계층과 오픈 HBF 간의 경쟁이다.

Google 뉴스 노출은 이 경쟁에 대한 관심을 끄는 데 도움이 된다. 하지만 헤드라인보다 훨씬 중요한 것은 엔지니어링 실행력이다.

3 TB/s 목표는 여전히 실제 하드웨어에서 검증돼야 한다

HBF의 용량은 NAND의 강점으로서 설득력이 있지만, 대량 생산 규모에서 대역폭, 지연 시간, 내구성, 전력, 소프트웨어에 관한 주장은 아직 입증되지 않았다.

이 사양은 호환 제품이 무엇을 해야 하는지 정의한다. 그러나 SK Hynix나 Sandisk가 일관된 성능을 유지하면서 이러한 제품을 경제적으로 대량 제조할 수 있음을 보여주지는 않는다.

16다이 적층은 패키징 복잡성을 높인다. 각 다이는 상당한 수준의 병렬 액세스가 필요하며, 패키지에는 호스트 프로세서와의 트래픽을 조율할 수 있는 베이스 다이가 필요하다. 시스템의 전력 한도를 넘지 않으면서 열을 배출해야 한다.

3 TB/s에 도달하려면 빠른 인터페이스만으로는 부족하다. NAND 다이는 충분한 내부 병렬성을 제공해야 하고, 컨트롤러는 요청을 효율적으로 스케줄링해야 하며, 소프트웨어는 높은 읽기 처리량에 적합한 워크로드를 유지해야 한다.

NAND에는 중요한 강점이 있다. 전력이 없어도 데이터를 보존하며 DRAM보다 훨씬 높은 밀도를 제공한다. 반면 DRAM과 비교하면 액세스 지연 시간이 더 길고 쓰기 내구성은 제한적이다.

이 차이는 어떤 데이터를 HBF에 배치할지에 영향을 미친다. 읽기 비중이 높은 모델 가중치는 자주 갱신되는 작업 데이터보다 더 적합해 보인다. 시스템이 추론 중에 캐시 항목을 지속적으로 생성하고 수정하기 때문에 KV-cache의 동작은 더 면밀히 살펴봐야 한다.

성능은 액세스 패턴에 따라 달라질 수 있다. 공급업체는 인상적인 순차 대역폭을 달성할 수 있지만, 작고 불규칙한 읽기에서는 더 약한 결과를 낼 수 있다. AI 워크로드에는 예측 가능한 스트림과 분산된 조회가 모두 포함될 수 있다.

따라서 최초의 독립 테스트는 최대 처리량 이상을 보고해야 한다. 구매자는 지연 시간 분포, 랜덤 읽기 동작, 쓰기 성능, 열 스로틀링, 오류율, 내구성, 전송 바이트당 에너지를 확인해야 한다.

시스템 수준의 측정치도 필요하다. 초당 토큰 수, 첫 토큰까지 걸리는 시간, 동시 사용자 수용량, 토큰당 에너지는 메모리 동작을 비즈니스 성과와 연결한다.

한 기술 사양 분석은 이 설계에 전기적 특성, 인터페이스, 패키징, 신뢰성, 소프트웨어 I/O 요구 사항이 포함된다고 지적했다. 또한 하나의 512GB 패키지에서 400 GB/s조차 끌어내는 과제도 강조했다.

이 낮은 수치는 중요하다. 표준은 여러 성능 등급을 제공하므로 3 TB/s라는 상한이 향후 모든 HBF 디바이스를 뜻하는 약칭이 되어서는 안 된다.

용량 구성 역시 신중하게 다뤄야 한다. 512GB 패키지는 사양의 상한을 나타낼 뿐, 모든 초기 샘플이 최대 대역폭에서 그 용량을 제공하리라는 약속은 아니다.

상용화 일정도 또 다른 불확실성으로 남아 있다. Sandisk는 이전에 2026년 중 HBF 메모리 샘플과 2027년 초 HBF를 사용하는 디바이스를 목표로 제시했다. 사양 발표는 이 일정을 공개적으로 대체하지 않았다.

신중한 상용화 평가는 공급업체가 샘플을 준비하는 동안 현재 솔루션은 문서상에 존재한다고 설명했다. 이 구분이 기대치를 이끌어야 한다.

샘플링은 초기 이정표일 뿐이다. 고객은 기능을 테스트하고, 컨트롤러와 런타임을 통합하며, 패키징을 인증하고, 신뢰성을 검증한 뒤 성능이 새로운 시스템 설계를 정당화하는지 판단해야 한다.

생산 경제성이 결정 요인이 될 수 있다. HBF는 NAND를 사용하지만 표준 범용 플래시 패키지는 아니다. 특수 다이, 로직, 고밀도 연결, 첨단 조립 공정은 비용을 추가한다.

완성된 디바이스가 HBM의 동작 특성을 따라가지 못하면서 HBM 가격에 근접한다면, 용량 우위만으로는 충분하지 않을 수 있다. 반면 매력적인 시스템 비용으로 몇 배의 용량을 제공한다면 가속기 설계자는 의미 있는 새 선택지를 얻게 된다.

전력도 유사한 절충 관계를 만든다. 데이터를 컴퓨팅 가까이에 두면 SSD에서 옮기는 데 드는 에너지를 줄일 수 있다. 그러나 넓은 인터페이스, 병렬 NAND 액세스, 복잡한 컨트롤러도 자체적으로 전력을 소비한다.

컨소시엄은 실제 추론 트래픽에서 순에너지 절감 효과를 입증해야 한다. 공급업체 추정치만으로는 이 계산을 확정할 수 없다.

소프트웨어 성숙도는 덜 눈에 띄는 위험을 제시한다. 프로세서가 기술적으로 HBF에 연결될 수 있더라도 애플리케이션이 이를 효과적으로 활용하지 못할 수 있다. 메모리 할당, 캐싱, 퇴출, 데이터 이동, 관측 가능성에는 모두 새로운 지원이 필요하다.

클라우드 운영업체는 복잡한 스토리지 계층을 관리한 경험이 있지만, 패키지 수준의 이기종 메모리는 최적화 문제를 바꾼다. 개발자에게는 모든 애플리케이션 팀이 개별 메모리 영역을 수동으로 관리하도록 강요하지 않으면서 이점을 드러내는 도구가 필요하다.

오픈소스 런타임은 이 부담을 줄일 수 있다. 공유 도구는 맞춤형 소프트웨어를 구축할 수 있는 하이퍼스케일러를 넘어 표준이 채택자를 확보하는 데도 도움이 된다.

그러한 요소들이 갖춰지기 전까지 HBF는 불완전한 제품 스토리를 지닌 설득력 있는 아키텍처로 남는다. 이 구분은 발표 관련 Google 뉴스 보도를 따르는 투자자, 구매자, 개발자에게 중요하다.

오픈 HBF 발표 이후 주목할 점

HBF가 AI 메모리 계층으로 자리 잡을지, 폭넓은 시장 없이 매력적인 사양으로 남을지를 결정할 신호는 세 가지다.

첫 번째 신호는 작동하는 실리콘이다. SK Hynix와 Sandisk는 용량, 대역폭, 지연 시간, 전력, 내구성, 열 특성이 공개된 HBF 샘플을 제공해야 한다.

현실적인 워크로드 전반에서 공개된 목표에 근접하는 샘플은 HBF의 타당성을 강화할 것이다. 유리한 순차 읽기를 사용한 제한적 시연은 핵심 성능 질문을 미해결 상태로 남길 것이다.

시점도 중요하다. Sandisk가 이전에 밝힌 로드맵은 초기 샘플을 2026년 하반기에 배치했다. 이 시기를 지킨다면 표준화와 제품 엔지니어링이 함께 진전됐음을 보여줄 것이다.

두 번째 신호는 프로세서 채택이다. Google과 Tenstorrent는 이 노력을 구체화하는 데 도움을 줬지만, 관찰자들은 HBF를 활용한 가속기 로드맵, 프로토타입 보드, 공개적으로 설명된 추론 테스트를 주시해야 한다.

Google의 배포는 특히 큰 무게를 가질 것이다. 이 회사는 AI 모델과 맞춤형 프로세서를 모두 통제하기 때문이다. 제한적인 테스트라도 메모리 공급업체의 실험실에서는 얻기 어려운 신뢰할 만한 워크로드 데이터를 제공할 수 있다.

Tenstorrent는 다른 유형의 검증 사례를 제시할 수 있다. 이 회사의 칩렛 중심 아키텍처는 폐쇄형 공급업체 스택에 의존하지 않고 독립 프로세서 회사가 UCIe를 통해 HBF를 통합하는 방식을 보여줄 수 있다.

가장 강력한 검증은 또 다른 주요 프로세서 또는 클라우드 기업이 사양에 참여하는 것이다. AMD, Broadcom, Marvell, Microsoft, Meta 또는 Amazon의 지원은 HBF가 소수 그룹에 묶일 위험을 줄일 것이다.

세 번째 신호는 소프트웨어와 경제성이다. 구매자에게는 HBF를 수동 제어 스토리지 디바이스가 아니라 관리 가능한 계층의 일부로 취급하는 런타임 지원이 필요하다.

컴파일러 기능, 메모리 배치 정책, 운영체제 변경, 추론 프레임워크 통합, 모니터링 도구를 주시해야 한다. 이러한 출시물은 생태계가 단순히 사양을 검토하는 데 그치지 않고 배포를 준비하고 있는지 보여줄 것이다.

경제적 근거도 뒤따라야 한다. 관련 지표에는 서버당 초당 토큰 수, 동시 세션 수, 토큰당 에너지, 정의된 서비스 수준에서 모델을 호스팅하는 비용이 포함된다.

원시 대역폭만으로는 이러한 질문에 답할 수 없다. 용량만으로도 마찬가지다.

비교 대상에는 더 큰 HBM 구성, 호스트 메모리, CXL 확장, 최적화된 SSD 오프로드를 사용하는 기존 시스템이 포함돼야 한다. HBF는 성능과 용량의 결합이 완전한 추론 플랫폼을 개선할 때에만 자리를 얻는다.

개발자에게 이번 발표는 메모리 사용을 더 면밀히 검토할 이유다. 모델 최적화는 가중치, 캐시, 검색 인덱스, 중간 데이터가 어디에 위치하는지에 점점 더 의존한다.

미래 AI 인프라를 평가하는 팀은 지금 이러한 워크로드 특성을 기록해야 한다. 검색 가능한 기술 지식 베이스는 HBF 제품이 등장함에 따라 엔지니어가 사양, 벤치마크 메모, 아키텍처 결정, 공급업체 주장을 비교하는 데 도움이 될 수 있다.

기업 구매자에게 즉각적인 조치는 더 절제돼 있다. 공급업체에 추론 메모리 용량 문제를 어떻게 해결할 계획인지, 어떤 오픈 인터페이스를 지원하는지, 어떤 워크로드 근거가 로드맵을 뒷받침하는지 물어봐야 한다.

HBF 라벨을 성능의 증거로 취급하지 마라. 모델 크기, 컨텍스트 길이, 동시성 목표, 서비스 수준 요구 사항을 반영하는 측정치를 요청해야 한다.

SK Hynix와 Sandisk의 사양은 이 논쟁을 구체화했다. 이제 HBF에는 정의된 용량 등급, 성능 목표, 오픈 표준 논의의 장, 두 곳의 주목할 만한 외부 참여자가 있다.

하지만 아직 양산 디바이스, 독립 벤치마크, 광범위한 프로세서 지원은 없다. 이러한 공백이 흥미로운 표준과 지속 가능한 시장을 가르는 차이다.

다음 Google 뉴스 헤드라인은 최초의 완전한 HBF 벤치마크보다 덜 중요할 것이다. 실제 시스템이 응답 시간을 희생하지 않고 더 낮은 추론 비용을 제공하는지 지켜본 뒤, 그 근거를 빠르게 개선되는 HBM 및 메모리 확장 대안과 비교해야 한다.