Sandisk와 SK hynix, 오픈 HBF 사양 공개…다음 시험대는 하드웨어

Sandisk와 SK hynix는 표준화 그룹 출범 6개월 만인 8월 4일 최초의 오픈 High Bandwidth Flash 사양을 공개했다. 이 발표는 신흥 메모리 기술로서는 이례적으로 구체적인 약속과 함께 Google News에 소개됐다. 최대 512GB 용량과 최대 3TB/s 대역폭이 그것이다.

이 조합은 AI 시스템 내부에서 점점 커지는 격차를 겨냥한다. High Bandwidth Memory(HBM)는 프로세서 가까이에서 높은 속도를 제공하지만 용량에는 한계가 있다. 솔리드 스테이트 드라이브는 훨씬 큰 용량을 제공하지만, 지연 시간에 민감한 많은 추론 작업에는 프로세서와 거리가 너무 멀다.

HBF로 알려진 High Bandwidth Flash는 이 둘 사이의 계층을 차지하도록 설계됐다. Sandisk와 SK hynix는 NAND 플래시가 모든 HBM 스택을 대체할 것이라고 제안하는 것이 아니다. 가장 자주 쓰이는 데이터에는 HBM을, 빠른 접근이 여전히 필요하지만 더 큰 작업 세트에는 HBF를 사용하자는 구상이다.

이 사양은 프로세서 설계자가 이러한 아키텍처를 더 쉽게 평가하도록 돕는다. 다만 HBF가 양산 하드웨어에서 제시된 성능을 제공할 수 있다는 점을 입증하지는 않는다. 따라서 진짜 경쟁은 Sandisk와 SK hynix 간의 대결이 아니다. 오픈 사양과, 여전히 필요한 엔지니어링 및 도입 작업 간의 경쟁이다.

HBF 사양은 메모리 아이디어를 공동의 목표로 바꾼다

이번 공개는 프로세서, 패키징, 소프트웨어 팀에 공통의 HBF 설계 목표를 제공하지만, 완성된 제품을 내놓는 것은 아니다.

SK hynix는 캘리포니아주 산타클라라에서 열린 FMS 2026에서 Sandisk와 함께 이 사양을 발표했다. 이 행사는 8월 4일부터 8월 6일까지 열리며 메모리 및 스토리지 기술에 초점을 맞춘다.

두 회사는 오픈 데이터센터 인프라에 집중하는 산업 조직인 Open Compute Project(OCP)를 통해 이 작업을 공개했다. HBF는 두 메모리 공급업체를 넘어선 참여가 필요하기 때문에 이 선택은 중요하다.

HBF 사양 발표에 따르면 초기 설계는 두 가지 물리적 구성을 지원한다. 8다이 스택이 하나의 선택지이며, 16다이 스택은 발표된 구성 중 가장 큰 용량을 지원한다.

사양은 최대 512GB 용량을 다룬다. 또한 약 0.4TB/s부터 3TB/s까지의 대역폭을 아우르는 세 가지 성능 등급을 정의한다.

이 등급은 시스템 설계자가 서로 다른 워크로드 및 비용 요구사항에 맞춰 HBF 구현을 선택할 수 있게 한다. 낮은 등급은 모든 설계를 가장 복잡한 패키지로 몰아가지 않고도 덜 까다로운 추론 작업을 지원할 수 있다.

이번 공개는 전기적 특성, 패키징 신뢰성, 프로세서 연결, 소프트웨어 입출력 가이드라인도 다룬다. 이러한 세부 사항은 HBF를 발표용 개념을 넘어 엔지니어링 팀이 검토할 수 있는 대상으로 옮겨 놓는다.

프로세서 연결에는 Universal Chiplet Interconnect Express(UCIe)가 사용된다. UCIe는 하나의 시스템 안에서 분리된 반도체 다이를 연결하는 오픈 패키지 수준 인터페이스다.

공식 UCIe specifications는 물리적 연결, 프로토콜, 소프트웨어 동작, 적합성 테스트를 다룬다. 이 인터페이스를 사용하면 HBF가 특정 프로세서 공급업체의 독점 연결 방식에 의존할 필요가 줄어든다.

이는 HBF가 CPU, GPU 및 기타 가속기와 연결될 경로도 만든다. AI 인프라에는 하나 이상의 프로세서 아키텍처가 포함되기 때문에 이러한 유연성은 오픈 표준의 핵심 논거다.

하지만 인터페이스 표준이 자동으로 상호운용성을 만드는 것은 아니다. 공급업체들은 서로 함께 작동하는 컨트롤러, 패키징 방식, 펌웨어, 드라이버, 메모리 관리 정책, 적합성 테스트를 여전히 마련해야 한다.

짧은 Google News 헤드라인에서는 이 차이를 놓치기 쉽다. Sandisk와 SK hynix가 공개한 것은 사양이지, 일반적으로 구매 가능한 HBF 모듈이나 양산 AI 서버가 아니다.

그들의 속도는 여전히 주목할 만하다. Sandisk와 SK hynix는 2025년 8월 최초의 표준화 파트너십을 발표했다. 2026년 2월 OCP 작업 스트림을 출범시킨 뒤 약 6개월 만에 첫 사양을 내놓았다.

SK hynix에 따르면 현재 Google과 AI 프로세서 개발사 Tenstorrent도 컨소시엄에 참여하고 있다. 이들의 참여는 워크로드와 프로세서 양측에서 프로젝트에 유용한 의견을 제공한다.

두 회사 모두 이 사양을 활용한 검증된 양산 시스템을 발표하지 않았다. 적합 상용 장치의 대역폭, 지연 시간, 내구성 또는 에너지 성능을 확립한 독립 벤치마크도 아직 없다.

따라서 오픈 문서는 업계가 논의할 수 있는 내용을 바꾼다. 엔지니어들은 정의되지 않은 메모리 범주를 논하는 대신 스택 크기, 대역폭 등급, 인터페이스, 패키징 기대치, 소프트웨어 요구사항을 검토할 수 있다.

이것이 당장의 사건이다. 더 큰 쟁점은 AI 추론에 왜 또 하나의 메모리 계층이 필요한가다.

AI 추론이 HBM과 SSD에 압박을 가하는 이유

HBF는 추론에 점점 더 많은 데이터가 필요하지만, 그 모든 데이터를 HBM에 담기에는 너무 커지고 있기 때문에 존재한다.

AI 학습은 인프라 측면에서 많은 관심을 받지만, 추론은 다른 메모리 문제를 만든다. 학습은 모델을 구축한다. 추론은 요청에 답하고, 미디어를 생성하고, 도구를 사용하거나 에이전트를 운영하기 위해 그 모델을 반복적으로 실행한다.

배포된 서비스에는 모델 가중치, 어텐션 데이터, 캐시된 토큰, 검색 인덱스, 애플리케이션 컨텍스트가 필요할 수 있다. 모델과 동시 워크로드가 커질수록 모든 활성 데이터 세트를 가장 빠른 메모리에 유지하기는 어려워진다.

HBM은 프로세서 가까이에 DRAM 스택을 배치하고 넓은 인터페이스로 연결한다. 이 설계는 많은 양의 데이터를 빠르게 이동해야 하는 가속기에 높은 대역폭을 제공한다.

그 장점이 물리적 제약을 없애지는 않는다. 패키지 공간, 제조 복잡성, 전력, 용량, 공급은 각 프로세서 옆에 배치할 수 있는 HBM의 양을 결정한다.

엔터프라이즈 SSD는 다른 문제를 해결한다. 비트당 더 낮은 비용으로 훨씬 많은 정보를 저장하며, NAND 플래시는 지속적인 전원 없이도 데이터를 보존한다. 그러나 기존 스토리지 경로는 지연 시간과 소프트웨어 오버헤드를 더한다.

그 결과 아키텍처상의 빈틈이 남는다. 일부 추론 데이터는 HBM의 최저 지연 시간이 반드시 필요하지는 않지만, 기존 SSD 경로보다 더 빠르고 직접적인 접근이 필요하다.

SK hynix는 HBM이 최고 대역폭 작업을 계속 처리하는 동안 HBF를 보조 계층으로 설명한다. 이 계층형 메모리 모델은 접근 빈도와 성능 요구에 따라 데이터를 서로 다른 기술에 배정한다.

대형 모델은 유용한 사례를 제공한다. 자주 사용되는 부분은 HBM에 남기고, 덜 활성화된 가중치는 HBF에 둘 수 있다. SSD는 시스템이 더 드물게 필요한 데이터를 저장할 수 있다.

시스템은 이후 워크로드 조건이 변함에 따라 계층 간에 정보를 이동시킨다. 이 접근 방식은 기존 캐싱 계층과 비슷하지만, 용량과 대역폭 요구사항, 패키징 과제는 훨씬 크다.

이점은 배치 결정에 달려 있다. 소프트웨어가 더 느린 계층에서 잘못된 데이터를 반복적으로 가져오면 프로세서 코어가 대기하게 되고 전체 성능이 떨어질 수 있다.

따라서 HBF는 가속기 옆에 배치된 고밀도 플래시를 넘어야 한다. 주변 시스템에는 어떤 데이터가 각 메모리 계층에 속하는지 예측하는 컨트롤러와 소프트웨어가 필요하다.

에이전틱 AI는 이러한 압박을 강화한다. 에이전트는 더 긴 이력을 유지하고, 외부 지식을 참조하고, 소프트웨어 도구를 호출하며, 하나의 사용자 요청에 대해 여러 모델 작업을 조율할 수 있다.

이러한 워크플로는 더 크고 예측하기 어려운 작업 세트를 만든다. 또한 단일 프롬프트와 응답보다 더 긴 시간 동안 추론 인프라를 바쁘게 유지할 수 있다.

개발자에게 핵심 질문은 모든 애플리케이션에 HBF가 필요한지 여부가 아니다. 미래의 추론 시스템이 일반 스토리지로 되돌아가지 않으면서 값비싼 HBM 용량을 줄여 줄 중간 계층을 필요로 하는지다.

엔터프라이즈 구매자에게 메모리 아키텍처는 서버 활용률, 응답 시간, 전력 소비, 하나의 시스템에 들어가는 모델 수에 영향을 줄 수 있다. 이러한 요소들은 사용자가 기반 구성 요소를 보지 못하더라도 운영 비용을 좌우한다.

지식 근로자 역시 간접적인 이해관계가 있다. 더 큰 로컬 컨텍스트와 더 지속적인 에이전트에는 작업 데이터를 효율적으로 유지하고 검색할 수 있는 인프라가 필요하다.

검색 가능한 지식 베이스도 애플리케이션 수준에서 유사한 배치 문제에 직면한다. 모든 문서를 가장 빠른 컨텍스트 계층에 올리지 않으면서도 관련 자료를 모델에 빠르게 전달해야 한다.

HBF는 이 더 넓은 과제의 하드웨어 측면을 다룬다. 모든 비트를 프리미엄 HBM 데이터로 취급하지 않으면서도, 실용적인 추론을 위해 더 많은 모델 관련 데이터를 연산에 충분히 가깝게 유지하려는 시도다.

이는 프로세서 공급업체, 클라우드 운영자, 메모리 공급업체에 압박을 가한다. 각 집단은 또 하나의 계층이 추가 패키징 및 소프트웨어 복잡성을 정당화할 만큼 시스템을 개선하는지 판단해야 한다.

Google News의 관심이 가리는 진짜 경쟁: 사양 대 실리콘

이 사양은 파트너를 끌어들일 만큼 신뢰할 수 있지만, HBF가 AI 프로세서 옆에 자리할 수 있는지는 실제 동작하는 실리콘만이 증명할 수 있다.

Sandisk는 처음 HBF를 추론용 NAND 기반 메모리 아키텍처로 제시했다. 최초의 HBF 샘플은 2026년 하반기에 제공한다는 계획이었다.

이 회사는 HBF를 통합한 첫 추론 장치의 샘플도 2027년 초에 나올 것으로 예상했다. 이 목표는 2025 partnership release에 포함됐다.

2026년 8월 사양은 이러한 샘플 이정표가 완료됐음을 확인하지 않는다. 대신 잠재적 제품이 따라야 할 기술적 틀을 정립한다.

Sandisk의 1세대 개념은 16다이 스택에서 1.6TB/s의 읽기 대역폭과 512GB를 목표로 한다. 이후 세대는 2TB/s를 넘고 궁극적으로 3.2TB/s에 도달할 것으로 예상된다.

이 수치는 Sandisk 자체의 HBF technical brief에서 나온 것이다. 상용 시스템의 독립 측정치가 아니라 회사가 제시한 목표다.

이 브리프는 시뮬레이션된 HBF 구성이 특정 테스트에서 무제한 용량 HBM 모델 성능의 2.2% 이내를 기록했다고도 설명한다. 해당 워크로드는 Llama 3.1 405B 모델의 8비트 가중치를 사용했다.

이 결과는 신중하게 해석할 필요가 있다. Sandisk는 내부 테스트와 시뮬레이션을 기반으로 했으며, 비교는 무제한 HBM 용량을 가정했다. 실제 제품은 유한한 용량, 열 한계, 소프트웨어 동작, 경쟁 데이터 트래픽에 직면하게 된다.

NAND는 DRAM과도 다르게 동작한다. 밀도와 비휘발성이라는 장점이 있지만, 일반적으로 더 높은 접근 지연 시간과 더 엄격한 내구성 고려사항을 수반한다.

HBF의 더 큰 페이지 크기는 작고 흩어진 데이터 조각을 요청하는 워크로드를 복잡하게 만들 수 있다. 헤드라인상의 전송 속도가 강력해 보여도 불필요한 바이트 이동은 대역폭과 에너지를 소비한다.

읽기 비중이 높은 모델 추론은 학습된 가중치가 다른 많은 데이터 구조보다 덜 변경되기 때문에 그럴듯한 출발점이다. 쓰기 집약적인 사용 사례는 내구성 관리에 더 큰 부담을 준다.

패키징도 또 하나의 시험대다. 16다이 스택에는 일관된 제조, 열 제어, 신호 무결성, 수용 가능한 생산 수율이 필요하다.

설계는 시뮬레이션에서는 작동할 수 있지만 대량 조립 단계에서는 비용 부담이 커질 수 있다. 한 구성 요소의 결함이 전체 첨단 패키지의 경제성에 영향을 미칠 수 있다.

따라서 512GB라는 수치는 중요하지만, 실제로 활용 가능한 용량은 제품의 한 부분일 뿐이다. 구매자는 지연 시간 분포, 지속 대역폭, 오류 관리, 온도, 수명, 혼합 워크로드에서의 동작을 살펴볼 것이다.

세 가지 대역폭 등급은 구현 측면의 질문도 만들어낸다. 사양은 목표를 제시하지만, 공급업체는 어떤 프로세서와 패키지가 각 등급을 지속적으로 지원할 수 있는지 보여줘야 한다.

UCIe는 개방형 인터페이스 기반을 제공하지만, 어떤 HBF 스택이든 어떤 가속기에나 연결된다는 보장은 아니다. 시장이 실제로 어느 정도의 상호운용성을 확보할지는 규정 준수 프로그램과 레퍼런스 설계에 달려 있다.

이 지점에서 Google과 Tenstorrent가 중요해진다. Google은 대규모 AI 서비스를 운영하고 맞춤형 가속기를 설계한 경험을 제공한다. Tenstorrent는 이 인터페이스가 지배적인 GPU 모델을 넘어 작동하는지 검증할 수 있다.

두 회사의 컨소시엄 가입은 긍정적인 채택 신호다. 그러나 이는 구매 약정, 제품 발표, 배포와는 다르다.

출하 예정 프로세서가 명시되지 않았다는 점은 여전히 핵심 검증 공백이다. HBF에는 컨트롤러, 패키지 설계, 소프트웨어 스택, 문서화된 워크로드 이점을 갖춘 가속기 플랫폼이 최소 하나 필요하다.

그러한 통합이 없다면, 이 표준은 기술적으로 흥미롭지만 상업적으로는 주변적인 위치에 머물 위험이 있다. 반도체 산업에는 폭넓은 양산 활용으로 이어지지 못한 사양이 많다.

Sandisk와 SK hynix는 역량이 상호 보완적이기 때문에 성공 가능성을 높인다. Sandisk는 NAND 설계와 플래시 아키텍처를 제공하고, SK hynix는 NAND, DRAM, HBM, 패키징, 대량 생산을 아우른다.

두 회사의 협력은 HBF가 단지 한 공급업체를 보호하기 위한 독점적 시도라는 인상도 완화한다. OCP 공개는 더 폭넓은 검토와 잠재적 참여를 유도한다.

다만 기업들이 구현 세부 사항에 이견을 보일 경우 개방성은 의사결정을 늦출 수 있다. 더 많은 참여자를 받아들인 생태계는 확장성을 얻지만, 합의와 규정 준수 작업에는 시간이 든다.

이 사양은 첫 번째 제도적 관문을 통과했다. 다음은 실리콘 검증이며, 이후 시스템 검증, 소프트웨어 지원, 고객 인증, 생산 경제성이 뒤따른다.

헤드라인은 공개를 완료로 다룰 수 있다. 하지만 하드웨어 시장에서는 이를 더 긴 검증 과정의 시작으로 본다.

HBF는 HBM을 보완하며, 그 트레이드오프가 시장을 규정한다

HBF는 지원하려는 워크로드를 약화시키지 않으면서, 추가 용량이 지연 시간과 통합 비용을 상쇄할 때에만 경쟁력을 갖는다.

HBF를 HBM의 대체재로 부르는 것은 잘못된 구도를 만든다. SK hynix는 HBF를 HBM과 SSD 사이에 위치시키며, 가장 까다로운 대역폭 계층은 HBM이 계속 담당한다고 명시한다.

이 구분은 비현실적인 기준으로부터 아키텍처를 보호한다. NAND 기반 HBF는 모든 작업에서 DRAM을 능가할 필요가 없다. 수용 가능한 성능으로 더 큰 메모리 풀을 유용하게 만드는 것이 핵심이다.

Sandisk는 이전에 HBF가 비슷한 비용으로 HBM의 8~16배 용량을 제공할 수 있다고 밝혔다. 현재의 개방형 사양은 그 경제성 주장을 입증하기보다 구성과 성능 등급을 정의하는 데 그쳐 더 신중한 접근을 취한다.

용량 비교 역시 시간이 지나며 변할 것이다. HBM 공급업체들은 계속해서 스택 용량과 대역폭을 높이고 있으므로, HBF는 변화하는 기준선과 경쟁하게 된다.

HBM은 이미 확립된 가속기 지원과 생산 수요의 이점을 누린다. 프로세서 로드맵, 패키징 투자, 메모리 컨트롤러, 소프트웨어 도구는 이미 HBM을 중심으로 구축돼 있다.

HBF는 이러한 설치 기반 없이 출발한다. 제안된 장점은 성숙도가 아니라 집적도다.

SSD는 반대편에서 압박을 가한다. 온패키지 메모리 계층을 따라잡을 수는 없지만, 소프트웨어와 인터커넥트의 개선은 AI 워크로드에서 스토리지를 더 유용하게 만들 수 있다.

시스템 설계자들은 향상된 SSD 캐싱이 더 낮은 통합 위험으로 충분한 성능을 제공한다고 판단할 수 있다. 다른 설계자들은 세 번째 계층을 추가하는 대신 프리미엄 워크로드에 더 큰 HBM 풀을 할당할 수도 있다.

HBF는 완전한 시스템 수준에서 이러한 대안을 능가해야 한다. 추가 컨트롤러, 패키지 면적, 냉각, 소프트웨어가 절감 효과를 없앤다면 비트당 유리한 비용은 도움이 되지 않는다.

에너지 관련 주장도 비슷한 주의가 필요하다. NAND는 리프레시 전력 없이 정보를 유지하므로 저장 데이터 측면에서 구조적 이점이 있다.

그러나 에너지 사용에는 데이터 이동, 오류 정정, 컨트롤러, 열 관리도 포함된다. 관련 지표는 구성 요소 단독의 전력 특성이 아니라 완료된 추론당 에너지다.

메모리 관리 계층이 결정적인 요소가 된다. 소프트웨어는 자주 사용되는 데이터를 식별하고, 적절한 위치에 배치하며, 프로세서가 멈추기 전에 이를 이동해야 한다.

이 요구 사항은 가속기 공급업체와 클라우드 운영자에게 기회를 만든다. 이들은 배치, 컴파일러 동작, 모델 서빙, 텔레메트리를 제어하며, 이를 통해 데이터 배치를 유도할 수 있다.

동시에 이는 종속 위험도 만든다. 개방형 물리 인터페이스가 상위 소프트웨어가 프로세서와 메모리 공급업체 간에 이식성을 유지한다는 보장은 아니다.

개발자에게는 모든 모델 팀이 페이지를 수동으로 관리하지 않아도 HBF 동작을 파악할 수 있는 도구가 필요하다. 그렇지 않으면 가장 큰 인프라 운영자만 일관된 이점을 얻을 수 있다.

초기 유망 워크로드는 여러 특성을 공유할 가능성이 크다. 읽기 비중이 높고, 용량 제약을 받으며, 어느 정도의 추가 지연 시간을 감수할 수 있고, 특수 하드웨어를 정당화할 만큼 중요할 것이다.

대규모 모델 서빙은 이 조건에 부합한다. 활성 데이터가 실용적인 HBM 용량을 초과할 때 검색 시스템, 추천 모델, 일부 멀티모달 애플리케이션도 혜택을 볼 수 있다.

모든 AI 작업이 그렇지는 않다. 기존 메모리에 여유 있게 들어가는 소형 모델은 또 다른 계층에서 얻는 이점이 작다. 불규칙한 접근 패턴을 가진 지연 시간 민감 애플리케이션은 용량 제약에도 불구하고 HBM을 선호할 수 있다.

훈련은 대규모 데이터 구조를 반복적으로 읽고 쓰기 때문에 더 어려운 사례다. 초기 HBF 서사가 추론에 집중하는 데는 타당한 이유가 있다.

이 트레이드오프는 발표를 현실에 맞게 유지한다. HBF는 메모리 계층 구조를 없애지 않는다. 하나의 계층을 더하고, 시스템 설계자에게 그 계층 구조를 더 지능적으로 관리하라고 요구한다.

SK hynix의 더 폭넓은 전략도 이 관점을 뒷받침한다. 이 회사는 HBM, 일반 DRAM, NAND, 엔터프라이즈 SSD, 신흥 메모리 계층을 아우르는 포트폴리오를 내세운다.

이 포트폴리오는 HBM과 HBF 간 내부 경쟁을 줄일 수 있다. SK hynix는 고객이 선택하는 조합을 지원할 수 있지만, 개별 제품의 경제성은 여전히 우선순위에 영향을 미칠 것이다.

Sandisk는 다른 동기를 갖고 있다. 플래시에 집중한 이 회사에는 AI 추론이 NAND를 고부가가치 연산에 더 가깝게 배치할 기회다.

이 협력은 그러한 동기를 공통 표준을 중심으로 정렬한다. Samsung, Micron, Kioxia, 프로세서 공급업체, 대체 메모리 아키텍처와의 경쟁을 없애지는 않는다.

경쟁업체의 참여는 HBF를 산업 카테고리로서 강화할 것이다. 동시에 Sandisk와 SK hynix가 제품을 차별화할 수 있는 능력은 약화될 수 있다.

이는 개방형 표준에서 건전한 긴장 관계다. 폭넓은 채택을 위해서는 일반적으로 공급업체가 더 큰 시장을 대가로 일부 통제권을 내려놓아야 한다.

세 가지 신호가 HBF가 헤드라인을 넘어설지 보여줄 것이다

다음 증거는 또 다른 사양 발표가 아니라 샘플, 프로세서 약정, 측정된 워크로드에서 나와야 한다.

첫 번째 신호는 새 사양에 연계된 작동 가능한 HBF 실리콘이다. Sandisk의 이전 로드맵은 초기 샘플을 2026년 하반기에 제공하는 것으로 제시했으며, 실행을 위한 시간 창은 제한적이다.

유의미한 샘플 발표라면 용량, 대역폭 등급, 패키지 구성, 테스트 상태를 명시해야 한다. 또한 내부 엔지니어링 샘플과 고객이 사용할 수 있는 하드웨어를 구분해야 한다.

독립적 또는 고객 테스트는 사례를 더욱 강화할 것이다. 측정된 지연 시간, 지속 대역폭, 전력, 내구성, 온도는 최고 전송 수치보다 중요하다.

사양 준수 샘플이 일정에 맞춰 등장한다면, 이 사양은 제품 기반으로서 신뢰성을 얻게 된다. 지연은 패키징, NAND 동작, 컨트롤러 또는 제조 문제가 여전히 해결되지 않았음을 시사할 것이다.

두 번째 신호는 명시된 프로세서 또는 클라우드 플랫폼이다. Google과 Tenstorrent는 컨소시엄에 참여하지만, 참여나 패널 출연 어느 것도 상업적 채택을 확인하지는 않는다.

진지한 약정은 HBF를 프로세서 로드맵, 레퍼런스 패키지, 개발 보드 또는 클라우드 배포와 연결할 것이다. 또한 소프트웨어가 HBM과 HBF 사이에서 데이터를 어떻게 할당하는지도 밝혀야 한다.

하드웨어와 함께 컨트롤러 지원과 개발자 도구도 주시해야 한다. 스케줄링, 프로파일링, 배치 소프트웨어가 없는 메모리 장치는 완전한 시스템 이점을 제공할 수 없다.

하나의 플랫폼이 약정한다고 해서 산업 표준이 보장되는 것은 아니다. 그러나 프로세서 설계자가 통합 비용을 감수할 만큼 충분한 가치를 본다는 점은 입증할 것이다.

여러 프로세서 또는 클라우드 참여자는 개방형 생태계라는 논지를 뒷받침할 것이다. 단일 독점 구현은 HBF의 역할을 좁히고 한 고객에 대한 의존도를 높일 수 있다.

세 번째 신호는 현실적인 제약 아래에서의 워크로드 증거다. Sandisk의 시뮬레이션은 출발 가설을 제공하지만, 실제 시스템은 제한된 HBM, 혼합 요청, 열 한계, 변화하는 접근 패턴을 처리해야 한다.

벤치마크는 고립된 구성 요소가 아니라 완전한 구성을 비교해야 한다. HBF 시스템은 더 큰 HBM 풀 또는 SSD 기반 대안과 비교해 처리량, 지연 시간, 에너지, 비용을 보여줘야 한다.

가장 유익한 테스트는 여러 동시 사용자를 둔 대규모 모델 추론을 다룰 것이다. 또한 모델 정밀도, 배치 크기, 컨텍스트 길이, 캐싱 정책, 프로세서 활용률을 설명해야 한다.

유리한 결과는 HBF가 더 큰 활성 모델을 지원하면서 값비싼 연산 장치를 바쁘게 유지한다는 점을 보여줄 것이다. 이는 추론 규모가 커질수록 계층형 메모리의 필요성을 강화할 것이다.

약한 결과는 NAND 지연 시간 또는 데이터 이동의 비용을 드러낼 것이다. 응답 시간보다 용량이 더 중요한 좁은 용도로 HBF를 제한할 수도 있다.

OCP를 통한 사양 공개는 연구자와 잠재 채택자에게 그러한 평가를 위한 공통 기반을 제공한다. open workstream launch 역시 두 회사가 HBF를 폐쇄적으로 유지하는 대신 생태계 참여자를 모집하려 한다는 점을 보여준다.

Google News를 통해 이 이야기를 따라가는 독자는 향후 각 이정표를 구분해야 한다. 컨소시엄 구성원, 샘플, 통합 장치, 양산 배포는 매우 다른 수준의 증거를 의미한다.

Sandisk와 SK hynix는 그 단계 중 첫 번째를 완료했다. 두 회사는 명확한 용량, 대역폭, 인터페이스, 패키징, 소프트웨어 목표를 갖춘 개방형 아키텍처를 정의했다.

이제 부담은 표준 문서에서 엔지니어링 팀으로 넘어간다. 이들은 HBF가 안정적으로 제조되고, 여러 프로세서에 연결되며, 비용이 큰 새로운 병목 현상을 만들지 않고 관리될 수 있음을 보여줘야 한다.

그 결과는 두 메모리 기업을 넘어 중요하다. 성공적인 HBF 하드웨어는 AI 시스템 설계자에게 용량, 대역폭, 에너지, 비용의 균형을 맞추는 또 다른 방법을 제공할 것이다.

실패 역시 유용한 교훈을 제공할 것이다. 고밀도 NAND를 연산 가까이에 패키징하는 것만으로 HBM과 SSD 사이의 격차를 메울 수 없음을 보여줄 것이다.

따라서 다음으로 열어볼 만한 Google News 헤드라인에는 또 다른 파트너십 이상의 내용이 담겨야 한다. 측정 가능한 실리콘, 명시된 프로세서, 다른 조직이 면밀히 검토할 수 있는 워크로드 결과를 찾아야 한다.

그러한 신호가 도착하기 전까지 HBF는 신뢰할 수 있는 후원자를 둔, 이례적으로 상세한 제안이다. 아직 양산 AI 인프라에서 입증된 계층은 아니다.

발표 횟수보다 샘플, 통합, 벤치마크를 따라가야 한다. 개방형 HBF가 실제 추론 시스템을 개선할 수 있음을 가장 먼저 보여줄 프로세서 공급업체는 어디일까?