SK hynix, AI 병목이 컴퓨팅에서 데이터로 이동했다고 주장

SK hynix Newsroom이 명확한 주장을 내놨다. 가속기가 빨라지고 있음에도 AI 성능은 점점 더 처리 자체보다 데이터 이동에 좌우된다는 것이다. 9월 3일자 분석은 추론과 agentic AI가 단순 컴퓨팅 용량만으로는 해결할 수 없는 메모리 제약을 드러내고 있다고 설명한다.

이 주장은 업계에서 익숙한 비교 기준에 도전한다. AI 인프라는 흔히 GPU 수, 부동소수점 성능, 모델 규모로 비교돼 왔다. 그러나 SK hynix는 프로세서가 모델 가중치, 캐시된 컨텍스트, 중간 결과를 기다려야 한다면 이런 수치가 오해를 낳을 수 있다고 주장한다.

이 해석에는 메모리 제품을 판매하는 기업의 분명한 이해관계가 있다. 다만 근본 문제는 최근 AI 붐보다 오래됐다. 연구자들은 HBM이 전략적 부품이 되기 훨씬 전인 30여 년 전부터 프로세서와 메모리 사이의 격차 확대를 지적해 왔다.

새로운 질문은 컴퓨팅이 여전히 중요한지 여부가 아니다. 그것은 분명 중요하다. 실제 서비스가 긴 컨텍스트, 반복적인 도구 호출, 낮은 응답 시간을 요구할 때 더 많은 컴퓨팅이 여전히 가장 효과적인 해법인가가 핵심이다.

SK hynix, AI 인프라 경쟁을 재정의하다

SK hynix는 인프라 구매자들에게 이론적 컴퓨팅 성능만이 아니라 지속적인 데이터 흐름을 기준으로 시스템을 평가하라고 요구하고 있다.

이 회사의 메모리 병목 분석은 KAIST의 유회준 교수가 작성했다. 면책 조항에는 해당 견해가 회사의 공식 입장을 반드시 대변하는 것은 아니라고 명시돼 있다. 그럼에도 이 글의 게재는 AI 인프라 계획의 중심에 메모리 아키텍처를 두려는 SK hynix의 폭넓은 노력과 맞닿아 있다.

이 글은 이론적 가속기 성능과 실제로 유용한 시스템 성능을 구분한다. 프로세서는 필요한 데이터가 제때 도착할 때만 매초 많은 연산을 수행할 수 있다. 데이터 전달이 느리면, 광고된 용량과 관계없이 실행 유닛은 대기하게 된다.

이 구분은 기업이 모델 학습에서 지속적인 추론으로 전환할 때 중요해진다. 학습은 일반적으로 대규모 배치를 처리하므로 많은 가속기 유닛을 계속 가동하는 데 유리하다. 반면 프로덕션 추론은 개별 요청에 빠르게 응답해야 하는 경우가 많아 큰 배치를 구성하기가 더 어렵다.

Agentic AI는 또 다른 압박 요인을 더한다. 에이전트는 여러 단계를 계획하고, 외부 도구를 호출하고, 결과를 검토하고, 계획을 수정한 뒤 토큰 생성을 이어갈 수 있다. 모든 단계는 시스템 어딘가에 계속 접근할 수 있어야 하는 상태를 생성하거나 조회한다.

그 결과 스토리지, 시스템 메모리, 가속기 메모리, 온칩 캐시 사이에서 빈번한 이동이 발생하는 워크로드가 만들어진다. 지연 시간은 각 경계에서 누적될 수 있다. 프로세서를 더 늘린다고 이런 전송이 자동으로 사라지지는 않는다.

SK hynix는 이를 병목 위치의 변화로 설명한다. 이 주장이 모든 워크로드가 이미 메모리 바운드 상태가 됐다는 뜻은 아니다. 가속기 성능만으로는 실제 서비스 동작을 완전하게 예측할 수 없다는 의미다.

이 단서는 중요하다. 행렬 연산 비중이 큰 학습 작업은 여전히 컴퓨팅 바운드일 수 있지만, 토큰 생성은 대체로 더 강한 대역폭 제약에 직면한다. 프롬프트 처리와 토큰 디코딩 역시 같은 가속기의 서로 다른 부분에 부담을 줄 수 있다.

따라서 유용한 통찰은 헤드라인보다 더 구체적이다. AI 인프라는 워크로드 의존적으로 변하고 있으며, 추론은 최고 컴퓨팅 성능 측정치에 가려졌던 약점을 드러낸다.

이러한 재정의는 가속기 공급업체, 클라우드 운영사, 모델 개발자 모두에게 압박을 가한다. 각 기업은 현실적인 수요 조건에서 고가의 컴퓨팅 유닛에 데이터가 충분히 공급되도록 시스템을 유지할 수 있음을 보여야 한다.

구매 관점의 질문도 바뀐다. 구매자는 초당 토큰 수, 첫 토큰까지 걸리는 시간, 토큰 간 지연 시간, 배치 동작, 메모리 용량, 전력 소비 같은 측정치를 필요로 한다. 큰 최고 성능 수치 하나만으로는 이런 질문에 답할 수 없다.

개발자에게 이 변화는 애플리케이션 문제로 나타난다. 대화가 길어질수록 속도가 느려지고, 동시 사용자는 메모리를 두고 경쟁하며, 에이전트 워크플로는 불규칙한 수요를 만든다. 결국 인프라 설계는 사용자 경험까지 영향을 미친다.

이번 사안은 새로운 메모리 제품 발표가 아니다. 이는 AI 시장 전반에서 사용되는 성능 기준을 재정의하려는 시도다. SK hynix는 메모리 배치와 데이터 이동이 최우선 설계 결정으로 다뤄지기를 원한다.

추론은 컨텍스트를 메모리 문제로 바꾼다

추론 중심으로의 전환은 저장된 컨텍스트를 수동적인 애플리케이션 이력이 아니라 능동적인 성능 비용으로 만든다.

대규모 언어 모델은 응답을 순차적으로 생성한다. 새 토큰은 이전 토큰과 연관된 정보에 의존하므로, 시스템은 답변을 생성하는 동안 이전 컨텍스트를 계속 다시 참조한다.

Transformer는 일반적으로 KV 캐시라고 부르는 키-값 캐시를 통해 이전의 모든 계산을 반복하지 않는다. 이는 모델이 생성 과정에서 재사용할 수 있도록 이전 토큰의 어텐션 데이터를 저장한다.

캐시는 연산을 줄여 주지만 메모리를 소비한다. 그 크기는 시퀀스 길이, 모델 구조, 정밀도, 배치 크기, 동시 요청 수에 따라 커진다. 따라서 긴 컨텍스트는 반복 계산을 줄이는 대신 더 큰 저장 공간과 데이터 전송 요구 사항을 초래한다.

SK hynix는 눈에 띄는 사례를 제시한다. 이 회사의 글에 따르면, 16비트 정밀도로 저장한 700억 매개변수 모델은 가중치에 약 140GB가 필요하다. 일부 긴 컨텍스트 환경에서는 KV 캐시에 이보다 더 많은 메모리가 필요할 수 있다.

이 비교를 보편적인 용량 공식으로 받아들여서는 안 된다. 실제 KV 캐시 요구량은 모델 아키텍처와 서빙 구성에 크게 좌우된다. grouped-query attention 같은 기법은 결과를 상당히 바꿀 수 있다.

그럼에도 그 메커니즘은 확립돼 있다. 활성 요청마다 가속기 메모리의 가변적인 용량을 예약할 수 있으며, 이 할당은 요청이 지속되는 동안 유지된다. 오래 실행되는 에이전트는 이 예약의 지속 시간을 특히 중요한 요소로 만든다.

여러 문서를 다루는 리서치 에이전트를 생각해 보자. 이 에이전트는 소스를 읽고, 지침을 유지하며, 쿼리를 생성하고, 도구 출력을 받은 뒤, 최종 응답을 작성한다. 사용자가 보는 답변은 짧을 수 있지만 실행 과정은 훨씬 길 수 있다.

고객 지원 에이전트도 비슷한 패턴에 직면한다. 계정 이력을 조회하고, 정책 문서를 검토하고, 청구 서비스를 호출하고, 여러 가능한 해결책을 비교할 수 있다. 각 작업은 컨텍스트를 추가하거나 새로운 데이터를 요구한다.

이러한 워크로드는 두 가지 연관된 제약을 만든다. 용량은 메모리에 동시에 들어갈 수 있는 활성 요청 수를 결정한다. 대역폭은 생성되는 각 토큰에 필요한 정보를 모델이 얼마나 빠르게 가져올 수 있는지를 결정한다.

메모리 용량이 부족하면 운영자는 배치 크기를 줄이거나, 컨텍스트를 줄이거나, 모델을 더 많은 가속기에 분산하거나, 더 느린 메모리 계층을 통해 데이터를 이동해야 한다. 각각의 선택은 비용, 지연 시간, 또는 출력 품질을 바꾼다.

대역폭이 부족하면 연산 유닛은 가중치나 캐시된 상태를 기다리게 된다. 동일하게 제약된 데이터 경로 안에서 연산 용량만 늘리면 기대에 못 미치는 향상에 그칠 수 있다.

토큰별 디코딩 과정에서는 각 단계가 모델 데이터를 다시 참조하기 전에 제한된 작업만 수행하기 때문에 압박이 커진다. 이러한 동작은 대규모 학습 배치에 비해 로드된 정보를 재사용할 기회를 더 적게 제공하는 경우가 많다.

Agentic AI는 수요 예측도 어렵게 만든다. 어떤 요청은 한 번의 응답으로 끝나는 반면, 다른 요청은 많은 도구를 실행하고 수 분간 계속될 수 있다. 이런 변동성 아래에서 정적인 메모리 할당은 용량을 낭비한다.

이 때문에 추론 최적화는 시스템 분야가 됐다. 모델 아키텍처, 서빙 소프트웨어, 메모리 계층, 스케줄링, 요청 설계는 모두 동일한 사용자 체감 지연 시간에 영향을 준다.

기업 구매자에게 이 의미는 칩 선택을 넘어선다. AI 서비스는 검색된 문서, 모델 상태, 사용자 컨텍스트, 도구 결과를 효율적으로 이동시켜야 한다. 가속기 메모리 성능이 좋아도 느린 스토리지나 네트워킹은 여전히 눈에 띌 수 있다.

검색 가능한 지식 베이스는 애플리케이션 수준의 의존성을 보여준다. 문서 검색, 인덱싱, 또는 컨텍스트 조립이 모든 답변을 지연시킨다면 빠른 생성은 큰 가치를 제공하지 못한다.

따라서 AI 메모리 병목은 단일 구성 요소의 장애가 아니다. 가장 느린 중요 전송 하나가 전체 요청을 제한할 수 있는 연쇄 구조다.

Hynix Newsroom의 논지는 데이터 이동에 관한 것이다

Hynix Newsroom의 주장은 GPU가 중요하지 않게 됐다고 말하지 않으면서도, 10년간 이어진 컴퓨팅 우선 사고방식을 뒤집는다.

지적 기반은 메모리 월, 즉 프로세서와 이를 공급하는 메모리 시스템 사이에서 커지는 성능 격차다. William Wulf와 Sally McKee는 1990년대에 이 문제에 지금까지 이어지는 이름을 붙였다.

두 사람이 쓴 메모리 월 논문은 빠르게 개선되는 프로세서 성능과 훨씬 느리게 개선되는 DRAM 접근 성능을 비교했다. 이 논문은 메모리 지연 시간이 더 빠른 프로세서가 만들어 낸 성능 향상을 압도할 수 있다고 경고했다.

SK hynix는 프로세서 성능은 연간 약 60%, DRAM 접근 속도는 약 7%의 역사적 연간 개선률을 보였다고 인용한다. 이 수치는 현재의 연간 전망이 아니라 해당 논문의 역사적 맥락을 설명한다.

현대 하드웨어는 더 큰 캐시, 프리페칭, 병렬 메모리 채널, 적층 메모리, 첨단 패키징, 더 빠른 인터커넥트를 통해 이 격차에 대응해 왔다. 소프트웨어 역시 데이터 처리 방식을 재구성해 지역성을 개선했다.

그럼에도 AI는 이 오래된 문제를 증폭한다. 대규모 모델은 방대한 가중치, 활성화 값, 임시 상태를 포함한다. 긴 컨텍스트 추론은 사용자가 대화형 응답 시간을 기대하는 동안 이 정보의 일부에 반복적으로 접근한다.

따라서 핵심 경쟁은 컴퓨팅 우선 확장과 데이터를 고려한 시스템 설계 사이에 있다. 전자는 더 많은 가속기와 더 높은 최고 연산 처리량을 우선시한다. 후자는 실제 데이터 경로를 중심으로 컴퓨팅, 메모리, 소프트웨어, 스토리지, 네트워킹을 조율한다.

두 접근은 상호 배타적이지 않다. 유용한 모든 AI 시스템에는 컴퓨팅이 필요하며, 고대역폭 메모리는 일반적으로 가속기 옆에 배치된다. 갈등은 다음 단위의 엔지니어링 노력과 자본이 어느 제약에 투입돼야 하는지에 관한 것이다.

운영자는 가속기를 추가할 수 있지만, 이 장치들은 모델 상태와 요청 트래픽을 공유하면서 통신해야 한다. 모델을 분산하면 하나의 병목이 다른 병목으로 대체되는 인터커넥트 전송이 생길 수도 있다.

칩 설계자는 연산 유닛을 추가할 수 있지만, 패키지는 이를 공급할 충분한 대역폭을 갖춰야 한다. 더 높은 메모리 대역폭에는 더 많은 HBM 스택, 더 넓은 인터페이스, 추가 전력, 또는 더 복잡한 패키징이 필요할 수 있다.

모델 개발자는 컨텍스트 윈도우를 확장할 수 있지만, 서빙 인프라가 확장된 캐시를 효율적으로 처리할 때에만 사용자가 혜택을 얻는다. 광고된 컨텍스트 길이와 감당 가능한 동시 사용은 동일한 성취가 아니다.

이 변화는 압박을 받는 주체를 바꾼다. 가속기 공급업체는 고립된 연산 블록이 아니라 완전한 시스템의 결과를 제시해야 한다. 클라우드 제공업체는 현실적인 요청 패턴에서 유용한 성능을 보여줘야 한다.

메모리 공급업체도 더 빠른 부품을 출하하는 것만으로는 충분하지 않다. 물리적 근접성만으로는 효율적인 실행이 보장되지 않기 때문에 프로세서, 패키징, 소프트웨어, 데이터센터 팀과 협력해야 한다.

개발자 역시 부담의 일부를 진다. 부실한 요청 스케줄링, 과도한 컨텍스트, 비효율적인 검색, 불필요한 에이전트 루프는 더 나은 하드웨어로도 완전히 감출 수 없는 데이터 이동을 만들 수 있다.

AI 가속기는 고가의 자산이기 때문에 상업적 이해관계도 막대하다. 이러한 장치가 데이터를 기다리면 활용률이 떨어지고, 낮은 활용률은 생성되는 모든 토큰의 인프라 비용을 높인다.

에너지도 같은 압박을 강화한다. 계층 구조 전반에서 데이터를 이동시키는 데는 에너지가 들고, 유휴 컴퓨팅 자원도 여전히 비용이 큰 인프라를 차지한다. 데이터 경로를 단축하면 성능과 효율을 함께 개선할 수 있다.

하지만 단일 활용률 수치로 시장 전체를 설명할 수는 없다. 결과는 모델, 시퀀스 길이, 배치 크기, 데이터 유형, 스케줄러, 하드웨어에 따라 달라진다. 벤더 벤치마크는 특정 아키텍처에 유리한 조건을 선택하는 경우가 많다.

그렇기 때문에 구매자는 자신의 워크로드와 연결된 측정값이 필요하다. 대규모 리포지토리를 다루는 코딩 에이전트는 짧은 챗봇 대화와 다르다. 이미지 생성은 검색 비중이 높은 문서 분석과도 다르다.

Hynix Newsroom의 논지는 측정 방식의 보정으로 해석할 때 가장 설득력이 크다. 피크 컴퓨팅 성능은 여전히 필요하지만, 더 이상 실제로 제공되는 AI 성능을 충분히 대변하는 지표는 아니다.

소프트웨어는 메모리를 더 효율적으로 쓸 수 있지만, 장벽을 없앨 수는 없다

소프트웨어는 불필요한 전송과 낭비되는 용량을 줄일 수 있지만, 모든 기법에는 워크로드별 한계가 따른다.

FlashAttention은 모델의 수학적 출력은 바꾸지 않으면서 데이터 이동 방식을 바꿔 얼마나 큰 개선을 이끌어낼 수 있는지 보여준다. 이 기술은 어텐션 연산을 빠른 온칩 SRAM에 더 효과적으로 들어가는 타일로 나눈다.

원본 FlashAttention 연구는 이 알고리즘을 입력과 출력을 인식하는 방식으로 설명한다. 단순히 산술 연산 수를 줄이는 것이 아니라 고대역폭 메모리와 SRAM 사이의 읽기·쓰기 횟수를 줄인다.

이 차이는 SK hynix의 더 큰 논지를 뒷받침한다. 이 알고리즘은 메모리 계층 구조를 고려해 어텐션을 가속한다. 같은 가속기에서도 더 적은 데이터를 이동시키는 것만으로 실행 속도가 빨라질 수 있다.

PagedAttention은 다른 문제를 다룬다. 요청이 시작되고, 확장되고, 종료되거나 분기되면서 KV 캐시 할당량도 바뀐다. 예측하기 어려운 요청 길이를 위해 연속 메모리를 예약하면 단편화가 발생하고 고가의 용량이 유휴 상태로 남을 수 있다.

PagedAttention 연구는 KV 캐시 관리에 가상 메모리 개념을 적용한다. 해당 vLLM 구현은 비슷한 지연 시간에서 평가 대상 서빙 시스템보다 처리량이 2배에서 4배 높았다고 보고했다.

이 결과는 연구에서 수행한 특정 테스트에 해당하며, 이후 시스템들은 대안적인 할당 방식을 개발해 왔다. 그럼에도 추가 가속기 없이도 메모리 관리가 서빙 경제성을 크게 바꿀 수 있는 이유를 보여준다.

양자화는 또 다른 경로를 택한다. 가중치, 활성화 값 또는 캐시된 상태를 더 적은 비트로 표현한다. 값을 16비트에서 8비트나 4비트로 줄이면 메모리 요구량과 전송 데이터량이 감소한다.

그 대가는 정밀도다. 일부 모델은 강도 높은 양자화를 잘 견디지만, 다른 모델은 정확도가 떨어지거나 신중한 보정이 필요하다. 특수 형식 역시 이론적 절감 효과가 실용화되기 전에 하드웨어와 소프트웨어 지원이 필요하다.

추측 디코딩은 더 작은 모델이 여러 토큰을 제안하고, 더 큰 모델이 이를 한꺼번에 검증하도록 한다. 제안이 성공하면 비용이 높은 순차 디코딩 단계의 수를 줄일 수 있다.

그 효과는 수용률과 워크로드 동작에 따라 달라진다. 부실한 제안은 그에 상응하는 진전 없이 작업만 늘린다. 보조 모델도 자체적인 자원과 조정이 필요하다.

모델 아키텍처는 더 근본적으로 부담을 줄일 수 있다. Grouped-query attention은 어텐션 헤드 간에 키와 값 표현을 공유해 기존 multi-head attention보다 KV 캐시를 축소한다.

검색 전략 역시 가능한 모든 문서를 프롬프트에 넣지 않도록 할 수 있다. 잘 설계된 시스템은 집중된 일부만 검색해 컨텍스트 길이와 관련 없는 처리를 줄인다.

하지만 검색은 또 다른 데이터 경로를 만든다. 생성 전에 문서를 인덱싱하고, 검색하고, 선택하고, 전달해야 한다. 애플리케이션은 병목을 가속기 메모리에서 스토리지, 네트워킹 또는 검색 소프트웨어로 옮길 수 있다.

에이전트 개발자도 비슷한 선택에 직면한다. 모든 도구 출력을 활성 프롬프트에 유지하면 컨텍스트는 보존되지만 캐시 증가량도 커진다. 상태를 요약하거나 외부화하면 메모리는 절약되지만 세부 정보가 사라질 위험이 있다.

개인 지식 베이스는 지속적으로 보존해야 할 정보를 모델의 즉각적인 컨텍스트 밖에 둘 수 있다. 애플리케이션은 필요한 순간에 관련 자료를 다시 가져오기 위해 여전히 체계적인 검색이 필요하다.

SK hynix는 일부 압축 기법이 이론적 한계에 가까워지고 있다고 주장한다. 이는 특히 제안된 다음 단계가 새로운 메모리 제품과 아키텍처에 유리하다는 점에서 회사의 이해관계와 맞닿은 해석이다.

소프트웨어의 발전은 반복적으로 기대를 뛰어넘어 왔으므로 종점을 선언하기에는 이르다. 더 나은 모델, 희소 연산, 개선된 스케줄러, 캐시 재사용, 요청 라우팅은 여전히 메모리 트래픽을 줄일 수 있다.

소프트웨어와 하드웨어 사이에는 고정된 경계도 없다. FlashAttention이 작동하는 이유는 소프트웨어가 메모리 계층 구조를 이해하기 때문이다. 양자화 형식은 가속기가 이를 효율적으로 실행할 때 더 유용해진다.

가장 신뢰할 수 있는 결론은 소프트웨어 최적화가 끝났다는 것이 아니다. 미래의 성과는 알고리즘과 하드웨어를 동일한 데이터 이동 제약에 맞춰 개발하는 공동 설계를 요구한다는 점이다.

HBM, CXL, HBF, PIM은 서로 다른 해답을 제시한다

용량, 대역폭, 지연 시간, 비용을 모두 동시에 극대화할 수 없기 때문에 하드웨어 대응은 여러 메모리 계층으로 분화되고 있다.

고대역폭 메모리인 HBM은 DRAM 다이를 수직으로 쌓아 가속기 가까이에 배치한다. TSV(through-silicon vias)가 다이들을 연결해 대량의 데이터를 이동시킬 수 있는 넓은 인터페이스를 만든다.

HBM은 대역폭과 거리를 공략하지만 모든 제약을 없애지는 못한다. 용량은 여전히 제한적이고, 패키징은 복잡하며, 첨단 스택은 제조 자원을 두고 경쟁한다.

그럼에도 이 기술은 현대 가속기의 핵심이 됐다. AMD는 자사의 MI350 accelerator에 대해 HBM3E 용량 288 GB와 초당 최대 8 TB의 대역폭을 제시한다.

이 사양은 독립적인 워크로드 결과가 아니라 벤더의 주장이다. 동시에 경쟁의 방향도 보여준다. 가속기 설계업체들은 이제 산술 성능과 함께 메모리 용량과 대역폭을 홍보한다.

따라서 Nvidia, AMD, 맞춤형 가속기 개발업체들은 완성된 패키지 단위로 경쟁한다. 관련 제품에는 컴퓨팅 다이, HBM, 인터커넥트, 네트워킹, 소프트웨어 라이브러리, 시스템 수준 확장이 포함된다.

Samsung Electronics, Micron, SK hynix도 첨단 메모리에서 관련된 경쟁에 직면해 있다. 검증된 HBM 제품을 공급할 수 있는 능력은 가속기 가용성, 패키징 일정, 시스템 설계 선택에 영향을 미친다.

SK hynix는 High Bandwidth Flash, 즉 HBF도 강조한다. 이 개념은 NAND 플래시를 사용해 HBM보다 큰 용량을 제공하면서 기존 스토리지보다 훨씬 높은 대역폭을 목표로 한다.

HBF는 HBM에 경제적으로 담기지 않는 대규모 모델 가중치나 캐시 데이터를 처리하는 데 도움이 될 수 있다. 다만 이는 성숙한 가속기 메모리를 검증된 방식으로 대체하기보다는 아직 개발 중인 접근법이다.

플래시 메모리는 DRAM과 지연 시간, 내구성, 접근 특성이 다르다. 따라서 비슷한 대역폭에 대한 주장은 특정 시스템 설계와 워크로드 안에서 평가해야 한다.

Compute Express Link, 즉 CXL은 자원 공유를 다룬다. 프로세서, 메모리 장치, 가속기 간에 일관성 있는 연결을 제공해 시스템이 메모리를 확장하거나 풀링할 수 있게 한다.

CXL 메모리 표준은 2.0 버전에서 스위칭과 메모리 풀링을 도입했다. 풀링은 워크로드가 필요한 곳에 용량을 제공함으로써 활용률을 개선할 수 있다.

CXL은 가속기 패키지에 위치한 메모리와 비교해 거리도 늘린다. 확장된 용량은 가치가 있지만, 계층마다 접근 지연 시간과 대역폭은 다르다.

이러한 상충 관계 때문에 배치 정책이 중요하다. 자주 접근하는 데이터는 컴퓨팅 자원 가까이에 있어야 하고, 덜 자주 쓰는 데이터는 더 크고 느린 풀에 둘 수 있다. 소프트웨어는 무엇을, 언제, 어디로 이동시키고 어디에 유지할지 결정해야 한다.

PIM(Processing-in-memory)은 반대의 물리적 접근법을 취한다. 일부 연산을 메모리 가까이 또는 메모리 내부에 배치해 데이터를 별도 프로세서로 다시 전송해야 할 필요성을 줄인다.

PIM은 복잡한 제어보다 데이터 이동이 지배적인 연산에 매력적이다. 채택을 위해서는 적절한 프로그래밍 모델, 유용한 워크로드, 제조 지원, 기존 소프트웨어와의 통합이 필요하다.

이 기술들 가운데 어느 하나도 독자적으로 AI 메모리 병목을 해결하지는 못한다. HBM은 로컬 대역폭을 개선하고, HBF는 새로운 용량 계층을 겨냥하며, CXL은 공유를 확장하고, PIM은 일부 전송을 줄인다.

새롭게 떠오르는 아키텍처는 관리되는 계층 구조에 가깝다. 작고 빠른 캐시는 컴퓨팅 자원에 가장 가깝게 위치한다. HBM은 활성 가중치와 상태를 보관한다. 다른 메모리와 스토리지 계층은 더 먼 거리에서 확장 가능한 용량을 제공한다.

성패는 적절한 데이터를 적절한 계층에 유지하는 데 달려 있다. 마이그레이션 오버헤드가 절약된 용량을 압도한다면 큰 메모리 풀은 거의 이점이 없다. 소프트웨어가 피할 수 있는 전송을 유발하면 빠른 HBM도 기대에 미치지 못한다.

이것이 SK hynix의 논지가 만드는 핵심 압박이다. 공급업체들은 더 이상 개별 부품을 고립된 상태로 최적화할 수 없다. 제품은 패키지, 서버, 랙, 소프트웨어 프레임워크 전반에서 함께 작동해야 한다.

경쟁 우위는 단일 사양이 아니라 통합에서 나올 가능성이 크다. 가속기 설계, 메모리 배치, 인터커넥트 동작, 서빙 소프트웨어를 조율하는 벤더는 부품을 지속적인 애플리케이션 성능으로 전환할 수 있다.

데이터 우선 논리가 아직 입증해야 할 것

다음 시험대는 메모리 중심 설계가 다양한 AI 워크로드 전반에서 더 나은 운영 경제성을 제공하는지 여부다.

첫 번째로 지켜볼 신호는 독립적인 추론 벤치마킹이다. 결과에는 단일한 유리한 구성 대신 긴 컨텍스트, 동시 요청, 에이전트 루프, 혼합된 프롬프트 길이가 포함돼야 한다.

그러한 조건에서 더 높은 메모리 대역폭이 일관되게 초당 토큰 수와 지연 시간을 개선한다면 SK hynix의 논지는 힘을 얻는다. 개선 폭이 작다면 컴퓨팅 또는 소프트웨어가 여전히 지배적인 한계라는 뜻일 수 있다.

벤치마크 보고서에는 전력과 활용률 측정값도 필요하다. 훨씬 많은 에너지를 소비하면서 더 많은 토큰을 생성하는 시스템이 반드시 배포 경제성을 개선한 것은 아니다.

두 번째 신호는 새로운 메모리 계층의 채택이다. HBM 수요는 이미 대역폭의 중요성을 보여주지만, HBF, 풀링된 CXL 메모리, PIM은 더 어려운 통합 문제에 직면해 있다.

실제 운영 배포는 이러한 기술이 시연을 넘어 고객 문제를 해결하는지 검증할 것이다. 반복되는 지연, 제한적인 사용 사례, 부실한 소프트웨어 지원은 아키텍처가 빠르게 전환되고 있다는 주장을 약화시킬 것이다.

세 번째 신호는 소프트웨어 효율성의 다음 물결이다. 새로운 어텐션 알고리즘, 캐시 압축, 상태 재사용, 희소 모델, 스케줄링 방식은 하드웨어가 부담을 떠안기 전에 데이터 이동을 줄일 수 있다.

강력한 소프트웨어 개선이 메모리 장벽을 반증하는 것은 아니다. 하지만 구매자가 어디에 비용을 써야 하는지 바꾸고, 새 하드웨어가 필요한 시점을 늦출 수는 있다.

SK hynix는 자사의 상업적 위치와 연결된 주장에 대해서도 독립적인 근거를 제시해야 한다. 인프라 계획에서 메모리에 더 큰 예산과 전략적 역할이 부여될수록 이 회사는 이익을 얻는다.

따라서 이 논지는 HBM 공급업체에 유리하지 않은 워크로드를 기준으로도 검증돼야 한다. 소형 모델, 짧은 프롬프트, 엣지 배포, 고도로 최적화된 추론 시스템은 서로 다른 제약을 만들어낼 수 있다.

“컴퓨팅이 아니라 데이터”라는 표현은 낡은 전제를 깨뜨린다는 점에서 유용하다. 그러나 이를 문자 그대로 받아들이면 잘못된 이분법이 만들어진다. AI 시스템에는 둘 다 필요하며, 엔지니어가 각 계층을 개선함에 따라 병목 지점도 이동한다.

더 빠른 메모리를 도입한 애플리케이션은 컴퓨팅 제약에 부딪힐 수 있다. 더 빠른 가속기는 네트워킹 제약을 드러낼 수 있다. 네트워킹이 개선되면 느린 스토리지나 비효율적인 검색이 문제로 나타날 수 있다.

지속적으로 유효한 교훈은 전체 요청 경로를 측정해야 한다는 것이다. 팀은 데이터가 어디에 존재하는지, 얼마나 자주 이동하는지, 프로세서가 얼마나 오래 대기하는지, 어떤 전송이 에너지 사용량의 대부분을 차지하는지를 추적해야 한다.

개발자에게 이는 컨텍스트를 관리되는 자원으로 다뤄야 한다는 뜻이다. 프롬프트, 검색된 문서, 도구 출력, 에이전트 이력은 모두 단순한 API 호출 뒤에 숨겨진 인프라 비용을 수반한다.

기업 구매자에게 이는 플랫폼 도입을 확정하기 전에 실제 애플리케이션을 테스트해야 한다는 의미다. 가속기의 최고 사양만으로는 모든 모델, 컨텍스트 길이, 동시성 패턴에서의 성능을 예측할 수 없다.

칩 및 클라우드 제공업체에게 이는 더욱 투명한 시스템 결과를 공개해야 한다는 뜻이다. 고객에게는 메모리 설계를 지연 시간, 처리량, 활용률, 전력과 연결하는 재현 가능한 측정 결과가 필요하다.

Hynix Newsroom의 분석은 AI 경쟁이 연산 처리량을 넘어 확장되고 있다는 방향을 정확히 짚었다. 다만 데이터 인식 시스템이 공급업체가 통제하는 시연 밖에서도 재현 가능한 성능 향상을 제공할 때, 그 주장은 가장 강하게 입증될 것이다.

이제 실질적인 질문은 측정할 수 있다. AI 워크로드는 어디에서 시간을 쓰는가? 연산에 쓰는가, 메모리를 기다리는가, 외부 데이터를 검색하는가, 아니면 계층 간 상태를 이동하는가? 또 다른 가속기를 구매하기 전에 이 질문에 답해야 한다.