Memória zHBM da Samsung mira velocidade de resposta de IA 10 vezes maior, mas a arquitetura ainda enfrenta um teste térmico

A Samsung afirma que sua arquitetura de memória zHBM pode ajudar a elevar as taxas de resposta de IA agêntica de cerca de 100 para 1.000 tokens por segundo por usuário. A meta de dez vezes soa como um benchmark de chip, mas é mais bem entendida como uma ambição em nível de sistema. A Samsung propõe uma relação física diferente entre a memória e o acelerador de IA.

O projeto coloca a memória de alta largura de banda diretamente sobre um acelerador, em vez de ao lado dele em um interposer. Essa conexão mais curta deve reduzir a distância percorrida pelos pesos do modelo e pelos dados intermediários. Também cria um difícil problema térmico, pois o calor do processador precisa atravessar a estrutura de memória.

Essa distinção molda a verdadeira história. A Samsung não está anunciando um chip de produção que, por si só, entregue IA dez vezes mais rápida. Ela argumenta que o empacotamento HBM convencional, lado a lado, não sustentará as taxas de resposta exigidas por agentes de IA mais sofisticados. A SK hynix ataca o mesmo gargalo de movimentação de dados por meio de processamento na memória e outras camadas de memória, criando uma disputa entre respostas arquiteturais concorrentes.

A Meta de 10 Vezes da Samsung É um Objetivo de Sistema, Não um Benchmark de Chip

O ganho de dez vezes divulgado descreve a meta da Samsung para a velocidade de resposta de IA, enquanto sua estimativa publicada de hardware zHBM é menor e mais específica.

Kim In-dong, executivo de planejamento de produtos de memória da Samsung, apresentou a posição da empresa no AI Infra Summit, em Santa Clara, em 16 de setembro de 2026. Segundo a reportagem sobre velocidade de resposta, Kim situou a IA conversacional atual perto de 100 tokens por segundo por usuário. A Samsung quer que sistemas agênticos alcancem 1.000 tokens por segundo.

Um token é uma pequena unidade de texto processada por um modelo de IA. Tokens por segundo mede a rapidez com que um sistema produz ou processa essas unidades, mas a métrica depende de toda a pilha computacional. O modelo, o tamanho do lote, o acelerador, a capacidade de memória, a rede, o software e a configuração de atendimento influenciam o resultado.

Portanto, a afirmação da Samsung não significa que um componente zHBM torne automaticamente todos os modelos dez vezes mais rápidos. Ela descreve o desempenho de serviço que a Samsung acredita que futuras integrações de memória e processador precisarão suportar. Nenhum benchmark público independente conectou um protótipo zHBM a uma carga de trabalho agêntica completa a 1.000 tokens por segundo por usuário.

Os materiais de produto separados da Samsung fornecem comparações mais restritas. Seu anúncio de memória 3D afirma que uma interface de próxima geração usando zHBM deve entregar cerca de oito vezes o desempenho da HBM5. A empresa também projeta mais de dez vezes a densidade de memória da HBM5, três vezes a eficiência energética e mais de 50% menos resistência térmica.

Esses números tratam de propriedades diferentes. Desempenho refere-se à rapidez com que o sistema pode mover e processar dados. Densidade refere-se à quantidade de memória que cabe em uma área ou pacote. Eficiência energética compara o trabalho útil com a energia consumida. Resistência térmica mede o quanto uma estrutura impede o fluxo de calor.

Combinar os números em uma alegação de “chip 10 vezes mais rápido” apagaria essas diferenças. A própria Samsung usa aproximadamente oito vezes para o desempenho da interface e mais de dez vezes para a densidade. A meta de 1.000 tokens pertence a uma alegação mais ampla sobre a capacidade de resposta de futuros serviços de IA.

Essa lacuna não torna a proposta irrelevante. Ela identifica a distância entre uma arquitetura em nível de conceito e um resultado em nível de aplicação. A Samsung precisa conectar esses dois níveis por meio de silício funcional, pacotes validados, otimização de software e implantações por clientes.

O evento também acrescenta detalhes a um conceito que a Samsung apresentou no Future of Memory and Storage, em agosto de 2026. Na ocasião, a empresa exibiu modelos conceituais de zHBM e zNAND-O ao lado de seu roteiro para HBM4E, HBM5, processamento na memória e armazenamento empresarial. A apresentação de setembro reposicionou a zHBM em torno de uma experiência de usuário mensurável: respostas mais rápidas de agentes de IA.

A IA agêntica impõe exigências maiores à memória do que uma simples troca com um chatbot. Um agente pode planejar etapas, chamar ferramentas, revisitar contexto armazenado e coordenar várias operações de modelo antes de responder. Aritmética mais rápida, por si só, não elimina os atrasos criados quando um acelerador espera repetidamente por dados.

A Samsung aposta que o próximo grande ganho de desempenho exigirá mudar o pacote, e não apenas elevar a taxa de dados de outra geração de HBM. É por isso que a memória zHBM da Samsung importa mesmo antes de seus números ambiciosos receberem validação independente.

A Parede de Memória Está se Tornando um Problema de Tempo de Resposta de IA

Aceleradores de IA perdem valor quando suas unidades de computação aguardam dados do modelo, tornando a movimentação de memória parte do tempo de resposta percebido pelo usuário.

Um acelerador moderno pode executar enormes quantidades de cálculos, mas não pode usar pesos que ainda não chegaram às suas unidades de computação. Modelos grandes movimentam continuamente parâmetros, ativações e dados de atenção em cache entre a memória e os núcleos de processamento. Quando essa movimentação não acompanha o ritmo, a capacidade aritmética adicional permanece ociosa.

Essa limitação é comumente chamada de parede de memória. O desempenho dos processadores aumentou mais rápido do que a capacidade do sistema de fornecer dados com velocidade e eficiência comparáveis. A HBM resolve parte desse problema ao empilhar matrizes de DRAM e conectá-las por meio de muitos caminhos de dados paralelos.

Os sistemas HBM atuais geralmente colocam várias pilhas de memória ao lado de uma GPU ou outro acelerador em um interposer de silício. Esse arranjo 2.5D oferece muito mais largura de banda do que módulos de memória convencionais. No entanto, os dados ainda cruzam o interposer entre pacotes separados.

A memória zHBM da Samsung elimina grande parte desse percurso horizontal. Ela coloca a estrutura HBM sobre o acelerador e usa conexões verticais densas entre as camadas. A ligação híbrida de cobre une contatos de cobre diretamente, permitindo mais conexões em uma área menor do que muitos métodos tradicionais de empacotamento.

A empresa também descreve um projeto de entrada e saída distribuídas. Em vez de forçar maior largura de banda principalmente por meio de sinalização mais rápida em cada pino, a arquitetura aumenta o paralelismo entre muitas conexões curtas. Essa abordagem pode reduzir a energia gasta para movimentar cada bit.

Isso importa porque a movimentação de dados consome energia que não pode ser usada para computação. Ela também gera calor e aumenta a infraestrutura necessária para resfriar um servidor. Conexões mais eficientes podem melhorar o desempenho por watt mesmo quando as unidades aritméticas subjacentes do acelerador permanecem inalteradas.

A Samsung argumenta que a zHBM suporta propriedade intelectual personalizada na camada entre o processador e a memória. Isso poderia permitir que um projetista de aceleradores adaptasse o controle de memória, as interfaces ou outras funções a uma carga de trabalho específica. Também significa que o produto não pode ser tratado como uma pilha de memória padronizada que os clientes simplesmente acoplam no fim do desenvolvimento.

O acelerador e o pacote zHBM precisariam de trabalho conjunto de projeto desde uma fase inicial. Fornecimento de energia, dimensões físicas, caminhos de dados, aspectos térmicos e lógica de controle precisam se encaixar. A explicação da arquitetura da Samsung afirma explicitamente que a zHBM não pode ser totalmente otimizada como um produto de memória independente.

Essa exigência altera as apostas comerciais. Fornecedores de memória tradicionalmente competem por capacidade, largura de banda, confiabilidade e execução de fabricação. Um pacote integrado verticalmente os leva mais fundo na arquitetura do sistema e mais próximos do roteiro do projetista de aceleradores.

Os clientes também enfrentam custos de compromisso mais altos. Escolher uma geração HBM convencional já exige qualificação e planejamento de pacote. Escolher zHBM influenciaria o próprio projeto do acelerador, tornando a compatibilidade e os relacionamentos de fornecimento de longo prazo mais importantes.

A Samsung tem uma razão estratégica para promover esse modelo de integração. A empresa atua em memória, fabricação por fundição, projeto lógico e empacotamento avançado. Um produto que necessita dessas capacidades em conjunto cria uma oportunidade para vender mais do que matrizes de DRAM.

Isso também pressiona rotas de empacotamento estabelecidas. A tecnologia CoWoS da TSMC tornou-se central para combinar processadores de IA com pilhas HBM adjacentes. A TSMC desenvolve separadamente a tecnologia SoIC para integração tridimensional de alta densidade, portanto a Samsung não detém o movimento mais amplo em direção a conexões verticais entre chips.

A questão é qual forma de integração chegará à produção confiável na escala necessária. A HBM convencional tem uma base de fornecedores existente, interfaces estabelecidas e práticas de fabricação conhecidas. A zHBM oferece um caminho mais curto entre computação e memória, mas pede aos clientes que aceitem um acoplamento muito mais estreito.

Para desenvolvedores de IA e compradores empresariais, esse debate sobre empacotamento pode parecer distante do comportamento do modelo. Seus efeitos apareceriam na latência de resposta, no número de usuários simultâneos que um servidor atende, no consumo de energia e no maior modelo que cabe em um sistema.

Um agente mais rápido que conclui várias chamadas de ferramentas sem longas pausas teria uma sensação diferente de um chatbot que apenas produz texto mais rapidamente. A meta de 1.000 tokens da Samsung pretende conectar a arquitetura de semicondutores a essa experiência. A empresa ainda precisa mostrar quais cargas de trabalho se beneficiam, sob quais condições e a qual custo de sistema.

Memória zHBM da Samsung Versus HBM5 É uma Aposta Arquitetural

A disputa definidora não é a Samsung contra um fornecedor de memória; é a integração vertical entre processador e memória contra a continuidade da escalabilidade lado a lado.

A HBM5 representa o caminho evolutivo. Ela pode melhorar a sinalização, a capacidade, o gerenciamento de energia e a construção das pilhas, mantendo uma relação reconhecível entre o processador e a memória próxima. Esse caminho permite que o setor reutilize grande parte de seu modelo atual de empacotamento.

A memória zHBM da Samsung adota uma abordagem diferente. Ela trata o posicionamento físico como o fator limitante e move a memória para cima do acelerador. Conexões mais curtas e densas oferecem um caminho para maior largura de banda sem depender inteiramente de sinais mais rápidos atravessando um pacote mais amplo.

As duas rotas criam prioridades de engenharia diferentes.

Conexão física

• HBM5 convencional: A memória fica ao lado do acelerador e se comunica através de um interposer.

• zHBM da Samsung: A memória fica sobre o acelerador e usa conexões verticais densas.

Flexibilidade de projeto

• HBM5 convencional: O desenvolvimento do acelerador e da memória permanece mais modular.

• zHBM da Samsung: O processador, a memória, a camada intermediária, o sistema de energia e a estratégia de resfriamento exigem coordenação antecipada.

Movimentação de dados

• HBM5 convencional: Velocidades de interface mais altas e sistemas mais amplos continuam elevando a largura de banda.

• zHBM da Samsung: Mais caminhos verticais curtos aumentam o paralelismo enquanto reduzem a distância de deslocamento.

Risco de fabricação

• HBM5 convencional: O setor amplia processos que clientes e fornecedores já entendem.

• zHBM da Samsung: Ligação de wafers, alinhamento, testes, gestão de rendimento e controle térmico tornam-se mais estreitamente interligados.

Modelo de atualização

• HBM5 convencional: Os clientes podem qualificar memórias mais novas dentro de uma arquitetura de pacote familiar.

• zHBM da Samsung: Cada programa de acelerador pode exigir um projeto de integração mais personalizado.

A atração da rota vertical fica mais clara à medida que os pacotes crescem. Colocar mais pilhas de HBM ao redor de um acelerador aumenta a área do interposer e complica o roteamento. Pacotes grandes também enfrentam restrições de fabricação, fornecimento de energia e mecânica.

Mover a memória para cima pode reduzir a área ocupada horizontalmente. Mais memória poderia ficar próxima ao processador sem expandir ainda mais o pacote. A Samsung projeta mais de dez vezes a densidade de memória do HBM5, embora esse número continue sendo uma estimativa da empresa vinculada a uma arquitetura conceitual.

O mesmo movimento também reduz a modularidade. Um problema em uma camada unida pode afetar o valor de todo o conjunto. Testar a memória antes e depois da união torna-se essencial, pois descartar um pacote contendo um acelerador caro seria custoso.

Esse é um dos motivos pelos quais o rendimento importa tanto quanto o desempenho máximo. O rendimento mede a proporção de componentes fabricados que atendem às especificações. Mesmo um projeto rápido pode enfrentar dificuldades comerciais se muitos pacotes unidos falharem ou exigirem velocidades operacionais menores.

A Samsung também precisa de parceiros de aceleradores. Sua proposta de intercamada personalizada significa que o zHBM se torna mais útil quando um projetista de processadores se compromete com suas interfaces e estrutura física. Uma demonstração de memória, por si só, não pode comprovar as vantagens de um sistema otimizado em conjunto.

Enquanto isso, a SK hynix oferece uma resposta diferente ao gargalo da memória. No mesmo AI Infra Summit, a empresa destacou o PIM, ou processamento na memória. O PIM posiciona funções de computação selecionadas dentro ou próximas da memória, para que alguns dados não precisem retornar ao acelerador principal.

A SK hynix também apresentou flash de alta largura de banda e técnicas de software para gerenciar caches de chave-valor, que armazenam dados gerados durante a inferência de modelos. Seu portfólio de memória para IA sugere que nenhum tipo único de memória deve lidar com todas as tarefas de IA.

Essa visão contrasta com a ideia de tratar a conexão entre processador e HBM como o gargalo dominante. O PIM leva parte da computação para mais perto dos dados. O flash de alta largura de banda adiciona uma camada de memória maior e mais lenta. O software pode decidir quais informações pertencem à memória rápida e cara e quais podem permanecer em outro lugar.

Essas abordagens não são mutuamente exclusivas. Um sistema futuro poderia usar HBM integrado verticalmente para computação ativa, PIM para operações repetitivas e flash de alta largura de banda para grandes pesos de modelos. No entanto, cada adição aumenta a complexidade do projeto.

A competição, portanto, concentra-se em quem controla a otimização do sistema. A proposta de zHBM da Samsung favorece a integração estreita entre memória, lógica e encapsulamento. A SK hynix enfatiza um conjunto mais amplo de opções de memória e software. Fundições e empresas de aceleradores têm suas próprias tecnologias de encapsulamento e preferências de interface.

A Samsung entra nessa disputa com um impulso maior, mas sem uma posição incontestável. A TrendForce informou que a Samsung detinha 39,4% da receita total de DRAM no segundo trimestre de 2026. Esse número reflete o mercado mais amplo de DRAM, e não a liderança apenas em HBM.

A empresa de pesquisa atribuiu parte dos ganhos gerais da Samsung à produção e aos envios iniciais de HBM4. Seus dados do mercado de DRAM também mostraram por que a próxima arquitetura importa: a demanda por memória continua estreitamente ligada à expansão da infraestrutura de IA.

A liderança em HBM depende da qualificação pelos clientes, da produção aproveitável e do volume de fabricação. Um conceito exibido anos antes da implantação pode influenciar roteiros de produto, mas não pode substituir produtos que já estão sendo comprados. A Samsung precisa continuar avançando no HBM convencional enquanto convence clientes a ajudar a projetar seu possível sucessor.

Calor, Rendimento e Compromissos dos Clientes São os Verdadeiros Testes

Colocar memória sobre um acelerador quente encurta o caminho dos dados, mas também coloca a temperatura e o rendimento de fabricação no centro do projeto.

Um acelerador de IA produz calor substancial durante trabalho contínuo. Em um pacote lado a lado, o calor pode sair do processador em direção a um sistema de resfriamento sem antes atravessar uma pilha de HBM. Uma estrutura vertical muda esse caminho térmico.

A Samsung reconhece esse problema. Seus materiais técnicos afirmam que o calor do acelerador precisa atravessar a estrutura de memória. A empresa propõe dimensões de pilha otimizadas, união híbrida de cobre e outras mudanças estruturais para reduzir a resistência térmica.

A Samsung estima que o zHBM pode reduzir a resistência térmica em mais da metade em comparação com o HBM5. Esse número é encorajador dentro do modelo da empresa, mas não responde a todas as questões operacionais.

Os data centers precisam de desempenho sob cargas de trabalho contínuas, e não apenas em demonstrações breves. A temperatura afeta o comportamento dos sinais, a confiabilidade da memória e a frequência que um acelerador consegue manter. Um pacote que atinge seu limite térmico pode reduzir as velocidades de clock e perder parte de sua vantagem teórica.

O hardware de resfriamento também importa. Um pacote empilhado verticalmente pode exigir placas frias, materiais de interface térmica ou projetos de resfriamento líquido diferentes. Essas mudanças influenciam o layout dos servidores e a implantação em data centers, portanto o pacote não pode ser avaliado isoladamente.

A fabricação cria outro desafio. A união wafer-on-wafer conecta grandes superfícies antes que as unidades individuais concluídas sejam separadas. Alinhamento preciso e contatos de cobre limpos são essenciais. Defeitos em qualquer wafer podem reduzir o número de dispositivos combinados utilizáveis.

A economia se torna mais difícil quando os componentes unidos têm valores diferentes. Uma camada de memória com falha é inconveniente por si só. Um conjunto unido com falha que inclui um acelerador avançado desperdiça um valor de processamento muito maior.

Os fabricantes podem usar estratégias de teste, seleção de dies comprovadamente funcionais e recursos de reparo para limitar esse risco. No entanto, a Samsung não divulgou publicamente rendimentos de produção, resultados de qualificação de clientes ou dados de confiabilidade em larga escala para o zHBM.

A tecnologia também está em estágio inicial. A Samsung apresentou o zHBM como um modelo conceitual na FMS 2026. Uma janela de produto relatada a partir de 2029 ou mais tarde deixaria vários ciclos de desenvolvimento antes da chegada de sistemas comerciais.

Esse cronograma importa ao interpretar a meta de 1.000 tokens. O software de IA e os aceleradores continuarão melhorando antes que o zHBM entre em produção. Uma implantação futura precisaria ser comparada ao hardware disponível naquele momento, e não apenas aos sistemas atuais.

A definição da carga de trabalho subjacente é igualmente importante. Tokens por segundo podem descrever um usuário ou um grande lote. Podem medir processamento de entrada, geração de saída ou uma combinação dos dois. Um modelo compacto com decodificação especulativa se comporta de forma diferente de um grande modelo de raciocínio que usa contexto longo.

Uma tarefa agêntica acrescenta mais variáveis. O modelo pode aguardar um banco de dados, serviço web, executor de código ou outro modelo. Memória mais rápida não elimina atrasos fora do acelerador.

Uma validação convincente deve, portanto, separar vários resultados. A Samsung precisa apresentar medições brutas de largura de banda e latência da memória, benchmarks completos do acelerador, comportamento térmico sustentado, energia por token gerado e desempenho de agentes no nível da aplicação.

A empresa também precisa identificar a referência. “Oito vezes o desempenho do HBM5” é difícil de avaliar sem conhecer a configuração da interface, a capacidade de memória, a carga de trabalho e o envelope de potência. Uma comparação entre zHBM otimizado e um sistema HBM5 limitado não descreveria todas as implantações.

A participação de clientes oferece outro sinal. A Samsung diz que a arquitetura oferece suporte à propriedade intelectual específica dos clientes, mas não nomeou publicamente um parceiro de aceleradores para um pacote zHBM de produção. Um parceiro nomeado indicaria que o projeto avançou além de uma proposta tecnológica interna.

É nesse ponto que as amplas capacidades de semicondutores da Samsung podem ajudar e complicar a proposta. As equipes de memória, fundição e encapsulamento podem coordenar uma única pilha. Projetistas externos de aceleradores ainda podem se preocupar com a dependência de um fornecedor fortemente integrado.

A interoperabilidade também permanece em aberto. O HBM tem sucesso em parte porque padrões comuns sustentam um ecossistema de fornecedores de memória, projetistas de lógica, fundições, fornecedores de encapsulamento e empresas de teste. Uma arquitetura vertical altamente personalizada pode oferecer maior desempenho ao mesmo tempo em que reduz a intercambialidade.

O risco não é que o zHBM deixe de funcionar por completo. O risco mais realista é que o projeto funcione tecnicamente, mas apenas para um conjunto limitado de sistemas caros. Rendimentos fracos, resfriamento especializado ou longos ciclos de codesign podem atrasar uma adoção mais ampla.

A alegação da Samsung deve, portanto, ser tratada como uma direção, e não como um resultado concluído. A empresa identificou um mecanismo plausível para reduzir a movimentação de memória. Ainda não estabeleceu as condições comerciais sob as quais esse mecanismo vence.

Três Sinais Mostrarão se o zHBM Pode Sair do Laboratório

A próxima fase depende de silício mensurável, de um parceiro de aceleradores e de dados sustentados do sistema, e não de outro multiplicador projetado.

O primeiro sinal é um benchmark detalhado de protótipo. A Samsung deve divulgar resultados de largura de banda de memória, latência, potência e temperatura de silício zHBM funcional. A comparação precisa usar uma referência HBM5 clara e especificar a carga de trabalho, o pacote, o sistema de resfriamento e o método de medição.

Esse resultado fortaleceria o argumento da Samsung se se aproximasse da faixa projetada de desempenho de quatro a oito vezes em cargas de trabalho sustentadas. Enfraqueceria o argumento se os ganhos aparecessem apenas em um teste restrito de transferência ou exigissem um envelope de potência impraticável.

O segundo sinal é uma colaboração nomeada com um acelerador. O zHBM exige co-otimização antecipada com o processador, portanto um parceiro público de desenvolvimento teria mais peso do que outra exibição isolada de memória. O parceiro poderia ser um provedor de nuvem, uma empresa de aceleradores ou um desenvolvedor de chips personalizados.

Uma colaboração mostraria que um cliente considera válido o compromisso adicional de projeto. Ela se tornaria muito mais significativa se as empresas divulgassem marcos de qualificação, um cronograma de amostragem e uma classe de implantação pretendida.

A ausência de um parceiro não provaria que o zHBM não tem demanda. Acordos de semicondutores frequentemente permanecem confidenciais. No entanto, uma ausência prolongada de evidências de clientes tornaria mais difícil distinguir o caminho de produto proposto pela Samsung de um programa de pesquisa.

O terceiro sinal é a divulgação de desempenho térmico sustentado e rendimento. A Samsung precisa demonstrar que o calor pode sair do acelerador sem prejudicar a confiabilidade da memória ou impor redução severa de desempenho. Também precisa mostrar que os rendimentos de união sustentam a economia de produção.

Essas métricas determinam se a integração vertical entrega valor ao sistema. A menor energia de movimentação de dados terá menos importância se a complexidade de resfriamento ou os pacotes descartados consumirem a economia. Operação estável e fabricação repetível fortaleceriam a arquitetura mais do que um resultado máximo isolado.

Os leitores também devem manter os números de destaque em suas categorias adequadas. O número de 1.000 tokens é uma meta de serviço de IA. O número de oito vezes é o desempenho de interface projetado pela Samsung. O número superior a dez vezes refere-se à densidade de memória.

A memória zHBM da Samsung oferece uma proposta técnica clara: colocar os dados fisicamente mais próximos da computação e, em seguida, substituir conexões longas e rápidas por muitas conexões curtas. Esse mecanismo aborda diretamente um gargalo que afeta treinamento, inferência e custos operacionais de IA.

A questão não resolvida é a execução. A Samsung precisa transformar um diagrama de pilha promissor em um pacote que os clientes possam resfriar, qualificar, fabricar e programar. Precisa fazer isso enquanto HBM convencional, PIM, encapsulamento avançado e otimização de software continuam melhorando.

Para desenvolvedores, memória mais rápida poderia oferecer suporte a contextos ativos maiores, mais agentes simultâneos e menor latência sob carga. Compradores empresariais devem se preocupar com throughput medido, energia por tarefa, confiabilidade e custo de implantação, em vez de um único multiplicador de destaque.

Observe os próximos dados de protótipo, o primeiro parceiro de aceleradores e os primeiros resultados térmicos sustentados. Se os três surgirem, a aposta da Samsung em memória vertical merecerá ser levada muito a sério. Caso contrário, a meta de 1.000 tokens continuará sendo uma descrição útil da ambição da indústria, e não uma prova de que a zHBM já a alcançou.