Majestic Labs desafia os limites de memória de GPU enquanto Blocks Files destaca Prometheus

A Majestic Labs está desafiando o status quo das GPUs com o Prometheus, um servidor projetado em torno de 128 TB de memória compartilhada em vez da capacidade escassa de HBM. A reportagem do Blocks Files coloca esse conflito em foco. A Majestic acredita que a infraestrutura de IA hoje contém computação cara demais e memória acessível de menos.

A startup não promete uma GPU apenas um pouco mais rápida. Ela quer separar a capacidade de memória da computação e escalar cada recurso de forma independente. Essa abordagem mira cargas de trabalho de inferência nas quais os processadores frequentemente aguardam pesos de modelos, tokens em cache ou outros dados.

Nvidia e AMD enfrentam a mesma pressão com sistemas HBM maiores, interconexões mais rápidas e racks rigidamente integrados. A Majestic segue o caminho oposto. Ela usa um grande pool de memória convencional, chiplets de interface personalizados e processadores de IA programáveis dentro de um único servidor.

Essa distinção torna o Prometheus mais do que outro anúncio de acelerador. Trata-se de um teste direto sobre se os futuros sistemas de IA precisam de mais capacidade aritmética ou de uma relação diferente entre processadores e memória.

A Majestic divulgou alegações ambiciosas de capacidade, desempenho e eficiência energética. No entanto, seus processadores ainda não chegaram aos clientes, e resultados de benchmarks independentes continuam indisponíveis. A ideia é suficientemente crível para atrair atenção, mas a vantagem prometida ainda depende da execução em hardware, software e fabricação.

A reportagem do Blocks Files revela um desafio diferente para as GPUs

A Majestic Labs argumenta que o setor vem comprando GPUs adicionais em parte para obter memória, mesmo quando as cargas de trabalho não conseguem usar plenamente a computação extra.

A cobertura de 23 de julho sobre o servidor centrado em memória descreve a rejeição da empresa ao pareamento padrão entre GPU e memória de alta largura de banda. A HBM posiciona memória rápida empilhada verticalmente próxima a um acelerador. Essa proximidade oferece alta largura de banda, mas limita a capacidade total.

Segundo a Majestic, as bordas físicas ao redor de um processador grande limitam a quantidade de pilhas de HBM que podem ser conectadas de forma eficiente. Aumentar a altura das pilhas também cria complicações técnicas e de fabricação. Por isso, os sistemas modernos combinam vários aceleradores quando um único dispositivo não tem memória suficiente.

Essa solução fornece mais memória, mas introduz sobrecarga de comunicação. Os dados precisam trafegar por conexões entre GPUs, switches ou camadas de memória do host. Os desenvolvedores precisam decidir onde devem residir os pesos do modelo, as ativações e os caches de chave-valor.

Um cache de chave-valor armazena informações de tokens processados anteriormente para que um modelo não recalcule toda a conversa. Ele pode consumir uma quantidade substancial de memória durante inferências com contexto longo. Um número maior de usuários aumenta essa pressão porque cada solicitação ativa mantém seu próprio estado.

A Majestic afirma que os sistemas convencionais também vinculam cada novo bloco de memória a outro processador caro. Algumas cargas de trabalho recebem mais computação do que conseguem usar simplesmente porque a implantação precisa de capacidade adicional.

O Prometheus tenta romper esse acoplamento. O servidor planejado conecta até 12 processadores de IA personalizados a um pool de memória plano. Segundo a empresa, cada processador deve enxergar o mesmo espaço de endereçamento com características de acesso consistentes.

Chiplets de agregação de memória, ou MACs, ficam próximos aos componentes de memória montados na placa. Eles coletam o tráfego de muitos chips de memória e os conectam ao sistema de computação por cabos curtos de cobre. A Blocks Files relata que essas conexões podem se estender por cerca de um metro.

Essa distância importa porque a HBM precisa permanecer extremamente próxima ao encapsulamento do processador. A abordagem da Majestic oferece aos projetistas de sistemas mais espaço físico para memória sem exigir que cada componente circunde o die central de computação.

A empresa chama seu processador de Ignite e o descreve como uma AIU, ou unidade de inteligência artificial. O chip combina núcleos programáveis com aceleração matricial para os cálculos usados por redes neurais.

Prometheus é o servidor completo construído em torno do Ignite, dos chiplets de interface, módulos de memória e software de suporte. As especificações públicas do Prometheus da Majestic afirmam haver até 128 TB de memória compartilhada de alta largura de banda em um sistema.

Em comparação, os atuais servidores de aceleradores medem sua memória conectada diretamente em terabytes distribuídos por um rack inteiro, não em dezenas de terabytes dentro de um único servidor. Essa diferença de capacidade constitui a promessa central por trás do Prometheus.

A reportagem do Blocks Files, portanto, destaca uma divergência arquitetural. O modelo da Nvidia começa com GPUs de alto desempenho e escala para fora. A Majestic começa pelo conjunto de trabalho que uma aplicação de IA precisa manter e, então, atribui computação suficiente para processá-lo.

A inferência de IA está aumentando a pressão sobre a memória

O problema da memória está se tornando mais difícil porque a inferência combina modelos grandes, contextos mais longos e muitos usuários simultâneos.

O treinamento recebe grande parte da atenção em torno da infraestrutura de IA. Ainda assim, a inferência, o processo de executar um modelo treinado para usuários, cria um equilíbrio diferente entre memória e computação.

Os parâmetros de um modelo precisam permanecer disponíveis enquanto ele gera saída. Cada etapa de geração lê os pesos do modelo e processa o estado atual. Quando as unidades aritméticas terminam mais rápido do que a memória consegue fornecer dados, computação adicional oferece benefício limitado.

Essa condição é comumente chamada de desempenho limitado por memória. O processador tem capacidade de cálculo disponível, mas a movimentação de dados controla a taxa real de conclusão.

Janelas de contexto mais longas aprofundam o desequilíbrio. Um modelo que atende prompts curtos mantém menos estado conversacional. Um modelo que lida com documentos extensos, repositórios de software, coleções de pesquisa ou sessões prolongadas de agentes precisa preservar muito mais informações.

Sistemas agentes acrescentam outra demanda. Um agente pode chamar ferramentas, inspecionar resultados, revisar seu plano e repetir o processo. Cada etapa prolonga a sessão e pode ampliar sua pegada de memória ativa.

Modelos de mistura de especialistas criam um desafio relacionado. Esses sistemas contêm vários grupos especializados de parâmetros e ativam grupos selecionados para cada token. Eles reduzem o trabalho aritmético, mas a coleção mais ampla de parâmetros ainda precisa de armazenamento acessível.

O cofundador da Majestic, Sha Rabii, disse à EE Times que a capacidade de computação estava crescendo mais rápido do que a largura de banda da memória. Ele afirmou que a maior parte da inferência de modelos grandes já era limitada pela movimentação de memória. O detalhado projeto de pooling de memória mira mais de 100 TB de DRAM padrão de baixo consumo por ambiente de acelerador.

A memória de baixa potência com taxa de dados dupla, ou LPDDR, oferece capacidade muito maior do que a HBM, com características diferentes de largura de banda e latência. O desafio técnico da Majestic é fazer essa capacidade se comportar como um sistema de memória rápida para aceleradores.

A empresa não pode ter sucesso simplesmente conectando memória comum por um barramento convencional de servidor. Isso forneceria capacidade sem a vazão necessária para alimentar vários processadores de IA.

Em vez disso, a Majestic está desenvolvendo em conjunto a interface física, o protocolo de comunicação, o controle de fluxo, os mecanismos de confiabilidade e o software. Seus chiplets precisam distribuir solicitações por muitos dispositivos de memória, mantendo alta a largura de banda e previsíveis os atrasos.

A empresa também planeja distribuir os dados em faixas pelo pool. O striping divide informações entre vários dispositivos de memória, permitindo que muitos componentes atendam às solicitações em paralelo.

Se esse sistema funcionar como descrito, os operadores poderão manter modelos e caches maiores dentro de um domínio coerente. Eles precisariam de menos transferências entre memória local de aceleradores, aceleradores remotos e memória do host.

Isso importa para empresas que executam recuperação de informações, análise de documentos, agentes de programação ou conversas longas. Essas aplicações frequentemente se preocupam mais com tokens concluídos por unidade de energia do que com o pico aritmético teórico de um processador.

A Majestic afirma que seu design pode suportar muito mais usuários simultâneos por servidor. Essa alegação não recebeu validação independente. Ainda assim, ela identifica a métrica econômica que os compradores observam cada vez mais.

Um data center tem capacidade finita de eletricidade, refrigeração, espaço físico e rede. Adicionar outra GPU só ajuda quando a carga de trabalho consegue manter essa GPU ativa. Unidades aritméticas ociosas continuam consumindo recursos sem gerar produção proporcional.

O enquadramento do Blocks Files é útil porque desloca a atenção das operações de pico por segundo. A verdadeira disputa diz respeito à quantidade de trabalho útil que um sistema inteiro conclui dentro de seus limites de energia e memória.

Prometheus substitui o rack de GPUs por um pool de memória compartilhada

O Prometheus trata a memória como o centro da máquina, enquanto seus processadores se tornam consumidores de um recurso comum de dados.

A Majestic foi fundada em 2023 por Ofer Shacham, Sha Rabii e Masumi Reynders. Os três haviam trabalhado anteriormente em organizações de silício personalizado no Google e na Meta.

Suas trajetórias abrangem processadores, sistemas e hardware de consumo lançado no mercado. A Majestic afirma que sua equipe mais ampla detém mais de 120 patentes e contribuiu para centenas de milhões de chips personalizados.

A empresa surgiu publicamente com mais de US$ 100 milhões em financiamento. A Bow Wave Capital liderou sua Série A, enquanto a Lux Capital liderou uma rodada seed anterior. Outros participantes incluíram SBI, Upfront, Grove Ventures, Hetz Ventures, QP Ventures, Aidenlair Global e TAL Ventures.

Esse anúncio de financiamento apresentou um sistema que alegava ter 1.000 vezes mais memória por processador do que uma GPU líder. Também afirmava que um servidor poderia consolidar a capacidade e a largura de banda de memória associadas a vários racks avançados.

Essas são projeções da empresa, não resultados independentes publicados. Elas dependem de qual hardware forma a comparação, de qual carga de trabalho é executada e de como o benchmark mede a produção útil.

O mecanismo divulgado, ainda assim, é concreto. O Prometheus contém dois elementos principais de silício personalizado. Um é o processador Ignite, enquanto o outro é o chiplet de interface de memória que conecta a computação à LPDDR compartilhada.

Até 12 dispositivos Ignite podem acessar um espaço de memória contíguo. A Majestic descreve esse espaço como plano, o que significa que o software não deveria precisar gerenciar várias camadas de memória visivelmente diferentes.

Esse modelo de programação ataca uma fraqueza importante das implantações com múltiplas GPUs. Atualmente, um desenvolvedor contorna a HBM local, a memória conectada a outras GPUs, a memória da CPU e o armazenamento. Cada camada tem capacidade, largura de banda e latência diferentes.

Frameworks dividem modelos entre dispositivos para se adequarem a essas restrições. Eles também coordenam a comunicação entre aceleradores. O desempenho pode cair quando a partição escolhida produz transferências excessivas ou trabalho desigual.

O Prometheus busca eliminar algumas dessas decisões. Segundo a empresa, todo processador Ignite alcançaria qualquer local do pool compartilhado com latência e largura de banda comparáveis.

O design usa coerência flexível em vez de reproduzir cada comportamento de uma CPU convencional de memória compartilhada. Coerência define como os processadores mantêm uma visão consistente quando leem ou alteram dados comuns.

A Majestic não publicou detalhes de implementação suficientes para que observadores externos avaliem todas as concessões envolvidas. Seus mecanismos proprietários de controle de fluxo e operações atômicas determinarão quão bem o sistema lida com contenção e sincronização.

A arquitetura do processador também é importante. Segundo relatos, a Majestic combina propriedade intelectual da Arm, elementos RISC-V e seu próprio design. Motores matriciais aceleram os cálculos densos comuns em modelos de IA.

A empresa planeja oferecer suporte ao PyTorch, o framework de aprendizado de máquina amplamente utilizado, e ao Triton, uma linguagem de programação para kernels de aceleradores otimizados. A compatibilidade de software é essencial porque a vantagem da Nvidia vai muito além do silício.

CUDA oferece aos clientes da Nvidia bibliotecas maduras, compiladores, ferramentas de depuração, guias de desempenho e desenvolvedores experientes. Um novo hardware pode apresentar especificações atraentes e ainda assim enfrentar dificuldades se as aplicações exigirem reescritas extensas.

Rabii reconheceu que o sucesso de um servidor depende em grande parte da rapidez com que desenvolvedores conseguem utilizá-lo e da confiabilidade de suas ferramentas. Essa admissão revela a segunda metade da tarefa da Majestic.

O hardware precisa movimentar dados com eficiência. O software também precisa tornar essa movimentação suficientemente invisível para que aplicações existentes se beneficiem.

Nvidia e AMD estão expandindo HBM, não abandonando-a

A Majestic aposta contra um modelo de escalonamento centrado em HBM enquanto os maiores fornecedores de aceleradores continuam investindo pesadamente nesse modelo.

Os sistemas em escala de rack da Nvidia conectam muitas GPUs por meio de NVLink e tecnologias de rede relacionadas. A abordagem cria um domínio de computação maior enquanto preserva memória extremamente rápida próxima a cada acelerador.

A AMD segue uma direção comparável com seus aceleradores Instinct e o design de rack Helios. Seu MI455X, detalhado recentemente, usa HBM4 e oferece 432GB de memória com 23.3TB por segundo de largura de banda por GPU.

Em 72 aceleradores, a arquitetura MI455X fornece 31.1TB de HBM dentro de um único rack. A AMD afirma que o Helios reúne essa memória em um domínio coerente.

Esses sistemas reconhecem o mesmo problema identificado pela Majestic. Nvidia e AMD estão aumentando a capacidade de memória, a velocidade da memória, a largura de banda de cache, o desempenho de interconexão e a coordenação em nível de rack.

A divergência diz respeito a até que ponto essa estratégia pode escalar economicamente. A Majestic argumenta que associar HBM premium a cada dispositivo de computação de alto desempenho preserva uma relação desfavorável entre capacidade e recursos aritméticos.

Os fornecedores estabelecidos podem responder a essa preocupação de diversas formas. Eles podem aumentar a densidade do HBM, melhorar o encapsulamento, comprimir dados de modelos, refinar o cache ou dividir cargas de trabalho de maneira mais eficiente.

Eles também podem usar redes mais rápidas para tornar a memória remota menos onerosa. Melhorias de software, como a quantização, reduzem o número de bits necessário para cada parâmetro. A decodificação especulativa pode aumentar a produção ao permitir que os modelos verifiquem juntos vários tokens propostos.

Esses métodos reduzem a pressão sem substituir a arquitetura de GPU. Eles também funcionam em ambientes maduros que os clientes já operam.

A maior oportunidade da Majestic está em cargas de trabalho nas quais a capacidade predomina. Modelos esparsos muito grandes, redes neurais de grafos, agentes de longa execução e janelas de contexto extremas podem exigir mais memória do que capacidade aritmética.

Sua posição é mais fraca em tarefas que utilizam plenamente a computação matricial densa e cabem confortavelmente no HBM local. As GPUs convencionais continuam bem adequadas a essas cargas de trabalho.

O treinamento também cria uma disputa mais difícil. O treinamento executa repetidamente grandes operações matriciais e sincroniza atualizações em muitos dispositivos. Ele pode usar enormes quantidades de memória, mas também se beneficia do maior desempenho de computação e interconexão disponível.

A Majestic afirma que o Prometheus pode oferecer suporte ao treinamento. No entanto, sua ênfase inicial permanece em inferência e cargas de trabalho de agentes. Esse foco dá à empresa um alvo mais restrito e mais fácil de testar.

A Qualcomm está seguindo outra rota centrada em memória. Sua abordagem near-memory posiciona a lógica do acelerador sob pilhas de DRAM, em vez de depender do encapsulamento convencional de HBM.

A Qualcomm afirma oferecer seis vezes mais largura de banda por watt do que o HBM e mais de 200 vezes a capacidade do SRAM on-chip. Ela não divulgou a largura de banda absoluta da arquitetura, deixando comparações importantes sem resposta.

A existência de múltiplas abordagens reforça o diagnóstico da Majestic, mas não necessariamente suas alegações sobre o produto. Os principais projetistas de chips claramente veem a movimentação de dados como uma restrição central.

Portanto, o mercado não está escolhendo entre empresas que reconhecem a parede da memória e empresas que a ignoram. Está escolhendo entre diferentes formas de superar essa barreira.

O artigo da blocks files capta a posição mais agressiva da Majestic: o pareamento GPU-HBM chegou a um beco sem saída. Nvidia, AMD e seus fornecedores de memória estão gastando pesadamente para provar o contrário.

As alegações não verificadas são tão importantes quanto a arquitetura

O Prometheus continua sendo um sistema em estágio de desenvolvimento, portanto sua capacidade anunciada ainda não pode comprovar desempenho de aplicações, eficiência ou confiabilidade comercial.

Espera-se que os processadores e chiplets de interface de memória da Majestic cheguem ao tape-out durante 2026. O tape-out marca a conclusão do projeto de um chip antes do início da fabricação. Isso não significa que silício de produção funcional esteja imediatamente disponível.

A empresa espera que os servidores comecem a chegar aos primeiros clientes em 2027. Outro relatório situa a introdução mais ampla por volta da metade daquele ano.

Esse cronograma deixa várias etapas entre a arquitetura atual e um produto implantável. Fabricação, encapsulamento, validação de placas, firmware, desenvolvimento de compiladores, testes térmicos e integração de sistemas podem, cada um, expor problemas.

A interface de memória apresenta a maior questão técnica. LPDDR oferece alta capacidade e características favoráveis de consumo de energia, mas dispositivos individuais não igualam a largura de banda do HBM.

A Majestic precisa combinar muitos canais de memória sem criar congestionamento. Os chiplets MAC, links de cobre, protocolos e o sistema de striping precisam fornecer tanto vazão quanto tempos de acesso previsíveis.

Grandes pools de memória também criam desafios de gerenciamento de falhas. Mais componentes significam mais falhas possíveis. Um sistema de produção precisa detectar erros, isolar falhas e continuar operando sem corromper o estado do modelo.

O Prometheus precisa realizar isso enquanto apresenta um modelo de memória simples ao software. A conveniência não pode ocultar comportamentos que produzam pausas imprevisíveis ou colapso de desempenho sob contenção.

As definições de benchmark criam outra preocupação. A Majestic afirmou desempenho mais de 50 vezes superior em alguns cenários e entre 10 e 50 vezes mais tokens por megawatt.

Esses números exigem interpretação cuidadosa. Arquitetura do modelo, precisão, tamanho de lote, comprimento do contexto, comprimento da saída, meta de latência e número de usuários simultâneos podem alterar drasticamente os resultados de inferência.

Um sistema otimizado para lotes grandes pode produzir muitos tokens enquanto responde lentamente demais para um serviço interativo. Um sistema com capacidade excepcional ainda pode ter desempenho inferior em modelos menores e intensivos em computação.

As comparações também dependem da referência da Nvidia ou AMD escolhida. Uma única GPU, um rack mais antigo e um sistema atual em escala de rack produzem relações muito diferentes.

Nenhum laboratório independente publicou benchmarks de aplicações usando hardware Prometheus de produção. A Majestic não divulgou resultados completos de latência, largura de banda, energia ou compatibilidade de software.

Pedidos de clientes relatados não resolvem essa lacuna de verificação. Compromissos iniciais podem indicar forte demanda, mas os clientes frequentemente vinculam marcos técnicos e condições de entrega a compras de hardware emergente.

A adoção de software apresenta outro risco. Oferecer suporte ao PyTorch e ao Triton é um começo necessário. Isso não reproduz automaticamente o alcance ou a maturidade das bibliotecas CUDA.

Operadores precisam de kernels otimizados, ferramentas de execução distribuída, observabilidade, controles de segurança, automação de implantação e atualizações estáveis. Eles também precisam de comportamento previsível em modelos reais, não em demonstrações selecionadas.

A Majestic tem cerca de 40 funcionários divididos entre Califórnia e Israel, segundo o perfil da EE Times de maio. É uma equipe enxuta para realizar simultaneamente trabalho em chips, servidores, memória, compiladores e produção.

Seus fundadores têm experiência relevante, e seu financiamento dá ao projeto espaço para se desenvolver. Nvidia e AMD ainda possuem organizações de engenharia, relacionamentos com fornecedores e bases de clientes instaladas muito maiores.

A conclusão cética é direta. A Majestic identificou uma restrição real e propôs um mecanismo coerente. Ela ainda não demonstrou que o Prometheus pode entregar as relações alegadas fora de projeções internas.

Essa distinção deve orientar como compradores leem a cobertura da blocks files. A arquitetura merece atenção, mas atenção não é validação.

Três sinais mostrarão se a Majestic pode entregar

A próxima fase depende de silício funcional, benchmarks de aplicações reproduzíveis e evidências de que o software de IA existente pode migrar sem extensa reconstrução.

O primeiro sinal é a validação bem-sucedida do silício. A Majestic afirmou que tanto o Ignite quanto seu chiplet de interface de memória chegarão ao tape-out em 2026.

Um tape-out concluído manteria o cronograma vivo. Amostras funcionais que atinjam as metas esperadas de clock, energia e links forneceriam evidências muito mais fortes.

Qualquer atraso enfraqueceria a perspectiva de envios a clientes durante 2027. Problemas de interface seriam especialmente significativos porque a malha de memória representa o principal diferencial da empresa.

O segundo sinal é um benchmark que exponha a configuração completa da carga de trabalho. Resultados úteis devem informar o modelo, a precisão numérica, o tamanho de lote, o comprimento da entrada, o comprimento da saída, a meta de latência e a energia do sistema.

Os testes devem comparar o Prometheus com racks atuais da Nvidia e AMD, não com um único acelerador ou uma plataforma desatualizada. Eles também devem separar o tempo até o primeiro token da geração posterior de tokens.

A inferência com contexto longo forneceria um teste particularmente revelador. O Prometheus deve obter vantagem quando um modelo e seu cache excederem a capacidade prática da memória convencional de GPU.

Modelos menores e intensivos em computação oferecem o contrateste. Se o Prometheus mantiver resultados competitivos nesse caso, seu mercado poderá se estender além de implantações especializadas e intensivas em memória.

O terceiro sinal é a migração de software. A Majestic precisa mostrar que um modelo PyTorch real pode ser transferido para o Prometheus com mudanças limitadas de código.

Uma demonstração deve incluir compilação, kernels otimizados, monitoramento e recuperação de falhas. Ela também deve revelar quais componentes dependentes de CUDA exigem substituição.

Implantações pelos primeiros clientes importarão mais do que declarações genéricas de compatibilidade. Um cliente confiável deve descrever a carga de trabalho, o objetivo operacional e o motivo de ter escolhido um sistema que prioriza memória.

Esses sinais fortalecerão ou enfraquecerão o julgamento central da Majestic. Silício bem-sucedido, benchmarks transparentes e migração administrável mostrariam que o agrupamento de memória pode desafiar racks de GPU.

Largura de banda fraca, condições limitadas de benchmark ou reescritas pesadas de software apoiariam a estratégia dos fornecedores estabelecidos. Os compradores continuariam aceitando capacidade limitada de HBM em troca de ferramentas maduras e desempenho comprovado.

A questão mais importante não é se a IA precisa de mais memória. Todo grande roadmap de aceleradores já responde a essa questão com sistemas de memória maiores.

A questão é se a memória deve continuar vinculada a cada processador premium ou se tornar um recurso de sistema escalável de forma independente. A Majestic baseou toda a sua arquitetura na segunda alternativa.

Para desenvolvedores e compradores de infraestrutura, o próximo passo prático é examinar os rastros das cargas de trabalho antes de aceitar o argumento de qualquer um dos lados. Meça a utilização dos aceleradores, o crescimento do cache, as transferências de dados, a latência e o consumo de energia sob demanda real. Em seguida, observe se a próxima atualização dos blocos de arquivos traz medições de produção, em vez de outra alegação de capacidade.