Majestic Labs 挑战 GPU 内存极限，Blocks Files 聚焦 Prometheus
Majestic Labs 正通过 Prometheus 挑战 GPU 的现状：这是一款围绕 128TB 共享内存设计的服务器，而非依赖稀缺的 HBM 容量。Blocks Files 的报道将焦点直接对准了这一冲突。Majestic 认为，当前 AI 基础设施中昂贵的计算资源过多，而可访问的内存不足。
这家初创公司承诺的并非性能略有提升的 GPU。它希望将内存容量与计算能力解耦，使两类资源能够独立扩展。这一思路瞄准的是推理工作负载，在此类工作负载中，处理器经常需要等待模型权重、缓存 token 或其他数据。
Nvidia 和 AMD 正通过更大规模的 HBM 系统、更快的互连技术和高度集成的机架来应对同样的压力。Majestic 则采取了相反的路径。它在单台服务器中采用大规模常规内存池、定制接口 chiplet，以及可编程 AI 处理器。
这种差异使 Prometheus 不只是又一次加速器发布。它直接检验了未来 AI 系统究竟需要更多算力，还是需要重新定义处理器与内存之间的关系。
Majestic 已披露雄心勃勃的容量、性能和能耗声明。然而，其处理器尚未交付客户，独立基准测试结果也仍不可得。这一理念足够可信，因而获得关注，但其承诺的优势仍取决于硬件、软件与制造方面的执行能力。
Blocks Files 的报道揭示了另一种 GPU 挑战
Majestic Labs 认为，业界购买额外 GPU 的部分原因是在获取内存，即便工作负载无法充分利用增加的计算能力。
7 月 23 日关于内存优先服务器的报道介绍了该公司对标准 GPU 与高带宽内存组合的否定。HBM 将高速、垂直堆叠的内存置于加速器附近。近距离可提供高带宽，但也限制了总容量。
Majestic 表示，大型处理器周围的物理边缘限制了能够高效连接的 HBM 堆叠数量。增加堆叠高度也会带来技术与制造方面的复杂性。因此，现代系统在单个设备内存不足时，通常会组合多个加速器。
这种方案提供了更多内存，但也引入了通信开销。数据必须在 GPU 链路、交换机或主机内存层级之间传输。开发者还必须决定模型权重、激活值和键值缓存应放置在哪里。
键值缓存会存储先前处理过的 token 信息，以避免模型重新计算整段对话。在长上下文推理中，它可能占用大量内存。更多用户会加剧这一压力，因为每个活跃请求都要维护自己的状态。
Majestic 称，传统系统还会将每新增一块内存与另一颗昂贵处理器绑定。一些工作负载仅因部署需要额外容量，就获得了超出其实际可用范围的计算能力。
Prometheus 尝试打破这种绑定关系。该计划中的服务器将多达 12 个定制 AI 处理器连接至一个扁平的内存池。该公司称，每个处理器都应以一致的访问特性看到相同的地址空间。
内存聚合 chiplet，或称 MAC，位于板载内存组件附近。它们汇集来自大量内存芯片的流量，并通过短铜缆将这些芯片连接到计算系统。Blocks Files 报道称，这些连接可延伸至约一米。
这一距离很重要，因为 HBM 必须与处理器封装保持极近距离。Majestic 的方案为系统设计者提供了更多内存布局的物理空间，而无需让每个组件都围绕中央计算 die 排布。
该公司将其处理器命名为 Ignite，并将其描述为 AIU，即人工智能处理单元。该芯片将可编程核心与矩阵加速功能结合，用于执行神经网络所需的计算。
Prometheus 是围绕 Ignite、接口 chiplet、内存模块及配套软件构建的完整服务器。Majestic 公开的 Prometheus 规格宣称，单个系统最高可提供 128TB 共享高带宽内存。
相比之下，当前加速器服务器的直连内存通常以整个机架为单位计量，达到 TB 级，而不是在单台服务器内达到数十 TB。这一容量差距构成了 Prometheus 的核心承诺。
因此，Blocks Files 的报道突显了一场架构分歧。Nvidia 的模式以高性能 GPU 为起点，并向外扩展。Majestic 则从 AI 应用必须容纳的工作集出发，再配置足够的计算资源来处理它。
AI 推理正在加剧内存压力
内存问题正变得更加棘手，因为推理同时涉及大型模型、更长上下文和大量并发用户。
训练吸引了 AI 基础设施领域的大部分关注。然而，推理——即为用户运行已训练模型的过程——在内存与计算之间形成了不同的平衡。
模型在生成输出时必须始终能够访问其参数。每一步生成都会读取模型权重并处理当前状态。当算术单元完成计算的速度快于内存供给数据的速度时，增加计算资源的收益有限。
这种情况通常被称为内存受限性能。处理器拥有可用的计算能力，但数据移动决定了实际完成速率。
更长的上下文窗口会加深这种失衡。处理短提示词的模型需要维护较少的对话状态。处理长文档、软件代码库、研究资料集或延展型 Agent 会话的模型，则必须保留更多信息。
Agentic 系统带来了另一项需求。一个 Agent 可以调用工具、检查结果、修订计划，并重复这一过程。每一步都会延长会话，并可能扩大其活跃内存占用。
混合专家模型带来了相关挑战。这类系统包含多个专门的参数组，并针对每个 token 激活其中选定的组。它们减少了算术工作量，但更广泛的参数集合仍需要可访问的存储空间。
Majestic 联合创始人 Sha Rabii 向 EE Times 表示，计算能力的增长速度快于内存带宽。他称，大多数大模型推理已受到内存移动的限制。其详细的内存池设计瞄准在每个加速器环境中提供超过 100TB 的标准低功耗 DRAM。
低功耗双倍数据速率内存，即 LPDDR，相较于 HBM 可提供大得多的容量，但其带宽与延迟特性不同。Majestic 的技术挑战在于，让这种容量表现得像高速加速器内存系统。
该公司无法仅通过传统服务器总线连接普通内存来实现目标。那样只能提供容量，无法提供为多颗 AI 处理器供给数据所需的吞吐量。
Majestic 正在协同开发物理接口、通信协议、流量控制、可靠性机制和软件。其 chiplet 必须将请求分发到大量内存设备，同时保持高带宽和可预测的延迟。
该公司还计划将数据条带化分布于整个内存池中。条带化会将信息划分到多个内存设备，使许多组件能够并行响应请求。
若该系统如其描述般运行，运营者便可在一个统一域中保留更大的模型和缓存。他们将需要更少地在本地加速器内存、远程加速器和主机内存之间传输数据。
这对于运行检索、文档分析、编程 Agent 或长对话的企业尤为重要。这些应用通常更在意每单位功耗所完成的 token 数量，而非处理器理论上的算术峰值。
Majestic 表示，其设计可让每台服务器支持更多并发用户。这一说法尚未获得独立验证。不过，它指出了买家日益关注的经济指标。
数据中心的电力、冷却、机房空间和网络容量均有限。只有当工作负载能够让另一块 GPU 保持活跃时，增加 GPU 才有帮助。闲置的算术单元会持续消耗资源，却无法产生相应比例的输出。
Blocks Files 的这一框架颇具价值，因为它将注意力从每秒峰值运算次数转移开来。真正的竞争在于，整个系统能在功耗和内存限制内完成多少有用工作。
Prometheus 以共享内存池取代 GPU 机架
Prometheus 将内存视为机器的中心，而其处理器则成为共同数据资源的使用者。
Majestic 由 Ofer Shacham、Sha Rabii 和 Masumi Reynders 于 2023 年创立。三人此前均曾在 Google 和 Meta 的定制芯片组织任职。
他们的背景涵盖处理器、系统和已量产的消费级硬件。Majestic 表示，其更广泛的团队拥有超过 120 项专利，并参与开发了数亿颗定制芯片。
该公司公开亮相时披露已获得逾 1 亿美元融资。Bow Wave Capital 领投其 A 轮融资，Lux Capital 则领投了更早期的种子轮。其他参与者包括 SBI、Upfront、Grove Ventures、Hetz Ventures、QP Ventures、Aidenlair Global 和 TAL Ventures。
这则融资公告介绍了一套系统，声称其每颗处理器的内存容量是领先 GPU 的 1,000 倍。它还声称，一台服务器可整合多个先进机架所对应的内存容量与带宽。
这些是公司的预测，而非已发布的独立结果。它们取决于比较所采用的硬件、运行的工作负载，以及基准测试如何衡量有效输出。
不过，已披露的机制是具体的。Prometheus 包含两类主要的定制芯片元素：其一是 Ignite 处理器，另一类是将计算与池化 LPDDR 相连接的内存接口 chiplet。
多达 12 个 Ignite 设备可访问一片连续内存空间。Majestic 将该空间描述为扁平的，意味着软件无需管理多个明显不同的内存层级。
这种编程模型直指多 GPU 部署中的一个重要弱点。当前，开发者需要在本地 HBM、连接到其他 GPU 的内存、CPU 内存和存储之间权衡。每一层的容量、带宽和延迟都不同。
框架会将模型划分至不同设备上，以适应这些限制。它们还要协调加速器之间的通信。当所选分区造成过多传输或工作分布不均时，性能可能下降。
Prometheus 的目标是减少其中一些决策。该公司称，每个 Ignite 处理器都可通过相近的延迟与带宽访问共享内存池中的每个位置。
该设计采用宽松一致性，而非复刻传统共享内存 CPU 的全部行为。一致性定义了处理器在读取或修改公共数据时如何维持一致视图。
Majestic 尚未公布足够的实现细节，外界无法评估其每一项取舍。其专有的流量控制和原子操作机制，将决定系统在处理争用和同步时的表现。
处理器架构同样重要。据报道，Majestic 结合了 Arm 知识产权、RISC-V 元素以及自主设计。矩阵引擎可加速 AI 模型中常见的密集计算。
该公司计划支持广泛使用的机器学习框架 PyTorch，以及用于优化加速器内核的编程语言 Triton。软件兼容性至关重要，因为 Nvidia 的优势远不止于芯片本身。
CUDA 为 Nvidia 客户提供了成熟的库、编译器、调试工具、性能指南以及经验丰富的开发者。新硬件即使规格亮眼，若应用需要大规模重写，仍可能举步维艰。
Rabii 承认，服务器的成功在很大程度上取决于开发者能够多快上手，以及其工具能否变得可靠。这一表态揭示了 Majestic 任务的另一半。
硬件必须高效传输数据。软件也必须让这种传输足够透明，使现有应用能够从中受益。
Nvidia 和 AMD 正在扩展 HBM，而非放弃它
Majestic 正在押注一种不同于 HBM 中心化扩展模式的路径，而最大的加速器厂商仍在大力投入这一模式。
Nvidia 的机架级系统通过 NVLink 及相关网络技术连接大量 GPU。这种方法在保留每个加速器附近极高速内存的同时，构建出更大的计算域。
AMD 也通过其 Instinct 加速器和 Helios 机架设计采取了类似方向。其近期详述的 MI455X 采用 HBM4，每块 GPU 配备 432GB 内存，并提供每秒 23.3TB 的带宽。
在 72 个加速器组成的系统中，MI455X architecture 可在单个机架内提供 31.1TB HBM。AMD 表示，Helios 将这些内存整合为一个一致性域。
这些系统承认了 Majestic 所指出的同一问题。Nvidia 和 AMD 都在提升内存容量、内存速度、缓存带宽、互连性能以及机架级协调能力。
分歧在于，这一策略在经济层面究竟能扩展到什么程度。Majestic 认为，为每台高端计算设备配备昂贵 HBM，会维持容量与算力资源之间不利的比例。
现有厂商可以通过多种方式回应这一担忧：提高 HBM 密度、改进封装、压缩模型数据、优化缓存，或更高效地拆分工作负载。
它们还可以借助更快的网络降低远程内存的成本。量化等软件改进可减少每个参数所需的比特数。推测解码则可让模型同时验证多个候选 token，从而提高输出效率。
这些方法无需替换 GPU 架构，便能缓解压力。它们也能在客户已经运行的成熟环境中发挥作用。
Majestic 最强的机会在于容量占主导的工作负载。超大规模稀疏模型、图神经网络、长时间运行的智能体以及极端上下文窗口，可能需要的内存超过算力。
其较弱的领域则是能够充分利用密集矩阵计算、并可轻松容纳于本地 HBM 内的任务。传统 GPU 仍非常适合这类工作负载。
训练带来的竞争也更为严峻。训练会反复执行大型矩阵运算，并在大量设备之间同步更新。它可能需要海量内存，但同样受益于最高可用的计算和互连性能。
Majestic 表示 Prometheus 可以支持训练。不过，其初期重点仍是推理和智能体工作负载。这一聚焦让公司的目标更窄，也更便于验证。
Qualcomm 正在探索另一条以内存为中心的路线。其近内存方法将加速器逻辑置于 DRAM 堆叠下方，而非依赖传统 HBM 封装。
Qualcomm 声称，其每瓦带宽是 HBM 的六倍，容量超过片上 SRAM 的 200 倍。该公司尚未披露该架构的绝对带宽，因此关键比较仍无法确定。
多种方案的存在强化了 Majestic 的判断，却未必能证明其产品主张。主要芯片设计商显然都将数据移动视为核心约束。
因此，市场并非在选择“认识到内存墙的公司”与“忽视它的公司”。它是在不同的破墙方式之间作出选择。
这篇 blocks files 文章呈现了 Majestic 最激进的立场：GPU-HBM 配对已经走入死胡同。Nvidia、AMD 及其内存供应商正在投入巨资证明并非如此。
未经验证的主张与架构同样重要
Prometheus 仍处于开发阶段，因此其标榜的容量尚不足以证明应用性能、效率或商业可靠性。
Majestic 的处理器和内存接口 chiplet 预计将在 2026 年流片。流片标志着芯片设计完成、制造开始之前的阶段，并不意味着可用的量产芯片会立即出现。
该公司预计服务器将在 2027 年开始交付给首批客户。另一份报道称，更广泛的推出时间将在当年年中左右。
这一时间表意味着，当前架构与可部署产品之间仍有多个阶段。制造、封装、主板验证、固件、编译器开发、热测试以及系统集成，都可能暴露问题。
内存接口是最大的技术疑问。LPDDR 提供高容量和良好的功耗特性，但单个器件的带宽无法与 HBM 匹敌。
Majestic 必须整合大量内存通道，同时避免产生拥塞。MAC chiplet、铜连接、协议和条带化系统，必须同时提供吞吐量和可预测的访问时间。
大型内存池也带来故障管理挑战。组件越多，潜在故障点越多。量产系统必须能够检测错误、隔离故障，并在不破坏模型状态的情况下继续运行。
Prometheus 必须在向软件呈现简单内存模型的同时做到这一点。便利性不能掩盖会导致不可预测停顿或在争用下性能崩溃的行为。
基准测试的定义也带来另一项担忧。Majestic 曾声称，在某些场景下性能可提升超过 50 倍，每兆瓦可生成的 token 数可提升 10 至 50 倍。
这些数字需要谨慎解读。模型架构、精度、批处理大小、上下文长度、输出长度、延迟目标和并发用户数，都可能显著改变推理结果。
针对大批量优化的系统可能生成大量 token，却因响应过慢而无法用于交互式服务。拥有卓越容量的系统，在较小且计算密集的模型上仍可能表现不佳。
比较结果也取决于所选用的 Nvidia 或 AMD 基准。一块 GPU、一个较旧的机架，以及当前的机架级系统，所产生的比率会截然不同。
尚无独立实验室公布基于量产 Prometheus 硬件的应用基准测试。Majestic 也尚未披露完整的延迟、带宽、功耗或软件兼容性结果。
已披露的客户订单并不能填补这一验证缺口。早期承诺可以表明需求强劲，但客户通常会将技术里程碑和交付条件附加在新兴硬件采购中。
软件采用也构成另一项风险。支持 PyTorch 和 Triton 是必要的起点，但这并不会自动复现 CUDA 库的覆盖范围或成熟度。
运营方需要优化内核、分布式执行工具、可观测性、安全控制、部署自动化和稳定更新。他们还需要真实模型上的可预测行为，而不是经过挑选的演示结果。
根据 5 月 EE Times 的报道，Majestic 在加州和以色列共有约 40 名员工。对于同时推进芯片、服务器、内存、编译器和量产工作而言，这是一支精干的团队。
其创始人拥有相关经验，融资也为项目开发提供了空间。Nvidia 和 AMD 仍拥有规模大得多的工程组织、供应商关系和已部署的客户基础。
持怀疑态度的结论很直接。Majestic 发现了一个真实约束，并提出了连贯的机制。但它尚未证明 Prometheus 能在内部预测之外实现所宣称的比率。
这种区别应当影响买家如何解读 blocks files 的报道。该架构值得关注，但关注并不等于验证。
三个信号将揭示 Majestic 能否兑现承诺
下一阶段取决于可工作的芯片、可复现的应用基准测试，以及现有 AI 软件无需大规模重构即可迁移的证据。
第一个信号是成功完成芯片验证。Majestic 表示，Ignite 及其内存接口 chiplet 都将在 2026 年流片。
完成流片将使既定时间表得以延续。若可工作的样片达到预期的时钟频率、功耗和连接目标，则将提供更有力的证据。
任何延迟都会削弱 2027 年向客户发货的前景。接口问题尤其重要，因为内存互连网络是该公司的核心差异化所在。
第二个信号是披露完整工作负载配置的基准测试。有价值的结果应说明模型、数值精度、批处理大小、输入长度、输出长度、延迟目标和系统功耗。
测试应将 Prometheus 与当前的 Nvidia 和 AMD 机架进行比较，而非与单个加速器或过时平台比较。测试还应区分首个 token 的生成时间与后续 token 的生成速度。
长上下文推理将提供特别有说服力的测试。当模型及其缓存超过传统 GPU 内存的实际容量时，Prometheus 应当获得优势。
规模较小、计算密集的模型则构成反向测试。如果 Prometheus 在此类任务上仍能保持竞争力，其市场将可扩展至专业内存密集型部署之外。
第三个信号是软件迁移。Majestic 需要展示一个真实 PyTorch 模型能够以有限的代码修改迁移到 Prometheus。
演示应包括编译、优化内核、监控和故障恢复，也应披露哪些依赖 CUDA 的组件需要替换。
首批客户部署的意义将大于笼统的兼容性声明。可信的客户应说明工作负载、运营目标，以及其选择内存优先系统的原因。
这些信号将强化或削弱 Majestic 的核心判断。成功的芯片、透明的基准测试和可控的迁移过程，将表明内存池化能够挑战 GPU 机架。
带宽不足、狭窄的基准测试条件或沉重的软件重写工作，则会支持现有厂商的策略。买家将继续接受有限的 HBM 容量，以换取成熟工具和经过验证的性能。
最重要的问题不是 AI 是否需要更多内存。每一份主要加速器路线图都已经通过更大的内存系统回答了这个问题。
问题在于，内存应继续绑定在每个高端处理器上，还是应成为一种可独立扩展的系统资源。Majestic 已将其整个架构押注于后者。
对于开发者和基础设施采购方而言，实际的下一步是在接受任一方观点之前，先审视工作负载追踪数据。在真实需求下测量加速器利用率、缓存增长、数据传输、延迟和功耗。随后关注下一批解禁文件是否会带来生产环境测量数据，而非又一次容量宣称。
