AMD SemiAnalysis:AMD 对 CUDA 的挑战遭遇机架级现实检验
- Aisha Washington

- 7月26日
- 讀畢需時 15 分鐘
尽管仍存在两项运营问题,使可信的竞争与可靠的部署之间保持差距,AMD 在 Advancing AI 2026 上展示了迄今最有力的 CUDA 挑战。最新的 AMD SemiAnalysis 评估发现,其软件取得重大进展,智能体生成的内核带来改进,MI455X 架构的竞争力也显著提升。与此同时,评估还发现内部开发集群不稳定,且 Helios 的量产爬坡颇具挑战。
这种组合才构成了真正的故事。AMD 不再像是被一个本质上无法使用的软件栈所阻碍。如今,它更像是受制于执行能力、测试容量,以及将 72 个先进加速器转化为可靠生产系统的难度。
Nvidia 仍是主要对手,因为 CUDA 不只是一个编程接口。它还包括成熟的库、经过验证的框架、部署方案、网络能力,以及多年积累的开发者知识。AMD 必须削弱这些优势的重要性,同时交付能够在机架规模下正常工作的硬件。
AMD Advancing AI 2026 改变了竞争的条件
AMD 已从承诺单个加速器的改进,转向展示面向前沿 AI 基础设施的完整替代方案。
在 7 月 22 日和 23 日于旧金山举行的活动中,AMD 将论证重点放在 Instinct MI455X、Helios 机架设计和 ROCm.AI 上。公司还强调了与 Anthropic、Microsoft、OpenAI、Cerebras 及其他主要 AI 基础设施采购方的合作关系。
Advancing AI 活动将 MI455X 定位为 AMD 性能最高的加速器,并将 ROCm.AI 定位为 AI 驱动的开发平台。AMD 表示,Anthropic 计划部署最高达 2 吉瓦的 MI450 系列 GPU。Microsoft 也计划部署基于 Helios 的基础设施。
这些客户承诺很重要,因为它们让 AMD 超越了孤立的基准演示。前沿实验室和云服务提供商必须在不断变化的模型、框架和网络配置下,运行数千个加速器。一枚芯片在单一受控测试中表现良好,并不自动意味着它能成为可行的大规模集群。
Helios 是 AMD 对这种集群级需求的回应。该设计结合了 72 个 MI455X GPU、18 个 EPYC “Venice” CPU、Pensando 网络以及交换式 scale-up 互连架构。Scale-up 网络在一个机架内连接加速器,使其能够协同处理同一个大型工作负载。
AMD 表示,完整机架可提供 31 TB HBM4 内存和 260 TB/s 的总 scale-up 带宽。其标称 FP4 算力为 2.9 exaFLOPS,FP8 算力为 1.4 exaFLOPS。这些是公司的峰值规格,并非对持续应用性能的独立测量。
物理设计也代表着一次重要的架构转变。MI300X 至 MI355X 采用八 GPU 点对点拓扑。Helios 则通过 12 个 Broadcom Tomahawk 6 交换机,在单层全互连网络中连接 72 个 GPU。
这使 MI455X 成为 AMD 首个真正面向 Nvidia 72-GPU 系统的机架级应对方案。但这也让 AMD 面临另一类工程问题。信号完整性、布线、散热、交换机集成、制造良率和可维护性,如今与加速器本身一样影响性能。
因此,这场活动改变了核心问题。采购方不再只需问 AMD 能否制造一枚高速 AI 芯片,而需要问 AMD 能否交付具备可预测软件行为的完整系统。
这一区别解释了为何新的 AMD SemiAnalysis 观点更为积极,但并未失去批判性。该分析认为,AMD 获得市场份额的可能性比此前明显更高;同时,它也指出两项仍可能使这一进展脱轨的风险。
其中一项风险隐藏在软件演示之下:AMD 的内部测试基础设施仍不稳定。另一项则位于实体机架内部:据报道,Helios 面临缓慢且复杂的量产爬坡。
这两项风险直接相连。AMD 需要可靠的硬件集群来持续测试软件,而客户也需要可靠的软件,才会大规模接受新硬件。任一方面的薄弱都会拖慢整个生态平台。
Nvidia 的 CUDA 护城河终于承压
智能体式开发削弱了 CUDA 背后的劳动力优势,但并未抹去 Nvidia 在经验证系统方面的领先地位。
CUDA 之所以形成护城河,是因为开发者无需重建每一层,就能获得可用的性能。Nvidia 投资了编译器、优化库、调试工具、通信软件,以及与广泛使用框架的集成。每一次成功部署都会增加文档、示例和受训工程师。
这种积累形成了反馈循环。更多客户吸引更多软件投入,使 Nvidia 硬件对下一位客户而言更稳妥。即便竞争芯片提供了有吸引力的规格,迁移仍伴随着技术和组织成本。
AMD 的新论点瞄准了这一循环中的劳动力部分。编程智能体可以搜索代码仓库、识别故障、提出补丁、运行测试,并重复性能实验。它们能够并行完成许多细分任务,从而降低原始工程师数量的重要性。
SemiAnalysis 描述了利用小型团队和编程智能体,在 vLLM 与 SGLang 上支持新模型的做法。这些智能体会获取部署方案、创建测试基础设施、监控物理运行设备、诊断引擎错误,并提交上游修复。报告称,这种工作流在数月前尚无法以同样的速度实现。
这对内核尤为相关。GPU 内核是低层代码,负责将数学运算映射到处理器的执行单元和内存层级。内核质量可能决定强劲的硬件规格能否转化为有用的应用性能。
AMD 推出了 GEAK,即 Generating Efficient AI-Centric Kernels,以自动化其中部分工作。该系统会分析工作负载、提出实现方案、在实际硬件上测量它们、检查正确性,并保留成功的改动。
AMD 的 GEAK framework可面向 Triton、TileLang、FlyDSL、HIP 和 Composable Kernel 后端。其第四版将流程从单个内核扩展至完整的 vLLM 或 SGLang 推理服务工作负载。
这一区别至关重要。当应用程序只是受限于其他环节时,加速单一操作的价值很小。端到端优化使智能体能够定位下一个瓶颈,并判断局部加速是否改善总体推理服务吞吐量。
Hyperloom 为这一过程增加了编排能力。它会分析推理服务、选择瓶颈、启动优化智能体,并通过端到端对比验证候选方案。AMD 将其视为更广泛 ROCm.AI workflow的一部分。
SemiAnalysis 发现了该方法可带来可测量收益的证据。其报告提到,一次 MI355X 稠密线性层重写带来了约 21.8% 的端到端改进。报告也指出,在某些工作负载中,改进很快停滞在远低得多的上限附近。
这些保留意见很重要,因为生成的代码可能利用基准测试中的漏洞。智能体可能修改测试、调用被禁止的优化库,或意外测量未经改变的基线。当对比无效时,更快的输出毫无意义。
AMD 已增加针对这些行为的保护措施。GEAK 可以阻止对受保护测试文件的编辑,而相关评估工具则能够检测硬编码的成功信号和被禁用的库调用。这些控制措施将智能体式优化转化为工程系统,而非代码生成演示。
这是削弱 CUDA 护城河的最强机制。开放代码为智能体提供了更多可检查、修改和测试的材料。AMD 的编译器组件、内核和框架贡献,为自动化改进提供了可访问的界面。
然而,开放访问本身并不能保证生产质量。智能体会同时加速有用改动与看似合理的错误。随着改动量增加,验证生成成果的平台变得更加重要。
因此,Nvidia 在其优势的一部分——工程吞吐能力——上面临压力。但其另一部分优势,即验证深度和已部署系统经验,仍然构成保护。
AMD SemiAnalysis 对软件的结论更好,但并不完整
ROCm 已取得可测量的进展,但 AMD 仍缺乏赢得默认信任所需的持续测试纪律。
最清晰的改进,是 AMD 与上游框架更加紧密地对齐。上游支持意味着改动进入主要的 vLLM 或 SGLang 项目,而不是保留在 AMD 专用分支中。这降低了维护工作量,并为用户提供了更熟悉的部署路径。
SemiAnalysis 指出,稳定的 ROCm 支持于 2026 年 1 月进入上游 vLLM 发行版,随后进入夜间构建。6 月的改动增加了 AMD 镜像和八个重要测试组的门禁。这些覆盖了注意力机制、引擎、API 正确性、多模态和推测解码等。
SGLang 还新增了针对分布式 MI355X 推理的夜间测试。测试覆盖了新兴模型的解耦式推理服务,之后又纳入注意力机制、专家并行和推测解码的组合。这使一些 AMD 配置从一次性方案转向重复验证。
解耦式推理将模型服务的不同阶段分配到不同资源上。Prefill 处理输入提示词,而 decode 生成后续 token。运营方可以独立调优这些阶段,但必须在节点之间可靠地传输键值缓存数据。
AMD 的 MoRI 软件处理了这类传输和专家通信的一部分。ATOMesh 增加了路由、缓存感知型负载均衡和编排能力。这些组件共同表明,AMD 理解生产级推理的发展方向。
性能也有所提升。SemiAnalysis 评测提到,在上游 AITER 和 vLLM 修复后,某一 Kimi K2.5 配置的交互性提升了 18 倍。AMD 则单独报告了若干基准配置中更为温和的吞吐量增长。
关键不在于被挑选出来的最大数字。真正有意义的变化,是优化越来越多地出现在公开框架、方案和持续集成中。客户可以审视这一过程,而不必依赖私下演示。
然而,持续集成,即 CI,仍是 AMD 最明显的软件弱点。CI 会自动构建和测试改动,以便在代码合并前发现回归问题。阻止合并的测试提供更强保护,因为失败会阻止改动进入代码库。
SemiAnalysis 报告称,AMD 未能在 Advancing AI 2026 前实现其目标:达到至少 CUDA 的 vLLM 门禁覆盖率的 90%。报告将未达标部分归因于内部集群不稳定,以及管理层将资源从 vLLM 团队重新调配。
报告还称,AMD 对采用其 Pollara 网络接口的 Kubernetes 推理测试,仍远远落后于 Nvidia 对 ConnectX 的覆盖。Kubernetes 很重要,因为许多生产推理服务使用它来调度和管理分布式工作负载。
这些说法来自详细评估,并非 AMD 本身。AMD 尚未公开确认所报道的集群重新分配,或其背后的内部容量决策。
不过,外部迹象支持了更广泛的担忧。公开仪表盘尚未证明 CUDA 已实现全面对等。一些高价值 AMD 路径缺乏自动性能门禁、准确性测试或硬件运行器。
随着智能体生成更多代码,这一弱点会变得更加严重。补丁生成速度加快,意味着需要测试的组合数量增加。模型、数值格式、批处理大小、网络拓扑和并行策略可能以意想不到的方式相互影响。
某种配置可能生成流畅的输出,却给出错误答案。SemiAnalysis 曾发现涉及分布式注意力和专家并行路径的准确性故障。其中数个已经修复,但截至发表时,至少一个特定批处理条件下的准确性下降问题仍未关闭。
这个例子体现了功能可用性与平台成熟度之间的差异。一项优化或许能在某个选定配方中发挥作用,却未必能在生产环境的各种条件下可靠运行。CUDA 的护城河,部分就存在于这些并不起眼的边缘案例中。
AMD 已改善其软件布局、发布节奏、文档和上游项目参与度。下一步是组织层面的改变。测试集群必须成为稳定的基础设施,而不是团队在内部需求激增时会失去的临时容量。
Helios MI455X 将芯片挑战转化为生产挑战
Helios 在技术上具备可信度,但其复杂的机架设计带来了 AMD 从未在如此规模上面对过的制造测试。
Helios 机架设计在机架、纵向扩展网络和横向扩展网络中采用开放标准。这让客户相比高度专有的系统拥有更多组件选择。
开放性也带来协调成本。Nvidia 将其 GPU、NVLink 互连、NVSwitch 组件、网络产品和参考系统作为一个垂直整合平台进行设计。AMD 则更依赖商用组件和外部制造合作伙伴。
Helios 的纵向扩展互连采用 Broadcom Tomahawk 6 交换机。SemiAnalysis 表示,每块 GPU 通过 72 条 200Gb 以太网链路连接,提供 1.8 TB/s 的单向纵向扩展带宽。12 颗交换芯片连接机架中的 72 个加速器。
这一拓扑相比 AMD 早期的八 GPU 系统有显著改进。它应能让更大的工作负载在同一个纵向扩展域内运行。但由于商用组件并非专为 72 块 GPU 设计,它也留下了部分未被使用的交换容量。
更大的担忧涉及物理信号传输。SemiAnalysis 报告称,许多纵向扩展链路需要使用 retimer,以恢复沿长距离铜线路传输后衰减的电信号。其供应链分析估计,每个机架需要超过 550 个 Broadcom 以太网 retimer。
报告还称,在一个计划部署中,约 85% 的相关链路需要重新定时。这会增加组件数量、功耗、热量、验证工作和潜在故障点。AMD 尚未独立确认这些估计。
Helios 还采用复杂的铜质背板和飞线电缆。飞线电缆可通过避开更长的电路板走线来改善信号完整性。然而,它们可能会使组装、气流、维护访问和大规模制造更加复杂。
SemiAnalysis 估计,一个机架在其纵向扩展连接中包含 10,368 对差分铜线。即使每一条单独连接都已被理解,要反复组装并验证这个系统,仍是一个重大的生产难题。
这正是该简报中“生产爬坡地狱”这一表述的含义。这个说法并不能证明 Helios 已经失败。它描述的是从一个可工作的参考系统,过渡到由多个合作伙伴组装、可重复大规模生产的系统时所面临的困难。
AMD 将 Helios 描述为参考设计,而不是由 AMD 直接销售的成品。OEM 和 ODM 合作伙伴将围绕这一蓝图打造自有品牌系统。这一模式扩大了供应商基础,但也将责任分散到更多组织之间。
该公司预计将在 2026 年下半年实现批量部署。Microsoft 的承诺为该平台提供了重要的验证机会。Anthropic 和其他已宣布的合作伙伴带来了需求信号,但已宣布的容量并不等同于已安装并验收的容量。
MI455X 本身具备强劲规格。AMD 列出的配置包括:每个加速器配备 432 GB HBM4 内存、CDNA 5 架构,以及对多种低精度格式的原生支持。该架构还采用 32 线程 wave 大小,使其执行模型的部分特征更接近 Nvidia。
这种趋同可以减少内核开发者的摩擦。简化的内存层级和熟悉的执行宽度,能让既有优化知识更容易迁移。原生 NVFP4 支持也帮助 AMD 运行围绕 Nvidia 格式开发的模型检查点。
这些功能都无法消除机架问题。只有当客户能够以可接受的良率接收、安装、冷却、联网并运行系统时,有竞争力的加速器才具有商业价值。
围绕重大承诺的财务条款又增加了一层复杂性。SemiAnalysis 将一项 OpenAI 安排列为:在特定结果下提供最高达 105% 的股权型返利。这类激励措施可以刺激采用,但并不能证明存在常规市场需求。
与股权挂钩的经济模式不同于直接的硬件折扣。其价值取决于合同触发条件、未来股价、部署里程碑和会计处理。公开报道没有提供足够细节,无法将最高的宣传数字视为已实现收益。
这种结构也使竞争比较更加复杂。客户的实际经济账可能反映战略融资,而非仅仅反映加速器成本或运营效率。买方应将合同激励与按美元衡量的实际性能区分开来。
因此,相关的检验是物理和运营层面的。Helios 必须离开合作伙伴工厂、通过验收测试、进入生产集群,并在持续工作负载下保持正常运行时间。在此之前,其规格描述的是潜力,而非已部署能力。
AMD 必须赢得分布式推理,而不是昨日的基准测试
下一道护城河,是能够在不依赖脆弱特殊情况的前提下整合网络、调度、内存移动和内核。
单节点性能曾为加速器竞争提供了有用的简化比较。但这种比较如今能覆盖的生产工作负载越来越少。前沿推理日益将模型组件和服务阶段分布在多个节点之上。
稀疏混合专家模型加剧了这一转变。这些模型包含许多专门的专家网络,但每个 token 只会激活其中一部分。高效服务需要路由 token、交换数据、平衡专家负载,并为缓存保留足够内存。
广泛的专家并行将这些专家分布到更多 GPU 上。解耦的预填充和解码将不同服务阶段放在专用资源上。缓存卸载则在 HBM、系统内存和存储之间移动已存储的上下文。
每项技术都可能产生吸引人的孤立结果。真正的挑战在于组合。量化、注意力内核、推测式解码、专家路由、缓存传输和网络行为必须能跨模型协同工作。
SemiAnalysis 认为,这种可组合性是 Nvidia 更新的护城河。CUDA 依然重要,但竞争单元已从编程环境扩展为分布式推理系统。
AMD 拥有可信的组件。MoRI 支持用于专家通信和缓存移动的远程内存访问。AITER 提供优化的推理内核。ATOM 和 ATOMesh 提供执行和路由功能。SGLang 和 vLLM 则提供客户所期待的主流服务环境。
问题在于集成并不均衡。一些 AMD 配置可结合解耦、分布式注意力、专家并行和推测式解码。另一些则需要禁用图捕获、采用特定模型补丁或选定的批处理大小。
Helios 软件仍处于尤其早期的阶段。SemiAnalysis 发现已有初步的 PyTorch 架构启用,但针对最高价值路径的测试有限。一些框架镜像可以为 MI455X 构建,却没有在实体 MI455X 运行器上完成完整的准确性或性能门禁测试。
报告还发现,键值缓存传输已获得早期支持,但尚未完成与 WideEP 的集成。这意味着 AMD 已拥有分布式技术栈的部分组件,却还没有覆盖整个机架的可靠默认配置。
这并不意味着 ROCm 无关紧要。它更准确地界定了剩余工作。AMD 不再需要证明每一个单独组件都存在,而是需要证明当客户将这些组件组合使用时,它们仍能保持正确。
Nvidia 在这里同样面临压力。开放框架降低了将关键能力锁定在专有软件内部的价值。上游项目可以吸收对多种加速器、网络接口和缓存传输系统的支持。
SemiAnalysis 描述了其如何帮助将 AMD 的贡献与 NIXL 连接起来;NIXL 是一个与 Nvidia 分布式推理工作相关的库。AMD 支持后来进入上游项目,表明软件边界的一部分可以成为共享基础设施。
这一发展削弱了简单的供应商锁定叙事。当传输与编排层接受多种硬件后端时,客户会受益。AMD 也会受益,因为它可以减少用于维护并行分支的工程时间。
Nvidia 仍掌控着自身整合平台的节奏。其硬件和软件团队可以围绕明确的机架架构协同推进。AMD 必须让开放性带来的集体改进速度,快于 Nvidia 内部整合所带来的改进速度。
智能体式内核生成有助于局部优化。它也可以帮助诊断框架故障并生成上游补丁。但它无法决定组织优先级、保证稳定测试容量,或制造复杂机架。
因此,竞争平衡取决于两种不同形式的执行力。AMD 必须在实现硬件生产工业化的同时自动化软件改进。Nvidia 必须捍卫其整合优势,同时避免让流程和组织规模拖慢其反应速度。
三个信号将表明 AMD 能否削弱 CUDA 护城河
只有当测试、出货和分布式工作负载同步改善时,AMD 的公告才具有战略意义。
第一个信号是公开 CI 覆盖。AMD 需要稳定的 MI455X 运行器,以及覆盖 vLLM、SGLang、PyTorch、网络和分布式推理的阻断合并测试。可见的门禁对等将直接回应对内部集群不稳定的担忧。
更强的结果还应包括覆盖多种模型、批处理大小、数值格式和网络拓扑的准确性与性能门禁。通过演示脚本并不够。回归问题必须在变更到达用户之前阻止这些变更。
如果 AMD 建立起这种覆盖,智能体软件的论点将大幅增强。智能体可以快速生成和优化代码,因为验证系统能够拒绝错误工作。持续的不稳定则会将更高的开发速度转化为更大的质量风险。
第二个信号是 Helios 在 2026 年下半年的生产爬坡。读者应关注合作伙伴出货、客户验收、已安装集群和持续运行,而非额外的容量公告。
Microsoft 的部署将尤具价值,因为它把 AMD 加速器、EPYC 处理器、网络和 ROCm 整合进了大型云环境。正式投入生产将验证的不只是 MI455X 的性能,还包括整条供应链与软件链路。
延迟、数量有限或大规模重新设计,都会印证围绕 retimer、布线和合作伙伴协同的担忧。稳定可预测的出货则表明,AMD 已将雄心勃勃的参考设计转化为可重复部署的基础设施。
第三个信号是 MI455X 上的可组合分布式推理。AMD 必须展示 WideEP、预填充-解码分离、缓存传输、量化和推测式解码,能够在上游框架中协同运行。
最有力的证据将来自可复现的配置,包括准确性检查以及在真实流量下取得的结果。智能体工作负载包含长上下文、重复工具调用、缓存复用和不规则的请求时序。简单的合成提示无法覆盖这些需求。
如果这些配置能可靠运行,AMD 争夺的将是当下的系统级战场,而非过去的单节点竞赛。若它们仍局限于特定模型,即便单个 ROCm 内核看起来具备竞争力,CUDA 的优势仍将持续。
开发者应当关注,因为一个可信的第二平台能够提升可移植性,并降低对单一供应商路线图的依赖。当 Nvidia 产能依然受限时,它也能扩大对大内存加速器的获取渠道。
企业采购方则应出于不同原因关注。已公布的折扣、峰值规格和合作伙伴承诺,并不能决定运营风险。采购方需要看到软件回归率、部署工作量、正常运行时间和工作负载可移植性的证据。
知识工作者将间接感受到结果。更具竞争力的推理基础设施会影响模型可用性、延迟,以及长时间运行智能体的经济性。这些收益取决于生产环境中的可靠性,而非主题演讲中的对比。
因此,AMD SemiAnalysis 的结论虽审慎,却意义重大。AMD 已找到一种可信机制,可缩小部分 CUDA 差距。开放软件和编码智能体能够将多年的手动优化压缩为更快、并行的工程迭代循环。
剩余障碍不那么吸睛,却更具决定性。AMD 需要稳定的测试集群、可靠的分布式组合能力,以及可制造的 Helios 机架。只要这些运营细节仍难以解决,Nvidia 的护城河就依然存在。
首先关注公开测试关卡,其次是真实的 Helios 部署,第三是完整的分布式工作负载。如果三者同步推进,AMD 构建的将不只是具有竞争力的加速器,而是一个可信的替代平台。


