AI 基础设施瓶颈成为焦点——SiliconANGLE 将目光投向 GPU 竞赛之外

就在 10 月 13 日的一场行业论坛将讨论围绕芯片构建的系统前夕，SiliconANGLE 已将 AI 基础设施的讨论重心从更快的芯片转向其他环节。AI infrastructure bottlenecks take focus - SiliconANGLE 一文认为，内存、存储、网络、电力和散热如今决定了昂贵加速器能够完成多少有效工作。

这正是本轮基础设施周期的核心矛盾。芯片厂商可以提供更多计算能力，但如果数据无法及时送达、内存仍受限，或设施无法为更高密度的机架供电，运营商便无法从中受益。瓶颈正从某一个稀缺组件，转变为整个系统的协同问题。

预计 ScaleFlux、Dell Technologies、Cisco、Cerebras 及其他基础设施供应商将在圣何塞举行的 AI Data Pipeline Forum 上讨论这些压力。该活动与 Open Compute Project Global Summit 同期举行，届时系统设计、开放标准和设施限制将获得与处理器同等的关注。

论坛本身并不能证明供应商已经解决这些问题。其重要性在于议程所揭示的趋势。AI 基础设施竞争正在成为一场系统竞赛，性能衡量覆盖从数据存储到生成 token 的完整路径。

AI Data Pipeline Forum 前发生了什么变化

行业关注的中心已从获取加速器，转向如何让这些加速器持续高效运转。

SiliconANGLE 于 10 月 10 日发布了其论坛前瞻，为 10 月 13 日举行的 AI Data Pipeline Forum 预热。该媒体披露，theCUBE 是此次活动的付费媒体合作伙伴，赞助商不控制其编辑报道。

在评估该前瞻时，这一商业关系值得注意。文章介绍了一场活动，并将多家参与供应商作为基础设施转型的例证。不过，其更大的论点与数据中心行业普遍面临的问题相一致。

AI 集群依赖的不只是图形处理器，即 GPU。一个集群还需要能够容纳活跃模型数据的内存、能够提供并保存信息的存储，以及连接数千个组件的网络。随后，供电与散热决定这些组件能否持续运行。

任一层面的短缺或延迟，都可能降低整个集群的产出。等待数据的高速加速器依然是未被充分利用的资产。高带宽网络无法弥补内存容量不足；而如果现有设施无法为高密度机架散热，机架也无法投入生产。

该论坛将在 2026 OCP Global Summit 期间举行，后者定于 10 月 12 日至 10 月 15 日在圣何塞举办。官方峰会议程显示，活动已满员，这从一个侧面反映了围绕大规模基础设施的关注度。

OCP 的议程涵盖芯片、机架、集群、数据中心、管理软件和实体设施。这种广度支撑了 SiliconANGLE 文章背后的核心观点：单个组件越来越需要作为同一套运行系统的一部分进行设计和验证。

因此，眼下的变化并非某一款产品发布，而是基础设施买家和供应商对性能边界的定义发生了改变。

AI 建设的早期阶段带来了一个相对简单的问题：运营商能获得多少先进 GPU？这个问题依然重要，但已无法完整反映部署能力。

如今，运营商还需考量数据如何进入集群、中间状态存放在哪里，以及结果能以多快速度在处理器之间流动。他们还必须将可用电力、散热方式、机架重量、部署时间和软件兼容性纳入考量。

这种转变让过去不那么显眼的组件进入关键路径。SSD 控制器、内存扩展技术、光连接、交换机、冷却液分配单元和供电设备，都可能影响加速器集群创造的价值。

它也改变了供应商之间的竞争。供应商不再仅凭提供最快的独立组件取胜。买家需要看到该组件能够在经过验证的机架、网络、设施和软件环境中稳定可靠地运行。

10 月 13 日的讨论应会让这一系统性论点更为具体。不过，可获得的启示已经超出活动本身：AI 基础设施性能越来越取决于协同，而非孤立看待的组件规格。

为什么数据移动如今限制着昂贵的计算资源

当加速器等待内存、存储或另一颗处理器提供下一份数据时，它不会产生任何经济价值。

训练和推理对基础设施施加的压力不同，但两者都涉及数据在内存层级中的反复移动。该层级包括加速器旁的内存、主机内存、共享内存、本地闪存存储和网络存储。

推理是已部署模型将输入转换为输出的过程。由于生产系统需要服务大量请求、检索外部信息并在交互间保留可复用状态，它可能加剧数据移动。

基于智能体的应用又增加了一层复杂性。一个智能体可能调用工具、搜索数据库、查阅文档，并在完成一项任务前使用多个模型。每一步都可能引入数据传输、存储操作和网络延迟。

由此形成一种令人不安的不匹配：计算能力的增长速度可能快于系统向其输送数据的能力。增加更多加速器并不会自动修复这种失衡，反而可能对共享资源提出更多需求。

内存容量构成一项限制。大模型、更长的上下文和并发请求都在争夺有限的高速内存。当所需数据无法留在处理器附近时，系统便会将其移至较慢的层级。

带宽则构成另一项限制。带宽衡量连接在特定时间内能够传输的数据量。即使内存容量充足，当组件之间的路径无法支撑工作负载时，其价值也会降低。

延迟同样重要。延迟是传输或操作完成前的等待时间。微小的延迟可能在重复的模型层、检索步骤或大量加速器之间的通信中不断累积。

因此，存储的作用比其传统印象更为积极。它不再只是存放已完成文件或偶尔保存检查点的目的地，还可以容纳训练数据、模型参数、检索索引、缓存的推理状态和运行记录。

ScaleFlux 展示了供应商的应对方式。其 FC6116 是一款 PCIe Gen6 NVMe SSD 控制器，MC600 则是一款 CXL 3.2 Type 3 内存控制器。CXL，即 Compute Express Link，通过一致性接口连接处理器和内存设备。

根据该公司的控制器规格，FC6116 的顺序读取速度最高可达每秒 28 GB，顺序写入速度最高可达每秒 25 GB，随机读取输入/输出操作每秒可达 700 万次。ScaleFlux 表示，该控制器在活跃状态下的功耗低于 9 瓦。

ScaleFlux 表示，MC600 最多支持两 TB 的 DDR5 内存。它也支持 DDR4，为设备制造商在现有与新型内存配置之间迁移提供了一条路径。

这些数字是供应商声明，并非应用层性能的独立证据。实际结果将取决于硬盘、固件、主机系统、工作负载和网络条件。ScaleFlux 还表示，FC6116 将于 2026 年第四季度向部分客户开始送样，因此广泛的量产证据仍然有限。

不过，产品方向本身具有参考意义。供应商正试图在不让功耗以同等速度增长的前提下，提高带宽和内存容量。他们也在将硬件与固件、参考设计和认证支持相结合。

这很重要，因为理论接口速度并不保证有效吞吐量。设备必须能够在持续负载下保持稳定、与主机软件集成、从错误中恢复，并在混合操作中表现一致。

网络面临类似问题。大型 AI 集群将工作分配给多个处理器，因此流量模式会影响整个任务的推进速度。一次延迟传输可能使多台昂贵组件等待同一项依赖。

OCP Summit 的同期光互连研讨会将 224Gb 和 448Gb 电通道、下一代光连接及管理接口列为议题。其互连议程还强调了电力、热限制、延迟和碎片化风险。

这份议程表明，“数据移动”不能被简化为单一的存储基准测试。它横跨内存控制器、外围接口、交换网络、光链路、软件调度和数据放置。

其背后的机制很直接。更快的计算会对及时获取数据提出更高需求。这一需求给处理器周围的每一层都带来压力，使系统平衡比孤立的峰值数字更有价值。

当设施形成反向约束，AI 基础设施瓶颈成为焦点

实体数据中心正在成为计算设计的主动约束，而不再是一个可以接纳硬件供应商所交付任何设备的中性建筑。

AI 机架能够比传统企业机架集中部署更多计算设备。这种密度提高了用电需求，并在更小的物理区域内产生热量。运营商必须在不影响可靠性的前提下供电并移除热量。

风冷仍适用于许多工作负载。密度最高的配置则越来越多地采用直接液冷，通过更靠近处理器和其他组件的位置输送冷却液来传导热量。

这一变化影响的远不只是服务器。设施可能需要新增管道、热交换器、泵、监控系统和维护流程。它还可能要求调整配电、地面布局、机架尺寸和应急规划。

棕地设施构成了一项特殊挑战。棕地数据中心是为适配新设备而改造的既有建筑。其电力和散热系统往往在当前 AI 机架密度普及之前设计。

彻底重建很少是有吸引力的首选方案。运营商必须决定是改造现有空间、部署模块化容量、租用专业托管空间，还是建设新设施。

Dell 的应对方案以集成式机架级系统为中心。其机架级产品组合结合了计算、网络、存储、散热和管理组件；Dell 表示，这些组件会在交付前完成验证。

这种方法解决了一个实际部署问题。在客户现场发现兼容性故障后，硬件可能会闲置，而多家供应商则需确定责任归属。工厂集成将部分测试工作提前到了流程早期。

Dell 表示，其 PowerRack 系统支持直接液冷和多代加速器。该公司还表示，根据一项受委托开展的第三方研究，在满足研究所述条件的情况下，预配置机架从交付到运行工作负载仅需略多于六小时。

买方应将这一部署结果视为特定测试结果，而非普适时间表。现场就绪程度、网络连接、软件配置和供电条件都可能改变所需时间。经过预验证的机架无法弥补公用设施容量不足的问题。

物理瓶颈并不止于单栋建筑。国际能源署在其 2026 年能源分析中，考察了不断增长的数据中心需求，以及电网准备度、供应链、可负担性和能源安全等问题。

该机构预计，到 2030 年，数据中心将占美国电力需求增长的约一半。该预测涵盖的是广义的数据中心，而不仅仅是 AI 系统，但 AI 的扩张是主要驱动因素之一。

这形成了与半导体开发不同的时间表。芯片供应商可以按产品节奏推出新一代产品，而输电线路、变电站和发电项目则可能需要更长的规划与审批流程。

因此，电力供应情况会影响产能建设地点。它也可能影响合同、部署计划，以及运营商必须 확보的备用容量规模。

冷却带来了区域和运营层面的权衡。气候、水资源可用性、电价和当地法规都会影响何种设计更合理。不存在适用于所有站点的通用配置。

密度也会改变故障的后果。当更多计算容量集中在一个机架中时，冷却或供电事件可能影响集群中更大比例的资源。监控、冗余和维修流程必须与更高密度的硬件同步发展。

模块化提供了一种应对方式。标准化机架接口和可重复部署的设施组件能够减少部分集成工作。随着处理器、内存和冷却需求变化，它们也能让单个层级的替换变得更容易。

然而，模块化并不能消除系统工程需求。标准可以定义接口，但运营商仍须在真实工作负载和环境条件下验证性能。新的组合可能暴露组件测试遗漏的行为。

这正是为什么 AI infrastructure bottlenecks take focus - SiliconANGLE 这句话所反映的不只是会议议程的变化。设施的物理限制如今会直接影响硬件和软件决策。

模型团队可能希望获得更多加速器，但基础设施团队必须确定下一个机架是否具备足够的电力、冷却、网络容量和运营支持。这种协商正日益决定 AI 部署的速度。

开放标准与高度集成系统的竞争

核心竞争在于开放、模块化基础设施与高度协调的技术栈之间；两种路径都无法免除大量验证工作。

开放标准承诺带来灵活性。它们可以让买方组合多家供应商的组件，降低对单一供应商的依赖，并在技术变化时保留升级选择。

Open Compute Project 将这一逻辑从芯片延伸至设施。其 2026 年主题呼吁从芯片到电网重新思考数据中心，涵盖硅供应链、系统管理、IT 设备和物理基础设施。

这一范围反映了系统性问题。如果机架、冷却回路、管理软件或网络无法提供支持，开放服务器规范的价值就很有限。互操作性必须跨越多个边界。

高度集成的系统则提供另一种优势。单一供应商或合作伙伴关系负责协调组件、验证配置，并提供更清晰的支持路径。这可以降低部署风险，并在故障发生时缩短诊断时间。

代价是自由度降低。买方对单个组件的选择可能更少，或者可能依赖供应商的发布节奏。当某一层的行为与技术栈其他部分紧密关联时，替换它会变得困难。

双方都没有简单答案。开放组件可能暴露采购决策中被隐藏的集成成本。专有系统最初可能表现良好，却会限制未来的替代选择。

AI 工作负载使这一选择更加困难，因为它们变化很快。训练、检索、微调、批量推理和交互式智能体会在内存、存储和网络方面形成不同模式。

针对大规模训练运行优化的架构，未必能为大量小型推理请求带来最佳经济性。面向低延迟设计的方案，也可能在需求波动时牺牲利用率。

因此，买方需要工作负载层面的证据。峰值吞吐量固然有用，但持续利用率、尾延迟、能耗、恢复行为和软件兼容性往往决定生产价值。

尾延迟衡量的是请求中最慢的部分，而非平均水平。它很重要，因为少量延迟操作就可能影响用户体验，或拖慢分布式任务。

利用率同样重要。它描述可用计算容量中有多少正在执行有用工作。如果某个价格较低的组件导致加速器闲置，或需要投入过多工程工作，它最终可能变得昂贵。

这给云服务商、设备制造商、芯片公司和企业买方带来压力。云服务商必须证明其平台能够将硬件规模转化为可靠服务。设备制造商必须验证完整配置，而不是展示孤立的规格参数。

芯片公司面临着跨越更广泛接口协同工作的压力。企业买方则必须培养足够的技术理解能力，以审视供应链每一层提出的主张。

这里的怀疑应保持具体。供应商有强烈动机以其产品所能解决的方式来界定瓶颈。存储供应商会强调数据访问，而网络公司则会突出网络架构性能。

电力供应商有理由指出电网限制，服务器供应商也可以主张采用预集成机架。每种说法在特定环境中都可能成立，但并不意味着它们识别出了所有环境中的主导约束。

该论坛的赞助商名单进一步说明了保持这种谨慎的必要性。SiliconANGLE 的披露提供了有用背景，但读者仍应将活动参与者的产品论点与独立观察到的运营结果区分开来。

最可信的证据将来自运行代表性工作负载的已部署系统。买方应关注完整的测试条件，包括模型规模、批量大小、数据放置、网络拓扑、电力限制和软件版本。

他们还应询问，在某一瓶颈改善后，哪个组件会成为下一个约束。更快的存储可能暴露网络限制。更多内存可能增加电力需求。更高密度的机架则可能将问题转移到冷却系统。

这种反复出现的模式解释了为何系统方法正受到更多关注。基础设施优化不会永久消除瓶颈，而是改变瓶颈的位置，并迫使下一层作出响应。

开放标准可以通过创建可互换接口，让这些响应更容易实现。集成系统则可以减少协调这些接口所需的工作。最终胜出的方案将取决于，对特定运营商而言，灵活性还是部署确定性更有价值。

下一轮证据将来自部署，而非论坛讨论

三个信号将表明系统级转变是否带来可衡量的收益：产品认证、真实集群利用率和设施就绪度。

第一个信号是客户对新型内存和存储组件的认证。ScaleFlux 计划在 2026 年第四季度向选定客户提供 FC6116 样品。送样意味着评估开始，但并不等同于广泛采用。

应关注设备制造商是否宣布经验证的设计、量产计划和互操作性结果。跨混合工作负载的证据，将加强存储与内存控制器能够缓解数据路径压力的说法。

延迟、兼容性范围狭窄，或规格参数与应用结果之间存在较大差异，都会削弱这一论点。这些现象将表明，仅靠接口速度无法解决集成问题。

第二个信号是集群级效率。运营商越来越多地讨论每瓦 token 数、加速器利用率以及服务模型请求的成本。这些指标将技术设计与有用产出联系起来。

应关注同时说明工作负载和测量条件的披露内容。如果没有模型、精度、批量大小、延迟目标和完整系统功耗边界，每瓦 token 数这一指标意义不大。

生产工作负载中的利用率提升将支持系统论点。这意味着更好的内存放置、网络、存储和调度，使加速器在更多运行时间内保持高效工作。

尽管组件更新，利用率却没有提高，将表明软件协调或工作负载波动仍是主导问题。这也可能揭示，某一层的改进只是将拥塞转移到了别处。

第三个信号是设施部署速度。集成化和模块化系统承诺缩短硬件交付与投入生产运行之间的时间。其价值将取决于真实站点能否提供所需的电力和冷却条件。

应关注明确机架密度、冷却方式、调试时间和设施改造情况的客户部署案例。同时也应关注电力受限市场中的公用事业并网时间表和新增数据中心容量。

更短的部署周期将强化工厂集成和可重复机架设计的价值。若变电站、许可、冷却改造或当地反对意见持续造成延误，则表明设施约束仍占主导地位。

10 月 13 日的论坛可以阐明供应商正在建设什么，以及他们认为需求在哪里。它也可以揭示不同首选架构之间的差异。但它本身无法确定哪种方法能够带来最佳的生产经济性。

读者应留意精确的主张。演讲者是否说明了工作负载、测量边界和比较基准？供应商是否解释了哪些因素仍不在其控制范围内？

对于开放性的主张也应进行类似审视。支持标准接口固然有用，但有意义的互操作性要求不同供应商的产品能够在真实条件下协同运行。

同样的规则也适用于模块化。由可替换模块组装的机架并不会自动变得易于升级。电力、固件、冷却、网络拓扑和管理软件都可能保留隐藏依赖关系。

对企业买方而言，实际的应对方式是将基础设施视为一条链条进行评估。采购决策除了加速器可用性外，还应纳入数据路径、设施要求、软件依赖关系和支持模式。

开发者同样发挥作用。检索模式、上下文长度、缓存、批处理和模型路由都会影响基础设施需求。应用设计既可以减少数据移动，也可以放大它。

知识工作者会通过响应时间、可靠性和服务限制间接感受到其影响。当基础设施运行效率不高时，服务商最终会在产品可用性、使用政策或功能上线延迟中体现这些限制。

这使得 AI infrastructure bottlenecks take focus - SiliconANGLE 的意义超出了数据中心工程领域。问题已不再是行业能否打造更快的处理器，而是完整系统能否将自身容量转化为可靠、可负担的 AI 服务。

未来三个月应会给出初步答案。新控制器将进入客户评估阶段，OCP 会议将发布技术资料，供应商也会展示更多部署证据。

应将每项公告视为系统中的一块拼图，而非最终定论。关键要问的是：它是否能在现实约束下提升有效产出，以及周边基础设施能否承接这一变化。

GPU 竞赛尚未结束。它已扩展为一场围绕维持这些 GPU 持续运行所需一切条件的较量。关注认证结果、利用率数据和设施建设时间表，再判断哪些系统带来的不只是令人印象深刻的组件规格。