top of page

Exa 在 AWS AI 芯片上的嵌入吞吐量提升

1天前
讀畢需時 12 分鐘
Image from the source report. Source: aws.amazon.com.

Exa 表示,在准备使用 AWS AI 芯片重新处理 300 亿份文档期间,其自定义软件将嵌入吞吐量提升了约 50%。嵌入是支持基于语义搜索的数值表示,处于该公司的爬虫与可搜索索引之间。更快的处理速度至关重要,因为每一份符合条件的文档都必须经过这一阶段,用户才能检索到它。

Exa 的嵌入吞吐量报告所描述的结果,比其四舍五入后的标题更加具体。最终实现相较于初始实现,据称在每百万份文档的性能和成本方面提升了 47%。这一比较针对的是 Exa 在 AWS Neuron 硬件上的工作负载,并不意味着云价格普遍下降,也不是经独立验证、相较竞争芯片的优势。

核心矛盾在于便捷的通用软件与让大规模搜索具备可负担性所需的专门工程之间。Exa 构建了自己的向量数据库,即一种存储和检索数值表示的系统。Pinecone 则代表另一种路径,提供托管式搜索基础设施。Exa 的说明揭示了两种路径之下的实际工作:在模型持续改进、文档集合不断变化的情况下,维持可负担的数据摄取成本。

Exa 的嵌入吞吐量在一次重大重构期间得到提升

模型迁移带来了直接压力:必须从相同硬件中榨取更多处理能力。

根据 Exa 的嵌入推理优化说明,其团队选定了 300 亿份高优先级文档进行重新处理。该报告于 2026 年 11 月 18 日发布。这个发布日期说明的是技术报告的发布时点,而非用于确定每一项部署或优化发生的时间。

触发因素是转向 Exa 所称更优的文档模型。现有文档需要新的表示,才能填充替代索引。与此同时,线上系统仍须处理新进入的内容,并服务于现有索引。

Exa 描述了共享相同抓取和解析阶段的并行嵌入管线。一条管线维持线上模型和索引;另一条则使用替代模型处理优先级文档。该公司称,这次迁移暂时使其嵌入负载翻倍。

这一区别解释了为何一项看似常规的基础设施项目具有商业上的重要性。更好的模型会对现有集合带来迁移义务,同时还要持续保持搜索内容更新。公司不能只通过处理新发现页面的成本来评估这一义务。

初始实现采用了 FP16——一种以 16 位表示数值的格式——以及直接的并行处理。随后,Exa 改变了模型在 Inferentia2 上的执行方式。其改动包括权重布局调整、编译器精度设置、采用既有优化操作,以及自定义代码。

报告中的 Inferentia2 测量结果针对 inf2.xlarge 实例,该实例包含一枚芯片和两个 NeuronCore,即芯片的处理核心。Exa 表示,每个工作负载运行在一个核心上。公司将这些工作负载打包至更大的实例上,而不是让可用核心闲置。

这一部署细节有助于界定比较范围。Exa 测量的是,相对于该硬件系列上自身初始实现的改进。该说明并未证明 Inferentia2 在嵌入推理方面优于所有替代方案。

它同样不能证明,整个文档重构已在报告期内完成。选择 300 亿份文档描述的是迁移工作负载,不应演变为关于已完成处理、索引覆盖范围或当前服务能力的无依据说法。

读者应记住的变化更窄,但也更有用:Exa 报告称,通过多项软件干预,其现有嵌入工作负载的效率显著提升。硬件提供了执行平台,而优化工作决定了应用程序对这一平台的利用效率。

更好的搜索模型带来了另一笔数据摄取成本

压力落在搜索运营者身上:他们必须为模型升级提供资金,同时不能让线上索引落后。

Exa 的架构使处理成本与产品质量之间的关系格外清晰。其管线会抓取文档、解析文档、审核和过滤文档,然后生成嵌入。只有在此之后,符合条件的文档才会进入为搜索提供服务的向量数据库。

该公司描述了一条异步管线,即处理阶段无需立即响应单个搜索请求。这种灵活性有助于安排工作,但不会消除及时处理最新信息的需要。

等待生成嵌入的文档,无法通过该服务路径发挥作用。对搜索用户而言,关键结果是有用信息能否足够快地变得可检索。其运营层面的后果是,积压将基础设施效率与可用结果的新鲜度联系起来。

模型迁移又为同一系统增加了另一项需求。新文档持续涌入,而先前已处理的文档则需要替换表示。Exa 的嵌入负载暂时翻倍,说明在用户获得收益之前,改进检索能力可能会带来重大的基础设施义务。

这给选择模型的团队以及采购算力的团队都带来了压力。模型的实用性,部分取决于运营者能否将其部署到目标集合中。评估集上更好的检索效果,本身并不能证明存在可负担的迁移路径。

同样的问题也会以较小规模出现在企业搜索中。更换文档模型的组织必须考虑既有文件、持续进入的材料,以及不同表示之间的过渡。这一类比涉及迁移机制,而非声称企业部署与 Exa 具有相同的测量经济性。

对于正在构建可搜索知识库的读者而言,这种联系很实际。搜索质量既取决于模型,也取决于使文档持续可用的流程。能力再强的模型,也无法检索尚未进入可搜索集合的材料。

Pinecone 提供了一个有用的行业对比,因为其托管式搜索路径为运营者的职责划定了不同边界。Exa 拥有自己的向量数据库,并描述了其在更广泛搜索系统中进行的底层推理调优。这些路径以不同方式分配工程工作,但并未确立两家公司之间的性能排名。

因此,Exa 的报告对“选择加速器即完成成本决策”的假设提出了挑战。对于一个在数十亿份文档上长期运行的模型,特定于应用的工程工作成为采购计算的一部分。相关比较应包括每种可用实现实际带来的结果。

新鲜度论点也存在局限。更快的嵌入能缓解一个阶段的压力;但它不会自动加快抓取、审核、存储或检索。Exa 的结果支持的是推理效率方面的主张,而端到端搜索的改进仍需要各自的测量。

自定义内核消除了模型不需要的工作

Exa 将收益归因于更优布局、更少内存流量和更少不必要的计算,而非单一的硬件切换。

最初的改动涉及权重布局,即模型已学习数值参数的排列方式。Exa 表示,使该布局与模型执行方式保持一致,消除了不必要的转置——即重新排列矩阵维度的操作。避免这些重新排列,在不改变目标模型的前提下减少了工作量。

团队还启用了 autocast,这是一项为特定计算选择较低精度的编译器功能。Exa 表示,这使矩阵乘法可以使用较低精度,同时保留动态范围。输出仍必须满足公司的数值验收测试。

接下来是优化内核,即在加速器上执行单项模型操作的小型程序。AWS 的 Neuron Kernel Interface(NKI)让开发者能够编写这些程序。Exa 最初采用了现有的注意力内核,它负责处理对输入各部分之间关系加权的计算。

据该公司称,这一替换提升了性能,但进一步分析发现了另一项约束。中间数据反复溢出到高带宽内存,即加速器的主高速内存中。重新加载这些数值会中断有效计算,并妨碍矩阵计算引擎得到充分利用。

Exa 随后采用了自定义融合 SwiGLU MLP 内核。SwiGLU 是一种用于多层感知器中的门控激活函数;多层感知器是一种用于转换中间表示的神经网络模块。融合将相关操作合并,使中间结果在不同执行步骤之间的移动需求减少。

该公司表示,其实现消除了观察到的内存停顿。它将大部分代码保留在更高层级的 NKI 构造中,仅针对选定张量操作使用更低层级的指令。这一选择旨在保留可读性和调试能力,同时在需要处保有控制权。

AWS 将硬件执行分析记录为一种检查计算和数据移动的方式。这类追踪有助于区分执行有效计算所花的时间与等待传输所花的时间。它们支持诊断,但相关文档并未独立验证 Exa 的结果。

当 Exa 将一个活跃核心与两个核心同时运行进行比较时,后续又出现了障碍。该公司观察到,整体性能低于孤立测量所暗示的水平。这一发现指向资源争用,并挑战了增加并行工作会按比例扩展的假设。

最终的注意力重写针对模型的精确维度。Exa 表示,它移除了与填充相关的计算;填充是为使输入符合预期形状而加入的额外数值。它还将注意力操作合并为更少的矩阵乘法,减少了重复指令步骤和内存往返。

这正是 Exa 嵌入吞吐量优化的技术意义:通用内核支持了初始部署,但针对模型的假设释放了进一步收益。软件不再为该工作负载并不需要的灵活性付费。这种专门化既解释了报告中的收益,也说明了为何另一种模型不应期待相同结果。

编码智能体在可测量的反馈循环中工作

Exa 的说明将验证基础设施置于智能体辅助优化的核心位置。

Exa 表示,智能体在一个会检查正确性、测量持续性能并生成分析结果的工作流中开发了这些优化。因此,这些智能体从可执行测试和实际硬件中获得反馈。它们提出的改动必须经受的不仅仅是代码审查或看似合理的解释。

该工作流使用了 Flyte——一个用于协调机器学习任务的平台。每个代理都会为 Neuron 硬件编译可执行文件,并根据基线数据集核验模型执行结果。只有满足数值验收阈值的输出,才会进入后续评估。

该阈值为 0.999 余弦相似度,用于衡量数值向量之间的对齐程度。Exa 将优化后的输出与其规范模型进行比较,后者是用于验证的参考实现。该阈值为识别不可接受的输出变化提供了一道明确关卡。

该测试框架还会对一次模型执行进行性能分析,并在真实硬件上运行 30 分钟的饱和度基准测试。饱和度测试会持续让设备保持忙碌,以衡量其持续处理能力。这不同于为一次短暂、孤立的操作计时,因为后者可能掩盖资源争用或部署限制。

Exa 为不同任务分配了不同能力的代理。较轻量的模型用于搜索编译器参数,推理型代理用于调查瓶颈,更强的代码生成器则用于编写自定义内核。该报告将任务匹配视为控制开发支出的一种方式,同时仍可使用要求更高的推理能力。

该公司也承认一个实际问题:代理未必了解当前的平台语法与功能。它通过开发指导来弥合这一差距。这一点很重要,因为专用加速器软件持续变化,而看似自信生成的代码仍可能面向已过时的接口。

AWS 的 NKI release notes 记录了编程接口和工具链的持续变化。这些变化进一步说明,有必要固定环境并验证行为。但它们并不能证明 Exa 通过代理节省了多少工程时间。

这种区分让自动化主张保持在有据可依的范围内。Exa 报告称,代理完成了优化工作,但该叙述并未提供与纯人工团队的受控比较。它同样没有说明总开发成本或持续维护负担。

根据公司的描述,该案例所展示的是一套具有明确验收条件的开发流程。生成的代码拥有参考输出、硬件测量和诊断跟踪。这些机制使团队能够拒绝那些看似有前景、却在实际执行中失败的改动。

对于基础设施团队而言,讨论重点因此从代理能否编写底层代码,转向组织能否可靠地评估这些代码。真正有价值的资产是完整的反馈闭环。移除这一闭环后,同样的生成方案对于正确性和运营价值的证据将大幅减弱。

所报告的 47% 提升具有明确边界

这一结果是针对特定工作负载的改进,成本核算、检索质量和可迁移性仍存在未解问题。

Exa 将最终结果描述为:相较于初始基线,性能以及每百万份嵌入文档的成本提升了 47%。其图表和标题将吞吐量变化概括为约为起始水平的 1.5 倍。这些说法应保留公司的归属说明和比较边界。

吞吐量提升与单篇文档成本下降存在关联,但二者的百分比变化不能互换。固定资源产出更多结果可以改善单位经济性,但这并不能将 Exa 的表述改写为支出普遍降低 47%。

该报告没有提供足够细节,无法重建不同部署方案之间完整的财务比较。读者需要在利用率、实例选择、运行条件及纳入费用等方面采用一致的假设。评估自定义内核的完整回报时,工程和维护成本同样重要。

基线同样关键。Exa 从一个直接的实现开始,并逐步进行改进。这建立的是项目内部的前后对比,而非证明其优于另一种加速器上的最佳可用实现。

该叙述中没有与竞争芯片进行匹配的测试结果,因而无法为其他组织的采购决策下定论。比较硬件的买方需要在可比条件下使用具有代表性的模型和输入分布。Exa 的经验指出了值得研究的机制,而非提供通用排名。

数值正确性也有其边界。通过 0.999 相似度门槛,支持在验证流程中与所选参考实现保持一致,但并不能证明每个查询都会产生完全相同的排序,也不能证明每类文档都保留相同的检索行为。

搜索评估必须检验用户实际获得的结果。微小的数值变化会因所涉文档和查询不同而产生不同影响。报告中的验证阈值是有用证据,但独立的检索质量测量回答的是另一个问题。

同样,30 分钟的饱和度基准测试支持一项持续的硬件测量,但并不代表所有生产环境条件。输入长度、并发工作、中断及其他流水线阶段都可能影响实际服务性能。该出版物并未证明该基准测试涵盖了所有这些条件。

专用化还带来另一个维护问题。针对模型维度定制的内核利用了某些假设,而后续模型修订可能会改变这些假设。Exa 并未量化在下一次迁移中需要重新审视多少优化工作。

该报告还称,这项工作可迁移至 Trainium2——另一个 AWS 加速器系列。根据 Exa 的说法,这构成了可复用性的证据,而非证明每种配置都能获得相同增益。要精确描述每一项硬件部署,仍需要单独测量。

这些限制并未抹去 Exa AWS 推理效率的意义。它们界定了证据所能支持的结论。最有力且得到支持的结论是:Exa 报告称,通过调优自身嵌入工作负载获得了显著收益,并采用了其他运营方可审视和借鉴的验证方法。

关注生产经济性、硬件复用与迁移质量

下一步证据应将内核性能与持续生产成果,以及未来模型变更的成本联系起来。

第一个信号是明确区分吞吐量、单位成本和文档新鲜度的生产环境比较。Exa 的报告将嵌入能力与从发现到提供服务之间的延迟联系起来。对这些阶段进行测量,将显示优化后的实现是否带来了预期的运营收益。

一项有价值的披露应保留相同的工作负载边界,同时说明成本计算包含哪些项目。这将强化对结果的经济学解读。若收益在正常利用率下收窄,则会削弱将饱和度表现视为生产预测的理由。

第二个信号是在 Trainium2 及额外部署条件下测得的复用情况。Exa 表示,其 Inferentia2 工作可直接迁移,而其更广泛的策略取决于拥有更多可用的硬件选择。可比结果将显示有多少价值能够超越最初的调优环境而延续。

Exa 描述了通过一个 Kubernetes 控制平面跨区域调度的方式;该管理层用于协调容器化工作负载。其调度器会比较不同实例类型的每美元性能,并据此部署工作负载。该公司称,这种灵活性有助于吸收闲置容量,或释放其他地方所需的资源。

这种调度策略改变了优化的目的。当某个硬件系列能为工作负载提供一个有效的额外运行位置时,它便具有价值。即使底层模型保持不变,最佳选择也可能随容量和需求而改变。

若证据表明自定义代码在不同部署间需要大量重写,将削弱可复用性的论点。若证据显示在受支持硬件上保持稳定正确性和持续效率,则会加强这一论点。两种结果都不应仅凭流程可在两个系列上运行的说法而被假定。

第三个信号是下一次模型迁移,尤其是其维护负担和检索质量结果。Exa 当前的叙述始于:更好的文档模型需要重新处理现有材料。后续升级将检验这一工程投入能否在模型要求变化时继续发挥作用。

如果下一代模型保留了优化执行路径的大部分,收益便会延伸至最初的回填任务之外。如果它使关键假设失效,公司就必须在新的调优工作与预期的处理节省之间进行权衡。这种关系将有助于判断该方法能否持久有效。

对于开发者和买方而言,应结合自身工作负载的边界来理解 Exa 的嵌入吞吐量结果。确定你的限制因素是文档处理、检索质量、容量可用性,还是流水线中的其他阶段。要求提供能够将拟议优化与该限制因素关联起来的生产环境测量。

然后检验:当模型变化且首选硬件变得稀缺时,该实现是否仍具经济性。仅通过一个标题百分比来解释 Exa 的嵌入优化,会忽略这些运行条件。请利用这一案例,要求更清晰的基线、明确的验证,以及证明有用文档能够更快进入搜索的证据。对于你所运行的系统,哪项测量能够确立这一收益?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page