AWS 将 NeMo Switchyard 路由引入 Bedrock
AWS 于 11 月 13 日发布了一套 NeMo Switchyard 路由架构,让开发者能够将路由式编码智能体与单一模型方案进行比较。核心问题在于:切换模型能否降低完成工作的成本,其中也包括失败尝试的成本。仅凭一次更便宜的模型调用,无法回答这个问题。
该架构将 Amazon Bedrock——AWS 的托管模型服务——与 LiteLLM 相连;LiteLLM 是一个将应用程序连接至模型提供商的开源网关。NVIDIA NeMo Switchyard 提供模型选择逻辑。AWS 使用 Cloud Development Kit(一种以代码定义云基础设施的框架)部署该网关。
这一比较将固定模型方案与智能体在工作过程中动态改变模型选择的路由方案相对照。两种方案都不应被默认视为更优。能力更强的模型可以通过更快完成任务来证明更高推理成本的合理性,而高效模型则可能在可靠完成常规工作时胜出。
NeMo Switchyard 路由获得 Bedrock 参考架构
AWS 发布的是一条部署与评估路径,而非“路由总能省钱”的结论。
11 月 13 日发布的路由架构在 Amazon ECS 和 Fargate 上部署了带有 NVIDIA 插件的 LiteLLM;两者均为 AWS 的容器运行服务。其基准测试流程将一个路由模型组与每个单独运行的候选模型进行比较。
这一差异定义了新闻的重点。开发者获得了基础设施和一套研究结果的方法,但并未获得关于哪种模型应处理每一项编码请求的通用答案。
模型组是由已配置模型部署支持的公开模型名称。应用程序请求该名称,而网关选择实际作出响应的部署。这将智能体请求的路由与为单次交互提供服务的模型分离开来。
对于工程团队而言,这种分离提供了一个调整选择策略的位置,而无需将每一项策略都当作不同的应用程序。它也增加了一个需要评估的组件。网关的存在并不能证明其选择能够改善智能体的工作成果。
相关的比较单位是已完成的任务。读取文件、提出修改建议以及解读测试失败,都属于同一项开发任务。分别衡量每个请求,会忽略这些决策如何影响后续工作。
以一个假设性的错误修复为例:智能体检查一个函数,修改其行为,并发现测试仍然失败。只有当后续的路由选择对最终结果的改善足以证明先前工作的合理性时,路由才有价值。
成本更低的首次尝试在成功时可能有益。但在另一个模型不得不接手恢复之前,它也可能消耗时间和上下文。评估必须保留这两种可能性。
因此,这一变化对已经在作模型选择决策的团队最为重要。现在,他们拥有了一个可用于测试灵活替代方案的具体 AWS 示例。对固定模型感到满意的团队,仍需要证据才能接受额外的复杂性。
这同样是一个集成故事,而不是 Switchyard 的首次发布。实际进展在于提供了一条 Bedrock 部署路径,将模型选择置于受控比较的旁边。其价值取决于这些比较揭示了什么。
因此,对该公告最有力的解读既谨慎又实用:AWS 让一项实验更容易复现。开发者仍需决定该实验是否反映了他们的代码仓库、验收标准和运行约束。
失败尝试令基于 token 的比较承压
有用的经济比较必须包含未成功的工作,因为未成功的工作同样会消耗资源。
示例中的编码任务运行器将成功定义为:在配置的交互轮次预算内通过测试。其默认预算为六次模型交互。它会保留记录、工作区、补丁和结果,以便检查。
其“每项已解决任务成本”的计算方式,是将所有运行的估算支出除以成功运行的数量。失败运行仍保留在分子中。当没有任务成功时,该计算无法得出有意义的成功结果成本。
这种核算方式改变了激励机制。一条路由不能仅凭发出低价请求就证明自己高效。它需要完成足够多的工作,以证明为尝试这些工作所付出的全部成本是合理的。
直接的压力落在比较模型的工程经理和平台团队身上。模型目录中的 token 费率很容易横向比较。成功的开发结果则需要完成标准、一致的条件以及失败记录。
数学关系很直接。更低的支出可以改善每项已解决任务的成本,但更少的成功次数可能令其恶化。只根据支出作出决策,忽略了使该指标有用的分母。
反过来的情况同样值得关注。如果一个模型避免了无效尝试,即使其推理成本更高,也可能交付更好的结果。这种可能性避免了评估在测试开始前就预设偏好的赢家。
运行器的估算也有边界。缓存输入、缺失的用量信息和未知的模型定价条目仍未被定价;它们并不会因此成为免费的推理。这些估算不应被表述为已核对的计费记录。
在比较不同配置时,这一区别尤为重要。一次核算不完整、看似便宜的运行,只是一项不完整的观察。即使其最终代码通过测试,也不能支持与完整测量运行相同的结论。
对采购方而言,更广泛的含义是,模型采购和工作流评估应当结合进行。模型费率会影响结果。智能体的行为则决定该费率会被应用多少次,以及这些支出是否产出可接受的工作。
公平比较还需要给予相同的成功机会。让路由智能体拥有比基线更多的尝试次数,会改变实验。不同条件下改变任务说明、可用工具或验收测试,也同样如此。
重复评估很重要,因为一次成功的尝试几乎无法说明一致性。令人信服的结果应能经受再次运行,并在审查者检查其失败情况时仍然易于理解。一次孤立的有利结果,只是进一步调查的线索。
团队还应将基准测试对“完成”的定义与自身开发流程区分开来。通过提供的测试是一项可观察的结果。交付一项可维护的变更,可能还需要这些测试之外的额外审查、文档和检查。
这并不意味着基于测试的评估没有帮助,而是明确了它的范围。当读者准确理解成功的含义以及计算包含哪些成本时,该指标才有价值。
因此,这一架构带来的压力既关乎方法论,也关乎商业选择。选择模型的团队需要说明它完成了什么工作。选择路由的团队需要说明为何切换模型能够改善同一结果。
阶段路由响应执行历史
该路由机制利用智能体活动中的证据,而不是假定初始请求已经揭示任务的全貌。
阶段路由是 Switchyard 基于执行的选择策略;它读取工具活动和结果,在能力型模型与高效型模型之间作出选择。NVIDIA 的执行路由文档描述了与进展、错误和工作停滞相关的信号。
这种方法应对了在任务开始时判断难度的局限性。一个听起来简单的请求可能暴露出意料之外的依赖关系。一项看似令人生畏的请求,也可能在智能体定位到相关代码后变得常规。
重要证据在执行过程中出现。失败的命令、重复且未成功的修复,或富有成效的编辑,都会改变下一次模型请求需要完成的工作。路由试图在选择模型时利用这些证据。
NVIDIA 将 efficient_first 描述为一种策略:当证据尚无定论时,默认选择高效模型。其置信度阈值控制何时评分信号足以证明不同选择的合理性。这是路由设置,而不是任务将会成功的概率。
这一区别避免了一种常见误解。路由器估计哪一个模型应处理下一次请求。它不会认证最终补丁的正确性,也不会取代用于评判结果的测试。
对于 NeMo Switchyard 路由而言,关键的运行问题是,有用证据是否能够到达选择逻辑。若智能体遗漏相关工具历史,选择的依据就会被削弱。因此,兼容性还包括在不同交互轮次间携带的信息。
一个假设性的修复说明了这种权衡。高效模型或许能够成功处理局部编辑。如果它反而重复采取无效方法,切换模型就创造了恢复机会,但之前的尝试仍是任务成本的一部分。
能力型模型也会继承已完成的工作。这些历史有助于解释问题,也可能包含误导智能体的假设。切换模型并不会自动消除让智能体误入歧途的推理过程。
因此,这种机制不同于承诺预先识别最佳模型。它会适应可观察到的执行情况。其成功取决于这些观察与下一轮所需能力之间的对应程度。
这为与固定模型方案的比较创造了有用的参照。全程保留一个模型消除了交接决策。路由增加了灵活性,但只有当更好的结果超过延迟升级和不必要切换的代价时,这种灵活性才有存在价值。
两种模型角色都不应成为对某个产品的永久判断。“能力型”和“高效型”描述的是它们在特定配置中的指定位置。不同任务可能展现不同的优势、弱点和经济关系。
同样的谨慎也适用于调优。一项将更多请求路由至高效候选模型的策略,改变了其行为,但未必改善了其经济性。完成率和恢复模式决定这种行为变化是否有帮助。
基于执行的选择也让记录变得更有价值。审查者需要理解切换前发生了什么,被选中的模型随后做了什么,以及这种变化是否影响了完成情况。单凭一个路由标签无法解释这一过程。
该架构的核心假设仍可检验:常规工作和困难恢复并不总是需要同一种模型。它的实际贡献,是让开发者能够依据真实的智能体行为检验这一假设。
该插件的限制比 Switchyard 本身更为狭窄
不应假定 Switchyard 在其他地方记录的能力能够通过这一特定集成正常运行。
NVIDIA 的 LiteLLM plugin 支持无需中间裁判模型调用的 Stage 和 Random 路由。Stage 要求恰好两个互不相同的候选项。Random 则使用可选权重在候选项之间进行选择。
包括 Task 和 Composite 路由在内的分类器驱动策略,需要该集成无法提供服务的中间模型调用。该适配器也限制了所支持的消息格式。文本消息、函数工具调用和文本工具结果构成其支持的对话路径。
这些边界至关重要,因为“支持 Switchyard”并不是完整的兼容性说明。集成决定了哪些路由行为可用。更广泛项目的功能列表无法证明已部署网关将接受什么内容。
Random 路由与 Stage 的分析目的不同。它提供流量分配,但并不声称能解释执行进度。比较两者的结果,有助于研究对历史敏感的选择是否比单纯将请求分配给不同模型更有价值。
这种比较需要谨慎对待。路由决策发生在一个任务中,而任务的早期轮次会影响后续轮次。请求级别的流量分配不应自动被解读为对彼此独立、完整开发任务的干净比较。
该 plugin 还区分了公开路由与实际回答的模型。其 x-litellm-model-name 响应头标识所选模型,而响应正文保留组名称。成本核算应以实际处理请求的模型为准。
这带来了可观测性要求,即检查系统实际行为的能力。如果客户端丢弃了选择信息,审查人员就会失去有关路由的证据。最终通过或失败也将更难解释。
参考实现 将 Claude Opus 5.5 与 NVIDIA Nemotron 3 Super 120B 配对。AWS 表示,这一组合已在美国东部(弗吉尼亚北部)测试。该范围并不能证明其支持所有模型和 Region。
AWS 还将这份代码标注为用于非生产环境评估,并将该集成认定为实验性功能。因此,对于计划建设长期服务的团队而言,配置和接口变更是实质性问题。
因此,成功部署应据此解读。它表明经过配置的系统可以在已测试条件下运行;并不能证明其针对不同的 agent、模型组合、工作负载或组织也具有可接受的行为。
位置限制同样需要精确说明。示例中的全局推理配置文件可能允许在部署 Region 之外处理请求。仅在选定地点运行网关,本身并不能确定每个模型请求都在哪里处理。
更大的审慎观点在于经济性。路由系统除推理支出外,还会带来基础设施、维护和调查工作。组织应在将基准结果转化为运营成本主张之前,核算这些义务。
小型任务同样留下了重要问题。长期调查、不熟悉的代码库,以及测试不完整的变更,可能产生不同的失败模式。这些都是扩展评估的理由,而不是否定该示例的理由。
当被视为一项有边界的实验时,这一架构最具可信度。其明确的限制有助于识别开发人员仍需验证的事项。忽视这些限制会削弱由此得出的节省成本主张的可信度。
Bedrock 已提供另一种路由方式
真正相关的选择是,哪种选择机制适合该工作负载和运营模式。
Amazon Bedrock 的 智能提示路由 提供托管端点,可依据预测的响应质量在同一模型家族内进行路由。AWS 记录了默认和可配置路由器,其可用性取决于所支持的模型和 Region。
这与 Switchyard 示例基于执行历史的方法,以及其 Anthropic–NVIDIA 配对不同。比较涉及的是架构和选择行为。现有文档并不能证明任何一种方法能带来更好的编码结果。
对于平台团队而言,托管路由改变了责任归属问题。由服务提供的机制与自行部署的网关,会让组织承担不同责任。这些责任应与可选模型一并评估。
这个故事中的主要对手仍是固定模型执行。托管路由提供了有益的行业背景,但并不能替代基线。团队仍需了解现有模型是否已经能以经济的方式完成工作负载。
该基线具有实际优势。由于每一轮都使用同一个已配置模型,其行为更容易归因。审查人员可以调查失败,而无需先判断选择策略是否对此有贡献。
路由提供的是另一种优势。它允许模型分配随工作内容变化,而不是在整个任务中保持不变。只有当这种灵活性在团队的实际约束下改善结果时,它才有意义。
这种比较也改变了团队解读模型排名的方式。强大的独立表现并不自动预示其会在路由系统中扮演最佳角色。恢复能力和常规任务表现的重要性可能不同。
同样,较弱的独立候选模型仍可能贡献有用工作,前提是分配给它的任务符合其优势。这仍是一项需要测量的假设。它参与某条路由,并不能证明该路由已找到最优分配。
因此,企业买家应要求了解底层工作负载和决策条件。关于降低推理支出的说法需要对应的完成率;关于提升质量的说法需要对应的资源消耗。
当多人审查这些实验时,知识管理便变得相关。任务定义、配置变更和失败解释需要保持可发现性。否则,团队可能重复进行无人能够重建条件的比较。
可搜索的工程知识库可将这一评估背景与技术文档一同保留。它支持后续审查;但不能替代验证结果所需的执行记录。
因此,其行业意义比路由器日益受欢迎更为具体。模型选择正成为开发工作流中可衡量的一部分。这会带来压力,要求报告完整结果,而非账单中方便展示的片段。
目前,这一架构扩展了可进行的实验范围。它并未解决固定执行、托管选择和网关策略之间的取舍。工作负载仍是决定性证据。
接下来的证据需要可复现的胜利和完整核算
下一项有用的结果,应是在可比条件下可重复获得的改进,并让失败与缺失测量清晰可见。
首先值得关注的信号是更广泛的任务评估。未来几个月中,应在具有代表性的工作上,将路由运行与两个独立候选模型进行比较。应采用相同的指令、工具、起始状态和停止条件。
当每个已解决任务的较低成本能够在重复运行和困难任务中持续存在时,结果会增强路由的论据。当失败纳入核算后优势消失,或任务变得不再熟悉时,则会削弱这一论据。
重要证据不只是平均值。审查人员应检查哪些任务有所改善、哪些退步,以及原因。若一条路由有助于常规维护却损害复杂修复,则支持的是更狭窄的部署决策。
NVIDIA 的基准测试集成通过其评估框架 NeMo Gym 提供了相关的比较纪律。它记录部署条件,并区分所选模型和路由名称。当某项策略使用裁判模型时,它还标识裁判 token 的核算。
这些细节不应与 AWS plugin 中启用的能力混为一谈。它们说明更完整的评估记录可以包含哪些内容。当配置差异明确、个体结果仍可追溯时,可比性会更强。
第二个信号是运营成熟度。集成支持、消息处理和部署指南的变更,将表明从实验到可靠使用之间还剩多少工作。明确的升级路径将加强持续采用的理由。
相反的信号将是反复出现的不兼容问题,使结果在更新后难以复现。团队需要了解,变化的结果究竟来自模型、策略、适配器还是 agent。未记录的变更会破坏这种理解。
第三个信号是完整成本核算。最终应将推理估算与基础设施支出及运营网关所需的人力一并评估。当路由产生需要大量修复的工作时,开发人员的干预同样重要。
若路由优势经受住这种更广泛的核算,便能支持更有力的商业论证。若优势消失,仍然是有用证据。它将显示在哪些场景下,更简单的固定模型配置仍是更好的选择。
下一轮评估应从对可接受工作成果的明确界定开始。选择具有代表性的任务,保留起始状态,并将路由执行与每个独立候选模型进行比较。保留失败尝试,并调查那些依赖异常有利运行的结果。
随后检查实际的交接过程。切换是否帮助 agent 恢复,还是推迟了有能力的模型本可更早完成的工作?将测试结果与有关可维护性的主张分开,并区分估算的推理支出与总运营成本。NeMo Switchyard 路由提供了在 Bedrock 上研究这些问题的具体方式。在选择默认配置之前,应问清:哪种配置能够以最少的总投入和支出,持续交付可接受的变更。



