AWS 將 NeMo Switchyard 路由引入 Bedrock
AWS 於 11 月 13 日發布 NeMo Switchyard 路由架構,讓開發者可將經路由的編碼代理與單一模型方案比較。核心問題是切換模型能否降低完成工作的成本,當中包括失敗嘗試。單靠較低廉的模型呼叫成本,無法回答這個問題。
該架構將 Amazon Bedrock(AWS 的託管模型服務)連接至 LiteLLM;後者是一個將應用程式連接至模型供應商的開源閘道。NVIDIA NeMo Switchyard 提供模型選擇邏輯。AWS 使用 Cloud Development Kit(一個以程式碼定義雲端基礎設施的框架)部署該閘道。
比較將固定模型方案,與代理在工作過程中改變模型選擇的路由方案並列。兩者均不應自動獲得優勢。一個能力較強的模型,可藉更快完成工作來證明較高推論成本合理;而高效率模型若能可靠地完成例行工作,亦可能勝出。
NeMo Switchyard 路由取得 Bedrock 參考架構
AWS 發布的是部署及評估途徑,而非聲稱路由必定節省成本的結論。
11 月 13 日發布的路由架構在 Amazon ECS 與 Fargate 上部署配備 NVIDIA 外掛的 LiteLLM,兩者均為 AWS 的容器執行服務。其基準測試工作流程會把經路由的模型群組,與每個單獨運作的候選模型作比較。
這項分野界定了新聞本身。開發者獲得基礎設施及研究結果的方法,但不會得到哪個模型應處理所有編碼請求的通用答案。
模型群組是由已配置模型部署支援的公開模型名稱。應用程式請求該名稱,而閘道則選擇負責回應的部署。這將代理所請求的路線,與服務個別回合的模型分開。
對工程團隊而言,這種分離提供了一個可改變選擇策略的位置,而毋須將每項策略視為不同的應用程式。它亦增加了另一個需要評估的元件。閘道的存在,並不代表其選擇必然改善代理的工作。
相關的比較單位是已完成的任務。讀取檔案、提出修改建議,以及解讀測試失敗,均屬同一開發任務的一部分。逐一量度每個請求,會忽略這些決定如何影響餘下工作。
試想一個示範性的錯誤修正。代理檢查一項函式、更改其行為,並發現測試仍然失敗。只有當其後的選擇足以改善最終結果,並合理化之前投入的工作時,路由才會有用。
成本較低的首次嘗試,在成功時可以有利;但亦可能在另一個模型必須接手補救前,消耗時間及上下文。評估必須保留這兩種可能性。
因此,這項改變對已在作模型選擇決定的團隊最為重要。他們現有一個具體的 AWS 範例,可用於測試彈性替代方案。對固定模型感到滿意的團隊,在接受新增複雜性前仍需要證據。
這亦是一個整合故事,而非 Switchyard 的首次推出。實際進展在於一條 Bedrock 部署途徑,將模型選擇置於受控比較之旁。其價值取決於這些比較揭示甚麼。
因此,對這項公告最有力的解讀是狹義而實用的:AWS 令實驗更容易重現。開發者仍須自行判斷,實驗是否反映其程式庫、驗收準則及營運限制。
失敗嘗試令以 token 為本的比較面臨壓力
有用的經濟比較必須包括未成功的工作,因為未成功的工作同樣會消耗資源。
示例的編碼任務執行器以在已配置回合預算內通過測試來定義成功。其預設預算為六個模型回合,並保留文字記錄、工作區、修補程式及結果供檢查。
其每宗解決任務成本的計算方式,是將所有執行的估計開支除以成功執行次數。失敗執行仍保留在分子中。若沒有任何成功結果,計算便無法產生具意義的成功成果成本。
這種核算方式改變了誘因。一條路線不能只靠提出低成本請求來證明有效率;它必須完成足夠工作,才足以證明為嘗試該工作負載而付出的所有成本合理。
直接面對壓力的是比較模型的工程主管及平台團隊。token 單價很容易在目錄中比較;成功的開發成果則需要完成定義、一致的條件,以及失敗記錄。
數學關係很直接。較低開支可改善每宗解決任務成本,但較少成功次數亦可令其惡化。只根據開支作決定,便忽略了使該指標有用的分母。
反過來的情況同樣值得注意。若模型避免無效嘗試,即使推論成本較高,亦可能帶來更好結果。這種可能性避免評估在測試開始前,便假設哪一方必然勝出。
執行器的估算亦有界限。快取輸入、缺少用量資料及未知模型定價項目均不會被計價;這不代表它們是免費推論。這些估算不應被視為已對賬的帳單紀錄。
這項區分在比較配置時十分重要。一項核算不完整而看似低廉的執行,屬於不完整的觀察。即使其最終程式碼通過測試,亦不能支持與完整量度執行相同的結論。
對採購者而言,更廣泛的含意是模型採購與工作流程評估應一併處理。模型費率會影響結果;代理的行為則決定該費率套用的頻率,以及支出能否產生可接受的工作。
公平比較亦需要相同的成功機會。給予經路由代理比基準方案更多嘗試次數,會改變實驗;在不同條件之間改變任務指示、可用工具或驗收測試,亦同樣如此。
重複評估十分重要,因為一次成功嘗試對一致性說明不多。有說服力的結果應能通過另一次執行,並在審閱者檢查其失敗情況時保持可理解。單一有利結果只是進一步調查的線索。
團隊亦應將基準測試對完成的定義,與自身開發流程分開。通過所提供的測試是可觀察的結果;交付可維護的改動,可能需要該等測試以外的額外審查、文件及檢查。
這並非令以測試為本的評估失去作用,而是令其範圍清晰。當讀者確切理解成功的意思,以及計算包括哪些成本時,該指標便具價值。
因此,這個架構帶來的壓力,既屬方法論層面,也屬商業層面。選擇模型的團隊需要說明它完成了甚麼工作;選擇路由的團隊則需要說明,為何切換能改善同一結果。
階段路由會回應執行歷程
路由機制利用代理活動及結果的證據作選擇,而非假設最初請求已揭示整個任務。
階段路由是 Switchyard 以執行為基礎的選擇策略,會讀取工具活動及結果,以便在能力較強與效率較高的模型之間作選擇。NVIDIA 的執行路由文件描述了與進展、錯誤及工作停滯相關的訊號。
這種方法處理了在開始時判斷難度的限制。聽來簡單的請求,可能暴露未預期的依賴關係;令人卻步的請求,亦可能在代理找到相關程式碼後變得例行。
重要證據會在執行期間出現。失敗指令、重複而未成功的修復,或有效的修改,都會改變下一次模型請求需要完成的事情。路由嘗試在選擇模型時運用這些證據。
NVIDIA 將 efficient_first 描述為當證據未能定論時,預設採用高效率模型的策略。其信心閾值控制已評分訊號何時足以支持不同選擇。這是路由設定,而非任務成功機率。
這項區分避免常見誤解。路由器估計哪個模型應處理下一個請求,並不保證最終修補程式正確,亦不會取代評斷結果的測試。
對 NeMo Switchyard 路由而言,關鍵的營運問題是有用證據能否到達選擇邏輯。若代理省略相關工具歷程,選擇的依據便會減弱。因此,相容性亦包括回合之間攜帶的資訊。
一個假設性的修復說明箇中取捨。高效率模型或可成功處理局部修改;但若它反覆採用不成功的方法,切換便創造恢復機會,惟較早的嘗試仍屬任務成本一部分。
能力較強的模型亦會承接已完成的工作。這些歷程可以協助解釋問題,也可能包含誤導性的假設。切換模型不會自動消除令代理誤入歧途的推理。
因此,這套機制有別於承諾預先識別最佳模型。它會因應可觀察的執行情況作調整;其成功取決於這些觀察與下一回合所需能力之間的對應程度。
這與固定模型方案形成有用比較。全程使用同一模型可免除交接決定;路由增加彈性,但只有當較佳結果超過延遲升級及不必要切換的代價時,這種彈性才值得採用。
任何模型角色均不應成為對產品的永久判斷。「能力較強」及「效率較高」描述的是特定配置中被分配的位置。不同任務可呈現不同的優勢、弱點及經濟關係。
同樣的審慎也適用於調校。將更多請求路由至高效率候選模型的策略,已改變其行為;這不必然代表其經濟效益改善。完成率及恢復模式決定這種行為改變是否有幫助。
以執行為本的選擇亦令文字記錄更具價值。審閱者需要明白切換前發生了甚麼、所選模型其後做了甚麼,以及改變是否影響完成情況。單靠路線標籤無法解釋這個過程。
該架構的核心假設仍可測試:例行工作與困難的恢復工作,未必總需要同一模型。其實際貢獻是讓開發者可根據實際代理行為檢驗這項假設。
此外掛的限制比 Switchyard 本身更狹窄
Switchyard 其他地方記錄的功能,不應被假設可透過這個特定整合運作。
NVIDIA 的 LiteLLM plugin 支援 Stage 和 Random 路由,無需中途呼叫裁判模型。Stage 要求剛好兩個不同的候選項。Random 則以可選權重在候選項之間選擇。
以分類器支援的策略,包括 Task 和 Composite 路由,需要中途模型呼叫,而此整合無法提供這項服務。此 adapter 亦限制了支援的訊息格式。文字訊息、function tool calls,以及文字 tool results,構成其支援的對話路徑。
這些界線相當重要,因為「支援 Switchyard」並非完整的相容性說明。整合方式決定可用的路由行為。較大型專案的功能列表,無法確立這個已部署 gateway 會接受甚麼。
Random 路由與 Stage 有不同的分析用途。它提供流量分配,但不聲稱會解讀執行進度。比較兩者的結果,有助研究相對於只是在模型之間分配請求,對歷程敏感的選擇是否帶來額外價值。
這種比較需要審慎處理。路由決策發生於一項任務之中,而較早的回合會影響後續回合。請求層面的分流,不應自動被理解為彼此獨立、完整開發工作之間的乾淨比較。
該 plugin 亦區分公開路由與實際回答的模型。其 x-litellm-model-name 回應 header 標示獲選模型,而回應主體則保留群組名稱。成本核算應跟隨實際處理該請求的模型。
這帶來可觀測性的要求,即檢查系統實際行為的能力。若 client 丟棄選擇資訊,審查者便失去關於路由的證據。如此一來,最終通過或失敗便更難解釋。
這個參考實作將 Claude Opus 5.5 與 NVIDIA Nemotron 3 Super 120B 配對。AWS 表示,這個組合曾在美國東部(北維珍尼亞)測試。這個範圍並不能證明支援所有模型及 Region。
AWS 亦將該程式碼標示為供非生產環境評估之用,並指明此整合屬於實驗性質。因此,設定和介面變動對計劃長期運作服務的團隊而言,都是重要顧慮。
成功部署應據此解讀。它顯示已設定的系統可在測試條件下運作,卻不能證明它對另一個 agent、模型組合、工作負載或組織亦有可接受的表現。
地點限制亦需要同樣精確地理解。樣本的 global inference profile 可容許在部署 Region 以外處理請求。於指定地點運行 gateway,本身並不能確定每個模型請求實際在哪裏處理。
更宏觀的質疑在於經濟性。路由系統除了 inference 開支外,還引入基礎設施、維護和調查工作。組織在將 benchmark 結果轉化為營運成本主張前,應先計算這些責任。
小型任務亦留下重要問題未解答。長期調查、不熟悉的 repository,以及測試不完整的改動,都可能產生不同的失敗模式。這些都是擴大評估的理由,而非否定樣本的理由。
將這套架構視為有邊界的實驗時,最具可信性。其明確限制有助識別開發人員仍需驗證甚麼。忽略這些限制,會令由此得出的節省主張較不可信。
Bedrock 已提供另一種路由方式
真正相關的選擇,是哪一種選擇機制適合該工作負載和營運模式。
Amazon Bedrock 的 intelligent prompt routing 提供受管理的 endpoint,會根據預測的回應品質,在同一模型家族內進行路由。AWS 文件列出預設和可設定的 routers,其可用性取決於支援的模型和 Regions。
這與 Switchyard 樣本採用的執行歷程方法,以及其 Anthropic–NVIDIA 配對不同。比較的焦點是架構和選擇行為。現有文件並未證明任何一種方法可帶來更佳的程式開發結果。
對平台團隊而言,受管理路由改變了責任歸屬問題。由服務提供的機制與自行部署的 gateway,會令組織承擔不同責任。這些責任應與可選模型一併評估。
這個故事中的主要對手仍是固定模型執行。受管理路由提供有用的業界背景,但不會取代基準。團隊仍需知道,現有模型是否已能以合乎經濟效益的方式完成工作負載。
這個基準有實際優點。由於每個回合都使用相同的已設定模型,其行為較易歸因。審查者調查失敗時,毋須先判斷選擇政策是否造成影響。
路由提供另一種優勢。它容許模型分配隨工作而調整,而不是整項工作中維持不變。這種彈性只有在團隊的實際限制下改善結果時才有意義。
這個比較亦改變團隊應如何理解模型排名。出色的獨立結果,未必能自動預測它在路由系統中的最佳角色。復原表現和常規任務表現可能有不同的重要性。
同樣地,獨立表現較弱的候選項,若獲分配的任務符合其強項,仍可作出有用貢獻。這仍是假設,需要量度驗證。它參與路由並不代表該路由已找到最佳分配。
因此,企業買家應要求了解底層工作負載和決策條件。聲稱降低 inference 開支,需附帶相應完成率。聲稱改善品質,需附帶相應資源消耗。
當多人審閱這些實驗時,知識管理便變得相關。任務定義、設定變動和失敗說明需要保持可被搜尋。否則,團隊可能重複進行無人能重建條件的比較。
可搜尋的工程知識庫可將這些評估背景與技術文件一併保存。它支援日後審閱;但不會取代驗證結果所需的執行記錄。
因此,其業界意義比對 routers 日益熱衷更具體。模型選擇正成為開發工作流程中可量度的一環。這促使各方報告完整結果,而非只挑選帳單中方便的片段。
目前而言,這套架構擴展了可進行的實驗。它並未解決固定執行、受管理選擇和 gateway 政策之間的取捨。工作負載仍是決定性證據。
下一步證據需要可重現的勝果和完整核算
下一個有用結果,是在可比條件下可重複出現的改善,並且讓失敗和缺失的量度清晰可見。
首個值得觀察的訊號,是更廣泛的任務評估。未來數月內,應以具代表性的工作,將路由執行與兩個獨立候選項比較。應採用相同指令、tools、起始狀態和停止條件。
當每宗已解決任務的較低成本,在重複執行和困難工作中仍能維持時,結果便會強化路由的理據。若優勢在將失敗納入核算後消失,或任務變得較不熟悉時不復存在,理據便會減弱。
重要證據不只是平均值。審查者應檢視哪些任務改善、哪些退步,以及原因。一條有助常規維護但損害複雜修復的路由,支持的是較狹窄的部署決定。
NVIDIA 的 benchmark integration 透過其評估框架 NeMo Gym,提供了相關的比較紀律。它記錄部署條件,並區分獲選模型與路由名稱。當策略使用裁判時,它亦標示裁判 token 的核算方式。
這些細節不應與 AWS plugin 已啟用的能力混為一談。它們說明更完整的評估記錄可包含甚麼。當設定差異明確列出,而個別結果仍可追溯時,可比性便會更強。
第二個訊號是營運成熟度。整合支援、訊息處理和部署指引的變動,將顯示從實驗到可靠使用之間還剩多少工作。清晰的升級路徑會強化持續採用的理據。
相反的訊號,將是反覆出現的不相容情況,令更新後的結果難以重現。團隊需要理解,改變後的結果來自模型、政策、adapter 還是 agent。未記錄的變動會破壞這種理解。
第三個訊號是完整成本核算。inference 估算最終應連同基礎設施開支及營運 gateway 所需的人力一併評估。當路由產出需要大量修補的工作時,開發人員介入亦同樣重要。
若路由優勢在這個更廣泛的核算下仍然存在,便支持更有力的商業理據。若優勢消失,仍是有用證據。它顯示在哪些情況下,較簡單的固定模型設定仍是更佳選擇。
下一輪評估應先明確定義可接受工作的標準。選擇具代表性的工作,保留起始狀態,並將路由執行與每個獨立候選項比較。保留未成功的嘗試,並調查依賴異常有利運行的結果。
然後檢視實際交接情況。切換是否幫助 agent 復原,還是只將原本能力較強的模型能更早完成的工作延後?將測試結果與可維護性主張分開,並區分估算的 inference 開支與總營運成本。NeMo Switchyard 路由提供了在 Bedrock 上研究這些問題的具體方法。在選擇預設設定前,應問哪一種設定能反覆以最低總人力和開支,交付可接受的改動。



