top of page

SGLang-Neuron 部署進入 AWS Trainium 預覽版

53 分鐘前
讀畢需時 11 分鐘

AWS 於 11 月 12 日向公眾開放 SGLang-Neuron 部署,在保留重要預覽版限制的同時,為 Trainium 帶來熟悉的模型服務介面。SGLang 是用於運行 AI 模型及處理生成請求的軟件。Trainium 是 AWS 的 AI 加速器系列。兩者結合後,讓開發者可選擇另一條硬件路徑,而毋須改用不同的面向應用程式服務流程。

眼前的變化關乎軟件可攜性,即將既有工作流程帶到不同硬件上的能力。AWS 表示,開發者可以服務受支援的模型,並生成強化學習 rollout,即在基於獎勵的訓練中使用的模型回應。然而,熟悉的介面不代表不同硬件平台之間具備相同的功能覆蓋、運作行為或效能。

這項差異為正在評估現有 GPU 部署替代方案的基建團隊帶來核心壓力;這些部署使用圖形處理器進行 AI 運算。SGLang-Neuron 透過這些團隊熟悉的軟件,令 Trainium 更易於評估。買家仍需證明其特定模型、請求模式及營運要求適合這個新後端,即連接框架操作與硬件的軟件層。

SGLang-Neuron 部署開闢具體的評估途徑

這項公布為開發者提供透過 SGLang 測試 Trainium 的公開起點,並非建立普遍相容性。

RadixArk 與 AWS 的 Annapurna Labs 合作推出這項整合。AWS 透過 Deep Learning Container 發布,這是一個包含服務軟件及其依賴項的封裝環境。Trainium 服務公布包含一個 Trainium3 範例,透過 SGLang 現有伺服器介面服務 OpenAI 的 gpt-oss-120b 模型。

這次推出改變了評估的起始條件。團隊可以從所提供的環境及已記錄的模型配置開始。這比框架支援另一款加速器的籠統承諾更具體。

它亦界定了這項公布實際證明的範圍。可運行的範例展示了通過軟件堆疊的預期路徑,卻不代表其他地方使用的每種配置都可原封不動地轉移,亦不代表每個應用程式都能獲得相同的營運效益。

對基建買家而言,第一個有用的問題變得具體:文件列出的路徑是否涵蓋正在考慮的工作負載?這個問題較廣泛比較不同加速器品牌更易於查證。

試想一個正在評估編碼助手的團隊。其應用程式發送提示、接收生成文字,並記錄回應是否符合產品要求。維持熟悉的服務介面,可讓團隊在改變底層執行環境時保留部分評估流程。

這是說明性的評估情境,並非已報道的客戶部署。它的相關性在於將應用程式合約與硬件實作分開。應用程式合約描述請求和回應應有的樣子;實作則決定系統如何產生它們。

這種劃分有助說明此版本的重要性,同時避免誇大其成熟度。開發者獲得一種實際方法來研究另一個平台,卻不因此可以略過正確性檢查、負載測試或部署規劃。

這個容器亦為應用程式工程師與基建營運人員的討論提供參考點。雙方都可識別正在檢視的環境,而非討論一組未指明、各自安裝的元件。

因此,公開可用在此有明確含義:開發者可存取此版本並開始測試。是否適合生產環境,仍是與部署要求相關的獨立判斷。

對追蹤此項公布的讀者而言,這是首個需要保留的區分。可存取性回答評估能否開始;接受與否則回答某項服務是否應依賴其結果。

熟悉的介面將壓力轉向部署證據

可辨識的服務工作流程減少了一項採用障礙,亦令其餘障礙更易檢視。

重要的比較,是保留面向應用程式的工作流程與驗證不同執行平台之間的差異。兩者互相支持,但不可互換。團隊可以保留熟悉的請求處理方式,同時發現其偏好的模型配置需要額外工作。

AWS 透過 TorchNeuron 記錄了原生 PyTorch 支援。TorchNeuron 是一個開源後端,將 PyTorch 連接至 Trainium。PyTorch 是用於建構及執行模型的程式框架。TorchNeuron 支援一般執行及 torch.compile,後者可將模型操作轉換為已編譯程式。其文件將此版本列為公開測試版。

在架構層面,這意味 AWS 正在既有的軟件邊界與開發者接軌。它並非要求應用程式團隊孤立地評估硬件,而是提供從框架層進入該硬件的途徑。

這令平台團隊必須讓其異議可被量度。如模型及所需功能獲支援,不熟悉的應用程式語法便不再是拒絕評估的有力理由。可靠性、效能、維護成本及部署限制,會成為更有用的比較依據。

同一標準亦適用於支持者。可辨識的軟件不代表遷移必然成功。工程團隊應能說明哪些工作消失了、哪些工作仍然存在,以及出現了哪些新責任。

對於已在運行 NVIDIA 服務的團隊而言,該平台仍是相關參照。比較時應以團隊既有的服務要求為準,而非將任何一種硬件選擇視為預設贏家。這項公布提供另一個評估候選,而非普遍排名。

有意義的比較應從產品體驗開始。編碼助手必須在可接受的等待時間內提供有用答案。文件助手必須在用戶實際提交的提示中保持答案質素。基建結果的重要性,在於它們是否支援這些成果。

這亦說明了即使團隊尚未決定遷移,維持不變的介面為何仍然重要。它可讓團隊更容易圍繞相同的應用程式行為安排比較。工程師可詢問服務底下改變了甚麼,而毋須重新設計整個產品實驗。

採購團隊亦有相關責任。他們應區分軟件熟悉度,以及擬購買配置是否已有成熟營運歷史。兩者屬不同類型的證據,皆應納入決策。

對 AWS 和 RadixArk 而言,由此產生的責任亦很具體。介面越接近既有實務,買家便越能將注意力放在受支援配置及可量度的部署成果上。

因此,短期壓力屬實務層面。這個版本邀請進行以往較難組織的評估,同時要求倡導者證明熟悉度在哪些方面能轉化為可用的基建選擇。

外掛保留工作流程,同時專門處理執行

這項整合的核心機制,是在 SGLang 的服務機制與 Trainium 專用執行之間劃分責任。

AWS 將 SGLang-Neuron 描述為 out-of-tree plugin,即在框架核心程式碼之外獨立維護的擴充功能。SGLang 保留伺服器及請求生命週期;外掛則提供硬件專用的模型執行。這種設計說明了介面如何能保持可辨識,同時改變底下的實作。

開發者的 SGLang-Neuron 發布概覽描述非同步運行時,即重疊處理工作,而非等待每項操作依次完成;亦描述 megakernels,即把大量模型運算合併為單一執行單元的核心。核心是由加速器執行的函數。

這些實作選擇旨在讓硬件路徑不只具備基本相容性。開發者將其描述為減少執行開銷及維持加速器運作的方法。這些描述說明預期機制,卻未獨立證明相對於讀者現有部署的效能。

這項差異之所以重要,是因為功能可攜性與高效執行回答的是不同問題。功能可攜性詢問軟件能否產生所需行為;高效執行則詢問在預定工作負載下,該行為消耗多少容量及時間。

前者是採用的必要條件;後者決定採用在營運上是否合理。兩者皆不能互相取代。

因此,熟悉的伺服器介面之上仍存在大量工程專門化。評估此版本的開發者,應預期應用程式邊界與執行邊界將受到不同類型的審視。

在應用程式邊界,問題關乎請求處理及回應行為;在執行邊界,則關乎受支援操作、記憶體使用、編譯行為及硬件利用率。把這些問題分開,會令故障更容易解讀。

同樣的推理亦解釋了為何外掛架構不會消除版本管理。獨立開發創造了各自進展的空間,但營運者仍需要一組已知可相互配合的元件組合。

有用的評估應保留每項結果背後的確切環境記錄。沒有該記錄,日後的改進或倒退便難以歸因。團隊需要知道改變的是模型、服務軟件、編譯器還是部署配置。

工程團隊可將這些決策保存在可搜尋知識庫中,讓日後評估保留原有假設。

這些文件記錄支持可攜性的核心承諾。當團隊能說明所得行為並重現比較時,跨硬件平台遷移才會更有價值。

因此,這個機制比「PyTorch 在另一款晶片上運行」更具體。SGLang 提供熟悉的服務邊界,而專用執行軟件則嘗試讓該邊界能在 Trainium 上實際運作。

將提示處理與文字生成分開,改變比較方式

服務架構之所以重要,是因為請求的不同階段會對系統提出不同要求。

SGLang 的 prefill-decode 解耦文件將提示處理(稱為 prefill)與增量文字生成(稱為 decode)區分開來。Prefill 處理輸入序列,著重運算;decode 則會產生後續 token,即模型生成的文字單位,同時反覆存取已儲存的注意力資訊。

解耦會將這兩個階段分配至不同的服務資源。兩者之間必須轉移鍵值快取(key-value cache),即避免重新運算先前內容的已儲存注意力資料。這在「模型能否於某一特定加速器上執行」以外,再引入另一個考慮維度。

AWS 表示,SGLang-Neuron 可透過 NIXL(一個用於傳輸推論資料的函式庫)及 Elastic Fabric Adapter(AWS 的執行個體間網絡介面)支援這種安排。AWS 的推論網絡指南另行記錄了 EFA 和 NIXL 的設定與測試方法,包括跨主機檢查。

由此得出的分析結論很直接:服務單元可延伸至單一機器以外。若比較時忽略各階段之間的通訊,便可能只量度了系統的一部分。

舉例說,設想一個文件助理接收冗長輸入,並產生相對簡短的回答。它對提示處理的側重,會與另一個針對短提示產生長篇回覆的助理不同。這些假設中的服務不應自動採用相同部署設計。

這項觀察並不能證明解耦對任何一項服務較佳;它說明了為何請求組合應納入比較之中。架構應配合所接收的工作,而其額外協調成本必須有相應價值。

因此,營運人員應分開衡量等待初始回應的時間,以及其後的生成速度。系統可改善體驗中的其中一環,同時讓另一環不變,甚至變差。

他們亦應檢視系統在持續需求下的行為。一個能妥善處理個別請求的設定,在多個請求爭奪資源時,仍可能未能符合應用程式要求。真正相關的結果,是服務在預期運作條件下的整體體驗。

這使網絡成為推論決策的一部分。快速的執行路徑,並不能免除驗證各階段之間資料傳輸、路由及故障處理的需要。

解耦亦改變團隊解讀事故的方式。延遲回應可能源自提示處理、傳輸或生成階段。監控應協助營運人員識別負責的階段,而非只報告整體延遲。

這些屬於評估上的影響,並非 SGLang-Neuron 已被報告的故障。它們源於引入了職責分明的分散式服務安排。

對基礎設施買家而言,較廣泛的教訓是應比較完整的部署設計。單靠加速器規格,無法回答應用程式能否在所需負載下取得可接受的回應。

預覽版限制界定目前的採用邊界

最有力的審慎理由,是文件列出的適用範圍,而非對 Trainium 是否具競爭力的推測。

預覽版相容性限制寫得很清楚。0.1.0 版本支援指定的模型目錄,並拒絕不受支援的架構。它亦不支援 LoRA adapters(精簡的模型自訂方式)、用於產生數值表示的 embedding servers,以及 SGLang 的權重更新端點,即用於替換模型參數的介面。

發行說明亦將插件鎖定於特定 SGLang 修訂版本,並以 Neuron SDK 2.33.0 驗證。該 SDK 是 AWS 為其加速器提供的軟件工具組。這些限制界定了「相同介面」在實務上的真正含義。

若應用程式需要某項被拒絕的功能,便存在直接的相容性問題。這個問題應在效能調校開始前識別。更快的執行速度,無法彌補產品所需功能缺失的問題。

這對推出故事尤其相關。為強化學習產生回應只是訓練工作流程的一部分;營運人員還必須確認模型更新如何傳送至服務程序,以及目標訓練整合是否支援這條路徑。

開發人員描述了一項經驗證、涉及 Miles(RadixArk 的強化學習框架)的部署與訓練整合。這是一項特定整合聲明,不應延伸為每個既有訓練系統都可原封不動使用一般 SGLang 更新介面的說法。

版本限制帶來另一項實務考慮。評估預覽版的團隊,應將其已測試的軟件組合視為一個明確單元。自行更改其中一個元件,便會形成另一個需要獨立驗證的環境。

這並不代表預覽版不適合評估,而是界定了評估在哪些條件下才可產生有用證據。與已知設定掛鈎的結果,比起籠統地說框架「可運作」更具資訊價值。

效能聲明亦應採取同樣紀律。該公告並未證明它相對 GPU 服務具有普遍優勢。任何比較均應交代結果背後的模型、請求組合、輸出要求及完整部署設定。

品質必須仍是比較的一部分。即使回應速度有所提升,若服務系統改變輸出行為,仍須按應用程式的驗收準則進行評估。

此處的質疑立場,毋須虛構批評者或提出未獲支持的指控。文件本身已提供必要問題:受支援的模型、所需功能、經驗證的依賴組合,以及可接受的服務行為。

對買家而言,界線很清楚:SGLang-Neuron 部署目前以預覽形式,適用於受支援的設定;更廣泛的相容性及適合生產環境與否,仍需要公告以外的證據。

這種框架保留了故事的兩面。該發行版為測試另一條硬件路徑提供了具體機會,而已公布的限制有助團隊判斷這個機會是否切合其工作。

模型覆蓋範圍、工作負載結果與升級是下一步重點

下一批證據應顯示,這個預覽版能否發展為適用於特定服務的可靠選項。

第一個訊號是模型及功能覆蓋範圍。未來數月,讀者應留意發行版會否加入經驗證的設定,並處理與實際應用程式相關的限制。新增一個受支援模型,只有在擴大團隊可實際部署的工作負載範圍時才最具意義。

覆蓋範圍不應只按模型名稱評估。買家需要知道,文件所列設定支援哪些應用程式行為、部署安排及自訂要求。只有在所需能力同步提供時,更長的目錄才會強化可移植性的論點。

反過來說,若買家核心功能持續存在缺口,短期採用的理由便會減弱。這不會否定該架構,但會令其適用性集中於較狹窄的一組部署情境。

第二個訊號是可重現的工作負載證據。有用的結果應說明運行了甚麼、請求如何到達、需要哪些輸出,以及部署消耗了哪些資源。讀者應優先採信能維持應用程式品質及回應能力要求的比較。

這些比較毋須在每種工作負載下選出單一勝者。顯示 Trainium 適合某項明確服務的結果,可能比未獲支持的普遍優越性說法更具可操作性。

當另一支團隊可在可比條件下重現結果時,證據會更有力。詳盡的方法論讓買家可判斷已公布的結果是否接近自身要求,還是依賴他們無法採納的假設。

第三個訊號是各版本之間的營運進展。讀者應留意受支援設定、依賴要求及遷移指引如何改變。有用的下一個版本,應令使用者更容易理解升級帶來甚麼改善,以及哪些內容需要重新驗證。

這很重要,因為基礎設施選擇不會隨首次推出而結束。隨着模型及軟件演變,團隊必須持續維持服務運行。清晰的升級預期,會強化在單一實驗以外採用平台的理由。

不利的訊號,會是關於哪些元件組合仍受支援的反覆不確定性。即使初步基準測試看來吸引,這仍會增加維持對部署信心所需的工作。

對企業買家而言,這些訊號提供了閱讀新聞的實用方式。更廣泛的覆蓋範圍建立相關性;可重現的結果建立工作負載價值;可管理的升級則說明該價值能否持續。

對開發人員而言,這次發行已改變了可評估的範圍。尚未解決的問題是,當中有多少評估可在不令技術堆疊其他部分累積工作負擔的情況下,成為可重複進行的部署流程。

先從你實際需要營運的服務開始。在解讀任何標題式基準測試前,先識別其所需模型、功能、品質檢查及回應預期。保留既有部署作為參考,然後按相同產品要求評估受支援的 Trainium 設定。

將軟件版本及工作負載假設附於每項結果。把不受支援的要求視為已記錄的缺口,並把吸引的量度結果視為該設定的證據。當模型覆蓋範圍或營運行為改變時,重新檢視決策。SGLang-Neuron 部署現已為這項調查提供公開途徑;利用它判斷熟悉的軟件可在何處為你的應用程式帶來有用的硬件選擇。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page