top of page

SK hynix SC26 展示以記憶體為中心的 AI 機架示範

4 小時前
讀畢需時 12 分鐘
Image from the source report. Source: news.skhynix.com.

SK hynix 在 Supercomputing 2026 展示以記憶體為中心的 AI 系統,挑戰了只要增加處理硬件便能解決 AI 服務瓶頸的假設。11 月 20 日發表的 SK hynix SC26 報告介紹多項示範,重點是保留有用的運算成果,以及減少不必要的資料搬移。

核心問題在於 AI 系統如何保存已完成的工作。重新計算熟悉的輸入會消耗資源,但取回已儲存的結果同樣需要時間。只有當整體服務受惠時,共享記憶體才有其價值。

NVIDIA 已透過推論軟件處理相關問題,而 Samsung 則提供自家的記憶體集區架構。這令 SK hynix 須在吸引人的硬件配置以外,證明其實際優勢。對買家而言,相關比較是現實條件下完成的工作量,包括所需的軟件及營運投入。

SK hynix SC26 示範實際展示了甚麼

展覽展示的是系統架構及技術示範,並非完整方案已全面推出的公告。

根據公司介紹其以記憶體為中心的機架示範,MARS 即 Memory-centric AI Rack System。示範涵蓋共享快取運算、在記憶體集區內進行運算,以及跨伺服器共享預處理。

CXL,即 Compute Express Link,是支援處理器與記憶體連接的互連標準。SK hynix 描述如何結合 DRAM(工作記憶體)及 SSD(固態儲存裝置),以保留及取回快取結果。KV 快取會儲存語言模型使用的中間注意力計算結果。

其他展品包括透過 CXL 進行的 KV Cache Offloading、Compute-using-DRAM,以及 Custom HBM Array。HBM 指高頻寬記憶體,是為高資料傳輸速率而設計的堆疊式記憶體。SK hynix 亦表示,已與 SK Telecom 完成推論環境驗證。

評估成熟度時,這些展品值得分開看待。系統示範、合作夥伴驗證及架構概念回答的是不同問題。將它們合併為單一公告,會暗示它們具備共同的部署狀態,但現有證據未能證實這點。

有用的示範可顯示元件能在指定工作負載下協同運作,但並不自動證明該配置面對陌生應用程式、需求變動或相互競爭的請求時會如何運作。這些條件決定一種架構能否成為實際的營運改善。

活動亦不應被解讀為 AI 共享記憶體的發明。SK hynix 在 10 月的 MARS 系統示範中,已於 OCP Global Summit 介紹記憶體集區及相關服務實驗。11 月的報告為既有方向補充了展覽細節。

這個時間脈絡改變了恰當的解讀方式。讀者應評估最新示範揭示了多少整合程度及工作負載涵蓋範圍,避免將每個展示元件都視為新近出貨的產品。

真正值得留意的,是 SK hynix 希望客戶以甚麼層面評估記憶體。容量及頻寬仍然重要,但該公司希望買家考慮記憶體如何參與整項服務。

對採購團隊而言,這帶來要求更高的比較。他們需要分辨可購買的硬件,與重現示範所需的軟件、合作夥伴元件及工程工作。

因此,採購決定需要明確的配置。否則,一個看來有前景的架構方向,很容易變成一系列對兼容性、效能及支援的假設。

重複的 AI 工作令服務團隊承受壓力

最直接的壓力落在需要在固定基建預算內提供高回應速度 AI 服務的團隊身上。

設想一個例子:企業助理反覆查閱相同的技術文件。用戶提出問題、要求提供佐證,然後再要求修訂答案。大量資訊在整段互動中仍然相關。

服務需要決定在請求之間保存甚麼。把可重用的結果保留在附近,會佔用其他對話可能需要的記憶體;丟棄它們,則會在用戶回來時增加額外工作。

兩種選擇都不一定錯。答案取決於資訊被重用的頻率、可用多久,以及能多快取回。處理互不相關請求的部署,與處理持續對話的服務,面對的是不同的計算。

這令記憶體管理既是產品問題,也是基建問題。用戶感受到的是等待、中斷及不一致的回應速度;他們不會知道延遲來自運算、取回還是排程。

服務團隊面對的壓力,是在選擇另一輪硬件升級前,準確解釋這些延遲。增加處理能力所解決的問題,與消除重複準備工作並不相同。兩者都可能重要,但需要分開的證據。

NVIDIA 對 KV cache offloading 的討論提供了有用參考。其 Dynamo 軟件會把快取狀態移至 CPU 記憶體、本機儲存空間或網絡儲存空間。CPU 是通用處理器;GPU 則是通常用於加速 AI 計算的處理器。

NVIDIA 明確表示,只有當重用效益超過傳輸額外成本時,卸載才最有效。其例子包括持續對話、共享內容,以及處理大量同步請求的服務。這項限定比「推論更快」的一概承諾更重要。

推論是運行已訓練模型以產生輸出的過程。對推論營運者而言,保存快取工作只有在改善服務的實際限制時才有價值。

應用程式可在不同時刻容忍不同類型的延遲。背景文件分析與等待用戶下一步指示的助理,要求並不相同。買家不應以同一個標題式結果評估兩者。

知識應用特別能顯示這種分野。可搜尋知識庫協助用戶找出相關資料,而基建則決定模型處理這些資料的效率。更好的快取管理,並不代表檢索已選出正確文件。

這把兩個容易被市場推廣語言混淆的採購問題分開:應用程式有否找到並使用可靠資訊?其服務系統又能否在預期需求下高效處理該資訊?

SK hynix SC26 的故事關乎第二個問題。當重複內容是可量度的浪費工作來源時,其相關性便會提高;若服務的主要瓶頸在別處,其吸引力便會下降。

因此,面對擴充容量壓力的團隊,應先量度重複的工作,再決定要擴充哪個元件。

共享記憶體必須勝過搬移資料的成本

當存取可重用工作所需成本低於重新建立它的成本(包括所需協調工作)時,共享集區才會創造價值。

這正是更廣泛架構論點背後的機制。把記憶體從個別伺服器中分離,可讓資源更靈活地提供;然而,分離也引入請求必須走過的路徑。

比較不能止於可用容量,還必須包括定位正確資料、傳輸資料及令其可用所需時間,亦須計入其他請求帶來的競爭。

想像一段暫停後重開的持續對話。取回先前狀態或可避免重複計算;但若取回得太遲,用戶仍然要等候。

相反情況也很重要。系統可能保存了之後沒有任何請求需要的資訊。這些資訊佔用空間並消耗管理工作,卻沒有帶來有用回報。

因此,工作是選擇性保存。營運者需要方法判斷哪些結果值得放在附近的記憶體、哪些應放在較慢的位置,以及哪些應被丟棄。

這項判斷會隨工作負載行為而改變。重複指示可在多個請求間維持價值,暫時結果則可能立即失去價值。把兩者同等處理,會浪費任何一種稀缺資源。

早於目前 AI 服務討論的研究,已說明這個更廣泛問題。2022 年的 CXL memory pooling 論文 Pond,以生產追蹤資料及工作負載評估探討雲端記憶體配置。作者報告指,在其研究中,相對較小的集區已捕捉大部分集區化效益。

Pond 評估了 158 個工作負載,並報告 DRAM 成本降低 7%,效能維持在本機配置參考值的 1–5% 範圍內。這些結果涉及該研究配置,並非 MARS 或當代 AI 推論。

歷史教訓在於方法論。集區規模、配置政策及可接受的效能損失,應納入同一項評估。單純增加共享資源,並不能證明系統更好。

對 SK hynix MARS 而言,相應的買家問題是共享的有用單位。一個集區可改善容量配置、重用已計算狀態,或支援在資料附近進行指定操作。每項好處都需要適當比較。

這些好處亦不應隨意相加。避免運算與改善容量使用率的效果可能重疊;將兩者視為獨立收益,會有誇大整體改善之虞。

同樣的謹慎也適用於近記憶體運算,即把指定處理工作放在儲存資料附近進行。它的吸引力取決於所避免的資料搬移,是否足以證明新增執行路徑的合理性。

合理的評估應明確指出哪些操作會移動、哪些仍留在傳統處理器上,以及中間結果在哪裏流動。這能揭示架構是移除了工作,還是僅僅把工作重新安置。

亦應檢視查找失敗後的請求路徑。當所需快取狀態不存在時,服務仍須有可接受的行為。否則,最有利的示範可能掩蓋一般全新請求的使用體驗。

作為設計目標,這項技術承諾是可信的。要證明其實際價值,則須顯示完整配置節省的工作多於其帶來的工作。

NVIDIA 與 Samsung 提供不同的比較基準

SK hynix 面對的既有替代方案,會在系統不同層面處理記憶體效率。

NVIDIA 的 Dynamo 為跨記憶體及儲存空間管理快取運算提供以軟件為中心的比較;Samsung 的 CMM-B 則為記憶體集區提供以硬件為中心的比較。兩者都不是 SK hynix 展示中每個元素的直接替代品。

Samsung 在其記憶體集區架構白皮書中,將 CMM-B 描述為機架規模的集區方案。文件討論資源配置、主機連接,以及以記憶體內資料庫進行的驗證。

資料庫測試與 AI 服務測試之間的差異至關重要。一項結果只為所評估的配置及應用程式提供證據,並不能為互不相關的工作負載建立普遍適用的效能排名。

Samsung 的文件亦指出,配置位置及方式會影響量得的吞吐量與延遲。這為買家帶來實際提醒:連接更多記憶體,並不代表系統安排的重要性就會消失。

這些替代方案界定了競爭挑戰,毋須強行判定簡單的勝負。NVIDIA 強調圍繞現有運算及儲存資源的軟件協調。Samsung 則記錄了透過 CXL 擴充及分配記憶體的方法。

SK hynix MARS 將記憶體共享結合到更廣泛的系統敘事之中。它的競爭任務,是展示這種整合在何處可相對於配置妥當的替代方案,帶來可量度的優勢。

「配置妥當」一詞分量十足。新架構應面對經優化的參考方案,包括適當的快取及排程。與可避免地低效的設置比較,只能回答更狹窄的問題。

買家亦需要比較達至所報告結果所需的工作量。依賴大幅修改應用程式的配置,與獲現有軟件支援的升級方案,採用路徑並不相同。

這並不代表更深度整合不可取。運行穩定、高流量工作負載的營運商,可能願意投入大量工程工作,以換取長期改善。另一類營運商則可能優先考慮跨不同應用程式的靈活性。

支援安排亦應納入這項計算。當部署涉及記憶體裝置、處理器、互連及服務軟件時,必須有人跨越這些界線診斷故障。買家需要清楚知道責任歸屬。

這正是為何主要張力在於架構,而非公司之間的競賽。本地資源提供熟悉的執行路徑。共享資源承諾帶來更廣泛的重用及配置靈活性,但亦增加協調要求。

最有力的比較,應保持應用目標不變。它應探問在相同需求下,每種方法如何提供所需的回應速度及輸出品質。

單靠硬件頻寬結果無法回答這個問題。有利的軟件基準測試,同樣不能證明每種底層記憶體安排的價值。

對企業買家而言,競爭格局帶來優勢:多種方法都可作為可信的參考。SK hynix 必須透過可重現的證據,證明其方案相對這些參考的價值。

對業界而言,這會將焦點轉向整合品質。某個應用程式的勝出配置,取決於其組件如何協作,而不只是哪些組件擁有最亮眼的規格。

驗證仍留下工作負載及部署問題

最大的未解問題,是當有利的重用條件消失時,所報告的方法能否持續帶來效益。

SK hynix 的說法提供了由公司主導技術工作的證據,但並未證明已獲獨立驗證、普遍適用的加速效果。合作夥伴參與提供了背景,但不能取代針對競爭配置進行的可重現評估。

獨立研究為這個一般機制提供了審慎看待的理由。研究人員 William Meng、Benjamin Lee 及 Hong Wang 檢視了 KV 卸載瓶頸,指出在其評估的系統中,傳輸頻寬是一項嚴重限制。

他們的研究並沒有測試 MARS,也沒有推翻 SK hynix 的說法。它顯示,即使卸載解決了容量問題,移動快取狀態仍須仔細審視。避免的運算與新增的傳輸,應一併納入量度。

對買家而言,第一個未解問題是工作負載的代表性。以重複輸入為主的測試,回答的問題與以陌生請求為主的測試不同。如兩種模式都會在生產環境出現,兩者均應納入評估。

下一個問題是爭用,即對共享資源的競爭。一個資源池即使對獨立應用程式表現良好,當無關服務同時存取時,仍需要進一步測試。

平均回應時間在此並不足夠。營運商亦應檢查異常緩慢的請求,以及一項繁忙服務會否損害另一項服務。平均值可以改善,同時部分用戶卻遭遇更嚴重的中斷。

快取未命中亦需要明確處理。未命中是指所要求的快取資訊無法取得。報告應展示未命中的發生頻率及系統如何復原,而非只描述成功重用的情況。

正確性同樣值得重視。重用狀態必須持續與產生該狀態的模型、輸入序列及執行配置相容。若效能比較改變了應用程式預期的行為,其意義便會消失。

這是對評估的要求,而不是 SK hynix 實作存在缺陷的證據。公開報告應區分未回答的問題與已證實的問題。欠缺細節並不足以合理地假定失敗。

安全性帶來另一個部署問題。買家應詢問共享資源如何維持用戶與應用程式之間的存取界線,亦應確定快取資訊過期或必須移除時會如何處理。

可靠性亦需要同樣具體的說明。當一個組件無法使用時,復原路徑是甚麼?服務會以較低效能繼續運作、在其他地方重複工作,還是暫停至共享資源恢復?

能源聲稱需要完整的量度邊界。單一處理器活動減少,並不能證明整個配置的耗電量減少。記憶體、儲存裝置、互連及支援設備都應納入計算。

商業準備程度仍是與技術可行性分開的問題。買家需要獲支援的配置、維護預期,以及由評估走向部署的清晰路徑。

這些問題不會削弱展覽的價值。它們界定下一階段所需的證據。一項有用的示範應令後續評估更精確,而不是取代它。

恰當的結論是審慎的關注。該架構針對真實的系統問題,而現有證據顯示,其實際優勢仍取決於工作負載及實作方式。

留意可重現結果、整合及持續使用

下一批有意義的訊號,是更廣泛的效能證據、獲支援的整合,以及示範以外的持續使用。

未來數月首個值得留意的訊號,是可重現的工作負載比較。有用的報告應識別模型、硬件安排、軟件版本、請求模式及參考配置。

它應將重複輸入行為與陌生輸入行為分開,亦應展示隨着需求上升及可用記憶體受限時,效能如何改變。

若效益能在現實的混合請求中持續存在,該證據便會強化論點。若改善主要依賴異常可預測的重用,則會收窄論點的適用範圍。

較狹窄的結果仍然有用。基礎設施毋須令每個應用程式受惠,才能證明採用合理。買家需要知道哪些應用程式適合、適合程度有多可靠,以及尚餘哪些取捨。

第二個訊號,是與服務軟件的獲支援整合。有文件記錄的配置,能協助營運商了解他們可如何重現,而毋須依賴展覽團隊。

重要細節包括相容性界線、部署步驟、監察,以及故障時的行為。這些細節將一組組件轉化為營運團隊可負責任地評估的方案。

可維護整合的證據,將強化記憶體池化可進入日常服務設計的論點。即使底層技術結果仍具吸引力,大量未獲支援的自訂工作也會令採用更具選擇性。

買家亦應留意整合能否經受軟件及模型改變。僅在固定技術棧中表現良好的配置,與具有獲支援升級路徑的配置,帶來的是不同承諾。

第三個訊號,是客戶在一般需求下持續使用。持續部署提供機會,以評估維護、變動中的工作負載,以及共享資源帶來的營運後果。

最有力的證據,應說明所服務的應用程式,以及營運商保留該配置的原因。它應在有利結果之外,同時包括限制及未成功的工作負載。

若營運商在計及工程及支援成本後仍報告效益,持續使用便會強化商業論點。若回歸傳統配置,則需要解釋,而不應自動被否定。

這些訊號應保持分開。可重現的基準測試建立技術證據;獲支援整合建立營運路徑;持續使用則有助確立效益能否經受實際限制。

最適宜將 SK hynix 在 SC26 的展示理解為邀請各界調查這些問題。它將記憶體管理與處理能力並列,納入 AI 服務設計的討論之中。

對開發人員而言,有用的回應是量度自家應用程式中的重複輸入處理及復原延遲。對基礎設施買家而言,則是要求與實際服務需求掛鈎的比較。

對知識工作者而言,最終影響將體現於回應速度及服務可靠性。當該架構在不損害應用程式資訊品質下改善這些體驗時,它才具重要性。

先從團隊熟悉的工作負載開始,再比較有無共享快取狀態時的行為。兩種配置均應採用相同模型、輸出預期及需求模式。量度整個請求路徑,包括未成功的重用及從中斷中復原的情況。詢問誰負責支援該配置,以及應用程式需要作出甚麼改變。將效能證據與關於答案品質的聲稱分開看待。下一次 SK hynix SC26 後續消息如提供這些細節,便值得留意。在此之前,可利用示範來完善採購問題,並識別可量度的浪費。你的服務正在進行哪些重複工作?又需要甚麼證據,才足以證明應改變這些工作的儲存位置?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page