top of page

AMD EPYC 為 Google TPU 8tx 提供支援,角色延伸至 GPU 伺服器以外

14 分鐘前
讀畢需時 12 分鐘

AMD 於 11 月 9 日宣布,第五代 EPYC 處理器為 Google 的 TPU 8tx 主機提供支援,將其 AI 基礎設施角色延伸至 GPU 伺服器以外。AMD EPYC TPU 部署將通用處理器與 Google 的 Tensor Processing Unit 配對;後者是專為 AI 運算而設的加速器。其核心承諾是在處理期間保護敏感資訊,彌補傳統儲存及網絡加密無法完全涵蓋的缺口。

這令此公告的意義超越一般圍繞加速器速度的競爭。Google 獨立確認採用 EPYC 配對,讓 AMD 在 Google 自訂 AI 硬件平台中獲得具名部署。競爭焦點在於誰能為這些加速器提供可信賴的底層基礎,Intel 亦在此領域競爭。

對企業買家而言,眼前問題相當實際:該系統能否支援機密工作負載,同時不帶來不可接受的營運阻力。對 AMD 而言,策略機會更為廣闊。加速器客戶即使選用 Google 晶片,仍可帶動對 EPYC 處理器的需求。

AMD EPYC TPU 部署實際改變了甚麼

此公告確認了一項特定主機部署,而非推出新一代 EPYC 處理器。

在其 TPU 主機部署公告中,AMD 指出第五代 EPYC 是 Google Cloud TPU 8tx 的處理器基礎,負責資料準備、工作負載協調及與加速器通訊等工作。

AMD 亦表示,系統採用其用於保護虛擬化工作負載的 Secure Encrypted Virtualization 技術,並配合加速器安全控制。該公司稱,系統會先驗證加速器,才允許其存取受保護記憶體。其描述結合經加密的主機記憶體及傳輸,以及加速器執行期間的硬件隔離。

這些都是具體的架構主張,但不應被延伸為平台上運行的每個應用程式均屬安全。公告指出的是受保護運算的基礎;應用程式設計及營運政策仍是另一回事。

這一區別相當重要,因為 AI 服務的範圍大於其主要數值運算。資訊經由應用程式進入,穿過支援軟件,到達模型,最終形成輸出。當處理器部署有助在可接受的安全設計下連接這些環節時,才具有策略意義。

對 AMD 而言,這項具名 Google 部署提供了其參與該設計的證據,但未能說明 Google 會採購多少處理器,亦未披露部署對 AMD 收入的貢獻、商業條款,或取代其他主機處理器的時間表。

讀者亦應區分客戶選擇與市場領導地位的衡量。具名部署所支持的結論,比關於行業主導地位的說法更為狹窄。要確立領導地位,需要在出貨量、已安裝系統、工作負載覆蓋範圍或其他清晰界定的指標上具備可比證據。

不過,這一較狹窄的結論仍具影響力。AMD 可透過支援自訂加速器的處理器,參與自訂加速器部署。因此,其機會不僅限於客戶選用 AMD 自家 AI 加速器的系統。

對買家而言,實際改變是多了一個可識別的配置可供評估。採購團隊現在可針對這個特定配對提出問題,而非只泛泛討論機密 AI。即使這並未完成評估,也改善了技術盡職審查的起點。

這項公告亦改變了採購討論的用語。當目標工作負載涉及敏感資料時,主機選擇應與加速器選擇並列考慮。若把它視為無關緊要的伺服器細節,便可能忽略一個同時涉及執行及保護的組件。

Google 正圍繞現有 TPU 晶片配置安全措施

Google 的公告強調系統配置,讓主機處理器在以自訂加速器為核心的產品中擔當顯眼角色。

Google 表示,TPU 8tx 系統採用與 TPU 8t 相同的晶片,並配對第五代 EPYC 主機。Google 將此配置定位為適用於機密推論,即運行現有模型產生輸出,以及較小規模的訓練工作負載。

Google 亦提到支援微調,即使用額外訓練資料調整既有模型。其目標受眾包括處理敏感資訊的受監管企業及政府機構。該公司稱,客戶回饋帶動了對專用加密能力的需求。

這一定位說明為何公告以系統方案的形式推出。評估敏感 AI 工作負載的買家,需要的不只是能執行模型的加速器,也需要一個可供安全團隊評估、並由營運團隊維護的環境。

設想一家企業使用助理審閱機密工程記錄。模型的答案固然重要,但文件和企業的專有模型同樣是資產。部署決策必須同時考慮兩者,包括在其間傳送資訊的軟件。

單靠更快的加速器無法解決這項決策。若組織無法批准周邊環境,額外運算速度的採購價值便有限。因此,安全性可成為使用可用算力的先決條件。

這是由產品定位得出的分析含意,並非客戶已批准或部署系統的證據。供應商的目標受眾和發布描述,都不足以證明採用情況。買家仍需取得與自身要求相關的證據。

對既有晶片的強調,亦改變了對創新的理解方式。新系統毋須引入新的加速器晶片,也能處理不同的營運要求。商業問題轉為:這項配置是否解決了買家所認知、且能驗證的問題。

這帶來技術能力與可部署能力之間的重要區別。技術能力關乎組件能支援甚麼;可部署能力則包括負責任使用所需的周邊軟件、已記錄的限制、支援安排及驗收流程。

對 AMD 而言,這項區別令整合更值得關注。當主機處理器符合完整的部署要求時,其價值便會提升。策略收益取決於其對系統的貢獻,而非只是在孤立比較中擁有具競爭力的規格。

對 Google 而言,這項方案為詢問受保護 AI 處理的客戶提供更具體的答案。答案是否足夠,將取決於客戶可檢視的細節。產品公告開啟了這場討論;生產環境證據則決定它能走多遠。

Intel 正爭奪相同的可信主機角色

核心競爭在於受保護 AI 執行之下的處理器平台,AMD 和 Intel 均提供進入這一層的途徑。

Intel 的複合驗證工作流程結合來自受保護 CPU 環境及受支援 NVIDIA 圖形處理單元的證據;後者是廣泛用於 AI 的加速器。驗證是指在向運算環境交付機密資料前,檢查其加密證據的過程。

Intel 將其 Trust Domain Extensions(用於機密虛擬機的硬件保護)描述為該安排的一部分。虛擬機是在共享硬件上運行、相互隔離的軟件電腦。其文件解釋,只驗證 GPU 並不足以建立完整的機密運算方案。

這為 AMD 的 Google 部署提供了具體的競爭參照。Intel 參與的是不同的加速器生態系統,但採購問題相通:哪一個主機平台可支援買家所需的受保護環境?

這一比較並不證明 TPU 與 GPU 系統等同。兩者的軟件要求、受支援配置及營運特性均需分開評估。不過,它說明了為何主機處理器安全性的重要性不止於一般伺服器基準測試。

在這些途徑之間作選擇的買家,應先從預定應用程式出發。受支援的模型及獲批准的安全設計,比寬泛而可比性有限的標題數字更重要。兩家供應商的架構描述都不足以在所有工作負載下選出普遍贏家。

對 AMD 而言,與 Google 的配對建立了一個差異化參考點。對 Intel 而言,其與 NVIDIA 的既有文件化合作展示了一套成熟的競爭方案。兩家公司都面臨壓力,要讓整體配置更易於評估、部署及持續維護。

這種壓力改變了有效銷售論述所需的條件。處理器效能仍然重要,但敏感工作負載亦帶來證據收集、軟件支援及受保護資訊處理等問題。具競爭力的方案必須同時回應這些問題。

主機平台亦可能影響工程工作量。在系統之間遷移,或需更改部署程序、驗證記錄及營運工具。買家應直接檢視這些要求,而非假設相似的安全術語意味遷移容易。

這為清晰文件帶來誘因。平台若能清楚交代限制,安全審查人員便有具體內容可評估。廣泛保證則會引發更多問題,尤其當系統由多個供應商提供不同部分時。

因此,競爭利害關係超越單一設計選擇。每項部署都可增強供應商對客戶要求及系統整合的經驗。不過,未來選擇仍屬獨立決策,而這項公告並未確立排他性。

AMD EPYC TPU 部署讓 AMD 在這場競爭中取得明確位置。Intel 的競爭性工作,使人無法合理地把此公告解讀為無競爭的類別勝利。真正有意義的比較,在於已驗證的配置及買家要求。

對企業團隊而言,當競爭產生可供檢視的替代方案時,便具價值。當市場推廣語言掩蓋架構差異時,其價值便會下降。採購流程應在測試及審批過程中保留這些差異。

機密 AI 取決於整個信任邊界

保護主機及加速器,並不會自動保護連接至它們的每個應用程式、用戶互動或目的地。

信任邊界界定安全設計所涵蓋、並受其保護的組件及參與者。在解讀任何關於機密 AI 的主張前,理解這一邊界至關重要。否則,同一個詞語可能暗示比架構實際提供更廣泛的保護。

NVIDIA 已發布的機密運算邊界,正好說明這種嚴謹做法。其文件將防範基礎設施管理員的保護,與受保護環境內軟件的信任分開處理,也區分了保密性與服務可用性。

這些說明描述的是 NVIDIA 支援的配置,並非界定 TPU 8tx 的確切限制。其方法論上的價值在於:安全評估需要明確列出假設與排除事項。買家應要求 Google 的部署提供同樣精確的答案。

實際評估應先從資產着手。機構可能關注客戶提示詞、專有模型參數、檢索文件或生成結果。不同資產可經過不同服務,因此不能只憑模型執行環境便推斷其保護程度。

接下來是機構希望限制哪些角色。防止基礎設施管理員讀取受保護記憶體,與限制應用程式營運者所針對的是不同問題。一項有意義的安全聲明必須指出其處理的是哪一種問題。

應用程式行為亦帶來另一項區別。若獲授權軟件將敏感資訊傳送至獲准的外部目的地,硬件隔離無法判斷該商業行為是否恰當。應用程式的權限與政策仍然重要。

設想一個內部研究助理,在生成摘要前檢索機密文件。即使模型在受保護環境內執行,檢索服務及輸出目的地仍值得審查。這是假設性的工作流程,並非已披露的 TPU 客戶部署。

同樣的推理亦適用於日誌,日誌會記錄應用程式活動以供疑難排解或分析。受保護的運算仍可能產生由應用程式選擇保留的輸出。買家需要了解整個服務中這些選擇。

因此,基礎設施保護與資訊管理應在同一規劃討論中處理。正在建立可搜尋知識庫的團隊,仍需要就文件存取及允許用途作出清晰決定。硬件安全處理的是該設計中的另一部分。

強而有力的評估亦應檢視故障時的行為。若驗證失敗,機構需要知道工作負載是否會停止,以及敏感材料是否仍會被拒絕存取。正常狀況下成功的示範,並不能回答這個問題。

這些考量並不減損受保護執行的價值。它們釐清買家實際購買的是甚麼,以及仍須承擔哪些責任。當安全邊界明確時,其效益便更易評估。

因此,AMD EPYC TPU 配置尚待解答的工作相當具體。客戶需要一份可供檢視的完整環境說明,包括其可接受的狀態及營運限制。對任何一方供應商的概括信心,都不能取代這份紀錄。

效能聲稱需要工作負載層面的證據

受保護加速器的速度,並不能證明使用它的完整應用程式具備相應效能。

針對 GPU 系統的獨立研究說明,買家為何應檢視周邊軟件。這些研究並未直接為 TPU 8tx 作基準測試,其結果亦不應套用至 Google 的架構。其價值在於指出,單一效能標題所未解答的問題。

Amean Asad 與 Ansgar Grunseid 使用 NVIDIA B200 硬件及 Intel 的受保護虛擬機器技術,報告了機密推理基準測試。他們的預印本指出,在正確配置的技術堆疊中,吞吐量開銷約為 1–3%;相比之下,原始配置的損耗為 30–40%。

吞吐量衡量系統在一段時間內可完成多少工作。這些已報告的差異顯示,軟件配置可大幅影響觀察到的結果。它們並未證明機密 AI 存在普遍開銷,亦未確立 Google 系統的預期結果。

Hang Yin 與 Kevin Wang 的另一篇預印本,探討 Blackwell GPU 系統中的受保護資料傳輸。作者指出,受保護主機環境與加速器之間的資料移動,是應用程式變慢的來源之一。他們的分析將此影響與加速器本機運算區分開來。

兩篇論文合起來支持一個狹窄但實用的結論:應評估完整工作負載。它們是針對其他平台的研究報告,而非對 AMD 部署的獨立驗證。兩者均不能作為為 TPU 8tx 指定特定效能損耗的依據。

對買家而言,相關基準測試應接近預期服務。互動式助理與背景文件處理工作,可能有不同優先事項。持續吞吐量表現良好的配置,在間歇性請求下可能帶來不同體驗。

測試亦應區分啟動與穩定運行。載入模型、準備環境及服務已建立的工作階段,代表不同階段。將它們合併成單一平均值,可能掩蓋某特定應用程式最關鍵的階段。

另一項有用區分涉及請求完成時間。模型可以很快生成文字,但整體服務仍可能等待輔助工作。終端用戶經歷的是整個互動,因此只量度加速器並不足以提供完整採購訊號。

在整個比較過程中必須保持啟用安全保護。否則,買家可能批准某一配置的效能,卻採用另一配置的保護。真正有用的結果,是機構計劃營運的環境所具備的效能。

工程投入亦屬評估的一部分。若要達到可接受行為需要專門調校,團隊便需了解誰負責維護。技術上可達成的結果,與員工可穩定重現的受支援配置,有不同營運含義。

因此,這些研究是令評估更精確,而非提供定論。它們顯示,表面上細微的架構或軟件細節為何值得仔細審查。買家應要求可重現的證據、清晰的配置紀錄,以及反映實際部署條件的測試。

這項標準讓 AMD 與 Google 有機會具體說明其理據,也為競爭平台表現出色留下空間。公告確立的是一項部署;應用程式測試才確立其適切性。

三項訊號將顯示此部署覆蓋多遠

下一批證據應依次關乎部署準備度、獨立工作負載結果,以及可見的客戶採用情況。

未來數月,首項值得留意的訊號是可採取行動的部署資訊。買家需要了解受支援配置、存取條件、營運文件,以及清晰的驗證說明。更多細節會令該方案更易評估,亦會加強其實際意義。

關鍵區別在於描述一種架構,與讓機構能夠批准採用它之間的差異。文件應讓工程師把產品聲稱與自身應用程式要求連繫起來。即使底層設計具潛力,若此階段存在模糊之處,仍會限制其短期實用性。

安全文件尤其值得關注,因為批准取決於具體假設。買家應能識別受保護組件、其餘受信任服務,以及處理變更的程序。清晰答案將減少部署相關的不確定性。

第二項訊號是針對具代表性工作負載的獨立、可重現測試。有用證據應報告完整服務配置,並說明哪些保護措施已啟用。缺乏該背景的結果,會為比較替代方案提供較弱依據。

測試應在一般效能之外涵蓋營運行為。機構需要了解驗證失敗、維護及復原期間會發生甚麼事。有利的速度量度會加強理據,但無法解決這些不同問題。

不利結果同樣需要審慎解讀。某個工作負載的限制,並不代表整個平台毫無價值。它指出配置在哪些地方不合適,以及另一種方法在哪些地方值得考慮。

第三項訊號是可識別的生產環境採用。具名客戶帳戶若說明工作負載、批准流程及營運經驗,會比概括的興趣表達提供更有力的商業證據。這有助區分相關設計選擇與廣泛實用的部署模式。

對 AMD 而言,反覆獲選將加強 EPYC 能夠跨不同加速器選擇捕捉需求的論點。單一公告本身無法確立這種模式。下一項有意義的證據,是額外有文件記錄的使用情況,而非假定的財務貢獻。

對 Intel 而言,競爭客戶的部署將顯示其受保護主機平台如何有效處理重疊需求。各公司毋須採用完全相同的架構,亦可競逐同一項採購決定。它們需要的是符合買家工作負載及安全標準的配置。

企業團隊現時可在進行比較前先界定這些標準。這可避免產品示範決定整個評估議程,也讓新披露資訊在出現時更易解讀。

先從保密要求明確的工作負載開始,然後標示其敏感資訊經過的每一個位置。詢問哪些組件應屬於受保護環境、誰控制它們,以及甚麼證據支持該信任。按等同要求,將完整服務與替代方案比較。把部署投入與效能一併記錄,並在批准期間讓尚未解決的假設保持可見。如應用程式會檢索內部紀錄,亦應在評估中納入權限、日誌及輸出處理。AMD EPYC TPU 部署為買家提供了一個可供研究的具體配置。用它就受保護 AI 執行提出更精確的問題,然後要求與機構實際計劃運行服務相符的證據。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page