top of page

NVIDIA GPU 解鎖據報令 Tensor 吞吐量倍增,LLM 增益較小

1 小時前
讀畢需時 12 分鐘

NVIDIA GPU 解鎖報告顯示,部分 GeForce 顯示卡在特定數學運算上的吞吐量大約倍增,但並未證實語言模型效能同樣翻倍。這個分別對考慮升級的用家,以及評估舊硬件再受追捧的買家尤其重要。社群測試顯示部分應用程式有實際增益,但也有工作負載幾乎沒有變化。

眼前焦點是非官方開源項目 gpu-unlock,以及針對部分 RTX 40 顯示卡的相關工作。開發者表示,他們改變了特定指令送達 Tensor Cores 的速度;Tensor Cores 是 NVIDIA 用於矩陣計算的專用硬件。這令議題比標題所暗示的更聚焦:額外的運算能力,對比妨礙用家取得其完整效益的應用程式瓶頸。

10 月 24 日刊出的報道亦提及二手轉售平台的放盤增加。然而,經檢視的證據未能證實,因這款工具而帶動完成交易數量出現具代表性的增長。截至 2026 年 10 月 25 日,最有力的結論仍是效能提升取決於特定工作負載。購買決定需要的證據,不能只是一個更大的基準測試數字。

NVIDIA GPU 解鎖實際改變了甚麼

據報的改動針對特定數學運算,而非顯示卡的每一部分。

開發者將 gpu-unlock 描述為 Linux 核心模組,即在作業系統核心內運作的軟件。它會在標準 NVIDIA 驅動程式接管顯示卡前運行。根據項目說明,它會修改速度選擇設定,並在交還控制權前重設裝置。

目標運算使用 FP16 或 BF16 輸入,兩者均是以 16 位元表示數值的格式。它們會以 FP32(一種 32 位元格式)累積中間結果。開發者表示,這項修改會令這些運算的指令發出速率倍增,也就是硬件接收相關工作的速度。

tensor-rate unlock 文件列出多個 Ampere 晶片系列,並區分已接受的裝置識別碼與實際由用家測試過的顯示卡。這個分別值得留意。軟件能識別某個裝置,並不代表已證實可成功加速、穩定運作,或與每一張採用相關產品名稱的顯示卡相容。

因此,這是一項附有公開社群證據的非官方設定改動。它不是 NVIDIA 效能更新、通用能力保證,也不是每張 RTX 30 顯示卡均能獲得相同增益的證據。它亦不能證明消費級顯示卡已可與專業級產品互換使用。

時間點亦需要準確看待。儲存庫歷史顯示,首個公開版本於 9 月 28 日推出,其後在 10 月進行相容性與封裝工作。10 月 24 日的報道反映結果獲得更廣泛關注,不應被誤解為該項目的首次出現。

對關注這項發布的讀者而言,有意義的改變是已測試硬件可取得先前無法使用的吞吐量。這種存取能否改善實際工作,仍取決於應用程式。計算基準測試能特別有效地衡量其中一個階段,但應用程式亦需花時間搬移資料及協調其他運算。

這令項目具重要性,卻無須作出誇大解讀。現有硬件看來在某些任務上具備額外能力。尚待解答的問題是,開發者能否穩定地將這些能力轉化為更短等待時間、更高產出,或延後購買硬件。

現有持有人與潛在買家面對的決定亦不同。持有人可研究既有機器是否受惠;買家則須在為同一項說法賦予價值前,判斷相容性、狀況、運行要求及應用程式效能。

這些決定應由特定顯示卡與工作負載開始。將一整代產品視為單一一致結果,正好掩蓋了決定實際價值的差異。當每個成功案例保留原有硬件、軟件及量測情境時,證據才更有用。

RTX 3090 AI 效能令基準測試說法更有參照

已發布的量測結果支持部分計算有顯著增益,但不同數值格式的改善幅度並不相同。

社群貢獻者 applepines 在 10 月 18 日的相容性問題中,發布了 RTX 3090 Ti 的量測結果。測試使用 450 瓦功耗上限,並報告五個樣本的中位數。其工作負載為大型矩陣相乘,即機器學習常用的長方形數字集合。

RTX 3090 Ti 量測結果 顯示,FP16 吞吐量由 87.46 升至 118.39 TFLOPS。TFLOPS 是每秒萬億次浮點運算的量度。BF16 由 87.50 升至 157.41 TFLOPS;另一種計算格式 TF32 則由 42.58 升至 82.61 TFLOPS。

這些結果之所以重要,是因為它們保留了改動前後的分別。它們亦說明為何「運算能力翻倍」是不夠精確的描述。即使在這個基準測試內,量得的改善也因格式而異。最大的結果不能自動代表每一項受支援運算。

這些證據來自社群硬件報告,而非獨立委託的實驗室評估。由於貢獻者說明了測試條件,資料具參考價值。但在成為對整個產品系列的普遍說法前,仍須加上來源註明並加以重現。

RTX 3090 AI 效能亦應採取同樣嚴謹態度。3090 Ti 的結果提供相關背景,但不能代替每一種 3090 配置。相近名稱並不能消除個別顯示卡、運作條件或軟件路徑之間的差異。

對開發者而言,直接含意是應重新檢視對現有機器的假設。如項目反覆執行受影響的計算,額外吞吐量值得研究。如大部分耗時出現在其他環節,則同一項基準改善的實際份量較低。

以本地文件分析服務為例。用家感受到的是由提交材料至收到答案之間的完整時間。較快的計算階段只有在該階段確實構成等待時間的一部分時才有幫助。載入文件、準備輸入及產生答案,仍然都是體驗的一部分。

因此,硬件比較應將量測結果連結至可辨識的任務。「這項運算變快了」是有用的技術發現;「這部機器更快完成我們的文件工作負載」則回答另一個問題。兩者均值得量測,也不應暗中互相替代。

與專業級 GPU 的比較亦須克制。匹配某項指令速率,並不代表產品等同。一項吞吐量結果無法回答團隊或機構更廣泛採購需求的問題。

這正是壓力最先落在只根據原始算術規格作出的升級假設之處。對受影響工作負載而言,現有顯示卡值得重新審視。這不代表必須認定新硬件、專業產品或競爭平台已失去價值。

證據支持重新評估,但不足以憑一欄效能數據宣布通用贏家。

為何更快運算不代表所有情況下答案都更快

語言模型只有在獲加速的工作對目前瓶頸具重要貢獻時,才能受惠。

NVIDIA 的效能瓶頸指引區分受計算限制的運算與受資料搬移限制的運算。當計算決定速度時,額外運算能力會有幫助;當讀取與儲存資料決定速度時,單靠更快運算無法移除這項限制。

這為社群結果提供背景,但並非為這項修改作出認證。NVIDIA 文件解釋的是通用效能原則,並不代表其認可 gpu-unlock 或驗證其相容性聲明。

對語言模型而言,prefill 是在生成回應前處理所提供提示的階段;decode 則是逐步產生回應。這兩個階段執行不同工作,因此分開報告比單一合併吞吐量數字揭示更多資訊。

提交長篇文件的用家在意答案何時開始出現;另一位用家或更在意長篇答案持續顯示的速度。即使兩者使用相同模型,集中於提示處理的改善對這兩類體驗亦有不同影響。

軟件實作亦帶來另一項分別。kernel 是由 GPU 執行的專用常式。不同 kernel 可用不同數值格式與執行路徑,執行相關工作。因此,針對特定運算的修改,會與不同軟件產生不同互動。

量化是指以較低數值精度表示模型數值,這令廣泛說法尤其困難。將模型稱為「已量化」並不足以完整描述其執行中的每一項運算。實際常式決定加速路徑是否投入足夠工作,從而改變整體效能。

作為說明性比較,設想兩個採用相近硬件的本地助理。其中一個會在給出簡短答案前,反覆處理大量參考材料;另一個接收簡短問題,卻產生延綿答案。集中於 prefill 的改善,不應在兩種情況下得到相同的採購權重。

這亦是為何競爭仍是額外運算能力對比應用程式瓶頸。解鎖改變了一項可用資源;應用程式決定多少資源會轉化為有用產出。單一更大的容量數字本身無法揭示這個轉化。

與 AMD、Intel 或較新的 NVIDIA 產品比較時,也需要同樣嚴謹。一項解鎖後的算術結果,並不能證實某平台在應用程式表現上領先另一平台。有意義的比較需要相同任務、可比的輸出要求,以及清楚記錄的軟件設定。

這項要求對選擇平台的團隊尤其相關。他們的決定關乎完整系統能否滿足營運需要。既有機器上一項具潛力的修改,只是其中一個輸入因素,另外還有可重現性及維持工作負載運行所需的工作量。

對個別持有人而言,解讀可以更簡單。即使明顯未達倍增,常用任務出現可量度的改善仍有價值。有用的問題是節省的等待時間是否值得付出努力,而非標題中的倍數能否完整成立。

應用程式報告顯示實用增益及明確例外

應用程式證據支持選擇性的改善,包括額外 Tensor 吞吐量幾乎未為語言模型帶來效益的情況。

10 月 23 日 noon-at-cgn 的報告描述兩張經過改裝、以 220 瓦功耗限制運行的 RTX 3080。供稿者以相同指令碼、輸入內容及種子,比較原廠與解鎖後的運行情況。相較於孤立的算術結果,這是更具參考價值的應用比較。

LLM 工作負載比較顯示,在 vLLM 服務引擎中,預填充速度提升 33–36%。另一個引擎 Strata 對較長提示詞的增幅為 12–13%。其較短提示詞的結果僅變動 0.5–0.8%,供稿者認為屬於量測雜訊範圍。

硬件條件相當重要。這些是經記憶體改裝的顯示卡,並非每位讀者都能複製的普通零售配置。該報告證實的是該系統上的結果,並不能證實在其他地方購入、未經改裝的顯示卡預期可獲得相同改善。

另一位供稿者 ldorii 報告了 RTX 3080 的算術效能改善,但多項量化語言模型測試的結果幾乎沒有變化。這是有價值的反面證據,顯示成功解鎖與成功加速應用程式是兩回事。

同一位供稿者亦報告,在生成模型圖形化工作流程系統 ComfyUI 中,圖像生成時間有所縮短。某項工作負載的熱機運行時間由 9.30 秒降至 7.98 秒;另一項則由 9.34 秒降至 8.17 秒。這些屬於社群量測,而非經獨立重現的產品聲稱。

報告中的應用程式量測亦指出,所測試圖像案例的輸出並無改變。這令比較在其適用範圍內更具實用性,但並不能證實每個模型、輸入或延長工作負載均具備數值可靠性。

綜合這些報告可見,RTX 3090 AI 效能及相關 GeForce 結果需要標示應用情境。圖像生成的結果不能等同於語言模型加速;預填充改善不能等同於解碼改善;算術效能改善亦不能等同於整個系統的改善。

對小型開發團隊而言,影響相當具體。反覆處理長篇技術文件的工作流程,應進行提示詞處理基準測試;互動式助理則需要分開量測回應啟動與持續生成。圖像工作流程需要在輸出可比較的前提下,記錄實際耗時。

這些區分亦可保護有用的結果,免受不合理期望影響。若改善來自已安裝的硬件,即使應用程式增幅適中,仍具意義。過度推銷這種增幅,則會令採用不同執行路徑軟件的用戶失望。

最理想的測試設計,會在維持其他條件不變下,交替進行原廠與改裝後的運行,並同時報告失敗及沒有改善的工作負載。這些細節有助分辨加速究竟由改裝引起,還是由系統其他變化造成。

目前,這些報告提供了值得進一步研究的可信理由,但並未提供通用的效能預測。當供稿者提出的條件限制仍與結果一併呈現時,應用程式證據才最有力。

與其把互不相關的最佳化成果合併成一個醒目的倍數,這才是評估該專案更有用的基礎。

RTX 4090 tensor 吞吐量與轉售聲稱需要分開審視

有限的 RTX 40 測試及個別轉售刊登,均不足以證實整個世代的效能或市場出現變化。

另一個由 JustAResearcher 維護、與 Ada 相關的專案,報告 RTX 4090 的 tensor 吞吐量有所提升。Ada 是 RTX 40 產品採用的架構。該儲存庫指出,使用 FP32 累加的運算,其 FP16 吞吐量由 165.6 TFLOPS 提升至 331.6 TFLOPS。

其 RTX 4090 驗證明確限制了證據範圍。文件描述僅測試一張顯示卡,並仍有待完成的重現工作。它亦區分了已量測的韌體行為與最終整理後的實作版本,後者仍需以硬件再次驗證。

同一專案將 RTX 4070 Ti SUPER 支援列為實驗性功能,並與已測試的裝置識別碼綁定。它未能證實對其餘 RTX 40 系列的廣泛支援。因此,即使報告的算術增幅很大,RTX 4090 tensor 吞吐量仍應採用狹義描述。

這一點很重要,因為相容性期望的傳播速度往往快於相容性證據。讀者看見「RTX 40 unlock」時,合理地可能會假設自己的型號也受支援;現有專案文件並不足以支持這項假設。產品系列的表述應保留具體的已測試目標。

NVIDIA GPU 解鎖的報道亦引出另一個問題:重新受到關注是否正推高二手卡價格。Wccftech 10 月 24 日的報道描述較舊 GeForce 顯示卡的刊登價格上升,但那是關於可見開價的報告,而非具代表性的已完成交易研究。

叫價反映賣家希望收取的金額;完成交易則反映買家接受的價格。若沒有可比較的交易數據,所審閱的材料無法證實整體市場上漲的幅度,亦無法確認該工具是否為原因。

這項區分會影響讀者的決定。已擁有合適顯示卡的人,面對的是額外實用價值的評估;正在選購的人,則同時面對硬件狀況及非官方改裝價值的不確定性。

即使買家打算運行的工作負載幾乎不會受惠,賣家仍可宣傳最有利的已報告結果。這種可能性不會否定該專案,但當效能聲稱出現在轉售刊登中時,會令針對工作負載的證據尤其重要。

因此,效能與市場的故事應保持分開。具說服力的算術結果不能驗證轉售趨勢;昂貴的刊登價格亦不能驗證應用程式加速。兩者各自需要適合其聲稱的證據。

當不同最佳化故事一同出現時,亦存在歸因問題。更改模型生成軟件所帶來的改善,不能自動歸功於 tensor 速率改裝。讀者需要清楚了解每個基準線與結果之間改變了甚麼。

對擁有者而言,實際機會仍在於測試現有設備;對買家而言,審慎的比較應是整部機器已證實的表現。把每項已報告增幅視為可互換,對兩者都沒有好處。

尚未解決的市場問題是,買家是否持續為已驗證的能力支付更多。無論廣告聲稱看來多麼突出,個別刊登都無法回答這個問題。

在把解鎖視為升級前應留意甚麼

下一輪具決定性的證據,依次涉及重現、完整應用程式及持續運行。

首先,留意在清楚識別的顯示卡上進行獨立重現。報告應列明硬件、軟件版本、運行條件及確切專案修訂版本。更多擁有者成功測試,將提升人們對這種行為可超出原有系統的信心。

失敗案例同樣值得公開。一張接受了程序卻沒有提升吞吐量的顯示卡,是有意義的結果;改裝從未能運行的配置亦然。只報告成功案例會造成不切實際的相容性印象,並令潛在用戶無法判斷自身情況。

重現結果亦應與正在發佈的實作版本一致。程式碼整理前取得的結果,不能自動驗證整理後的發佈版本。補上這個落差,將令專案更容易評估,並減少原本頗具前景的量測結果所伴隨的不確定性。

其次,留意完整應用程式比較。有用的量測包括提示詞處理速度、回應啟動、持續生成及完成任務所需時間。輸出品質必須保持可比較。若任務或驗收標準在兩次運行之間改變,速度改善便失去實際意義。

對 RTX 3090 AI 效能而言,這代表應抗拒從另一張顯示卡或另一種工作負載借用最佳結果的誘惑。針對目標應用程式的已記錄測試,比在其他地方取得的較大數字更有用。同一標準亦適用於較新產品及競爭平台。

若證據顯示一般配置下均有一致增幅,將強化延長現有硬件使用壽命的理據;若結果集中於專門設定,則會收窄這個理據。兩種結果都能透過更清楚界定專案邊界,改善採購決定。

第三,留意持續運行與維護行為。短暫計算可證實即時效能,較長工作階段則可判斷改善在實際工作中是否仍然有用。若可在重新開機及軟件更新後重複取得相同行為,該改裝便更適合日常使用。

社群 issue 報告已描述開機順序問題,包括標準驅動程式在改裝程序之前已存取顯示卡的情況。這說明僅僅安裝成功並不足夠。用戶在解讀沒有變化的基準測試前,需要證據證明預期改變確實已發生。

機構應把這些訊號轉化為自身要求。研究工作站與處理定期用戶請求的服務,可接受的介入程度不同。同一項量測加速,會因團隊願意承擔多少營運工作而支持不同決定。

對知識工作應用程式而言,最終測試應貼近實際工作。正在建立可搜尋知識庫的開發者,應評估具代表性的文件及問題。硬件吞吐量應納入這項評估,並與最終答案的實用性及一致性一併考量。

在未來數月,這些訊號可釐清故事中不同部分。重現證實廣度;應用程式測試證實相關性;持續運行則證實好處能否超越示範情境而延續。

目前證據支持擁有合適系統的用戶審慎實驗,也支持較為狹義的購買結論:只有目標工作負載能運用額外算術能力時,它才具價值。

在把 NVIDIA GPU 解鎖視為升級前,先找出你希望縮短哪一段等待時間。你的助理是在回答前、生成期間,還是準備文件時太慢?要求一項在可比較硬件上量測該階段的比較。維持模型、軟件配置及輸出要求一致。除了算術結果,亦記錄完成整項任務的時間,並保留沒有變化的結果,而非把它們丟棄。若你已擁有受支援的顯示卡,這些證據可釐清是否值得繼續研究;若你正在購買,應在為解鎖聲稱賦予價值前,要求已展示的應用程式效能。以完成的工作衡量機會,而不是以附帶在其上的最大倍數判斷。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page