tandem.cpp 更新加入 AMD 支援及 SSD 效能提升
tandem.cpp 更新稱,DeepSeek-V4.1-Flash 可在一台配備 64 GB 記憶體及 16 GB 顯示卡的電腦上,以每秒 14.2 個 token 運行。作者列出同一配置下,原生 llama.cpp 的速度為每秒 7.4 個 token。這項說法涉及更快的推論,即運行既有模型,同時模型的大量資料仍存放在顯示記憶體以外。
關鍵在於那些資料存放的位置。根據作者所述,測試模型的專家權重佔用 139 GiB,超過該電腦的系統記憶體。專家是針對特定輸入而選用的專門模型元件。此修補程式把常用專家留在顯示卡上,並協調處理器、記憶體及儲存裝置處理其餘工作。
這使 tandem.cpp 面對一項實際限制:當偏好的模型超出可用記憶體時,用戶願意容忍多久的等待。它在重點展示的電腦上,相對 llama.cpp 的報稱優勢相當顯著。與另一個推論引擎 Strata 的比較則呈現較窄、較複雜的競爭。這些是作者報稱的量度結果,並非獨立重現的結果。
tandem.cpp 更新實際改變了甚麼
這項更新針對無法把大型模型完全留在最快記憶體中的電腦。 它亦加入 AMD 執行路徑,讓更多硬件擁有人可以研究使用。
在作者的 DeepSeek 卸載基準測試中,核心配置結合 RTX 5070 Ti、64 GB RAM 及 i5-14600KF。RAM 是電腦的工作記憶體。顯示卡配備 16 GB VRAM,即專供圖像及運算使用的記憶體。
作者稱,在該電腦上,tandem.cpp 為每秒 14.2 個 token,llama.cpp 為 7.4,Strata 為 10.4。Token 是模型讀取及生成的文字單位。這些數字量度解碼速度,即引擎處理提示後輸出內容的速率。
基準測試使用 DeepSeek-V4.1-Flash IQ2_XS。最後的標籤代表量化格式,即以降低數值精度的方式儲存模型權重。作者表示,每個引擎均使用相同的量化模型,因此這是執行方法的比較,而不是不同壓縮模型之間的比較。
所述測試條件同樣重要。測試涉及一名用戶、GSM8K 數學題目及貪婪解碼,即每次選取得分最高的下一個 token。作者稱,被比較的引擎均沒有跳過已選定的專家。這些控制條件收窄了比較範圍,但不會獨立驗證其實作方式。
第二台電腦以相同顯示卡及記憶體容量,配搭 i5-12400F 和一部沒有專用板載 DRAM 的入門級 SSD。報稱結果為 tandem.cpp 每秒 10.4 個 token,Strata 為 5.7。該帖文沒有提供該行的 llama.cpp 結果。
這個缺失項目應維持缺失。它未能證明失敗、無法載入模型,或某個特定效能差距。它只意味着無法在該配置下完成所有引擎的全面比較。
較大型的配置結合 RTX 5090、32 GB 顯示記憶體、128 GB RAM 及 i5-14600KF。作者在此報稱 tandem.cpp 每秒 33.1 個 token、llama.cpp 為 11.5、Strata 為 28.0。
綜合而言,這些結果支持一項值得測試的具體說法:協調記憶體及儲存裝置可提升超大型模型的生成速度。它們並未證實任何配備 16 GB 顯示卡的電腦都能達到重點展示的結果。
這亦是推論引擎更新,而不是 DeepSeek 模型公告。此修補程式改變既有模型的運行方式。它不會訓練新模型,也不會證實壓縮版本與原始模型的質素相同。
壓力落在記憶體管理,而不只是顯示卡
重要的比較是在相同記憶體限制下,不同執行策略之間的比較。 單靠更快的顯示卡,無法解釋相同硬件上不同引擎之間所報稱的差異。
設想一名已擁有重點展示級別桌面電腦的讀者。他們最直接的問題是,軟件能否在無須更換電腦的情況下,令超大型模型變得可用。作者的數字為這個問題提供了具體的實驗起點。
這亦將注意力轉向整台電腦。一旦工作負載依賴儲存裝置,處理器、可用 RAM 及硬碟行為都應納入效能討論。若把顯示記憶體視為唯一有意義的規格,便會忽略此處描述的配置。
這不代表記憶體容量不再重要。核心限制仍清楚反映在設定中:專家資料超出可用 RAM。軟件必須圍繞這個不足管理資料移動及運算。報稱的改善令這項不足所花的時間成本降低;並沒有消除它。
對於選擇引擎的開發者而言,這帶來了在相同條件下比較同一模型的壓力。在記憶體充裕時量度的結果,與反覆存取儲存裝置時量度的結果,回答的是不同問題。
作者對 Qwen 的比較進一步突顯這項分別。報稱容量為 78 GiB 的 Qwen3.8-Flash-Next IQ3_S,在配備 16 GB RTX 5070 Ti 的 32 GB 電腦上,據稱可達每秒 34.3 個 token。相應數字為 llama.cpp 的 14.9 及 Strata 的 30.3。
該測試包括 MTP,即多 token 預測,一種提出多個未來 token 以供驗證的方法。它屬於所述的 Qwen 配置。讀者不應把其結果套用到 DeepSeek 配置,也不應假定同樣的加速效果普遍適用。
不同應用的實際取捨各異。嘗試使用本地助理的人,或會接受明顯的啟動延遲,換取其後穩定的輸出。運行重複短請求的開發者,則可能更在意每次回應開始前的延遲。
背景工作引入另一種標準。其擁有人可能接受較慢的互動,只要工作可可靠完成,同時為其他應用程式保留足夠資源。佔用原本閒置電腦的基準測試,並不會自動代表這種體驗。
這些是評估情境,並非 tandem.cpp 已記錄的部署案例。其目的在於說明,單一生成速度數字無法決定引擎選擇。
對考慮本地文件工作流程的團隊而言,模型亦只是其中一個元件。檢索、來源存取及答案核對仍是獨立議題。一個 可搜尋知識庫 處理的是與推論引擎記憶體策略不同的一層。
因此,對引擎開發者的合理要求十分明確:發布能揭示記憶體協調何時有幫助、何時不再有幫助,以及用戶體驗中哪些其他部分仍然緩慢的量度結果。
為何移動較少專家可能比容納全部更重要
其機制依賴選擇性運算及配置,同時保留測試模型所需的工作。 它不要求整個模型都駐留在顯示卡上。
混合專家模型通常簡稱為 MoE,會為每項輸入選取專門元件的子集。因此,其儲存參數總數可超過單次運算實際使用的子集。這項差異為不同記憶體安排創造機會。
作者形容 tandem.cpp 會把常用專家留在顯示卡上,同時讓處理器協助處理其他專家。當模型超出系統記憶體時,儲存裝置亦會參與。工程問題遂變成:哪些資料應保留在近端,以及如何處理其餘資料。
快取是較快的儲存區域,會保留資料以供重複使用。在此情境中,已快取的有用專家可避免重複傳輸。當所需資料不存在而必須從其他位置取得時,便會發生快取未命中。
分析上的含義很直接:即使運算量不變,避免一次緩慢傳輸仍可能相當重要。這正是記憶體管理修補程式值得與數值運算改進一併關注的原因。
這種推論有其限制。配置策略的效益取決於專家的實際使用模式。不同提示及模型可產生不同模式。數學題目的有利結果,並不能證實程式碼生成或長文件分析也有相同優勢。
基準亦值得準確看待。透過 llama.cpp 進行的本地模型推論,提供 tandem.cpp 所修補的底層引擎。這是在既有軟件基礎內的比較,並非證明該基礎已不再重要。
這種關係對維護很重要。讀者應同時評估量度到的效益,以及使用修改版引擎帶來的影響。與其模型、應用程式及未來軟件更新的相容性,都屬於決策的一部分。
該項目 11 月 16 日的儲存庫更新,加入了另一項相關發展。其 專家快取變更 說明了更大的提示處理批次,以及暫時使用快取記憶體作為處理緩衝區。作者報稱提示延遲有所改善,同時顯示 Strata 在某些比較中仍然較快。
這些較新的資料很重要,因為提示處理及文字生成是不同階段。Prefill 是對輸入 token 的初始處理。Decode 則是其後產生輸出 token 的階段。改善其中任何一個階段,並不會自動改善另一個。
對提交長文件的人而言,更快的輸出串流之前可能仍有相當長的初始等待。該用戶感受到的是整個互動,而不只是解碼基準測試所突出的部分。
因此,tandem.cpp 更新應被理解為針對記憶體受限執行管線的工作。其吸引力來自改善既有資源如何協作。現有證據並不支持把它形容為令模型大小變得無關緊要的方法。
同樣地,避免跳過專家並不代表與未壓縮模型等效。所選量化格式仍是實驗的一部分。保留選定運算與保留原始數值精度,是兩項需要不同證據支持的獨立說法。
AMD 支援擴大使用範圍,但未證實速度領先
AMD 相容性是一項有意義的新增功能,但報稱的 AMD 結果並未令 tandem.cpp 領先所有替代方案。 作者自己的比較已清楚顯示這項限制。
此修補程式現可透過 HIP 建置;HIP 是 AMD 用於 GPU 運算的 C++ 執行時間及程式設計介面。AMD 把 HIP 程式設計 描述為 ROCm 的一部分;ROCm 是其針對處理器及圖像硬件異構運算的軟件平台。
這項分別有助理解公告。支援某個程式設計介面會開啟一條執行路徑,並不代表所有受支援顯示卡、處理器、作業系統或軟件配置均有同等效能。
作者稱曾測試 RX 7900 XTX、i7-8700、64 GB DDR4 記憶體及 PCIe 3.0 連接。PCIe 是連接顯示卡等元件與電腦的介面。該工作負載使用 Qwen3.8 IQ3_S 及 MTP。
據報,在該設定下,tandem.cpp 可達每秒 68.6 個 token。原版 Strata 為 69.7,而專為 RDNA3 最佳化的 Strata 分支則達 80.1。RDNA3 是受測 AMD 顯示卡所採用的圖形架構。
這些數字支持一個審慎的結論:在作者的測試中,tandem.cpp 的表現可與原版 Strata 媲美,而專用分支則更快。它們不足以支持將 tandem.cpp 稱為最快的 ROCm 引擎。
文章亦列出 Avalon 為每秒 83.6 個 token。然而,該項目使用其自家的 IQ3_KS 量化方式。由於儲存的模型表示法不同,這個數字不應被視為受控、僅比較引擎的結果。
這正是基準測試展示方式可能在不知不覺間造成誤導的地方。把結果放在同一個清單中固然方便掃讀,但不會消除模型檔案之間的差異。一個有用的比較,應先說明這些差異,再作出排名。
作者亦表示尚未支援 Vulkan。Vulkan 是另一種圖形及運算 API。偏好的設定依賴它的讀者,不應把 HIP 公告視為現有軟件流程已獲支援的證據。
RDNA4 仍然存在另一項不確定性。作者在討論中表示,受限於手上硬件,無法測試該架構。認為程式碼「應該能運作」的預期,證據力遠弱於成功建置、完成工作負載及可重現的量測結果。
因此,對 AMD 用戶而言,眼前的價值是多了一個可供評估的選項。這項公告擴大了可行實驗的範圍,卻未能定論哪個引擎最適合每一種 Radeon 設定。
它亦說明了主敘事的界線。協調記憶體可能有所幫助,但其成效仍取決於執行平台。共用程式碼不會令硬件特有的限制消失。
適當的做法,是在目標機器上作同類比較。架構名稱和相容性標籤可提供背景;它們無法取代對讀者實際打算執行的應用程式所作的量測。
基準測試尚未釐清的問題
最大的驗證缺口,在於作者的受控比較與另一名用戶完整工作負載之間的距離。 公開可得的說法令調查成為可能,但並不構成獨立重現。
作者表示,DeepSeek 比較使用相同的量化、貪婪解碼,而且不跳過 expert。這些都是有用的控制條件。它們可減少引擎之間明顯的不一致來源,但仍留下其他待解問題。
核心未解問題是可重現性。另一位評估者需要足夠資料,才能配對模型檔案、軟件版本、設定及量測程序。這些細節若能一致,重複得出的結果會比一張大致相似的截圖更具參考價值。
儲存狀態尤其值得注意。冷啟動時,記憶體未保留同樣的有用資料;熱啟動則可重用先前存取過的資料。比較不同的起始狀態,可能會把記憶體狀態帶來的優勢錯誤歸因於引擎本身。
桌面電腦上的其他活動,對實際評估亦有影響。應用程式會競爭工作記憶體及處理時間。在隔離測試中表現出色的設定,仍值得在擁有者的正常使用情境下再作檢驗。
這是評估層面的考量,而非 tandem.cpp 存在缺陷的證據。現有基準測試只是無法回答機器在日常工作期間如何運作的所有問題。
測試工作負載亦構成另一條界線。GSM8K 包含數學文字題。用其問題量度生成速度,並不會自動證明數學準確性、編程能力、事實可靠性或成功使用工具的能力。
模型可以很快生成錯誤答案。相反,較慢的設定對於主要要求審慎核實的工作而言,仍可能足夠。吞吐量和實用性需要各自量測。
同樣的審慎原則亦適用於「exact」一詞。在這項比較中,作者用它來區分不跳過 expert 的運算。它不應被延伸為各種硬件上的輸出完全一致,或與原始模型等效的籠統說法。
量化本身亦帶來另一個問題。報告中的 DeepSeek 設定使用壓縮表示法。要評估該表示法的答案品質,必須有超出本文所討論引擎速度數據以外的證據。
能源使用、儲存裝置活動、反應速度及穩定性,同樣不屬於標題結果所涵蓋的範圍。讀者不應只因輸出更快出現,便推論這些方面也有所改善。不同用戶對它們的重視程度亦不盡相同。
引用材料中沒有獨立的企業採用證據。因此,結果支持技術熟練用戶進一步研究,而非聲稱機構已驗證此方法可用於生產環境。
作者對 Strata 的讓步,有助讓討論保持務實。在 Reddit 討論串中,他們承認在記憶體足夠時,Strata 可能更佳。這與效益取決於工作負載、而非存在普遍勝者的說法一致。
審慎解讀並不會令這次更新失去趣味。它指出真正值得檢驗的命題:這個修補程式是否能改善特定受限機器上某個過大的模型。
這個命題既有用,也可測試。把它延伸為關於每個模型、每張 AMD 顯示卡或每種本地 AI 工作流程的說法,便會超出現有證據。
三個訊號將顯示增益能否延伸
下一批有用證據應依次測試可重現性、AMD 覆蓋範圍,以及完整回應時間。 這些訊號可針對最大的缺口,同時不把這次更新演變成對整個 AI 市場的預測。
首先,留意是否有針對受記憶體限制的 DeepSeek 結果作出獨立重現。最有力的報告會列明確切模型檔案、引擎版本、硬件、設定及起始記憶體狀態,亦會報告重複執行之間的差異。
若得出相符結果,將加強這項增益能在作者環境以外維持的說法。即使增益較小,只要差異能連結到儲存裝置、處理器行為或設定,仍具參考價值。
反轉結果亦同樣重要。若另一個引擎在相符條件下勝出,tandem.cpp 優勢的界線會更清晰。這有助用戶選擇軟件,而不只是為排行榜多添一個數字。
其次,留意是否有超出已報告 RX 7900 XTX 設定的 AMD 測試。RDNA4 結果將直接回應作者提及的硬件缺口。報告應區分成功編譯、正確執行,以及持續的應用程式效能。
更廣泛的 AMD 覆蓋範圍會加強相容性方面的說法。它不會抹去現有 Strata 分支的結果,也不能確立永久排名。不同架構需要各自的證據,尤其在主機處理器也參與推論時。
第三,留意真實提示下的完整互動時間。這意味著一併量度初始等待、輸出生成及成功完成。11 月 16 日的提示處理工作,令此項成為尤其相關的下一步。
長篇文件請求和重複的對話回合,會測試與短數學提示不同的需求。獨立評估者應說明工作負載,而非把單一吞吐量數字當作完整的用戶體驗評分。
這些訊號值得在未來數月持續留意,但並非已承諾的里程碑。無論來源文章或儲存庫,都沒有為獨立驗證、更廣泛硬件測試或應用程式層面的比較訂下期限。
目前而言,tandem.cpp 更新為實作評估提供了一個可信的題目,並有詳盡的作者說法及坦誠的競爭限制作支持。其最強的報告案例,是一台被迫把 expert 資料移到可用記憶體以外的機器。實際下一步,是把該案例與你自己的工作負載比較。先使用相同的模型檔案,並清楚記錄基準線。量度輸出前的等待時間時,應與量度輸出速率一樣仔細。在把速度視為進展之前,先核對答案。若增益在這些條件下持續存在,它便成為屬於你機器的證據,而非借來的標題。對你的本地工作負載而言,哪一項最重要:穩定生成、較短的初始等待,還是保持桌面電腦反應暢順?



