top of page

建構者稱 DeepSeek V4.1 Flash 可於 12 張 V100 上運行

3 小時前
讀畢需時 12 分鐘
Image from the source report. Source: www.tomshardware.com.

律師兼伺服器建構者 Nick Mermiges 表示,DeepSeek V4.1 Flash 現可在 12 張二手 Nvidia V100 顯示卡上運行每個路由專家模型。他於 2026 年 11 月 20 日發表的說明指出,程式碼生成速度達每秒 184 個 token。這項說法把老舊伺服器硬件與已發表的 DGX Spark 結果並列比較,但兩者採用了不同的軟件及模型表示方式。

這次升級擴展了他早前的 8 卡機器。核心改變在於記憶體容量:所有專家模型均可留在顯示卡上,毋須進一步壓縮專家模型,亦不必從系統記憶體傳輸。對於反覆查詢長篇文件的人而言,這改變了等候時間、硬件複雜度與把工作留在辦公室內處理之間的取捨。

這些仍是建構者自行發表的測量結果,所審閱來源未見已確立的獨立重現驗證。它們描述的競爭範圍亦比整體 AI 效能狹窄得多。一台能迅速回應一個人的機器,並不必然能有效服務一個團隊、產生更佳答案,或帶來更低營運成本。

DeepSeek V4.1 Flash 跨越記憶體門檻

關鍵升級,是以所選的 4-bit 表示方式,將每個路由專家模型都裝入圖形記憶體。

Mermiges 形容,12 張 V100-SXM2 顯示卡分布於三塊主板上,每塊主板有 4 張卡。每張卡配備 32 GB 記憶體。他先前的 8 卡配置,沒有足夠的可用容量容納 Nvidia 所選格式中的完整專家模型集合。

專家模型是模型在處理期間選用的專門參數群組。讓每個專家模型都可供使用,並不代表每個 token 都會啟動所有專家模型。這意味伺服器可避免把部分專家模型存放在其他位置,或進一步壓縮它們的特定取捨。

根據建構者的 12 卡架構,全部 15,360 個路由專家模型均佔用顯示卡記憶體。該專家模型集合以所選表示方式需佔用 278.9 GiB。GiB 以二進制單位衡量記憶體,因此讀者不應直接將其與採用不同標示方式的容量數字比較。

這個分別令故事比另一位愛好者增添顯示卡更具體。新增的主板跨越了容量界線。即使軟件調校可改善現有記憶體的使用效率,也無法憑空創造缺失的儲存空間。

有關「全部」一詞的說法亦需要精確界定。Mermiges 表示,所有路由專家模型均採用 NVFP4,即 Nvidia 的緊湊型 4-bit 浮點表示方式。他的文件為模型其他組件列出不同表示方式。若把整個模型描述為一律以 4-bit 精度儲存或計算,便會誇大該說法。

對於評估私人 AI 的讀者,重要問題是記憶體改動從工作流程中移除了甚麼。若請求需要使用存放於顯示卡記憶體以外的專家模型,搬移該資料便會引入另一項依賴。進一步壓縮則帶來另一種需要自行評估品質的取捨。

兩種取捨均不會自動令系統不適用。其重要性取決於應用場景、可接受的延遲,以及關於輸出品質的證據。Mermiges 選擇增加硬件,是因為他希望所選的專家模型表示方式可常駐於顯示卡上。

這項選擇突顯了本文的主要比較:為個人工作負載優化的自訂系統,對比服務更廣泛需求的緊湊型系統。這並不能證明增加硬件永遠是最佳答案。

因此,這項升級應被視為一個獨立配置。早前 8 卡機器的結果,未必能自動描述這個 12 卡版本。反過來說,軟件及運行設定亦有改變,因此不能將所有改善都歸因於容量。

對獨立評估者而言,這是首個有用的分界線。在解讀速度數字之前,先核實甚麼內容常駐於記憶體。否則,兩個表面相似的模型部署,可能實際上代表截然不同的取捨。

實際收益是減少等候文件處理

對文件工作而言,答案開始出現前的延遲,可能比最快生成速度的標題更重要。

Mermiges 發表的主要測量結果來自 11 月 19 日測試,停用了思考功能,並要求輸出 1,024 個 token。Token 是模型處理及生成的文字單位。所報數字為兩次運行的平均值,因此只是初步測量結果,而非廣泛的統計研究。

他的文件延遲測量顯示,一個 128K 程式碼提示約於 28.1 秒後開始產生答案。當該文件已被快取,所報等候時間降至約 0.4 秒。快取會保留系統已讀取材料中可重用的處理狀態。

這些數字描述的是不同情況。較短的等候時間不代表機器可近乎即時讀取新文件,而是指後續請求可重用既有工作,前提是快取仍然可用,且請求符合可重用的內容。

這個差異對 Mermiges 所描述的工作流程很重要:先對自己的案件檔案進行私人初步分析。專業人士經常帶著後續問題重返相同材料。即使最終答案很快出現,若每次都要重新承擔完整的文件處理延遲,仍會打斷這種互動。

設想一個涉及冗長合約集合的假設流程。第一個請求要求列出義務,下一個詢問例外情況,另一個則要求提供支持段落。若每個請求都能重用文件狀態,使用者的體驗將與反覆從頭開始的工具截然不同。

這是對工作流程的詮釋,並非測得的法律生產力結果。已發表的時間數據並不能證明該系統節省了多少專業工作時間。閱讀答案、核實引述及修正錯誤仍屬工作的一部分。

初始處理與答案生成之間的區別,也能避免常見的基準測試誤解。Prefill 是對輸入提示進行的初始處理。Decoding 則是其後生成輸出 token 的過程。一個系統可在其中任一階段表現出色,卻未必兩者皆領先。

Tom’s Hardware 的伺服器升級報道將首個 token 前的等候時間縮短,列為相對早前構建的核心改善。報道指,256K 程式碼提示的時間由 108.4 秒降至約 58 秒。該比較同時涉及電源設定及軟件變更,因此難以作出簡單解釋。

對建立文件應用程式的開發者而言,啟示是應審視完整互動。短暫示範可能掩蓋初始文件載入時間;冷啟動測試則可能忽略對未變動材料進行重複工作的好處。

因此,對競爭系統的壓力是具體的。買家需要貼近實際工作階段的延遲測量,包括新文件及後續問題。一個單一的最高生成速率,未能解釋太多使用者體驗。

舊 V100 節省的是記憶體流量,而非 4-bit 運算

儘管這些顯示卡缺乏原生 4-bit 計算硬件,該構建所報告的速度仍取決於軟件及資料流動。

V100 不會因模型採用 NVFP4 儲存而獲得較新的運算能力。Mermiges 解釋,儲存的專家模型數值會先解包為 FP16,即 16-bit 浮點格式,才進行相關運算。緊湊表示方式可減少讀取的位元組數,但不會產生原生 FP4 執行能力。

Nvidia 的 NVFP4 模型文件為所選專家模型套件提供參考。這確立了可供研究人員檢視的可識別模型成品,但並不獨立驗證此伺服器的實作、效能或應用品質。

這個機制有助解釋為何舊一代加速器對較新的模型格式仍然有用。儲存與運算是兩項獨立決定。即使軟件必須在運算前轉換資料,處理器仍可從讀取較少資料中受惠。

不過,這個推論亦有相應限制。減少記憶體流量,並不會消除轉換開銷、通訊開銷或能源效率差異。同一技術可帶來實用部署,但不代表舊架構等同於新硬件。

實體排列增加了另一層因素。Mermiges 將模型分為三個 pipeline 階段,即連續的層群組在不同顯示卡群組上運行。在每個群組內,tensor parallelism 將計算分攤至 4 張卡上。兩種技術都可分散工作,但亦會引入通訊及排程要求。

NVLink 是 Nvidia 在相容加速器之間的連接方式,負責連接每塊主板內的顯示卡。主板之間的傳輸則經主機擴展基礎設施走另一條路徑。因此,拓撲結構是結果的一部分,而非卡數之下無關緊要的細節。

所以,對評估可重現性的人而言,「12 張 V100」並不是完整規格。排列方式、引擎修改、記憶體分配及運行設定均屬該配置的一部分。另一台擁有相同卡數的機器,未必產生相同時間結果。

軟件工作的投入亦改變了「可負擔性」的含義。二手組件的購入成本可以很吸引,但整合工作可能相當龐大。這些工作是否值得,取決於擁有者的技能、可用時間及對維護工作的容忍程度。

這是對部署選擇的分析,而非工程工時的測量比較。已發表證據沒有為這個構建列出完整的勞工成本。讀者不應把設備總額視為已完成的採購預算。

對更廣泛的私人 AI 市場而言,有趣的挑戰在於實用性。當開發者針對真正瓶頸時,舊硬件仍可在特定任務上保持競爭力。較新系統的供應商,仍須說明買家可從效率、支援、可靠性及更廣工作負載覆蓋範圍中獲得甚麼。

DeepSeek V4.1 Flash 在這個例子中提供了工作負載。更大的工程原則,是先辨識特定部署受哪種資源限制,再假定最新加速器必然決定最佳體驗。

DGX Spark 比較的範圍有限

所報優勢涉及經挑選的單一請求解碼結果,而非對完整 AI 系統的受控排名。

Mermiges 的單一請求比較將其機器與已發表的 3 台及 4 台 DGX Spark 配置並列。他明確指出,這些系統採用各自的引擎及權重。這個限定應與該說法一併看待,因為軟件及模型表示方式會影響結果。

據報道,他那台配備十二張卡的機器,在 1K 至 128K 的上下文範圍內,生成程式碼的速度可達每秒 157 至 184 個 token。法律文本可達每秒 92 至 102 個 token,而一般散文則為每秒 83 至 95 個 token。不同內容類別之間的差異,已說明為何最高數字需要放在具體脈絡中理解。

建造者的比較亦承認,Spark 在部分提示處理測試中表現較強,而且隨著服務工作負載的併發程度提高,亦具備優勢。這些讓步大幅收窄了這個說法的範圍。它們描述的是不同系統的強項,而非一個普遍適用的贏家。

等待單一答案的人,目標與處理重疊請求的機構並不相同。個人重視目前工作可多快完成;機構還必須考慮佇列、用戶之間的公平性、持續吞吐量,以及需求高峰時的行為。

批次處理會合併多個請求的工作,以提升資源使用效率。其效益取決於服務引擎是否為善用這類工作負載而設計。針對特定連續互動而優化的機器,並不會自動成為高容量的共享服務。

因此,只有先釐清工作內容,「V100 vs DGX Spark」才是一個有用的問題。比較的是開始生成答案、完成生成答案,還是同時處理多名用戶?涉及的是全新文件還是已快取的文件?輸出品質要求是否相同?

這些問題對 AI agents 亦同樣重要;這類應用會在模型回應與操作或工具呼叫之間交替進行。有些互動存在連續依賴關係,無法簡單地將每一步都作批次處理。另一些應用則會產生足夠獨立的工作,讓共享伺服器持續忙碌。

所審閱的證據並未衡量所有這類應用。將此基準測試套用至 agent 工作流程,仍是一項需要直接測試的假設。單憑程式碼生成結果,無法證明整項開發任務可以更快完成。

合適的 V100 vs DGX Spark 比較,應盡可能保留提示、模型工件、生成設定及測量界線。若配置必須不同,評估者應說明原因。否則,測試比較的是組裝完成的軟件系統,卻未能隔離硬件本身的貢獻。

這並不代表已公布的數字毫無意義。它們指出一個值得研究的實作方式,並為其他建造者提供具體目標。它們亦挑戰了「產品年齡本身足以預測回應速度」這種過度簡化的假設。

不過,現有結果不足以證明哪個方案在採購上更優勝。買家在選擇系統時,需要涵蓋其實際工作負載的證據。對 Spark 配置而言,真正相關的壓力在於:應在匹配條件下展示其強項,而非以另一個未匹配的標題回應一個標題。

功耗、私隱與品質仍須分開測試

快速的本地生成,只解答了專業買家需要解決問題的一部分。

這台機器的運行要求相當可觀。Mermiges 表示,在他設定的 175 瓦限制下,這些卡的耗電量最高可達 2,100 瓦,尚未包括其他系統組件。他亦提到噪音問題,以及需要將設備放置在有人工作的空間以外。

這帶來明顯的實際限制。伺服器或許適合私人工作,卻未必適合放在辦公桌旁。空間、散熱、供電容量及持續維護,都應與回應速度一同納入評估。

他有關購入成本的說法亦需要審慎解讀。標題中的計算反映他在一段時間內為二手組件所支付的金額;他亦另行提供按現時價格購入硬件的較高估算。歷史採購成本並不能證明其他買家能夠複製同樣結果。

兩個總額本身都不足以確定擁有成本的經濟性。比較需要以一致方式處理配套設備、安裝、能源、維護及停機時間。所審閱的材料未能證明在涵蓋所有這些因素時,存在標準化的擁有成本優勢。

私隱同樣需要明確界線。Mermiges 表示,當他使用本地伺服器時,其案件文件會留在辦公室內。這是營運者對其配置的陳述,並非獨立證據,證明每一個可比配置都會讓每一類資料留在本地。

機構仍須檢查周邊應用的行為。即使模型推理在本地進行,日誌記錄、整合、備份及管理存取仍可能帶來影響。這些是評估問題,並非針對這台特定機器的指控。

當熟悉的介面連接至不同後端時,這項區分尤其重要。更改模型端點,本身並不能記錄每項周邊服務的行為。所審閱的證據未有就這個更廣泛環境提供完整審計。

答案品質是另一項獨立議題。將專家保留於選定表示法中,可減少一種特定的壓縮取捨,但不能證明生成的答案正確、有足夠根據,或適合專業用途。

同樣地,與另一個配置進行數值檢查,不能取代在真實工作上的評估。系統可以保留預期的計算行為,卻仍然產生錯誤詮釋。若驗證答案所需的工作量超過完成原始工作,快速答案的價值便很有限。

對文件用戶而言,資訊組織亦仍有別於模型速度。一個可搜尋的知識庫處理的是資料如何可供檢索。它本身並不能驗證底層模型,也不能確立這台伺服器的私隱特性。

因此,這些證據支持將決策分開處理。應按各自標準評估回應速度、營運適配性、資料處理及工作品質。將它們合併為單一「私人 AI」標籤,反而會掩蓋最重要的問題。

三項結果可令這項主張更有用

獨立重現、真實服務測試及工作品質證據,應決定這項結果能否超越一間辦公室的範圍。

第一個值得留意的訊號,是能否獨立重現所報告的延遲及生成速度區間。另一名營運者應識別確切的模型工件、引擎版本、硬件拓撲及運行限制。若可匹配這些細節,一致結果便更具意義。

全新文件與已快取文件的測試應保持分開。兩者一併報告,可釐清重現結果證實的是初始處理、後續回應速度,還是兩者兼有。結果亦應區分程式碼、法律材料及散文,而非把最快的類別當作代表。

成功重現將提升信心,證明該配置能為所述工作負載帶來可重複的優勢。若結果有實質差異,亦不會自動否定建造者;它們只會指出現有公開說法尚未完全隔離的依賴因素。

重現亦需要留意公開可取得的內容。該儲存庫描述了引擎修改及測量方式,同時指出部分組件並未以完整、可直接啟動的套件形式提供。這限制了另一名營運者複製確切環境的難易程度。

第二個訊號是貼近真實情況的併發服務比較。有效的測試應追蹤請求由抵達至完成的整個過程,包括等待所花的時間。單純把生成速率相加,可能忽略生成開始前出現的延遲。

匹配的測試應包括一名獨自工作的專業人士,以及一個共享伺服器的小型群組,並保留相等的文件及輸出要求。這可揭示自訂配置在哪些情況下仍具回應力,以及何時其他服務方式會較可取。

若較新的批次處理工作能改善共享使用,同時不損害單一請求的延遲,這套建置的實際適用範圍便會擴大。若併發帶來大量等待,原本針對個人用戶的定位仍會是較站得住腳的詮釋。

第三個訊號,是與具代表性文件相關的工作品質證據。速度測量應配合對答案正確性、支持證據及遺漏內容的評估。這些評估需要清楚列明標準,而非憑模型感覺上可與另一產品相比的印象。

對私人的法律工作而言,有用的評估會測試答案能否準確反映所提供的材料,並識別相關段落。相同原則亦適用於工程記錄或內部研究。具體工作應反映目標用戶,而非方便展示的範例。

強勁的品質結果可支持更廣泛採用的討論。即使所有時間測量均可重現,疲弱結果仍會限制速度優勢的價值。硬件效能與專業實用性有所重疊,但不能互相替代。

因此,十二張 V100 上運行的 DeepSeek V4.1 Flash,是一項值得測試的特定報告結果。它顯示,當工作負載由記憶體容量及個別回應速度主導時,經過仔細配置的舊硬件仍可保持相關性。它並未決定自訂伺服器與緊湊型 AI 系統之間更廣泛的競爭。

在把這台機器視為購買範本前,先要求查看與自身工作相似的負載。檢視冷文件等待時間、重複提問、輸出品質,以及其他人開始工作時的表現。比較維護負擔與將該工作流程保留在本地的價值。然後檢視每項所聲稱優勢背後的證據,包括其他營運者實際能夠重現的部分。下一個有用的問題,不只是十二張舊卡能否運行該模型,而是獨立重現的配置能否為你需要完成的工作,提供可靠答案、可接受的運行要求及一致的回應速度。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page