top of page

DeepSeek V100 伺服器以速度換取精確度

3 日前
讀畢需時 12 分鐘
Illustrative photograph. Photo: panumas nikhomkhai / Pexels.

一名律師的 DeepSeek V100 伺服器,犧牲了部分生成速度,以提升模型常用部分的數值精確度。這部機器仍採用八枚 Nvidia V100 圖形處理器,但其建構者表示,已令大部分經量測的 expert 路由活動更接近 NVFP4 參考版本。NVFP4 是 Nvidia 的四位元浮點格式,透過共用縮放資訊,以緊湊方式儲存模型數值。這項限定相當重要:大部分路由活動,並不代表大部分模型元件已轉用該格式。

這個項目屬於 Nick Mermiges,他利用本地 AI 為法律案件檔案進行初步處理。這次升級針對一項實際取捨:在有限圖形記憶體內保留模型更多數值行為,同時讓其工作元件得以容納。早期版本偏向高壓縮及更快輸出;新版設定則為經常被選用的元件投入更多記憶體,以較慢生成速度換取更接近參考版本的結果。

這項實驗介乎幾個常見選項之間:Claude 等託管式助手、較新的本地硬件,以及在舊設備上運行的高度壓縮模型。它並未證明臨時拼裝的伺服器可媲美受管理的法律 AI 服務。不過,它提供了一個有文件記錄的例子,說明擁有人選擇數值保真度,而非表面速度。重要問題在於哪些地方有所改善、哪些量測結果可一併理解,以及這些改變能否經得起完整工作日的考驗。

DeepSeek V100 伺服器有何改變

這次升級改變了機器如何運用有限的圖形記憶體,而非更換其八枚主要處理器。

Tom's Hardware 於 2026 年 11 月 14 日報道這次更新。其報道稱,系統記憶體由 256 GB 增至 1 TB,並加入一張 RTX 3090。報道亦指,程式碼生成速度由早前的每秒 160–215 個 token,降至 150–180 個。Token 是模型處理及產生的文字片段。這些數字反映的是所報告的程式碼工作負載,而非伺服器處理的所有任務。該刊物的伺服器升級報道追溯了建構者公開帳戶所披露的改動。

該伺服器運行配備法律 harness 的 DeepSeek V4.1 Flash,即用以組織模型工作的周邊工作流程及檢查機制。這個分別將模型與 Mermiges 實際使用的應用程式區分開來。模型會生成回應;周邊系統則決定輸入哪些材料、跟進甚麼任務,以及哪些內容需要覆核。改變底層數值表示方式,只會影響這個較大流程的一部分。

硬件增設也需要分開看待。更多系統記憶體不會自動變成更多圖形記憶體。新增的 RTX 3090 亦不會自動對每一項已公布的速度結果作出貢獻。若把整份零件清單視為效能的解釋,便會略過實際設定及軟件決策。

對關注此項目的讀者而言,實質發展在於優先次序的轉變。舊方法將經路由的模型元件高度壓縮,以確保它們能保留在顯示卡上。這次更新保留了這種可用性,同時為選定元件分配額外空間,以較高精確度運作。

這與追求每秒最高 token 數量是不同目標。快速回應只有在內容能支援任務時才有用。反過來說,若系統過慢或不穩定而無法使用,更接近的數值匹配亦只有有限實際價值。

因此,這次更新應置於工作負載設計的討論中,而不是處理器世代之間的競賽。它的相關性源自模型、記憶體預算、軟件及法律工作的一種特定組合。買家不應把這種組合化為通用採購規則。

可見的新增硬件令機器更為複雜。較不顯眼的改變,即決定哪些元件值得使用稀缺記憶體,才說明這次更新為何重要。

大部分 expert 流量並不等於大部分模型

標題中的百分比量度的是經過指定模型元件的活動,而不是整個模型以完整精確度運行的比例。

DeepSeek 採用 mixture-of-experts 設計,會把運算導向稱為 experts 的指定模型元件。在 decode 階段,即生成後續 token 的階段,不同 experts 接收的流量各不相同。一個經常被選用的元件,其活動量可能遠高於其在整體元件數量中所佔的比例。

根據建構者的expert 路由更新,早期預設把 15,360 個經路由 experts 中的 5,949 個提升至 NVFP4。量測所得的單 slot 覆蓋率約達 decode 路由的 80–86%。雙 slot 預設所稱的 78–85% 覆蓋率屬預測結果,並非直接量測。該帖文亦稱,expert 選擇同時使用公開 prompt 集合及私人法律流量。

這些說法所支持的結論,比「80% 的 DeepSeek 以完整精確度運行」更為狹窄。它們描述的是取決於工作負載的活動分布,並不能證明相同比例適用於陌生使用者的文件、語言或要求。

不妨考慮底層的分配問題。若部分 experts 接收頻繁流量,保留其參考權重可影響大量路由決策。若對每個 expert 一視同仁,記憶體消耗方式便會不同。這個項目的做法則優先照顧其量測所識別為有用的元件。

這令 DeepSeek 混合精確度成為一種工作負載專門化。在此,混合精確度是指以不同數值表示方式儲存不同模型元件。其效益部分取決於未來請求是否與用來選擇這些元件的流量相似。

在評估法律工作負載時,這種區別尤其重要。合約審閱、事實時間線整理、往來文件起草及來源比對,可能要求不同的行為模式。圍繞某種請求組合調校的選擇,在其量測覆蓋率成為另一種工作負載的主張前,仍需要測試。

Nvidia 的NVFP4 格式說明亦有助區分儲存精確度與硬件加速。該格式結合四位元數值及共用縮放,以限制表示誤差。Nvidia 隨 Blackwell 推出對該格式的原生加速。在舊處理器上保留參考格式權重,並不會令它獲得 Blackwell 的執行硬件。

因此,「接近 NVFP4」需要具名的參考版本及明確的量測方式。它不應被當成未壓縮運算、正確性保證或較新硬件效能的同義詞。

有意思的結果是這種分配策略。該機器嘗試在經常通行的運算路徑上保留較高保真度,同時在其他位置維持壓縮覆蓋。這種做法在量測流量以外是否仍然有效,仍有待進一步測試。

更接近參考版本,不代表法律答案更好

較接近的數值行為是有關實作的證據,而法律實用性仍須獨立評估。

該項目的公開模型卡顯示,與其 NVFP4 參考版本的下一 token 一致率為 95.1%,相較早期壓縮版本的 92.2%。這量度的是在比較條件下,兩種實作是否選出相同的下一個文字片段。這並不代表任何一個系統以該等比率正確回答法律問題。

文件亦包含後來的設定修正。11 月 13 日的更新在增加預留記憶體後,將雙 slot 預設的 NVFP4 experts 數目由 5,949 個減至 5,936 個。同一個混合精確度套件區分了早期一致性測試與後來品質尚未確立的服務選項。記錄的 context limit 為 524,288 個 token,即一項請求所設定的最高輸入及輸出容量。

這些細節避免了幾個誘人的捷徑。與參考版本一致,不等於與原始文件一致。參考模型可能犯下事實錯誤,而較忠實的實作亦可能重現該錯誤。

同樣地,出現不一致亦不必然產生較差答案。不同措辭可以保留相同含義。細微數值差異亦可能改變一項關鍵限定。後果取決於任務及輸出,而不只是相符 token 的數目。

因此,對 DeepSeek 法律工作流程而言,評估應從完成的工作成果開始。輸出有否保留指控與既定事實之間的分別?結論有否連結到正確文件?當證據仍然不完整時,系統有否保留不確定性?

這些是相關問題的例子,而非對這部伺服器作出獨立評估後的發現。它們說明了為何數值比較不能取代任務審閱。

長 context 的設定亦需要審慎解讀。容量只說明系統在其設定下可接受多少材料,並不保證每一項相關細節都會在整個回應過程中保持可存取或被正確連結。

設想一份根據案件檔案整理的初步時間線。有價值的結果是一條可用、並附可追溯支持材料的順序。伺服器可以成功處理檔案,卻遺漏重要事件;它也可以生成流暢文字,但仍需大量修正。

實際壓力落在維護工作流程的人身上。較高數值保真度帶來的是重新測試應用程式的理由,而非取消覆核的理由。最有用的後續工作,是以相同文件及評估準則,比較升級前後的輸出。

這種比較會將工程改動與這部機器存在的理由連繫起來。在此之前,現有證據只支持已公布測試中的較接近參考行為,並不支持法律準確度已有量化改善的說法。

速度取決於量測哪個版本及工作負載

公開結果描述了多種設定,因此把各自最佳數字合併,會構成一部從未真正測試過的伺服器。

該項目後來的儲存庫記錄了一個於 11 月 13 日完成的版本,其程式碼輸出約為每秒 143–175 個 token。它列出在三個同時請求下,整體速度為每秒 176.2 個 token,相比早前報告的 192.3。後來的測試亦在 256K prompt 後於 86.7 秒產生首個 token,較早前運行的 108.4 秒更快。

基準測試設定詳情披露,這些測試採用了不同的功耗設定,同時警告並非每種 slot 設定檔都已確認品質。Slot 是為某個請求狀態預留的服務容量。這些仍是開發者自行報告的測量結果,而非獨立重現的基準測試。

這項披露改變了描述升級方式的角度。較早的標題數字仍可作為特定日期的結果參考,但不應被當作日後每個修訂版本的永久規格。

整體吞吐量亦需要明確說明分母。它計算的是測量期間內各項請求合計的輸出量,並不代表單一用戶的答案會以該綜合速率送達。

對辦公室而言,這項分別相當實際。多項背景工作或可受惠於更高的合計輸出量;等待特定回應的律師,關心的卻是該請求完成所需時間。一種設定可以提升共享資源使用率,卻令每個活躍工作階段變慢。

提示詞處理亦帶來另一項分別。Prefill 是生成開始前處理輸入內容的初始階段。即使後續輸出速度很快,一份長文件仍可能令用戶在看到首個回應前等候一段明顯時間。

這對互動式工作尤其重要。用戶或許能接受全面分析文件時較長的等待,但未必能接受簡短跟進問題也有同樣延遲。把兩者混合成單一速度數字的評估,會掩蓋這種差異。

與 Claude 或其他託管助理比較時,也需要同樣嚴謹。Mermiges 描述自己如何把工作從以 Claude 為基礎的測試框架遷移至本地系統。這個敘述說明了他的動機和經驗,而非服務之間的受控比較。

公平的評估應固定任務、來源材料、預期輸出及審核標準,亦應計入等待時間和修正工作。否則,這項比較有可能只是以共同標籤衡量不同工作流程。

因此,DeepSeek V100 伺服器較慢的生成速度確實是一項取捨,但需要放在合適的框架下理解。核心問題是:更高保真度是否能減少足夠的修正工作,以證明額外等待和維護是值得的。

已公布的輸出速率本身無法回答這個問題。它們有助界定可行實作與完整價值仍待衡量的應用之間的界線。

可靠性與本地控制同樣帶來工作負擔

建構者改善穩定性的成果令人鼓舞,但推測中的硬件成因仍屬診斷,而非已證實的結論。

Mermiges 表示,在調整供電後,當機情況已停止。他描述其後成功完成九段長對話,並把可能故障的電源供應器列為懷疑成因。較早前的錯誤令他把注意力轉向 PCIe,即連接硬件組件的連接系統。這些觀察與已確認根本原因之間的分別,應保持清楚可見。

同一敘述稱 RTX 3090 已實際安裝,但把小型草稿模型遷移到該卡上的工作仍未完成。草稿模型會提出候選文字,再由另一個模型檢查,這種方法稱為 speculative decoding。其預定部署屬未來的軟件改動,而非對既有結果的既定解釋。

綜合而言,這些細節顯示,一套可用的本地系統並不只是把模型權重放進記憶體。即使生成速度看似足夠,硬件診斷、設定管理及軟件整合仍會消耗大量工夫。

一連串成功工作階段支持「觀察到的行為已有改善」這項說法,卻無法分離出故障組件。同一時期作出的多項變更,可能令歸因變得複雜。

這種不確定性在持續演進的個人項目中很常見。當有人把該項目視為可靠辦公室基礎設施的範本時,影響便更為重大。其他建構者需要足夠文件,才能分辨可轉移的修正方法與僅適用於特定機器的改善。

本地控制帶來相關但不同的問題。Mermiges 表示,其案件文件會留在辦公室內。這描述的是他的預定操作方式及所報告的做法,並非系統資料處理方式的獨立審計。

考慮採用類似方法的機構,仍須了解文件、日誌、備份及管理員存取權位於何處。這些是部署問題,並非證明這部特定機器存在缺陷。現有敘述未能提供完整答案。

因此,與託管服務的比較不僅關乎位置,也關乎責任。自行在本地運行硬件,讓擁有者可直接控制許多決定,同時亦把更多維護和故障排除工作交由擁有者承擔。

受管理服務會以不同方式分配這些責任。兩種安排都不會自動證明輸出品質較佳、存取權適當,或總投入較低。這些判斷需要有關實際系統及其使用方式的證據。

無論最終採用哪種部署方式,周邊的知識工作流程仍然重要。一個可搜尋的知識庫可協助整理來源材料以供檢索,但無法取代模型評估,亦不能驗證另一套安裝系統的私隱聲稱。

就 DeepSeek 法律工作流程而言,艱難的問題是,本地控制能否提供可靠地取得有用工作成果的能力。除了優化工作外,這亦需要可重複的操作流程。成功示範與可維護的日常服務是相關成就,但需要不同證據支持。

三項後續發展將決定這個方案能走多遠

下一次有用的更新,應把工程改善連繫至可重現的行為,而非再加入另一個孤立的最高速度標題。

首先,留意目前服務設定的統一評估。更有力的證據,會在同一版本中結合量度所得的路由覆蓋率、參考一致性、延遲及已完成任務的品質。這可減少整合不同設定下收集數字的需要。

若目前預設設定能在具代表性的使用情況下保留更接近參考結果的行為,這項訊號將加強項目的核心主張。若面對不熟悉的流量或額外請求時,保真度大幅下降,則會削弱該主張的實際適用範圍。無論結果如何,都比另一個最高輸出速率更具資訊價值。

最有價值的任務比較,應保留輸入文件和評分準則。公開例子可以支援可重現性,同時不披露私人案件檔案。它們亦讓其他用戶檢視所選測試是否與自身工作相似。

其次,留意完成 RTX 3090 草稿模型遷移後的受控前後比較測量。安裝處理器只代表它可供使用;要證明其貢獻,必須展示運行中系統究竟改變了甚麼。

有用的結果應說明,這次遷移是否釋放記憶體、改變等待時間、影響同時請求數量,或引入新的不穩定性。比較需要採用相同工作負載及清楚識別的設定;沒有這些控制條件,改善可能來自另一個軟件修訂版本。

若新增處理器在維持輸出行為的同時創造可用餘裕,這項訊號將加強資源分配策略。若整合開銷抵銷了收益,則會削弱預期效益。這個結果很重要,因為建議中的角色仍是項目尚未完成的一部分。

第三,留意在建構者本人機器以外的持續運行和重現情況。獨立嘗試可測試已記錄的設定能否轉移至另一套安裝。較長時間的運行,亦可為穩定性改善提供更佳證據。

要有價值,重現不必完全吻合每個數字。硬件及設定差異可以解釋部分變化;重要的是,另一位操作員能否理解這些差異並取得可靠結果。

若指引能在無需大量未記錄介入下產生相近行為,這項訊號將加強更廣泛採用的理由。若成功仍取決於特定機器知識,則會收窄這個理由。它仍會是一項有價值的實驗,但較難成為可轉移的辦公室解決方案。

更深層的問題是,誰有能力投入操作這種方法所需的注意力。開發者得到一個具體的優化範例;企業買家得到有關評估和維護的提問方向;知識工作者則得到提醒:本地執行、數值保真度與有用答案,各自需要獨立證據。

DeepSeek V100 伺服器值得關注,因為其建構者記錄了一項經過考慮的取捨,並在過程中揭示了多項限制。它帶給讀者的,比「舊硬件可以運行大型模型」這種說法更有用。它展示了選擇某種工作負載如何改變可容納的內容、運行速度,以及仍然存在的不確定性。

在把這套建置視為自己工作的範本前,請檢視與你實際會使用的設定相連的測量結果。把參考一致性與任務準確度、綜合吞吐量與個人等待時間,以及計劃中的升級與已完成的改動分開看待。要求提供可追溯來源材料及清楚審核要求的例子。把整個工作流程與現行程序比較,包括花在修正和維護上的工夫。下一個有用問題不只是這台伺服器能否在本地生成文字,而是甚麼證據可證明其較高精確度有助你完成可靠的工作?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page