DeepSeek V4.1 Flashは中古V100 12枚で動作、ビルダーが説明
弁護士でサーバービルダーでもあるNick Mermigesによると、DeepSeek V4.1 Flashは現在、中古のNvidia V100カード12枚上で、ルーティングされるすべてのエキスパートを動作させている。2026年11月20日の同氏の報告では、コード生成が毎秒184トークンに達したという。この主張は、旧世代のサーバーハードウェアを公表済みのDGX Sparkの結果と比較するものだが、比較対象では異なるソフトウェアとモデル表現が用いられている。
このアップグレードは、従来の8枚構成マシンを拡張したものだ。中心的な変更はメモリー容量にある。追加のエキスパート圧縮やシステムメモリーからの転送を行わず、すべてのエキスパートをグラフィックスカード上に常駐させられる。長大な文書について繰り返し質問する利用者にとっては、待ち時間、ハードウェアの複雑さ、業務をオフィス内で完結させることのバランスが変わる。
これらは依然としてビルダー自身が公表した測定値であり、確認した情報源では独立した再現検証は確立されていない。また、一般的なAI性能よりも限定的な競争を示している。1人のユーザーに素早く応答するマシンが、チームに効率よくサービスを提供できる、より良い回答を生成できる、あるいは運用コストが低いことを自動的に意味するわけではない。
DeepSeek V4.1 Flashがメモリーの閾値を超える
重要なアップグレードは、選択した4ビット表現ですべてのルーティング対象エキスパートをグラフィックスメモリーに収めたことだ。
Mermigesは、V100-SXM2カード12枚を3枚のボードに分散し、各ボードに4枚ずつ配置した構成を説明している。各カードのメモリーは32 GBだ。従来の8枚構成では、Nvidiaが選定した形式で完全なエキスパート集合を保持するための実用的な容量が不足していた。
エキスパートとは、モデルが処理時に選択する専門化されたパラメーター群を指す。すべてのエキスパートを利用可能にしても、各トークンで全エキスパートを有効化することを意味しない。これは、一部のエキスパートを別の場所に置く、あるいはさらに圧縮するという特定の妥協をサーバーが回避できることを意味する。
ビルダーの12枚構成アーキテクチャによると、ルーティング対象の全15,360エキスパートがカードメモリーを占有する。選択した表現におけるエキスパート集合には278.9 GiBが必要だ。GiBはバイナリー単位でメモリーを測定するため、読者は表記が異なる容量値と直接比較しないよう注意すべきだ。
この違いにより、これは単に別の愛好家がグラフィックスカードを追加したという話より具体的になる。追加されたボードは容量の境界を越えている。既存メモリーの利用効率をソフトウェア調整で高められても、それだけで不足しているストレージを生み出すことはできない。
また、この主張では「すべて」という言葉の範囲を正確に区切る必要がある。Mermigesは、Nvidiaのコンパクトな4ビット浮動小数点表現であるNVFP4で、すべてのルーティング対象エキスパートを動作させていると報告している。彼の文書では、モデルの他の構成要素には異なる表現が使われていることが示されている。モデル全体が一様に4ビット精度で保存または計算されていると表現すれば、この説明を過大に伝えることになる。
プライベートAIを評価する読者にとって重要なのは、メモリーの変更によって作業経路から何が取り除かれるかだ。リクエストでカードメモリー外に保存されたエキスパートが必要になる場合、そのデータ移動によって別の依存関係が加わる。さらなる圧縮は、独自の品質評価を要する別の妥協をもたらす。
どちらの妥協も、システムを自動的に不適切なものにするわけではない。その重要性は、用途、許容できるレイテンシー、出力品質に関する証拠に左右される。Mermigesが追加ハードウェアを選んだのは、選択したエキスパート表現をカード上に常駐させたかったためだ。
この選択により、本稿を通じた主な比較が明確になる。すなわち、個人のワークロード向けに最適化されたカスタムシステムと、より広範なニーズに対応するコンパクトなシステムとの比較だ。追加ハードウェアが常に最良の答えであることを示すものではない。
したがって、このアップグレードは独立した構成として評価すべきである。従来の8枚構成マシンの結果は、この12枚版を自動的に説明するものではない。逆に、ソフトウェアや運用設定も変更されているため、改善のすべてを容量増加に帰することもできない。
独立した評価者にとって、これが最初に役立つ判断線となる。速度の数値を解釈する前に、何がメモリーに常駐しているかを確認すべきだ。そうしなければ、一見似たモデル展開でも、実質的に異なる妥協を表している可能性がある。
実用上の利点は文書の待ち時間を減らすこと
文書作業では、回答が始まるまでの遅延の方が、最速の生成速度という見出しより重要になる場合がある。
Mermigesは、思考機能を無効にし、出力トークンを1,024に指定した11月19日のテストとして主な測定値を公表した。トークンは、モデルが処理・生成するテキスト単位だ。報告値は2回の実行の平均であり、広範な統計研究ではなく初期的な測定セットといえる。
彼の文書レイテンシー測定では、128Kのコードプロンプトで回答開始まで約28.1秒かかったと報告されている。その文書がすでにキャッシュされている場合、報告上の待ち時間は約0.4秒まで短縮される。キャッシュは、システムがすでに読み取った素材から再利用可能な処理状態を保存する。
これらの数値は異なる状況を示している。短い待ち時間は、マシンが新しい文書をほぼ瞬時に読み取ることを意味しない。キャッシュが利用可能であり、リクエストが再利用可能な内容に一致することを前提に、後続のリクエストが処理済みの作業を利用できるという意味だ。
この違いは、Mermigesが説明するワークフロー、すなわち自身の事件ファイルに対する非公開の初期分析において重要となる。専門職の利用者は、同じ資料に対して質問を重ねることが多い。最終的な回答が素早く表示されても、リクエストごとに文書処理の遅延を全て支払うなら、その対話は中断される。
長大な契約書群を扱う仮想的な流れを考えてみよう。最初のリクエストで義務を尋ね、次に例外を尋ね、さらに根拠となる箇所を求める。各リクエストが文書状態を再利用できれば、毎回ゼロから開始するツールとは異なる体験になる。
これはワークフローの解釈であり、法務の生産性を測定した結果ではない。公表されたタイミングは、このシステムがどれほど専門職の時間を節約するかを立証していない。回答を読み、参照箇所を検証し、誤りを修正する作業は依然として必要だ。
初期処理と回答生成を区別することは、一般的なベンチマークの誤解も防ぐ。プリフィルは入力プロンプトの初期処理である。デコードはその後に出力トークンを生成する段階を指す。システムは、両方で首位に立たずとも、いずれかの段階で優れた性能を示し得る。
Tom’s Hardwareのサーバーアップグレード報道は、従来構成に対する中心的な改善として、最初のトークンを待つ時間の短縮を挙げている。256Kのコードプロンプトでは、108.4秒から約58秒へ短縮されたと報じている。この比較には電力設定とソフトウェアの変更も伴っており、単純な説明には限界がある。
文書アプリケーションを構築する開発者にとっての教訓は、対話全体を確認することにある。短いデモでは初期の文書読み込みが隠される可能性がある。コールドスタートのテストでは、変更されていない資料を繰り返し扱う利点を見逃す可能性がある。
したがって、競合システムにかかる圧力は具体的だ。購入者には、新規文書と後続質問の両方を含む、実際のセッションに近いレイテンシー測定が必要になる。単一の最大生成速度だけでは、ユーザー体験の多くが説明されない。
旧世代V100はメモリー転送を抑えるが、4ビット演算は行わない
この構成で報告された速度は、カードにネイティブな4ビット演算ハードウェアがないにもかかわらず、ソフトウェアとデータ移動に依存している。
モデルがNVFP4ストレージを使っても、V100が新しい演算能力を得るわけではない。Mermigesは、保存されたエキスパート値は関連する計算の前に、16ビット浮動小数点形式であるFP16へ展開されると説明している。コンパクトな表現によって読み出すバイト数は減るが、ネイティブなFP4実行が生まれるわけではない。
NvidiaのNVFP4モデル文書は、選択されたエキスパートパッケージの参照情報を提供している。これにより、研究者が検証できる識別可能なモデル成果物が確立される。ただし、このサーバーの実装、性能、用途上の品質を独立して検証するものではない。
この仕組みは、旧世代のアクセラレーターが新しいモデル形式でも有用であり続ける理由の説明に役立つ。ストレージと演算は別々の判断だ。ソフトウェアが計算前にデータを変換する必要があっても、プロセッサーは読み出すデータ量が少ないことで恩恵を受けられる。
同時に、この推論には限界がある。メモリー転送量の削減は、変換のオーバーヘッド、通信のオーバーヘッド、エネルギー効率の差を消し去るものではない。同じ技術によって有用な展開が実現できても、旧アーキテクチャが新しいハードウェアと同等になるわけではない。
物理的な配置も別の層を加える。Mermigesはモデルを3つのパイプライン段階に分割しており、連続するレイヤー群を別々のカードグループで実行することを意味する。各グループ内では、テンソル並列化によって計算を4枚のカードに分散する。両手法は作業を分配するが、通信とスケジューリングの要件も導入する。
互換性のあるアクセラレーターを接続するNvidiaのNVLinkは、各ボード内のカードを結ぶ。ボード間の転送は、ホストの拡張インフラを経由する別の経路をたどる。そのため、トポロジーはカード枚数の下にある付随的な詳細ではなく、結果の一部となる。
再現性を評価する人にとって、「V100 12枚」は不完全な仕様だ。配置、エンジンの変更、メモリー割り当て、運用設定はすべて構成の一部である。同じ枚数のカードを持つ別のマシンが、同じタイミングを示す必要はない。
ソフトウェア面での労力は、手頃さの意味も変える。中古コンポーネントは取得コストが魅力的でも、相当な統合作業を必要とする場合がある。その作業が価値あるものかは、所有者の技能、利用可能な時間、保守への許容度によって決まる。
これは展開選択の分析であり、エンジニアリング工数を測定比較したものではない。公表された証拠は、この構成の完全な人件費を算定していない。読者は、機器の合計額を完成した調達予算として扱うべきではない。
より広いプライベートAI市場にとって、興味深い課題は実用性にある。開発者が実際のボトルネックを狙えば、旧世代ハードウェアでも選定されたタスクでは競争力を維持できる。新しいシステムの提供者は、効率性、サポート、信頼性、より広いワークロード対応で購入者が何を得るのかを依然として説明する必要がある。
DeepSeek V4.1 Flashは、この例におけるワークロードを提供している。より大きなエンジニアリング原則は、最新のアクセラレーターが最良の体験を決めると仮定する前に、特定の展開でどのリソースが制約となるかを特定することだ。
DGX Sparkとの比較は範囲が限定的
報告された優位性は、選定された単一リクエストのデコード結果に関するものであり、完全なAIシステムを統制された条件で順位付けしたものではない。
Mermigesの単一リクエスト比較は、自身のマシンを、公表済みの3台および4台構成のDGX Sparkと並べている。彼は、それらのシステムがそれぞれ独自のエンジンと重みを使用していることを明記している。ソフトウェアとモデル表現は結果に影響するため、この留保は主張と並べて扱うべきだ。
彼の12枚構成のマシンは、1Kから128Kまでのコンテキストで、毎秒157〜184トークンのコード生成を実現すると報告されている。法務文書では毎秒92〜102トークン、散文では83〜95トークンに達する。コンテンツのカテゴリによる差だけでも、最大値には文脈が必要であることが分かる。
この構築者による比較は、一部のプロンプト処理テストではSparkの結果がより優れ、サービング負荷の同時実行性が高まるほどSparkに利点があることも認めている。こうした譲歩により、この話の射程はかなり限定される。そこに示されているのは普遍的な勝者ではなく、異なるシステムの強みだ。
一つの回答を待つ個人と、重複するリクエストを処理する組織では、目的が異なる。個人が重視するのは、目の前のタスクがどれほど早く完了するかである。組織はそれに加え、キュー、ユーザー間の公平性、持続的なスループット、需要急増時の挙動も考慮しなければならない。
バッチ処理は、複数のリクエストの作業をまとめてリソース利用効率を高める。その利点は、そのワークロードを活用するよう設計されたサービングエンジンに依存する。特定の逐次的な対話を中心に最適化されたマシンが、自動的に高容量の共有サービスになるわけではない。
そのため、「V100 vs DGX Spark」という問いは、対象となるジョブを明確にして初めて有用になる。比較しているのは回答の開始、回答の完了、それとも同時利用者の処理か。新規ドキュメントを扱うのか、キャッシュ済みのものか。出力品質の要件は同等か。
これらの問いは、モデル応答とアクションまたはツール呼び出しを交互に行うアプリケーションであるAIエージェントにとっても重要だ。一部の対話には逐次的な依存関係があり、すべてのステップを単純にバッチ化することはできない。他方、共有サーバーを常時稼働させられるほど十分な独立作業を生成するアプリケーションもある。
検証された証拠は、こうしたすべてのアプリケーションを測定しているわけではない。このベンチマークをエージェントのワークフローに適用できるかどうかは、直接検証を必要とする仮説のままである。コード生成だけの結果から、開発タスク全体の完了が速くなるとは結論付けられない。
適切なV100対DGX Sparkの比較では、可能な限りプロンプト、モデルアーティファクト、生成設定、測定範囲を維持すべきだ。構成を変更せざるを得ない場合は、評価者がその理由を説明しなければならない。そうでなければ、このテストはハードウェアの寄与を切り分けず、組み立てられたソフトウェアシステム同士を比較することになる。
これは公表された数値が無意味だということではない。これらは調査に値する実装を示し、他の構築者に具体的な目標を与える。また、製品の古さだけで応答性を予測できるという単純な前提にも疑問を投げかける。
しかし、利用可能な結果は購入面での優位性を証明してはいない。システムを選ぶ購入者には、実際のワークロードを対象とする証拠が必要だ。Spark構成に求められるのは、見出しに対して別の条件不一致の見出しで応じることではなく、条件を揃えた環境でその強みを示すことである。
電力、プライバシー、品質は依然として別個の検証項目
高速なローカル生成だけでは、プロフェッショナルな購入者が解決すべき問いの一部にしか答えられない。
このマシンの運用要件は大きい。Mermigesによれば、175ワットの制限下でも、他のシステムコンポーネントを除いてカード全体で最大2,100ワットを消費する可能性があるという。また、騒音や、人が作業する空間から離れた場所への設置についても述べている。
これは明白な実務上の制約を生む。サーバーはプライベートな作業には有用でも、机の横に置くには不向きかもしれない。応答性と併せて、設置スペース、冷却、電力容量、継続的な保守を評価に含める必要がある。
彼の取得コストに関する主張も慎重な解釈を要する。見出しの計算は、使用済みコンポーネントを時間をかけて購入した実際の支出を反映している。一方で、現在の価格でハードウェアを取得する場合の、より高い見積もりも別途示している。過去の購入実績は、別の購入者が再現できるものを示すわけではない。
どちらの総額だけでも所有コストの経済性は決まらない。比較には、周辺機器、導入、エネルギー、保守、ダウンタイムを一貫した方法で扱う必要がある。検証された資料は、これらすべての要因を網羅する標準化された所有コスト上の優位性を示していない。
プライバシーにも同様に明確な境界が必要だ。Mermigesは、ローカルサーバーを使う間、彼の案件文書はオフィス内に留まると述べている。これは彼の構成に関する運用者の説明である。すべての同等構成が、あらゆる種類のデータをローカルに保持するという独立した証拠ではない。
組織は依然として、周辺アプリケーションの挙動を確認する必要がある。モデル推論がオンプレミスで動作していても、ログ、統合、バックアップ、管理アクセスが問題になる可能性がある。これらは評価上の問いであり、この特定のマシンに対する疑義ではない。
使い慣れたインターフェースが異なるバックエンドに接続する場合、この区別は特に重要になる。モデルエンドポイントを変更しただけでは、周辺のすべてのサービスの挙動を文書化したことにはならない。検証された証拠は、その広範な環境に関する完全な監査を提供していない。
回答品質もまた独立した論点である。選択した表現形式でエキスパートを維持することは、特定の圧縮上の妥協を減らす。しかし、生成された回答が正確で、十分な根拠を持ち、プロフェッショナル用途に適していることを立証するものではない。
同様に、別の構成との数値的な検証は、現実的なタスクにおける評価の代わりにはならない。システムは期待どおりの計算挙動を維持していても、誤った解釈を生み出す可能性がある。検証に元のタスクを行う以上の労力がかかるなら、高速な回答の価値はほとんどない。
ドキュメント利用者にとって、情報整理もモデル速度とは別の問題である。検索可能なナレッジベースは、資料を検索のために利用可能にする方法を扱う。それだけで基盤となるモデルを検証したり、このサーバーのプライバシー特性を確立したりするものではない。
したがって、証拠は個別の判断を支持する。応答性、運用上の適合性、データ処理、タスク品質を、それぞれの基準で評価すべきだ。それらを単一の「プライベートAI」というラベルにまとめれば、最も重要な問いが隠されてしまう。
主張をより有用にする三つの結果
独立した再現、現実的なサービングテスト、タスク品質の証拠によって、この結果が一つのオフィスを超えてどこまで通用するかを判断すべきだ。
最初に注目すべき指標は、報告されたレイテンシと生成速度帯が独立して再現されることだ。別の運用者は、正確なモデルアーティファクト、エンジンバージョン、ハードウェアトポロジー、運用上の制限を特定すべきである。これらの詳細を一致させることで、一致した結果の意味がより大きくなる。
新規ドキュメントとキャッシュ済みドキュメントのテストは分けて維持すべきだ。両方を報告すれば、再現が初期処理、後続の応答性、あるいはその両方を確認しているのかが明確になる。最速のカテゴリを代表例として扱うのではなく、結果はコード、法務資料、散文を区別すべきである。
再現の成功は、この構成が想定されたワークロードに対して再現可能な優位性を提供するという確信を強める。大きく異なる結果が出ても、構築者の主張が自動的に否定されるわけではない。それは、現在の公開説明では十分に切り分けられていない依存関係を示すことになる。
再現には、公開されているものへの注意も必要だ。リポジトリはエンジンの変更と測定を説明する一方、完全に起動可能なパッケージとして提供されていないコンポーネントを特定している。そのため、別の運用者が正確な環境を再現することは容易ではない。
二つ目の指標は、現実的な同時サービングの比較である。有用なテストでは、待機時間を含め、到着から完了までリクエストを追跡する。生成レートを合計するだけでは、生成開始前に生じる遅延を見落としかねない。
条件を揃えた検証には、単独で作業するプロフェッショナルと、サーバーを共有する少人数グループを含めるべきだ。同等のドキュメント要件と出力要件を維持する必要がある。そうすれば、カスタム構成が応答性を維持できる領域と、別のサービング方式が望ましくなる領域が明らかになる。
新しいバッチ処理の取り組みが単一リクエストのレイテンシを損なわずに共有利用を改善するなら、この構築の実用的な適用範囲は広がる。同時実行性によって大きな待機が発生するなら、当初の個人利用者向けという位置付けのほうが、より妥当な解釈として残る。
三つ目の指標は、代表的なドキュメントに結び付いたタスク品質の証拠である。速度測定は、回答の正確性、裏付けとなる証拠、欠落事項の評価と並べて示すべきだ。これらの評価には、モデルが別の製品と同等に感じられるという印象ではなく、明確に述べられた基準が必要である。
プライベートな法務業務では、回答が提供資料を正確に表現し、関連する箇所を特定できるかを検証する評価が有用だ。同様の原則は、エンジニアリング記録や社内調査にも適用される。正確なタスクは、都合のよいデモではなく、想定利用者を反映すべきである。
強い品質結果は、より広範な導入に関する議論を支える。すべてのタイミングが再現できたとしても、品質結果が弱ければ速度上の優位性の価値は限定される。ハードウェア性能とプロフェッショナルな有用性は重なり合うが、同じものではない。
したがって、12枚のV100上でのDeepSeek V4.1 Flashは、検証に値する具体的な報告結果である。これは、メモリ容量と個別の応答性がワークロードを支配する場合、慎重に構成された旧世代ハードウェアが依然として有効であり得ることを示唆している。ただし、カスタムサーバーとコンパクトなAIシステムの間にある、より広い競争に決着を付けるものではない。
このマシンを購入のテンプレートとして扱う前に、自分の業務に近いワークロードを求めるべきだ。コールドドキュメントの待機時間、繰り返しの質問、出力品質、そして他の誰かが作業を始めたときの挙動を確認する。そのワークフローをローカルに維持する価値と、保守負担を比較する。次に、別の運用者が実際に再現できる部分を含め、主張された各利点の裏付けを検証する。次に問うべきことは、単に12枚の旧世代カードでモデルを動かせるかどうかではない。独立して再現された構成が、必要な業務に対して信頼できる回答、許容可能な運用要件、一貫した応答性を提供できるかどうかである。



