tandem.cppのアップデート、AMD対応とSSD利用時の性能向上を追加
tandem.cppのアップデートでは、64 GBのメモリと16 GBのグラフィックスカードを搭載したPCで、DeepSeek-V4.1-Flashが毎秒14.2トークンで動作したと報告されている。著者は同一構成における通常のllama.cppを毎秒7.4トークンと記載している。この主張は、既存モデルを実行する推論の高速化に関するものであり、データの多くはグラフィックスメモリ外に置かれたままである。
重要なのは、そのデータがどこに置かれているかだ。著者によると、テストしたモデルのエキスパート重みは139 GiBを占め、マシンのシステムメモリを上回る。エキスパートとは、特定の入力向けに選択される専門化されたモデルコンポーネントである。このパッチは、頻繁に使われるエキスパートをグラフィックスカード上に保持し、残る処理をプロセッサ、メモリ、ストレージにまたがって調整する。
これによりtandem.cppは、好みのモデルが利用可能なメモリを超える場合に、ユーザーがどれだけの待ち時間を許容できるかという実用上の制約に向き合う。注目されたマシンでは、llama.cppに対する報告上の優位性は大きい。別の推論エンジンであるStrataとの比較では、差はより小さく、競争の構図も複雑になる。これらは著者による測定であり、独立して再現された結果ではない。
tandem.cppのアップデートで実際に変わること
このアップデートは、大規模モデル全体を最速のメモリ内に保持できないコンピューターを対象としている。 また、AMD向けの実行パスも追加し、検討できるハードウェアの所有者を広げている。
著者のDeepSeek offload benchmarksでは、中心となる構成はRTX 5070 Ti、64 GBのRAM、i5-14600KFを組み合わせたものだ。RAMはコンピューターの作業用メモリである。グラフィックスカードには、グラフィックスおよび計算処理専用の16 GB VRAMが搭載されている。
このマシンでは、著者はtandem.cppを毎秒14.2トークン、llama.cppを7.4、Strataを10.4と報告している。トークンはモデルが処理・生成するテキストの単位である。これらの数値は、プロンプト処理後にエンジンが出力を生成する速度であるデコード速度を測定したものだ。
ベンチマークではDeepSeek-V4.1-Flash IQ2_XSを使用している。末尾のラベルは量子化形式を示し、モデルの重みを低い数値精度で保存するものだ。著者によると、各エンジンは同一の量子化モデルを使用しており、異なる圧縮率のモデルではなく、実行方式の比較となっている。
示された条件も重要である。テストは1人のユーザー、GSM8Kの数学問題、そして最もスコアの高い次トークンを選ぶgreedy decodingを対象としている。著者によれば、比較したエンジンはいずれも選択されたエキスパートをスキップしていない。これらの条件統制により比較範囲は絞られるが、実装を独立に検証するものではない。
2台目のマシンは、同じグラフィックスカードとメモリ容量に、i5-12400Fと専用オンボードDRAMを持たない低価格SSDを組み合わせている。報告された結果は、tandem.cppが毎秒10.4トークン、Strataが5.7トークンである。この投稿には、この行に対応するllama.cppの結果は示されていない。
この欠けた項目は、欠けたままとするべきだ。それは失敗、モデルをロードできないこと、あるいは特定の性能差を示すものではない。単に、その構成における全エンジン間の完全な比較を妨げるだけである。
より大規模な構成は、32 GBのグラフィックスメモリを持つRTX 5090、128 GBのRAM、i5-14600KFを組み合わせている。ここでは著者は、tandem.cppを毎秒33.1トークン、llama.cppを11.5、Strataを28.0と報告している。
総合すると、これらの行は検証に値する具体的な主張を支持している。すなわち、メモリとストレージを協調させることで、メモリを超える大規模モデルの生成速度を改善できる可能性があるということだ。ただし、16 GBのグラフィックスカードを搭載するあらゆるコンピューターで、注目された結果が得られることを示すものではない。
これはDeepSeekモデルの発表ではなく、推論エンジンのアップデートでもある。このパッチは既存モデルの実行方法を変える。新しいモデルを訓練するものでも、圧縮版が元のモデルと同等の品質を持つことを示すものでもない。
負荷がかかるのはグラフィックスカードだけでなくメモリ管理
重要な比較は、同じメモリ制約下での実行戦略の比較である。 同一ハードウェア上でエンジン間に報告された差を、グラフィックスカードの高速化だけで説明することはできない。
すでに注目されたクラスのデスクトップを所有する読者を考えてみよう。その人がすぐに抱く疑問は、マシンを買い替えずに、ソフトウェアによってメモリを超える大規模モデルを実用的にできるかどうかだ。著者の数値は、その疑問に対する具体的な実験の出発点を与える。
また、注目はコンピューター全体へと移る。ワークロードがストレージに依存するようになると、プロセッサ、利用可能なRAM、ドライブの挙動も性能議論の対象となる。グラフィックスメモリだけを意味のある仕様とみなすと、ここで説明された構成を見落とすことになる。
だからといって、メモリ容量の重要性がなくなるわけではない。中心的な制約はセットアップにも明確に表れている。エキスパートデータは利用可能なRAMを上回る。ソフトウェアはその不足を前提に、データ移動と計算を管理しなければならない。報告された改善は、その不足に伴う時間的コストを下げるが、不足そのものを解消するものではない。
エンジンを選ぶ開発者にとって、これは同一モデルを一致する条件で比較する必要性を生む。豊富なメモリで測定された結果は、ストレージへ繰り返しアクセスする状況で測定された結果とは異なる問いに答えている。
著者によるQwenの比較も、その違いを補強している。78 GiBと記載されたQwen3.8-Flash-Next IQ3_Sは、16 GB RTX 5070 Tiを搭載する32 GB PC上で毎秒34.3トークンに達したと報告されている。対応する数値は、llama.cppが14.9、Strataが30.3である。
このテストには、検証用に複数の将来トークンを提案する手法であるMTP、すなわちmulti-token predictionが含まれている。これは示されたQwen構成に属するものだ。読者はその結果をDeepSeek構成へそのまま移したり、同じ高速化が普遍的に適用されると考えたりすべきではない。
実用上の重要性は、アプリケーションによって異なる。ローカルアシスタントを試す人なら、目立つ起動遅延の後に安定した出力が得られることを受け入れられるかもしれない。短いリクエストを繰り返す開発者は、各応答が始まるまでの遅延をより重視する可能性がある。
バックグラウンドジョブでは別の基準が必要になる。その所有者は、ほかのアプリケーションに十分なリソースを残しながらジョブが確実に完了するなら、対話性の低下を許容するかもしれない。ほかに処理のないコンピューターを占有するベンチマークが、その体験を自動的に表すわけではない。
これらはtandem.cppの文書化された導入事例ではなく、評価シナリオである。目的は、単一の生成速度の数値だけではエンジンの選択を決められない理由を示すことにある。
ローカル文書ワークフローを検討するチームにとって、モデルもまた1つの構成要素にすぎない。検索、ソースへのアクセス、回答の確認は別個の課題として残る。searchable knowledge baseは、推論エンジンのメモリ戦略とは異なる層を扱う。
したがって、エンジン開発者に対する妥当な要求は具体的である。メモリ協調が有効になる場面、効かなくなる場面、そしてユーザー体験のどの部分がなお遅いままなのかを明らかにする測定結果を公開すべきだ。
すべてを収めることより、移動させるエキスパートを減らすことが重要になる理由
この仕組みは、テストされたモデルに必要な処理を維持しつつ、選択的な計算と配置に依存している。 モデル全体をグラフィックスカード上に置く必要はない。
mixture-of-expertsモデル、一般にMoEと略されるものは、各入力に対して専門化されたコンポーネントのサブセットを選択する。そのため、保存されるパラメーター総量は、個々の計算で使われるサブセットを上回りうる。この違いにより、異なるメモリ配置の余地が生まれる。
著者はtandem.cppについて、頻繁に使われるエキスパートをグラフィックスカード上に保持し、他のエキスパートではプロセッサも活用すると説明している。モデルがシステムメモリを超える場合には、ストレージも関与する。エンジニアリング上の課題は、どのデータを近くに置き、残りをどう扱うかになる。
キャッシュは、再利用のためにデータを保持する高速な記憶領域である。この状況では、有用なエキスパートがキャッシュされていれば、繰り返しの転送を避けられる。キャッシュミスは、必要なデータが存在せず、ほかの場所から取得しなければならないときに発生する。
分析上の含意は明快だ。演算量が変わらなくても、遅い転送を回避することには大きな意味がある。そのため、メモリ管理のパッチは数値計算の改善と並んで注目に値する。
この考え方には限界もある。配置戦略の効果は、実際のエキスパート利用パターンに左右される。異なるプロンプトやモデルでは、異なるパターンが生まれうる。数学問題での好結果が、コード生成や長文書分析でも同じ利点をもたらすことを示すわけではない。
ベースラインについても正確に扱う必要がある。llama.cppによるLocal model inferenceは、tandem.cppがパッチを当てる基盤エンジンを提供する。これは既存のソフトウェア基盤内での比較であり、その基盤が無関係になったことを示す証拠ではない。
この関係は保守の観点で重要だ。読者は、測定された利点だけでなく、変更済みエンジンを利用することの影響も評価すべきである。利用するモデル、アプリケーション、今後のソフトウェア更新との互換性は、判断の一部となる。
プロジェクトの11月16日のリポジトリアップデートは、もう1つ関連する進展を加えている。そのexpert-cache changesでは、より大きなプロンプト処理バッチと、処理バッファー向けのキャッシュメモリの一時利用が説明されている。著者はプロンプト遅延の改善を報告する一方、一部の比較ではStrataが引き続き高速であることも示している。
この新しい資料が重要なのは、プロンプト処理とテキスト生成が異なる段階だからだ。Prefillは入力トークンの初期処理である。Decodeは続く出力トークンの生成である。どちらかの段階を改善しても、もう一方が自動的に改善するわけではない。
長い文書を送信する人にとっては、高速な出力ストリームの前に、かなりの初期待ち時間が生じうる。そのユーザーが体験するのは、デコードベンチマークで強調された部分だけではなく、対話全体である。
したがってtandem.cppのアップデートは、メモリ制約下の実行パイプラインに関する取り組みとして読むべきだ。その魅力は、既存リソースの協調方法を改善することにある。この証拠は、モデルサイズを問題でなくす手段として説明することを支持しない。
また、エキスパートのスキップを回避しても、非圧縮モデルとの同等性を示すことにはならない。選択された量子化は依然として実験の一部である。選択された計算を維持することと、元の数値精度を維持することは別の主張であり、それぞれ別の証拠を必要とする。
AMD対応は利用可能性を広げるが、速度優位を証明するものではない
AMD互換性は意味のある追加だが、報告されたAMDの結果は、tandem.cppがあらゆる代替手段を上回ることを示してはいない。 著者自身の比較がその限界を明確にしている。
このパッチは現在、GPU計算向けのAMD C++ランタイムおよびプログラミングインターフェースであるHIPを使ってビルドできる。AMDはHIP programmingを、プロセッサとグラフィックスハードウェアにまたがるヘテロジニアスコンピューティング向けソフトウェアプラットフォームROCmの一部として説明している。
この区別は発表を解釈するうえで役立つ。プログラミングインターフェースへの対応は実行パスを開くものである。対応するすべてのカード、プロセッサ、オペレーティングシステム、ソフトウェア構成において同等の性能を確立するものではない。
著者は、RX 7900 XTX、i7-8700、64 GBのDDR4メモリ、PCIe 3.0接続をテストしたと報告している。PCIeは、グラフィックスカードなどのコンポーネントをコンピューターへ接続するインターフェースである。ワークロードにはMTPを用いたQwen3.8 IQ3_Sを使用している。
その構成では、tandem.cppは毎秒68.6トークンを実現すると報告されている。標準のStrataは69.7、RDNA3向けに最適化されたStrataのフォークは80.1に達する。RDNA3は、テストされたAMDカードで使用されているグラフィックスアーキテクチャを指す。
これらの数値が裏付けるのは控えめな結論だ。著者のテストでは、tandem.cppは標準のStrataと競争力のある性能を示し、専用フォークはより高速に動作する。一方で、tandem.cppを最速のROCmエンジンと呼ぶ根拠にはならない。
投稿では、Avalonが毎秒83.6トークンを記録したことも示されている。ただし、この項目では独自のIQ3_KS量子化が使われている。保存されたモデル表現が異なるため、この数値をエンジンのみを統制した比較として提示すべきではない。
ここでベンチマークの見せ方は、知らないうちに誤解を招くものになり得る。同じリストに結果を並べれば確認しやすくなるが、モデルファイルの違いがなくなるわけではない。有用な比較では、順位付けを行う前にそうした違いを説明する。
著者はまた、Vulkanのサポートはないとしている。Vulkanは別のグラフィックスおよびコンピュートAPIだ。好みの構成がこれに依存する読者は、HIPの発表を、既存のソフトウェアルートが対応済みである証拠と受け取るべきではない。
RDNA4は依然として別の不確実性として残る。議論の中で著者は、手元のハードウェアではそのアーキテクチャをテストできないと述べている。コードが動作するはずだという期待は、ビルド成功、ワークロード完了、再現可能な測定結果よりも弱い証拠である。
したがってAMDユーザーにとっての当面の価値は、評価できる選択肢が一つ増えたことにある。この発表は、あらゆるRadeon構成に最適なエンジンを決定することなく、試せる可能性のある実験の幅を広げる。
またこれは、主な論点の限界も示している。メモリを協調利用すれば役立つ場合があるが、その有効性は依然として実行プラットフォームに左右される。共有コードによって、ハードウェア固有の制約が消えるわけではない。
適切な対応は、意図したマシンで同条件のものを比較することだ。アーキテクチャ名や互換性ラベルは文脈を与えるが、読者が実際に動かそうとするアプリケーションの測定値の代わりにはならない。
ベンチマークで未解決の点
最大の検証上の隔たりは、著者による統制された比較と、別のユーザーによる完全なワークロードの間にある。 公開された主張により調査は可能になるが、それ自体が独立した再現検証を構成するわけではない。
著者によれば、DeepSeekの比較では同一の量子化、greedy decoding、エキスパートスキップなしという条件を使用している。これらは有用な統制条件だ。エンジン間の明白な不一致要因を減らす一方で、ほかの疑問は残る。
中心となる未解決の問題は再現性である。別の評価者がモデルファイル、ソフトウェアバージョン、構成、測定手順を一致させるには、十分な情報が必要だ。これらの詳細が一致すれば、繰り返し得られた結果は、表面的に似たスクリーンショットよりも有益なものになる。
ストレージ条件には特に注意が必要だ。コールドランは、同じ有用なデータがすでにメモリに保持されていない状態で始まる。ウォームランでは、以前にアクセスしたデータを再利用できる。異なる開始条件を比較すると、メモリ状態による利点をエンジン自体の性能に帰してしまうおそれがある。
実用的な評価では、デスクトップ上のほかの活動も重要になる。アプリケーションは作業メモリと処理時間を奪い合う。隔離されたテストで良好に動作する構成も、所有者の通常の利用条件下で改めて確認する価値がある。
これは評価上の懸念であり、tandem.cppの欠陥を示す証拠ではない。利用可能なベンチマークだけでは、通常の作業中にマシンがどう振る舞うかに関するすべての疑問には答えられない。
テストのワークロードにも別の限界がある。GSM8Kには数学の文章問題が含まれる。その設問で生成速度を測定しても、数学的な正確性、コーディング能力、事実の信頼性、ツール利用の成功を自動的に立証することにはならない。
モデルは誤った回答を高速に生成できる。逆に、主な要件が慎重な検証であるタスクでは、低速な構成でも十分な場合がある。スループットと有用性には、それぞれ独自の測定が必要だ。
同じ注意は「exact」という言葉にも当てはまる。この比較では、著者はこれをエキスパートスキップなしの計算を区別するために用いている。これを、ハードウェア間で出力が同一である、あるいは元のモデルと同等であるという包括的な主張にしてはならない。
量子化には独自の問題も加わる。報告されたDeepSeekの構成では、圧縮された表現が用いられている。その表現における回答品質の評価には、ここで論じたエンジン速度の数値を超える証拠が必要となる。
エネルギー使用量、ストレージ活動、応答性、安定性も、見出しとなる結果の対象外だ。出力が速く届くというだけで、これらの領域でも改善していると推測すべきではない。ユーザーごとに、それぞれの重要度は異なる。
引用された資料には、独立した企業導入の証拠はない。したがって結果が裏付けるのは、組織がすでに本番用途でこの手法を検証済みだという主張ではなく、技術に慣れたユーザーによる調査である。
Strataについての著者自身の譲歩は、議論を現実に即したものに保つ助けとなる。Redditのスレッドで著者は、十分なメモリが利用できる場合にはStrataの方が優れていることがあると認めている。これは、普遍的な勝者ではなく、ワークロードに依存した優位性と整合する。
慎重に読むことは、この更新をつまらないものにするわけではない。検討に値する実際の命題を特定するからだ。それは、このパッチが、特定の制約下にあるマシンで特定の大規模モデルを改善するかどうかである。
この命題は有用であり、検証可能でもある。これをすべてのモデル、すべてのAMDカード、あるいはあらゆるローカルAIワークフローに関する主張へ拡大するのは、証拠の範囲を超える。
改善が広がるかを示す3つのシグナル
次に役立つ証拠は、再現性、AMDでの対応範囲、完全な応答時間の順に検証すべきだ。 これらのシグナルは、この更新をAI市場全体に関する予測へ変えることなく、最大の隔たりに対処する。
まず、メモリ制約下のDeepSeek結果について、独立した再現検証に注目したい。最も強力な報告では、正確なモデルファイル、エンジンのバージョン、ハードウェア、設定、開始時のメモリ状態を特定する。また、繰り返し実行時のばらつきも報告するだろう。
一致する結果は、この改善が著者の環境の外でも維持されるという主張を強める。ストレージ、プロセッサの挙動、構成に違いを結び付けられるなら、改善幅が小さくても有益な情報になる。
逆転も重要だ。条件を一致させた環境で別のエンジンが勝てば、tandem.cppの優位性の境界がより明確になる。それは、単にリーダーボードに別の数値を加えるのではなく、ユーザーがソフトウェアを選ぶ助けになる。
次に、報告されたRX 7900 XTX構成を超えるAMDテストに注目したい。RDNA4の結果は、著者が述べたハードウェア上の空白に直接答えるものとなる。報告では、コンパイル成功と正しい実行、持続的なアプリケーション性能を区別すべきだ。
より広範なAMDでの検証は、互換性に関する見通しを強める。ただし、それによって既存のStrataフォークの結果が無効になるわけでも、恒久的な順位を確立できるわけでもない。特にホストプロセッサも推論に参加する場合、異なるアーキテクチャにはそれぞれの証拠が必要となる。
第三に、現実的なプロンプトにおける完全な対話時間に注目したい。つまり、初期の待ち時間、出力生成、成功した完了をまとめて測定することだ。11月16日のプロンプト処理に関する作業は、これを特に重要な次のステップにしている。
長文ドキュメントの要求や繰り返される会話ターンでは、短い数学問題とは異なる負荷が試される。独立した評価者は、孤立したスループット数値を完全なユーザー体験の評価として示すのではなく、ワークロードを説明すべきだ。
これらのシグナルは今後数か月にわたって追う価値があるが、約束されたマイルストーンではない。ソース投稿もリポジトリも、独立検証、より広範なハードウェアテスト、アプリケーションレベルの比較について期限を定めていない。
現時点でtandem.cppの更新は、詳細な著者の主張と率直な競合上の限界に支えられた、実地評価に値する信頼できる対象を提供している。最も強く報告されているケースは、利用可能なメモリの外へエキスパートデータを移動せざるを得ないマシンだ。実用的な次のステップは、そのケースを自身のワークロードと比較することである。まず同じモデルファイルと明確に記録したベースラインから始めよう。出力速度と同じくらい慎重に、出力前の待ち時間も測定する。速度を進歩と見なす前に、回答を確認する。それらの条件下でも改善が持続するなら、それは借り物の見出しではなく、自分のマシンにとっての証拠になる。あなたのローカルワークロードで最も重要なのは、安定した生成、より短い初期待ち時間、それともデスクトップの応答性を保つことだろうか?



