Tencent Hunyuan Hy3 量子化リリース: 1bit単一カード展開、4bitでほぼフル性能

Tencentは295BパラメータのHy3モデルの量子化版をリリースした。1bit版はモデルサイズを598 GBから85.5 GiBに削減し、96 GBの推論カード1枚でローカル展開が可能になった。

4bit版は169.9 GiBを占有し、2枚のカードで動作する。いずれの版もエージェントタスク、コード、ツール使用、長文コンテキストで高い性能を維持し、非量子化ベースラインに近い結果を示す。

これらのリリースは、ハードウェアコストを抑えつつ能力の大幅な低下を避けたい開発者を対象としている。同社はvLLM対応のGPTQ Int4ビルドも追加した。

量子化によりメモリ要件を6倍以上削減

1bitモデルはIQ1_M方式を採用し、元の重みを85.5 GiBに圧縮（6.7倍削減）した。96 GB GPU 1枚でモデルを読み込み、コンテキストとKVキャッシュに余裕を持たせられる。

4bitモデルはQ4_K_Mを採用し、169.9 GiBを占有する。標準的なカード2枚で対応可能。いずれの形式もllama.cpp対応のGGUFファイルとして提供される。

別途、vLLMサーバー向けのGPTQ Int4ビルドも用意されており、すべてのファイルはすでに公開されている。

チームは量子化重みとMTP投機的デコーディングを組み合わせた。1bit版はデコード速度が約50%向上し、4bit版は約60%向上する。

これらの向上は一般的なコンシューマーおよびデータセンター向けカードで確認されており、llama.cppの既存サポート以外にカスタムカーネルは不要である。

開発者はGGUFファイルをダウンロード後、すぐに速度向上を検証できる。

内部テストでは、エージェントワークフロー、多言語コード生成、ツール呼び出し、長文ドキュメントを対象とした。量子化モデルは元のスコアを狭い範囲で維持した。

4bit版が最も小さな差を示し、1bit版はメモリ大幅削減と引き換えに精度のわずかな低下を許容した。

外部の第三者ベンチマーク報告はまだ公開されていない。ユーザー自身による評価が推奨される。

大規模モデルは手頃なGPUメモリより速く成長している。ほとんどのチームはH100カードのクラスタを購入できない。量子化リリースは、小規模ラボや個人に同じモデルファミリーを実行する道を提供する。

Tencentは新ファイルを現実的な中間策として位置づけている。モデルは本番エージェント作業に十分な精度を保ちつつ、必要カード数を多数から1〜2枚に削減する。

1bitでは一部の推論チェーンで精度が低下する。同社は長い多段階エージェントセッションで最も大きなばらつきが生じると指摘している。4bit版はさらにそのばらつきを低減する。

複雑な計画で最大の信頼性を必要とするユーザーは、依然としてフルモデルまたは4bit版を好む可能性がある。1bit版は軽量推論やプロトタイピングに適する。

量子化重みの安全性やアライメントテストに関する公式声明は公開されていない。

次に注目すべきシグナルは、標準スイートでの独立したベンチマーク公開である。GGUFコミュニティからの早期採用数は実世界での利用状況を示す。

vLLM統合に関するフィードバックは展開の摩擦を明らかにする。2bitや混合精度オプションを追加するフォローアップリリースがあれば、Tencentが同じ方向性を継続するかを検証できる。

すでにローカルエージェントを実行している開発者は、速度と品質のバランスを取るために4bitファイルから始めることを推奨する。