DeepSeekが再びグレーテストを開始、ただし「より強力なモデル」の主張は依然未検証

DeepSeekは8月19日、選ばれたユーザーに対するモデルのルーティングを変更したと報じられており、未公開システムが従来のグレーテストモデルを上回るとの主張が再燃している。

根拠となっているのは企業発表ではなく、ユーザーセッション、スクリーンショット、デモンストレーションだ。一部のテスターは、推論時の言語表現の違い、より優れたインターフェース生成、そして異例に野心的なインタラクティブプロジェクトを報告した。しかし、これらの出力を特定のチェックポイントに結び付ける公開モデル識別子は存在しない。

この区別は重要だ。DeepSeekはそのわずか6日前にV4 Proをリリースしていたからである。したがって、新たな報告は、文書化された本番モデルと、選択的ルーティング経由で利用可能な匿名システムとの居心地の悪い比較を生み出している。

中心となる話題は、新たなベンチマーク首位モデルが登場したということではない。グレーテストによって、AI企業がモデルを反復可能かつ独立した評価にさらすことなく、見かけ上の進歩を示せるという点だ。

Anthropic、Google、OpenAIもホスト型システムを更新しており、すべてのルーティング判断を常に明らかにするわけではない。DeepSeekの報じられた実験は、テスターが遭遇したモデルを確実に選択、識別、再訪できないため、この慣行をさらに推し進めている。

8月19日に何が変わったと報じられているのか

選ばれたユーザーに別のモデルが提供されたように見えるが、入手可能な証拠では、その名称、アーキテクチャ、リリース状況は確定できない。

8月20日に公開された中国のテクノロジー記事は、前日の午後からDeepSeekのWebインターフェースの挙動が変化し始めたと報じた。同記事は、再び「I’m doing」のような一人称進行形の表現を使う推論トレースに焦点を当てている。

これらの表現は、以前の限定テストでも見られた。報道で引用されたテスターによれば、V4 Proが一般提供されると、それらは消えたという。

推論トレースは、モデル内部の問題解決プロセスに関連する可視化された要約や断片である。表示方法の変化を示すことはあるが、信頼できるモデルの指紋にはならない。

提供者は、プロンプト、フォーマット、インターフェースコードによって、こうしたトレースを変更できる。また、ルーティング層は、単一の製品名を表示しながら、異なるリクエストを異なるチェックポイントに送ることもできる。

報道は、文章作成、コード生成、進捗更新における結果の改善を伝えた。その後のデモでは、生成コードでレンダリングされた移動可能なシーンを含め、短いプロンプトからインタラクティブな環境を構築するシステムが示された。

こうした例は、閲覧者が具体的な成果物を確認できるため、視覚的に説得力がある。動作する環境は、抽象的なベンチマークスコアよりも多くを語っているように感じられる。

しかし、成功したデモでも重要な変数は制御されていない。プロンプト履歴、再試行回数、手動修正、ツール権限、選定プロセスはすべて最終結果に影響し得る。

報じられた8月19日の開始日は、公の議論が始まった時点としては妥当だ。DeepSeekがこのテストに関する日付入りの通知を公開していないため、実際のデプロイ時刻は確認されていない。

Zhihu上の元の質問も、この出来事を公式ローンチではなく「明らかになった」ものとして表現している。この表現は、現在の証拠の隔たりを正確に捉えている。

このグレーテストは、8月13日のV4 Proリリースに続くものだった。DeepSeekの公式更新履歴によると、このバージョンは同日にアプリ、Webインターフェース、APIで提供開始された。

文書化されたリリースでは、3つの推論努力設定と、OpenAI Responses API形式へのネイティブ対応が追加された。DeepSeekは本番チェックポイントについて、複数のエージェントベンチマーク結果も公開した。

これらの事実が、この記事の緊張関係を生む。同社は名称のあるモデルを本番投入したばかりだったのに、一部のユーザーは正体不明のルーティングモデルの方が優れているとすぐに考えるようになった。

グレーテスト自体は珍しいものではない。一般提供前に、変更をトラフィックの限定された割合に公開することを意味する。

この手法は、チームが負荷、障害、エンゲージメント、予期せぬ挙動を測定するのに役立つ。また、不具合のあるデプロイによる影響も抑えられる。

ただし、AIのグレーテストは従来のインターフェース実験とは異なる。モデルの出力自体が製品であり、わずかなルーティング変更でもユーザー体験を大きく変え得る。

卓越した結果を得たテスターでも、別のユーザーが同じシステムを受け取るとは限らない。元のテスターでさえ、次のセッションでは別のモデルにルーティングされる可能性がある。

そのため、このモデルが従来のグレーテストを上回るという最も強い公の主張は、デモだけでは確認できない。

DeepSeekのグレーテストが今重要な理由

このタイミングは、最新の本番モデルが匿名の実験ルートより弱く見える理由をDeepSeekが説明すべきだという圧力を生む。

V4 Proは、以前のプレビュー期間を経て8月13日に一般提供された。そのリリースは、モデルがツールを使い、複数ステップのタスクを完了するエージェント型の作業を中心としていた。

DeepSeekが公開した数値によれば、V4 ProはTerminal Bench 2.1で87.9、DeepSWEで62.7を記録した。NL2Repoでは61.5、Toolathlon-Verifiedでは74.1と報告している。

これらは企業が報告したベンチマーク結果である。モデルが想定する強みを定義する助けにはなるが、実際のプロジェクト全体にわたる性能を独立して検証するものではない。

同社の以前のV4プレビューによれば、本番モデルは100万トークンのコンテキストウィンドウもサポートする。コンテキストウィンドウとは、モデルが1回のリクエスト内で処理できる入力量を指す。

大きなコンテキスト容量は、リポジトリ分析、長文書、長時間のエージェントワークフローを支援できる。しかし、与えられたすべての情報をシステムが正確に利用する保証にはならない。

DeepSeekはV4 Proを同ファミリーのより大規模なモデルとして位置付けている。同社は、生成される各トークンについて総パラメータ数1.6兆、アクティブパラメータ数490億を挙げている。

V4 Flashはアクティブパラメータ数が少なく、より高速な動作を目標としている。DeepSeekはこのモデルについて、総パラメータ数2840億、アクティブパラメータ数130億と報告した。

両モデルは、トークンごとにネットワークの一部だけを活性化するMixture-of-Experts設計を採用している。この手法により、モデル全体を小さくせずに計算量を削減できる。

報じられたグレーテストの出力は、ユーザーが本番リリースを試し始めた直後に登場した。この順序が、限定実験とV4-Pro-0813の比較を促した。

一部のコミュニティ投稿は、公式リリースが以前のルーティング版より能力不足に感じられると主張した。別の投稿では、複雑なリポジトリで良好な結果が報告され、単一のコードベースから一般化すべきではないと警告された。

例えばRedditのあるユーザーは、1つの非公開プロジェクトでV4 Proと競合システムを比較した。投稿者は、このテストは標準化されておらず、すべてのプログラミングタスクを代表するものではないと明示している。

この留保は極めて重要だ。実際のリポジトリテストは実用的な証拠を提供するが、モデル品質に加え、プロジェクト構造、プロンプト、ツール、評価者の判断が混在する。

そのため、8月の実験はDeepSeekに二つの方向から圧力をかける。迅速な改善を続ける一方で、開発者が信頼できるほど本番システムを安定させなければならない。

前者の目標は、頻繁な非公開テストにメリットを与える。後者には、名前付きバージョン、再現可能な挙動、移行ガイダンス、永続的なAPIアクセスが求められる。

この対立はエージェントアプリケーションでさらに鮮明になる。小さな品質変化が、エージェントがタスクを完了するか、何度もループするか、誤ったファイルを編集するかを左右し得る。

開発者はコンシューマー向けチャットインターフェースでの実験には寛容でいられる。だが、自動化された本番ワークフロー内での無告知の変動は受け入れにくい。

エンタープライズの購入者も同様の問題に直面する。彼らは生のモデル能力と並んで、信頼性、監査可能性、セキュリティ、予測可能な挙動を評価する。

時折印象的なインタラクティブ世界を作り出すモデルは注目を集められる。一方、何千もの社内タスクで一貫して動作するモデルは、運用上の価値を生む。

したがってDeepSeekの次の課題は、実験モデルを単にリリースすることではない。実際の能力向上があるなら、それを顧客が繰り返し評価できる識別可能な製品へと結び付ける必要がある。

DeepSeek V4 Proは自らの隠れた後継モデルと向き合う

主な競争は、DeepSeekの名称付き本番チェックポイントと、ユーザーが一貫してアクセスできない匿名のルーティングモデルの間にある。

これをDeepSeekとAnthropicの競争と呼ぶのは、利用可能な証拠を過大評価することになる。テスターはAnthropicのモデルと出力を比較しているが、統制された評価によって新たな順位付けが確立されたわけではない。

より直接的な相手は、DeepSeek自身の製品内に存在する。V4-Pro-0813には、公式識別子、文書化されたベンチマーク、APIサポート、公開されたリリース日がある。

グレーテストモデルには、そうした保証が一切ない。あるのはデモ、挙動上の手掛かり、そして選択的な遭遇を通じて築かれつつある評判だ。

この非対称性により、実験の方が本番リリースより優れて見える可能性がある。ユーザーは並外れた出力を共有しがちである一方、日常的な失敗には組織的な注目が集まりにくい。

選択的ルーティングはさらにフィルターを加える。システムを受け取るアカウントは一部に限られ、観察者にはDeepSeekがリクエストやユーザーをどう選んでいるのか分からない。

同社は、容量、アカウント履歴、タスクカテゴリー、地理的条件、またはランダム割り当てに基づいてプロンプトをルーティングしている可能性がある。複数の構成を同時にテストしている可能性もある。

安定した識別子がなければ、報告されたすべての出力が一つの想像上のモデルに結び付けられる可能性がある。実際には、ユーザーは異なるチェックポイント、プロンプト、ツール設定に遭遇しているかもしれない。

この帰属の問題は、インタラクティブなデモにおいて特に重要である。生成されたシーンは、推論、コード作成、アセット選択、ブラウザ実行、修復サイクルに依存する。

基盤となるモデルは、計画能力が向上している可能性がある。一方で、周辺の製品がより優れたツール、より長い実行時間、改訂されたシステムプロンプトを得ただけかもしれない。

こうした変更もユーザーにとって重要だ。しかし、それは新しい基盤モデルの証明ではなく、製品エンジニアリングを表している。

DeepSeekの以前のV4資料は、この違いを説明するのに役立つ。同社はモデルアーキテクチャとエージェント能力の両方を説明し、その後APIユーザー向けに名称付きのモデルオプションを提供した。

グレーテストは体験を先に公開し、その技術的な説明を後回しにする。提供者は、その起源を文書化する前に、ユーザーが改善に気付くかを測定できる。

この手法には正当な理由がある。公開モデル名は時期尚早な期待を生む可能性があり、初期チェックポイントは本番トラフィック下で失敗することがある。

限定的なデプロイは、オフラインベンチマークでは得られない運用データもDeepSeekにもたらす。実際のユーザーは、曖昧なプロンプト、不完全な要件、予期せぬツール要求を送る。

問題は、コミュニティの解釈が証拠を上回ったときに始まる。「異なる出力スタイルが現れた」は「新モデルが稼働している」になり、さらに「そのモデルは前バージョンを上回る」になる。

それぞれの段階には追加の証明が必要だ。最初の段階はスクリーンショットで示せるが、最後の段階には既知のチェックポイントとの反復テストが必要となる。

本番リリースも、より公平な比較に値する。V4 Proには選択可能な推論努力設定があり、そのため結果は構成やタスクの複雑さによって変わり得る。

低い努力設定では、少ない計算量でより速く回答することがある。最大設定では、難しいエージェント作業により多くの推論を割り当てられる。

それでも、計算量を増やしたからといって、より良い答えが保証されるわけではない。モデルはより長く推論しても、生産性のない経路をたどり、要求されたタスクを完了しないまま停止することがある。

公式ローンチに関する独立報道では、V4 Proがエージェント性能を重視している点が指摘された。Associated Press coverageも、このリリースを中国と米国のモデル開発企業による継続的な競争の中に位置づけている。

この広範な競争こそが、報じられたグレーテストが注目を集めた理由を説明する。モデル提供企業は、ライバルが新モデルを発表するたびに、すぐ目に見える進歩を示すよう圧力を受けている。

それでも、決定的な比較は内部にある。DeepSeekは、この謎めいた経路がより優れたモデルを表すのか、より優れたエージェント・ハーネスを表すのか、あるいは例外的に有利な事例群にすぎないのかを示さなければならない。

それまでは、グレーテストは活発な実験が行われている証拠である。V4 Proがすでに置き換えられた証拠ではない。

印象的なデモは能力の飛躍を証明しない

インタラクティブな出力は有用な製品の方向性を示すが、管理されたアクセスと再現可能な評価がなければ、広範な性能主張を支えることはできない。

最も強力とされるデモは、短い依頼から始まり、探索可能な環境で終わる。システムはコードを書き、シーンをレンダリングし、ユーザーの操作に応答する。

このワークフローは、いくつもの難しい能力を組み合わせている。モデルは意図を解釈し、計画を立て、状態を維持し、有効なコードを書き、実行エラーを修復しなければならない。

成功した結果は、多肢選択式のベンチマーク以上のものを示し得る。それは、システムが推論をツールと結び付け、人が実際に使えるものを生み出せるかを示す。

しかし、デモの品質は選別に大きく左右される。作成者は多数のプロンプトを試し、最も成功した結果を公開できる。

視聴者が目にすることはほとんどない。途中で放棄された実行、壊れたインターフェース、手作業による修正、あるいは繰り返しの確認を必要としたプロンプトである。そうした欠けている事例こそが、システムの信頼性を左右する。

「前回のグレーテストより強い」という表現にも、固定された評価対象がない。以前のテストでは、恒久的な公開モデル識別子が示されていなかった。

ユーザーは記憶、スクリーンショット、保存済みの出力を比較できる。しかし、同一条件下で両方のシステムを再実行することはできない。

信頼できる比較には、共有されたプロンプトセット、記録された設定、複数回の試行、そして事前に定められた採点ルールが必要だ。評価者には、両方のチェックポイントへの安定したアクセスも必要になる。

コーディングとインタラクティブ生成には、追加の検証が必要だ。レビュー担当者は、出力が実際に動作するか、保守可能か、要件を満たすか、隠れたセキュリティ問題を回避しているかをテストすべきである。

視覚的な完成度は、脆弱な実装を覆い隠しかねない。シーンは説得力があるように見えても、ハードコードされた挙動、コピーされたアセット、一度の操作後に失敗するコードに依存している可能性がある。

同様に、モデルは基礎となる推論を改善しなくても、長い進捗更新を生成できる。目に見える説明は、タスクの完了と同じではない。

推論トレースは別のリスクも生む。ユーザーは、一人称の表現を、より深い認知や特定の隠れたモデルの証拠として受け取るかもしれない。

そうした表現はインターフェースの出力である。モデルを再訓練せずに変更でき、提供企業は内部推論を公開するのではなく、意図的に要約を示している可能性もある。

DeepSeekは、8月19日の挙動が新たなベースモデルを示すものだとは確認していない。ルーティングされたシステムについて、パラメータ数、学習の詳細、モデルカード、評価結果も公開していない。

これらの資料がないからといって、その実験が偽物だという意味ではない。最も強い解釈が依然として裏付けられていない、という意味である。

コミュニティによるテストは、依然として価値ある役割を果たす。正式な評価では見落とされるプロンプトを特定し、ユーザーが実際に何を重視しているかを示す。

たとえばインタラクティブな世界生成は、静的なテキストではなく、説明を動作するソフトウェアへ変換するエージェントへの需要を示唆する。この需要はエンターテインメント向けデモにとどまらない。

プロダクトチームは、同様のシステムをプロトタイプ、トレーニング用シミュレーション、データ可視化、インターフェース実験に活用できる。開発者は、本番コードを構築する前に設計を探索するために使えるかもしれない。

ナレッジワーカーは、文書や研究資料からインタラクティブな説明を生成できる。この可能性は、モデルの能力を、ソース資料を整理するというより広範な課題と結び付ける。

個人向けのAI knowledge baseは、テストをまたいでプロンプト、出力、証拠を保存できる。こうした記録は、主観的なモデル比較をより規律あるものにする。

それでも、どのようなノートの収集でも隠れたルーティングは解決できない。評価者にはモデル識別子、あるいはテスト対象のチェックポイントを選択するための提供企業側の仕組みが必要だ。

現時点で最も公平な結論は限定的である。一部のユーザーは、V4 Proとは異なる挙動に遭遇し、注目すべきデモを生み出した。

この証拠は、一貫した単一の新モデルがすべての例を生成したことを立証しない。また、コーディング、執筆、推論、エージェントタスク全般での優位性も立証していない。

したがって、能力の飛躍が確認されたと主張する記事は、記録を超えることになる。責任ある報道の焦点は、実験、帰属、検証にある。

隠れたルーティングはモデル品質を信頼の問題に変える

AI製品が動的ルーティングへの依存を強めるほど、ユーザーが何を評価し、購入し、導入したのかを把握することは難しくなる。

モデルルーティングにより、提供企業はリクエストを受け取った後でシステムを選択できる。選択は、タスクの種類、レイテンシ、容量、安全ルール、アカウント権限を反映する場合がある。

このアーキテクチャは効率を高められる。単純な質問には高速なモデルを使い、難しいコーディングタスクにはより多くの計算資源を割り当てられる。

段階的なリリースにも対応できる。企業はトラフィックの一部を新しいチェックポイントへ送り、完了率やユーザーフィードバックを比較できる。

同じ柔軟性は再現性を弱める。二人の人が同じプロンプトを入力しても、気付かないうちに実質的に異なるシステムを受け取る可能性がある。

消費者向けチャットでは、この違いは混乱を招くかもしれない。ソフトウェア開発、研究、法務レビュー、財務分析では、監査と説明責任を複雑にする。

チームは優れた評価の後にワークフローを承認したにもかかわらず、通常利用時にはより弱い経路を受け取るかもしれない。提供企業は表示される製品名を変えずに、後からより強いモデルを復元することもできる。

キャッシュと会話履歴は、さらなる変動をもたらす。ツールの利用可能性、システム指示、コンテキスト長はいずれも、モデル品質が比較に加わる前に結果を変え得る。

だからこそ、目に見えるモデルラベルだけでは不十分だ。提供企業には、バージョン記録、変更通知、APIの挙動に関する明確な保証も必要である。

DeepSeekは公開リリースについて、その方向へのいくつかの措置を講じている。ドキュメントではV4-Pro-0813を明記し、一般提供時に追加された機能を列挙している。

報じられたグレーテストは、その契約の外にある。その目的はおそらく実験であり、同社は安定性や広範なアクセスを約束していない。

ユーザーはそれに応じて扱うべきだ。システムを試し、結果を記録することはできるが、そうした遭遇を前提に本番導入を計画すべきではない。

競合他社も同じガバナンス上の課題に直面している。Anthropic、Google、OpenAIはいずれも、周辺ツールや指示が時間とともに変化し得るホスト型製品を運用している。

違いは、ルーティングの有無ではない。重要な問いは、開発者がバージョンを固定できるか、重要な変更が文書化されるかどうかだ。

オープンウェイトのリリースは別の道を提供する。独立した研究者が既知のチェックポイントを実行し、管理された条件下でテストを繰り返せるようになる。

DeepSeekのV4プレビューにはオープンウェイトが含まれており、検証とローカル導入を支えた。将来的にグレーテストのチェックポイントがリリースされれば、検証可能性は大幅に向上する。

オープンウェイトが自動的に評価上の問題を解決するわけではない。ハードウェア、量子化、推論ソフトウェア、サンプリング設定も結果を変え得る。

しかし、それは研究者にテストするための永続的な対象を与える。一時的にルーティングされるウェブモデルには、それに相当する保証がない。

セキュリティの側面もある。エージェントモデルはコマンドを実行し、ファイルを変更し、外部サービスに接続できる。

より強いエージェントはより多くのタスクを完了できるかもしれないが、自律性の向上はミスを増幅させる可能性がある。提供企業はベンチマークでの向上と並行して、権限処理、プロンプトインジェクション、意図しない操作を評価する必要がある。

8月のデモは主に、システムが何を構築できるかを強調している。敵対的な入力や曖昧な指示にどれほど安全に応答するかについては、あまり明らかにしていない。

エンタープライズでの採用は両方に依存する。購入者には、モデルが複雑な作業を完了し、予測可能かつ封じ込め可能な形で失敗するという証拠が必要だ。

グレーテストの手法は、リリース前に有用な安全性データを収集できる。それでも、注目を集める出力は慎重な失敗分析より拡散されやすいため、公開デモは当然ながら能力を優先する。

これにより、よく知られた不均衡が生まれる。マーケティング価値はすぐに得られる一方、検証とリスク文書化は後から続く。

この差を埋める責任は今やDeepSeekにある。名称を明示したリリース、技術文書、安定した評価アクセスがあれば、憶測はテスト可能な製品主張へと変わる。

より強力なDeepSeekモデルと呼ぶ前に注目すべき点

報じられた実験が本物のモデル進歩、製品レイヤーの改善、あるいは一時的なルーティングテストのどれに当たるかは、三つのシグナルによって決まる。

第一のシグナルは公式なモデル識別情報である。DeepSeekは、実験を特定のチェックポイントに結び付けるリリースノート、モデルカード、またはAPI識別子を公開すべきだ。

この開示により、ユーザーは一つのモデルを複数の可能な構成から区別できるため、能力主張はより強固になる。沈黙が続けば、帰属は不確かなままだ。

最も有用な発表には、製品名以上の情報が含まれるだろう。変更がモデルウェイト、ポストトレーニング、ツール、システム指示、推論設定のどれに影響するのかを説明すべきである。

第二のシグナルは、再現可能な独立テストである。研究者には、安定したアクセス、記録されたプロンプトセット、複数回の試行、そして結果を観測する前に選定された評価基準が必要だ。

コーディングエージェントでは、テストにタスク完了、正確性、セキュリティ、失敗したツール呼び出しからの復旧を含めるべきである。インタラクティブ生成では、未知のプロンプトにまたがる信頼性を含めるべきだ。

独立テストにより、ルーティングされたモデルが実用的なエージェント作業でV4-Pro-0813を上回ることが確認されるかもしれない。結果が混在すれば、拡散したデモがより限定的な強みを捉えていたことを示唆する。

第三のシグナルは、本番導入への道筋である。本物の進歩であれば、最終的には選択可能なAPIモデル、文書化されたウェブ上の選択肢、またはリリースされたウェイトとして現れるはずだ。

本番への道筋は、DeepSeekが報じられた挙動を通常トラフィック下で一貫して提供できることを示す。永続的なリリースなしにグレーテストが繰り返されるなら、その解釈は弱まるだろう。

読者は、同社がバージョン移行をどう扱うかにも注目すべきだ。明確な移行ノートは、DeepSeekがモデルの挙動を運用上の契約として扱っていることを示す。

これらのシグナルは、読者層ごとに異なる意味を持つ。

開発者は、モデルバージョンを固定し、自身のリポジトリでテストを再現できるようになるまで、アーキテクチャ上の決定を先送りすべきだ。スクリーンショットでは、本番エージェント内でのツールの信頼性は予測できない。

エンタープライズの購入者は、評価が実際に導入するエンドポイントを対象としているかを確認すべきである。また、変更通知、アクセス制御、監査可能なバージョン記録を求めるべきだ。

AI製品のユーザーは、選ばれた場合にはグレーテストを試してよいが、プロンプト、設定、失敗、成功した出力を記録すべきである。その証拠は、印象だけより有用だ。

研究者は、ベースモデルの能力をエージェント・ハーネス、ルーティング層、インターフェースから切り分けるべきである。各コンポーネントは、より大規模な、または新たに訓練されたモデルを意味せずに結果を改善できる。

8月19日の報道は、よりリッチでコード駆動型のインターフェースと、より高性能なエージェントへの方向性を示しているため注目に値する。ただし、現時点で確定的なモデル順位を裏付けるものではない。

決定的な問いはシンプルだ。DeepSeekは、匿名ながら印象的な体験を、独立したユーザーが繰り返し検証できる名前付きのシステムへと転換できるのか。

それが実現するまでは、グレーテストを検証済みの後継モデルではなく、開発が進行していることを示す信頼に足るシグナルとして扱うべきだ。代表的なタスクを保存し、公式リリース後に再実行してほしい。

同じ改善が安定したアクセス、複数回の試行、そして独立した検証を経ても維持されるなら、これはモデルの進歩というニュースになる。そうでなければ、隠れたルーティングがAIに対する認識をどのように形作るかを示す、示唆的な実験にとどまる。