Whatmodel AIベンチマーク監査、ラボの主張と独立テストの間に6.4%の差を発見
whatmodelのAIベンチマーク監査は、測定可能な乖離を報告している。AIラボが公表したスコアは、独立テスターによる対応結果を平均6.4%上回った。分析対象は、180モデルと103のベンチマークにまたがる611件の比較だ。中心的な発見は注目に値するが、体系的なスコア水増しを証明するものではない。
このプロジェクトは、同一モデルを同一テストで比較し、開発元の結果と外部結果の相対差を測定した。375件の比較ではラボ側がより高い数値を報告した。独立テスターが上回ったのは216件で、20件は完全な同点だった。
この逆転は、ベンチマークの数値が購入者、開発者、研究者に何を誠実に伝えられるかという問題に関わる。モデルのスコアは、しばしば客観的な製品仕様のように見える。しかし実際の結果は、プロンプト、ソフトウェアハーネス、推論予算、テストのバージョン、そして開発元がどの評価を公表するかに大きく左右されうる。
ここでは、ラボのリリース資料と、再現可能な独立評価が対置される。本当の争点は、ラボが結果を捏造しているかどうかではない。異なる条件で得られた結果を、直接比較可能であるかのように提示してよいのかという点だ。
Whatmodel AIベンチマーク監査は同条件の比較を行う
この監査の最大の貢献は、無関係なリーダーボード結果を混在させるのではなく、同一モデルと同一ベンチマークの組み合わせを比較しようとした点にある。
作成者によると、このプロジェクトは1,629件の公開済みベンチマーク結果から始まった。モデル開発元と外部機関の双方がスコアを報告していた611組の対応ペアを特定した。これらのペアは、103の精度ベンチマークにおける180モデルを対象としている。
各比較は、1つのモデルを1つの名称付きテストで評価したものだ。開発元の結果は、リーダーボード、研究論文、または別のAIラボによる結果と並べて表示される。いずれかの側が複数の適格な結果を提示している場合、whatmodelはその側の中央値を使用した。
見出しの数値は相対計算によるものだ。監査では、ラボのスコアから独立スコアを引き、その値を独立スコアで割り、結果を百分率に換算する。各対応ペアには同じ重みが与えられる。
たとえば、ラボのスコアが60で独立スコアが50なら、相対差は20%となる。計算には負の差と同点も含まれる。独立スコアがゼロの比較は、そこから相対百分率を算出できないため除外される。
適格なペア全体で、ラボの結果は平均6.4%高かった。一方、相対差の中央値は1.2%と大幅に小さい。平均値と中央値のこの隔たりは、少数の大きな差が平均を押し上げうるため重要だ。
平均値について報告された95%信頼区間は、3.8%から9.5%である。このプロジェクトは、各結果を独立したものとして扱うのではなく、モデル全体を再サンプリングしてこの区間を算出した。この選択は、1つのモデルに関する複数のベンチマーク結果が同じ設計上の判断を共有しうることを認めるものだ。
監査は絶対値による比較も提示している。611組すべてにおいて、各ベンチマーク本来の尺度で見たラボ側の優位の中央値は0.8ポイントだった。同点を分母に含めると、ラボは全ペアの61%でより高いスコアを記録した。
同点を除くと、意見が分かれた比較の63%でラボの結果が高かった。この割合は、ラボ優位の375件と独立評価優位の216件から算出される。この指標について、プロジェクトは59%から68%の95%区間を報告している。
これらの統計は、収集されたサンプル内の関連性を示すものだ。すべての開発元が性能を6.4%過大に示していることを意味するわけではない。また、新しいモデル、ラボ、ベンチマークにおける差を予測するものでもない。
インタラクティブ比較では、この限界を確認できる。個々の差は両方向に存在し、外部テスターが大幅に高い性能を報告する場合もある。読者は平均値だけに頼るのではなく、対応する情報源を確認できる。
この透明性は、選別された不一致を示すスクリーンショットとは一線を画す。比較ページには、モデル、メーカー、ベンチマーク、対応するスコア、差、元の情報源が掲載されている。また、テスト別およびモデルメーカー別の要約も分けている。
より広いwhatmodelプロジェクトは、オープンソースのリーダーボードおよび評価データベースだ。データリポジトリには、ベンチマーク記録、ソースメタデータ、スコアリングコード、検証レポート、ライセンス通知が含まれる。コードにはMITライセンスが適用され、集約データにはCC BY-SA 4.0が用いられている。
こうした公開性により分析は監査可能になるが、オープンなコードが各分類の正しさを自動的に保証するわけではない。貢献者は、情報源の割り当て方、モデルの照合方法、反復測定の集約方法を確認できる。また、プロジェクトの貢献プロセスを通じて、疑わしいペアリングに異議を唱えることもできる。
この結果は、公開された主張に対する文書化された監査として理解するのが最適だ。根拠となる証拠へのリンクを保ちながら、よく知られた疑念を検証可能な推定値に変換している。その緊張関係は見出しの数値が示す先にある。一見同じベンチマーク名でも、異なる実験が隠れている可能性がある。
AIベンチマークのスコア差は柔軟性の高いテストに集中する
平均6.4%という数値は、より有用な発見を覆い隠している。ベンチマーク設計は、不一致の大きさと密接に関係しているようだ。
複数の定評あるテストでは、ラボと外部結果の間にほとんど差が見られなかった。MMLUとHumanEvalの中央値の差はゼロだった。WinoGrandeの中央値差はマイナス0.1ポイントで、ARC Challengeはマイナス0.6ポイントだった。
これらのベンチマークも、実装上の違いの影響を受けないわけではない。しかし、確立された形式と広く使われる評価ツールは、各評価者に委ねられる判断の数を減らしうる。モデルのバージョンと指標が一致していれば、より標準化されたテストほど比較可能な結果を生み出すはずだ。
実行上の選択が結果の一部となる評価では、様相が変わる。SWE-bench Verifiedでは、13組の対応ペアにおけるラボ側の優位の中央値が9.0ポイントだった。このうち92%でラボのスコアが高かった。
SWE-bench Verifiedは、AIシステムが実際のソフトウェア問題を解決できるかを評価する。この環境でモデルは単独で動作するわけではない。ツール、プロンプト、再試行方針、コンテキスト選択、エージェントハーネスは、スコアに実質的な影響を与えうる。
ハーネスとは、タスクを提示し、ツールを管理し、結果を記録するソフトウェア層を指す。同じモデルとベンチマークを使いながら、異なるハーネスを使う評価もありうる。したがって最終的な百分率は、モデル単体ではなくモデルとシステムの組み合わせを反映している可能性がある。
プログラミングベンチマークのMBPPでも、13組にわたりラボ側の優位の中央値は9.0ポイントだった。GSM8Kでは19件の比較で3.3ポイントを示した。AIME 2024とAIME 2025では、中央値の差がそれぞれ3.8ポイントと2.6ポイントだった。
推論評価は、さらに別の変動要因を加える。評価者は、サンプリングする応答数、許容トークン予算、最終回答の選択方法を変更できる。推論に多くの計算資源を費やせば、基礎となるモデルを変えずに報告スコアを改善できる。
Few-shotプロンプティングも関連する問題を生む。評価者は、モデルにタスクを解かせる前に例を提供する。異なる例、書式の選択、回答抽出のルールは、すべての結果が同じベンチマーク名を持っていても性能を変えうる。
この仕組みは、いずれの側にも計算ミスがなくても、ラボと独立ベンチマークの結果が乖離しうる理由を説明するのに役立つ。開発元は、自社モデルに適したプロンプトや提供設定について、より深い知識を持っていることが多い。一方、外部評価者は競合モデル全体で標準化された設定を使用する場合がある。
開発元の結果は、「最適化された設定で、このシステムはどこまで性能を発揮できるか」という問いに答えうる。外部結果は、「共通の評価プロトコルの下で、このモデルはどの程度の性能を示すか」という問いに答えうる。どちらの問いも正当だが、その回答は互換的ではない。
選択的な報告は、さらに別の層を加える。ラボは多くの評価を実施し、リリースの強みを最もよく示すものを公表できる。この慣行では、いかなるスコアも改変する必要はないが、一般に公開されるサンプルを変化させる。
whatmodelのデータセットには、各開発元が実施したすべてのテストの無作為標本ではなく、公開された結果が含まれる。したがって、6.4%という数値は利用可能な記録内の差を測定している。ラボが開示しないと決めた結果を推定することはできない。
ベンチマークのバージョンも変化しうる。テストには、修正済みの設問、拡張されたサブセット、汚染対策、異なるスコアリングスクリプトが導入される場合がある。リリース表で同じに見えるラベルが、実質的に異なるデータを指していることもある。
監査によると、差は各テスト固有の尺度におけるパーセントポイントとして測定されている。whatmodelの複合リーダーボードスコアの差ではない。この区別により、読者が10ポイントのベンチマーク差を、普遍的な10ポイントの能力差として解釈することを防げる。
分布はまた、極端な例だけに注目しないよう警告している。大きな不一致は説得力のあるソーシャル投稿になりやすいが、対応する結果の大半はより近い位置にある。絶対差の中央値の傾向は、見出しの平均値が示すほど大きくない。
それでも、不一致の集中は商業的に重要だ。コーディングエージェントと推論システムは、購入者が信頼できる比較を最も必要とするカテゴリーに含まれる。同時に、評価設定が最も大きな影響を及ぼしうるカテゴリーでもある。
したがって、コーディングモデルを選ぶ開発者は、評価システム全体を精査すべきだ。モデルのバージョン、ハーネス、ツール権限、再試行上限、スコアリングルールはいずれも比較の一部である。単一の見出しとなる百分率では、あまりに多くの文脈が示されないままになる。
ラボの主張と独立結果は異なる問いに答えている
主な対立は、誠実なテスターと不誠実なラボの間にあるのではない。最適化された実演と比較可能な測定の間にある。
モデル開発元には、リリースに最も適した構成を見つける強い理由がある。推奨するシステムプロンプト、ツールインターフェース、推論制御、推論設定を理解しているためだ。開発元による評価は、汎用的なハーネスでは見落とされる性能を明らかにしうる。
独立テスターは異なる目標を追求する。複数のプロバイダーにわたり、プロンプト、予算、スコアリングルールを一定に保つことが多い。この一貫性はモデル固有の最適化を犠牲にする可能性があるが、購入者により明確な比較基準を提供する。
whatmodelのAIベンチマーク監査は、敵対的な競合評価が全体的な傾向を説明するかを検証している。中立的な情報源と、競合ラボが公表した結果を分けている。中立的な情報源には、リーダーボード、Epoch AI、比較対象となるモデルを公開していない論文が含まれる。
中立テスターが関与した236組では、メーカーがより高い結果を報告した割合は56%だった。競合ラボのリリース文書から得られた446組では、メーカー側が63%で上回った。
これらのカテゴリーは、1つのモデルとテストに複数の外部測定が存在しうるため重複する。そのためプロジェクトは、競合と中立者の双方が同一モデル・同一テストを評価した272件を調べた。競合側のスコアが中立テスターより低かったのは131回、高かったのは130回だった。
競合側と中立側の差の中央値はゼロだった。この結果は、競合他社が一貫して互いを低く評価するという単純な見方を弱める。競争関係による影響をすべて排除するものではないが、評価設定と公表の選択に再び注意を向けさせる。
ベンチマーク表を製品間の直接比較として提示するすべての組織に、圧力がかかる。OpenAI、Google、Meta、Anthropic、Alibaba Cloud、DeepSeek、Mistral AI、そして小規模な開発者はいずれも、リーダーボード上の主張によって形作られた市場で活動している。独立検証が追いつく前に、リリース時の高スコアが導入判断を左右する可能性がある。
この監査は開発元別の要約を示しているが、これらの数値には慎重な解釈が必要だ。サンプル数やベンチマークの構成は開発元によって異なる。ある企業は安定した学術テストで多数の比較結果を持つ一方、別の企業は変動性の高いエージェント評価で主に登場することもある。
このプロジェクトは、開発元別グループを概算的なものとして明示している。かなりの数のデータを集めても、モデルの世代、ベンチマークの種類、リリース戦略、再現可能な重みの有無を完全には統制できない。これらの中央値から企業ランキングを作れば、データが裏付ける範囲を超えた主張になる。
適切な対応は、想定上の問題企業による新たなリーグ表ではなく、よりよい来歴情報だ。来歴情報は、結果の出所、実行されたモデルのバージョン、スコアを生んだ手順を記録する。これがなければ、ベンチマークの数値は実験から切り離されてしまう。
元祖のモデルカードのフレームワークは、モデル性能や想定用途とともに評価手順を報告するよう求めていた。評価にエージェント、ツール、判定器、調整可能な推論努力量が組み込まれるにつれ、この原則はさらに重要になる。
現代的な評価結果には、モデル名とテスト名だけでは足りない。モデルのスナップショット、プロンプト形式、テストの改訂版、指標、推論予算、サンプリングパラメーター、ハーネスのバージョン、実行回数を特定すべきだ。除外事項や失敗した試行についても開示に値する。
評価カードに関する近年の研究は、比較可能性と来歴情報を別々のシグナルとして扱っている。著者らは数千のモデルとベンチマークにわたる報告を調査した。生のスコア報告は残る一方で、その周辺の設定情報は不完全なままであることが多いと論じている。
この隔たりは、よくあるユーザー体験を生む。購入者は数ポイント差のある2つのモデルを目にし、その後、一方にはより多くの推論トークンが与えられていた、あるいは専用エージェントを使っていたと知る。ランキングは精密に見えたが、その根底にある問いは不安定だった。
調達チームは、開発元のスコアを、文書化された条件下で到達可能な性能の証拠として扱うべきだ。独立した結果は、別の評価者の条件下での性能に関する証拠を示す。どちらも特定企業内の本番挙動を自動的に代表するものではない。
有用な社内評価は、実際のタスク、代表的な文書、明示的な失敗コストから始まる。公開ベンチマークは候補を絞り込めるが、すべての組織のワークフローを測定することはできない。検索品質、レイテンシ、権限、人によるレビューは、小さな学術スコア差より重要であることが多い。
研究者にとって、この監査は再現に十分な情報を公開する必要性を改めて示す。開発者にとっては、複数の独立したハーネスで実験することを促す。ユーザーにとっては、標準の問いを「どのスコアが正しいのか？」から「各スコアはどの設定で生まれたのか？」へ変える。
この転換は、曖昧な報告を許容するものではない。研究所が関連条件を公開せずに数値を宣伝するなら、読者はその結果が再現可能か判断できない。技術的に有効なスコアでも、重要な文脈が隠されたままであれば、誤解を招く比較になり得る。
6.4%という調査結果で立証できないこと
この監査は報告上のパターンを特定しているが、その設計では意図、普遍的な偏り、実世界での製品品質を判定できない。
第一の制約は選択にある。データセットには、公開され、発見され、ライセンスが確認され、照合された結果が含まれる。すべての社内評価実行、すべての失敗実験、モデル発表から省かれたすべてのテストを含むわけではない。
公開に伴う選択は、観測される研究所平均を押し上げる可能性がある。開発者がリリース資料で強みを強調するのは当然だ。独立研究者も、弱点を露呈させるベンチマーク、注目される主張を検証するベンチマーク、または利用可能なインフラに合うベンチマークを選ぶことがある。
第二の制約は比較可能性だ。同じモデル名とベンチマーク名でも、同一の実験が保証されるわけではない。プロバイダー側のモデルは変更され得るし、公開重みには異なるテンプレートが使われることがあり、評価コードも指標を異なる形で実装する場合がある。
このプロジェクトは、ベンチマークのバージョンや集計の詳細といった区別を維持しようとしている。比較ページでも、評価範囲や集計方法が明示されていないケースを認めている。こうしたラベルは不確実性を明らかにするが、欠落した構成を復元することはできない。
第三の制約は重み付けに関するものだ。適格な各ペアは、6.4%の平均に等しく寄与する。したがって、小規模な学術モデルに関する比較も、広く展開されている商用システムを含む比較と同じ統計的重みを持つ。
同様に、多数のモデルペアを持つベンチマークは、ペア数の少ないベンチマークより多くの観測値をもたらす。この手法は収集された比較セットを記述するものであり、市場シェア、ユーザーへの影響、各テストの相対的重要性を表すものではない。
第四の制約は、観測値間の依存性だ。1つのモデルに由来する複数のペアは、アーキテクチャ、学習データ、プロンプト、公開慣行を共有し得る。この監査は、不確実性区間のためにモデル全体を再サンプリングすることで、この問題に対処している。
この統計的選択は分析を改善するが、すべての依存性を取り除けるわけではない。同じファミリーのモデルは、設計や評価パイプラインを共有することがある。論文間で複製された結果も、情報源間に隠れた関係を生む可能性がある。
第五の制約は、相対的な百分率差の使用だ。独立評価の基準値が低い場合、相対計算は大きくなり得る。この性質は、多くの絶対差が小さいままでも平均値が中央値を上回り得る理由を説明する。
読者は、6.4%の平均、1.2%の相対差の中央値、0.8ポイントの差の中央値を合わせて検討すべきだ。単一の統計量では分布を完全には説明できない。方向別の件数は、どちらがどの程度の頻度で上回るかを示すことで、別の視点を加える。
第六の制約として、独立評価でより高いスコアが出る場合もある。引き分け以外のペアでは、外部テスターが216回上回った。その一部には大きな差があり、研究所の報告が一貫して性能の上限を定義するわけではないことを示している。
したがって、最も強い結論は見出しよりも限定的だ。この公開・照合済みデータセット内では、研究所のスコアは高めに出る傾向がある。このパターンは、評価手順を調整できるテストで最も強い。
これらの結果は捏造を立証するものではない。差が最適化、バージョンの変動、ランダムサンプリング、実装エラー、選択的開示のいずれから生じたかは判断できない。意図の判定には、このプロジェクトが持たない内部記録が必要となる。
whatmodel AIベンチマーク監査は、どのスコアがユーザーの導入環境をよりよく予測するかも判断できない。最適化された研究所の設定は、製品が推奨する構成に近い可能性がある。標準化された外部ハーネスは、プロバイダー横断の調達をよりよく表す可能性がある。
独立テストにも固有のリスクがある。汎用的な評価者は、不適切なプロンプト、古いエンドポイント、誤ったチャットテンプレート、不十分な推論予算を使う可能性がある。プロトコルが誤った運用条件をテストしている場合、再現可能性は関連性を保証しない。
ベンチマーク品質は、さらに別の不確実性を加える。AI Indexの調査結果は、急速な飽和、不正利用への懸念、一部の一般的な評価における相当な無効質問率を示している。完全に再現されたスコアでも、欠陥のあるテストを測定している可能性がある。
汚染は解釈をさらに弱める可能性がある。ベンチマークの質問やその近似版が学習データに入っていた場合、高性能は一般的能力ではなく既知の内容への親しみを反映しているかもしれない。公開テストセットは、リポジトリや生成データセットを通じて流通するため、特に脆弱だ。
一部の新しい評価では、露出を抑えるために一部を非公開にしたり、質問を更新したりしている。しかし、こうした防御策は再現を難しくする。この分野は、透明な検証と未知のテストセットの維持とのトレードオフに直面している。
この監査のオープンライセンスは、その選択自体の検証を支える。研究者は計算を再現し、情報源を調べ、修正を提案し、別の要約を構築できる。この過程は、分析自体も研究所に求める基準にさらされるべきであるため重要だ。
より強力な追跡調査では、ベンチマークのファミリー、評価者の種類、モデルへのアクセス可能性、文書化された設定の類似性によって比較を層別化するだろう。また、固定重みモデルと変化するAPI製品を分けることもできる。こうした区分は、不一致がどこで生じるのかを特定する助けになる。
もう1つの有用な拡張は、同一の公開ハーネスでペア結果を比較することだ。このような実験は、モデルバージョンの変更を評価者の選択から切り分けられる。反復実行により、見かけ上の不一致のどれほどがサンプリングのばらつきによるものかも示せる。
その証拠が得られるまでは、読者は正反対の2つの誤りを避けるべきだ。すべての開発元ベンチマークをマーケティング上の虚構と見なすべきではない。同時に、洗練されたベンチマーク表を、その設定から独立した中立的な測定として扱うべきでもない。
ベンチマーク報告が改善しているかを示す3つのシグナル
次の段階で重要なのは、再び見出し向けの平均値を出すことではない。研究所と評価者が、結果を真に比較可能にするだけの詳細を開示するかどうかである。
第一のシグナルは、モデルカードと技術報告書における、より充実した構成報告だ。有用な開示は、正確なモデルスナップショット、テストの改訂版、プロンプト、ハーネス、指標、推論予算、サンプリング設定、実行回数を特定すべきである。
主要研究所がこれらの項目を一貫して公開すれば、この監査の解釈は検証しやすくなる。外部評価者は、標準化された構成と比較する前に、最適化済みの構成を再現できる。条件を一致させても差が持続するなら、報告上の偏りに関する懸念は強まるだろう。
開示が不完全なままであれば、現在の調査結果はより重要になる。設定情報の欠落は、実験条件が不確かな数値を購入者が比較せざるを得ない状況を続ける。ベンチマーク表は、持ち運び可能な測定というより製品上の主張に近い状態にとどまるだろう。
第二のシグナルは、中立的な評価システムをまたぐ再現だ。独立したグループは、共通プロトコルと開発元推奨の構成の両方で、同じモデルを再実行すべきである。両方の結果を公開すれば、最適化の利点とより広い能力を分離できる。
この設計は、どちらか一方を選ぶよりも効果的に、研究所対独立ベンチマークの論争を解決できる。モデルはネイティブのハーネスで最良の性能を発揮する一方、標準化された制約下では弱いままである可能性がある。ユーザーは両方の結果を見るに値する。
反復評価では、失敗、除外、実行間の変動も保存すべきだ。成功した集計値だけを報告すると、運用上の不安定性を隠す可能性がある。ツール呼び出しや長い軌跡が追加の失敗点を生むため、エージェントシステムには特にこの扱いが必要だ。
中立的な再現によってAIベンチマークのスコア差が縮小すれば、設定差が主要な説明となる。構成を一致させた後も差が残るなら、選択や報告慣行への懸念は強まる。どちらの結果でも、証拠は改善される。
第三のシグナルは、購入者によるAI製品の評価方法の変化だ。調達チームは、ベンチマーク上の主張を受け入れる前に、結果の来歴情報を要求し始められる。また、公開リーダーボードだけに頼るのではなく、代表的な社内業務での評価を要求することもできる。
コーディング支援ツールでは、組織自身のリポジトリ内にある、管理された権限下のタスクが含まれる場合があります。リサーチ支援ツールでは、信頼できる文書群から証拠を探し、引用を保持することが求められる場合があります。カスタマーサポートシステムには、分野に関する正確性、エスカレーション対応、一貫したポリシー適用が必要です。
こうした評価では、プロンプト、モデルのバージョン、検索設定、人間による評価を記録すべきです。チームは、スコアをその背景にある文書や判断から切り離すのではなく、検索可能なナレッジワークフローでその文脈を保持できます。
実運用での導入データによって、ベンチマーク上の小幅な優位性に意味があるかどうかが明らかになります。学術テストで勝つモデルでも、信頼性、統合に要する労力、タスク完了率では劣る可能性があります。逆に、実運用で強力なシステムは、モデル単体のベンチマークでは除外されるオーケストレーションに依存している場合があります。
外部のスコアがリリース時の主張と大きく異なる場合、研究機関がどう対応するかにも注目すべきです。再現手順を公開し、設定の違いを説明し、または表を訂正すれば、信頼は高まります。沈黙やラベルの変更では、根本的な比較の問題は解決されません。
リーダーボードの運営者が評価メタデータを一次データとして保存するかどうかにも注目してください。手順を伴わないスコアは、明らかに不完全なものとして扱われるべきです。フィルターによって、最適化済み、標準化済み、独立して再現された結果を区別できるようになるでしょう。
whatmodelプロジェクトは、改訂履歴や争点となった比較ペアを時系列で追跡することで貢献できます。そのオープンなデータモデルにより、貢献者はリーダーボードを疑う余地のない権威として扱うのではなく、情報源を検証できます。この設計は訂正を促し、それこそが信頼できる測定の特徴です。
whatmodelによるAIベンチマーク監査は、AIラボがモデル性能を過大に主張しているかどうかを決着させるものではありません。ただし、彼らが公表する数値が、一定規模の対応付けられたサンプル内では体系的に高いことを示しています。また、最も大きな食い違いが生じやすい箇所も特定しています。
実務上の対応は明快です。ベンチマークのスコアは、モデルに固定的に備わる性質ではなく、文書化された実験の結果として読むべきです。どのバージョンが実行されたのか、どのツールが利用可能だったのか、どれだけの推論量が与えられたのか、誰がテストを選定したのかを確認してください。
開発者はオープンリポジトリを通じて比較を再現し、訂正を報告できます。購入者は、モデルを導入する前に対応付けられた評価を求めることができます。研究者は、より厳格な統制の下でも6.4%という傾向が維持されるかを検証できます。
次に目にするベンチマーク上の主張では、ただちに一つの問いを投げかけるべきです。その数値を生んだ条件を、別の評価者も再現できるのか。答えが当たり前になるまで、研究機関の主張と独立テストの隔たりは、あらゆるモデル比較の一部であり続けます。
