Qdrant FineWeb 10BベンチマークがAI検索の小規模データ問題に挑む
Qdrantは、100億件の文書から成る検索データセットを公開した。これはAIインフラにおける根本的な矛盾、すなわち本番システムは巨大である一方、広く受け入れられているテストの多くは比較的小規模にとどまるという問題に向き合うものだ。Qdrant FineWeb 10Bベンチマークは、密ベクトルと疎ベクトル、フィルタ付きクエリ、正確な近傍探索結果を含む公開コーパスを研究者に提供する。その規模は、従来の近道を隠しにくくする。
この公開は、Qdrantが最速のベクトルデータベースであると宣言するものではない。Qdrant、Milvus、Elasticsearch、その他の検索システムを厳しい条件下でテストするための共通インフラを整えるものだ。この違いは重要である。ベンダーの性能チャートは、データセット、ハードウェア、再現率の目標、フィルタ、クライアント設定が異なる場合を反映していることが多いためだ。
したがって中心となる競争は、Qdrantと特定の競合製品との対決ではない。公開され再現可能な測定と、都合のよいベンチマーク主張との対比である。Qdrantはこの競争をより真剣なものにしたが、本番検索の品質に関するすべての問いに答えたわけではない。
Qdrant FineWeb 10Bベンチマークが出発点を変える
Qdrantは、公開ベンチマークをめぐる議論を数百万ベクトル規模から、100億件を超える実際のWeb文書へと移した。
2026年9月1日に公開されたQdrant-FineWeb-10Bは、Common Crawlを基に整備されたコーパスであるFineWebから作られている。公開されたデータセットカードには、10,074,324,060件のレコードが記載されている。
各レコードには、元の文書ペイロードとメタデータが含まれる。また、Alibabaのgte-multilingual-baseモデルで生成された密埋め込みと疎埋め込みがそれぞれ1つ含まれている。密埋め込みは文書を固定長の数値ベクトルとして表現し、疎埋め込みはより大きな語彙全体にわたる重み付きの語を記録する。
密表現は768次元である。ベクトルは、ベクトル間の方向的な近さを測るコサイン類似度のために正規化されている。疎表現では、重み付きトークン識別子と内積スコアリングを用いる。
この共通コーパスは、密検索、疎検索、フィルタ付き検索、ハイブリッド検索をまたぐ比較を可能にする。ハイブリッド検索は意味的な一致と語句ベースのシグナルを組み合わせ、広い意味と正確な名称・フレーズの双方を扱いやすくする。
今回の公開には、4つのグループにまたがる119,953件のクエリも含まれる。内訳は、100,000件の密クエリ、10,000件の疎クエリ、4,953件のテキストフィルタ付き密クエリ、5,000件の構造化フィルタ付き密クエリである。クエリはMicrosoftのMS MARCOデータセットから取得されている。
各クエリについて、Qdrantは正確な上位1,000件の近傍結果を提供する。正確な結果はグラウンドトゥルース、すなわち高速な近似インデックスが関連する近傍を取りこぼしたかどうかを測るための参照解となる。
この参照セットの作成には、コーパス全体を対象とした総当たり検索が必要だった。Qdrantによると、GPUベースのインフラ上で1京回を超える距離計算を行ったという。これは重要である。近似最近傍探索システムは、すべてのクエリを保存済みの全ベクトルと比較することを意図的に避けるためだ。
近似により検索は実用的になる一方、取りこぼしも生じる。正確なグラウンドトゥルースがなければ、開発者は再現率を信頼性高く算出できない。再現率は、近似システムが真の最近傍結果をどれだけ取得できたかを測る指標である。
したがってQdrant FineWeb 10Bベンチマークは、単にテスト素材の規模を変えるのではなく、利用可能なテスト素材そのものを変える。チームは同じ公開参照セットに対して、取り込み速度、インデックス構築、メモリ使用量、レイテンシ、スループット、フィルタ、再現率を検証できる。
Qdrantは関連する2つのデータセットも公開した。PubMed-Multi-Vectorは、1つの医療コーパスに対する密表現、疎表現、ColBERT形式の表現を収録している。Coyo-Vector-Embeddingsは、テキストと画像キャプションのペアを用いたマルチモーダル検索を対象とする。
これらの追加は、現代の検索がもはや1文書につき1ベクトルに限定されないことを認めるものだ。システムによっては、同一リクエスト内で複数の表現、メタデータ条件、再ランキング、画像を組み合わせる。
今回の公開以前、Qdrant自身の公開比較ページでは、およそ100万から1,000万ベクトルのデータセットが使われていた。同社は現在、こうした規模では分散型の本番システムが直面するすべての問題を明らかにできないと主張している。
この主張には歴史的な裏付けがある。Billion-Scale ANN studyは、以前の実証研究の多くが約100万点のデータセットに集中していたと指摘した。検索、レコメンデーション、ランキングのシステムがすでに10億規模で稼働していたため、著者らはより広範な評価フレームワークを構築した。
Qdrantは、Web由来のデータ、より深い結果セット、複数の検索モード、再利用可能なインフラにより、その方向性を拡張している。この変化は、大規模AI検索を標榜するすべての企業への期待値を引き上げる。
小規模ベンチマークが大きな誤解を生む理由
ベンチマークは正確な数値を報告していても、誤った本番環境の問いに答えている可能性がある。
ベクトル検索のベンチマークは、テスト設計にとりわけ敏感である。達成した再現率が分からなければ、クエリレートはほとんど意味を持たない。結果の深さ、フィルタの選択性、同時実行性、インデックス設定、利用可能なメモリを知らなければ、レイテンシを解釈することもできない。
再現率90%のシステムは、再現率99%のシステムより多くのクエリを処理できるかもしれない。それだけで前者が優れていることにはならない。取りこぼした結果には、難しい顧客の質問に答えるために必要な根拠が含まれている可能性がある。
この違いは、アプリケーションが再ランキングモデルのために数百件から数千件の候補を取得する場合に、より重要になる。再ランキングモデルとは、より詳細な関連性シグナルを用いて幅広い候補セットを並べ替える第2段階のモデルである。初期の検索段階で返されなかった文書を回復することはできない。
小規模なデータセットは、1台のマシンのメモリに問題なく収まる場合もある。100億レコード規模では、チームはパーティショニング、ルーティング、レプリケーション、ディスクアクセス、ネットワークトラフィック、不均一なクエリ負荷に向き合わなければならない。これらは孤立したアルゴリズムの問題ではなく、システムの問題である。
インデックス構築も別の圧力点となる。100万ベクトルを読み込んだ後には魅力的に見えるインデックスでも、はるかに大きな規模では非現実的な構築時間や一時ストレージを必要とする可能性がある。更新や復旧も、その運用上の価値をさらに変えうる。
フィルタリングにも同様の複雑さがある。多くのエンタープライズ検索では、意味的類似性をテナントID、日付、言語、アクセス権、製品カテゴリなどの条件と組み合わせる。高速なフィルタなしの結果だけでは、フィルタが候補の大半を除外した場合にエンジンがどのように動作するかは示せない。
Qdrant-FineWeb-10Bには、テキストベースと構造化の両方のフィルタが含まれる。構造化クエリでは、数値、日付、集合条件を適用できる。これにより研究者は、対象となるサブセットが狭まる中でもインデックスが精度とレイテンシを維持できるかをテストできる。
データセットはWebメタデータも保持している。実際のWebテキストには、繰り返しの文章、特異な分布、ロングテールのトピック、重複に近い文書が含まれる。ランダムに生成されたベクトルがこうした特性を再現することはほとんどない。
この現実性は、検索拡張生成、すなわちRAGにとって重要である。RAGシステムは、言語モデルが回答を構成する前に文書を取得する。失敗は、検索の弱さ、不適切なチャンク分割、誤った権限、古いコンテンツ、生成エラーから生じうる。
データベースのベンチマークが切り分けるのは、この連鎖の一部だけである。それでも、管理された条件下で検索レイヤーが適切な候補を供給するかどうかを明らかにできる。 検索可能なナレッジベースを構築するチームには、インフラの測定と、実際の文書に基づいた評価の両方が必要だ。
Qdrantの公開は、ベクトルデータベースのベンダーに対し、性能主張とともにより多くの文脈を示すよう圧力をかける。購入者は、整合した再現率、明確に定義されたハードウェア、完全な構成、テールレイテンシ、インデックス作成時間、リソース消費を期待すべきである。
テールレイテンシは、レイテンシ分布の末尾に位置する遅いリクエストを測る。一般にp99と呼ばれる99パーセンタイルは、リクエストの99%が完了するまでのしきい値を示す。ユーザーが一貫した応答を期待する場合、平均値より重要になることが多い。
このベンチマークは、社内のエンジニアリングチームにも課題を突き付ける。多くの組織は、フルスケールで埋め込みと正確な回答を生成するコストが高いため、小さなサンプルを用いてデータベースを評価する。こうしたテストでは、シャーディングやメモリ逼迫による非線形な変化を見逃す可能性がある。
公開された大規模データは、この障壁の一部を下げる。100億ベクトルの実験を安価にするわけではないが、コーパス全体と参照セットを独自に作成する必要をなくす。
Vultrは、埋め込み生成に使用したコンピュートとオブジェクトストレージを提供したとしている。同社のインフラに関する説明によれば、Qdrantは約50万個のファイルを処理し、約5日間でおよそ25テラバイトの埋め込みデータを生成した。
これらの数値は、データセット作成についてのものであり、すべてのデータベースで実行する際のコストや速度を示すものではない。この区別により、今回の公開がまた別の裏付けのない性能主張になることを防いでいる。
Supernovaがデータセットを再現性テストに変える
より重要な公開はSupernovaかもしれない。静的なデータセットだけでは、データベースのロード、クエリ、測定方法を標準化できないためだ。
Qdrantは、ベクトル検索のベンチマークにおける4つの段階をカバーするオープンソースフレームワークとしてSupernovaを公開した。埋め込みを生成し、正確なグラウンドトゥルースを計算し、対象のデータベースをロードし、検索ワークロードを実行する。
フレームワークはこれらの作業を専門モジュールに分離している。nova-embedは、異なるモデルとストレージシステムにまたがる埋め込み生成を処理する。中央のコーディネーションデータベースに依存せず、独立したワーカー間で作業を分割する。
nova-bfは、総当たりによるグラウンドトゥルース計算を行う。総当たりではクエリを対象となるすべてのベクトルと比較し、近似ではなく正確な参照セットを生成する。Qdrantによると、このモジュールはコーパス全体をGPUメモリに配置しないよう、リモートストレージからパーティションをストリーミングする。
このツールは、密表現、疎表現、マルチベクトル表現を処理できる。また、対象データをGPUへ転送する前にCPUでフィルタを評価することも可能だ。この設計は、フィルタがコーパスの大部分を除外する際の不要なデータ移動を減らすことを目指している。
nova-loadは、データベースへの並列取り込みを実行する。このフェーズでは、システムがどれだけ速くデータセットを受け入れられるかを測定し、純粋なクエリベンチマークでは見落とされる運用上の制約を明らかにする。
nova-stormは、並行した検索トラフィックを生成する。Qdrantのリリース詳細によると、クエリスループット、複数のレイテンシパーセンタイル、構築時間、正確な結果に対する再現率を記録する。
独立したコントローラーであるnova-distは、クラスタのプロビジョニングとジョブスケジューリングにSkyPilotを使用する。Qdrantによると、同じYAMLベースの設定で、主要なクラウドプラットフォーム、Kubernetes、Slurmベースの高性能コンピューティングクラスタを対象にできる。
この設計が主に対抗するのは、公開内容が不透明なベンチマーク主張である。外部の人がワークロードを検証したり実験を再実行したりできなければ、公開されたチャートの価値は限られる。公開データと設定駆動型ツールは、より多くの前提を明らかにする。
このアプローチでは、競合ベンダーもQdrantの選択に異議を唱えられる。MilvusやElasticsearchのエンジニアは、自社システム向けにより優れた構成を提案できる。研究者は、正解データを作り直すことなく、ハードウェア、並行実行数、クエリ構成、リコール目標を変更できる。
こうしたオープン性がチューニング上の偏りをなくすわけではない。Qdrantは当然、自社データベースについて競合より詳しい。既存のベンチマーク文書でも、同社はQdrantをより効果的に構成でき、他社製品における重要な最適化を見落とす可能性があると明示している。
再現可能性は、この利益相反への対応策にはなるが、中立性の証明ではない。コード、データ、設定が公開されていれば、他のメンテナーは弱い構成を特定し、変更を提案できる。
独立した評価はなお必要だ。TechTargetによる9月の分析では、このデータセットを信頼できる貢献と評価する複数の外部データ専門家が紹介された。アナリストのWilliam McKnight氏は、現実的なWebテキスト分布と正確な結果の組み合わせにより、高密度・疎・フィルタリング付きのテストに適しているように見えると述べた。
BARCの別のアナリスト、Kevin Petrie氏は、組織には依然として自社ワークロードに基づくベンチマークが必要だと警告した。この留保こそ、このリリースの実際の価値を規定する。共通ベンチマークは比較を支援する一方、ワークロード固有のテストは購買判断を支援する。
Supernovaは、チームがこのフレームワークを別のコーパスに適用できるため、両者の用途を橋渡しできる。計測パイプラインを維持したまま、非公開文書、クエリ、フィルター、埋め込みモデルに置き換えられる。
したがってQdrantのベクトルベンチマークは、テスト基盤として理解するのが最も適切だ。公開された出発点と、再現可能なプロセスを提供する。普遍的な勝者を決めるものではない。
100億規模でも証明できないこと
規模はベクトル検索ベンチマークにおける一つの弱点を補うが、AI検索製品で起こり得るあらゆる障害要因を表現できるわけではない。
まず、FineWebは幅広いWebテキストである。エンタープライズのコーパスには、コード、契約書、医療記録、サポートチケット、製品カタログ、会議文字起こし、短い社内メッセージなどが含まれ得る。これらの文書は、長さ、語彙、重複パターン、アクセス規則が異なる。
次に、このベンチマークは中核データセットに一つの埋め込みモデルを使用している。埋め込みモデルはテキストをベクトルに変換し、その挙動が検索対象となる近傍構造を形作る。モデルを変えれば、ベクトル次元、疎性、クラスタリング、検索難度も変化し得る。
Qdrant FineWeb 10Bベンチマークでは、高密度表現と疎表現の双方にgte-multilingual-baseを使用している。これにより一貫性は得られるが、このモデルでの性能が別のモデルでも同じ順位を保証するわけではない。
第三に、正確な最近傍が自動的に最も有用な文書となるわけではない。正解データは、近似システムが埋め込みモデルの最も近い一致を再現したかを示す。そうした一致がユーザーの情報ニーズを満たすかどうかまでは判断しない。
この違いが、ANNリコールと検索関連性を分ける。ANNリコールは、インデックスが厳密計算なら発見するベクトルを見つけたかを問う。関連性は、それらの文書が実際にクエリへの回答に役立つかを問う。
特化領域を誤解する埋め込みモデルを使っていても、システムはほぼ完全なANNリコールを達成できる。また、技術的には似た文書でも、古い、権限のない、あるいは冗長な文書を返すことがある。
Qdrant自身の関連性に関するガイダンスは、クエリと期待する文書を対応付けたラベル付きセットを推奨している。この評価レイヤーは、RAGやセマンティック検索を導入するチームにとって不可欠であり続ける。
第四に、データセットカードは数値的な再現性の問題を特定している。公開された正解データはbfloat16によるGPU演算を使用した一方、再生成スクリプトはfloat32の埋め込みを生成する。小さな数値差により、同順位の結果の順序が入れ替わったり、上位1,000件の境界付近にある項目に影響したりする可能性がある。
Qdrantはこの不一致を開示し、修正に取り組んでいると述べた。この問題はデータセットの価値を損なうものではないが、公開アーティファクトには独立した検証が必要である理由を示している。
第五に、アクセスが実用上の障壁となる。Hugging Faceのページでは、合計ファイルサイズが数十テラバイトと記載されている。小規模なデータセットなら多くのチームが迅速にダウンロードできるが、このリリースを気軽にステージングし、インデックス化してテストできるチームはほとんどない。
完全なベンチマークを実行できる企業は、データベースベンダー、クラウドプロバイダー、大企業、研究機関に限られる可能性が高い。小規模チームは、公開結果やサンプリングされたサブセットに頼ることになり、信頼性に関する問題の一部が再現される。
共有ホスト型リーダーボードはアクセス改善に役立つ可能性があるが、ガバナンス上の疑問を持ち込む。ハードウェアプロファイルの定義、構成の承認、提出結果の検証、データベースバージョンの更新、選択的報告の防止を誰かが担わなければならない。
第六に、このリリースは完全なアプリケーション品質を測定しない。本番のAI検索には、文書解析、チャンク化、クエリ書き換え、ハイブリッド融合、リランキング、キャッシュ、認可、回答生成が含まれることが多い。どの段階での失敗も、ユーザー体験を大きく左右し得る。
これらの限界は、小規模なベンチマークを支持する論拠ではない。一つの大規模ベンチマークを完全な購買フレームワークとして扱うべきではない、という論拠である。
購入者は三層の証拠を組み合わせるべきだ。公開テストは幅広いスケーリング挙動を明らかにできる。非公開ワークロードテストはローカルな分布とフィルターを再現できる。エンドツーエンド評価は、ユーザーが正確で出典を追跡可能な回答を得られるかを測定できる。
この基準は厳しい。しかしAI検索は、たった一つの文書を見落とすことが重要となる意思決定を、ますます支えるようになっている。ベンチマークは、そうしたトレードオフを単一のスループット指標に圧縮するのではなく、可視化すべきだ。
Qdrantの賭けが機能するかを示す三つのシグナル
このリリースが成功するのは、独立したチームがこれを使って比較可能な証拠を生み出し、問題を発見し、テストプロセスを改善した場合に限られる。
第一のシグナルは、再現可能な第三者の結果である。研究者やデータベースベンダーは、Qdrant-FineWeb-10Bまたは監査可能なサブセットを用いた完全な実行結果を公開する必要がある。こうした報告には、ハードウェア、ソフトウェアバージョン、インデックスパラメーター、取り込み時間、メモリ、リコール、p99レイテンシを含めるべきだ。
同一リコールでの比較は特に重要となる。精度水準が異なる状態でスループットを比較すると、何を取りこぼしたかを明らかにしないまま、より高速なシステムが優れて見えることがある。結果は複数のリコール目標にわたる性能を示すべきだ。
独立したチームがQdrant、Milvus、Elasticsearch、pgvector、その他のシステムで結果を再現すれば、このリリースはオープンな計測の根拠を強める。構成が不完全なまま、あるいは実行コストが高すぎるままであれば、その影響力は限定される。
第二のシグナルは、データとツールをめぐる修正活動である。データセットカードで開示された数値差は、即座に検証できる試金石となる。迅速な修正、バージョン管理されたアーティファクト、チェックサム、文書化された変更は、信頼を強化するだろう。
研究者はクエリ構成、重複、言語カバレッジ、フィルター分布、最近傍タスクの難易度も精査すべきだ。行数が多いことは、バランスの取れた評価を保証しない。
ここではSupernovaの貢献履歴も重要となる。外部からのバグ報告、プルリクエスト、バックエンド統合、代替構成があれば、これがコミュニティ基盤として機能していることを示せる。外部活動が限定的であれば、ベンダーが保守するデモに近いままとなる。
第三のシグナルは、購入者がベンダーに求める内容を変えるかどうかだ。最も持続的な成果は、一つのリーダーボード順位ではない。AI検索における、より強固な調達基準である。
エンタープライズチームは、ベンダーにレイテンシと並んで厳密リコールを報告するよう求めるべきだ。定常状態のクエリ速度だけでなく、取り込みとインデックス構築の測定値も要求すべきである。また、選択的なフィルターと障害復旧もテストすべきだ。
公開ベンチマークの結果は候補を絞り込めるが、組織にはなおローカルな証拠が必要だ。たとえば製品カタログを検索する小売企業は、在庫フィルターと高い検索深度を重視するかもしれない。法務チームは、テナント分離、引用、正確な専門用語を優先する可能性がある。
Qdrant FineWeb 10Bベンチマークは、どちらのグループにもより良い参照点を提供する。インターネット規模で厳密な答えを作成するという大きなコストを誰かが負担したとき、何が測定可能になるかを示している。
Qdrantは戦略的な利益も得る。同社は、購入者が重要と考える測定項目に影響を与えつつ、リコール、オープン性、再現可能性という自社が重視する言葉を議論の中心に据えられる。
それでも、この取り組みが無効になるわけではない。標準はしばしば、他者なら投じない資源を利害関係者が投資することで始まる。必要な安全策は、透明なガバナンスと信頼できる外部再現である。
競合他社は今、有益な選択に直面している。このワークロードを実行して結果を公開する、証拠に基づいてその前提に異議を唱える、あるいは代替データセットとテストに貢献する、という選択だ。沈黙は、不透明な性能主張を擁護しにくくする。
開発者にとって、直ちに取るべき行動は、計画なしに数十テラバイトをダウンロードすることではない。まず、答えが必要な問いを特定することから始めるべきだ。アルゴリズム上のリコール、データベースのスケーリング、検索関連性、あるいはエンドツーエンドのアプリケーション品質である。
次に、関連する難しさを保てる最小のテストを選ぶ。適合する場合は公開された正解データを使うが、最終評価には非公開のクエリと文書を残す。結果を再現するために必要な構成をすべて記録する。
AI検索のベンチマークが規模だけで解決されることはない。しかし規模は、ますます都合よく使われてきた言い訳を取り除く。Qdrant FineWeb 10Bベンチマークは今、これまで非公開データと非公開インフラに依存していた主張を検証する公開の手段を業界に与えている。
今後数か月で、コミュニティがこれを共有研究室として扱うのか、それとも別のベンダー成果物として扱うのかが明らかになるはずだ。開発者と購入者は、再現結果、修正、競合する提出内容を注視し、評価するすべてのAI検索プロバイダーに同じ透明性を求めるべきである。
