top of page

PerplexityのGPT-6.2導入でAstraとSolを追加

9 分前
読了時間: 16分

Perplexityは11月17日、SearchおよびComputer向けにGPT-6.2 AstraとGPT-6.2 Solを発表し、WANDRスコアはそれぞれ0.783と0.746だったと報告した。PerplexityのGPT-6.2導入により、ユーザーはモデルの選択肢を1つ増やせるほか、研究性能が向上したとする同社の報告も示された。ただし、これらの数値は日常業務全般における独立検証済みの結果ではなく、Perplexity自身の評価を表したものだ。

主な比較軸は、報告された品質の高さと、それを得るために必要なリソースの間にある。発表されたスコアではAstraがSolを上回る一方、Solはベンチマークタスクの報告コストが大幅に低い。どちらの結果も、特定のユーザーにとって最も有用な完成成果物を生み出すモデルがどちらかを確定するものではない。

OpenAIは別途、基盤となるモデルを発表し、Astraを難度の高いプロジェクト向け、Solを日常業務向けと位置付けた。Perplexityの発表は、これらを自社製品に統合することに関するものだ。この区別は重要である。モデルの振る舞いは、周辺の検索ツール、指示、実行設定、評価プロセスに左右されるためだ。

PerplexityのGPT-6.2導入で変わること

Perplexityは2つのモデル選択肢を追加したが、この発表だけでは、すべてのアカウントで同一のアクセスや動作が提供されるとは確定しない。

同社のモデル提供状況の更新では、SearchとComputerの両方が挙げられている。また、研究作業向けのPerplexityのベンチマークであるWANDRにおいて、従来のAstraおよびSolのバージョンから改善したと報告している。ベンチマークとは、特定の条件下でシステムを比較するために用いられる、定義済みの評価ワークロードである。

既存ユーザーにとって、直近の変化は製品内での利用可能性だ。別アプリケーションや開発者向けの直接統合を必要とせず、すでに利用しているサービス内でモデルが提供される。そのため、この発表は既存のワークフロー内でモデルを選ぶ人々にとって意味を持つ。

ただし、利用可能性の解釈には注意が必要だ。短い発表文では、サブスクリプションの対象条件、地域制限、管理者向け制御、アプリケーションごとの画面におけるアクセスについて完全には明示されていない。両製品が発表に登場したからといって、すべてのアカウントが無制限に利用できると想定すべきではない。

この統合は、OpenAIによる基盤モデルのリリースとも異なる。OpenAIはAstraを要求の厳しい専門業務向け、Solを日常的なタスク向けの効率的な選択肢として説明している。そのGPT-6.2モデルのリリースは、同社独自の製品と開発者プラットフォームを対象としている。

Perplexityは、これらのモデルの周囲に別の実行環境を加える。その環境は、リクエストがどのようにモデルへ届くか、モデルがどの情報を受け取るか、どの行動を取れるかを決める。そのため、ある提供者のアプリケーションで得られた結果が、別の環境での結果を自動的に予測するわけではない。

この違いは、研究用途でとりわけ重要になる。モデルが不完全な情報について正しく推論しても、不完全な回答を出すことはある。逆に、アプリケーションが有用な資料を取得しても、モデルがそれを正確に評価・統合できない場合もある。

したがって、この導入はモデルと製品動作の新たな組み合わせをユーザーに提供する。その実用的な価値は、単にモデル名が選択メニューに表示されるかではなく、その組み合わせが完了した業務を改善するかにかかっている。発表されたベンチマークは、制約付きではあるものの初期的なシグナルを提供する。

こうした制約は、ニュースの意味を曖昧にせず、期待値を形作るべきだ。Perplexityは、自社評価において両モデルがそれぞれの前世代モデルを上回ったとしている。発表だけでは再現に必要なすべての情報が提供されていないとはいえ、これは検討に値する具体的な製品上の主張である。

アクセスとデフォルトの動作にも違いがある。サービスはモデルを提供していても、すべてのリクエストで自動選択するとは限らない。この発表だけでは、あるユーザーの次の検索やComputerの作業をどのモデルが処理するかは確定しない。

この変化を評価する読者にとって、有用な出発点は限定的だ。Perplexityは、指定された製品でこれらのモデルが利用可能であり、より高いスコアを報告しているとしている。どちらかがより優れた日常的な選択肢になるかは、ユーザーが実際に委任する業務からの証拠を要する。

この問いは、報告された性能とリソース使用量の関係に直結する。両モデルはPerplexityの比較において同じ位置付けではなく、互換的なものとして扱えば、この発表で最も有用な違いが失われる。

Astraがスコアをリードし、Solがトレードオフを変える

発表された結果は、普遍的な勝者ではなく、より高い総合性能とより低い報告タスクコストの間の選択を示している。

Perplexityによると、GPT-6.2 Astraは0.783を記録し、提示された比較においてGPT-6 Astraから0.095上昇した。GPT-6.2 Solは0.746で、GPT-6.1 Solから0.065上昇した。これらは依然として、発表によって独立した再現性が確立されたわけではない、同社報告の結果である。

これらの改善は絶対的なスコア差である。相対的な百分率の上昇として表現すべきではない。同様に、これらのスコアを、いずれかのモデルが通常の職場業務の一定割合を成功裏に完了できるという主張に置き換えるべきでもない。

発表された指標でのAstraのSolに対するリードは0.037である。この差分は公開されたスコア間の距離を示すにすぎない。どのタスクカテゴリが差を生んだのか、どれほど一貫して現れるのか、ユーザーがそれを実感するかは明らかにしない。

難しい調査を扱うチームにとって、その差が重大な見落としの減少を反映するなら、小さな総合差でも重要になり得る。定型業務では、同じ差が実務上ほとんど利点をもたらさない可能性もある。これらは意思決定のシナリオであり、投稿によって実証された結果ではない。

Solのより低い報告タスクコストは、比較のもう一方の側面を示す。リソース集約度が低いモデルは、作業が頻繁に繰り返される場合や、ユーザーが複数の回答候補を検討する場合に魅力的になり得る。しかし、ベンチマークコストが低いことは、総運用費が低いことを示すものではない。

人によるレビューも総費用の一部である。レビュー担当者が不足した証拠を再構築したり、裏付けのない結論を修正したりしなければならないなら、一見経済的な実行でも高コストになり得る。より負荷の高いモデルも、その追加的な努力が成果物を改善しないなら、リソースを浪費し得る。

そのため、この圧力はモデルのデフォルトを設定する人々に最も直接的にかかる。企業の購入担当者、アプリケーション開発者、チーム管理者には、ある運用ポイントを別のものより選ぶ理由が必要だ。最高スコアだけでは、その理由を示せない。

難しい業務向けに最適化されたデフォルトは、単純な作業にリソースを過剰配分する可能性がある。経済性に最適化されたデフォルトは、難しい業務で再試行を必要とする可能性がある。同じ製品ファミリー内に両方の選択肢が現れることで、この導入は配分の問題をより明確にした。

ここでGPT-6.2 AstraとSolの比較は、ワークフローの問題となる。重要なのは、特定の業務が追加調査、より強力な制約処理、またはより慎重な統合から利益を得るかどうかだ。発表は、ユーザーにとってのその境界を特定していない。

ベンチマークタスクコストは、顧客の請求額とも異なる。これは評価実行に関連する測定値であり、サブスクリプションの見積もりや将来のすべてのリクエストに対する標準料金ではない。利用料金の計算や製品上の制限には、別途ドキュメントが必要となる。

したがって、PerplexityのGPT-6.2導入から導ける慎重な結論は、同社が異なる2つのリソースプロファイルで改善を報告しているということだ。Astraが常に追加リソースを正当化することも、Solがあらゆるワークロードで最良の価値を提供することも、これだけでは確立されない。

意味のある比較では、各モデルの出力を同じ受け入れ基準に結び付ける必要がある。要求された収集を完了したか、主張を裏付けたか、レビュー担当者の作業を減らしたか。これらの問いは、単一の総合ランキングよりも、専門業務での有用性に近い議論をもたらす。

WANDRはリサーチの一貫性を検証する

WANDRの意義は、証拠に裏付けられた収集を検証する点にあるが、新たな発表ではその正確な採点設定が明らかではない。

WANDRはWide ANd Deep Researchの略である。その研究ベンチマーク論文では、エージェントが条件に合う対象を見つけ、裏付けとなる情報源を通じて調査する必要がある500のタスクが説明されている。リサーチエージェントとは、ツールを使って情報を収集し、調査業務を完了するシステムである。

このタスク構造は、単独の質問に答えることよりも、文書化されたコレクションを構築することに近い。有用な結果は、適切な項目を特定し、求められた詳細を裏付けなければならない。説得力のある要約を作るだけでは、根底にある調査課題を満たさない。

公開されたベンチマークは、提出内容の正確性である適合率と、要求された情報の網羅性である再現率を区別する。また、これらの次元のバランスを取る指標であるF1も報告する。ソフトスコアとハードスコアは、部分的な進捗と要件を完全に満たした状態を区別する。

このような違いにより、追加情報なしに最新の簡略スコアを解釈することは難しい。発表では、見出しの数値を公開済みベンチマークのすべての指標に確実に対応付けるための詳細が十分に示されていない。読者はこの不確実性を維持すべきだ。

Perplexityの広範なリサーチ評価には、役員就任に関する具体的なタスクが含まれている。そこでは、就任の証拠に加え、企業の上場状況を示す別の証拠が求められる。この例は、適切な企業を見つけただけでは、その記録を必ずしも完成できない理由を示している。

アナリストにとって、この違いには実務的な影響がある。項目はもっともらしく見えても、重要な条件を裏付ける情報が欠けていることがある。欠落した条件が適格性に影響する場合、周辺の情報が正確であっても、項目全体が使えなくなる可能性がある。

仮に、見込みのあるサプライヤーを比較するチームを考えてみよう。リサーチアシスタントは関連企業を特定し、その製品を正確に要約できるかもしれない。それでも、チームが検証済みの地理的カバレッジ、現在の認証、文書化された互換性も必要とするなら、業務は失敗に終わる可能性がある。

このシナリオは、広範なリサーチが単純な品質判断に抵抗する理由を説明する。レビュー担当者は、個々の主張の正確性と、コレクションの完全性の両方を評価しなければならない。流暢な回答は、どちらの次元における弱点も隠し得る。

ベンチマークの以前の公開評価には、Perplexity、Anthropic、OpenAI、その他の提供者によるシステムが含まれていた。これは有用な競争上の文脈を生むが、最新製品間の現在の順位を確立するものではない。過去の構成を、条件をそろえた現代的な比較の代わりにはできない。

中心となる競争は、有用な出力と、それを生み出すために必要な労力の間にある。別の提供者のシステムは、検索アクセス、実行戦略、証拠の扱いによって異なる性能を示す可能性がある。モデルの識別子は、そのシステムを構成する要素の一つにすぎない。

ナレッジワーカーにとって、同じ問題は生成後も続く。誰かが結論を再確認したり、同僚と共有したりする際に、リサーチは検証可能な状態に保たれる必要がある。パーソナルナレッジベースは、保持する資料を整理するうえで関連する文脈を提供する。

組織がこの主張を独自に検証したわけではない。しかし、記録された結論には、その適用範囲と日付を裏付ける証拠が依然として必要だ。有用なのは、当初の依頼、引用された資料、最終的な意思決定の間にある連続性である。

したがって、WANDRの結果は、認識可能な調査ニーズに対応しているという点で重要だ。Perplexityが最新の数値を明確に特定された指標、構成、タスクセット、再現可能な比較に結び付ければ、その価値は大幅に高まるだろう。

スコア比較には依然として欠けている要素がある

最大の不確実性は比較可能性にある。読者は、報告された実行間で何が正確に一定だったのかを知る必要がある。

発表ではスコアと前モデルからの改善が示されているが、完全な実験説明は提供されていない。タスクの選定、実行設定、反復実行、正確な採点方式については未回答のままだ。こうした欠落により、数値から導ける結論は制限される。

ベンチマークが公開されていても、特定の結果の再現が困難な場合はある。タスクと評価ソフトウェアを公開すれば検証は可能になる。しかし、新たなスコアを再現するには、評価対象システムが実際にどのように動作したかについて十分な情報が必要だ。

タスクの調整と採点を担うソフトウェアである評価ハーネスも重要である。指示、ツール、実行制限、採点方法の変更は、測定結果に影響し得る。明確な比較では、モデルバージョンとともにこれらの構成要素を特定すべきだ。

推論の強度も変数の一つである。これはシステムが依頼にどれだけの計算資源を割り当てるかを左右するためだ。Perplexityの以前のeffort controlsは、Computer設定を知能とコストに明示的に結び付けている。これらのコントロールは、構成を性能主張と併記すべき理由を示している。

設定が一致していなければ、スコア上昇は複数の変化が同時に作用した結果かもしれない。基盤モデルが改善された可能性も、周辺システムが改善された可能性も、実行時に異なるリソースが与えられた可能性もある。発表は、それぞれの寄与を切り分けていない。

これは製品の結果を無効にするものではない。ユーザーはモデル単体よりも、アプリケーション全体を重視することが多い。ただし、観測された変化が新モデルの能力だけを測定したとする主張には限界がある。

過去のベースラインの違いも、慎重さが必要な理由となる。以前に公開されたPerplexityの資料では、GPT-6 Astraのスコアは0.682と報告されていた。新しいスコアと説明された改善幅は、異なる比較ベースラインを示唆している。入手可能な発表では、その違いは説明されていない。

タスクセット、採点方法、構成の変更は、異なるベースラインを説明し得る。ここで検討した証拠からは、どの説明が当てはまるかは確定できない。説明を作り上げることも、過去のすべての数値を直接比較可能なものとして扱うことも、誤解を招く。

同じ節度はベンチマークのバージョンにも当てはまる。ローンチ記事で提示されたスコアを、継続的な進捗チャートの新たな点として自動的に扱うべきではない。そのようなチャートには、安定した測定、またはバージョン間の明示的な整合付けが必要だ。

独立した再現実験は証拠を強化するが、関連する条件を再現しなければならない。同じモデルを使う別のアプリケーションは、必ずしもPerplexityの製品結果の再現ではない。それは別の運用環境に関する関連した問いに答えるものである。

集計スコアは結果の分布も隠してしまう。ユーザーは、改善が難しい依頼にも及ぶのか、それとも容易なカテゴリに集中しているのかを知る必要がある。平均値が高くても、特定の組織が重視するまさにその業務で、失敗が繰り返される可能性はある。

最後に、この発表は本番環境での信頼性を確立していない。アカウント制限、変化する検索条件、反復的なプロフェッショナル利用の下で、性能がどう変化するかは示されていない。これらの問いは、ベンチマークからの推測ではなく、別途観察に値する。

したがって、適切な懐疑的立場は具体的なものとなる。Perplexityは改善を報告しており、その結果は注目に値する。しかし、公開された要約だけでは、普遍的な優位性、安定した歴史的トレンド、あるいはすべての顧客にとって予測可能な効果は確立されない。

次に必要な証拠は、スコアと完成した仕事を結び付けるべきだ

次に有用な証拠は、比較を再現可能にし、アクセス条件を明確にし、ユーザーがより良い完成成果物を得られるかを示すべきだ。

最初の指標は、発表されたスコアを特定可能な評価構成に結び付ける詳細な公表である。これは、採点指標、ベンチマークのバージョン、タスクの対象範囲、関連する運用設定を明示することを意味する。また、以前のAstraの結果との関係も説明すべきだ。

これらの詳細がベースラインを整合させ、一致した条件での比較を裏付けるなら、改善への信頼は高まる。実質的に異なる条件が明らかになれば、この主張にはより限定的な解釈が必要になる。どちらの結果であっても、報告された改善が実際に何を意味するのかを読者が理解する助けになる。

より充実したリリースでは、失敗も可視化すべきだ。不完全な作業、裏付けのない記述、あるいは再試行を要したタスクの例は、ユーザーが限界を把握する助けになる。成功例だけでは、モデルを標準的な選択肢とすべきでない地点を説明できない。

第二の指標は、モデルへのアクセスと選択を扱う明確で最新の製品ドキュメントである。読者は、どのアカウントが各モデルを利用できるのか、どこで選択が適用されるのかを知る必要がある。アクセスに影響する場合、管理上の制限や地域別の提供状況は明示されるべきだ。

文書化された体験が対象アカウント全体で発表内容と一致するなら、この展開は実用的な製品変更として評価しやすくなる。提供範囲が限定的なまま、または動作にばらつきがあるなら、読者は広範なモデル対応と自身が利用できる体験を区別すべきだ。

選択の挙動にも同等の注意が必要だ。表示されるモデル選択肢、自動選択されるモデル、より大きな依頼の内部で補助的に使われるモデルは、異なる体験である。これらの役割を明確にすれば、ユーザーは観測された結果を正しい構成に帰属させやすくなる。

第三の指標は、条件を揃えたプロフェッショナルなワークロードから得られる証拠である。最も強い例は、受け入れられた出力、レビュー担当者による修正、完了時間、反復的な失敗を比較するものだ。回答を見た後でテストを変更するのではなく、依頼内容と受け入れ基準を維持すべきである。

購入者にとって、その証拠は性能主張を運用上の意思決定と結び付ける。修正作業を減らす結果は、導入の根拠を強化する。見栄えを改善しながら同じ証拠上の欠落を残す結果は、より限定的な利点しかもたらさない。

開発者にとって同等の問いは、モデルがアプリケーションの信頼できる挙動を改善するかどうかである。下流工程に依然として頻繁な介入が必要なら、個々の回答が良くなっても重要性は低い。重要な単位は、開発者が支えなければならない完成したワークフローである。

これはGPT-6.2 AstraとSolの比較も明確にする。追加のリソースによって、受け入れられる仕事が実質的に改善される場合にAstraの価値が示される。より小さなリソース負荷で同じ要件を満たせる場合、Solは魅力的になる。

集計スコアから、どちらの結果も前提にすべきではない。差が表れる依頼もあれば、そうでない依頼もある。擁護可能な評価は、すべてのタスクを単一のモデル順位に押し込むのではなく、その違いを保持すべきだ。

今後数か月にわたり、これらの指標がPerplexity GPT-6.2の展開が日常的なモデル選択を変えるかどうかを決める。発表は、既存のデフォルトを見直す理由を与えている。より詳細な証拠が、その見直しをどこまで進めるべきかを決めるだろう。

チームのデフォルトを変更する前に、すでに明確な受け入れ基準がある業務でモデルを比較すべきだ。依頼、裏付けとなる情報源、生成された出力、レビュー担当者による修正を保存する。追加の労力がほとんど価値を生まない可能性のある定型業務とともに、証拠不足が問題となる依頼も含める。結果がそのまま使用可能か、主張の追跡可能性が保たれているか、別の人が調査を完了する必要があるかを判断する。ベンチマークタスクのコストは、サブスクリプション条件やチームのレビュー負担と分けて扱う。報告されたWANDRの改善は新たな選択肢を調べる理由として扱い、その後は受け入れられた仕事によって、どのモデルがワークフローに位置を得るべきかを決める。

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page