top of page

Perplexity GPT-6.2 推出 Astra 與 Sol

10 分鐘前
讀畢需時 11 分鐘

Perplexity 於 11 月 17 日宣布,為 Search 和 Computer 推出 GPT-6.2 Astra 及 GPT-6.2 Sol,並報稱兩者的 WANDR 分數分別為 0.783 和 0.746。Perplexity GPT-6.2 的推出為用戶增加一個模型選擇,同時提供公司所報稱的研究表現改善證據。不過,這些數字反映的是 Perplexity 自行進行的評估,而非經獨立驗證、涵蓋日常工作的結果。

核心比較在於,較高的報稱品質與取得該品質所需資源之間如何取捨。Astra 在公布的分數上領先 Sol,而 Sol 的報稱基準測試任務成本則明顯較低。兩項結果都不足以確立哪個模型能為特定用戶產生最有用的成品。

OpenAI 另行發布了相關底層模型,將 Astra 定位為適合處理高難度項目,Sol 則適合日常工作。Perplexity 的公告則關乎將它們整合至自家產品。這項差異相當重要,因為模型的行為取決於周邊的搜尋工具、指令、執行設定及評估流程。

Perplexity GPT-6.2 推出計劃帶來甚麼改變

Perplexity 新增了兩個模型選項,但公告並未證實所有帳戶均可獲得完全相同的存取權限或使用體驗。

公司在其模型可用性更新中提及 Search 和 Computer,亦稱兩個模型在 WANDR(Perplexity 用於研究工作的基準測試)上,相比早期版本有所提升。基準測試是指用於在特定條件下比較系統的既定評估工作負載。

對現有用戶而言,最直接的改變是產品可用性。這些模型會在他們原本已使用的服務內提供,而非要求使用另一個獨立應用程式或直接整合開發者服務。因此,對於在既有工作流程中選擇模型的人來說,這項公告具有參考價值。

不過,仍須審慎理解可用性的含義。這則簡短公告未有完整說明訂閱資格、地域限制、管理控制,或不同應用介面上的存取方式。讀者不應因公告提及兩項產品,便假定每個帳戶都能不受限制地使用它們。

這項整合亦有別於 OpenAI 的底層模型發布。OpenAI 形容 Astra 面向要求嚴格的專業工作,Sol 則是適用於日常任務的高效率選項。其GPT-6.2 模型發布公告則針對其自家產品及開發者平台。

Perplexity 為這些模型加入另一層運作環境。該環境決定請求如何送達模型、模型會接收哪些資訊,以及可執行哪些操作。因此,在某個供應商應用程式中取得的結果,並不會自動預示在另一個平台內的表現。

這項區別對研究工作尤其重要。模型可以正確推理不完整資訊,卻仍然產生不完整答案。相反,應用程式也可能檢索到有用資料,但模型未能準確評估或整合這些資料。

因此,這次推出為用戶帶來模型與產品行為的新組合。其實際價值取決於這個組合能否改善已完成的工作,而不只是模型名稱是否出現在選擇器中。公布的基準測試提供了初步訊號,但亦有其限制。

這些限制應影響預期,但不應掩蓋消息本身。Perplexity 表示,兩個模型在其評估下均較各自前代版本有所改善。即使公告未提供重現結果所需的全部資料,這仍是一項值得檢視的具體產品主張。

存取權與預設行為之間亦有差別。服務可以提供某個模型,卻不代表會在每項請求中自動選用它。單憑公告,無法確定某位用戶下一次搜尋或 Computer 任務會由哪個模型處理。

對評估這項改變的讀者而言,有用的起點其實很明確:Perplexity 表示這些模型已於所列產品中提供,並報稱分數較高。至於哪一個會成為更好的日常選擇,仍需視乎用戶實際委派的任務所帶來的證據。

這個問題直接引向報稱效能與資源使用之間的關係。兩個模型在 Perplexity 的比較中並不處於相同位置;若把它們視為可互換選項,便會抹去公告中最有價值的差異。

Astra 領先分數,Sol 則改變取捨

公布的結果呈現的是較高整體表現與較低報稱任務成本之間的選擇,而非一個放諸四海皆準的贏家。

據 Perplexity 表示,GPT-6.2 Astra 在所述比較中獲得 0.783 分,較 GPT-6 Astra 高出 0.095;GPT-6.2 Sol 則獲得 0.746 分,較 GPT-6.1 Sol 高出 0.065。這些仍是公司自行報稱的結果,公告並未顯示已有獨立複現。

這些改善屬於絕對分數差距,不應被表述為相對百分比升幅。同樣地,這些分數亦不應被演繹為任一模型能成功完成相同百分比一般職場任務的證明。

按公布指標計算,Astra 較 Sol 領先 0.037 分。這個相減結果只描述已發布分數之間的距離,並未揭示哪些任務類別構成差異、差異出現得有多一致,或用戶能否察覺。

對處理複雜調查工作的團隊而言,若這個不大的整體差距反映較少關鍵遺漏,便可能相當重要。對例行工作而言,同樣的差距或許幾乎沒有實際益處。這些是決策情境,而非該帖文已證明的結果。

Sol 較低的報稱任務成本,帶出比較的另一面。資源消耗較低的模型,對需要頻繁重複工作或探索多個可能答案的用戶而言,可能更具吸引力。然而,較低的基準測試成本並不能證明整體營運開支較低。

人手審核仍是總成本的一部分。若審核者必須重建缺失證據或修正欠缺支持的結論,看似經濟的執行結果也可能變得昂貴。較高要求的模型若額外投入並未改善交付成果,同樣可能浪費資源。

因此,壓力最直接落在設定模型預設值的人身上。企業買家、應用程式開發者及團隊管理員,都需要有理由在不同運作取向之間作出選擇。單靠最高分數不足以提供這個理由。

針對困難任務最佳化的預設值,可能會為簡單工作過度分配資源;針對經濟性最佳化的預設值,則可能令困難任務需要再嘗試一次。由於兩個選項同時出現在同一產品系列中,這次推出令資源分配問題更為明顯。

這正是 GPT-6.2 Astra 與 Sol 成為工作流程問題的地方。關鍵差異在於,某項任務是否能受惠於額外調查、更強的限制條件處理能力,或更審慎的綜合分析。公告未有為用戶界定這些界線。

基準測試任務成本亦不同於客戶帳單。它是與某次評估執行相關的衡量值,而非訂閱報價,亦不是每次未來請求的標準收費。使用量計算及產品限制仍須參考另外的文件。

因此,Perplexity GPT-6.2 的推出支持一項審慎結論:公司報稱兩種不同資源配置下均有改善。它並未證實 Astra 總是值得投入額外資源,亦未證實 Sol 對每種工作負載都提供最佳價值。

有意義的比較,應將每個模型的輸出與相同驗收標準連結起來:它有否完成要求收集的資料、支持其主張,以及減少審核者的工作量?這些問題比單一整體排名更接近專業用途上的實際價值。

WANDR 測試研究是否經得起檢驗

WANDR 的價值在於測試有證據支持的資料集合,但最新公告未有清楚交代其確切評分設定。

WANDR 是 Wide ANd Deep Research 的縮寫。其研究基準測試論文描述了 500 項任務,要求代理系統找出符合資格的實體,並透過支持來源進行調查。研究代理是指會使用工具蒐集資訊及完成研究任務的系統。

這種任務結構更接近建立有文件支持的資料集合,而非回答單一孤立問題。有用的結果必須識別合適項目,並證實所要求的細節。僅僅產出一篇具說服力的摘要,並不足以滿足底層研究問題。

已發布的基準測試將 precision(提交資料的正確性)與 recall(所要求資料的涵蓋程度)區分開來,亦報告平衡兩者的 F1 指標。軟性和硬性評分則區分部分進展與完全滿足要求的情況。

在缺乏更多資訊下,這些區別令最新的簡略分數難以解讀。公告未有提供足夠細節,讓讀者能有把握地將其主打數字對應至已發布基準測試中的每項指標。讀者應保留這種不確定性。

Perplexity 的廣泛研究評估包含一項具體的高管任命任務。它要求提供任命證據,同時另行提供公司上市狀態的證據。這個例子說明,找到合適公司並不代表已完成其記錄。

對分析師來說,這項差異有實際後果。一項記錄可以看似合理,卻欠缺支持某項必要條件的證據。若缺失的條件影響資格,整項記錄即使其餘資料準確,亦可能完全無法使用。

設想一個比較潛在供應商的團隊。研究助手可能識別出相關企業,並準確概述其產品;但若團隊同時需要已核實的地區覆蓋範圍、現行認證或有文件佐證的相容性,任務仍然可能失敗。

這個情境說明,為何廣泛研究難以作出簡單的品質判斷。審核者必須同時評估個別主張的正確性,以及資料集合的完整性。一個流暢的答案可以掩蓋任一維度的弱點。

該基準測試較早前的公開評估包括來自 Perplexity、Anthropic、OpenAI 及其他供應商的系統。這提供了有用的競爭背景,但並未建立其最新產品之間的當前排名。歷史設定不能代替條件相符的當代比較。

核心競爭仍在於有用輸出與產生它所需投入之間。另一家供應商的系統可能因其搜尋存取權、執行策略或證據處理方式而表現不同。模型身分只是整個系統的一部分。

對知識工作者而言,這個問題在生成後仍會持續。當有人重新檢視結論或與同事分享時,研究成果需要保持可查核性。一個個人知識庫可為整理這些保留資料提供相關背景。

組織不會獨立驗證某項主張。然而,已儲存的結論仍需要有證據支持其適用範圍及日期。真正有用的連結,在於原始任務、引用材料與最終決策之間的連續性。

因此,WANDR 結果之所以相關,是因為它們回應了可辨識的研究需求。若 Perplexity 將最新數字與明確界定的指標、配置、任務集及可重現的比較連結起來,其價值將大幅提升。

分數比較仍有缺漏

最大的疑問在於可比性:讀者需要確切知道,已公布的各次測試之間有哪些條件保持不變。

公告提供了分數及相對前代的改善,但未提供完整的實驗說明。當中仍未解答任務選擇、執行設定、重複測試,以及確切計分版本等問題。這些遺漏限制了人們可從數字中得出的結論。

基準測試可以公開,但某項特定結果仍可能難以重現。公開任務及評估軟件可讓外界進行審視;但要重現新的分數,仍須掌握足夠資訊,了解受評系統實際如何運作。

評估框架,即負責協調任務及評分的軟件,也同樣重要。指令、工具、執行限制或評分方式的改動,都可能影響測得的結果。清晰的比較應連同模型版本一併說明這些組成部分。

推理強度也是一項變數,因為它決定系統為某項任務分配多少運算資源。Perplexity 早前的強度控制明確將 Computer 設定與智能及成本連結起來。這些控制正說明了,配置理應與效能主張並列。

若設定未有匹配,較高分數可能反映多項改變同時發揮作用。底層模型可能有所改善,周邊系統可能有所改善,或該次運行可能獲得不同資源。公告未有分離它們各自的貢獻。

這並不會否定產品結果。用戶往往關心整個應用程式,而非孤立的模型。但這確實限制了任何「觀察到的變化只衡量新模型能力」的主張。

歷史基線的差異亦帶來另一個需要審慎看待的理由。Perplexity 早前公開的材料報告 GPT-6 Astra 分數為 0.682。新分數及所述的改善幅度意味著採用了不同的比較基線。現有公告未有解釋這項差異。

不同的任務集、計分方法或配置,都可能導致基線有所不同。本文所審視的證據未能確立哪一個解釋適用。虛構一個解釋,或把每個歷史數字都視為可直接比較,均會造成誤導。

同樣的克制亦適用於基準測試版本。發佈文章中呈現的分數,不應自動成為連續進展圖表上的新數據點。此類圖表需要穩定的測量方式,或版本之間有明確的對照說明。

獨立重現可加強證據,但必須重現相關條件。另一個使用相同模型的應用程式,未必就是對 Perplexity 產品結果的重現。它回答的是另一個運作環境下的相關問題。

總體分數亦掩蓋了結果分布。用戶需要知道改善是否涵蓋較困難的任務,抑或集中於較容易的類別。較高的平均分數可以與某個組織特別重視的工作中反覆出現的失敗並存。

最後,公告未能證明生產環境的可靠性。它未顯示在帳戶限制、不同搜尋條件或重複專業使用下,效能如何改變。這些問題值得獨立觀察,而非根據基準測試作出假設。

因此,恰當的懷疑立場應具體明確。Perplexity 報告了改善,而該結果值得關注。單靠公開摘要,並不足以證明普遍優勢、穩定的歷史趨勢,或每位客戶都可預期獲得的回報。

下一步證據應把分數與完成的工作連結起來

下一項有用的證據,應令比較可重現、釐清存取方式,並顯示用戶是否獲得更優質的完成交付成果。

第一個訊號是發布詳盡資料,將公布的分數連結至可識別的評估配置。這意味著列明計分方法、基準測試版本、任務涵蓋範圍及相關運作設定,亦應解釋其與早前 Astra 結果的關係。

若這些細節能對照基線並支持匹配比較,對改善的信心將會提高。若它們揭示條件存在實質差異,該主張便需要較狹窄的詮釋。無論是哪種結果,都有助讀者理解所報告的增益實際代表甚麼。

更完整的發佈內容亦應呈現失敗情況。未完成工作、缺乏支持的條目,或需要再次嘗試的任務例子,將有助用戶界定界線。單靠成功示範無法說明模型在哪些情況下不應再作為預設選項。

第二個訊號是清晰、最新的產品文件,涵蓋模型存取及選擇方式。讀者需要知道哪些帳戶可使用各個模型,以及選擇適用於哪些地方。凡會影響存取的管理限制及地區供應情況,都應明確說明。

若有資格帳戶的文件化體驗與公告一致,便較容易將推出視為實際的產品改動來評估。若供應範圍仍然狹窄或行為有所不同,讀者應把廣泛模型支援與自己可存取的體驗區分開來。

選擇行為同樣值得關注。可見的模型選項、自動選定的模型,以及大型任務中作為支援的模型,都是不同體驗。釐清這些角色,有助用戶把觀察到的結果歸因於正確的配置。

第三個訊號是來自匹配專業工作負載的證據。最有力的例子會比較獲接受的輸出、審閱者修正、完成時間及重複失敗情況。它們應保留原有任務及驗收標準,而不是在看到答案後改變測試。

對買家而言,這類證據會把效能主張與營運決策連結起來。能減少修正工作的結果,會加強採用的理由。若結果只改善呈現方式,卻留下相同的證據缺口,則其效益較為有限。

對開發者而言,相應的問題是模型能否改善應用程式的可靠行為。若下游步驟仍需要頻繁介入,較好的個別答案便沒那麼重要。相關的衡量單位,是開發者必須支援的完整工作流程。

這亦令 GPT-6.2 Astra 與 Sol 的比較更清晰。當額外資源能帶來實質上更佳、獲接受的工作成果時,Astra 便具備其定位。當 Sol 能以較低資源負擔滿足相同要求時,它便更具吸引力。

不應從總體分數預設任何一種結果。有些任務會顯露差異,其他任務則未必。具說服力的評估應保留這些差異,而不是把每項任務都強行納入單一模型排名。

未來數月,這些訊號將決定 Perplexity GPT-6.2 的推出是否改變日常模型選擇。公告提供了重新檢視現有預設選項的理由。更詳細的證據將決定這項重新評估應延伸至甚麼程度。

在改變團隊的預設選項前,應在已有清晰驗收標準的工作上比較各模型。保留請求、支持來源、生成輸出及審閱者修正。除了日常工作外,亦應納入缺乏證據會造成影響的任務,以及額外強度可能作用不大的工作。評估結果是否可直接使用、其主張是否仍可追溯,以及是否仍須由另一人完成研究。把基準測試任務成本與訂閱條款及團隊的審閱負擔分開考量。把報告中的 WANDR 增益視為調查新選項的理由,然後讓獲接受的工作成果決定哪個模型值得納入你的工作流程。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page