Ai2 新穎性基準發現：研究判定可因提示變更而逆轉
Ai2 於 10 月 27 日發布一項研究基準，顯示研究人員只要調整指令，AI 對科學原創性的判斷便可能大幅改變。Ai2 新穎性基準隨《Old Ideas, Novel Problems》一文推出，該研究探討大型語言模型，即經訓練以生成及理解語言的 AI 系統。Ai2 表示，同一批研究構想配對中，一項提示變更令 GPT-5.4 的準確率由 93.5% 降至 40.9%。
這個結果為一項特定承諾帶來壓力：以自動化評估器確認 AI 生成的研究構想確有新貢獻。新穎性判斷器，即相對現有研究評估原創性的 AI 評估器，能影響哪些提案獲進一步關注。若合理的指令會產生互相矛盾的判定，評估本身便成為不確定性的一部分。
比較範圍不僅涵蓋 OpenAI 與 Anthropic 的模型，也包括專門研究評估器，例如 Sakana AI 的 AI Scientist。核心衝突在於自動化研究主張，與用以支持這些主張的程序是否可靠。生成一項吸引人的提案，與證明其原創性，需要不同的證據。Ai2 的發布為研究人員提供公開測試平台，以檢視這個落差。
Ai2 新穎性基準實際測試甚麼
Ai2 的發布讓評估器本身成為審視對象。
該機構的新穎性評估發現包括一個基準、資料集、程式碼，以及用於建立更多評估集的自動化流程。公告接續較早前提交的一篇論文。其 arXiv 紀錄顯示，論文初次提交於 10 月 1 日，並於 10 月 26 日修訂。
這個時間線相當重要，因為 10 月 27 日的事件是研究套件的公開公告。不應把它誤作所有實驗首次可供使用的日期。比較不同報道時，讀者應區分公告、論文版本及底層實驗配置。
這項發布改變了研究團隊可檢視的內容。他們不必照單全收模型對原創性的評分，而可測試該評分如何回應不同的評估選擇。問題轉為：當判斷程序出現合理改變時，結論能否站得住腳。
一個有用的比喻，是儀器在操作員調整設定後給出不同讀數。這些設定應納入結果的解讀之中。否則，精確分數可能傳遞出超出測量本身所支持的確定性。
對研究構想而言，這種不確定性有實際後果。一項提案或會因措辭陌生而顯得前所未見，實際上卻重複了既有貢獻。另一項提案則可能描述熟悉的組件，但其組合正處理尚未解決的問題。評估器須分辨表述與貢獻。
原創性判斷亦取決於其參照點。某件事可以是評估器未見過、檢索到的論文中未出現，或對一個科學領域而言屬新事物。即使介面以同一評分呈現，這些主張仍需要不同程度的證據。
因此，Ai2 新穎性基準的意義不僅在於識別一個脆弱的提示。它建立了一種方法，用以檢驗研究評估在一般實作選擇改變時，是否仍然可靠。這比證明判斷器有時會與審稿人意見一致，要求更高。
眼前的壓力落在那些報告自動化構想生成有所改進的團隊身上。他們的評估流程現在應獲得與生成系統同等的關注。除非讀者了解判斷器如何得出結果，否則較高的原創性分數意義有限。
這亦轉移了解釋責任。研究人員需要交代，連接生成提案與科學進步主張之間的測量方式。該基準提供用於這種檢驗的材料，而非取代科學判斷。
資料集把人類論文與生成提案分開
一個能妥善處理已發表研究的判斷器，並不會因此自動贏得對生成構想的信任。
已發布的研究構想資料集包含獨立的 Human-Only 與 Human+Generated 設定。前者包括 154 個較高新穎性的人類構想，以及 145 個較低新穎性的人類構想。後者則把較高新穎性的人類構想池，與 154 個生成構想作比較。
這些設定處理不同問題。人類比較探問判斷器能否分辨具有不同審稿證據的構想。混合比較則探問，當生成提案進入評估時，其行為如何改變。
這個區分對 AI 研究評估很重要。一個在完成的學術貢獻上獲驗證的系統，當評估具推測性的提案時，面對的是不同任務。已完成研究與擬議研究，並不具備相同的證據脈絡。
試想一個假設性的研究助理，在任何人進行實驗前篩選候選項目。其輸入或會描述一種擬議方法及預期貢獻。該助理必須評估這項提案，卻不能把預期結果當作已獲確立的發現。
僅在精修論文上測試過的判斷器，未必已針對這種情況測試。評估看似具說服力，卻可能令預定部署場景未獲充分檢驗。當其分數決定哪些構想得以推進時，這種不匹配尤其重要。
資料集中的生成例子帶有弱標籤，意即其獲分配的原創性狀態，是建基於假設，而非對整個構想池逐一驗證。任何準確率主張旁都應附上這項限定。它影響讀者能以多大信心解讀與基準的一致性。
這並不令混合設定失去意義。相反，它揭示了評估自動化研究的一個難題。取得可靠的原創性判斷需要專業知識與調查，這限制了評估資料集能以多低成本擴充。
基準標籤與科學結論之間亦存在概念差異。標籤使實驗可被量度，卻不能解決所有關於何謂有意義貢獻的爭議。
對開發者而言，相關教訓在於測試與使用之間是否相符。若產品評估生成提案，其驗證亦應檢視生成提案。人類論文上的表現可提供脈絡，卻不足以證明它對每項下游任務都可靠。
對企業買家而言，這個區分改變了值得提出的問題。原創性功能需要涵蓋員工實際提交材料的證據。若基準結果來自不同文件類型或研究階段，便留下了一個重要缺口。
資料集亦使檢視成為可能。讀者可查看個別例子，而非完全依賴整體表現。這種存取相當重要，因為評估失敗往往只有在提案、參考材料及判斷一同呈現時，才會變得可理解。
一項提示變更可改變研究勝方
核心逆轉在於，判斷器的指令可影響哪個研究構想看來較強。
這項新穎性評估研究檢視六個模型判斷器在不同評估配置下的表現。作者報告，結果對提示相當敏感；當生成構想進入比較時，尤其出現令人關注的行為。他們亦指出，檢索及額外推理並不能穩定地解決問題。
標題所述的提示比較需要審慎解讀。一種表述提供審稿人對新穎性的判斷資訊；另一種則要求模型在沒有該脈絡下評估新穎性。這些表述在意義上不同，而非只差在標點。
這項差異限制了對結果的誇大解讀。實驗並未證明每一個無害的措辭修改都會導致崩潰。它顯示，對評估作出看似合理的框定方式，可能產生截然不同的結果。
對從業者而言，這仍然影響重大。研究團隊必須選擇判斷器取得甚麼脈絡，以及它須作出甚麼決定。即使候選構想不變，這些選擇仍可能界定實驗表面上的勝方。
假設一個假設性團隊，把新的構想生成器與既有基線比較。團隊固定提案內容，卻改變評估器的框定方式。若偏好的生成器隨之改變，所報告的優勢便部分取決於測量程序。
這並不證明存在蓄意操控。一個團隊可以真誠地選擇評估器，卻仍低估這個選擇對結果的影響程度。風險在任何人嘗試優化有利呈現之前已經出現。
因此，LLM 新穎性判斷器為研究系統之間的比較引入另一項不確定來源。讀者需要分辨：改進的是生成構想本身，還是這些構想更符合某個特定判斷器的期望。
這個區分類似於答好一條問題，與廣泛理解該主題之間的差別。評估器可在指定指令下提出看似合理的判斷，卻未必能在其他可辯護的表述下維持同一判斷。流暢的解釋並不能消除這種不一致。
在相同指令下反覆取得一致結果，也不能證明其在不同評估設計下穩定。重複測試某一配置的行為是否一致；改變配置，則測試結論是否依賴該配置。
兩個問題都重要，但支持的是不同主張。可靠的科學比較需要清楚說明量度的是哪一種一致性。否則，穩定輸出可能被誤當成對原創性的穩定評估。
這正是研究最直接挑戰自動化發現之處。若評估決定哪項提案可推進，其偏好便成為發現過程的一部分。排名系統可以影響未來工作的方向，卻未必是可靠的新穎性衡量工具。
合適的回應，是更清楚呈現這些偏好。讀者應能辨識把提案與其分數連結起來的指令、證據及決策規則。缺少這些脈絡時，表面的精確性可以掩蓋一項脆弱的比較。
專門評估器面對同一證據問題
加入文獻工作流程，本身並不能證明一項原創性判定更值得信賴。
Ai2 表示，一個簡單提示的 Claude Opus 4.6 配置，表現優於受測的 Idea Novelty Checker 及 AI Scientist 評估器。這項發現關乎該研究設定下的新穎性評估，並非對這些系統完整研究能力的排名。
這項比較令專門評估器與通用模型處於相同的證據標準之下。專為特定目的建立的工作流程，仍需要針對其聲稱執行的任務加以驗證。架構複雜性不能取代其判斷經得起檢驗的證據。
評估程式碼提供用於檢視這些選擇的設定及實驗腳本，亦包括一套可重用流程，從會議評審意見中蒐集基準材料。因此，這次發布比靜態效能圖表更具實用價值。
公開設定讓其他團隊能檢視評估器實際接收到甚麼資料，分辨底層模型與其周邊的指令、文獻存取及決策流程。嘗試解釋結果時，這些細節十分重要。
根本挑戰在於，搜尋和判斷回答的是不同問題。搜尋流程會找出可能相關的材料；新穎性評估則必須判定該材料是否已包含所提出的貢獻。
檢索到的論文可能與提案共享詞彙，卻沒有預示其核心概念。另一篇論文可能採用不同術語，卻涵蓋相同貢獻。評估器必須建立兩者之間的關係，而非從表面相似度推斷。
空白搜尋結果則帶來相反問題。未能檢索到相符論文，並不能證明不存在相符研究。即使搜尋介面提供看似具說服力的摘要，這個邏輯缺口仍然存在。
對產品買家而言，含意很具體。搜尋學術文獻的工具應說明其最終原創性主張的含義。找到相關研究、識別重疊之處，以及排除既有貢獻，是不同層次的成果。
對開發者而言，壓力在於失敗分析。當評估器拒絕一項提案時，其解釋應指出據稱已經存在的貢獻。當它認可原創性時，讀者需要明白其所考慮證據的限制。
使用可搜尋知識庫的研究團隊，也面對相近的區別。保存及檢索證據有助調查，但證據本身仍須評估。能夠存取文件，並不會自動釐清它們所代表的意思。
這個比較仍為專門評估器留下改進空間。其潛在價值在於讓相關證據更容易檢視，並讓判斷更容易受到質疑。這項研究對缺乏支持的自信施加壓力，而非就文獻輔助評估作出定論。
下一項真正具意義的競爭優勢，會是證明能在真實輸入和可辯護設定下持續作出正確判斷。更複雜的工作流程需要透過測試贏得這項優勢。
基準的限制會改變其解讀方式
不穩定性是一項強而有力的發現；若要對研究評判作出普遍排名，則需要更廣泛的證據。
研究中的弱標籤尤其值得注意。其生成樣本池假設，在刻意受限的生成條件下，新穎性較低。作者描述了支持這項假設的專家檢查，同時承認每個生成構想均沒有獨立確立的標籤。
這引出有關準確性和分歧的不同問題。準確性取決於參考答案是否正確；分歧則關乎不同設定是否對同一材料給出相互衝突的答案。
有爭議的標籤可以令準確性估計變得複雜，卻不能令互不相容的判斷彼此一致。這個區別支持審慎解讀研究結果，毋須讀者將每個基準標籤都視為定論。
人的一面同樣需要解讀。同行評審會提供具見識的評估，但他們的一致性是關於原創性的證據，而非對科學歷史的徹底搜尋。以這些評估建立的基準，也承襲其適用範圍。
研究場景亦集中於與 ICLR 相關的 AI 研究。要把結論延伸至醫學、化學或其他領域，仍需額外測試。不同學科以不同方式組織既有研究，亦對有意義的貢獻採用不同標準。
生成提案亦會隨產生它們的系統而變化。簡單生成器與文獻輔助研究代理，未必會產生同類型的構想。評估器在一種分布上的表現，不能確立其在所有其他分布上的表現。
當讀者看到「AI 無法識別新穎性」這類概括主張時，這些限制尤為重要。證據支持的是較狹義的結論：經測試的評估可能對設計選擇敏感，而表面可靠性未必能一致地跨場景轉移。
研究亦沒有證明人類評估毫無缺陷。人類專家可以對原創性存在分歧，尤其當一項貢獻跨越不同領域。相關比較在於如何調查及記錄不確定性。
揭示分歧與將分歧壓縮為未經解釋的分數之間，存在實質差異。當系統揭示相關既有研究或具爭議的貢獻時，它可以很有用。其價值毋須假裝每項提案都有明確的二元答案。
這項公告呈現的是研究人員的發現，而非對該基準的獨立重現。為營造平衡報道的表象，不應虛構不存在的獨立反應。支持的可能性和懷疑的解讀可以加以評估，毋須歸因於不存在的評論者。
支持的觀點是，公開基準可促成更佳的評估器設計；懷疑的觀點是，弱標籤及有限範圍限制了廣泛結論。這些立場可以並存，因為它們關注的是證據的不同面向。
對 AI 研究評估而言，可辯護的回應是將主張收窄至實驗實際量度的內容。評估器敏感性值得關注，但不應將某個特定基準結果變成對所有自動化科學的判決。
甚麼能令自動化新穎性主張更可信
下一項有用證據將顯示，結論能否經得起重現、更佳標籤和更透明研究流程的考驗。
未來數月首個值得關注的訊號，是獨立重現。外部團隊可測試已發布的設定，並檢視所報告的模式是否持續存在。若結果一致，將加強人們對不穩定性超出原始實驗實作範圍的信心。
不同結果同樣具資訊價值。它會引出有關設定細節、模型行為或實驗解讀的問題。無論結果如何，都比不考察其依據而重複標題更有用。
重現應區分重現某個分數與重現其背後模式。更新後的模型未必需要完全匹配較早的數字。更關鍵的問題是，可辯護的評估改動是否仍會改變實質結論。
第二個訊號是為生成構想提供更強的標註。更廣泛的專家評估可減少對哪些提案屬新穎的假設依賴，亦會揭示專家在哪些地方存在分歧，以及哪些案例需要更深入的文獻審查。
若評估器不穩定性在更具根據的標籤下仍然存在，這將強化基準。若改進後的標註改變參考答案，則會削弱某些準確性主張。兩種結果都有助區分量度不確定性和評估器錯誤。
一項尤其具啟發性的延伸，是納入來自更有能力研究工作流程的構想。這可測試當生成提案附有文獻支持和修訂時，是否仍會出現相同問題，亦令評估更接近自動化發現所提出的主張。
第三個訊號，是研究產品是否更清楚呈示證據和不確定性。當使用者可以檢視既有研究並質疑所聲稱的重疊時，原創性分數便更容易評估。重要改變會是可觀察的產品行為。
Ai2 的文獻修訂研究提供一個相關例子。LitPivot 將提案修訂與經挑選的文獻連結，並讓研究人員掌握是否接受修改的決定權。其報告的研究關乎文獻依據，而非對新穎性判斷的獨立驗證。
這個區別展示了有用方向。系統可以透過明確呈現證據和修訂選擇來協助研究，毋須將自動化原創性判斷表述為已成定論的科學結論。
若產品示範在成功案例以外同時展示困難個案，說服力會更強。讀者需要看到工具如何處理缺失證據、互相矛盾的論文和不確定的貢獻。一個經過修飾的肯定結論，對這些情況揭示甚少。
Ai2 新穎性基準令這些問題具體到足以接受測試。它的價值部分取決於研究人員是否用它調查評估選擇，而非宣傳另一個孤立分數。最有力的回應，會產生即使評判設定改變後仍然有用的結論。
在接受自動化原創性分數前，檢視提案、既有研究，以及連結兩者的決策。問問另一個同樣可辯護的提示是否會改變結論，以及專家是否同意其背後比較。將評估器版本和證據連同結果一併保留，讓日後評審者可重建這項主張。將分歧視為更仔細調查該貢獻的理由。真正有用的問題是，當構想流暢的呈現失去說服優勢後，它能否經得起審查。在使用 AI 排名來決定哪些研究值得進一步工作前，先閱讀已發布的例子，並比較其判斷與支持證據。
