Ai2 新颖性基准发现：提示词变化可逆转研究结论

Ai2 于 10 月 27 日发布了一项研究基准，显示当研究人员调整指令时，AI 对科学原创性的判断可能发生显著变化。Ai2 新颖性基准随《Old Ideas, Novel Problems》一文一同发布；该研究考察了大语言模型，即经过训练以生成和理解语言的 AI 系统。Ai2 表示，仅修改提示词，就能让 GPT-5.4 在相同研究思路配对上的准确率从 93.5% 降至 40.9%。

这一结果给某项特定承诺带来了压力：利用自动化评估器来证明 AI 生成的研究思路确实带来了新内容。新颖性判别器，即相对于既有工作评估原创性的 AI 评估器，能够影响哪些提案会获得进一步关注。若合理的指令会产生相互矛盾的判断，那么评估本身也成为不确定性的一部分。

这项比较不仅涉及 OpenAI 和 Anthropic 的模型，也涵盖包括 Sakana AI 的 AI Scientist 在内的专业研究评估器。核心冲突在于自动化研究主张与支撑这些主张的流程可靠性之间。生成一份吸引人的提案，与证明其原创性，需要不同的证据。Ai2 的发布为研究人员提供了一个公开测试平台，以审视这一差距。

Ai2 新颖性基准实际测试什么

Ai2 的发布让评估器本身成为审视对象。

该机构的新颖性评估发现随同一项基准、数据集、代码以及用于构建更多评估集的自动化流程一并发布。这一公告是在此前论文投稿之后发布的。其 arXiv 记录显示，初次投稿于 10 月 1 日，修订于 10 月 26 日。

这一时间线很重要，因为 10 月 27 日的事件是这套研究材料的公开发布。它不应被误认为是每项实验最初可用的日期。比较不同报道的读者应区分公告、论文版本与底层实验配置。

此次发布改变了研究团队能够审查的内容。团队不再只能照单全收模型对原创性的评分，而可以测试该评分对不同评估选择的反应。问题变成：在判定流程发生合理变化后，这一结论是否依然成立。

一个有用的类比是：操作员调整设置后，仪器给出了不同的读数。设置本身应纳入对结果的解读。没有这些信息，精确的分数可能传递出超出测量支持范围的确定性。

对于研究思路而言，这种不确定性具有实际后果。一项提案可能因措辞陌生而显得新颖，却重复了已有贡献。另一项提案可能描述了熟悉的组件，但它们的组合解决了一个尚未解决的问题。评估器需要区分表达方式与实际贡献。

原创性判断也取决于其参照点。某件事可以是对评估器而言的新内容、在检索到的论文中未出现的内容，或对某一科学领域而言的新内容。即便界面用同一评分来呈现，这些主张仍需要不同层级的证据。

因此，Ai2 新颖性基准的意义不止于发现一个薄弱的提示词。它创造了一种方式，用于检验研究评估在常规实施选择发生变化时是否依然可靠。这比证明判别器偶尔与审稿人意见一致，是更严格的标准。

直接压力落在那些报告自动化创意生成取得改进的团队身上。如今，他们的评估协议应获得与生成系统同等的关注。除非读者了解判别器如何得出结论，否则更高的原创性分数意义有限。

这改变了说明责任。研究人员需要解释将生成提案与科学进展主张连接起来的测量方法。该基准提供了审查这种方法的材料，而不是替代科学判断。

该数据集将人类论文与生成提案区分开来

能够妥善处理已发表研究的判别器，并不会自动赢得对生成思路的信任。

发布的研究思路数据集包含独立的 Human-Only 和 Human+Generated 设置。前者包含 154 个新颖性较高的人类思路和 145 个新颖性较低的人类思路。后者将新颖性较高的人类思路池与 154 个生成思路进行比较。

这些设置回答的是不同的问题。人类对比询问判别器能否区分具有不同审稿证据的思路。混合对比则询问，当生成提案进入评估时，其行为会如何变化。

这种区别对 AI 研究评估很重要。一个在完成的学术贡献上获得验证的系统，在评估推测性提案时面对的是不同任务。完成的研究与拟议研究并不具备相同的证据背景。

设想一个假设性的研究助手，在任何人开展实验之前筛选候选项目。它收到的输入可能描述一种拟议方法及其预期贡献。该助手必须评估这项提案，而不能把预期结果当作已确立的发现。

仅在经过精修的论文上测试的判别器，并不必然已针对这种情形接受测试。一项评估可能看起来很有说服力，却未充分检验其预定的部署场景。当分数决定哪些思路能够推进时，这种不匹配尤其重要。

数据集中的生成示例带有弱标签，意味着其被赋予的原创性状态基于某种假设，而非对整个样本池进行逐项验证。这一限定条件应与任何准确率主张一并呈现。它影响读者能够多有把握地解读与基准的一致性。

这并不使混合设置失去意义。恰恰相反，它暴露了评估自动化研究的一个棘手问题。获得可靠的原创性判断需要专业知识和调查工作，这限制了评估数据集能够以多低成本扩展。

基准标签与科学结论之间也存在概念差异。标签让实验变得可衡量。它并不能解决关于何为有意义贡献的每一项争议。

对开发者而言，相关经验在于测试与使用之间的匹配。如果产品评估生成提案，其验证也应审查生成提案。人类论文上的表现可以提供背景，但无法证明其对所有下游任务都可靠。

对企业买家而言，这一区别改变了值得提出的问题。原创性功能需要覆盖员工实际提交材料的证据。来自不同文档类型或研究阶段的基准结果，仍留下了重要缺口。

该数据集也使检查成为可能。读者可以审阅示例，而不必完全依赖汇总表现。这种访问很重要，因为只有当提案、参考材料和判断同时呈现时，评估失败往往才变得可以理解。

提示词变化可以改变研究的胜者

核心逆转在于，判别器的指令能够影响哪项研究思路显得更强。

这项新颖性评估研究考察了六个模型判别器在不同评估配置下的表现。其作者报告称，结果对提示词高度敏感，尤其是在生成思路进入比较时，表现出令人担忧的行为。他们还报告称，检索与额外推理并不能始终解决这一问题。

对标题所述提示词比较需要谨慎解读。一种表述提供了审稿人对新颖性的判断信息；另一种则要求模型在没有这类框架的情况下评估新颖性。这些表述在含义上不同，而不仅仅是标点不同。

这一差异限制了对结果的夸张解读。该实验并未证明每一次无害的措辞修改都会导致崩溃。它表明，对评估进行框定的合理方法可能产生截然不同的结果。

对从业者而言，这仍然影响重大。研究团队必须选择判别器接收何种背景信息，以及它要作出何种决定。这些选择能够决定实验中表面上的胜者，即使候选思路保持不变。

假设一个团队将新的思路生成器与现有基线进行比较。团队固定提案不变，但改变评估器的框定方式。如果优胜的生成器发生变化，那么所报告的优势部分取决于测量程序。

这并不意味着存在蓄意操纵。团队可以出于善意选择评估器，却仍低估这一选择对结果的影响程度。风险在任何人试图优化有利呈现之前就已经出现。

因此，LLM 新颖性判别器为研究系统之间的比较引入了另一种不确定性来源。读者需要区分生成思路本身的改进，与这些思路如何契合某一特定判别器预期的改进。

这种区别类似于善于回答一个问题与广泛理解一个主题之间的差别。评估器可以在特定指令下给出看似合理的判断，却无法在其他同样合理的表述下维持这一判断。流畅的解释并不能消除这种不一致性。

在相同指令下反复达成一致，也不能证明其在不同评估设计中的稳定性。重复测试的是某一配置行为的一致程度。改变配置测试的则是结论是否依赖于该配置。

两个问题都很重要，但它们支持的是不同主张。可靠的科学比较需要明确测量的是哪一种一致性。否则，稳定的输出可能被误认为是对原创性的稳定评估。

这正是研究最直接挑战自动化发现的地方。若某项评估控制着哪一提案得以推进，其偏好便成为发现过程的一部分。排名系统可以影响未来工作的方向，却未必是衡量新颖性的可靠标准。

恰当的回应是提高这些偏好的可见性。读者应能够识别将提案与其分数联系起来的指令、证据和决策规则。缺少这些背景时，看似精确的结果可能掩盖脆弱的比较。

专业评估器面临相同的证据问题

加入文献工作流本身，并不能证明原创性判断值得获得更高信心。

Ai2 报告称，一个简单提示的 Claude Opus 4.6 配置优于受测试的 Idea Novelty Checker 和 AI Scientist 评估器。这一发现涉及研究设置下的新颖性评估，并不对这些系统的完整研究能力进行排名。

这一比较让专业评估器与通用模型处于相同的证据标准之下。专门构建的工作流仍需要针对其声称执行的任务进行验证。架构复杂性不能替代其判断经得起检验的证据。

评估代码](https://github.com/allenai/novelty-eval)提供了用于考察这些选择的配置与实验脚本。它还包含一套可复用流程，用于从会议评审中收集基准材料。这使得此次发布比一张静态性能图表更具实用价值。

公开配置让其他团队能够查看评估器实际接收了什么内容。他们可以区分底层模型与其周围的指令、文献访问权限和决策流程。在试图解释某项结果时，这些细节至关重要。

根本挑战在于，搜索和判断回答的是不同的问题。搜索过程定位可能相关的材料。新颖性评估则必须确定这些材料是否已包含所提出的贡献。

检索到的论文可能与某项提案共享词汇，却并未预示其核心观点。另一篇论文可能使用不同术语，却涵盖了相同的贡献。评估器必须厘清二者之间的关系，而不是根据表面相似性进行推断。

空搜索结果则带来相反的问题。未能检索到匹配论文，并不能证明不存在匹配的研究。即使搜索界面提供了看似令人信服的摘要，这一逻辑缺口依然存在。

对于产品买家而言，其含义很明确。一款搜索学术文献的工具，应当说明其最终原创性判断究竟意味着什么。发现相关工作、识别重合之处，以及排除先前贡献，是三种不同的成就。

对开发者而言，压力在于失败分析。当评估器否决某项提案时，其解释应指出被认为已经存在的贡献是什么。当它认可原创性时，读者需要了解它所考虑证据的边界。

使用可搜索知识库的研究团队也面临类似区分。保存和检索证据有助于开展调查，但证据本身仍需要评估。能够访问文档，并不会自动确定它们所表达的含义。

这一比较仍为专业评估器留下改进空间。它们的潜在价值在于，让相关证据更易于审查，让判断更易于质疑。该研究对缺乏支撑的信心施加了压力，而非就文献辅助评估盖棺定论。

下一项有意义的竞争优势，将是经证明能够在真实输入和合理配置下持续作出正确判断的能力。更复杂的工作流需要通过测试来赢得这一优势。

这一基准的局限会改变其解读方式

不稳定性是一项重要发现；若要对研究评判者作出普遍排名，还需要更广泛的证据。

该研究中的弱标签尤其值得关注。其生成样本池假定，在刻意受限的生成条件下，新颖性较低。作者称专家核查支持这一假设，同时承认每个生成想法都缺乏独立确立的标签。

这引出了关于准确性与分歧的不同问题。准确性取决于参考答案是否正确。分歧则关注不同配置是否会对相同材料给出相互冲突的答案。

存在争议的标签会使准确性估计变得复杂，但无法让彼此不兼容的判断变得一致。这一区别支持对研究作出谨慎解读，而不要求读者将每一个基准标签都视为定论。

人为因素同样需要解读。同行评审者会提供知情评估，但他们的一致性证明的是对原创性的判断，而非对科学史进行穷尽检索。以这些评估构建的基准也继承了其范围限制。

该研究场景还集中于与 ICLR 相关的 AI 研究。若要将结论延伸至医学、化学或其他领域，则需要额外测试。不同学科以不同方式组织既有研究，也对有意义的贡献采用不同标准。

生成的提案也会因产生它们的系统而异。简单的生成器与文献辅助研究代理不一定会产生同类想法。评估器在一种分布上的表现，无法证明其在所有其他分布上的表现。

当读者看到“AI 无法识别新颖性”这样宽泛的主张时，这些局限尤为重要。证据支持的是一个更狭窄的结论：经过测试的评估可能对设计选择敏感，而表面上的可靠性并不能稳定地迁移到不同场景。

该研究同样没有证明人工评估毫无缺陷。人类专家可能会对原创性存在分歧，尤其当某项贡献跨越多个领域时。关键比较在于，如何调查并记录不确定性。

揭示分歧与将其压缩为一个未加解释的分数之间，存在实质差异。当系统能够呈现相关既有工作或存在争议的贡献时，它就可能具有价值。其价值并不需要假装每项提案都有显而易见的二元答案。

这份公告呈现的是研究人员的发现，而非对该基准的独立复现。不得为了营造平衡报道的表象而虚构独立反应。支持性的可能性与怀疑性的解读可以得到评估，无需将其归因于不存在的评论者。

支持方观点是，公开基准能够推动更好的评估器设计。怀疑方观点是，弱标签和有限范围限制了广泛结论。这两种立场可以并存，因为它们关注的是证据的不同方面。

对于 AI 研究评估而言，合理的回应是将主张限定在实验实际测量的范围内。评估器敏感性值得关注，但不应将某一特定基准结果变成对所有自动化科学的裁决。

什么能让自动化新颖性主张更可信

下一批有用证据将显示，结论能否经受复现、更好的标签以及更透明的研究工作流考验。

未来几个月首先值得关注的信号是独立复现。外部团队可以测试已发布的配置，并检查报告的模式是否持续存在。若结果一致，将增强人们对不稳定性超出原始实验实现范围的信心。

不同结果同样具有信息价值。它将引发有关配置细节、模型行为或实验解读的问题。无论结果如何，都比不调查其依据、只重复标题更有价值。

复现应区分复现某个分数与复现底层模式。更新后的模型不必与早期数值完全一致。更重要的问题是，合理的评估调整是否仍会改变实质性结论。

第二个信号是对生成想法进行更强的标注。更广泛的专家评估将减少对哪些提案算作新颖这一问题的假设依赖。它也将揭示专家在哪些地方存在分歧，以及哪些案例需要更深入的文献审查。

若评估器的不稳定性在更可靠确立的标签下依然存在，这将增强基准的可靠性。若改进后的标注改变了参考答案，则会削弱某些具体的准确性主张。这两种结果都有助于区分测量不确定性与评估器错误。

一个特别有信息量的扩展，是纳入来自更强研究工作流的想法。这将测试当生成的提案带有文献支持和打磨时，是否会出现同样的问题。它也会使评估更接近自动化发现所提出的主张。

第三个信号是，研究产品是否更清楚地呈现证据与不确定性。当用户能够审查既有工作并质疑所声称的重合时，原创性分数就更容易被评估。关键变化应体现在可观察的产品行为上。

Ai2 的文献修订研究提供了一个相关例子。LitPivot 将提案修订与精选文献关联，并让研究人员自行决定是否接受修改。其报告的研究涉及文献扎根，而非对新颖性判断的独立验证。

这一区别说明了一个有用方向。系统可以通过明确呈现证据和修订选择来协助研究。它不需要将自动化原创性判断包装为已尘埃落定的科学结论。

如果产品演示能在展示成功案例的同时展示困难案例，将更具说服力。读者需要看到工具如何处理缺失证据、相互冲突的论文和不确定的贡献。一份经过打磨的肯定性裁决，对这些情况几乎说明不了什么。

Ai2 新颖性基准让这些问题具体到足以进行测试。它的价值部分取决于研究人员是否会用它来研究评估选择，而不是宣传又一个孤立分数。最有力的回应将产生这样的结论：即使评判设置发生变化，依然具有参考价值。

在接受自动化原创性分数之前，应审查提案、既有工作，以及连接二者的决策过程。请思考，另一种同样合理的提示是否会改变结论，以及专家是否同意其底层比较。将评估器的版本和证据与结果一并保留，以便后续审阅者能够重建这项主张。将分歧视为更仔细调查该贡献的理由。有用的问题是，当流畅的表述失去其说服优势后，这个想法能否经受审查。在使用 AI 排名决定哪些研究值得进一步开展之前，请阅读已发布的案例，并将其判断与支撑证据进行比较。