Ai2 Novelty Benchmark, 프롬프트 변경만으로 연구 판정이 뒤바뀔 수 있음을 확인

Ai2는 10월 27일, 연구자가 지시문을 조정할 경우 과학적 독창성에 대한 AI의 판단이 크게 달라질 수 있음을 보여주는 연구 벤치마크를 공개했다. Ai2 novelty benchmark는 대규모 언어 모델, 즉 언어를 생성하고 해석하도록 훈련된 AI 시스템을 살펴보는 연구인 Old Ideas, Novel Problems와 함께 제공된다. Ai2에 따르면 프롬프트 변경으로 동일한 연구 아이디어 쌍에 대한 GPT-5.4의 정확도는 93.5%에서 40.9%로 떨어졌다.

이 결과는 AI가 생성한 연구 아이디어가 새로운 기여를 한다는 점을 자동 평가기로 입증하겠다는 특정한 약속에 압박을 가한다. 기존 연구를 기준으로 독창성을 평가하는 AI 평가기인 신규성 판정기는 어떤 제안이 추가 관심을 받을지에 영향을 줄 수 있다. 합리적인 지시문이 상충하는 판정을 낸다면, 평가 자체가 불확실성의 일부가 된다.

이 비교는 OpenAI와 Anthropic 모델을 넘어 Sakana AI의 AI Scientist를 포함한 전문 연구 평가기로까지 이어진다. 핵심 갈등은 자동화된 연구 주장과 이를 뒷받침하는 과정의 신뢰성 사이에 있다. 매력적인 제안을 생성하는 일과 그 독창성을 입증하는 일에는 서로 다른 증거가 필요하다. Ai2의 공개는 연구자들이 이 간극을 검토할 수 있는 공개 테스트베드를 제공한다.

Ai2 Novelty Benchmark가 실제로 검증하는 것

Ai2의 공개는 평가기 자체를 검토 대상에 올려놓는다.

이 기관의 신규성 평가 결과는 벤치마크, 데이터세트, 코드, 그리고 추가 평가 세트를 구축하기 위한 자동화 파이프라인과 함께 제공된다. 이번 발표는 이전 논문 제출에 뒤따른 것이다. 해당 arXiv 기록은 10월 1일 최초 제출과 10월 26일 수정본을 기재하고 있다.

이 시간대는 중요한 의미를 갖는다. 10월 27일의 사건은 연구 패키지의 공개 발표다. 모든 실험이 처음 제공된 날짜로 오인해서는 안 된다. 보도를 비교하는 독자는 발표 시점, 논문 버전, 그리고 기반 실험 구성 사이를 구분해야 한다.

이번 공개는 연구팀이 검토할 수 있는 범위를 바꾼다. 모델의 독창성 등급을 그대로 받아들이는 대신, 서로 다른 평가 선택에 따라 그 등급이 어떻게 반응하는지 시험할 수 있다. 문제는 판정 과정에 대한 합리적인 변화에도 결론이 유지되는지 여부가 된다.

유용한 비유는 조작자가 설정을 바꾼 뒤 서로 다른 수치를 내놓는 측정 기기다. 설정은 결과 해석에 포함되어야 한다. 설정이 없다면 정밀한 점수는 측정이 뒷받침하는 것보다 더 큰 확실성을 전달할 수 있다.

연구 아이디어에서는 이 불확실성이 실질적인 결과를 낳는다. 제안은 표현 방식 때문에 낯설게 들리면서도 이미 확립된 기여를 반복할 수 있다. 또 다른 제안은 익숙한 구성 요소를 설명하면서도 그 조합으로 미해결 문제를 다룰 수 있다. 평가기는 표현과 기여를 구분해야 한다.

독창성 판단은 기준점에도 의존한다. 어떤 내용은 평가기에게 새로울 수도 있고, 검색된 논문에는 없을 수도 있으며, 특정 과학 분야에 새로울 수도 있다. 인터페이스가 이를 동일한 등급으로 제시하더라도, 이런 주장은 서로 다른 수준의 증거를 요구한다.

따라서 Ai2 novelty benchmark의 의의는 취약한 프롬프트 하나를 찾아내는 데 그치지 않는다. 일반적인 구현 선택이 바뀌었을 때 연구 평가가 신뢰성을 유지하는지 검토할 방법을 만든다. 이는 판정기가 때때로 리뷰어와 일치함을 보이는 것보다 더 엄격한 기준이다.

즉각적인 압박은 자동화된 아이디어 발상 개선을 보고하는 팀에 가해진다. 이제 이들의 평가 프로토콜은 생성 시스템만큼의 주목을 받을 만하다. 독자가 판정기가 점수를 어떻게 산출했는지 이해하지 못한다면, 더 높은 독창성 점수의 의미는 제한적이다.

이는 설명의 책임을 옮긴다. 연구자는 생성된 제안과 과학적 진보에 대한 주장 사이를 연결하는 측정 방식을 설명해야 한다. 이 벤치마크는 과학적 판단을 대체하는 것이 아니라 그러한 검토를 위한 자료를 제공한다.

데이터세트는 인간 논문과 생성된 제안을 구분한다

공개된 연구를 잘 처리하는 판정기가 생성된 아이디어에서도 자동으로 신뢰를 얻는 것은 아니다.

공개된 연구 아이디어 데이터세트에는 별도의 Human-Only 및 Human+Generated 설정이 포함되어 있다. 전자는 신규성이 높은 인간 아이디어 154개와 신규성이 낮은 인간 아이디어 145개를 담고 있다. 후자는 신규성이 높은 인간 아이디어 집합과 생성된 아이디어 154개를 비교한다.

이 설정들은 서로 다른 질문을 다룬다. 인간 비교는 판정기가 리뷰어의 상반된 증거를 지닌 아이디어를 구분할 수 있는지 묻는다. 혼합 비교는 생성된 제안이 평가에 들어올 때 그 행동이 어떻게 달라지는지를 묻는다.

이 구분은 AI 연구 평가에서 중요하다. 완성된 학술 기여로 검증된 시스템은 추측적 제안을 평가할 때 다른 과제에 직면한다. 완료된 연구와 제안된 연구는 동일한 증거 맥락을 지니지 않는다.

누군가 실험을 수행하기 전에 후보 프로젝트를 선별하는 가상의 연구 보조 도구를 생각해 보자. 입력에는 제안된 방법과 예상 기여가 설명될 수 있다. 이 보조 도구는 예상 결과를 확립된 발견으로 취급하지 않고 해당 제안을 평가해야 한다.

다듬어진 논문에서만 시험된 판정기는 그러한 상황에 반드시 검증된 것은 아니다. 평가는 그럴듯해 보이면서도 의도된 배포 환경을 충분히 검토하지 못할 수 있다. 그 점수로 어떤 아이디어가 다음 단계로 나아갈지가 결정될 때 이러한 불일치는 특히 중대해진다.

데이터세트의 생성 예시는 약한 레이블을 지니며, 이는 부여된 독창성 상태가 전체 집합에 걸친 개별 검증이 아니라 가정에 기반한다는 뜻이다. 이 단서는 모든 정확도 주장과 함께 제시되어야 한다. 이는 독자가 벤치마크와의 일치를 얼마나 확신 있게 해석할 수 있는지에 영향을 미친다.

그렇다고 혼합 설정이 무의미해지는 것은 아니다. 오히려 자동화된 연구 평가의 어려운 문제를 드러낸다. 신뢰할 수 있는 독창성 판단을 얻으려면 전문성과 조사가 필요하며, 이는 평가 데이터세트를 저렴하게 확장할 수 있는 범위를 제한한다.

벤치마크 레이블과 과학적 결론 사이에는 개념적 차이도 있다. 레이블은 실험을 측정 가능하게 만든다. 그것이 의미 있는 기여의 기준을 둘러싼 모든 이견을 해결하지는 않는다.

개발자에게 관련된 교훈은 시험과 사용의 일치에 관한 것이다. 제품이 생성된 제안을 평가한다면, 검증도 생성된 제안을 살펴봐야 한다. 인간 논문에서의 성과는 맥락을 제공할 수 있지만, 모든 후속 과제에 대한 신뢰성을 입증하지는 못한다.

기업 구매자에게 이 구분은 물어볼 가치가 있는 질문을 바꾼다. 독창성 기능에는 직원이 실제로 제출할 자료를 포괄하는 증거가 필요하다. 다른 문서 유형이나 연구 단계에서 나온 벤치마크 결과는 의미 있는 공백을 남긴다.

데이터세트는 검토도 가능하게 한다. 독자는 집계 성과에 전적으로 의존하지 않고 예시를 살펴볼 수 있다. 이러한 접근은 제안, 참조 자료, 판단이 함께 제시될 때에야 평가 실패를 이해할 수 있는 경우가 많기 때문에 중요하다.

프롬프트 변경은 연구의 승자를 바꿀 수 있다

핵심적인 역전은 판정기의 지시문이 어떤 연구 아이디어가 더 강해 보이는지에 영향을 줄 수 있다는 점이다.

신규성 평가 연구는 평가 구성 전반에서 6개의 모델 판정기를 검토한다. 저자들은 프롬프트에 대한 상당한 민감성을 보고하며, 특히 생성된 아이디어가 비교에 포함될 때 우려스러운 행동을 확인했다고 밝혔다. 또한 검색과 추가 추론이 이 문제를 일관되게 해결하지는 못한다고 보고했다.

주요 프롬프트 비교는 신중한 해석이 필요하다. 한 표현은 리뷰어의 신규성 판단에 관한 정보를 제공하고, 다른 표현은 그러한 틀 없이 모델에 신규성을 평가하도록 요청한다. 이 표현들은 단순히 구두점만 다른 것이 아니라 의미가 다르다.

이 차이는 결과에 대한 과장된 해석을 제한한다. 이 실험이 모든 무해한 문구 수정이 붕괴를 초래한다는 점을 입증하는 것은 아니다. 평가지의 틀을 구성하는 그럴듯한 접근법이 크게 다른 결과를 낳을 수 있음을 보여준다.

실무자에게 이는 여전히 중대한 문제다. 연구팀은 판정기가 어떤 맥락을 받고 어떤 결정을 내릴지 선택해야 한다. 후보 아이디어가 변하지 않더라도, 이러한 선택이 실험에서 드러나는 승자를 규정할 수 있다.

가상의 팀이 새로운 아이디어 생성기를 기존 기준선과 비교한다고 가정해 보자. 팀은 제안을 고정한 채 평가기의 프레이밍을 바꾼다. 선호되는 생성기가 바뀐다면, 보고된 우위는 부분적으로 측정 절차에 의존한다.

이는 고의적 조작을 입증하지 않는다. 팀은 선의로 평가기를 선택하면서도 그 선택이 결과에 얼마나 큰 영향을 미치는지 과소평가할 수 있다. 위험은 누군가 유리한 제시 방식을 최적화하려 하기 전부터 발생한다.

따라서 LLM 신규성 판정기는 연구 시스템 간 비교에 또 하나의 불확실성 원천을 도입한다. 독자는 생성된 아이디어의 개선과 그러한 아이디어가 특정 판정기의 기대에 부합하는 방식의 개선을 구분해야 한다.

이 구분은 질문에 잘 답하는 것과 주제를 폭넓게 이해하는 것의 차이와 닮아 있다. 평가기는 특정 지시문 아래에서 그럴듯한 평가를 내릴 수 있지만, 다른 방어 가능한 표현 방식에서도 그 평가를 유지하지 못할 수 있다. 유창한 설명이 이러한 불일치를 해결하지는 못한다.

동일한 지시문 아래에서 반복적으로 일치한다고 해서 평가 설계 전반에 걸친 안정성이 입증되는 것도 아니다. 반복은 하나의 구성이 얼마나 일관되게 작동하는지를 시험한다. 구성을 바꾸는 것은 결론이 그 구성에 의존하는지를 시험한다.

두 질문 모두 중요하지만, 서로 다른 주장을 뒷받침한다. 신뢰할 수 있는 과학적 비교에는 어떤 종류의 일관성을 측정했는지에 대한 명확성이 필요하다. 그렇지 않으면 안정적인 출력이 독창성에 대한 안정적인 평가로 오인될 수 있다.

바로 이 지점에서 연구는 자동화된 발견에 가장 직접적인 도전을 제기한다. 평가가 어떤 제안이 다음 단계로 나아갈지를 통제한다면, 그 선호는 발견 과정의 일부가 된다. 순위 시스템은 신규성을 신뢰할 수 있게 측정하지 못하면서도 향후 연구의 방향에 영향을 줄 수 있다.

적절한 대응은 그러한 선호를 더 투명하게 드러내는 것이다. 독자는 제안과 점수를 연결하는 지시문, 증거, 의사결정 규칙을 식별할 수 있어야 한다. 이러한 맥락이 없다면, 겉보기 정밀성은 취약한 비교를 감출 수 있다.

전문 평가기도 동일한 증거 문제에 직면한다

문헌 워크플로를 추가하는 것만으로 독창성 판정이 더 큰 신뢰를 받을 만하다는 점이 입증되지는 않는다.

Ai2는 단순히 프롬프트를 적용한 Claude Opus 4.6 구성이 시험된 Idea Novelty Checker 및 AI Scientist 평가기보다 우수했다고 보고한다. 이 결과는 연구의 설정에서 신규성 평가에 관한 것이다. 해당 시스템들의 완전한 연구 역량을 순위화하는 것은 아니다.

이 비교는 전문 평가기와 범용 모델을 동일한 증거 기준 위에 놓는다. 특정 목적을 위해 구축된 워크플로도 자신이 수행한다고 주장하는 과제에 대해 검증이 필요하다. 아키텍처의 복잡성은 그 판단이 견고하게 유지된다는 증거를 대체할 수 없다.

평가 코드는 이러한 선택을 검토할 수 있는 구성과 실험 스크립트를 제공한다. 또한 학회 리뷰에서 벤치마크 자료를 수집하는 재사용 가능한 절차도 포함한다. 이 덕분에 이번 공개는 정적인 성능 차트보다 더 유용하다.

공개 구성은 다른 팀이 평가자가 실제로 어떤 정보를 받았는지 검토할 수 있게 한다. 이를 통해 기반 모델과 그 주변의 지침, 문헌 접근성, 의사결정 과정을 구분할 수 있다. 결과를 설명하려 할 때 이러한 세부 사항은 중요하다.

근본적인 과제는 검색과 판단이 서로 다른 질문에 답한다는 점이다. 검색 과정은 잠재적으로 관련 있는 자료를 찾아낸다. 참신성 평가는 그 자료에 제안된 기여가 이미 포함되어 있는지를 판단해야 한다.

검색된 논문은 제안과 어휘를 공유하면서도 핵심 아이디어를 미리 제시하지 않았을 수 있다. 다른 논문은 다른 용어를 사용하면서도 동일한 기여를 다룰 수 있다. 평가자는 피상적인 유사성으로 추론하는 대신, 둘 사이의 관계를 규명해야 한다.

검색 결과가 없을 때는 반대의 문제가 생긴다. 일치하는 논문을 찾지 못했다고 해서 일치하는 연구가 존재하지 않는다는 사실이 입증되는 것은 아니다. 검색 인터페이스가 설득력 있는 요약을 제공하더라도 이 논리적 공백은 남는다.

제품 구매자에게 시사점은 구체적이다. 학술 문헌을 검색하는 도구는 최종 독창성 판단이 무엇을 의미하는지 설명해야 한다. 관련 연구를 찾는 것, 중복을 식별하는 것, 선행 기여를 배제하는 것은 서로 다른 성취다.

개발자에게 압박이 되는 부분은 실패 분석이다. 평가자가 제안을 거부할 때는 그 설명이 이미 존재한다고 보는 기여를 식별해야 한다. 독창성을 인정할 때는 독자가 검토된 증거의 한계를 이해할 수 있어야 한다.

검색 가능한 지식 기반을 사용하는 연구팀도 이와 유사한 구분에 직면한다. 증거를 보존하고 검색하는 일은 조사를 뒷받침하지만, 그 증거는 여전히 평가가 필요하다. 문서에 접근할 수 있다고 해서 그 의미가 자동으로 확정되지는 않는다.

이 비교는 전문 평가자가 개선될 여지를 남긴다. 그 잠재적 가치는 관련 증거를 더 쉽게 검토하고 판단에 더 쉽게 이의를 제기할 수 있게 하는 데 있다. 이 연구는 문헌 지원 평가 자체를 종결하기보다, 근거 없는 확신에 압박을 가한다.

다음으로 의미 있는 경쟁 우위는 현실적인 입력과 정당화 가능한 구성 전반에서 올바른 판단을 유지하는 능력을 입증하는 데서 나올 것이다. 더 정교한 워크플로는 테스트를 통해 그 우위를 얻어야 한다.

벤치마크에는 해석을 바꾸는 한계가 있다

불안정성은 강력한 발견이지만, 연구 판단자에 대한 보편적 순위는 더 폭넓은 증거가 필요하다.

이 연구의 약한 라벨은 특히 주목할 만하다. 생성된 데이터 풀은 의도적으로 제한된 생성 조건에서 참신성이 낮다고 가정한다. 저자들은 모든 생성 아이디어에 독립적으로 확립된 라벨이 없다는 점을 인정하면서도, 전문가 검토가 그 가정을 뒷받침한다고 설명한다.

이로 인해 정확성과 불일치에 관한 별도의 질문이 생긴다. 정확성은 기준 답안이 올바른지에 달려 있다. 불일치는 구성이 동일한 자료에 대해 상충하는 답을 내놓는지 묻는다.

논쟁의 여지가 있는 라벨은 정확도 추정을 복잡하게 만들 수 있다. 하지만 서로 양립할 수 없는 판단을 일관되게 만들 수는 없다. 이 구분은 독자가 모든 벤치마크 라벨을 확정적인 것으로 받아들일 필요 없이 연구를 신중하게 해석할 근거를 제공한다.

인간 측면 역시 해석이 필요하다. 동료 심사자는 정보에 기반한 평가를 제공하지만, 그들의 합의는 과학사 전체를 망라한 검색이 아니라 독창성에 관한 증거다. 그러한 평가를 기반으로 구축된 벤치마크는 그 범위를 이어받는다.

연구 환경은 ICLR과 연관된 AI 연구에 더욱 집중되어 있다. 결론을 의학, 화학 또는 다른 분야로 확장하려면 추가 테스트가 필요하다. 분야마다 선행 연구를 조직하는 방식과 의미 있는 기여에 적용하는 기준이 다르다.

생성된 제안도 이를 만드는 시스템에 따라 달라진다. 단순한 생성기와 문헌 지원 연구 에이전트가 같은 종류의 아이디어를 만들 필요는 없다. 한 분포에서의 평가자 행동으로 다른 모든 분포에서의 행동을 확립할 수는 없다.

독자가 AI가 참신성을 인식할 수 없다는 포괄적 주장을 접할 때 이러한 한계는 중요하다. 증거는 더 좁은 결론을 뒷받침한다. 즉, 테스트된 평가는 설계 선택에 민감할 수 있으며, 겉으로 보이는 신뢰성이 환경 전반에 걸쳐 일관되게 이전되지는 않는다.

이 연구는 인간 평가가 완벽하다고도 입증하지 않는다. 특히 기여가 여러 분야를 넘나들 때 인간 전문가도 독창성에 관해 의견이 갈릴 수 있다. 중요한 비교 대상은 불확실성을 어떻게 조사하고 기록하는가다.

불일치를 드러내는 것과 이를 설명되지 않은 점수로 압축하는 것에는 의미 있는 차이가 있다. 시스템은 관련 선행 연구나 논쟁적인 기여를 드러낼 때 유용할 수 있다. 모든 제안에 명백한 이분법적 답이 있다고 가장할 필요는 없다.

이번 발표는 연구자들의 발견을 제시한 것이며, 벤치마크의 독립적 재현은 아니다. 균형 잡힌 보도를 꾸미기 위해 별도의 반응을 만들어내서는 안 된다. 지지할 만한 가능성과 회의적 해석은 존재하지 않는 논평가에게 귀속하지 않고도 평가할 수 있다.

지지하는 측의 주장은 공개 벤치마크가 더 나은 평가자 설계를 가능하게 한다는 것이다. 회의적인 측의 주장은 약한 라벨과 제한된 범위가 광범위한 결론을 제약한다는 것이다. 이 두 입장은 증거의 서로 다른 측면에 관한 것이므로 공존할 수 있다.

AI 연구 평가에서 정당화 가능한 대응은 주장을 실험이 측정하는 범위로 좁히는 것이다. 평가자 민감성은 주목할 가치가 있지만, 특정 벤치마크 결과를 모든 자동화 과학에 대한 판결로 바꿔서는 안 된다.

자동화된 참신성 주장을 더 신뢰할 수 있게 만드는 요소

다음으로 유용한 증거는 결론이 재현, 더 나은 라벨, 더 투명한 연구 워크플로를 거쳐도 유지되는지를 보여줄 것이다.

향후 몇 달 동안 주목할 첫 번째 신호는 독립적 재현이다. 외부 팀은 공개된 구성을 테스트하고 보고된 패턴이 지속되는지 살펴볼 수 있다. 일치하는 결과는 불안정성이 원래 실험의 구현을 넘어 확장된다는 신뢰를 높일 것이다.

다른 결과도 여전히 유익할 것이다. 이는 구성 세부 사항, 모델 행동 또는 실험 해석에 관한 의문을 제기할 것이다. 어느 결과든 근거를 조사하지 않은 채 헤드라인을 반복하는 것보다 더 유용하다.

재현은 점수를 재현하는 것과 그 근본 패턴을 재현하는 것을 구분해야 한다. 업데이트된 모델이 이전 수치와 정확히 일치할 필요는 없다. 더 중요한 질문은 정당화 가능한 평가 변경이 여전히 실질적 결론을 바꾸는지다.

두 번째 신호는 생성된 아이디어에 대한 더 강력한 주석이다. 더 폭넓은 전문가 평가는 어떤 제안이 참신하다고 간주되는지에 대한 가정 의존도를 낮출 것이다. 또한 전문가 의견이 갈리는 지점과 더 깊은 문헌 검토가 필요한 사례를 드러낼 것이다.

더 잘 확립된 라벨을 기준으로도 평가자 불안정성이 지속된다면 벤치마크는 강화될 것이다. 개선된 주석이 기준 답안을 바꾼다면 특정 정확도 주장은 약화될 것이다. 두 결과 모두 측정 불확실성과 평가자 오류를 구분하는 데 도움이 된다.

특히 유익한 확장은 더 유능한 연구 워크플로에서 나온 아이디어를 포함하는 것이다. 이를 통해 문헌 지원과 개선을 거친 생성 제안에서도 같은 문제가 나타나는지 테스트할 수 있다. 또한 평가는 자동화된 발견을 위해 제기된 주장에 더 가까워질 것이다.

세 번째 신호는 연구 제품이 증거와 불확실성을 더 명확하게 드러내는지 여부다. 사용자가 선행 연구를 검토하고 주장된 중복에 이의를 제기할 수 있을 때 독창성 점수는 더 쉽게 평가할 수 있다. 중요한 변화는 관찰 가능한 제품 행동일 것이다.

Ai2의 문헌 수정 연구는 관련 사례를 제시한다. LitPivot은 제안 수정안을 선별된 문헌과 연결하고, 연구자가 변경 수용 여부를 통제하도록 한다. 이들이 보고한 연구는 참신성 판단의 독립적 검증이 아니라 문헌 근거화에 관한 것이다.

이 구분은 유용한 방향을 보여준다. 시스템은 증거와 수정 선택을 명시적으로 드러내며 연구를 지원할 수 있다. 자동화된 독창성 판단을 확정된 과학적 결론으로 제시할 필요는 없다.

제품 시연은 성공 사례와 함께 어려운 사례를 보여줄 때 더 설득력 있을 것이다. 독자는 도구가 누락된 증거, 상충하는 논문, 불확실한 기여를 어떻게 처리하는지 확인해야 한다. 세련된 긍정 판정은 그러한 조건에 대해 거의 드러내지 못한다.

Ai2 참신성 벤치마크는 이러한 질문을 테스트할 수 있을 만큼 구체화한다. 그 가치는 연구자들이 또 하나의 고립된 점수를 홍보하는 대신 평가 선택을 조사하는 데 이를 사용하는지에 부분적으로 달려 있다. 가장 강력한 대응은 판단 환경이 바뀌어도 유용한 결론을 만들어낼 것이다.

자동화된 독창성 점수를 받아들이기 전에 제안, 선행 연구, 그리고 둘을 연결하는 판단을 살펴봐야 한다. 다른 정당화 가능한 프롬프트가 판정을 바꾸는지, 전문가들이 근본 비교에 동의하는지 물어야 한다. 이후 검토자가 주장을 재구성할 수 있도록 평가자의 버전과 증거를 결과와 함께 보관해야 한다. 불일치는 기여를 더 면밀히 조사해야 할 이유로 받아들여야 한다. 유용한 질문은 유창한 제시가 설득력을 잃은 뒤에도 아이디어가 검토를 견디는지 여부다. AI 순위를 사용해 어떤 연구가 추가 작업을 받을 가치가 있는지 결정하기 전에 공개된 사례를 읽고 그 판단을 뒷받침 증거와 비교해야 한다.