EIHR-PROT 단백질 기능 예측, 유사성이 신뢰할 만한지 판단하다
EIHR-PROT 연구진은 모델이 일치하는 단백질에 부여하는 가중치를 바꿔 단백질 기능 예측을 개선했다고 보고했지만, 더 단순한 대안도 여전히 경쟁력을 보였다. EIHR-PROT 단백질 기능 예측 연구는 중요한 판단을 다룬다. 잘 알려지지 않은 단백질은 더 잘 이해된 관련 단백질의 정보를 어느 정도까지 물려받아야 할까?
이 연구는 나이지리아 Covenant University의 Oluranti Jonathan과 Osalodion E. Uwidia가 수행했다. 논문은 2026년 11월 2일 BMC Bioinformatics에 게재됐다. 핵심 비교 대상은 학습된 서열 패턴과 유사 단백질에서 검색한 정보를 결합하는 서로 다른 방식이다.
DeepGOPlus는 이미 이러한 증거원을 결합하는 방식이 도움이 될 수 있음을 보여줬다. 새 질문은 단백질마다 그 결합 방식이 어떻게 달라져야 하는지에 관한 것이다. 실험을 선택하는 연구자와 주석 소프트웨어를 만드는 개발자에게 이 차이는 중요하다. 유사성을 인식하는 일과 그것을 얼마나 신뢰할지 판단하는 일은 별개의 결정이기 때문이다.
EIHR-PROT 단백질 기능 예측은 증거 가중치를 명시적으로 다룬다
변화의 핵심은 완전히 새로운 생물학 정보원을 발견한 것이 아니라, 증거가 예측에 기여하는 방식에 있다.
상동성은 공통의 진화적 조상을 뜻하며, 연구자들은 서열 유사성 등의 증거를 이용해 이를 추론한다. 이 관계는 기능이 기록된 관련 단백질을 통해 낯선 단백질을 조사하는 데 도움이 될 수 있다. 그러나 유사성만으로 단백질의 기능에 관한 모든 질문이 해결되는 것은 아니다.
EIHR-PROT는 훈련된 수학적 모델이 생성한 신경망 예측과 서열 일치에서 얻은 기능 정보를 결합한다. 결합 가중치를 부여하는 구성 요소인 학습형 게이트는 이러한 일치 항목에 관한 명시적 정보를 활용한다.
게이트는 최대 정렬 bitscore, 최대 쿼리 커버리지, 변환된 유지 히트 수, 유지된 일치 항목의 존재 여부라는 네 가지 신호를 받는다. Bitscore는 정렬 강도를 측정하고, 커버리지는 정렬이 쿼리 서열 중 얼마를 포괄하는지 설명한다. 유지 히트는 검색 파이프라인의 필터링을 통과한 일치 항목이다.
단백질 기능 연구에 따르면, 이 설계는 일부 비교에서 성능을 개선했지만 다른 평가 조건에서는 대안들도 경쟁력을 유지했다.
이 구분은 이 기여를 이해하는 방식을 바꾼다. 연구진은 검색된 증거의 설명이 모델이 입력을 결합하는 데 도움이 되는지를 시험하고 있다. 일치하는 단백질이 신뢰할 수 있는 생물학 지식을 제공한다는 일반적 보증을 제시하는 것은 아니다.
기술 문서를 읽는 상황에서 비유를 찾을 수 있다. 특정 구성 요소를 언급하는 문서는 그 구성 요소에 관한 결론을 뒷받침할 수 있다. 반면 그 구성 요소의 전체 동작을 다루는 문서는 판단을 위한 다른 근거를 제공한다. 어느 문서를 찾든 유용하지만, 둘을 동등한 증거로 취급하면 중요한 차이가 사라진다.
단백질 서열에는 문서 판단이 아니라 생물학적 평가가 필요하므로, 이 비유에는 한계가 있다. 그럼에도 검색된 일치 항목에 관한 정보가 그 항목에서 전달되는 내용과 함께 중요할 수 있다는 아키텍처 선택을 포착한다.
이는 연구를 익숙한 두 가지 단순화 사이에 놓는다. 하나는 모델에 증거 결합 방식 추론의 폭넓은 책임을 부여한다. 다른 하나는 단백질 전반에 공통의 결합 규칙을 적용한다. 명시적 신뢰도 신호는 그 결정을 안내하는 추가 방법을 제시한다.
실질적 질문은 이러한 추가 입력이 연구팀이 필요로 하는 영역에서 신뢰할 만한 개선을 만드는지다. 아키텍처 설명은 한 방법이 평가받을 가치가 있는 이유를 보여준다. 모든 배포 환경이 이를 채택해야 한다는 점까지 입증하지는 않는다.
이 때문에 이 논문은 증거 처리 방식에 관한 연구로 의미가 있다. AI가 이제 생물학적 유사성이 언제 오해를 낳는지 이해한다는 일반적 주장보다 그 범위는 좁다.
단일 점수로는 해결할 수 없는 결정에 직면한 주석 팀
직접적인 부담은 예측 기능을 연구 우선순위로 전환하는 팀에 놓인다.
단백질 주석은 단백질의 활동, 역할 또는 위치에 관한 설명을 부여하는 일이다. 이러한 설명은 연구자가 생물학 지식을 체계화하는 데 도움을 준다. 또한 팀이 다음에 조사할 질문의 방향을 결정한다.
Gene Ontology 프레임워크는 분자 기능, 생물학적 과정, 세포 구성 요소를 구분한다. 분자 기능은 활동을 설명하고, 생물학적 과정은 더 넓은 프로그램을 설명하며, 세포 구성 요소는 활동이 일어나는 위치를 설명한다.
이러한 범주는 모델 품질을 지나치게 단순하게 해석하기 어렵게 만든다. 화학적 활동에 관한 예측이 그 활동이 어디에서 일어나는지까지 자동으로 답해주지는 않는다. 더 광범위한 생물학적 역할은 또 다른 질문을 낳는다.
낯선 효소, 즉 화학 반응을 촉진하는 단백질을 평가하는 가상의 연구팀을 생각해 보자. 이 팀은 적절한 실험을 고르려 한다. 폭넓은 활동 예측은 탐색 범위를 좁히는 데 도움이 될 수 있지만, 지나치게 구체적인 예측은 부적절한 분석법을 선택하게 할 수 있다.
분석법은 생물학적 행동을 검사하는 실험적 시험이다. 특히 특정 반응을 암시하는 라벨인 경우, 분석법 선택에는 순위가 매겨진 라벨 이상의 정보가 필요하다. 모델의 유용성은 그 출력이 내려야 하는 결정을 얼마나 뒷받침하는지에 일부 좌우된다.
이 예시는 가능한 활용 사례일 뿐, 보고된 EIHR-PROT 배포 사례는 아니다. 현재 이용 가능한 연구는 실험실이 이 모델을 사용해 특정 효소나 의약품을 발견했다는 점을 입증하지 않는다.
주석 팀에게 관련된 부담은 어떤 예측이 추가 관심을 받을 만한지 평가하는 일이다. 집계 성능을 개선하는 방법도 증거가 부족하거나 모호하거나 충분히 구체적이지 않은 경우에는 여전히 면밀한 검토가 필요하다.
연구 도구에 예측을 내장하는 소프트웨어 개발자에게도 같은 논리가 적용된다. 깔끔한 인터페이스는 제안된 기능이 확정된 것처럼 보이게 할 수 있다. 증거 맥락 없이 제시하면 모델이 뒷받침하는 수준보다 더 강한 결론을 유도할 위험이 있다.
따라서 개발자는 모델링 결정과 함께 제품 결정에도 직면한다. 사용자가 제안의 근거를 검토하고 해결되지 않은 불일치를 인식할 수 있도록 할지 결정해야 한다.
연구 관리자에게 결과는 자원 배분과 관련된다. 예측은 탐색의 근거가 될 수 있지만, 확정적 투자의 근거가 되지는 않을 수 있다. 후보를 제안하는 기준은 그 기능이 확립됐다고 간주하는 기준과 달라야 한다.
이러한 구분은 지금 증거 가중치가 주목받을 만한 이유를 설명한다. 더 많은 정보를 결합한다고 해서 특정 답변에서 어떤 정보가 우세해야 하는지 결정할 필요가 사라지는 것은 아니다.
EIHR-PROT는 그 결정을 모델 아키텍처 안에 넣는다. 연구팀은 그 결과 예측이 자신들에게 무엇을 허용하는지 판단할 책임을 여전히 가진다.
따라서 이 연구는 더 까다로운 채택 질문을 제기한다. 팀은 어떤 방법이 가장 높은 순위를 차지하는지만 묻기보다, 어떤 방법이 실제 워크플로에 필요한 결정을 개선하는지 물어야 한다.
학습된 서열 패턴과 검색된 일치 항목은 서로 다른 검토가 필요하다
핵심 경쟁은 AI와 기존 서열 검색 간의 대결이 아니라, 증거를 결합하는 방식들 간의 대결이다.
DeepGOPlus는 유용한 역사적 기준점이다. 이 하이브리드 기능 예측기는 신경망의 서열 기반 예측과 유사 단백질에서 도출한 예측을 결합한다. 따라서 학습된 패턴과 검색된 생물학 정보를 혼합하는 방식은 EIHR-PROT보다 앞선다.
이러한 역사는 새 연구를 과장해 해석하는 일을 막는다. 신경망 모델에 유사성 정보를 더하는 것 자체가 전체 기여는 아니다. 더 구체적인 제안은 이용 가능한 일치 항목의 명시적 설명을 바탕으로 결합 방식을 조건화하는 데 있다.
고정 결합은 각 증거원이 얼마나 기여해야 하는지에 관한 공통 정책을 표현한다. 서열 조건부 결합은 단백질 서열에 표현된 정보를 사용해 이 정책을 바꾼다. 신뢰도 조건부 결합은 검색 결과 자체에 관한 정보를 제공한다.
이 설계들은 서로 다른 가정을 담고 있다. 고정 정책은 공통 균형이 평가 대상 집단 전반에서 충분히 잘 작동하는지를 묻는다. 더 적응적인 정책은 추가 구분이 개별 입력에 대한 결정을 개선하는지를 묻는다.
어느 접근법도 복잡성만으로 승리하지는 않는다. 추가 유연성은 그 입력이 유용한 무언가를 설명할 때 도움이 될 수 있다. 반대로 특정 팀에 중요한 결과를 개선하지 못한 채 구조만 더할 수도 있다.
EIHR-PROT의 서열 분기는 아미노산 서열의 패턴을 표현하도록 훈련된 단백질 언어 모델인 ESM-2를 사용한다. 아미노산은 단백질 서열을 이루도록 배열되는 분자적 구성 요소다.
이전의 단백질 언어 모델링 연구는 학습된 서열 표현이 단백질 구조 예측에 유용한 정보를 포착할 수 있음을 보여줬다. 이는 이러한 표현을 후속 생물학 작업에 사용하는 맥락을 제공한다.
임베딩은 입력의 수치적 표현이다. 이 환경에서 임베딩은 기능 예측기에 서열에 대한 학습된 설명을 제공한다. 이는 특정 일치 단백질에 관한 검색 기록과는 다르다.
이 차이는 증거원이 서로 다른 질문에 답하기 때문에 중요하다. 학습된 표현은 훈련 중 포착된 패턴을 설명한다. 검색은 참조 컬렉션에서 발견된 일치 항목과 연관된 정보를 제공한다.
이를 결합하면 일치와 불일치의 가능성이 생긴다. 둘 다 양립 가능한 기능을 제안하면 시스템은 수렴하는 신호를 받는다. 제안이 엇갈리면 결합 규칙은 특히 중요해진다.
그러나 일치를 자동으로 독립적인 확인으로 취급해서는 안 된다. 연구자들은 정보원이 기저 데이터나 가정을 공유하는지 검토해야 한다. 그렇지 않으면 겉보기의 뒷받침을 과도하게 해석하기 쉬워질 수 있다.
이는 평가 시 고려할 사항이지, EIHR-PROT가 특정 의존성 문제를 겪는다는 발견은 아니다. 이는 출력이 운영상 권위를 갖기 전에 모든 결합 시스템이 받아야 할 검토를 설명한다.
이 아키텍처는 단백질 구조와 관련한 경계도 부각한다. 평가에는 AlphaFold 구조와 연관된 단백질이 포함되지만, EIHR-PROT의 설명된 입력은 서열 표현과 상동성 정보를 결합한다.
따라서 독자는 이 연구를 AlphaFold의 구조 예측과의 경쟁으로 재구성하지 않아야 한다. 핵심 비교는 기능을 부여하고 그 증거를 결합하는 방법에 관한 것이다.
더 큰 공학적 교훈은 구체적이다. 모델은 증거 자체와 그 증거를 설명하는 정보를 모두 받을 수 있다. 두 번째 범주가 성능을 개선하는지는 여전히 경험적으로 검증해야 할 질문이다.
보고된 개선 효과는 비교 방식에 따라 달라진다
가장 강한 해석은 모든 결합 전략보다 보편적으로 우수하다는 뜻이 아니라, 조건부 개선이라는 것이다.
저자들은 EIHR-PROT를 Protein Data Bank 및 저상동성 AlphaFold 테스트 세트에서 평가했다. 여기서 저상동성은 활용할 수 있는 유사성 관계가 더 제한적인 평가 환경을 뜻한다.
보고된 Fmax 점수는 Protein Data Bank 세트에서 각각 0.604, 0.731, 0.676이었다. 이에 대응하는 AlphaFold 결과는 0.425, 0.507, 0.564였다. 순서는 생물학적 과정, 분자 기능, 세포 구성 요소다.
Fmax는 정밀도와 재현율의 균형을 나타내는, 평가된 F-score 가운데 가장 높은 값이다. 정밀도는 예측된 라벨이 얼마나 정확한지를, 재현율은 시스템이 참조 라벨을 얼마나 많이 찾아내는지를 의미한다.
저자들은 DeepGOPlus와 TALE+를 포함한 평가 기준선 대비 우위를 보고했다. 시퀀스 조건부 게이팅과 비교했을 때 개선은 생물학적 과정과 분자 기능에서 가장 뚜렷했다. 고정형 및 동일성 조건부 융합과의 비교 결과는 데이터세트와 지표에 따라 달랐다.
이 결과가 뒷받침하는 결론은 분명하다. 증거 융합에서는 명시적인 신뢰도 입력을 고려할 가치가 있다. 그렇다고 보고된 모든 개선을 서로 동일하게 취급해도 된다는 뜻은 아니다.
벤치마크 점수는 정해진 평가 절차 아래에서의 동작을 설명한다. 그것이 실험실에서 유용한 실험을 선택하는 빈도를 직접 말해주지는 않는다. 두 주장 사이를 연결하려면 추가 증거가 필요하다.
이 구분은 모델이 여러 가능한 기능을 반환할 때 특히 중요하다. 어떤 연구팀은 가장 높은 순위의 제안을 가장 중요하게 볼 수 있다. 다른 팀은 이후 스크리닝을 위해 더 폭넓은 후보 범위를 선호할 수 있다.
두 팀이 같은 평가 결과를 검토하더라도 이러한 우선순위는 서로 다른 선택으로 이어질 수 있다. 방법의 실질적 가치는 어떤 오류의 비용이 큰지, 어떤 누락이 허용 가능한지에 달려 있다.
임곗값 선택도 추가로 고려해야 한다. 임곗값은 어떤 예측을 유지할지 결정하는 점수 경계다. 이를 높이거나 낮추면 불확실한 제안을 포함하는 것과 잠재적으로 유용한 제안을 제외하는 것 사이의 균형이 달라진다.
평가된 여러 임곗값 전반에서 나온 최고 점수를 즉시 적용 가능한 운영 정책으로 오해해서는 안 된다. 실제 배포 시스템에는 사용자가 정답을 알기 전에 적용할 수 있는 정책이 필요하다.
더 어려운 평가도 신중하게 해석할 필요가 있다. 경쟁력 있는 더 단순한 대안이 존재한다는 사실은 추가 적응만으로 모든 까다로운 사례가 해결되는 것은 아님을 보여준다. 이는 연구의 의미를 없애지 않으면서 주장의 범위를 좁힌다.
실제로 강력한 대안은 비교를 더 유익하게 만든다. 복잡성 자체가 정당화 근거가 되는 대신, 신뢰도 조건화가 가치를 더하는 상황에 주목하게 만들기 때문이다.
논문은 유지된 히트의 동일성 그룹 전반에서 평균 상동성 가중치의 변화가 제한적이었다고도 보고한다. 가장 큰 변화는 히트가 전혀 남지 않았을 때 나타났다.
시퀀스 동일성은 정렬된 위치 중 일치하는 아미노산을 포함한 비율을 설명한다. 그 그룹 전반에서 가중치 변화가 제한적이라는 점은 더 먼 일치 항목을 점진적으로 더 불신한다는 단순한 설명을 어렵게 만든다.
이 관찰만으로 모든 예측을 좌우하는 요인을 식별할 수는 없다. 그룹 평균은 개별 차이를 가릴 수 있다. 다만 독자가 깔끔하게 단계화된 생물학적 신뢰 척도를 상상하지 말아야 하는 이유는 분명히 보여준다.
유용한 후속 연구는 가중치 변화를 식별 가능한 오류 패턴과 연결하는 것이다. 그러면 게이트가 의도된 연구 결정에 중요한 구분에 반응하는지 분명해질 것이다.
가시적인 가중치가 생물학적 확실성을 입증하지는 않는다
모델이 입력을 결합하는 방식을 보여주면 검토 가능성은 높아지지만, 개별 예측이 정확하다는 사실까지 입증하지는 않는다.
이 프로젝트의 prediction implementation은 브랜치 확률과 게이트 가중치를 포함하는 출력을 문서화한다. 학습과 평가를 반복하기 위한 리소스도 제공한다.
이러한 출력은 연구자에게 구체적인 검토 기반을 제공한다. 예측이 학습된 시퀀스 브랜치와 상동성 브랜치 중 어느 쪽에 더 크게 의존했는지 확인할 수 있다.
그러나 혼합 가중치는 모델 동작에 관한 질문에 답한다. 그것이 단백질에 부여된 생물학적 기능을 독립적으로 검증하는 것은 아니다. 가중치를 정확성 보장으로 취급하면 출력이 입증하지 않는 주장을 덧붙이게 된다.
캘리브레이션은 예측 신뢰도와 관찰된 정확성 사이의 일치를 의미한다. 시스템은 내부 가중치를 공개하면서도 신뢰도 값이 이러한 특성을 지닌다는 사실을 입증하지 못할 수 있다.
이는 수치를 신뢰할 수 있음 또는 불확실함 같은 라벨로 바꾸는 인터페이스에서 중요하다. 그러한 라벨에는 별도의 검증이 필요하다. 그렇지 않으면 설계 선택이 모델 구성 요소를 근거 없는 보증으로 조용히 바꿔버릴 수 있다.
참조 컬렉션도 또 하나의 실질적인 경계를 만든다. 리포지터리는 상동성 데이터베이스를 변경하려면 재학습이 필요하다고 명시한다. 따라서 증거 출처와 학습된 혼합 동작은 자동으로 서로 교체 가능한 구성 요소로 취급할 수 없다.
적응을 고려하는 팀에는 이것이 유지관리 문제를 제기한다. 검색 시스템에 제공되는 자료를 갱신하면 시스템이 반환하는 증거가 달라질 수 있다. 이전 결과가 변함없이 이전된다고 가정하기보다, 평가는 그 변화를 반영해야 한다.
구현은 또한 1,022개 아미노산을 초과하는 시퀀스의 절단을 문서화한다. 절단은 입력을 지원되는 길이로 잘라내는 것을 의미한다.
이 제한의 영향을 받는 단백질의 경우, 사용자는 시퀀스 브랜치가 실제로 어떤 정보를 받는지 조사해야 한다. 전체 단백질에 관한 예측이 그 예측을 생성하는 데 사용된 입력의 제한을 가려서는 안 된다.
이는 모든 장단백질 예측이 실패한다는 증거가 아니라 적합성에 관한 고려 사항이다. 특정 컬렉션에 모델을 채택하기 전에 팀이 확인할 수 있는 구체적인 조건을 제시한다.
주석 자체도 추가적인 불확실성을 도입한다. Gene Ontology의 annotation principles는 누락된 주석이 기능의 부재를 입증하지 않는다고 설명한다. 그 기록은 뒷받침 증거의 유형도 구분한다.
이 원칙은 겉보기 예측 오류를 해석할 때 중요하다. 누락된 참조 라벨과 실험적으로 기각된 기능은 서로 다른 상황이다. 평가 결과는 이러한 구분을 염두에 두고 읽어야 한다.
반대로, 불완전성이 참조 세트와의 모든 불일치를 정당화할 수는 없다. 연구자에게는 예상 밖의 예측을 자동으로 발견으로 취급하는 대신, 불일치를 검토할 수 있는 타당한 절차가 필요하다.
실질적인 대응은 예측, 이를 뒷받침하는 증거, 후속 검토 사이의 연결을 보존하는 것이다. 이 연결이 사라지면 모델 오류와 누락된 지식을 구분하기가 더 어려워진다.
이러한 기록을 유지하는 팀은 searchable knowledge base 안에서 평가 노트를 정리할 수 있다. 특히 방법이나 참조 컬렉션이 바뀔 때 결정 전반의 추적 가능성을 확보하는 것이 목표다.
공개된 구현은 검증 시도를 더 쉽게 만든다. 독립적 재현과 생물학적 검증은 원래 평가만으로 제공할 수 없는 증거를 여전히 보완해야 한다.
독립 테스트, 데이터베이스 변경, 실험 후속 검증을 지켜봐야 한다
다음으로 유용한 증거는 모델의 혼합 결정과 원래 비교를 넘어선 결과를 연결할 것이다.
향후 몇 달 동안 가장 먼저 지켜볼 신호는 경쟁력 있는 대안과의 독립 평가다. 다른 그룹이 자체적으로 관련 있는 조건에서 우위가 유지되는지 시험해야 한다.
결정적인 결과는 단순히 결합 모델이 약한 기준선을 이긴다는 사실을 반복하는 데 그치지 않을 것이다. 동일한 증거를 결합하는 더 단순하고 잘 조정된 방식보다 명시적 신뢰도 신호가 어디에서 개선을 제공하는지 보여줄 것이다.
반복적으로 나타나는 우위는 추가 장치를 채택해야 한다는 근거를 강화할 것이다. 엇갈린 결과는 유용한 적용 범위를 정의하는 데 도움이 될 것이다. 개선 효과를 재현하지 못하면 더 넓은 실용적 가치에 대한 신뢰는 약화될 것이다.
이는 평가 우선순위이지 발표된 이정표는 아니다. 이용 가능한 출처는 예정된 독립 재현이나 향후 벤치마크 결과를 입증하지 않는다.
두 번째 신호는 참조 데이터베이스가 변경될 때의 동작이다. 구현이 데이터베이스 수정과 재학습을 연결하므로, 이는 유지관리 가능성에 관한 직접적인 질문이다.
연구자들은 서로 다른 컬렉션을 위해 증거 출처를 다시 구축한 뒤에도 방법이 유용한지 검토해야 한다. 비교 가능한 평가 조건을 유지하는 데 필요한 노력도 평가해야 한다.
개선이 그러한 적응 후에도 유지된다면, 이 방법은 재사용 가능한 접근법으로서 신뢰도를 얻는다. 개선이 사라진다면 원래 결과는 특정 데이터 환경에 더 긴밀하게 묶이게 된다.
그 결과가 원래 실험을 무효화하는 것은 아니다. 다만 단백질이 평가 컬렉션과 다른 팀의 도입 결정은 달라지게 된다.
세 번째 신호는 특정 예측에 대한 실험적 후속 검증이다. 실험실 연구는 제안된 기능이 관찰된 동작과 일치하는지 조사할 수 있다.
가장 유익한 사례는 모델이 왜 특정 후보를 선택했는지, 그리고 그 선택이 더 단순한 대안과 어떻게 달랐는지를 설명할 것이다. 성공하지 못한 후보를 보고하는 것도 독자가 실질적 유용성을 판단하는 데 도움이 된다.
검증된 후보는 그것을 만들어낸 워크플로를 뒷받침할 것이다. 그렇다고 관련 없는 단백질이나 기능 범주 전반에서 보편적인 신뢰성을 입증하는 것은 아니다.
개발자에게 시사하는 바는 중요한 결과를 초래하는 결정에 맞춰 평가를 설계해야 한다는 것이다. 유용한 도구는 제안이 탐색을 뒷받침하는 경우와 더 강한 증거가 여전히 필요한 경우를 사용자가 알아볼 수 있도록 해야 한다.
연구 구매자에게 시사하는 바는 통합 전에 적합성을 물어야 한다는 점이다. 관련 질문은 단백질 컬렉션, 기능 범주, 참조 데이터베이스, 허용 가능한 오류에 관한 것이다.
EIHR-PROT 단백질 기능 예측 연구는 이러한 질문에 구체적인 아키텍처적 초점을 제공한다. 이는 모델이 검색하는 증거에 대한 명시적 설명으로부터 이점을 얻는지 묻는다.
이 아이디어를 연구 워크플로에 적용하기 전에, 대표적인 컬렉션에서 이용 가능한 대안을 비교하라. 예측, 혼합 가중치, 참조 버전, 후보 선택 이유를 보존하라. 탐색을 이끄는 제안과 실험으로 뒷받침되는 주장을 구분하라. 특히 신뢰도 높은 출력이 제한적인 일치 증거에 의존하는 경우에는 불일치를 면밀히 살펴라. 그런 다음 추가적인 신뢰도 입력이 중요한 결정을 더 나은 방향으로 바꿨는지 물어보라. 이것이 이 연구를 따라가는 데 유용한 기준이다. 즉, 증거를 다루는 방식이 남아 있는 불확실성을 보이게 유지하면서 연구자가 무엇을 조사할지 선택하는 데 도움이 되는가?
