HierHGT-DTI 콜드스타트 예측, 신약 발견의 가장 어려운 시험을 겨냥하다
새로운 동료 심사 연구에 따르면, HierHGT-DTI의 콜드스타트 예측은 미지의 단백질 표적이 포함된 주요 시험에서 6개 비교 모델을 앞섰다. 이 결과는 계산 신약 발견에서 까다로운 문제를 다룬다. 모델은 시험 데이터가 학습 사례와 유사할 때 좋은 성능을 보이는 경우가 많다. 그러나 표적에 기록된 상호작용 이력이 없으면 정확도는 크게 떨어질 수 있다.
중국남방의과대학의 연구자 Zhangben Chen과 Yaping Wan은 HierHGT-DTI를 개발했다. 이 시스템은 화학 구조와 단백질 서열 정보를 하나의 유형화된 다중 스케일 그래프 안에서 결합한다. 이후 후보 약물과 단백질이 상호작용하는지를 예측한다.
쟁점은 단순히 HierHGT-DTI와 다른 모델 간의 대결이 아니다. 이는 전이 가능한 분자 추론과, 부분적으로 익숙한 화합물·단백질·화학 골격을 기반으로 한 벤치마크 성공의 대결이다. 이 모델은 단백질 식별 정보를 학습에서 제외했을 때 가장 큰 우위를 보였다. 하지만 여러 결과는 이러한 점수만으로 실험실에서의 유용성을 입증할 수 없는 이유도 보여준다.
단백질 이력이 사라진 환경에서 승리한 HierHGT-DTI
중요한 결과는 모델의 전체 순위가 아니다. 가장 큰 성능 격차가 나타난 곳이다.
동료 심사 연구는 2026년 9월 14일 BMC Bioinformatics에 게재됐다. Chen과 Wan은 DrugBank, BioSNAP, BindingDB에서 HierHGT-DTI를 평가했다. 이 공개 데이터셋에는 약물과 단백질 표적 사이에 기록된 연관성이 담겨 있다.
연구진은 세 가지 평가 환경을 사용했다. 무작위 분할은 상호작용 쌍을 학습, 검증, 시험 그룹에 분산한다. 따라서 익숙한 약물과 단백질이 분할 양쪽에 모두 나타날 수 있다.
콜드드러그 분할은 학습에서 완전한 약물 식별 정보를 제외한다. 콜드프로틴 분할은 단백질 서열에 대해 같은 방식을 적용한다. 세 번째 환경은 확립된 리간드 데이터가 없는 새롭게 주목받는 표적을 가장 가깝게 나타낸다.
약물-표적 상호작용, 즉 DTI 예측은 특정 단백질과 상호작용할 가능성이 높은 화합물의 순위를 매긴다. 이는 임상 효능을 입증하지 않으며, 물리적 결합조차 확인하지 않는다. 대신 생화학 또는 세포 실험으로 보낼 후보 목록을 좁힐 수 있다.
HierHGT-DTI는 DrugBank와 BioSNAP의 6개 무작위 및 콜드스타트 환경 모두에서 1위를 차지했다. 연구진은 하나의 유리한 초기화에 대한 의존도를 줄이기 위해 무작위 시드 5개로 평가를 반복했다.
DrugBank의 콜드프로틴 시험에서 이 모델은 AUROC 0.864와 AUPR 0.878을 기록했다. AUROC는 서로 다른 임계값에서 양성과 음성 사례 전반의 순위 성능을 측정한다. AUPR은 검색된 양성 사례의 정밀도에 중점을 두므로, 양성 사례가 적을 때 유용하다.
DrugBank에서 가장 강력한 기준선은 콜드프로틴 AUROC 0.776에 도달했다. 따라서 HierHGT-DTI는 8.8%포인트 앞섰다. AUPR 우위는 7.9포인트였다.
BioSNAP 결과도 같은 방향을 보였다. HierHGT-DTI는 콜드프로틴 AUROC 0.863과 AUPR 0.866을 기록했다. 가장 강력한 기준선 AUROC는 0.805로, 5.8포인트 차이가 났다.
이 격차는 익숙한 시험 데이터에서 모델들을 가르는 일반적인 소수점 단위 차이보다 컸다. 또한 DrugBank와 BioSNAP 벤치마크 계열 전반에 적용한 연구의 다중 비교 보정 이후에도 유지됐다.
BindingDB에서는 결과가 덜 निर्ण정적이었다. HierHGT-DTI는 0.681로 가장 높은 콜드프로틴 AUPR을 달성했다. 그러나 HiGraphDTI는 0.831 대비 0.835로 약간 더 높은 콜드프로틴 AUROC를 기록했다.
HiGraphDTI는 BindingDB의 무작위 및 콜드드러그 환경에서도 앞섰다. 이 모델의 무작위 AUROC와 AUPR은 각각 0.934와 0.837이었다. HierHGT-DTI는 0.932와 0.829를 기록했다.
이러한 혼합된 결과는 중요하다. 새 모델의 가장 강력한 근거는 미지의 단백질에 대한 후보 우선순위 선정에 집중된다. 약물-표적 예측 과제 전반에서 보편적 우위를 확립한 것은 아니다.
세 데이터셋도 상당히 다르다. DrugBank에는 양성 사례 17,250개를 포함해 정제된 쌍 34,748개가 있었다. BioSNAP에는 27,457개 쌍과 양성 사례 13,830개가 있었다.
BindingDB에는 24,743개 쌍이 있었지만 양성 사례는 5,784개에 불과해 양성 비율이 23.4%였다. DrugBank와 BioSNAP은 모두 50%에 가까웠다.
AUPR은 양성 사례의 유병률에 따라 달라진다. 따라서 원시 값은 데이터셋 간이 아니라 데이터셋 내부에서 비교해야 한다. 연구는 이 제약을 명시적으로 인정했다.
저자들은 HierHGT-DTI를 MolTrans, TransformerCPI, DrugBAN, DO-GMA, GeNNius, HiGraphDTI와 비교했다. 이 기준선들은 서열 모델, 어텐션 시스템, 그래프 기반 접근법을 포괄한다.
이는 무관한 논문에서 복사한 결과를 비교하는 것보다 더 강력한 시험이다. 모든 모델은 일치하는 데이터 분할과 동일한 5개 시드를 사용했다. 이러한 일관성은 오해를 부르는 성능 차이의 여러 흔한 원인을 줄인다.
그러나 일치된 벤치마크도 여전히 벤치마크다. 점수는 모델이 큐레이션된 사례와 표본 추출된 미표지 쌍의 순위를 매기는 능력을 측정한다. 선도적인 예측이 검증된 의약품이 되는지를 보여주지는 않는다.
콜드프로틴 예측이 실제 압박을 만드는 이유
미지의 단백질에서 실패하는 모델은 생물학이 알려진 리간드가 없는 표적을 드러낼 때 제한적인 도움만 제공한다.
무작위 시험 분할은 분자 예측을 실제 적용보다 쉬워 보이게 할 수 있다. 시스템은 반복적으로 등장하는 단백질, 관련 화합물 또는 익숙한 화학 골격을 활용할 수 있다. 낯선 생물학으로 의미 있는 도약을 하지 않고도 제외된 쌍의 순위를 매길 수 있다.
이 우려는 HierHGT-DTI보다 앞선다. 벤치마크 암기에 관한 연구는 리간드 기반 시험이 학습 화합물과의 유사성에 보상할 수 있음을 보여줬다. 따라서 높은 무작위 분할 정확도는 일반화 능력을 과대평가할 수 있다.
콜드스타트 문제는 이러한 지지 요소 일부를 제거한다. 콜드프로틴 평가에서는 모든 시험 단백질 서열이 학습과 검증에서 제외된다. 모델은 다른 곳에서 학습한 패턴을 전이해야 한다.
이 환경은 인간 프로테옴 중 일부만이 확립된 약물의 표적이기 때문에 중요하다. 이전 연구는 승인 약물 및 임상 단계 치료제와 연관된 제한된 단백질 집합을 지도화했다. 또한 치료적 관련 가능성이 있는 다수의 미개척 표적을 확인했다.
표적은 유전학, 질병 생물학, 내성 연구 또는 새로운 경로 증거를 통해 관심을 끌 수 있다. 그러나 전통적인 지도학습 모델에 충분한 시험 리간드가 없을 수도 있다.
이는 상호작용 이력을 중심으로 구축된 모든 DTI 시스템에 압박을 가한다. 가장 새로운 표적은 대개 표지가 가장 희소한 표적이기도 하다. 과거 표지에 크게 의존하는 방법은 발견 팀이 우선순위 선정을 가장 필요로 하는 곳에서 가장 약해진다.
HierHGT-DTI는 증거의 원천을 상호작용 이력에서 벗어나게 하려 한다. 화학 구조를 텍스트로 인코딩하는 약물의 SMILES 표현을 사용한다. 표적의 아미노산 서열도 사용한다.
이 모델은 실험적으로 규명된 3차원 단백질 구조를 필요로 하지 않는다. 대신 생물학적 서열에서 패턴을 학습하도록 훈련된 단백질 언어 모델인 ESM-2를 사용한다.
연구는 소형 800만 파라미터 ESM-2 변형을 사용했다. 이는 각 잔기에 대해 320차원 표현을 생성했다. 같은 모델은 잔기 간의 가능성 높은 관계를 설명하는 예측 접촉 지도도 생성했다.
이 선택은 알려진 서열은 있지만 실험 구조가 없는 단백질에 시스템을 더 쉽게 적용할 수 있게 한다. 동시에 일부 겉보기 지능은 새로운 그래프 아키텍처만이 아니라 사전학습된 단백질 표현에서 비롯된다는 뜻이기도 하다.
저자들은 이 구분을 인정했다. 이들은 동일한 ESM-2 임베딩을 사용하는 더 단순한 예측기를 요구했다. 이러한 비교는 콜드프로틴 성능 향상 중 어느 정도가 그래프 설계에서 오는지를 분리할 수 있다.
콜드드러그 평가는 또 다른 복잡성을 제시한다. 제외된 분자는 학습 화합물과 화학적으로 유사하게 남을 수 있다. 연구의 전통적인 DrugBank 및 BioSNAP 콜드드러그 분할에서 시험 화합물의 절반 이상은 학습 또는 검증 데이터와 Bemis-Murcko 골격을 공유했다.
Bemis-Murcko 골격은 분자의 핵심 고리와 연결 골격을 나타낸다. 이를 공유한다고 두 화합물이 동일해지는 것은 아니지만, 상당한 구조적 친숙함은 유지될 수 있다.
연구진은 이 문제를 다루기 위해 골격 비중복 시험을 추가했다. HierHGT-DTI의 AUROC는 BioSNAP에서 2.5포인트, DrugBank에서 2.1포인트, BindingDB에서 1.4포인트 하락했다.
이러한 하락은 일반적인 콜드드러그 점수가 남아 있는 골격 유사성의 혜택을 받는다는 우려를 뒷받침한다. 그러나 연구는 이 더 엄격한 프로토콜에서 HierHGT-DTI만 시험했다. 직접 비교를 위해 6개 기준선을 다시 실행하지는 않았다.
콜드프로틴 시험에도 관련된 공백이 있다. 정확한 시험 서열은 학습에서 제외됐지만, 단백질은 서열 계열 클러스터링을 통해 분리되지 않았다. 가까운 상동체가 분할 양쪽에 남아 있을 수 있다.
이는 이 시험이 미지의 식별 정보를 나타낼 뿐, 반드시 낯선 단백질 계열을 나타내는 것은 아니라는 뜻이다. 더 강력한 미래 프로토콜은 서열 클러스터 또는 전체 계열을 제외할 것이다.
따라서 HierHGT-DTI 콜드스타트 예측은 일반화 시험을 완성하지는 못했지만 기준을 높인다. 정확한 식별 정보 너머의 강력한 전이를 보여준다. 아직 먼 단백질 계열 간 전이를 보여주지는 않는다.
다중 스케일 그래프가 분자 세부 정보를 연결 상태로 유지한다
HierHGT-DTI의 핵심 메커니즘은 미세한 분자 신호를 보존하는 동시에, 전체 약물 및 전체 단백질 판단으로 이어지는 짧은 경로를 제공한다.
시스템은 각 후보 쌍을 하나의 이종 그래프로 표현한다. 이종이라는 말은 그래프가 모든 객체와 연결을 동일하게 다루지 않고, 서로 다른 노드 및 관계 유형을 포함한다는 뜻이다.
노드 유형은 6개다. 약물 측에는 원자, 화학 하위구조, 전체 약물 노드가 있다. 단백질 측에는 잔기, 잔기 커뮤니티, 전체 단백질 노드가 있다.
화학적 계층은 74차원 원자 설명으로 시작한다. 여기에는 원소 정체성, 원자가, 전하, 방향족성, 혼성화, 키랄성 등의 속성이 인코딩된다.
이후 RDKit은 각 분자를 BRICS 하위구조로 나눈다. BRICS는 화학적으로 의미 있는 결합 주변에서 분자를 분리하는 규칙 기반 분할 방법이다.
단백질 계층은 ESM-2 잔기 임베딩으로 시작한다. 모델은 긴 단백질을 자르지 않고 기록된 전체 서열을 유지한다. 하나의 패스로 처리하기에 서열이 너무 길면 중첩 윈도우가 예측 접촉을 제공한다.
잔기는 서열 근접성, 예측 접촉, 임베딩 유사성을 통해 연결된다. Louvain 클러스터링은 이 그래프를 중간 수준의 커뮤니티로 묶는다.
소스 코드는 이러한 커뮤니티 노드를 “pockets”라고 부르지만, 이 명칭은 주의가 필요하다. 이들은 서열 정보에서 파생된 계산적 그룹이다. 실험적으로 측정된 리간드 결합 포켓은 아니다.
그런 다음 HierHGT-DTI는 양방향으로 인접한 스케일을 연결한다. 원자는 하위구조와 연결되고, 하위구조는 전체 약물과 연결된다. 잔기는 해당 커뮤니티와 연결되고, 커뮤니티는 전체 단백질과 연결된다.
직접 지름길은 원자를 약물 노드에, 잔기를 단백질 노드에 연결한다. 이러한 경로는 세부 정보가 모든 중간 단계를 거치지 않고 전역 표현에 도달하도록 한다.
마지막으로 양방향 엣지가 각 후보 쌍의 약물 및 단백질 슈퍼노드를 연결한다. 이 엣지는 양성 및 미표지 사례에 모두 나타난다. 올바른 상호작용 표지를 드러내지는 않는다.
완전 그래프는 18개의 방향성 관계 유형을 사용한다. 네 개의 어텐션 헤드와 공유 은닉 크기 128을 갖춘 두 개의 이종 그래프 트랜스포머 레이어가 이를 처리한다.
이종 그래프 트랜스포머는 연결된 객체와 관계의 유형을 고려하면서 어텐션을 적용한다. 따라서 모델은 화학 결합을 잔기 연결이나 계층 연결과 다르게 처리할 수 있다.
각 노드는 먼저 들어오는 관계별로 메시지를 별도로 수집한다. 이후 학습된 할당 메커니즘이 이러한 관계별 메시지를 결합한다. 이 계산은 학습된 관계 선호도와 이용 가능한 이웃의 수를 모두 고려한다.
두 레이어를 거친 뒤 모델은 약물 및 단백질 슈퍼노드 표현을 추출한다. 원시 벡터, 원소별 곱, 절대 차이를 결합한다. 다층 예측기가 이 표현을 상호작용 점수로 변환한다.
이 아키텍처는 화학 및 생물학적 추론에 사용되는 여러 수준을 반영하기 때문에 설득력 있어 보인다. 원자는 기능적 구조를 형성하고, 잔기는 더 큰 단백질 영역을 이루며, 둘 다 전역적 행동에 기여한다.
그러나 절제 실험 결과는 더 신중한 이야기를 들려준다. 중간 계층을 제거했을 때 여섯 가지 DrugBank 및 BioSNAP 설정에서 AUPR 변화는 마이너스 0.0042에서 플러스 0.0041에 그쳤다.
이러한 계층 비교 중 통계적 유의성에 도달한 것은 없었다. 완전한 양방향 계층은 관련 변형들 가운데 여섯 설정 중 세 곳에서만 1위를 차지했다.
반면 직접적인 세분화-전역 단축 경로를 제거하면 여섯 설정 모두에서 평균 AUPR이 하락했다. 하락 폭은 0.0002에서 0.0109였다.
이 증거 역시 단서와 함께 해석해야 한다. 96개 검정 전체 계열에 대해 보정한 뒤에도 유의성을 유지한 절제 비교는 없었다. 두 단축 경로 계열을 함께 제거한 경우에도 어느 한쪽에 원인을 귀속할 수 없다.
사후 검정은 또 다른 관점을 제시했다. 한 BioSNAP 체크포인트에서 추론 시 단축 관계를 제거하자 AUROC가 0.239 하락했다. 단백질 내부 관계를 제거했을 때는 0.069, 계층을 제거했을 때는 0.038 하락했다.
이러한 진단 결과는 하나의 학습된 모델이 무엇에 의존했는지를 보여준다. 특정 경로가 더 폭넓은 벤치마크 우위를 초래했다는 점을 입증하지는 않는다.
따라서 가장 뒷받침 가능한 메커니즘은 헤드라인이 시사하는 것보다 더 제한적이다. HierHGT-DTI는 여러 정보 경로를 갖춘 통합 시스템으로서 성과를 낸다. 직접 경로가 특히 중요해 보이며, 중간 계층은 일관되지 않은 측정 이득과 함께 맥락을 제공한다.
재현성 패키지는 이 주장을 검증 가능하게 만든다. 여기에는 소스 코드, 구성, 처리된 분할, 매니페스트, 결과 요약 및 재현 지침이 포함되어 있다.
이러한 투명성은 독립 연구 그룹이 더 엄격한 통제를 수행하는 데 도움이 될 것이다. 또한 벤치마크 구성을 재구성할 수 없는 논문보다 이 연구를 더 유용하게 만든다.
벤치마크에는 여전히 미확인 음성이 포함되어 있다
가장 큰 불확실성은 보고된 계산이 정확히 실행됐는지가 아니다. 라벨이 생물학적 질문을 명확하게 나타내는지 여부다.
이 연구는 과제를 이진 상호작용 예측으로 규정한다. 양성 라벨은 기록된 상호작용에 해당한다. 하지만 많은 음성 라벨은 실험적으로 확인된 비상호작용이 아니다.
이들은 관측되지 않은 후보 쌍이다. 일부는 연구자들이 아직 검증하지 않았거나 원본 데이터베이스에 추가하지 않은 실제 상호작용일 수 있다.
이는 생물학 데이터베이스에서 흔한 문제다. “기록되지 않음”이 반드시 “상호작용하지 않음”을 뜻하지는 않는다. 관측되지 않은 모든 쌍을 음성으로 취급하면 라벨 노이즈가 발생한다.
DrugBank의 준비된 풀에는 중복 제거 후 17,250개의 양성 쌍과 17,498개의 후보 음성 쌍이 포함됐다. 원래의 음성 샘플링을 설명하는 메타데이터는 불완전했다.
업스트림 릴리스는 후보 집합, 샘플링 시드, 차수 가중치, 스캐폴드 제어 또는 단백질 유사성 제어를 완전히 문서화하지 않았다. 이러한 누락은 후속 연구자들이 벤치마크에서 추론할 수 있는 범위를 제한한다.
저자들은 후보 구성을 변경해 이러한 민감도를 탐색했다. 엔드포인트 차수를 고려한 샘플링은 선택된 검정에서 균일 샘플링 대비 AUPR을 0.040에서 0.067 낮췄다.
후보 음성 대 양성의 비율을 3대1로 설정했을 때 AUPR은 0.680에서 0.878 범위였다. 이 범위는 절대 성능이 연구자들이 스크리닝 풀을 어떻게 구성하는지에 따라 달라진다는 점을 보여준다.
지표 선택 역시 결과를 바꾼다. 음성 사례가 우세할 때는 거짓 양성률이 수치상 작게 유지되므로 AUROC가 안심할 만하게 보일 수 있다.
AUPR은 높은 순위의 후보가 실제로 양성인지에 더 직접적으로 초점을 맞춘다. 두 지표를 비교한 연구는 불균형 스크리닝 과제에서 정밀도-재현율 평가가 더 많은 정보를 제공하는 경우가 많은 이유를 설명한다.
BindingDB는 이 차이를 보여준다. HiGraphDTI는 콜드 단백질 AUROC에서 근소하게 더 나은 성적을 기록한 반면, HierHGT-DTI는 AUPR에서 상당히 더 나은 결과를 냈다.
실험실 역량이 제한된 신약 발굴 팀에게는 순위 목록의 상단이 매우 중요하다. 높은 AUPR은 우선순위 후보 가운데 불필요한 분석을 줄일 수 있음을 시사할 수 있다.
그러나 벤치마크 AUPR만으로는 전향적 검정 없이 실제 실험실 성공률을 추정할 수 없다. 이 모델은 아직 진정으로 새로운 표적을 받아 검증된 화합물 목록을 생성하지 않았다.
이 연구에는 GABAA 수용체 알파 소단위체와의 기록된 양성 상호작용 다섯 건을 포함한 소규모 외부 해석 실험이 포함됐다. 선정된 화합물에는 clonazepam, isoflurane 및 desflurane이 포함됐다.
각 쌍에서 연구자들은 모델이 가장 높게 순위를 매긴 다섯 개 잔기를 예상된 대략적 영역과 비교했다. 일치도는 다섯 잔기 중 0개에서 5개까지였다.
조정되지 않은 순열 값 0.050에 도달한 사례는 하나뿐이었다. 다른 한 사례는 0.077이었고, 나머지 사례들은 더 약했다.
이처럼 고르지 않은 결과는 결합 메커니즘을 검증하지 않는다. 저자들도 이를 직접 밝혔다. 이들의 잔기 커뮤니티는 계산된 이웃 집합이며, 다섯 사례가 물리적 결합 부위를 확립하지는 않는다.
따라서 해석 가능성은 예측 순위와 분리해서 다뤄야 한다. 어텐션 점수는 어떤 입력 특성이 모델에 영향을 주었는지를 보여줄 수 있다. 그것이 자동으로 생화학적 원인을 드러내지는 않는다.
모델은 여러 고정 전처리 결정에도 의존한다. 여기에는 0.5의 접촉 임계값, 1.0의 Louvain 해상도, 세 개의 최소 잔기 커뮤니티 크기가 포함된다.
이 설정들은 체계적으로 최적화되지 않았다. 다른 임계값이나 클러스터링 방법은 중간 단백질 표현을 바꿀 수 있다.
이 연구는 더 큰 ESM-2 버전 대신 800만 파라미터 단백질 모델을 사용했다. 이 선택은 계산 요구량을 줄였지만, 더 풍부한 서열 표현이 순위를 바꿀지 여부는 여전히 열려 있다.
저자들은 사전 계산된 분자 및 단백질 입력을 사용해 각 실행을 Nvidia RTX 4090 한 대에서 학습했다. 아홉 가지 주요 데이터셋 및 분할 조합에서 시드당 학습 시간은 26.8분에서 43.6분이었다.
평균 테스트 추론 시간은 5.3초에서 11.1초였으며, 초당 약 592~890개 샘플에 해당한다. 최대 할당 GPU 메모리는 1.53~2.54 GiB 범위였다.
이 수치는 최신 GPU 한 대에 접근할 수 있는 많은 학술 팀이 분류기를 재현하는 일이 가능함을 시사한다. 다만 서열 표현의 사전 계산에는 보고된 학습 시간에 반영되지 않은 작업이 추가된다.
더 중요한 점은 계산 접근성이 실험적 검증을 해결하지 못한다는 것이다. 전향적 분석은 유망한 순위화 방법과 실제 의사결정에 신뢰받는 발굴 도구를 가르는 기준으로 남는다.
HierHGT-DTI 콜드 스타트 예측을 다음으로 검증해야 할 방법
세 가지 검정이 보고된 성능 향상이 익숙한 벤치마크 관행을 넘어 유지되는지를 결정할 것이다.
첫 번째 신호는 단백질 계열 홀드아웃에서의 성능이다. 정확한 서열 배제는 유용하지만, 가까운 상동체가 학습 중에 등장하는 것은 허용한다.
더 강력한 실험은 분할 전에 서열 동일성을 기준으로 단백질을 클러스터링해야 한다. 그러면 전체 클러스터 또는 계열이 학습 세트 밖에 남게 된다.
HierHGT-DTI가 이 조건에서도 우위를 유지한다면, 진정으로 낯선 표적으로의 전이에 대한 증거가 더 강해진다. 큰 하락이 나타난다면 가까운 생물학적 친연성이 현재 결과를 뒷받침했음을 보여줄 것이다.
이 검정에는 동일한 여섯 개의 베이스라인이 포함돼야 한다. 모든 모델에서 후보, 시드, 지표 및 하이퍼파라미터 예산을 동일하게 유지해야 한다.
두 번째 신호는 전향적 실험실 연구다. 연구자들은 확립된 상호작용 라벨이 없는 단백질을 선택하고, 모델을 고정한 뒤 사용 가능한 화합물 라이브러리의 순위를 매겨야 한다.
블라인드 팀은 이후 순위 목록의 정해진 부분을 검정할 수 있다. 확인된 결합, 기능 활성, 거짓 양성률 및 실용적 베이스라인 대비 농축도 모두 보고해야 한다.
이 설계는 어떤 후향적 데이터셋도 해결할 수 없는 질문에 답할 것이다. 높은 순위의 예측이 실험을 절약하는지, 그리고 모델이 상속된 라벨 관행 밖에서도 작동하는지를 드러낼 것이다.
음성 결과 역시 가치가 있다. 기록된 상호작용과 상관관계는 있지만 결합을 포착하지 못하는 오해의 소지가 있는 서열 유사성, 데이터베이스 편향 또는 특성을 드러낼 수 있다.
세 번째 신호는 표현을 통제한 절제 실험이다. 더 단순한 예측기에 동일한 ESM-2 잔기 임베딩, 원자 기술자, 분할 및 최적화 예산을 제공해야 한다.
이 비교는 HierHGT-DTI의 유형화된 그래프 조직이 제공하는 가치를 분리해낼 것이다. 또한 사전 학습된 서열 특성이 콜드 단백질 성능 향상의 대부분을 설명하는지 보여줄 것이다.
저자들은 이미 이를 중요한 다음 단계로 지목했다. 또한 약물 측 및 단백질 측 단축 경로를 별도로 절제하는 실험, 양성-비라벨 학습, 시간 분할 및 매칭된 후보 구성을 제안한다.
양성-비라벨 학습은 기록된 상호작용을 양성으로 취급하되, 남은 모든 쌍이 진정한 음성이라고 가정하지 않는다. 이 접근법은 불완전한 생물학 데이터베이스를 더 잘 반영한다.
시간 기반 평가는 또 다른 현실적 과제를 제공할 것이다. 모델은 기준 시점 이전에 알려진 상호작용으로 학습하고, 이후에 발견된 연관성을 예측할 수 있다.
이 구조는 미래 지식이 전처리나 분할 구성에 들어가는 것을 방지한다. 또한 배포된 시스템이 시간이 흐르며 새로운 증거를 마주하는 방식과 닮아 있다.
제약 및 생명공학 팀에게 단기적 가치는 트리아지에 있다. HierHGT-DTI는 도킹, 생화학 분석, 세포 연구, 독성학 또는 임상 평가를 대체하지 않는다.
대신 어떤 화합물-표적 쌍이 이러한 비용이 큰 단계를 먼저 거칠 가치가 있는지 제안할 수 있다. 새로운 표적이 수천 개의 그럴듯한 후보와 제한된 실험실 역량을 만들어낼 때 이 역할은 가치가 커진다.
개발자는 이 연구의 더 폭넓은 엔지니어링 교훈도 주목해야 한다. 평가 설계는 아키텍처 설계만큼 중요할 수 있다. 무작위 분할은 배포된 시스템이 마주하는 질문과 다른 질문에 답할 수 있다.
이 유형의 시스템을 위한 모델 카드는 엔터티 중복, 스캐폴드 중복, 단백질 계열 유사성, 음성 샘플링, 클래스 유병률 및 시간적 출처를 문서화해야 한다. 하나의 헤드라인 점수만 보고하면 너무 많은 것이 가려진다.
재현 가능한 증거에는 체계적인 기록도 필요하다. 모델, 데이터셋 및 분석 결과를 비교하는 팀에는 로컬 기술 문서로 구축한 검색 가능한 엔지니어링 지식 베이스와 같은 검색 가능한 기술 이력이 필요하다. 그렇지 않으면 벤치마크 가정은 실험 사이에서 사라질 수 있다.
HierHGT-DTI의 콜드 스타트 예측은 가장 좋은 결과가 더 어려운 평가 환경에서 나타나므로 신뢰할 만한 진전이다. 공개 구현과 매칭된 비교는 이 연구를 더욱 강화한다.
절제된 결론 역시 중요하다. 이 시스템은 두 주요 벤치마크에서 보지 못한 단백질 표적의 순위를 더 잘 매기고, 한 BindingDB 정밀도-재현율 테스트에서도 앞선다. 그러나 물리적 결합, 작동 기전, 또는 임상적 가치를 입증한 것은 아니다.
다음 판단은 독립 연구자들의 몫이다. 현재 결과를 재현하고, 단백질 계열 홀드아웃을 적용하며, 고정된 순위 모델을 실험실에서 검증해야 한다. 이 단계들은 모델이 전이 가능한 생물학적 원리를 발견했는지, 아니면 정교하게 구성된 또 하나의 벤치마크를 숙달했는지를 보여줄 것이다.
