Predykcja cold-start HierHGT-DTI celuje w najtrudniejszy test odkrywania leków
Według nowego, recenzowanego badania predykcja cold-start HierHGT-DTI pokonała sześć modeli porównawczych w kluczowych testach obejmujących niewidziane cele białkowe. Wynik ten dotyczy trudnego problemu w komputerowym odkrywaniu leków. Modele często działają dobrze, gdy dane testowe przypominają przykłady treningowe. Ich dokładność może jednak gwałtownie spadać, gdy cel nie ma zarejestrowanej historii interakcji.
Badacze Zhangben Chen i Yaping Wan z University of South China opracowali HierHGT-DTI. Ich system łączy informacje o strukturze chemicznej i sekwencji białkowej w jednym typowanym, wieloskalowym grafie. Następnie przewiduje, czy kandydat na lek i białko wchodzą ze sobą w interakcję.
Stawką nie jest wyłącznie starcie HierHGT-DTI z innym modelem. To konfrontacja przenośnego rozumowania molekularnego z sukcesem benchmarkowym, częściowo zbudowanym na znajomych związkach, białkach i szkieletach chemicznych. Model uzyskał największą przewagę tam, gdzie tożsamości białek wyłączono z treningu. Kilka ustaleń pokazuje jednak również, dlaczego wyniki te nie mogą potwierdzać użyteczności laboratoryjnej.
HierHGT-DTI wygrywa tam, gdzie znika historia białka
Najważniejszy wynik nie dotyczy ogólnej pozycji modelu w rankingu. Chodzi o miejsce, w którym pojawiła się największa różnica wydajności.
Recenzowane badanie opublikowano w BMC Bioinformatics 14 września 2026 r. Chen i Wan ocenili HierHGT-DTI na zbiorach DrugBank, BioSNAP i BindingDB. Te publiczne zbiory danych zawierają zarejestrowane powiązania między lekami a celami białkowymi.
Badacze zastosowali trzy ustawienia ewaluacyjne. Losowy podział rozdziela pary interakcji między grupy treningową, walidacyjną i testową. Znajome leki i białka mogą zatem pojawiać się po obu stronach podziału.
Podział cold-drug wyklucza z treningu całe tożsamości leków. Podział cold-protein robi to samo dla sekwencji białkowych. Trzecie ustawienie najbliżej odzwierciedla nowo wskazany cel bez ustalonych danych o ligandach.
Predykcja interakcji lek–cel, czyli DTI, szereguje związki, które prawdopodobnie oddziałują z określonymi białkami. Nie potwierdza skuteczności klinicznej ani nawet fizycznego wiązania. Może natomiast zawęzić listę kandydatów kierowanych do eksperymentów biochemicznych lub komórkowych.
HierHGT-DTI zajął pierwsze miejsce we wszystkich sześciu losowych i cold-startowych ustawieniach na DrugBank i BioSNAP. Badacze powtórzyli oceny z pięcioma losowymi seedami, aby ograniczyć zależność od jednej korzystnej inicjalizacji.
W teście cold-protein DrugBank model uzyskał AUROC 0,864 oraz AUPR 0,878. AUROC mierzy jakość rankingu dla przykładów pozytywnych i negatywnych przy różnych progach. AUPR kładzie nacisk na precyzję wśród odnalezionych pozytywów, dlatego jest użyteczny, gdy przykładów pozytywnych jest niewiele.
Najsilniejszy punkt odniesienia na DrugBank osiągnął AUROC cold-protein na poziomie 0,776. HierHGT-DTI prowadził więc o 8,8 punktu procentowego. Jego przewaga w AUPR wyniosła 7,9 punktu.
Wyniki BioSNAP miały ten sam kierunek. HierHGT-DTI osiągnął AUROC cold-protein 0,863 i AUPR 0,866. Najsilniejszy baseline uzyskał AUROC 0,805, co dało różnicę 5,8 punktu.
Luki te były większe niż zwykłe ułamki punktu dzielące modele na znanych danych testowych. Przetrwały też korektę wielokrotnych porównań zastosowaną w badaniu dla rodziny benchmarków DrugBank i BioSNAP.
Wynik był mniej jednoznaczny w BindingDB. HierHGT-DTI uzyskał najlepszy AUPR cold-protein na poziomie 0,681. HiGraphDTI osiągnął jednak nieznacznie wyższy AUROC cold-protein: 0,835 wobec 0,831.
HiGraphDTI prowadził także w ustawieniach BindingDB z losowym podziałem i cold-drug. Jego losowe AUROC i AUPR wyniosły 0,934 oraz 0,837. HierHGT-DTI osiągnął odpowiednio 0,932 i 0,829.
Ten mieszany rezultat ma znaczenie. Koncentruje najsilniejsze argumenty za nowym modelem wokół priorytetyzacji kandydatów dla niewidzianych białek. Nie dowodzi uniwersalnej przewagi we wszystkich zadaniach predykcji interakcji lek–cel.
Trzy zbiory danych również istotnie się różnią. DrugBank zawierał 34 748 przygotowanych par, w tym 17 250 przykładów pozytywnych. BioSNAP zawierał 27 457 par i 13 830 pozytywów.
BindingDB zawierał 24 743 pary, lecz tylko 5 784 pozytywy, co dało odsetek przykładów pozytywnych na poziomie 23,4 procent. DrugBank i BioSNAP były oba bliskie 50 procent.
AUPR zmienia się wraz z częstością przykładów pozytywnych. Jego surowe wartości należy zatem porównywać w obrębie jednego zbioru danych, a nie między zbiorami. Badanie wyraźnie uznało to ograniczenie.
Autorzy porównali HierHGT-DTI z MolTrans, TransformerCPI, DrugBAN, DO-GMA, GeNNius i HiGraphDTI. Te baseline'y obejmują modele sekwencyjne, systemy uwagi i podejścia grafowe.
To silniejszy test niż porównywanie wyników przepisanych z niepowiązanych publikacji. Wszystkie modele korzystały z dopasowanych podziałów danych i tych samych pięciu seedów. Ta spójność ogranicza kilka częstych źródeł mylących różnic w wydajności.
Jednak dopasowane benchmarki nadal pozostają benchmarkami. Wyniki mierzą zdolność modelu do szeregowania kuratorowanych przykładów i próbkowanych par bez etykiet. Nie pokazują, czy jego czołowe predykcje stają się zwalidowanymi lekami.
Dlaczego predykcja cold-protein tworzy rzeczywistą presję
Model, który zawodzi na niewidzianych białkach, oferuje ograniczoną pomoc, gdy biologia ujawnia cel bez znanych ligandów.
Losowe podziały testowe mogą sprawiać, że predykcja molekularna wygląda na łatwiejszą niż wdrożenie. System może wykorzystywać powtarzające się białka, pokrewne związki lub znajome szkielety chemiczne. Może klasyfikować wstrzymane pary bez wykonania znaczącego skoku w nieznaną biologię.
Ta obawa poprzedza HierHGT-DTI. Badania nad zapamiętywaniem benchmarków pokazały, że testy oparte na ligandach mogą nagradzać podobieństwo do związków treningowych. Wysoka dokładność przy losowym podziale może zatem zawyżać ocenę generalizacji.
Problem cold-start usuwa część tych podpór. W ewaluacji cold-protein każda sekwencja białkowa testowa jest nieobecna w treningu i walidacji. Model musi przenosić wzorce poznane gdzie indziej.
To ustawienie ma znaczenie, ponieważ ustalone leki obejmują jedynie część ludzkiego proteomu. Wcześniejsze badania zmapowały ograniczony zbiór białek powiązanych z zatwierdzonymi terapiami i terapiami w fazie klinicznej. Zidentyfikowały także wiele niezbadanych celów o potencjalnym znaczeniu terapeutycznym.
Cel może stać się interesujący za sprawą genetyki, biologii choroby, badań nad opornością lub nowych dowodów dotyczących szlaku. Mimo to może nadal nie mieć wystarczającej liczby przebadanych ligandów dla konwencjonalnego modelu nadzorowanego.
Tworzy to presję na każdy system DTI zbudowany wokół historii interakcji. Najnowsze cele są często tymi o najrzadszych etykietach. Metoda silnie zależna od wcześniejszych etykiet staje się najsłabsza tam, gdzie zespoły badawcze najbardziej potrzebują priorytetyzacji.
HierHGT-DTI próbuje przesunąć źródło dowodów poza historię interakcji. Wykorzystuje reprezentację SMILES leku, która koduje jego strukturę chemiczną jako tekst. Wykorzystuje również sekwencję aminokwasową celu.
Model nie potrzebuje eksperymentalnie określonej trójwymiarowej struktury białka. Zamiast tego używa ESM-2, językowego modelu białkowego wytrenowanego do uczenia się wzorców z sekwencji biologicznych.
W badaniu użyto kompaktowego wariantu ESM-2 z ośmioma milionami parametrów. Generował on 320-wymiarową reprezentację dla każdej reszty. Ten sam model tworzył również przewidywaną mapę kontaktów opisującą prawdopodobne relacje między resztami.
Wybór ten ułatwia zastosowanie systemu do białek o znanych sekwencjach, ale bez struktur eksperymentalnych. Oznacza też, że część pozornej inteligencji pochodzi z wstępnie wytrenowanych reprezentacji białkowych, a nie wyłącznie z nowej architektury grafowej.
Autorzy uznali to rozróżnienie. Wezwali do zastosowania prostszego predyktora korzystającego z tych samych embeddingów ESM-2. Takie porównanie pozwoliłoby wyodrębnić, jaka część zysku cold-protein wynika z projektu grafu.
Ewaluacja cold-drug wprowadza kolejną komplikację. Wstrzymana cząsteczka może pozostać chemicznie podobna do związku treningowego. W konwencjonalnych podziałach cold-drug DrugBank i BioSNAP użytych w badaniu ponad połowa związków testowych dzieliła szkielet Bemisa-Murcko z danymi treningowymi lub walidacyjnymi.
Szkielet Bemisa-Murcko reprezentuje centralne pierścienie cząsteczki i łączący je szkielet. Dzielenie go nie czyni dwóch związków identycznymi, ale może zachować znaczną znajomość strukturalną.
Badacze dodali testy z rozłącznymi szkieletami, aby rozwiązać ten problem. AUROC HierHGT-DTI spadł o 2,5 punktu na BioSNAP, 2,1 punktu na DrugBank i 1,4 punktu na BindingDB.
Spadki te wspierają obawę, że zwykłe wyniki cold-drug korzystają z zachowanego podobieństwa szkieletów. Badanie testowało jednak w tym ostrzejszym protokole wyłącznie HierHGT-DTI. Nie uruchomiono ponownie sześciu baseline'ów dla bezpośredniego porównania.
Test cold-protein ma też podobną lukę. Dokładne sekwencje testowe wykluczono z treningu, ale białek nie rozdzielono przez klasteryzację rodzin sekwencji. Bliskie homologi mogły pozostać po obu stronach podziału.
Oznacza to, że test reprezentuje niewidziane tożsamości, ale niekoniecznie nieznane rodziny białkowe. Silniejszy przyszły protokół wyłączałby klastry sekwencji lub całe rodziny.
Predykcja cold-start HierHGT-DTI podnosi więc poprzeczkę, nie kończąc jednak testu generalizacji. Pokazuje silny transfer poza dokładne tożsamości. Nie pokazuje jeszcze transferu między odległymi rodzinami białkowymi.
Wieloskalowy graf utrzymuje połączenie ze szczegółami molekularnymi
Kluczowy mechanizm HierHGT-DTI zachowuje drobne sygnały molekularne, jednocześnie zapewniając im krótkie drogi do decyzji dotyczących całego leku i całego białka.
System reprezentuje każdą parę kandydatów jako jeden heterogeniczny graf. Heterogeniczny oznacza, że graf zawiera różne typy węzłów i relacji, zamiast traktować każdy obiekt i każde połączenie identycznie.
Istnieje sześć typów węzłów. Strona leku zawiera atomy, podstruktury chemiczne i jeden węzeł całego leku. Strona białka zawiera reszty, społeczności reszt i jeden węzeł całego białka.
Hierarchia chemiczna zaczyna się od 74-wymiarowych opisów atomów. Kodują one właściwości obejmujące tożsamość pierwiastka, wartościowość, ładunek, aromatyczność, hybrydyzację i chiralność.
RDKit następnie dzieli każdą cząsteczkę na podstruktury BRICS. BRICS to oparta na regułach metoda fragmentacji, która rozdziela cząsteczki wokół chemicznie istotnych wiązań.
Hierarchia białkowa rozpoczyna się od embeddingów reszt ESM-2. Model zachowuje pełne zarejestrowane sekwencje zamiast skracać długie białka. Nakładające się okna zapewniają przewidywane kontakty, gdy sekwencja jest zbyt długa na jedno przejście.
Reszty są łączone przez bliskość w sekwencji, przewidywane kontakty i podobieństwo embeddingów. Klasteryzacja Louvaina grupuje ten graf w pośrednie społeczności.
Kod źródłowy nazywa te węzły społeczności „pockets”, lecz etykieta ta wymaga ostrożności. Są to obliczeniowe grupy wyprowadzone z informacji sekwencyjnej. Nie są to eksperymentalnie zmierzone kieszenie wiążące ligandy.
HierHGT-DTI następnie łączy sąsiednie skale w obu kierunkach. Atomy łączą się z podstrukturami, które łączą się z całym lekiem. Reszty łączą się ze swoimi społecznościami, które łączą się z całym białkiem.
Bezpośrednie skróty łączą również atomy z węzłem leku, a reszty z węzłem białka. Te trasy pozwalają szczegółowym informacjom dotrzeć do globalnych reprezentacji bez przechodzenia przez każdy poziom pośredni.
Na końcu dwukierunkowa krawędź łączy superwęzły leku i białka dla każdej pary kandydatów. Krawędź ta występuje zarówno w przykładach pozytywnych, jak i nieoznaczonych. Nie ujawnia prawidłowej etykiety interakcji.
Pełny graf wykorzystuje 18 skierowanych typów relacji. Dwie warstwy heterogenicznego transformera grafowego przetwarzają je z użyciem czterech głów uwagi i współdzielonego ukrytego wymiaru 128.
Heterogeniczny transformer grafowy stosuje uwagę z uwzględnieniem typów połączonych obiektów i relacji. Model może więc inaczej traktować wiązanie chemiczne, połączenie reszt lub link hierarchiczny.
Każdy węzeł najpierw osobno zbiera komunikaty dla każdej relacji przychodzącej. Wyuczony mechanizm alokacji następnie łączy te komunikaty specyficzne dla relacji. Obliczenie uwzględnia zarówno wyuczone preferencje relacyjne, jak i liczbę dostępnych sąsiadów.
Po dwóch warstwach model wyodrębnia reprezentacje superwęzłów leku i białka. Łączy ich surowe wektory, iloczyny element po elemencie oraz różnice bezwzględne. Wielowarstwowy predyktor przekształca tę reprezentację w wynik interakcji.
Architektura wygląda przekonująco, ponieważ odzwierciedla kilka poziomów stosowanych w rozumowaniu chemicznym i biologicznym. Atomy tworzą struktury funkcjonalne, reszty tworzą większe regiony białek, a oba poziomy wpływają na zachowanie globalne.
Jednak wyniki ablacji przedstawiają bardziej powściągliwy obraz. Usunięcie pośredniej hierarchii zmieniło AUPR jedynie od minus 0,0042 do plus 0,0041 w sześciu ustawieniach DrugBank i BioSNAP.
Żadne z tych porównań hierarchii nie osiągnęło istotności statystycznej. Pełna dwustronna hierarchia zajęła pierwsze miejsce wśród powiązanych wariantów tylko w trzech z sześciu ustawień.
Natomiast usunięcie bezpośrednich skrótów od poziomu szczegółowego do globalnego obniżyło średni AUPR we wszystkich sześciu ustawieniach. Spadki wynosiły od 0,0002 do 0,0109.
Nawet te dowody wymagają zastrzeżenia. Żadne porównanie ablacyjne nie pozostało istotne po korekcie dla całej rodziny 96 testów. Usunięcie obu rodzin skrótów jednocześnie także uniemożliwia przypisanie efektu jednej stronie.
Testy post hoc dostarczyły innego spojrzenia. W jednym punkcie kontrolnym BioSNAP usunięcie relacji skrótowych podczas inferencji spowodowało spadek AUROC o 0,239. Usunięcie relacji wewnętrznych białka wywołało spadek o 0,069, a usunięcie hierarchii — o 0,038.
Te diagnostyki pokazują, od czego zależał jeden wytrenowany model. Nie dowodzą, że określona ścieżka spowodowała szerszą przewagę w benchmarku.
Najbardziej uzasadniony mechanizm jest zatem węższy, niż sugeruje nagłówek. HierHGT-DTI odnosi sukces jako zintegrowany system z wieloma ścieżkami informacji. Bezpośrednie ścieżki wydają się szczególnie ważne, podczas gdy pośrednia hierarchia zapewnia kontekst przy niespójnych zmierzonych zyskach.
Pakiet odtwarzalności umożliwia sprawdzenie tego twierdzenia. Zawiera kod źródłowy, konfiguracje, przetworzone podziały, manifesty, podsumowania wyników oraz instrukcje odtworzenia.
Ta przejrzystość powinna pomóc niezależnym grupom przeprowadzić bardziej rygorystyczne kontrole. Czyni też tę pracę bardziej użyteczną niż artykuł, którego konstrukcji benchmarku nie da się odtworzyć.
Benchmark nadal zawiera nieznane negatywy
Największa niepewność nie dotyczy tego, czy zgłoszone obliczenia wykonano poprawnie. Dotyczy tego, czy etykiety czysto reprezentują pytanie biologiczne.
Badanie ujmuje zadanie jako binarne przewidywanie interakcji. Etykiety pozytywne odpowiadają zarejestrowanym interakcjom. Wiele etykiet negatywnych nie stanowi jednak eksperymentalnie potwierdzonych braku interakcji.
Są to niezaobserwowane pary kandydackie. Część z nich może reprezentować rzeczywiste interakcje, których badacze nie przetestowali ani nie dodali do źródłowych baz danych.
To powszechny problem w bazach biologicznych. „Nieodnotowano” nie musi oznaczać „nie oddziałuje”. Traktowanie każdej niezaobserwowanej pary jako negatywnej wprowadza szum etykiet.
Przygotowana pula DrugBank zawierała po deduplikacji 17 250 par pozytywnych i 17 498 par kandydująco-negatywnych. Metadane opisujące pierwotne próbkowanie negatywów były niepełne.
Wydanie źródłowe nie dokumentowało w pełni uniwersum kandydatów, ziarna próbkowania, ważenia stopni, kontroli rusztowań ani kontroli podobieństwa białek. Te braki ograniczają wnioski, jakie późniejsi badacze mogą wyciągnąć z benchmarku.
Autorzy zbadali tę wrażliwość, zmieniając konstrukcję kandydatów. Próbkowanie uwzględniające stopnie węzłów końcowych obniżyło AUPR o 0,040 do 0,067 względem próbkowania jednostajnego w wybranych testach.
Stosunek kandydatów negatywnych trzy do jednego dawał wartości AUPR od 0,680 do 0,878. Ten zakres pokazuje, że bezwzględna wydajność zależy od sposobu konstruowania puli przesiewowej przez badaczy.
Wybór metryki również zmienia obraz. AUROC może wyglądać uspokajająco, gdy dominują przykłady negatywne, ponieważ współczynnik fałszywie pozytywnych pozostaje numerycznie niewielki.
AUPR bardziej bezpośrednio koncentruje się na tym, czy wysoko sklasyfikowani kandydaci rzeczywiście są pozytywni. Badania porównujące obie metryki wyjaśniają, dlaczego ocena precision-recall jest często bardziej informatywna w niezrównoważonych zadaniach przesiewowych.
BindingDB ilustruje tę różnicę. HiGraphDTI uzyskał nieznacznie lepszy AUROC dla zimnego białka, podczas gdy HierHGT-DTI osiągnął znacznie lepszy AUPR.
Dla zespołu odkrywczego o ograniczonej przepustowości laboratoryjnej szczyt listy rankingowej ma ogromne znaczenie. Wysoki AUPR może oznaczać mniej zmarnowanych testów wśród priorytetowych kandydatów.
Jednak benchmarkowy AUPR nadal nie może oszacować rzeczywistego sukcesu laboratoryjnego bez testu prospektywnego. Model nie otrzymał jeszcze rzeczywiście nowego celu i nie wygenerował zwalidowanej listy związków.
Badanie obejmowało niewielkie zewnętrzne ćwiczenie interpretacyjne z udziałem pięciu zarejestrowanych pozytywnych interakcji z podjednostkami alfa receptora GABAA. Wybrane związki obejmowały clonazepam, isoflurane i desflurane.
Dla każdej pary badacze porównali pięć najwyżej sklasyfikowanych przez model reszt z oczekiwanymi regionami o przybliżonej lokalizacji. Pokrycie wynosiło od zera z pięciu reszt do pięciu z pięciu.
Tylko jeden przypadek osiągnął nieskorygowaną wartość permutacyjną 0,050. Inny osiągnął 0,077, a pozostałe przypadki były słabsze.
Ten nierównomierny wynik nie potwierdza mechanizmu wiązania. Autorzy stwierdzili to wprost. Ich społeczności reszt są obliczonymi sąsiedztwami, a pięć przykładów nie ustala fizycznych miejsc wiązania.
Interpretowalność musi zatem pozostać oddzielona od rankingu predykcyjnego. Wynik uwagi może pokazać, które cechy wejściowe wpłynęły na model. Nie ujawnia automatycznie przyczyny biochemicznej.
Model zależy również od kilku stałych decyzji wstępnego przetwarzania. Obejmują one próg kontaktu 0,5, rozdzielczość Louvain 1,0 oraz minimalny rozmiar społeczności reszt wynoszący trzy.
Ustawienia te nie zostały systematycznie zoptymalizowane. Inny próg lub metoda grupowania mogłyby zmienić pośrednią reprezentację białka.
Badanie wykorzystało ośmiomilionowy model białkowy zamiast większej wersji ESM-2. Ten wybór ograniczył wymagania obliczeniowe, ale pozostawia otwarte pytanie, czy bogatsze reprezentacje sekwencji zmieniłyby ranking.
Autorzy trenowali każdy przebieg na jednym Nvidia RTX 4090 z wstępnie obliczonymi wejściami molekularnymi i białkowymi. Trening wymagał od 26,8 do 43,6 minuty na ziarno w dziewięciu głównych kombinacjach zbiorów danych i podziałów.
Średnia inferencja testowa trwała od 5,3 do 11,1 sekundy, czyli około 592 do 890 próbek na sekundę. Szczytowo przydzielona pamięć GPU wynosiła od 1,53 do 2,54 GiB.
Liczby te sugerują, że odtworzenie klasyfikatora jest wykonalne dla wielu zespołów akademickich mających dostęp do jednego nowoczesnego GPU. Wstępne obliczanie reprezentacji sekwencji nadal dodaje pracy, której nie uwzględniają zgłoszone czasy treningu.
Co ważniejsze, dostępność obliczeniowa nie rozwiązuje problemu walidacji eksperymentalnej. Testy prospektywne pozostają granicą między obiecującą metodą rankingu a narzędziem odkrywczym, któremu ufa się przy rzeczywistych decyzjach.
Co powinno następnie zweryfikować predykcję cold-start HierHGT-DTI
Trzy testy określą, czy zgłoszony zysk przetrwa poza znanymi konwencjami benchmarków.
Pierwszym sygnałem jest wydajność przy wykluczeniach rodzin białkowych. Wykluczanie dokładnych sekwencji jest użyteczne, ale pozwala, by bliskie homologi pojawiały się podczas treningu.
Silniejszy eksperyment powinien grupować białka według identyczności sekwencji przed podziałem. Całe klastry lub rodziny pozostawałyby wtedy poza zbiorem treningowym.
Jeśli HierHGT-DTI zachowa tam przewagę, dowody na transfer do rzeczywiście nieznanych celów staną się mocniejsze. Gwałtowny spadek pokazałby, że obecny wynik wspierały bliskie biologiczne odpowiedniki.
Test ten powinien uwzględniać te same sześć punktów odniesienia. Powinien zachować identycznych kandydatów, ziarna, metryki i budżety hiperparametrów dla każdego modelu.
Drugim sygnałem jest prospektywne badanie laboratoryjne. Badacze powinni wybrać białko bez ustalonych etykiet interakcji, zamrozić model i uszeregować dostępną bibliotekę związków.
Zaślepiony zespół mógłby następnie przetestować określoną część listy rankingowej. Należy zgłosić potwierdzone wiązanie, aktywność funkcjonalną, odsetki fałszywie pozytywnych wyników oraz wzbogacenie względem praktycznych punktów odniesienia.
Taki projekt odpowiedziałby na pytania, których żaden retrospektywny zbiór danych nie potrafi rozstrzygnąć. Ujawniłby, czy wysoko sklasyfikowane predykcje oszczędzają eksperymenty i czy model działa poza odziedziczonymi konwencjami etykiet.
Wyniki negatywne nadal byłyby wartościowe. Mogłyby ujawnić mylące podobieństwa sekwencji, stronniczość baz danych lub cechy korelujące z zarejestrowanymi interakcjami bez uchwycenia wiązania.
Trzecim sygnałem jest ablacją kontrolowana względem reprezentacji. Prostszy predyktor powinien otrzymać te same osadzenia reszt ESM-2, deskryptory atomów, podziały i budżet optymalizacji.
To porównanie wyizolowałoby wartość organizacji typowanego grafu HierHGT-DTI. Pokazałoby również, czy wstępnie wytrenowane cechy sekwencji wyjaśniają większość zysku dla zimnego białka.
Autorzy już wskazują to jako ważny kolejny krok. Proponują też oddzielne ablacje skrótów po stronie leku i białka, uczenie dodatnio-nieoznakowane, podziały czasowe oraz dopasowaną konstrukcję kandydatów.
Uczenie dodatnio-nieoznakowane traktuje zarejestrowane interakcje jako pozytywne, nie zakładając przy tym, że każda pozostała para jest rzeczywiście negatywna. Podejście to lepiej odzwierciedla niekompletne biologiczne bazy danych.
Ocena czasowa stanowiłaby kolejne realistyczne wyzwanie. Model mógłby trenować na interakcjach znanych przed punktem odcięcia i przewidywać powiązania odkryte później.
Taka struktura zapobiega przedostawaniu się przyszłej wiedzy do wstępnego przetwarzania lub konstrukcji podziałów. Przypomina też sposób, w jaki wdrożony system napotyka nowe dowody w czasie.
Dla zespołów farmaceutycznych i biotechnologicznych krótkoterminową wartością jest triage. HierHGT-DTI nie zastępuje dokowania, testów biochemicznych, badań komórkowych, toksykologii ani oceny klinicznej.
Może natomiast wskazywać, które pary związek–cel zasługują najpierw na te kosztowne etapy. Ta rola staje się cenna, gdy nowy cel tworzy tysiące prawdopodobnych kandydatów przy ograniczonej przepustowości laboratoryjnej.
Deweloperzy powinni również zwrócić uwagę na szerszą lekcję inżynieryjną płynącą z badania. Projekt oceny może mieć równie duże znaczenie jak projekt architektury. Losowe podziały mogą odpowiadać na inne pytanie niż to, z którym mierzy się wdrożony system.
Karta modelu dla tego typu systemu powinna dokumentować pokrywanie się encji, pokrywanie się rusztowań, podobieństwo rodzin białkowych, próbkowanie negatywów, częstość klas oraz pochodzenie czasowe. Raportowanie tylko jednego nagłówkowego wyniku ukrywa zbyt wiele.
Odtwarzalne dowody wymagają również uporządkowanych zapisów. Zespoły porównujące modele, zbiory danych i wyniki testów potrzebują przeszukiwalnej historii technicznej, takiej jak inżynieryjna baza wiedzy. W przeciwnym razie założenia benchmarku mogą zniknąć między eksperymentami.
Predykcja cold-start HierHGT-DTI jest wiarygodnym postępem, ponieważ jej najlepsze wyniki pojawiają się w trudniejszym ustawieniu ewaluacyjnym. Otwarta implementacja i dopasowane porównania dodatkowo wzmacniają tę pracę.
Powściągliwy wniosek pozostaje jednak istotny. System lepiej klasyfikuje niewidziane wcześniej cele białkowe w dwóch głównych benchmarkach i prowadzi w jednym teście precision-recall BindingDB. Nie potwierdzono jeszcze fizycznego wiązania, mechanizmu działania ani wartości klinicznej.
Kolejna decyzja należy do niezależnych badaczy. Należy odtworzyć obecne wyniki, zastosować wykluczenia całych rodzin białek i przetestować zamrożony ranking w laboratorium. Te kroki pokażą, czy model odkrył biologię możliwą do przeniesienia, czy po prostu opanował kolejny starannie skonstruowany benchmark.
