Dwie sylwetki z promieniowania rentgenowskiego pozwoliły uzyskać 3D kości udowej, ale najtrudniejszym elementem było ustalenie korespondencji

W dyskusji Horizon MachineLearning pojawił się potok rekonstrukcji 3D oparty wyłącznie na dwóch sylwetkach z promieniowania rentgenowskiego i 50 referencyjnych siatkach kości udowej. Jego autor informuje o błędach w skali milimetrów dla wybranych, odłożonych na bok kształtów, mimo że podczas rekonstrukcji nie wykorzystano ani sieci neuronowej, ani tomografii komputerowej pacjenta.

Ważniejszy wynik jest mniej pochlebny. Kilka powszechnych metod korespondencji wytworzyło powierzchnie znacznie bardziej chropowate niż oryginalna geometria pochodząca z tomografii komputerowej. ShapeWorks był jedyną testowaną metodą, która spełniła zdefiniowany wcześniej przez autora próg akceptacji.

Przesuwa to dyskusję z pytania o sieci neuronowe kontra modelowanie klasyczne. Główna rywalizacja dotyczy kompaktowego priory anatomicznego i różnorodności geometrycznej spotykanej u rzeczywistych pacjentów. Model może idealnie zoptymalizować swoje współczynniki, a mimo to zawieść, gdy docelowa anatomia wykracza poza wyuczoną przez niego przestrzeń kształtów.

Praca została udostępniona publicznie, a nie opublikowana jako recenzowane badanie. Jej wyniki liczbowe nie zostały niezależnie odtworzone, a walidacja na rzeczywistych radiogramach pozostaje niedokończona. Mimo to eksperyment pokazuje, gdzie tego rodzaju rekonstrukcja działa, gdzie się załamuje i jakie dowody uczyniłyby ją klinicznie istotną.

Projekt dopasowuje kształt 3D do dwóch konturów 2D

Opisywany potok przekształca ograniczony problem odwrotny w niewielki problem optymalizacyjny, ale dopiero po znacznym przygotowaniu geometrycznym.

Według wpisu o rekonstrukcji z dwóch widoków celem jest specyficzna dla pacjenta dystalna część kości udowej. Jest to dolny koniec kości udowej, obejmujący zaokrąglone powierzchnie tworzące staw kolanowy.

Proponowane dane wejściowe to dwie ortogonalne sylwetki. Jedna przedstawia widok tylno-przedni, druga zaś widok boczny. Każdy obraz rejestruje wyłącznie to, czy rzutowany piksel znajduje się wewnątrz, czy na zewnątrz obrysu kości.

Te sylwetki odrzucają informacje o wewnętrznej gęstości, grubości warstwy korowej i strukturze beleczkowej. Ograniczają zewnętrzny kontur z dwóch kierunków, ale nie wyznaczają jednoznacznie każdego punktu ukrytej powierzchni.

Aby zarządzać tą niejednoznacznością, autor skonstruował statystyczny model kształtu na podstawie 50 siatek kości udowej pochodzących z tomografii komputerowej. Statystyczny model kształtu przedstawia zmienność anatomiczną za pomocą powierzchni średniej i ograniczonego zestawu skoordynowanych wzorców deformacji.

Model wykorzystuje analizę głównych składowych, czyli PCA, do kompresji zmienności między odpowiadającymi sobie punktami powierzchni. Zamiast optymalizować każdy wierzchołek niezależnie, potok dostosowuje 10 współczynników kształtu.

Współczynniki te przesuwają średnią kość udową wzdłuż dominujących wzorców zmienności wykrytych w kolekcji referencyjnej. To ograniczenie sprawia, że optymalizacja jest wykonalna, i zapobiega arbitralnym, anatomicznie nieprawdopodobnym deformacjom.

Potok stosuje również priory Mahalanobisa. Ta kara mierzy, jak nietypowa jest kombinacja współczynników względem obserwowanego rozkładu modelu. Duże lub mało prawdopodobne deformacje stają się więc kosztowniejsze podczas dopasowywania.

W każdym kroku optymalizacji bieżący kandydat 3D jest rzutowany na oba widoki kamery. Rzutowane sylwetki są porównywane z sylwetkami docelowymi, a wynikowa strata aktualizuje współczynniki kształtu.

Autor twierdzi, że Adam wykonuje około 1 000 iteracji. Adam to optymalizator oparty na gradiencie, który podczas wielokrotnej minimalizacji straty dostosowuje wielkość aktualizacji dla każdego parametru.

Gradient pochodzi z renderowania różniczkowalnego. Renderer PyTorch3D łączy różnice w przestrzeni obrazu z wierzchołkami i parametrami, które je wytworzyły.

Konwencjonalna rasteryzacja podejmuje twarde decyzje o tym, czy trójkąt pokrywa piksel. Decyzje te tworzą nieciągłości, przez które trudno prowadzić optymalizację.

Miękka rasteryzacja zastępuje ostre granice ciągłymi prawdopodobieństwami wokół krawędzi trójkątów. Rzutowany kontur może wtedy stopniowo przesuwać się ku celowi, zamiast otrzymywać nagły, nieinformacyjny sygnał.

Autor podczas optymalizacji wyżarza parametr sigma renderera. Sigma kontroluje miękkość granic, więc wyżarzanie zaczyna się od łagodnych gradientów, a kończy ostrzejszym konturem.

To podejście nie uczy sieci neuronowej przewidywania anatomii. Wykonuje optymalizację specyficzną dla pacjenta względem wcześniej obliczonego modelu statystycznego. Siatki referencyjne nadal dostarczają wiedzy wcześniejszej, ale nie ma tu wyuczonego predyktora obrazu do kształtu.

To rozróżnienie ma znaczenie. Projekt nie eliminuje danych treningowych z problemu. Zastępuje duży nadzorowany zbiór danych obrazowych mniejszą, starannie przetworzoną kolekcją wyrównanych powierzchni anatomicznych.

Podstawowa idea również poprzedza ten eksperyment. Badacze wcześniej rekonstruowali kości udowe z kalibrowanych obrazów dwupłaszczyznowych, wykorzystując modele statystyczne i dopasowywanie konturów. Nowym elementem jest dostępna implementacja zbudowana z obecnych komponentów open source.

Korespondencja stała się prawdziwą historią Horizon MachineLearning

Decydującym problemem inżynieryjnym nie było renderowanie kości udowej, lecz ustalenie, które punkty powierzchni reprezentowały tę samą anatomię w 50 różnych kościach.

PCA zakłada, że każde wejście zawiera zmienne o spójnym znaczeniu. W przypadku obrazów tę spójność zapewnia siatka pikseli. Siatki anatomiczne zwykle jej nie zapewniają.

Wierzchołek 4 000 na jednej kości udowej może leżeć w pobliżu kłykcia. Wierzchołek 4 000 na innej może znajdować się przy innej strukturze albo nie mieć żadnego istotnego związku.

Rozdzielczości siatek mogą się różnić. Układy trójkątów mogą się zmieniać. Próbkowanie powierzchni może zagęszczać się wokół niektórych obszarów i stawać się rzadkie wokół innych.

Model statystyczny zbudowany z niedopasowanych wierzchołków nie uczy się czystej anatomii. Łączy niepowiązane lokalizacje, tworząc niestabilne tryby deformacji i widocznie chropowate rekonstruowane powierzchnie.

Autor najpierw wypróbował dopasowywanie najbliższych sąsiadów z użyciem KD-tree. Ta metoda przypisuje punkty według bliskości przestrzennej, lecz bliskość nie gwarantuje równoważności anatomicznej.

Dopasowywanie najbliższych sąsiadów może zawijać korespondencje przez wąskie szczeliny lub przesuwać je wzdłuż gładkich powierzchni. Niewielkie lokalne błędy kumulują się następnie w całej kohorcie.

Wpis podaje, że podejście to wygenerowało chropowatość powierzchni 50,7 razy większą niż referencyjna powierzchnia z tomografii komputerowej. Liczba ta jest diagnostyką zgłoszoną przez autora, a nie niezależnie ustalonym benchmarkiem.

Testowano także Coherent Point Drift, czyli CPD. CPD traktuje jeden zbiór punktów jako centroidy w mieszaninie probabilistycznej i spójnie przesuwa je w stronę drugiego zestawu.

Zgłoszona chropowatość nadal wynosiła 28,2 razy wartość referencyjną pochodzącą z tomografii komputerowej. Bayesian CPD miał podobno osiągnąć 47,5 raza, podczas gdy FilterReg nie zakończył działania w konfiguracji autora.

Wyniki te nie powinny być traktowane jako uniwersalne rankingi oprogramowania do rejestracji. Implementacje, inicjalizacja, wstępne przetwarzanie, hiperparametry, topologia i jakość powierzchni mogą silnie wpływać na każdą z metod.

Pokazują one jednak, że rejestracja parami była niewystarczająca w tym konkretnym przepływie pracy. Niezależne dopasowanie każdej kości udowej do jednego szablonu nie stworzyło ogólnopopulacyjnego układu współrzędnych odpowiedniego dla PCA.

ShapeWorks zmienił ten wynik. Jego przepływ pracy korespondencji cząstek optymalizuje punkty orientacyjne w całej kolekcji kształtów, zamiast uznawać lokalną bliskość za korespondencję.

Oprogramowanie równoważy dwa cele. Cząstki powinny dokładnie reprezentować każdą pojedynczą powierzchnię, a ich rozkład w populacji powinien tworzyć kompaktowy model statystyczny.

Wpis podaje chropowatość powierzchni 3,3 razy większą niż referencja z tomografii komputerowej po użyciu ShapeWorks. Był to jedyny testowany wynik poniżej pięciokrotnego progu akceptacji autora.

Ten próg akceptacji również zasługuje na analizę. Wpis mówi, że został wybrany przed testami, co ogranicza jedną formę retrospektywnego doboru progu. Nie przypisano jednak żadnego znaczenia klinicznego pięciokrotnemu współczynnikowi chropowatości.

Chropowatość powierzchni nie jest tym samym co dokładność rekonstrukcji. Gładka kość udowa może mieć niewłaściwe wymiary, a dokładna powierzchnia może zachować drobne artefakty segmentacji.

Pełna ocena wymaga zarówno pomiarów jakości modelu, jak i pomiarów na poziomie pacjenta. Zwartość, zdolność uogólniania i swoistość opisują model statystyczny. Odległość powierzchniowa i punkty orientacyjne anatomiczne opisują dopasowany wynik.

Znaczenie mają także miary dalszego zastosowania. Geometria kolana wpływa na planowanie implantów, analizę osiowania i symulacje biomechaniczne. Błędy wokół klinicznie ważnego punktu orientacyjnego mogą mieć większe znaczenie niż takie same błędy wzdłuż trzonu.

Wynik dotyczący korespondencji niesie jednak najsilniejszą ogólną lekcję. Zaawansowany optymalizator nie jest w stanie uratować wadliwie uformowanej przestrzeni kształtów.

Lepsze funkcje straty mogłyby poprawić zgodność sylwetek. Większa liczba iteracji mogłaby obniżyć wartość funkcji celu. Żadna z tych zmian nie naprawi zmiennych anatomicznych, które nigdy nie oznaczały tego samego w referencyjnych siatkach.

Niewielki priory kształtu podważa rekonstrukcję wymagającą dużych zbiorów danych

Projekt wywiera presję na potoki rekonstrukcji neuronowej, pokazując, że silne ograniczenia anatomiczne mogą zmniejszyć ilość wymaganych danych i nadzoru.

Zespoły obrazowania medycznego często sięgają po model neuronowy, gdy mapują obrazy na geometrię. Ta droga może uczyć się złożonych zależności, lecz wymaga odpowiednich par treningowych i starannej walidacji zewnętrznej.

Dane sparowane są tutaj szczególnie trudne do uzyskania. Użyteczny zbiór danych obejmowałby skalibrowane radiogramy, wysokiej jakości segmentację i odpowiadającą im geometrię pochodzącą z tomografii komputerowej tych samych pacjentów.

Dostęp, zgody, różnice w protokołach i nakład pracy związany z anotacją komplikują gromadzenie danych. Populacje kliniczne różnią się też wiekiem, płcią, chorobami, implantami i sprzętem do pozyskiwania obrazów.

Model statystyczny przyjmuje inne stanowisko. Ludzkie kości udowe różnią się między sobą, ale nie zajmują całego uniwersum możliwych siatek. Kompaktowy priory może bezpośrednio kodować powtarzające się relacje anatomiczne.

Referencyjne kształty w projekcie miały pochodzić z MedShapeNet. Szerszy medyczny zbiór danych o kształtach został przedstawiony jako zawierający ponad 100 000 opisanych kształtów z 23 zbiorów składowych.

Nie należy mylić tej łącznej liczby z kohortą kości udowej w projekcie. Autor wpisu na Reddit twierdzi, że do tego modelu włączono tylko 50 siatek kości udowej pochodzących z tomografii komputerowej.

Przy 10 współczynnikach proces dopasowywania przeszukuje wąską podprzestrzeń, zamiast przewidywać miliony nieskrępowanych współrzędnych. Dzięki temu system jest bardziej interpretowalny niż wiele modeli typu end-to-end.

Współczynnik można powiązać z trybem modelu, zwizualizować, ograniczyć i porównać z jego rozkładem treningowym. Składnik Mahalanobisa pokazuje również, jak bardzo kandydat odchodzi od populacji referencyjnej.

Ta przejrzystość nie czyni wyniku z natury bezpieczniejszym. Ułatwia sprawdzanie niektórych mechanizmów awarii.

Główne ograniczenie modelu jest jawne: może on generować wyłącznie anatomię reprezentowaną przez jego średnią i zachowane tryby. Nie może wymyślić deformacji, którą wykluczyła baza kształtów.

Model neuronowy również ma trudności poza swoim rozkładem treningowym. Jego reprezentacja może jednak ukrywać tę porażkę za wiarygodnie wyglądającym wynikiem i pewną predykcją.

Podejście statystyczne czyni tę granicę bardziej widoczną. Współczynnik osiągający dozwolony zakres jest bezpośrednim ostrzeżeniem, że model nie zapewnia wystarczającego pokrycia.

Ta właściwość mogłaby wspierać użyteczny system odrzucania przypadków. Zamiast zwracać uspokajającą siatkę dla każdego przypadku, oprogramowanie mogłoby identyfikować pacjentów wymagających tomografii komputerowej lub ręcznej weryfikacji.

Jednak zaleta związana z niewielką ilością danych zależy od kosztownej pracy przygotowawczej. Tych 50 powierzchni wymagało segmentacji, oczyszczenia, wyrównania, optymalizacji korespondencji i kontroli jakości.

Projekt zamienia więc jedno obciążenie związane z danymi na inne. Unika ogromnego zbioru oznaczonych obrazów, ale wymaga geometrycznie spójnej kohorty anatomicznej.

To podejście różni się również od rekonstrukcji ogólnego obiektu na podstawie zwykłych fotografii. Sylwetki rentgenowskie są projekcjami anatomii przy skalibrowanej geometrii obrazowania, a nie kolorowymi obrazami zawierającymi wskazówki wynikające z tekstury i oświetlenia.

Dwa ujęcia lepiej ograniczają skalę i zarys niż jedno, zwłaszcza gdy kamery są ortogonalne. Nadal jednak pozostawiają niejednoznaczności dotyczące niewidocznych zagłębień i zmian głębokości.

Model wypełnia te luki statystykami populacyjnymi. To mechanizm stojący zarówno za jego efektywnością, jak i ryzykiem.

Większy system neuronowy mógłby przyswoić bardziej zróżnicowaną anatomię, szum obrazowania i zachowanie segmentacji. Kompaktowy model oferuje wyraźniejsze ograniczenia, niższe wymagania dotyczące danych i węższy zakres działania.

Żadne z tych podejść nie wygrywa w oderwaniu od kontekstu. Istotne pytanie brzmi, czy system rozpoznaje, kiedy pacjent wykracza poza ten zakres.

Milimetrowe wyniki skrywają problem z pokryciem

Obiecujące błędy dotyczą syntetycznych celów mieszczących się w zakresie modelu, podczas gdy skrajne anatomie ujawniły porażki modelu i jego początkowego wyrównania.

Autor opisuje testowanie metodą leave-one-out na pięciu odłożonych kościach udowych. W każdym teście jeden cel jest wykluczany, a model konstruowany jest z pozostałych 49 siatek.

W przypadku celów mieszczących się w zakresie reprezentowanym przez model zgłoszone błędy wynoszą od 0,86 do 1,43 milimetra. Publiczny wpis nie przedstawia pełnego protokołu, błędów dla poszczególnych regionów, przedziałów ufności ani artefaktów ewaluacyjnych dostępnych do pobrania.

Wartości te są technicznie wiarygodne w tej dziedzinie. Wcześniejsze badanie dalszego odcinka kości udowej wykazało submilimetrową dokładność sztywnej rejestracji przed oceną rekonstrukcji kształtu na podstawie skalibrowanych obrazów dwupłaszczyznowych.

Inne badania raportowały średnie błędy na poziomie około milimetra w rekonstrukcji kończyny dolnej w kontrolowanych warunkach dwupłaszczyznowych. Porównania pozostają niedoskonałe, ponieważ różnią się zbiory danych, metryki, kalibracja i docelowa anatomia.

Dwa skrajne przypadki w obecnym projekcie są bardziej pouczające niż jego najlepsze wyniki liczbowe. We wpisie stwierdzono, że oba cele znajdowały się poza pokryciem modelu 49 kształtów wzdłuż jego pierwszego trybu PCA.

Gdy cel przekroczył wspierany zakres, optymalizator nie dysponował żadnym prawidłowym współczynnikiem zdolnym go odtworzyć. Dodatkowe iteracje nie mogły stworzyć brakującego kierunku anatomicznego.

Nie jest to wyłącznie porażka optymalizatora. To porażka reprezentacji.

Autor zgłasza również słabe wyrównanie mostkowe ICP dla tych przypadków, ze współczynnikiem inlierów równym 0,6. ICP, czyli iteracyjny najbliższy punkt, szacuje wyrównanie poprzez wielokrotne dopasowywanie bliskiej geometrii i aktualizowanie transformacji.

We wpisie wskazano, że ten błąd inicjalizacji przyczynił się do nieudanych rekonstrukcji bardziej niż dopasowanie kształtu. Tworzy to dwie wzajemnie oddziałujące granice.

Po pierwsze, cel musi zostać umieszczony wystarczająco blisko modelu, aby optymalizacja sylwetki poprawnie się zbiegała. Po drugie, model musi zawierać wystarczającą zmienność anatomiczną, by reprezentować cel.

Potok może nie przejść któregokolwiek z tych testów. Może też przejść test straty obrazu, zwracając jednocześnie błędną ukrytą geometrię.

Dwie sylwetki tworzą wiele równoważnych lub niemal równoważnych projekcji. Kość udowa może pasować do obu zarysów, a mimo to różnić się w regionach, których żaden widok nie ogranicza silnie.

Priorytet Mahalanobisa wybiera wiarygodne rozwiązanie spośród tych możliwości. Wiarygodność odzwierciedla jednak 49 kształtów treningowych, a nie uniwersalną populację pacjentów.

To rozróżnienie ma znaczenie w przypadku deformacji, urazów, anatomii pediatrycznej, wcześniejszych operacji, guzów i nietypowej morfologii. Mogą to być właśnie przypadki, w których geometria specyficzna dla pacjenta ma największe znaczenie.

Model trenowany na względnie typowej anatomii dorosłych może działać najlepiej tam, gdzie rekonstrukcja jest klinicznie najmniej potrzebna. Mógłby odrzucać lub wygładzać właśnie te przypadki, które wymagają trójwymiarowej oceny.

Niewielki zestaw walidacyjny nie może ustalić wydajności w podgrupach. Pięć odłożonych powierzchni jest przydatnych do debugowania, ale nie może stanowić podstawy twierdzeń o wiarygodności klinicznej.

Testowanie leave-one-out ponownie wykorzystuje niemal całą kohortę w każdej ewaluacji. Wyniki między foldami są więc skorelowane, a populacja testowa pozostaje zbliżona do zbioru danych rozwojowych.

Niezależna walidacja zewnętrzna stanowiłaby trudniejszy test. Powinna wykorzystywać kości udowe z innej instytucji, innego skanera, procesu segmentacji i populacji pacjentów.

Opublikowana literatura już traktuje ten obszar ostrożnie. Przegląd modeli kształtu biodra wykazał, że modele statystyczne mogą łączyć radiogramy z anatomią 3D, wskazując jednocześnie luki w walidacji i reprezentacji populacji.

Właściwa interpretacja wartości od 0,86 do 1,43 milimetra jest zatem wąska. Jest to zgłoszony wynik potwierdzający słuszność koncepcji dla wybranych siatek obsługiwanych przez model w warunkach symulowanych.

Nie jest to dowód, że dwa zwykłe kliniczne zdjęcia RTG mogą zastąpić tomografię komputerową. Nie jest to dowód przydatności diagnostycznej, planowania chirurgicznego ani doboru implantów.

Kalibracja renderera może przytłoczyć model kształtu

Pojedynczy wrażliwy na skalę parametr renderowania miał podobno zmienić dokładność 87-krotnie, ujawniając, jak krucha może stać się optymalizacja w przestrzeni obrazu.

Miękka rasteryzacja potrzebuje szerokości przejścia wokół granic rzutowanych trójkątów. Jeśli szerokość jest zbyt duża, sylwetka staje się rozmyta, a jej strata nie może precyzyjnie zlokalizować rzeczywistego konturu.

Jeśli szerokość jest zbyt mała na początku, gradienty zanikają z dala od bieżącej granicy. Optymalizator otrzymuje wtedy niewiele wskazówek, gdy początkowa projekcja nie trafia w cel.

Wyżarzanie sigmy rozwiązuje ten konflikt. Szeroka wczesna granica przyciąga kandydujący kształt, podczas gdy wąska granica końcowa wspiera dokładne dopasowanie.

Autor podaje, że punkt końcowy wyżarzania musiał odpowiadać sigmie użytej do wygenerowania renderu referencyjnego. Stała dostrojona do jednego modelu kształtu miała rzekomo spowodować 87-krotne pogorszenie dokładności w innym.

Ponownie, jest to twierdzenie z publicznego opisu projektu. Wpis nie zawiera wystarczających artefaktów, aby zweryfikować ten współczynnik lub wyodrębnić każdą zmienną mającą na niego wpływ.

Zaproponowana poprawka powiązała punkt końcowy z zakresem kamery pomnożonym przez 0.0001. Zakres kamery opisuje skalę renderowanej sceny w ramach wybranego układu współrzędnych.

Ta normalizacja ma sens koncepcyjny. Wartość miękkości wyrażona w bezwzględnych jednostkach modelu będzie zachowywać się inaczej, gdy inny zbiór danych używa innej skali.

Wniosek wykracza poza sigmę. Kalibracja kamery, jednostki siatki, rozdzielczość obrazu, typ projekcji, płaszczyzny obcinania i konwencje współrzędnych mogą wpływać na rekonstruowaną geometrię.

Metoda działająca po dostrojeniu specyficznym dla zbioru danych może zawieść po wdrożeniu w innym szpitalu. Różne systemy mogą kodować odległości w milimetrach, metrach, znormalizowanych współrzędnych lub jednostkach względnych względem pikseli.

Eksperymenty syntetyczne mogą ukrywać te niedopasowania, ponieważ ten sam renderer tworzy cel i ocenia rekonstrukcję. Model kierunkowy jest idealnie dopasowany do samego siebie.

Rzeczywiste radiogramy przełamują tę symetrię. Obejmują powiększenie, rozproszenie, nakładającą się anatomię, szum, zniekształcenia, niepełne pola widzenia i błędy metadanych pozyskania obrazu.

Ich kontury są także mniej czyste niż binarne sylwetki syntetyczne. Dalszy odcinek kości udowej może nakładać się na kość piszczelową, rzepkę, tkankę miękką, implanty lub urządzenia pozycjonujące.

Projekt obecnie zakłada, że zarys kości jest już dostępny. Autor wskazuje automatyczną segmentację jako niedokończoną pracę.

Ten brakujący etap ma duże znaczenie. Błąd konturu staje się geometryczną instrukcją dla optymalizatora, który zdeformuje kość udową, aby wyjaśnić nieprawidłowe piksele.

Niepewność segmentacji powinna zatem wejść do modelu rekonstrukcji. System mógłby nadawać mniej wagi niejednoznacznym granicom albo propagować niepewność konturu do końcowej pewności dotyczącej powierzchni.

Testowanie wyłącznie perfekcyjnych sylwetek nie może ujawnić tego zachowania. Kontrolowane perturbacje pomogłyby zmierzyć wrażliwość na brakujące krawędzie, przesunięte kontury i błędy kalibracji.

Trzeci widok mógłby dodać ograniczenia, ponieważ strata może sumować błędy dla dodatkowych projekcji. Zwiększyłby jednak złożoność pozyskania obrazów i odszedł od założenia projektu dotyczącego dwóch widoków.

Informacje o gęstości mogłyby dostarczyć więcej dowodów niż binarny zarys, ale wymagałoby to bardziej realistycznego modelu powstawania obrazu. Wprowadziłoby również założenia dotyczące ekspozycji, materiału i tłumienia.

Proste sformułowanie oparte na sylwetce jest atrakcyjne, ponieważ unika tych zmiennych. Jego słabością jest odrzucanie informacji, zanim rozpocznie się optymalizacja.

Właściwym kolejnym krokiem nie jest jedynie obniżenie syntetycznego błędu powierzchniowego. Jest nim sprawdzenie, czy cały potok pozostaje stabilny po wprowadzeniu do pętli realistycznych błędów pozyskania danych.

Trzy testy zdecydują, czy podejście da się przenieść

Projekt potrzebuje teraz walidacji na sparowanych danych klinicznych, szerszego pokrycia anatomicznego i jawnego wykrywania błędów, zanim zgłoszona dokładność nabierze praktycznego znaczenia.

Pierwszym sygnałem jest wydajność na rzeczywistych sparowanych danych radiograficznych i CT. Każdy pacjent dostarczałby dwa skalibrowane zdjęcia RTG do rekonstrukcji oraz powierzchnię wyprowadzoną z CT do niezależnego porównania.

Ten test powinien zachować geometrię CT poza procesem dopasowania. Powinien również rozdzielać błąd segmentacji, błąd kalibracji kamery, błąd rejestracji i błąd modelu kształtu.

Odległości powierzchniowe dla poszczególnych regionów byłyby bardziej informacyjne niż jedna globalna średnia. Błędy w pobliżu kłykci, wcięcia międzykłykciowego i chirurgicznych punktów orientacyjnych zasługują na osobne raportowanie.

Ewaluacja powinna obejmować pomiary anatomiczne istotne dla proponowanego zastosowania. Niewielka średnia odległość nie gwarantuje dokładnych osi, szerokości, kątów ani obszarów kontaktu implantów.

Sukces w sparowanych przypadkach wzmocniłby twierdzenie, że syntetyczne dopasowanie sylwetek przenosi się na obrazy kliniczne. Duży spadek wskazałby, że obecny renderer rozwiązuje czystszy problem niż ten przedstawiany przez radiografię.

Drugim sygnałem jest walidacja zewnętrzna w szerszej kohorcie. Pięćdziesiąt siatek referencyjnych może wykazać wykonalność, ale zapewnia ograniczone pokrycie zmienności demograficznej i patologicznej.

Większe badanie powinno ujawniać skład kohorty, kryteria wykluczenia, patologie, stronność i procedury segmentacji. Powinno także zachować całkowicie niezależny zestaw testowy.

Najcenniejsze przypadki będą znajdować się blisko granicy modelu lub poza nią. Testowanie wyłącznie typowej anatomii ukryłoby dokładnie to ograniczenie, które zaobserwowano już w dwóch skrajnych przykładach.

Badacze powinni raportować, jak zmienia się dokładność, gdy do modelu wprowadzane są kolejne kształty referencyjne i tryby PCA. Więcej trybów może poprawić pokrycie, ale może też osłabić regularyzację i wprowadzić niestabilne deformacje.

Ten eksperyment ujawniłby, czy obecny model z 10 współczynnikami uchwytuje trwałą bazę anatomiczną, czy jedynie efektywnie dopasowuje jedną małą kolekcję.

Trzecim sygnałem jest automatyczny mechanizm odrzucania. System powinien identyfikować niewiarygodne dane wejściowe, zanim ktokolwiek użyje wynikowej siatki.

Możliwe ostrzeżenia obejmują współczynniki bliskie limitom modelu, wysoką odległość Mahalanobisa, słabą zgodność sylwetek, niski współczynnik inlierów ICP lub rozbieżność między powtarzanymi inicjalizacjami.

Użyteczny wynik pewności musi korelować z rzeczywistym błędem 3D u niewidzianych pacjentów. Nie może opierać się wyłącznie na stracie optymalizacji, ponieważ ukryte powierzchnie mogą pozostać błędne mimo dopasowanych konturów.

Testy prospektywne powinny określać progi odrzucenia przed zapoznaniem się z końcowymi wynikami. Zapobiega to dobieraniu korzystnych progów dopiero po ujawnieniu niepowodzeń.

Jeśli te trzy sygnały pojawią się jednocześnie, projekt stanie się czymś więcej niż interesującą demonstracją geometrii. Zaproponuje możliwą do przetestowania drogę do selektywnej, spersonalizowanej rekonstrukcji bez rutynowego CT.

Jeżeli dokładność na rzeczywistych obrazach gwałtownie spadnie, szersze kohorty pozostaną niepotwierdzone lub nie będzie można wykrywać niepowodzeń, węższy wniosek nadal będzie istotny. Renderowanie różniczkowalne może dopasowywać sylwetki, ale nie dostarczy dowodów anatomicznych, których model kształtu nigdy nie zawierał.

Dla deweloperów śledzących wątek Horizon MachineLearning bezpośrednim wyzwaniem jest odtwarzalność. Dziedzina potrzebuje kodu, stałych podziałów danych, parametrów kamer, ustawień korespondencji oraz pełnych rozkładów błędów.

Dla zespołów medycznych pytanie jest bardziej rygorystyczne: czy metoda potrafi rozpoznać pacjenta, którego nie powinna rekonstruować? Odpowiedź na to pytanie ma większe znaczenie niż jej najlepszy wynik wyrażony w milimetrach.