Kontrakt Cognita Imaging z FDA sprawdza, czy ławy przysięgłych LLM mogą bezpiecznie oceniać radiologiczną AI

Cognita Imaging otrzymała kontrakt FDA o wartości 1,29 mln dolarów na testowanie ław przysięgłych LLM na około milionie badań pacjentów. Osiemnastomiesięczny projekt dotyczy trudnego problemu regulacyjnego: oceny systemów AI, które generują kompletne opisy radiologiczne bez kierowania każdego przypadku do weryfikacji przez człowieka.

Kontrakt Cognita Imaging z FDA nie stanowi zezwolenia na wprowadzenie wyrobu medycznego na rynek ani nie jest poparciem dla technologii firmy. Finansuje natomiast badania z zakresu nauki regulacyjnej nad tym, czy kilka dużych modeli językowych może konsekwentnie oceniać opisy. Radiolodzy zbadają rozbieżności istotne klinicznie, zamiast ręcznie przeglądać cały zbiór danych.

To rozróżnienie ujawnia kluczowe napięcie. Zautomatyzowana ocena sprawia, że badania obejmujące milion przypadków stają się możliwe, lecz wprowadza kolejną omylną warstwę AI między generator opisu a eksperta będącego człowiekiem. Projekt musi więc ocenić zarówno model sporządzający opisy, jak i modele oceniające jego pracę.

Cognita planuje dostarczyć kod swojego oprogramowania, wytyczne dotyczące tworzenia ław przysięgłych LLM, porównania kohort walidacyjnych oraz badania rozbieżności zweryfikowane przez radiologów. FDA otrzyma również raporty obejmujące wyniki i ograniczenia projektu.

Wynik ma znaczenie wykraczające poza Cognita. Twórcy medycznej AI coraz częściej chcą generować kompletne teksty kliniczne, podczas gdy regulatorzy muszą zdecydować, jakie dowody mogą wspierać takie szersze systemy. Kontrakt sprawdzi, czy automatyzacja może poszerzyć ten materiał dowodowy bez osłabiania jego znaczenia klinicznego.

Co faktycznie finansuje kontrakt Cognita Imaging z FDA

Kontrakt finansuje metodę oceny, a nie zgodę na sprzedaż autonomicznego produktu do radiologii.

FDA przyznała Cognita Imaging kontrakt o stałej cenie w wysokości 1 294 042 dolarów. Federalne rejestry kontraktów wskazują go jako zamówienie 75F40126C00035, obejmujące oparte na AI wirtualne agenty-eksperci dziedzinowi do oceny opisów radiologicznych.

Kontrakt wszedł w życie 22 czerwca 2026 r. i obowiązuje do 21 grudnia 2027 r. Cognita publicznie ogłosiła projekt 16 września. Firma otrzymała kontrakt w ramach programu Broad Agency Announcement FDA dotyczącego badań z zakresu nauki regulacyjnej.

Projekt nosi nazwę „Virtual Subject Matter Expert Agents for Radiology Report Evaluation”. Cognita opracuje i zwaliduje ramy, w których wiele LLM ocenia opisy radiologiczne tworzone przez ludzi i przez AI.

Ława przysięgłych LLM to grupa modeli językowych, które niezależnie oceniają ten sam wynik. Ich połączone oceny mogą ujawnić rozbieżności, które pojedynczy zautomatyzowany ewaluator mógłby ukryć.

Metoda zostanie następnie zastosowana do około miliona badań pacjentów z dużej kohorty w USA. Badanie przeanalizuje skuteczność w różnych populacjach pacjentów, placówkach opieki, sprzęcie obrazowym, chorobach i rzadkich znaleziskach.

Ta skala ma kluczowe znaczenie dla propozycji. Konwencjonalne badania z udziałem oceniających wymagają od radiologów porównywania wyników modelu z przypadkami referencyjnymi. Badania te nadal są niezbędne, lecz czas ekspertów ogranicza liczbę i różnorodność przypadków, które mogą objąć.

Kompletne opisy tworzą też większą powierzchnię oceny niż systemy wykrywania o wąskim zakresie. Model triage może wskazać podejrzenie zakrzepu krwi lub zapadniętego płuca. Jego wynik jest ograniczony i można go porównać z określonym punktem odniesienia.

Wygenerowany opis może zawierać wiele znalezisk, zastrzeżeń, porównań i zaleceń. Może pominąć nieprawidłowość, wymyślić ją, błędnie określić jej nasilenie lub niejednoznacznie opisać prawidłowe znalezisko.

Podejście Cognita zakłada, że kilka LLM będzie klasyfikować te różnice na dużą skalę. Radiolodzy wkroczą, gdy ława przysięgłych wskaże rozbieżność istotną klinicznie.

Według ogłoszenia firmy o kontrakcie recenzenci określą, czy problem pochodził z wygenerowanego opisu, ławy przysięgłych LLM czy pierwotnego opisu radiologa. To trójstronne rozstrzyganie jest kluczowe, ponieważ opis referencyjny nie jest automatycznie doskonały.

Badaniami pokieruje współzałożyciel Cognita, Akshay Chaudhari. Jest on również profesorem nadzwyczajnym radiologii i nauki o danych biomedycznych na Stanford University. CEO i współzałożyciel Cognita, Louis Blankemeier, będzie pełnił funkcję współbadacza.

Cognita jest spółką zależną należącą w całości do Mosaic Clinical Technologies, która z kolei należy do Radiology Partners. Ta relacja zapewnia zespołowi badawczemu dostęp do infrastruktury klinicznej i wiedzy radiologicznej w zróżnicowanych środowiskach praktyki.

Radiology Partners podaje, że jej szersza sieć obejmuje ponad 4 000 radiologów obsługujących ponad 3 400 placówek ochrony zdrowia. Firma informuje o interpretacji ponad 55 mln badań obrazowych rocznie.

Te dane firmy opisują potencjalny kontekst operacyjny, a nie wyniki walidacji kontraktu. Kohorta miliona badań nadal musi zostać zdefiniowana, przetestowana i opisana z wystarczającą szczegółowością, aby inni mogli ocenić jej reprezentatywność.

Kontraktowe rezultaty projektu czynią go czymś bardziej istotnym niż prywatnym benchmarkiem. Cognita musi dostarczyć kod, wskazówki wdrożeniowe, analizy dużych i małych kohort, rozstrzygnięte badania rozbieżności oraz udokumentowane ograniczenia.

FDA nie obiecała jednak przyjąć tych ram jako standardu regulacyjnego. Badania mogą wpłynąć na przyszłą politykę, nie stając się obowiązkową ścieżką dla każdego generatywnego produktu radiologicznego.

Ta granica jest istotna, ponieważ finansowanie kontraktu i autoryzacja produktu służą różnym celom. Odrębny model Cognita do zdjęć rentgenowskich klatki piersiowej otrzymał status breakthrough device designation, lecz nie uzyskał zezwolenia na wprowadzenie na rynek.

Oryginalne doniesienie również potwierdza, że kontrakt badawczy i breakthrough designation to odrębne inicjatywy. Żadna z nich nie zastępuje dowodów wymaganych dla przyszłego zgłoszenia wyrobu.

Dlaczego kompletne opisy burzą stary model oceny

Generatywne systemy radiologiczne zmieniają ocenę z wąskiego testu dokładności w otwarty problem porównania klinicznego.

Większość autoryzowanej AI radiologicznej historycznie realizowała zadania o ograniczonym zakresie. System może segmentować narząd, oznaczać pilne badanie, mierzyć strukturę lub wykrywać określoną nieprawidłowość.

Funkcje te nadal mogą wymagać złożonych testów. Twórcy zwykle mogą jednak zdefiniować oczekiwany wynik, standard referencyjny i populację docelową przed rozpoczęciem badania.

Generowanie pełnego opisu wygląda inaczej. Model otrzymuje obrazy, a niekiedy także kontekst kliniczny, po czym tworzy narrację obejmującą wszystko, co uznaje za istotne.

Jedno badanie może zawierać kilka nieprawidłowości o różnym priorytecie klinicznym. Inne może być prawidłowe, lecz uwzględniać zmiany pooperacyjne, których nie wolno pomylić z chorobą.

Wygenerowany opis może być zgodny z faktami, lecz źle ustalać priorytety. Może wymieniać prawidłowe znalezisko, ale ujmować je w języku, który zmienia jego pilność. Może też stworzyć wiarygodne zdanie, którego obraz nie potwierdza.

Halucynacje opisują informacje, które wydają się wiarygodne, lecz nie mają oparcia w danych źródłowych. Pominięcia występują, gdy opis nie uwzględnia znaleziska, które powinno zostać udokumentowane.

Oba rodzaje błędów opierają się prostemu dopasowywaniu tekstu. Dwóch kompetentnych radiologów może inaczej opisać ten sam obraz, podczas gdy dwa podobne opisy mogą mieć istotnie różne konsekwencje kliniczne.

Tradycyjne metryki językowe często premiują wspólne słowa lub frazy. Nie odróżniają niezawodnie nieszkodliwej zmiany sformułowania od błędu, który zmienia sposób postępowania z pacjentem.

Cognita wcześniej pomagała opracować GREEN, skrót od Generative Radiology Report Evaluation and Error Notation. GREEN wykorzystuje model językowy do identyfikowania, kategoryzowania i wyjaśniania klinicznie istotnych różnic między wygenerowanymi opisami a opisami referencyjnymi.

Recenzowana publikacja o GREEN wykazała lepszą zgodność z ocenami ekspertów niż kilka konwencjonalnych metryk tekstowych. System tworzył również wyjaśnienia i liczbę błędów, zamiast zwracać wyłącznie wynik podobieństwa.

Kontrakt FDA rozszerza podstawową ideę na dwa sposoby. Wykorzystuje kilku modeli-sędziów zamiast polegać na jednym oraz angażuje radiologów w przypadkach, w których zautomatyzowane oceny mają znaczenie kliniczne.

Ława przysięgłych może ograniczyć zależność od preferencji jednego modelu, ale tylko wtedy, gdy jej członkowie wnoszą rzeczywiście odmienne oceny. Kilka modeli może dzielić źródła treningowe, błędy rozumowania lub wrażliwość na te same sformułowania.

Konsensus nie jest więc tym samym co poprawność. Pięć modeli popełniających ten sam błąd może zwiększać pewność bez dodawania wiarygodnych dowodów.

Proponowany proces rozstrzygania rozbieżności częściowo odpowiada na to ryzyko. Gdy sędziowie nie zgadzają się w kwestii istotnej klinicznie, radiolog może zbadać opisy i ustalić, co zawiodło.

Jednak zgodność również zasługuje na testowanie. Jeśli każdy członek ławy przeoczy to samo pominięcie, eskalacja oparta na rozbieżności nie skieruje tego przypadku do weryfikacji przez człowieka.

Projekt potrzebuje zatem osobno dobranej próbki do oceny przez ludzi. Taki zbiór może oszacować błędy zarówno w jednomyślnych, jak i podzielonych decyzjach ławy przysięgłych.

Znaczenie będą miały także porównania dużych i małych kohort. Firma musi pokazać, jakie dodatkowe wzorce błędów stają się widoczne, gdy ocena wykracza poza kilkaset wybranych przypadków.

Milion badań powinien obejmować więcej rzadkich schorzeń i nietypowych kombinacji. Może też ujawnić zmiany skuteczności związane ze skanerami, instytucjami, populacjami pacjentów i środowiskami klinicznymi.

Sama skala nie gwarantuje jednak pełnego pokrycia. Duży zbiór danych może nadal niedostatecznie reprezentować ważne populacje, rzadko spotykany sprzęt lub środowiska spoza jego sieci źródłowej.

Dlatego skład kohorty powinien pozostać częścią końcowej analizy. Czytelnicy będą potrzebować czegoś więcej niż tylko nagłówkowej liczby, aby ocenić, czy metoda odzwierciedla rzeczywistą praktykę w USA.

FDA potrzebuje dowodów odpowiadających generatywnej AI

Kontrakt pojawia się w czasie, gdy FDA decyduje, jak istniejące przepisy dotyczące wyrobów powinny mieć zastosowanie do systemów o szerszych i mniej przewidywalnych wynikach.

18 sierpnia FDA opublikowała dokument dyskusyjny dotyczący wyrobów medycznych wykorzystujących generatywną AI. Agencja poprosiła o opinie na temat oceny ryzyka, oceny przed wprowadzeniem na rynek, monitorowania po wprowadzeniu na rynek oraz zarządzania cyklem życia.

Ten moment czyni kontrakt Cognita Imaging z FDA szczególnie istotnym. Agencja nie tylko analizuje pojedyncze produkty. Bada również, czy jej metody oceny są odpowiednie dla wyrobów tworzących nowe treści.

Dokument dyskusyjny FDA stawia pytania o pomiar skuteczności, gdy wyniki są zmienne lub otwarte. Pyta także, jak twórcy powinni wykrywać konfabulacje, oceniać nadzór człowieka i monitorować produkty po wdrożeniu.

Opis radiologiczny generowany przez AI dotyczy każdej z tych kwestii. Jego wynik może różnić się między uruchomieniami, zawierać kilka twierdzeń klinicznych i wpływać na decyzje nawet wtedy, gdy radiolog podpisuje końcowy opis.

Badania przed wprowadzeniem na rynek muszą wykazać bezpieczeństwo i skuteczność przed autoryzacją. Ograniczone zbiory testowe mogą jednak pominąć rzadkie kombinacje, które później pojawią się w zastosowaniu klinicznym.

Monitorowanie po wprowadzeniu na rynek oferuje szerszy materiał dowodowy, ale przeglądanie każdego wdrożonego opisu nakładałoby duże obciążenie operacyjne. Zautomatyzowani sędziowie mogliby pomóc wskazać przypadki zasługujące na uwagę ekspertów.

To tworzy potencjalny pomost między walidacją przed wprowadzeniem na rynek a nadzorem w warunkach rzeczywistych. Te same ramy oceny mogłyby służyć do testowania modelu przed uruchomieniem oraz monitorowania wybranych wyników po wdrożeniu.

Ramy nadal wymagałyby jasnych progów. Rozbieżność zmieniająca sposób leczenia zasługuje na inną reakcję niż stylistyczna różnica zdań czy niegroźna odmiana sformułowania.

Potrzebne są też możliwe do prześledzenia rejestry. Organy regulacyjne i szpitale muszą móc odtworzyć, dlaczego zautomatyzowany sędzia przypisał kategorię błędu oraz dlaczego przypadek trafił do ludzkiego recenzenta.

Aktualizacje modeli tworzą kolejne wyzwanie. Jeśli zmieni się generator raportów, może zmienić się rozkład jego błędów. Jeśli zmieni się członek jury, mogą również przesunąć się oceny systemu ewaluacji.

Powstają w ten sposób dwa zmienne systemy zamiast jednego. Zweryfikowany generator raportów może wyglądać na lepszy lub gorszy wyłącznie dlatego, że zaktualizowano jego ewaluatorów.

Niezbędne będą zatem kontrola wersji, zamrożone zestawy testowe oraz powtarzalne prompty. Twórcy muszą dokumentować zarówno oceniany produkt, jak i każdego sędziego użytego do jego oceny.

FDA prowadzi już listę urządzeń AI, obejmującą dopuszczone produkty z różnych specjalizacji medycznych. Radiologia nadal stanowi dużą część wymienionych urządzeń.

Agencja zaznacza, że w przyszłych aktualizacjach listy chce wyraźniej identyfikować urządzenia zawierające funkcje oparte na LLM. Sygnalizuje to potrzebę precyzyjniejszej widoczności regulacyjnej, gdy funkcje generatywne trafiają do produktów medycznych.

Ugruntowany rynek AI dla radiologii zwiększa również presję konkurencyjną. Firmy takie jak Aidoc, Viz.ai, Lunit, Annalise.ai, Rad AI i DeepHealth rozwijały różne kombinacje narzędzi do wykrywania, triage’u, obsługi przepływu pracy i raportowania.

Skalowalna metoda oceny raportów nie faworyzowałaby automatycznie Cognita. Konkurenci mogliby korzystać z podobnych strategii dowodowych, jeśli FDA opublikuje szeroko stosowne wytyczne.

Presja dotyczy natomiast każdego twórcy, który formułuje szerokie twierdzenia o skuteczności na podstawie ograniczonych badań z udziałem czytelników. Organy regulacyjne i nabywcy mogą pytać, czy kilkaset starannie dobranych przykładów ujawnia zachowanie modelu w pełnym zakresie rzeczywistej zmienności klinicznej.

Szpitale mogą zadać to samo pytanie podczas zakupów. Potrzebują dowodów, że model działa w różnych lokalnych skanerach, protokołach, grupach pacjentów i konwencjach raportowania.

Jeśli kontrakt doprowadzi do wiarygodnej metodologii, większe kohorty walidacyjne mogą stać się oczekiwaną częścią pakietu dowodowego. Zwiększyłoby to wymagania dotyczące testowania, jednocześnie utrudniając popieranie szerokich twierdzeń generatywnych selektywnie dobranymi przypadkami.

Jury LLM również musi stanąć przed sądem

Kluczowy kompromis jest prosty: sędziowie LLM oferują skalę, lecz ich własne błędy mogą zniekształcać dowody otrzymywane przez organy regulacyjne.

LLM nie oceniają raportów z neutralnej pozycji. Ich osądy zależą od danych treningowych, promptów, wersji modeli, kolejności oceny i sformułowań każdego analizowanego raportu.

Sędzia może preferować dłuższe odpowiedzi, nawet gdy dodatkowy tekst tworzy ryzyko kliniczne. Może faworyzować znajomy styl pisania lub przyznawać wyższe wyniki odpowiedziom przypominającym własne odpowiedzi.

Model może również podejmować niespójne decyzje podczas powtarzanych ocen. Tworzy to problem odtwarzalności, gdy twórcy potrzebują stabilnych pomiarów do zgłoszeń regulacyjnych.

W ochronie zdrowia stawka jest wyższa, ponieważ znaczenie mają subtelne różnice. Ewaluator dobrze radzący sobie z ogólnymi pytaniami medycznymi może nadal niewłaściwie traktować niepewność, stronę ciała, porównania czasowe lub terminologię charakterystyczną dla obrazowania.

Niedawny przegląd dotyczący ochrony zdrowia, poświęcony systemom sędziów LLM, opisuje zautomatyzowaną ocenę jako obiecującą, ale podkreśla potrzebę walidacji, przejrzystości i nadzoru człowieka.

Projekt Cognita zaprojektowano tak, aby badać kilka z tych kwestii. Wielu sędziów może ujawnić niestabilność, a arbitraż radiologów może sprawdzić, czy punkty niezgody wskazują na klinicznie istotną niepewność.

Architektura jury nie eliminuje jednak automatycznie stronniczości. Jego członkowie muszą być dobierani i testowani pod kątem uzupełniających się wyników, a nie składani wyłącznie według liczby modeli.

Badanie powinno ujawniać, czy sędziowie pochodzą z różnych rodzin modeli. Powinno też wyjaśniać, czy którykolwiek sędzia współdzieli technologię, dane lub metody optymalizacji z generatorem raportów.

Szczególnym problemem jest autopreferencja. Rodzina modeli może faworyzować wyniki przypominające jej własną strukturę, szczegółowość lub wzorce rozumowania.

Problem staje się poważniejszy, jeśli twórca ocenia swój generator przy użyciu powiązanych modeli. Pozornie wysokie wyniki mogą odzwierciedlać stylistyczne podobieństwo, a nie poprawność kliniczną.

Należy również zbadać wrażliwość na prompty. Niewielkie zmiany w instrukcjach mogą zmienić sposób, w jaki sędzia waży pominięcia, niepewność i znaczenie kliniczne.

Ramy regulacyjne nie mogą zależeć od promptu działającego tylko w jednej nieudokumentowanej konfiguracji. Prompt, temperatura, wersja modelu i reguły decyzyjne powinny być odtwarzalne.

Jury musi też odróżniać jakość raportu od prawdy wynikającej z obrazu. Sędzia operujący wyłącznie na tekście może porównać dwa raporty, lecz nie może niezależnie potwierdzić, który opis odpowiada skanowi.

Jeśli pierwotny raport pomija znalezisko, wygenerowany raport może zostać ukarany za jego prawidłowe dodanie. Odwrotna sytuacja może wystąpić, gdy oba teksty zgadzają się co do błędu.

Proponowany przez Cognita przegląd radiologiczny może rozstrzygnąć część tych konfliktów poprzez powrót do obrazów. Ostateczna metodologia powinna określać, kiedy przegląd obrazów jest obowiązkowy, a nie opcjonalny.

W pełni świadomy obrazu ewaluator stwarza własne komplikacje. Modele wizualno-językowe mogą analizować obrazy i tekst, ale wtedy ich interpretacja wizualna również musi zostać zwalidowana.

Tworzy to warstwowy problem zapewnienia jakości. Każdy dodany model poszerza możliwości, jednocześnie wprowadzając kolejny komponent, który może zawieść bez wyraźnego sygnału.

Klinicznie istotna niezgoda nie jest także stałą kategorią. Niewielka różnica w sformułowaniu dla jednego pacjenta może nabrać znaczenia, gdy wpływa na dalsze postępowanie, pilność lub leczenie.

Ramy będą wymagać wyraźnych kategorii błędów i definicji ich ciężkości. Radiolodzy powinni wykazywać istotną zgodność przy stosowaniu tych reguł.

Niezgodności między osobami oceniającymi nie należy traktować jako szumu, który trzeba wyeliminować. Może ona ujawniać rzeczywistą niejednoznaczność obrazu, raportu lub kontekstu klinicznego.

Najbardziej użytecznym wynikiem może być zatem skalibrowana niepewność, a nie jeden uniwersalny wynik. System, który niezawodnie identyfikuje niepewne przypadki, może wspierać nadzór bez udawania, że zastępuje ekspercki osąd.

Na wdrożenie wpłyną również koszt i opóźnienia. Uruchamianie kilku zastrzeżonych modeli dla miliona raportów może wymagać znaczących zasobów obliczeniowych i wielokrotnego przetwarzania.

Ekonomia ta nie unieważnia podejścia, ale wpływa na to, czy mniejsi twórcy mogą je odtworzyć. Metoda regulacyjna staje się mniej użyteczna, jeśli tylko duże organizacje mogą pozwolić sobie na infrastrukturę ewaluacyjną.

Kod i wskazówki implementacyjne Cognita mogą pomóc. Ostateczne materiały powinny jednak nadal wyjaśniać wymagania sprzętowe, dostęp do modeli, czas przetwarzania oraz wrażliwość na aktualizacje zamkniętych modeli.

Sukces kontraktu powinien być więc oceniany na podstawie przejrzystości i powtarzalności, a nie wyłącznie zgodności z radiologami przedstawianej w nagłówkach. Wiarygodny wynik negatywny również dostarczyłby użytecznych dowodów regulacyjnych.

Jeśli jury LLM zawiedzie w określonych klasach błędów, FDA może odpowiednio ograniczyć jego rolę. Badanie nie musi dowodzić uniwersalnej niezawodności, aby poprawić praktykę ewaluacyjną.

Co oznaczałby sukces w skali miliona badań

Udany wynik uczyniłby przegląd wykonywany przez człowieka bardziej ukierunkowanym, a nie czynił radiologów zbędnymi.

Centralnym modelem działania projektu jest selektywna eskalacja. Zautomatyzowani sędziowie przetwarzają szeroki zbiór danych, podczas gdy specjaliści skupiają się na przypadkach o istotnej niepewności lub niezgodzie.

Taka konstrukcja może zwiększyć zasięg ograniczonego czasu ekspertów. Może również skoncentrować recenzentów na przypadkach, które najprawdopodobniej ujawnią słabości modelu.

Korzyść zależy od czułości triage’u. Jury musi kierować do radiologów wystarczająco wiele rzeczywiście problematycznych raportów, nie przytłaczając ich niegroźnymi różnicami.

Fałszywie ujemne wyniki stanowią większy problem bezpieczeństwa. Występują wtedy, gdy jury akceptuje klinicznie istotny błąd w raporcie i nigdy nie zleca przeglądu przez człowieka.

Fałszywie dodatnie wyniki tworzą inne obciążenie. Jeśli eskalowanych jest zbyt wiele bezpiecznych raportów, obiecana efektywność znika, a system zbliża się do kolejnego pełnego badania z udziałem czytelników.

Badanie powinno raportować oba wyniki dla różnych poziomów ciężkości błędów. Pojedynczy odsetek zgodności ukryłby kompromis operacyjny.

Wyniki powinny być także podzielone według choroby, modalności, cech pacjentów, typu placówki i sprzętu. Wyniki zbiorcze mogą maskować słabą skuteczność w mniejszych grupach.

Rzadkie znaleziska zasługują na szczególną uwagę. Model może osiągać wysoką ogólną dokładność, a jednocześnie zawodzić w przypadku rzadkich, lecz pilnych schorzeń.

Milion badań czyni analizę rzadkich zdarzeń bardziej realną, ale rzeczywiste liczebności nadal mają znaczenie. Rzadka podgrupa obejmująca tylko kilka przykładów nie może stanowić podstawy stabilnego wniosku.

Szczególnie pouczające będzie porównanie małych i dużych kohort walidacyjnych. Może ono pokazać, czy wnioski wyciągane z konwencjonalnych badań pozostają stabilne, gdy rozszerza się mieszanka przypadków.

Jeśli rankingi lub wskaźniki błędów zmienią się istotnie, twórcy i regulatorzy uzyskają dowody, że mniejsze oceny pomijają ważne zachowania. Taki wynik mógłby przekształcić projektowanie badań, nawet jeśli samo jury wymaga dalszego dopracowania.

Sukces wpłynąłby również na monitorowanie po wprowadzeniu na rynek. Szpitale mogłyby pobierać próbki raportów produkcyjnych, stosować zatwierdzoną metodę oceny i kierować rozbieżności wysokiego ryzyka do zespołów ds. jakości.

Taki monitoring wymagałby lokalnego nadzoru. Systemy ochrony zdrowia potrzebowałyby jasnego podziału odpowiedzialności za alerty, terminy przeglądów, działania naprawcze i komunikację z dostawcami.

Zautomatyzowana ewaluacja nie może stać się substytutem zgłaszania problemów związanych z bezpieczeństwem raportowania. Powinna generować dowody wspierające istniejące procesy jakościowe i regulacyjne.

Metoda mogłaby również pomóc w porównywaniu wersji produktów. Twórcy mogliby oceniać, czy aktualizacja naprawia znane błędy bez wprowadzania nowych w innych obszarach.

Takie zastosowanie wymaga stabilnego benchmarku i zamrożonej konfiguracji ewaluatora. W przeciwnym razie zmiany w jury mogą zostać pomylone ze zmianami w produkcie.

Szerszy efekt konkurencyjny mógłby być znaczący. Twórcy generatywnych rozwiązań radiologicznych coraz częściej twierdzą, że ich systemy mogą tworzyć szkice lub kompletne raporty.

Twierdzenia te stają się bardziej testowalne, gdy ewaluatorzy mogą analizować duże, zróżnicowane kohorty. Firmy dysponujące ograniczonymi dowodami mogą znaleźć się pod presją, by publikować wyniki dla podgrup oraz wskaźniki błędów potwierdzone arbitrażem.

Kontrakt FDA daje jednak Cognita wczesną rolę w kształtowaniu metodologii. Firma rozwija własną AI dla radiologii, dlatego zarządzanie konfliktami interesów i zewnętrzna odtwarzalność będą miały znaczenie.

Niezależne zespoły powinny móc testować te ramy na innych generatorach raportów. Powinny również móc odtworzyć ich kluczowe ustalenia bez polegania na prywatnych systemach Cognita.

Otwarty kod może wspierać ten proces, lecz sam kod jest niewystarczający. Zewnętrzna walidacja wymaga dostępnych zbiorów danych, udokumentowanych promptów, definicji błędów i rejestrów wersji modeli.

Prywatność pacjentów ograniczy zakres, w jakim dane źródłowe mogą zostać udostępnione. Projekt może rozwiązać ten problem poprzez kontrolowany dostęp, zdeidentyfikowane benchmarki lub niezależne środowiska walidacyjne.

Najsilniejszy rezultat łączyłby skalę z możliwością audytu. Organy regulacyjne mogłyby wtedy sprawdzać, jak uzyskano wynik, zamiast akceptować nieprzejrzysty rezultat.

Taki standard przyniósłby korzyści także nabywcom w ochronie zdrowia. Szpital mógłby porównywać twierdzenia za pomocą kategorii błędów powiązanych z konsekwencjami klinicznymi, zamiast korzystać z definiowanych przez dostawców wskaźników dokładności.

Trzy sygnały pokażą, czy ławy przysięgłych LLM są gotowe

Kolejne dowody powinny ujawnić, czy framework Cognita mierzy bezpieczeństwo kliniczne, czy jedynie automatyzuje zgodę między modelami językowymi.

Pierwszym sygnałem będzie szczegółowy protokół walidacji. Powinien wskazywać członków ławy, prompty, wersje modeli, skład kohorty, taksonomię błędów oraz zasady eskalacji.

Te szczegóły zdecydują o tym, czy podejście można odtworzyć. Ujawnią też, czy ława obejmuje istotnie różniących się ewaluatorów, czy blisko spokrewnione modele.

Solidny protokół określałby, w jaki sposób badacze wybierają jednomyślne decyzje do weryfikacji przez ludzi. Ten test jest kluczowy, ponieważ zgodność może maskować wspólne błędy.

Drugim sygnałem będzie analiza rozbieżności oceniona przez radiologów. Badacze powinni raportować, gdzie zawiodły wygenerowany opis, opis oryginalny i ława LLM.

Analiza ta powinna rozróżniać halucynacje, pominięcia, nieprawidłową ocenę nasilenia, błędy dotyczące strony ciała, niepoparte zalecenia oraz mniej istotne różnice w sformułowaniach.

Powinna również ujawniać wyniki w podgrupach. Stabilne wyniki ogólne nie mogą rekompensować słabej oceny rzadkich chorób, niedostatecznie reprezentowanych populacji ani konkretnych środowisk opieki.

Jeśli ława wykryje rozbieżności istotne klinicznie, jednocześnie utrzymując nakład pracy związany z przeglądem na rozsądnym poziomie, główna teza kontraktu zyska poparcie. Wysoki odsetek przeoczeń lub nadmierna eskalacja osłabiłyby ją.

Trzecim sygnałem będzie odpowiedź FDA po dojrzeniu badań. Agencja może odwołać się do metodologii w wytycznych, publicznych warsztatach, ocenach urządzeń lub propozycjach monitorowania po wprowadzeniu na rynek.

FDA nie musi nakazywać stosowania ław LLM, aby projekt miał znaczenie. Nawet ograniczona akceptacja mogłaby ustanowić oczekiwania dotyczące oceny dużych kohort i arbitrażu z udziałem ludzi.

Milczenie również byłoby informacją. Mogłoby wskazywać, że metoda wymaga dodatkowej walidacji albo że regulatorzy preferują dowody specyficzne dla danego produktu.

Opinia publiczna nie powinna interpretować kontraktu Cognita Imaging z FDA jako dowodu, że AI może bezpiecznie kontrolować samą siebie. Projekt istnieje, ponieważ to pytanie pozostaje nierozstrzygnięte.

Jego bardziej uzasadniona przesłanka jest węższa. Zautomatyzowani sędziowie mogą pomóc radiologom przeanalizować znacznie więcej dowodów, jeśli ich własna skuteczność zostanie zmierzona z równą rygorystycznością.

Twórcy, klinicyści i nabywcy rozwiązań dla ochrony zdrowia powinni obserwować, czy końcowa praca ujawnia tryby awarii, zamiast sprowadzać je do jednego wyniku. Powinni też pytać, czy niezależne zespoły mogą odtworzyć ustalenia.

Decydujące pytanie nie brzmi, czy kilka LLM może zgodzić się co do opisu. Chodzi o to, czy ich zgodność i niezgodność w niezawodny sposób kierują ludzką uwagę na przypadki o największym znaczeniu.