Contrato da Cognita Imaging com a FDA testa se júris de LLM podem avaliar com segurança a IA em radiologia

A Cognita Imaging recebeu um contrato de US$ 1,29 milhão da FDA para testar júris de LLM em aproximadamente um milhão de exames de pacientes. O projeto de 18 meses enfrenta um difícil problema regulatório: avaliar sistemas de IA que geram relatórios radiológicos completos sem encaminhar cada caso a revisores humanos.

O contrato da Cognita Imaging com a FDA não autoriza um dispositivo médico nem endossa a tecnologia da empresa. Em vez disso, financia pesquisa em ciência regulatória para verificar se diversos grandes modelos de linguagem conseguem avaliar relatórios de forma consistente. Radiologistas examinarão divergências clinicamente importantes, em vez de revisar manualmente todo o conjunto de dados.

Essa distinção concentra a tensão central. A avaliação automatizada torna concebíveis estudos com um milhão de casos, mas introduz outra camada falível de IA entre o gerador de relatórios e o especialista humano. Portanto, o projeto precisará avaliar tanto o modelo de elaboração de relatórios quanto os modelos que julgam seu trabalho.

A Cognita planeja fornecer seu código de software, orientações para criar júris de LLM, comparações com coortes de validação e estudos de discrepâncias revisados por radiologistas. A FDA também receberá relatórios sobre os resultados e as limitações do projeto.

O resultado importa para além da Cognita. Desenvolvedores de IA médica querem cada vez mais gerar textos clínicos completos, enquanto reguladores precisam decidir quais evidências podem sustentar esses sistemas mais amplos. O contrato testará se a automação pode ampliar essas evidências sem enfraquecer seu significado clínico.

O que o contrato da Cognita Imaging com a FDA realmente financia

O contrato financia um método de avaliação, não a permissão para vender um produto autônomo de radiologia.

A FDA concedeu à Cognita Imaging um contrato de preço fixo no valor de US$ 1.294.042. Registros federais de contratos o identificam como a adjudicação 75F40126C00035, voltada a agentes virtuais de especialistas baseados em IA para avaliação de relatórios radiológicos.

O contrato entrou em vigor em 22 de junho de 2026 e vai até 21 de dezembro de 2027. A Cognita anunciou publicamente o projeto em 16 de setembro. A empresa recebeu a adjudicação por meio do programa Broad Agency Announcement da FDA para pesquisa em ciência regulatória.

O projeto se chama “Virtual Subject Matter Expert Agents for Radiology Report Evaluation”. A Cognita desenvolverá e validará uma estrutura na qual múltiplos LLMs avaliam relatórios radiológicos escritos por humanos e gerados por IA.

Um júri de LLM é um grupo de modelos de linguagem que avaliam de forma independente a mesma saída. Seus julgamentos combinados podem expor divergências que um único avaliador automatizado poderia ocultar.

O método será então aplicado a aproximadamente um milhão de exames de pacientes de uma grande coorte dos EUA. A pesquisa examinará o desempenho em diferentes populações de pacientes, contextos de atendimento, equipamentos de imagem, doenças e achados raros.

Essa escala é central para a proposta. Estudos convencionais de leitores pedem a radiologistas que revisem saídas de modelos em comparação com casos de referência. Esses estudos continuam essenciais, mas o tempo dos especialistas limita o número e a variedade de casos que podem abranger.

Relatórios completos também criam uma superfície de avaliação maior do que sistemas de detecção estritamente focados. Um modelo de triagem pode identificar um coágulo sanguíneo suspeito ou um pulmão colapsado. Sua saída é limitada e pode ser comparada a uma referência definida.

Um relatório gerado pode conter muitos achados, ressalvas, comparações e recomendações. Ele pode omitir uma anormalidade, inventar uma, descrever incorretamente sua gravidade ou apresentar o achado correto de forma ambígua.

A abordagem da Cognita pede que vários LLMs classifiquem essas diferenças em escala. Radiologistas intervirão quando o júri identificar uma divergência clinicamente importante.

Segundo o anúncio do contrato da empresa, os revisores determinarão se o problema se originou no relatório gerado, no júri de LLM ou no relatório do radiologista original. Essa adjudicação em três vias é crucial porque um relatório de referência não é automaticamente perfeito.

A pesquisa será liderada pelo cofundador da Cognita, Akshay Chaudhari. Ele também é professor associado de radiologia e ciência de dados biomédicos na Stanford University. O CEO e cofundador da Cognita, Louis Blankemeier, atuará como co-investigador.

A Cognita é uma subsidiária integral da Mosaic Clinical Technologies, que pertence à Radiology Partners. Essa relação dá à equipe de pesquisa acesso a infraestrutura clínica e expertise em radiologia em diversos ambientes de prática.

A Radiology Partners afirma que sua rede mais ampla inclui mais de 4.000 radiologistas que atendem mais de 3.400 instalações de saúde. A empresa informa interpretar mais de 55 milhões de estudos de imagem por ano.

Esses números da empresa descrevem um possível contexto operacional, não os resultados de validação do contrato. A coorte de um milhão de exames ainda precisa ser definida, testada e reportada com detalhes suficientes para que outros avaliem sua representatividade.

As entregas contratuais tornam o projeto mais substancial do que um benchmark privado. A Cognita deve fornecer código, orientações de implementação, análises de coortes grandes versus pequenas, estudos de discrepâncias adjudicadas e limitações documentadas.

No entanto, a FDA não prometeu adotar a estrutura como padrão regulatório. A pesquisa pode informar políticas futuras sem se tornar uma via obrigatória para todos os produtos de radiologia generativa.

Esse limite importa porque o financiamento por contrato e a autorização de produtos têm finalidades distintas. O modelo separado de radiografia de tórax da Cognita recebeu a designação de dispositivo inovador, mas não recebeu autorização de comercialização.

A reportagem original também confirma que o contrato de pesquisa e a designação de dispositivo inovador são iniciativas distintas. Nenhum deles substitui as evidências necessárias para uma futura submissão de dispositivo.

Por que relatórios completos rompem o antigo modelo de avaliação

Sistemas de radiologia generativa transformam a avaliação de um teste restrito de precisão em um problema aberto de comparação clínica.

Historicamente, a maior parte da IA autorizada para radiologia executou tarefas delimitadas. Um sistema pode segmentar um órgão, sinalizar um exame urgente, medir uma estrutura ou detectar uma anormalidade especificada.

Essas funções ainda podem exigir testes complexos. No entanto, os desenvolvedores geralmente conseguem definir a saída esperada, o padrão de referência e a população-alvo antes de conduzir um estudo.

A geração de relatórios completos é diferente. O modelo recebe imagens e possivelmente contexto clínico, depois produz uma narrativa que abrange tudo o que considera relevante.

Um exame pode conter várias anormalidades com diferentes prioridades clínicas. Outro pode ser normal, mas incluir alterações pós-operatórias que não devem ser confundidas com doença.

Um relatório gerado pode ser factualmente preciso, mas mal priorizado. Pode mencionar o achado correto, mas apresentá-lo em uma linguagem que altera sua urgência. Também pode produzir uma frase plausível que não é sustentada pela imagem.

Alucinações descrevem informações que parecem críveis, mas não têm suporte nas evidências subjacentes. Omissões ocorrem quando um relatório deixa de incluir um achado que deveria ser documentado.

Ambos os erros resistem à simples correspondência de texto. Dois radiologistas corretos podem descrever a mesma imagem de formas diferentes, enquanto dois relatórios semelhantes podem ter implicações clínicas significativamente distintas.

Métricas tradicionais de linguagem frequentemente recompensam palavras ou expressões compartilhadas. Elas não distinguem de forma confiável uma mudança inofensiva de redação de um erro que altera o manejo do paciente.

A Cognita ajudou anteriormente a desenvolver o GREEN, sigla para Generative Radiology Report Evaluation and Error Notation. O GREEN usa um modelo de linguagem para identificar, categorizar e explicar diferenças clinicamente significativas entre relatórios gerados e de referência.

O artigo revisado por pares sobre o GREEN relatou maior alinhamento com avaliações de especialistas do que várias métricas convencionais de texto. Também produziu explicações e contagens de erros, em vez de apenas retornar uma pontuação de similaridade.

O contrato com a FDA amplia a ideia básica de duas formas. Ele usa vários modelos avaliadores em vez de depender de um só e envolve radiologistas nos casos em que os julgamentos automatizados têm importância clínica.

Um júri pode reduzir a dependência das preferências de um único modelo, mas apenas se seus membros contribuírem com julgamentos significativamente diferentes. Vários modelos podem compartilhar fontes de treinamento, falhas de raciocínio ou sensibilidade às mesmas formulações.

Portanto, consenso não é o mesmo que correção. Cinco modelos cometendo o mesmo erro podem gerar maior confiança sem acrescentar evidência válida.

O processo proposto para discrepâncias enfrenta parte desse risco. Quando os avaliadores divergem sobre uma questão clinicamente significativa, um radiologista pode examinar os relatórios e determinar o que falhou.

Ainda assim, a concordância também merece ser testada. Se todos os membros do júri deixarem passar a mesma omissão, a escalada baseada em divergências não enviará esse caso a um revisor humano.

Por isso, o projeto precisa de um conjunto de revisão humana amostrado separadamente. Esse conjunto pode estimar erros tanto em decisões unânimes quanto em decisões divididas do júri.

Comparações entre coortes grandes e pequenas também serão importantes. A empresa deve mostrar quais padrões adicionais de falha se tornam visíveis quando a avaliação vai além de algumas centenas de casos selecionados.

Um milhão de exames deve incluir mais condições raras e combinações incomuns. Também pode revelar mudanças de desempenho associadas a scanners, instituições, populações de pacientes e ambientes clínicos.

No entanto, a escala por si só não garante cobertura. Um conjunto de dados grande ainda pode sub-representar populações importantes, equipamentos incomuns ou contextos fora de sua rede de origem.

É por isso que a composição da coorte deve permanecer parte da análise final. Os leitores precisarão de mais do que o número de destaque para avaliar se o método reflete a prática real nos EUA.

A FDA precisa de evidências compatíveis com a IA generativa

O contrato surge enquanto a FDA decide como as regras existentes para dispositivos devem se aplicar a sistemas com saídas mais amplas e menos previsíveis.

Em 18 de agosto, a FDA publicou um documento de discussão sobre dispositivos médicos habilitados por IA generativa. A agência solicitou comentários sobre avaliação de riscos, avaliação pré-mercado, monitoramento pós-comercialização e gestão do ciclo de vida.

O momento torna o contrato da Cognita Imaging com a FDA especialmente relevante. A agência não está apenas analisando produtos individuais. Ela também está examinando se seus métodos de avaliação são adequados para dispositivos que criam conteúdo novo.

O documento de discussão da FDA levanta questões sobre como medir o desempenho quando as saídas são variáveis ou abertas. Também pergunta como os desenvolvedores devem detectar confabulações, avaliar a supervisão humana e monitorar produtos após a implantação.

Um relatório radiológico gerado por IA envolve cada uma dessas questões. Sua saída pode variar entre execuções, conter várias alegações clínicas e influenciar decisões mesmo quando um radiologista assina o relatório final.

Estudos pré-mercado devem estabelecer segurança e eficácia antes da autorização. No entanto, conjuntos de teste limitados podem deixar de captar combinações raras que surgem posteriormente no uso clínico.

O monitoramento pós-comercialização oferece evidências mais amplas, mas revisar cada relatório implantado imporia uma grande carga operacional. Avaliadores automatizados poderiam ajudar a identificar casos que merecem atenção de especialistas.

Isso cria uma ponte potencial entre a validação pré-mercado e a vigilância no mundo real. A mesma estrutura de avaliação poderia testar um modelo antes do lançamento e monitorar resultados selecionados após a implantação.

A estrutura ainda precisaria de limiares claros. Uma discrepância que altera o tratamento merece uma resposta diferente de uma divergência estilística ou de uma variação inofensiva de redação.

Também são necessários registros rastreáveis. Reguladores e hospitais devem conseguir reconstruir por que um juiz automatizado atribuiu uma categoria de erro e por que um caso chegou a um revisor humano.

Atualizações de modelos acrescentam outro desafio. Se o gerador de laudos mudar, sua distribuição de erros poderá mudar. Se um membro do júri mudar, os julgamentos do sistema de avaliação também poderão se alterar.

Isso cria dois sistemas em movimento, em vez de um. Um gerador de laudos validado poderia parecer melhor ou pior simplesmente porque seus avaliadores foram atualizados.

Portanto, serão necessários controle de versões, conjuntos de teste bloqueados e prompts reproduzíveis. Os desenvolvedores devem documentar tanto o produto sob análise quanto cada juiz usado para avaliá-lo.

A FDA já mantém uma lista de dispositivos de IA que abrange produtos autorizados em diversas especialidades médicas. A radiologia continua a representar uma grande parcela dos dispositivos listados.

A agência observa que deseja identificar com mais clareza os dispositivos que contêm funcionalidades baseadas em LLM em futuras atualizações da lista. Isso sinaliza a necessidade de uma visibilidade regulatória mais precisa à medida que recursos generativos entram em produtos médicos.

O mercado estabelecido de IA em radiologia também aumenta a pressão competitiva. Empresas como Aidoc, Viz.ai, Lunit, Annalise.ai, Rad AI e DeepHealth têm buscado diferentes combinações de ferramentas de detecção, triagem, fluxo de trabalho e elaboração de laudos.

Um método escalável de avaliação de laudos não favoreceria Cognita automaticamente. Concorrentes poderiam usar estratégias de evidência semelhantes se a FDA publicar orientações amplamente aplicáveis.

A pressão recai, em vez disso, sobre todos os desenvolvedores que fazem alegações amplas de desempenho com base em estudos limitados de leitores. Reguladores e compradores podem questionar se algumas centenas de exemplos selecionados revelam o comportamento do modelo diante da variação clínica real.

Hospitais podem levantar a mesma questão durante a contratação. Eles precisam de evidências de que um modelo funciona em scanners locais, protocolos, grupos de pacientes e convenções de elaboração de laudos.

Se o contrato produzir uma metodologia confiável, coortes maiores de validação poderão se tornar uma parte esperada do pacote de evidências. Isso aumentaria as exigências de teste e, ao mesmo tempo, tornaria mais difícil sustentar alegações generativas amplas com casos selecionados.

O Júri de LLMs Também Precisa Ser Julgado

A principal troca é direta: juízes de LLM oferecem escala, mas seus próprios erros podem distorcer as evidências recebidas pelos reguladores.

LLMs não avaliam laudos a partir de uma posição neutra. Seus julgamentos dependem dos dados de treinamento, dos prompts, das versões dos modelos, da ordem de avaliação e da redação de cada laudo candidato.

Um juiz pode preferir respostas mais longas mesmo quando o texto adicional cria risco clínico. Pode favorecer um estilo de redação familiar ou atribuir notas mais altas a resultados semelhantes às próprias respostas.

Um modelo também pode produzir decisões inconsistentes em avaliações repetidas. Isso cria um problema de reprodutibilidade quando os desenvolvedores precisam de medições estáveis para submissões regulatórias.

Na saúde, os riscos são maiores porque diferenças sutis importam. Um avaliador que tem bom desempenho em questões médicas gerais ainda pode lidar mal com incerteza, lateralidade, comparações temporais ou terminologia específica de imagem.

Uma revisão recente da área da saúde sobre sistemas de juízes de LLM descreve a avaliação automatizada como promissora, mas enfatiza a necessidade de validação, transparência e supervisão humana.

O projeto Cognita foi estruturado para investigar várias dessas preocupações. Múltiplos juízes podem revelar instabilidade, enquanto a adjudicação por radiologistas pode testar se a discordância aponta para incerteza clinicamente relevante.

No entanto, uma arquitetura de júri não elimina vieses automaticamente. Seus membros devem ser selecionados e testados quanto a desempenho complementar, e não reunidos apenas pela quantidade de modelos.

A pesquisa deve divulgar se os juízes vêm de diferentes famílias de modelos. Também deve explicar se algum juiz compartilha tecnologia, dados ou métodos de otimização com o gerador de laudos.

A autopreferência é uma preocupação específica. Uma família de modelos pode favorecer resultados que se assemelham à sua própria estrutura, verbosidade ou padrões de raciocínio.

Esse problema se torna mais grave se um desenvolvedor avalia seu gerador usando modelos relacionados. Pontuações aparentemente fortes podem refletir afinidade estilística, e não correção clínica.

A sensibilidade aos prompts também precisa ser examinada. Pequenas mudanças nas instruções podem alterar a forma como um juiz pondera omissões, incerteza e significado clínico.

Uma estrutura regulatória não pode depender de um prompt que funciona apenas em uma configuração não documentada. O prompt, a temperatura, a versão do modelo e as regras de decisão devem ser reproduzíveis.

O júri também deve distinguir a qualidade do laudo da verdade presente na imagem. Um juiz apenas textual pode comparar dois laudos, mas não consegue confirmar de forma independente qual descrição corresponde ao exame.

Se o laudo original deixa de identificar um achado, o laudo gerado pode ser penalizado por adicioná-lo corretamente. O inverso pode ocorrer quando ambos os textos concordam em um erro.

A revisão por radiologistas proposta pela Cognita pode resolver alguns desses conflitos ao retornar às imagens. A metodologia final deve indicar quando a revisão das imagens é obrigatória, e não opcional.

Um avaliador plenamente consciente das imagens apresenta suas próprias complicações. Modelos de visão e linguagem podem inspecionar imagens e texto, mas sua interpretação visual também precisa ser validada.

Isso cria um problema de garantia em camadas. Cada modelo adicional amplia a capacidade, mas introduz outro componente que pode falhar silenciosamente.

A discordância clinicamente importante também não é uma categoria fixa. Uma pequena diferença de redação para um paciente pode se tornar significativa quando afeta o acompanhamento, a urgência ou o tratamento.

A estrutura precisará de categorias explícitas de erro e definições de gravidade. Os radiologistas devem demonstrar concordância significativa ao aplicar essas regras.

A discordância entre leitores não deve ser tratada como ruído a ser eliminado. Ela pode revelar ambiguidade genuína na imagem, no laudo ou no contexto clínico.

O resultado mais útil pode, portanto, ser uma incerteza calibrada, em vez de uma única pontuação universal. Um sistema que identifica de forma confiável casos incertos pode apoiar a supervisão sem fingir substituir o julgamento de especialistas.

Custo e latência também influenciarão a adoção. Executar diversos modelos proprietários em um milhão de laudos pode exigir recursos computacionais significativos e processamento repetido.

Essa realidade econômica não invalida a abordagem, mas afeta se desenvolvedores menores conseguem reproduzi-la. Um método regulatório se torna menos útil se apenas grandes organizações puderem arcar com a infraestrutura de avaliação.

O código e as orientações de implementação da Cognita poderiam ajudar. Os entregáveis finais ainda devem explicar os requisitos de hardware, o acesso aos modelos, o tempo de processamento e a sensibilidade a atualizações de modelos fechados.

O sucesso do contrato deve, portanto, ser avaliado pela transparência e pela repetibilidade, e não apenas pela concordância principal com radiologistas. Um resultado negativo confiável também forneceria evidências regulatórias úteis.

Se júris de LLM falharem em determinadas classes de erro, a FDA poderá restringir seu papel de acordo com isso. A pesquisa não precisa provar confiabilidade universal para melhorar as práticas de avaliação.

O Que Significaria o Sucesso em Um Milhão de Exames

Um resultado bem-sucedido tornaria a revisão humana mais direcionada, e não tornaria os radiologistas dispensáveis.

O modelo operacional central do projeto é a escalada seletiva. Juízes automatizados processam o amplo conjunto de dados, enquanto especialistas se concentram em casos com incerteza ou discordância relevantes.

Esse desenho pode ampliar o alcance do tempo limitado dos especialistas. Também pode concentrar os revisores nos casos com maior probabilidade de expor fragilidades do modelo.

O benefício depende da sensibilidade da triagem. O júri deve encaminhar aos radiologistas um número suficiente de laudos realmente problemáticos sem sobrecarregá-los com diferenças inofensivas.

Falsos negativos representam a maior preocupação de segurança. Eles ocorrem quando o júri aceita um erro clinicamente importante no laudo e nunca solicita revisão humana.

Falsos positivos criam uma carga diferente. Se muitos laudos seguros forem escalados, a eficiência prometida desaparece e o sistema se aproxima de outro estudo completo de leitores.

A pesquisa deve relatar ambos os resultados em diferentes gravidades de erro. Uma única porcentagem de concordância esconderia essa troca operacional.

O desempenho também deve ser dividido por doença, modalidade, características dos pacientes, tipo de instituição e equipamento. Resultados agregados podem ocultar desempenho fraco em grupos menores.

Achados raros merecem atenção especial. Um modelo pode alcançar alta precisão geral enquanto falha em condições incomuns, mas urgentes.

Um milhão de exames torna mais plausível a análise de eventos raros, mas as contagens reais ainda importam. Um subgrupo raro com apenas alguns exemplos não pode sustentar uma conclusão estável.

A comparação entre coortes de validação pequenas e grandes será especialmente informativa. Ela pode mostrar se as conclusões tiradas de estudos convencionais permanecem estáveis quando a composição dos casos se amplia.

Se classificações ou taxas de erro mudarem de forma relevante, desenvolvedores e reguladores terão evidências de que avaliações menores deixam de captar comportamentos importantes. Esse resultado poderia reformular o desenho dos estudos, mesmo que o próprio júri precise de aprimoramento.

O sucesso também influenciaria o monitoramento pós-mercado. Hospitais poderiam amostrar laudos de produção, aplicar um método de avaliação aprovado e encaminhar discrepâncias de alto risco para equipes de qualidade.

Esse monitoramento exigiria governança local. Sistemas de saúde precisariam de responsabilidades claras para alertas, prazos de revisão, ações corretivas e comunicação com fornecedores.

A avaliação automatizada não pode se tornar um substituto para a comunicação de problemas de segurança dos laudos. Ela deve gerar evidências que apoiem processos existentes de qualidade e regulação.

O método também poderia ajudar a comparar versões de produtos. Os desenvolvedores poderiam avaliar se uma atualização corrige erros conhecidos sem introduzir novos erros em outros pontos.

Esse uso exige um benchmark estável e uma configuração congelada do avaliador. Caso contrário, mudanças no júri podem ser confundidas com mudanças no produto.

O efeito competitivo mais amplo poderia ser significativo. Desenvolvedores de radiologia generativa afirmam cada vez mais que seus sistemas podem redigir ou produzir laudos abrangentes.

Essas alegações se tornam mais testáveis quando avaliadores conseguem revisar coortes grandes e diversas. Empresas com evidências limitadas podem enfrentar pressão para publicar resultados por subgrupo e taxas de erro adjudicadas.

Ainda assim, o contrato da FDA dá à Cognita um papel inicial na definição da metodologia. A empresa desenvolve sua própria IA de radiologia, portanto a gestão de conflitos e a reprodutibilidade externa serão importantes.

Equipes independentes devem conseguir testar a estrutura em outros geradores de laudos. Elas também devem conseguir reproduzir suas conclusões centrais sem depender dos sistemas privados da Cognita.

Código aberto pode apoiar esse processo, mas código sozinho é insuficiente. A validação externa exige conjuntos de dados acessíveis, prompts documentados, definições de erro e registros de versões de modelos.

A privacidade dos pacientes limitará quanto dos dados de origem poderá ser divulgado. O projeto pode lidar com isso por meio de acesso controlado, benchmarks desidentificados ou ambientes independentes de validação.

O resultado mais robusto combinaria escala com auditabilidade. Os reguladores poderiam então inspecionar como um resultado foi produzido, em vez de aceitar uma pontuação opaca.

Esse padrão também beneficiaria os compradores de serviços de saúde. Um hospital poderia comparar alegações usando categorias de erro vinculadas a consequências clínicas, em vez de métricas de precisão definidas por fornecedores.

Três sinais mostrarão se os júris de LLMs estão prontos

As próximas evidências devem revelar se a estrutura da Cognita mede a segurança clínica ou apenas automatiza o consenso entre modelos de linguagem.

O primeiro sinal é um protocolo de validação detalhado. Ele deve identificar os membros do júri, os prompts, as versões dos modelos, a composição da coorte, a taxonomia de erros e as regras de escalonamento.

Esses detalhes determinarão se a abordagem é reproduzível. Eles também revelarão se o júri contém avaliadores realmente distintos ou modelos estreitamente relacionados.

Um protocolo robusto especificaria como os pesquisadores selecionam decisões unânimes para revisão humana. Esse teste é essencial, pois o consenso pode ocultar erros compartilhados.

O segundo sinal é a análise de discrepâncias adjudicada por radiologistas. Os pesquisadores devem informar onde o relatório gerado, o relatório original e o júri de LLMs falharam.

Essa análise deve separar alucinações, omissões, gravidade incorreta, erros de lateralidade, recomendações sem respaldo e diferenças de redação menos consequentes.

Ela também deve divulgar o desempenho por subgrupos. Resultados gerais estáveis não podem compensar uma avaliação fraca em doenças raras, populações sub-representadas ou contextos específicos de atendimento.

Se o júri identificar discrepâncias clinicamente importantes enquanto mantém a carga de revisão administrável, a tese principal do contrato ganha sustentação. Altas taxas de falhas ou escalonamento excessivo a enfraqueceriam.

O terceiro sinal é a resposta da FDA após o amadurecimento da pesquisa. A agência poderia mencionar a metodologia em orientações, workshops públicos, análises de dispositivos ou propostas de monitoramento pós-comercialização.

A FDA não precisa tornar os júris de LLMs obrigatórios para que o projeto tenha relevância. Mesmo uma aceitação limitada poderia estabelecer expectativas para a avaliação de grandes coortes e a adjudicação humana.

O silêncio também seria informativo. Ele poderia indicar que o método precisa de validação adicional ou que os reguladores preferem evidências específicas de cada produto.

O público não deve interpretar o contrato da Cognita Imaging com a FDA como prova de que a IA pode supervisionar a si própria com segurança. O projeto existe porque essa questão continua sem resposta.

Sua premissa mais defensável é mais restrita. Juízes automatizados podem ajudar radiologistas a examinar muito mais evidências se o próprio desempenho deles for medido com o mesmo rigor.

Desenvolvedores, clínicos e compradores do setor de saúde devem observar se o trabalho final expõe os modos de falha, em vez de comprimi-los em uma única pontuação. Eles também devem perguntar se equipes independentes conseguem reproduzir as conclusões.

A questão decisiva não é se vários LLMs conseguem concordar sobre um relatório. É se suas concordâncias e discordâncias direcionam de forma confiável a atenção humana para os casos mais importantes.