Uno studio sui rilevatori di allucinazioni trova una soglia minima, non un segnale universale

Un ricercatore su r/MachineLearning afferma che un rilevatore preregistrato abbia raggiunto l’obiettivo in 18 distribuzioni di modelli su 20 prima che comparisse il primo token. Tuttavia, il risultato riportato non dimostra l’esistenza di un rilevatore universale di allucinazioni. Indica piuttosto una soglia prestazionale condivisa, costruita sulla geometria interna dei modelli.

La distinzione è importante. Un rilevatore che si trasferisce tra molti modelli può diventare un utile segnale di instradamento, anche senza identificare ogni risposta falsa. Tuttavia, le evidenze provengono attualmente da un post sui social che descrive esperimenti non pubblicati o non ancora sottoposti a revisione indipendente.

Il post segnala inoltre un’inversione degna di nota. L’aggiunta della confidenza del modello non ha migliorato la copertura delle distribuzioni oltre il rilevatore basato esclusivamente sulla geometria. Le stesse due distribuzioni hanno fallito, suggerendo che confidenza e geometria abbiano catturato informazioni sovrapposte in questo test.

Questa scoperta mette sotto pressione due approcci familiari. Uno considera le probabilità dei token come un pratico punteggio di fattualità. L’altro si aspetta che una singola caratteristica interna si generalizzi tra architetture, dataset e tipi di allucinazione. L’esperimento riportato non supporta nessuna delle due aspettative nella loro forma più forte.

Il test preregistrato ha superato 18 distribuzioni su 20

Il risultato centrale è un successo qualificato: un rilevatore basato sulla geometria avrebbe soddisfatto la propria soglia di copertura preregistrata senza diventare universale.

Secondo il post originale su MachineLearning, il ricercatore ha valutato due compiti su dieci modelli linguistici. Questo ha creato 20 distribuzioni modello-compito nella prima esecuzione.

Il progetto ha esaminato 29 segnali interni al modello, appartenenti a quattro grandi famiglie. Queste famiglie comprendevano schemi di attenzione, movimento del flusso residuo, geometria di readout e confidenza. Un selettore ha poi scelto un segnale per ciascun modello secondo regole stabilite prima che esistessero i dati di valutazione.

Un forward pass è un calcolo completo attraverso il modello per un determinato input. Il rilevatore proposto esamina questo calcolo prima che il testo generato diventi disponibile. Questo lo distingue dai sistemi che verificano risposte completate rispetto a documenti o confrontano più risposte campionate.

La restrizione alla fase pre-generazione rende interessante il risultato riportato di 18 su 20. Se riproducibile, il rilevatore potrebbe assegnare un rischio prima che un’applicazione impieghi tempo per produrre una risposta lunga. Un prodotto potrebbe quindi richiedere il retrieval, instradare la query verso un altro modello o imporre una revisione umana.

Il rilevatore basato esclusivamente sulla geometria doveva superare almeno 17 distribuzioni secondo la regola preregistrata. Il post afferma che ne ha superate 18. Ciò sostiene l’affermazione circoscritta secondo cui un segnale derivato dalla geometria può stabilire una copertura ampia, seppur incompleta, nelle condizioni testate.

Il numero non significa che il rilevatore abbia individuato il 90 per cento delle allucinazioni. La copertura delle distribuzioni e l’accuratezza di rilevamento sono misure diverse. Superare una soglia in 18 distribuzioni indica che il metodo ha soddisfatto un criterio specificato in tali contesti.

La soglia sottostante, il bilanciamento delle classi, la costruzione del dataset, il processo di calibrazione e l’incertezza per ogni distribuzione influenzano tutti il modo in cui i lettori dovrebbero interpretare il conteggio. Senza materiali sperimentali completi, il risultato non può essere tradotto in un tasso di errore in produzione.

La preregistrazione rafforza il disegno sperimentale limitando le opportunità di rivedere un’ipotesi dopo aver visto i risultati. Non convalida le etichette, non elimina gli errori di implementazione né garantisce che il test selezionato rappresenti applicazioni reali.

Il post afferma che la procedura è stata preregistrata due volte. Questo dettaglio suggerisce che il ricercatore abbia tentato di separare le decisioni esplorative dai test di conferma. Un accesso indipendente a entrambe le registrazioni chiarirebbe quali caratteristiche, soglie, esclusioni e test statistici fossero stati fissati.

La lettura responsabile più forte è quindi limitata. Un approccio basato esclusivamente sulla geometria avrebbe superato la soglia pianificata nella maggior parte delle distribuzioni testate. I fallimenti rimanenti sono importanti perché definiscono il confine dell’affermazione.

Perché la confidenza non è riuscita ad ampliare la copertura

L’inversione più netta non è che la confidenza abbia avuto prestazioni scarse, ma che non abbia aggiunto alcuna copertura oltre la geometria.

La confidenza del modello si riferisce spesso alle probabilità assegnate ai possibili token successivi. Un valore alto significa che il modello privilegia fortemente una continuazione rispetto alle alternative. Non dimostra che la continuazione favorita corrisponda alla realtà esterna.

L’esperimento avrebbe combinato la geometria con la confidenza del modello. Anche quel rilevatore combinato ha superato 18 distribuzioni su 20. Ha mancato le stesse due distribuzioni e non ne ha recuperata nessuna.

La soglia preregistrata per l’affermazione più forte era di almeno 19 distribuzioni. Il metodo combinato non l’ha raggiunta. Secondo la regola decisionale riportata, la proposizione secondo cui la confidenza ampliasse la copertura è stata falsificata.

Questo risultato non dimostra che la confidenza non contenga alcuna informazione utile. Suggerisce che la sua variazione utile possa essersi sovrapposta al segnale geometrico scelto in questi compiti e modelli. Un dataset o un metodo di calibrazione diverso potrebbe rivelare informazioni complementari.

Qui la geometria si riferisce a relazioni spaziali misurabili tra rappresentazioni interne. Tali rappresentazioni sono vettori che codificano informazioni mentre il modello elabora un prompt. Le loro norme, angoli, direzioni e movimenti attraverso i livelli possono correlare con la correttezza della risposta.

La confidenza emerge dalla stessa rete sottostante. È quindi plausibile che una misurazione geometrica vicina all’output del modello catturi già gran parte delle informazioni espresse dalle probabilità dei token. Il risultato riportato di zero recuperi è coerente con questa spiegazione.

Ricerche recenti avvertono inoltre che le metriche geometriche non sono intercambiabili. Uno studio del 2026 sulle metriche di rilevamento geometrico ha rilevato che statistiche diverse rispondevano a proprietà diverse, tra cui correttezza, rilevanza, coerenza, completezza e confidenza.

Lo studio ha inoltre riportato una notevole sensibilità agli spostamenti di dominio. Un segnale che separa risposte corrette e scorrette sulla storia potrebbe comportarsi diversamente in matematica. I suoi autori hanno introdotto una normalizzazione e riportato miglioramenti nella valutazione multidominio, sottolineando quanto la calibrazione possa modellare i risultati.

La lezione più ampia è che “allucinazione” combina diversi meccanismi di fallimento. Un modello può affermare coerentemente un luogo comune errato, indovinare tra più risposte, ignorare prove fornite o commettere un errore di ragionamento. Questi fallimenti non devono necessariamente condividere una firma interna.

La confidenza resta utile per le politiche di astensione, soprattutto quando è calibrata rispetto a una distribuzione di impiego nota. Tuttavia, le applicazioni non dovrebbero trattare la confidenza grezza come una testimonianza indipendente di fattualità solo perché è facile da ottenere.

Questa distinzione influenza la progettazione dei prodotti. Una soglia di confidenza può identificare l’incertezza, mentre un punteggio geometrico identifica una correlata instabilità. Combinare due segnali correlati può creare l’apparenza di ridondanza senza aggiungere una nuova fonte di evidenza.

Uno strato realmente complementare esaminerebbe qualcosa di diverso. Potrebbe confrontare le affermazioni con documenti recuperati, verificare la coerenza logica, controllare le citazioni o esaminare se il risultato di uno strumento supporti la risposta. Questi controlli affrontano le prove, non l’esitazione interna.

L’affermazione di MachineLearning mette in discussione il rilevamento universale

Una soglia minima comune ha valore operativo, ma un rilevatore universale richiede prove più solide su compiti, modelli e definizioni di errore.

L’esperimento riportato è partito da una domanda ambiziosa: una famiglia di segnali interni può funzionare in modo sufficientemente ampio da rilevare le allucinazioni prima della generazione? La risposta sembra essere sì per una soglia minima e no per l’universalità.

Non si tratta di una distinzione semantica. Un rilevatore universale dovrebbe trasferirsi senza fare affidamento su una struttura favorevole del compito, su una calibrazione specifica dell’architettura o su una definizione ristretta di errore. Due fallimenti su 20 distribuzioni sono sufficienti a respingere questa affermazione assoluta.

Il risultato conserva comunque un valore pratico. I sistemi di produzione raramente hanno bisogno che un unico punteggio risolva ogni questione fattuale. Hanno bisogno di un filtro che identifichi in modo affidabile un numero sufficiente di casi rischiosi da giustificare un percorso di verifica più costoso.

Si consideri un assistente aziendale che risponde a domande sulle politiche interne. Un punteggio pre-generazione potrebbe instradare un prompt rischioso verso il retrieval prima dell’inizio della stesura. La risposta finale avrebbe comunque bisogno del supporto dei documenti sulle politiche recuperati.

Un assistente di programmazione presenta un contesto diverso. Il fallimento rilevante potrebbe riguardare un metodo di libreria inventato, una versione incompatibile o un ragionamento difettoso tra più file. Un rilevatore calibrato su brevi risposte fattuali potrebbe non trasferirsi a tale ambiente.

La ricerca in formato lungo crea un altro confine. Una risposta può contenere decine di affermazioni, alcune supportate e altre false. Un singolo punteggio ottenuto prima del primo token non può identificare quale frase successiva fallirà.

Questa limitazione spiega perché la copertura delle distribuzioni non debba essere confusa con la verifica a livello di affermazione. Il rilevatore può stimare se una traiettoria prompt-risposta sia rischiosa. Non può stabilire in modo indipendente la verità di ogni proposizione successiva.

Ricerche correlate supportano la possibilità di un segnale precoce. Il paper del 2026 Before the First Token ha valutato sette transformer autoregressivi usando 552 esempi etichettati provenienti da tre dataset fattuali.

I suoi autori hanno riportato prestazioni delle probe a livello del caso per modelli sotto i 400 milioni di parametri. Al di sopra di circa un miliardo di parametri, hanno osservato segnali pre-generazione più forti in alcuni modelli. Il modello dipendeva anche dall’instruction tuning.

Il paper ha rilevato un significativo effetto della posizione zero per Pythia-1.4B e Qwen2.5-7B. Tuttavia, Pythia-6.9B ha mostrato un profilo temporale piatto, nonostante la sua scala maggiore. Questo confronto depone contro una semplice regola basata sul numero di parametri.

I ricercatori hanno inoltre riportato che l’activation steering lungo le direzioni rilevate non correggeva le allucinazioni. In altre parole, il segnale era correlazionale piuttosto che causale. Rilevare uno stato rischioso non significava che modificare quello stato producesse una risposta veritiera.

Questo confine dovrebbe guidare l’interpretazione dell’affermazione su Reddit. Un modello interno può prevedere un esito senza rappresentare un circuito dedicato alla verità. Può codificare la difficoltà del compito, la familiarità con il prompt, la possibilità di risposta o un’altra variabile correlata con la correttezza.

Un rilevatore universale dovrebbe separare queste alternative. Dovrebbe mantenere le prestazioni su nuovi domini, formati di prompt, lingue, famiglie di modelli e forme di post-training. Dovrebbe inoltre resistere a tentativi intenzionali di violarne le assunzioni.

L’invito del post a riprodurre o contestare il risultato è quindi centrale. La fase successiva non è un titolo più grande. È una suite di test avversariali progettata attorno ai due casi mancati e a contesti che i compiti originali non coprivano.

I rilevatori esistenti risolvono parti diverse del problema

Il settore sta convergendo verso un rilevamento a strati, perché la geometria interna, l’incertezza semantica e la verifica esterna rispondono a domande diverse.

Un approccio influente misura l’entropia semantica, ossia l’incertezza tra i significati di diverse risposte generate. Se le risposte ripetute esprimono affermazioni diverse, è più probabile che il modello stia confabulando.

Uno studio sottoposto a revisione paritaria sull'entropia semantica ha testato le famiglie LLaMA, Falcon e Mistral, da 7B a 70B parametri. Ha riportato valori AUROC stabili tra 0,78 e 0,81 per le famiglie e le scale valutate.

L'AUROC misura quanto bene un punteggio classifica gli esempi positivi al di sopra di quelli negativi al variare delle soglie. Non specifica il tasso di falsi positivi che una particolare applicazione sperimenterà. Gli operatori devono comunque scegliere una soglia coerente con i propri costi.

L'entropia semantica differisce nettamente da un rilevatore pre-generazione. Il metodo descritto su Nature ha utilizzato dieci generazioni per i principali esperimenti a livello di frase. Ha raggruppato le risposte per significato prima di misurarne la variazione.

Questa procedura può rilevare risposte errate arbitrarie che cambiano tra i campioni. Può però non rilevare un modello che ripete con sicurezza la stessa affermazione falsa. Gli autori hanno limitato esplicitamente il loro metodo alle confabulazioni, anziché a ogni comportamento etichettato come allucinazione.

Anche il costo è diverso. Campionare più risposte e confrontarne i significati richiede più calcolo rispetto alla lettura di un singolo stato interno. Un rilevatore a passaggio singolo offre un filtro iniziale interessante, soprattutto quando la maggior parte delle query è ordinaria.

I sistemi black-box introducono un altro vincolo. Gli sviluppatori di applicazioni commerciali spesso non possono ispezionare mappe di attenzione, flussi residui o vettori nascosti. Ricevono testo e, forse, probabilità dei token tramite un'API.

La geometria interna favorisce quindi i modelli a pesi aperti, le distribuzioni self-hosted o i provider disposti a esporre telemetria adeguata. I metodi di coerenza semantica possono funzionare con output testuali black-box, anche se richiedono generazioni ripetute.

La verifica basata sul retrieval segue una terza strada. Controlla se una risposta è fondata nei documenti forniti. Può rilevare errori espressi con sicurezza quando esistono le prove corrette, ma il retrieval introduce modalità di errore proprie.

Un retriever potrebbe restituire una policy obsoleta, omettere il passaggio pertinente o classificare per primo un documento fuorviante. Il modello linguistico potrebbe quindi citare una fonte che non supporta la sua frase. I sistemi di grounding necessitano di verifiche a livello di singola affermazione, non della mera presenza di un documento.

La revisione umana resta necessaria nei casi ad alta criticità. Un punteggio di rischio può dare priorità all'attenzione, ma i revisori devono avere accesso alle prove originali e a una traccia di audit. Una base di conoscenza ricercabile può aiutare i team a preservare quel contesto delle fonti.

Questi metodi dovrebbero essere considerati come livelli, non come sostituti diretti. Un rilevatore interno chiede se il calcolo del modello assomiglia a casi rischiosi. L'entropia semantica chiede se i significati campionati rimangono stabili. Il retrieval chiede se le prove disponibili supportano l'affermazione.

Una pipeline di produzione può combinare tutti e tre senza fingere che siano indipendenti. Il segnale iniziale instrada le query, i controlli semantici esaminano gli output incerti e i controlli delle prove convalidano le affermazioni rilevanti. I revisori umani gestiscono i casi le cui conseguenze giustificano il costo.

La ridondanza riportata tra confidenza e geometria rafforza questa visione a livelli. Aggiungere più misurazioni della stessa rete non aggiunge necessariamente più conoscenza. Le prove indipendenti devono entrare da qualche parte nel sistema.

Il divario di verifica resta ampio

La preregistrazione riportata migliora la credibilità, ma l'affermazione pubblica resta incompleta finché altri non possono ispezionare e riprodurre l'esperimento.

Il post originale fornisce un riepilogo dei risultati, non una documentazione sottoposta a revisione paritaria. I lettori hanno bisogno delle registrazioni, del codice, dei dataset, dei checkpoint dei modelli, dei prompt, delle etichette e dei risultati completi a livello di deployment per valutare la scoperta.

Anche l'espressione “selettore onesto” necessita di una definizione precisa. La selezione delle caratteristiche può far trapelare informazioni quando i ricercatori usano dati di valutazione per scegliere metriche, livelli, segni, soglie o trasformazioni. Una separazione pulita deve coprire ogni decisione adattiva.

Selezionare un segnale per modello solleva una seconda questione. Una famiglia di caratteristiche può trasferirsi ampiamente, mentre la caratteristica scelta differisce tra i modelli. Questo è meno universale di un unico rilevatore congelato che opera invariato ovunque.

La selezione specifica per modello può comunque essere ragionevole sul piano operativo. I team calibrano abitualmente le soglie di sicurezza per ciascun deployment. Tuttavia, l'affermazione dovrebbe distinguere tra una famiglia di caratteristiche universale e un rilevatore universale con parametri fissi.

I due deployment falliti meritano più attenzione di quanto fornisca un conteggio aggregato. Potrebbero condividere un'architettura, un'attività, una scala, un metodo di tuning o una distribuzione delle etichette. Una causa comune identificherebbe dove il pavimento proposto si rompe.

Anche l'incertezza sulla verità di riferimento è importante. Le etichette delle allucinazioni possono dipendere dal fatto che un'attività misuri la correttezza fattuale, la fedeltà al contesto, la pertinenza o la coerenza logica. Un rilevatore non può essere interpretato senza conoscere la definizione dell'obiettivo.

Anche la parola “prima” può nascondere scelte tecniche. Un modello ha già elaborato l'intero prompt prima di selezionare il suo primo token di output. Il suo stato nascosto può quindi codificare la difficoltà del prompt, la familiarità e il probabile contenuto della risposta.

Si tratta comunque di rilevamento pre-generazione, ma non di una previsione senza lavoro del modello. Le applicazioni devono completare almeno il passaggio di elaborazione del prompt. Per contesti lunghi, questa fase può rappresentare una porzione significativa del costo di inferenza.

L'esperimento dovrebbe inoltre riportare la prevalenza delle classi e gli intervalli di confidenza. Un semplice conteggio dei superamenti nasconde se un deployment abbia appena oltrepassato la propria soglia, mentre un altro l'abbia superata con ampio margine. Set di test piccoli possono produrre classifiche instabili.

Gli attacchi adattivi presentano un'altra sfida. Gli utenti possono riformulare le domande, iniettare contesto irrilevante, richiedere uno stile di risposta specifico o forzare un ragionamento lungo. Un rilevatore calibrato su prompt ordinari potrebbe fallire quando cambia la struttura del prompt.

Gli aggiornamenti dei modelli possono spostare la geometria interna anche quando il branding del prodotto rimane costante. Quantizzazione, fine-tuning, adapter, prompt di sistema e impostazioni di inferenza possono alterare il segnale misurato. Ogni cambiamento può richiedere una nuova convalida.

Esiste inoltre una distinzione tra modelli di ricerca e sistemi frontier ospitati. Non si può presumere che le tecniche basate sugli stati interni si trasferiscano a sistemi la cui architettura, instradamento e post-addestramento restano non divulgati.

Recenti lavori sul perché i modelli allucinano aggiungono un'altra complicazione. Uno studio del 2026 sugli incentivi di valutazione ha sostenuto che l'addestramento al token successivo e le valutazioni incentrate sull'accuratezza premiano l'azzardo rispetto all'astensione.

Un rilevatore può segnalare l'azzardo rischioso, ma non cambia l'incentivo che lo ha prodotto. I team di deployment potrebbero aver bisogno di regole di valutazione che premiano il rifiuto appropriato, insieme a retrieval, verifica e rilevamento del rischio.

Per queste ragioni, “18 su 20” dovrebbe avviare l'indagine anziché concluderla. Una replica utile congelerebbe la procedura pubblicata, testerebbe famiglie di modelli non viste e renderebbe noto ogni fallimento senza sostituire la soglia originale.

Tre test decideranno se il pavimento regge

L'affermazione diventa importante se lo stesso pavimento sopravvive a repliche indipendenti, cambiamenti di distribuzione e un test di instradamento in stile produzione.

Il primo segnale da osservare è una pubblicazione completa. Dovrebbe includere entrambe le registrazioni di preregistrazione, il codice, le definizioni delle caratteristiche, gli identificatori dei modelli, i dati delle attività, le etichette, le soglie e i punteggi a livello di deployment.

Una pubblicazione rafforzerebbe l'affermazione rendendo verificabili le decisioni relative a leakage e selezione. Registrazioni mancanti o risultati incompleti per singolo modello la indebolirebbero, soprattutto se fossero disponibili solo configurazioni riuscite.

Il secondo segnale è una replica indipendente su modelli e attività non visti. I test più informativi includerebbero architetture a pesi aperti escluse dallo sviluppo, prompt multilingue, risposte di lunga forma, uso di strumenti e generazione fondata su documenti.

La replica dovrebbe preservare la procedura originale prima che i ricercatori ottimizzino qualunque elemento. Se le prestazioni diminuiscono solo dopo un cambio di dominio, il rilevatore potrebbe comunque fungere da gate locale calibrato. Non sosterrebbe un pavimento universale.

Il terzo segnale è una sperimentazione di instradamento legata a risultati operativi. I ricercatori dovrebbero misurare se il punteggio iniziale riduce le affermazioni non supportate quando attiva retrieval, astensione, ricampionamento o revisione umana.

Quella sperimentazione richiede più dell'AUROC. Dovrebbe riportare falsi allarmi, errori mancati, latenza, calcolo aggiuntivo, volume di revisione e accuratezza delle risposte accettate. Queste misurazioni determinano se il rilevatore risparmia risorse o si limita a spostare gli errori.

L'esito più promettente non è un misuratore perfetto della verità. È un primo gate economico che intercetta un sottoinsieme stabile di prompt rischiosi prima della generazione e li passa a un meccanismo di verifica realmente diverso.

Il risultato riportato sulla confidenza rende questo design più urgente. Se confidenza e geometria rimangono ridondanti, i team dovrebbero smettere di trattare la loro combinazione come due voti indipendenti. Dovrebbero affiancare il punteggio interno al retrieval delle fonti o alla verifica delle affermazioni.

Gli sviluppatori che valutano questo lavoro possono porsi tre domande immediate. Il rilevatore mantiene la propria soglia sui nostri dati? I suoi errori mancati si concentrano attorno a un tipo di fallimento riconoscibile? L'instradamento dei prompt segnalati migliora l'accuratezza finale dopo aver conteggiato tutti i costi?

La più ampia comunità del machine learning dovrebbe cercare di confutare il pavimento proposto con test controllati, non con aneddoti isolati. Una replica fallita restringerebbe l'affermazione. Una replica riuscita stabilirebbe un utile segnale condiviso senza fingere di rilevare ogni allucinazione.

Questo è il vero valore del risultato riportato. Sostituisce la ricerca di un unico rilevatore universale con un'ipotesi misurabile: la geometria del modello può offrire un ampio allarme precoce, mentre la verità richiede ancora prove indipendenti.