Benchmark dei modelli AI di Merlin: nove volte il costo, nessun guadagno in accuratezza

Merlin Search Technologies ha testato sette modelli AI riscontrando un netto ribaltamento: il modello più costoso consumava oltre nove volte di più per rapporto senza garantire una maggiore accuratezza delle citazioni.

Il benchmark dei modelli AI di Merlin ha fornito a ogni sistema gli stessi documenti relativi a contenziosi sugli oppioidi, due domande investigative e un incarico di redazione. Il modello più economico e veloce si è classificato primo nella misura di fedeltà del fornitore. Il più costoso è arrivato quarto.

Il risultato mette in discussione una scorciatoia d’acquisto diffusa. Un modello di frontiera più recente o più costoso non è automaticamente il modello migliore per ogni attività professionale. Tuttavia, Merlin non ha rivelato quale etichetta anonimizzata corrispondesse a ciascun prodotto, e sei modelli risultavano statisticamente a pari merito.

Lo studio ha inoltre misurato una forma circoscritta di qualità. Ha verificato se le affermazioni fossero riconducibili ai documenti forniti. Non ha stabilito quale rapporto offrisse il ragionamento giuridico più solido, individuasse le prove più importanti o esercitasse il miglior giudizio.

Queste precisazioni rendono il risultato più utile, non meno. Il test di Merlin mostra perché le imprese necessitano di valutazioni specifiche per attività, intervalli di confidenza e citazioni verificabili prima di indirizzare ogni incarico verso un modello premium.

Cosa ha effettivamente testato il benchmark dei modelli AI di Merlin

Merlin ha confrontato sette modelli in un unico flusso di lavoro controllato per indagini legali, quindi ne ha valutato citazioni e fedeltà alle fonti.

L’azienda ha testato modelli di OpenAI, Anthropic e Google attraverso Alchemy, la sua piattaforma per indagini e discovery. La selezione includeva GPT-6 Astra, GPT-5.6 Sol, GPT-5.6 Terra, Claude Fable 5.1, Claude Opus 5, Claude Sonnet 5 e Gemini 3.1 Pro.

Ogni modello ha ricevuto la stessa raccolta di documenti pubblicamente disponibili sui contenziosi relativi agli oppioidi. I materiali riguardavano Mallinckrodt e citavano anche McKesson, Insys e Valeant.

Merlin ha evitato i dati dei clienti. Questa scelta ha ridotto i problemi di riservatezza e reso la raccolta più sicura da riutilizzare, sebbene il rapporto sottostante non sia stato presentato come un pacchetto di benchmark pubblico e riproducibile in modo indipendente.

I modelli hanno risposto a due domande. Una riguardava le problematiche relative ai prodotti dell’azienda per la gestione del dolore. L’altra chiedeva cosa rivelassero note interne e commenti degli analisti sulle difficoltà finanziarie e sui problemi di credito.

La seconda domanda conteneva una trappola deliberata. Alcuni commenti sul credito riguardavano altre aziende, mentre parti della documentazione su Mallinckrodt descrivevano normali controversie di fatturazione. Un sistema poco accurato avrebbe potuto unire questi filoni e suggerire una crisi finanziaria non supportata dalle prove.

Ogni modello ha poi prodotto un rapporto investigativo completo di citazioni. Nei sette rapporti, i sistemi hanno generato 777 citazioni e 454 frasi citate, secondo la metodologia pubblicata.

Merlin ha anonimizzato gli output come Modelli dalla A alla G prima della valutazione. Di conseguenza, i valutatori non hanno ricevuto i nomi dei fornitori, sebbene l’azienda abbia conservato un seed casuale registrato per poter ricostruire l’etichettatura.

La scheda dei punteggi pubblica ha mantenuto tale anonimizzazione. I lettori possono confrontare i risultati, ma non possono determinare in autonomia se il Modello D fosse un prodotto OpenAI, Anthropic o Google.

Il Modello D ha guidato la classifica con un punteggio di fedeltà pari a 3,3, dove un valore inferiore era migliore. Ha completato ogni rapporto in una media di 37 secondi e non ha registrato citazioni errate o indirizzate al punto sbagliato nei risultati mostrati.

Il Modello C ha ottenuto un punteggio di fedeltà di 4,1 e ha richiesto in media 110 secondi. È stato il sistema più costoso della prova, consumando oltre nove volte il costo per rapporto del Modello D.

Il Modello E è arrivato ultimo con un punteggio di fedeltà di 4,9. I restanti sei modelli avevano intervalli di confidenza sovrapposti, quindi Merlin li ha trattati come statisticamente a pari merito anziché presentare una classifica falsamente precisa.

Questa distinzione è importante. Il ribaltamento evidenziato dal titolo è reale nell’ambito dello studio, ma non dimostra che il Modello D abbia un vantaggio universale in termini di accuratezza. Dimostra che pagare molto di più non ha prodotto un miglioramento rilevabile della fedeltà in questa specifica prova.

Il modello più economico ha vinto un test ristretto ma importante

Il benchmark indebolisce il prezzo come indicatore dell’accuratezza, ma non identifica un modello come vincitore universale.

Il Modello D ha ottenuto il record di citazioni più pulito, il tempo medio di completamento più breve e il costo operativo più basso del confronto. Il Modello C è costato oltre nove volte di più e si è classificato quarto nella scheda dei punteggi mostrata.

Nessuna delle due uscite più recenti, GPT-6 Astra e Claude Fable 5.1, è arrivata prima. Poiché Merlin ha trattenuto la chiave delle etichette, il pubblico non può sapere con precisione dove si sia classificato ciascuno dei due modelli.

Questa riservatezza limita il valore per gli acquisti. Un team legale non può leggere l’articolo e selezionare con sicurezza uno specifico fornitore. Può però respingere l’assunto secondo cui l’opzione premium più recente meriti per impostazione predefinita ogni carico di lavoro.

I risultati hanno anche evidenziato differenze che una singola posizione in classifica non può cogliere. Il Modello A ha coperto la gamma più ampia di questioni distinte, registrando un punteggio di ampiezza pari a 24,9. Non ha prodotto citazioni errate, ma aveva due citazioni che rimandavano al passaggio di supporto sbagliato.

Il Modello G ha raggiunto un’ampiezza quasi equivalente, con un punteggio di 23,6. Tuttavia, nove delle sue 93 affermazioni verificate rimandavano i lettori al paragrafo sbagliato. Merlin ha affermato che i fatti sottostanti erano presenti altrove, ma un avvocato che seguisse quei riferimenti avrebbe dovuto cercarli.

Il Modello D era più preciso ma meno ampio. Il suo punteggio di ampiezza ha raggiunto 15,9, ben al di sotto dei Modelli A e G. Un rapporto accurato che omette un tema decisivo può comunque risultare meno utile di un rapporto più ampio con alcuni errori di citazione correggibili.

Questo è il ribaltamento centrale. Il modello più economico ha guidato la classifica della fedeltà, ma la sua vittoria non ha eliminato il valore di copertura, sintesi o giudizio legale.

Lo studio non ha rilevato fatti inventati in nessuno dei sette rapporti. Ogni nome specifico, cifra, data e citazione testuale era riconducibile alla raccolta di documenti secondo il sistema di valutazione di Merlin.

Questa conclusione è incoraggiante, anche se va mantenuta nei limiti dell’attività. I modelli hanno lavorato su un insieme di prove controllato e prodotto rapporti citati all’interno di Alchemy. Non è stato chiesto loro di svolgere ricerca giuridica sul web aperto o di recuperare fonti da un database senza restrizioni.

Un modello che rimane ancorato a una raccolta curata affronta un problema diverso da quello di un chatbot che risponde alle domande basandosi sulla memoria. I controlli sul recupero delle informazioni, le strutture delle citazioni e l’applicazione circostante possono modificare in modo sostanziale i tassi di errore.

Precedenti lavori accademici illustrano questo contesto. Ricercatori di Stanford che hanno valutato prodotti commerciali per la ricerca legale hanno definito un’allucinazione come una risposta errata o non adeguatamente fondata. Il loro studio sull’AI legale ha rilevato che il recupero delle informazioni da solo non eliminava le risposte non supportate.

Il risultato di Merlin riguarda quindi l’intero sistema, non soltanto i modelli di base. Alchemy ha fornito i riassunti dei documenti, i marcatori delle citazioni, i prompt, la struttura del rapporto e il processo di verifica. L’output vincente è emerso da questo ambiente combinato.

La conclusione corretta non è che i modelli più economici siano sempre più accurati. È che il solo prezzo del modello fornisce poche prove sulle prestazioni in un flusso di lavoro aziendale definito.

Come la valutazione in otto passaggi ha verificato ogni citazione

Il contributo più solido di Merlin è la pipeline di valutazione, che utilizza controlli deterministici ovunque l’aritmetica possa sostituire il giudizio del modello.

Il processo è iniziato nascondendo le identità dei modelli e rimuovendo dai rapporti le menzioni accidentali. Le fasi successive hanno visto soltanto le etichette anonime fisse.

Il secondo passaggio ha sottoposto a verifica i riassunti delle fonti prodotti da Alchemy. Ogni riassunto conteneva marcatori che lo collegavano a paragrafi dei documenti originali, ma alcuni marcatori erano difettosi.

L’audit ha individuato 24 sezioni di riassunto difettose. Merlin ha escluso le citazioni che fallivano unicamente perché la piattaforma aveva fornito un marcatore errato. Questo ha impedito al benchmark di penalizzare un modello per un errore nei dati a monte.

Questo passaggio è facile da trascurare. Le valutazioni spesso attribuiscono ogni errore visibile al modello linguistico, anche quando il problema è stato causato dal recupero delle informazioni, dal parsing o dalla preparazione dei documenti.

Il terzo passaggio ha risolto le citazioni meccanicamente. Il codice ha verificato se ogni documento e sezione citati esistessero e se il paragrafo citato rientrasse nell’intervallo identificato.

Un semplice riferimento a un documento senza sezione o paragrafo è stato trattato come testo discorsivo, non come una citazione fallita. Questa regola ha impedito al verificatore di gonfiare il conteggio degli errori attraverso un parsing eccessivamente aggressivo.

Il quarto passaggio ha valutato se le frasi citate fossero fondate sui riassunti forniti. Questa è stata la prima fase a utilizzare un giudice AI.

Merlin ha affermato che una versione precedente trattava ogni fatto assente dalle citazioni elencate come inventato. Tale approccio penalizzava la sintesi quando un modello citava soltanto una parte delle prove alla base di una frase proveniente da più fonti.

Il sistema rivisto ha utilizzato due fasi. Innanzitutto, un valutatore ha identificato le informazioni che non riusciva a trovare nel materiale citato. Una seconda fase ha poi cercato nella raccolta più ampia prima di assegnare un verdetto.

I possibili esiti erano supportato, fonte non citata, estrapolazione o fabbricato. Una fonte non citata significava che il fatto esisteva altrove nella raccolta. L’estrapolazione significava che la conclusione superava le prove senza inventare un fatto verificabile.

La fabbricazione riguardava un nome specifico, una cifra, una data o una citazione testuale non trovati in alcun punto della raccolta. Merlin ha attribuito a questa categoria un peso triplo perché un dettaglio inventato può finire in un atto o in un memorandum per il cliente.

Il quinto passaggio ha misurato ampiezza e ripetizione. Il sistema ha convertito le frasi in vettori semantici, rappresentazioni matematiche del significato, e ha stimato quante idee indipendenti contenesse ciascun rapporto.

Questa progettazione cercava di evitare di premiare la lunghezza fine a se stessa. Un rapporto più lungo non riceveva alcun beneficio automatico se le sue frasi aggiuntive ripetevano gli stessi punti.

Il sesto passaggio ha calcolato punteggi e intervalli di incertezza. Costo e velocità comparivano nella scheda dei punteggi, ma non influivano sulla classifica dell’accuratezza.

Merlin ha utilizzato il ricampionamento sulle due domande per stimare gli intervalli di confidenza. Quando gli intervalli si sovrapponevano, ha considerato i modelli a pari merito. Ecco perché sei dei sette sistemi condividevano il gruppo statistico di testa nonostante la loro visualizzazione ordinata.

Il settimo passaggio ha valutato il valutatore. Due ulteriori giudici AI di fornitori diversi hanno esaminato ogni affermazione segnalata e un campione delle affermazioni approvate.

Un voto di maggioranza ha risolto i disaccordi. Tre delle 33 segnalazioni iniziali sono state annullate, producendo un tasso di falsi allarmi riportato del nove per cento. I revisori hanno inoltre controllato a campione 37 affermazioni approvate e non ne hanno segnalata alcuna.

Tutti e tre i valutatori hanno concordato pienamente su 58 delle 70 affermazioni esaminate. Rimane quindi un disaccordo significativo, ma la divulgazione offre ai lettori una visione più chiara dell’incertezza di misurazione.

L’ottavo passaggio ha generato un memorandum scritto. Un sistema AI ha redatto il testo, mentre le metriche calcolate hanno fornito ogni numero e il codice ha prodotto la scheda dei punteggi.

Merlin ha inoltre richiesto che ogni critica indicasse un modello comparativo con prestazioni migliori. Il suo rapporto completo di valutazione include definizioni, metriche e appendici a livello di singola conclusione.

Questa combinazione di controlli deterministici e giudizio dell’AI circoscritto segue un valido principio generale. Utilizzate il codice per verifiche di esistenza, intervalli, conteggi e calcoli riproducibili. Riservate i valutatori probabilistici alle questioni semantiche a cui l’aritmetica non può rispondere.

Ricorda inoltre la raccomandazione del NIST secondo cui le organizzazioni dovrebbero documentare set di test, metriche, incertezze e condizioni di distribuzione. L'AI RMF Core richiede inoltre valutazioni ripetibili e monitoraggio continuo dopo il deployment.

Per i team che realizzano una base di conoscenza ricercabile, la lezione va oltre il contenzioso. Il controllo delle citazioni dovrebbe verificare sia il recupero delle informazioni sia la generazione, perché ciascuno dei due livelli può interrompere la catena delle prove.

Perché il risultato mette sotto pressione gli acquirenti di AI aziendale

Il benchmark mette sotto pressione gli acquirenti che standardizzano su un unico modello premium prima di misurare i propri carichi di lavoro effettivi.

Gli acquisti aziendali trattano spesso i modelli come edizioni di software. Un’opzione più costosa o più recente sembra più sicura perché promette capacità di ragionamento superiori, una finestra di contesto più ampia o risultati migliori nei benchmark generali.

Il test di Merlin mostra la debolezza di questa logica. Un vantaggio nelle capacità generali non garantisce prestazioni migliori in un flusso di lavoro investigativo basato sui documenti.

L’incarico sottostante richiedeva diverse capacità distinte. I modelli dovevano leggere riassunti, separare le prove relative a società diverse, evitare di enfatizzare eccessivamente controversie ordinarie, sintetizzare problematiche di prodotto e allegare citazioni utili.

Un modello ha gestito le citazioni in modo pulito ma ha coperto meno questioni. Altri modelli hanno individuato più filoni distinti, producendo però maggiore attrito sulle citazioni. La scelta corretta dipende da quale errore comporta il rischio professionale maggiore.

Una revisione iniziale di una vasta raccolta può privilegiare velocità e richiamo ampio. Un rapporto finale preparato per il legale può attribuire maggiore peso a citazioni precise, sintesi completa e conclusioni rigorose.

Questa differenza sostiene il routing dei modelli, che assegna ogni attività a un modello scelto per requisiti misurati. Non giustifica invece la scelta automatica del sistema più economico.

Una politica di routing difendibile dovrebbe iniziare dal rischio. I team dovrebbero identificare se un’attività richiede estrazione fattuale, individuazione delle questioni, sintesi di lungo formato, giudizio legale o comunicazione finale al cliente.

Dovrebbero poi testare esempi rappresentativi con gli stessi prompt, le stesse impostazioni di recupero e le stesse condizioni documentali utilizzate in produzione. Una classifica pubblica non può riprodurre tali condizioni.

La scelta del modello influenza anche i costi di revisione. Un sistema veloce che produce rapporti più limitati può spostare il lavoro sugli avvocati, che devono individuare i temi omessi. Un sistema ampio ma con scarsa precisione delle citazioni può creare un onere diverso, poiché i revisori devono ricostruire manualmente le affermazioni.

La metrica dei costi operativi del benchmark escludeva questo lavoro a valle. Misurava l’uso del modello per produrre rapporti, non il costo totale di revisione, correzione e approvazione.

Per gli acquirenti nel settore legale, questa distinzione è particolarmente importante. Il parere etico sull’AI dell’American Bar Association afferma che gli avvocati devono considerare i doveri relativi a competenza, riservatezza, comunicazione, supervisione, candore e onorari ragionevoli.

L’output fluido di un modello non trasferisce la responsabilità lontano dal legale. Gli avvocati hanno comunque bisogno di procedure di revisione proporzionate all’incarico e ai rischi creati da affermazioni errate o non supportate.

Lo stesso principio si applica al di fuori del diritto. Analisti finanziari, team di compliance, ricercatori e product manager fanno tutti affidamento su output che condensano ampie raccolte di prove in decisioni.

Un modello può citare documenti reali e tuttavia non cogliere la questione decisiva. Può anche raggiungere una conclusione sensata indicando però il passaggio sbagliato. Sono modalità di errore distinte e meritano metriche separate.

Gli acquirenti dovrebbero quindi resistere a un unico punteggio composito di “qualità”. Hanno bisogno di una scheda di valutazione che rifletta il lavoro: validità delle citazioni, fondamento delle affermazioni, copertura, gestione delle contraddizioni, latenza e tempo di correzione umana.

Merlin sostiene inoltre la libertà di scelta tra fornitori di modelli. Questa posizione favorisce il disegno commerciale dell’azienda, poiché Alchemy offre più famiglie di modelli.

Tuttavia, le evidenze sostengono il punto più circoscritto. Quando sei modelli sono statisticamente equivalenti in fedeltà ma differiscono per velocità, ampiezza e costo operativo, vincolare ogni attività a un solo fornitore lascia inutilizzati compromessi misurabili.

Cosa il benchmark non dimostra

Si è trattato di una valutazione condotta da un fornitore, su un singolo flusso di lavoro, con identità dei modelli nascoste e una definizione deliberatamente limitata di accuratezza.

Merlin ha sviluppato Alchemy, eseguito il benchmark, progettato il processo di valutazione e pubblicato l’interpretazione. EDRM ha ripubblicato l’articolo con una nota secondo cui le opinioni appartenevano agli autori.

Questo non invalida il lavoro. Significa però che i lettori dovrebbero considerare i risultati come una valutazione documentata del fornitore, anziché come una prova comparativa indipendente.

La chiave di risposta nascosta crea un ulteriore vincolo. L’anonimizzazione ha protetto i valutatori dal pregiudizio di marca, ma il continuo riserbo impedisce un esame pubblico a livello di singolo modello.

I lettori non possono confrontare le posizioni riportate con altri benchmark. Non possono nemmeno verificare se il comportamento noto di un modello spieghi un particolare schema in termini di ampiezza, velocità o errori di citazione.

Il benchmark ha utilizzato due domande tratte da una sola raccolta di contenzioso. Due domande possono rivelare modalità di errore significative, ma non possono rappresentare ogni incarico di discovery o dominio legale.

Gli intervalli di confidenza riportati cercano di riconoscere questa incertezza. Tuttavia, il ricampionamento di due domande non può creare la diversità di un set di test più ampio che copra contratti, questioni regolatorie, revisione del privilegio, costruzione di cronologie o resoconti testimoniali contrastanti.

A quanto pare, i modelli hanno completato una sola esecuzione valutata con una configurazione. Prove ripetute potrebbero rivelare variazioni dell’output, in particolare quando le impostazioni di generazione consentono formulazioni o selezioni delle prove differenti.

I materiali pubblici non forniscono inoltre informazioni sufficienti per calcolare in modo indipendente l’effetto complessivo del sistema derivante da prompt, qualità dei riassunti, limiti di recupero e configurazione del modello. Un diverso harness applicativo potrebbe modificare l’ordine.

Soprattutto, la fedeltà non era sinonimo di accuratezza legale. Il test misurava se le affermazioni fossero riconducibili alle fonti e se le citazioni indicassero il materiale corretto.

Non valutava la qualità del ragionamento legale. Non stabiliva se un modello avesse identificato le prove più importanti, riconciliato i conflitti in modo persuasivo o anticipato l’argomento di una controparte.

Merlin ha riconosciuto direttamente questa limitazione. Un modello poteva classificarsi bene elencando fatti accuratamente supportati, evitando al contempo le conclusioni difficili che rendono utile un rapporto investigativo.

Anche l’assenza di fabbricazioni rilevate richiede cautela. Significa che la pipeline di valutazione non ha individuato alcun fatto specifico inventato in questi sette rapporti. Non stabilisce un tasso di allucinazioni pari a zero per i modelli, per Alchemy o per l’AI legale in generale.

Il tasso di errore di un sistema cambia con l’attività. Ricerca aperta, raccolte incomplete, domande ambigue e documenti avversariali creano pressioni diverse da un esercizio di sintesi controllato.

La valutazione automatizzata introduce una propria incertezza. I giudici aggiuntivi di Merlin hanno annullato tre segnalazioni iniziali, dimostrando perché un singolo modello non dovrebbe fungere da valutatore incontestato.

I valutatori hanno concordato all’unanimità su 58 delle 70 affermazioni esaminate. Si tratta di un accordo sostanziale, ma mostra anche che la classificazione semantica rimaneva discutibile.

Una revisione legale umana indipendente rafforzerebbe le evidenze. Esperti del settore potrebbero valutare se le categorie di valutazione corrispondessero alle aspettative professionali e se un’affermazione apparentemente supportata preservasse il significato della fonte.

Il profilo sull’AI generativa del NIST sottolinea i test prima del deployment, riconoscendo al contempo che i rischi differiscono tra i livelli di modello, applicazione ed ecosistema. Il benchmark di Merlin valuta tutti e tre i livelli insieme, ma non può isolarli completamente.

Il risultato dovrebbe quindi modificare il comportamento di acquisto senza porre fine all’indagine. È un’evidenza contro la selezione basata sul prezzo, non la prova che un modello economico anonimo debba sostituire i sistemi frontier.

Tre segnali che metteranno alla prova l’inversione tra costo e accuratezza

Il prossimo test è stabilire se l’inversione di Merlin resiste a compiti più ampi, a una revisione indipendente e a ripetuti aggiornamenti dei modelli.

Il primo segnale è un benchmark di giudizio più ampio. Merlin afferma di stare costruendo una diversa valutazione per prove contrastanti, ragionamento causale, importanza delle questioni e argomenti contrapposti.

Questo test è importante perché i modelli premium giustificano spesso il loro maggiore costo operativo attraverso il ragionamento piuttosto che la meccanica delle citazioni. Se i modelli economici restano competitivi anche in questo ambito, l’argomento a favore del routing predefinito verso modelli frontier si indebolirà sostanzialmente.

Se i sistemi premium acquisiranno un vantaggio netto, il risultato attuale apparirà più come una specializzazione per attività. I team potrebbero quindi riservare i modelli frontier alla sintesi complessa, utilizzando sistemi economici per rapporti basati sulle prove.

Il secondo segnale è la replica indipendente. Un seguito credibile dovrebbe divulgare prompt, impostazioni, versioni dei modelli, esecuzioni ripetute, codice di valutazione e un pacchetto di documenti riutilizzabile laddove le licenze lo consentano.

Dovrebbe inoltre includere revisori legali umani che non lavorano per il fornitore della piattaforma. L’accordo tra controlli deterministici, giudici automatizzati ed esperti di dominio rafforzerebbe il metodo.

La replica potrebbe preservare l’anonimato durante la valutazione, pubblicando però in seguito la chiave delle etichette. Questo disegno manterrebbe la protezione dal pregiudizio di marca e fornirebbe agli acquirenti evidenze operative a livello di modello.

Il terzo segnale è la deriva delle prestazioni dopo gli aggiornamenti dei modelli e della piattaforma. I fornitori rivedono frequentemente snapshot dei modelli, sistemi di inferenza e strutture tariffarie. Cambiano anche le pipeline di recupero e i prompt di sintesi.

Merlin afferma che i nuovi arrivati ricevono lo stesso test. La pubblicazione di una serie temporale stabile mostrerebbe se le classifiche persistono o catturano soltanto uno snapshot favorevole.

I team dovrebbero osservare più del vincitore. Cambiamenti nelle citazioni interrotte, nei riferimenti mal indirizzati, nell’ampiezza, nel disaccordo tra valutatori, nella latenza e nel tempo di correzione rivelerebbero se il flusso di lavoro sta migliorando.

Il benchmark sui modelli AI di Merlin lascia agli acquirenti una sfida pratica. Smettete di chiedere quale modello sia migliore in astratto. Definite il lavoro, identificate gli errori costosi e svolgete una valutazione controllata sulle vostre prove.

Per i team legali, ciò significa verificare se le citazioni esistono, se i passaggi supportano le affermazioni e se il rapporto coglie le questioni rilevanti. Significa anche mantenere gli avvocati responsabili del giudizio finale.

Per gli altri team ad alta intensità di conoscenza, la domanda è simile: il sistema aiuta le persone a raggiungere una decisione difendibile oppure produce soltanto testo fluido?

Il divario di costo di nove volte offre un titolo memorabile. La lezione duratura è più impegnativa. Misurate l’attività, verificate la catena delle prove, includete l’incertezza e ripetete i test ogni volta che cambiano i modelli o il flusso di lavoro.