Test del pellicano di Simon per Anthropic: Claude Fable 5.1 sembra migliore, ma solo dopo aver ragionato molto più a lungo

Anthropic ha rilasciato Claude Fable 5.1 con un punteggio dichiarato del 52,6% nel benchmark scientifico, ma il test del pellicano di Simon per Anthropic racconta una storia diversa sulle prestazioni. Simon Willison ha chiesto al modello di generare un SVG di un pellicano in bicicletta. Il risultato più convincente è arrivato solo dopo aver impiegato molto più tempo e token di output al massimo livello di ragionamento.

Questo contrasto rende l’esperimento più utile di quanto suggerisca la sua premessa assurda. Anthropic presenta Fable 5.1 come un modello per la programmazione, il lavoro della conoscenza e problemi di lunga durata. Il pellicano di Willison verifica cosa accade quando queste capacità incontrano un piccolo compito di programmazione visiva con vincoli fisici evidenti.

Il risultato non sostituisce le valutazioni formali di Anthropic. È una dimostrazione compatta del compromesso che vi sta dietro. Fable 5.1 può esaminare, rivedere e migliorare il proprio lavoro, ma un maggiore ragionamento non produce miglioramenti uniformi. Il miglior output è arrivato con uno sforzo computazionale molto più elevato, mentre le impostazioni inferiori hanno mostrato poca deliberazione visibile.

Anthropic ha rilasciato un modello progettato per continuare a lavorare

Claude Fable 5.1 punta meno a rispondere rapidamente a un singolo prompt e più a sostenere un compito finché i dettagli non tornano.

Anthropic ha presentato Claude Fable 5.1 e Claude Mythos 5.1 il 1° settembre 2026. L’azienda li descrive come lo stesso modello sottostante, con misure di sicurezza differenti. Fable è generalmente disponibile, mentre Mythos è limitato a programmi di ricerca approvati.

I materiali di lancio dell’azienda si concentrano su programmazione, ricerca e lavoro della conoscenza di lunga durata. Anthropic afferma che Fable 5.1 evita correzioni superficiali, controlla il proprio lavoro e resta efficace durante progetti che si estendono per ore o su più applicazioni.

Queste affermazioni contano perché molti attuali fallimenti dell’AI avvengono dopo un inizio promettente. Un modello può scrivere un piano plausibile, generare codice funzionante e comunque perdere di vista i vincoli nelle revisioni successive. Le prestazioni di lunga durata dipendono dal mantenimento dello stato, dal test dei risultati intermedi e dalla correzione degli errori senza danneggiare il lavoro precedente.

I risultati dei benchmark di Anthropic mostrano miglioramenti moderati in diversi test consolidati. Il maggiore salto dichiarato appare su Terminal-Bench-Science 0.1, una valutazione di attività scientifiche completate tramite un ambiente terminale.

Fable 5.1 ha ottenuto il 52,6% nella configurazione di Anthropic. L’azienda ha riportato il 24,7% per Fable 5, il 29,0% per Opus 5 e il 22,4% per GPT-5.6 Sol nello stesso confronto. Anthropic indica inoltre un errore standard compreso tra 3,5 e 4,5 punti percentuali per ciascun modello.

Altri risultati si sono mossi con margini minori. Fable 5.1 ha raggiunto il 55,8% su Terminal-Bench 4.0, rispetto al 42,0% di Fable 5. Ha ottenuto il 31,4% su AutomationBench, mentre Fable 5 ha totalizzato il 17,1%.

Si tratta di dati riportati dall’azienda, non di misure universali della qualità del modello. Anthropic osserva inoltre che le misure di sicurezza hanno influenzato alcune attività di valutazione. Alcune richieste segnalate hanno ricevuto zero, mentre altre sono state indirizzate a modelli Claude differenti.

Questa precisazione complica i confronti diretti. Un benchmark può misurare il modello sottostante, il sistema di sicurezza distribuito, l’infrastruttura dell’agente o una combinazione di tutti e tre. Gli utenti enterprise incontrano il prodotto combinato, quindi questi dettagli operativi devono far parte di qualsiasi discussione sulle prestazioni.

I primi clienti di Anthropic hanno fornito esempi a supporto. MongoDB ha dichiarato che il modello ha studiato i suoi servizi e la documentazione prima di realizzare un prototipo nell’arco di diversi giorni. Millennium ha dichiarato che Fable 5.1 ha ricondotto un raro crash a una libreria esterna, dopo che modelli precedenti non ne avevano individuato la causa.

Questi resoconti sono utili, ma provengono da partner di lancio selezionati. Mostrano come possono apparire implementazioni riuscite, non il risultato medio in ogni codebase o flusso di lavoro.

Il pellicano di Willison occupa l’estremo opposto dello spettro di valutazione. Non dispone di un sistema enterprise, di un laboratorio di ricerca o di una grande raccolta documentale. Il suo valore deriva dal rendere visibile il comportamento del modello.

Perché Simon Willison continua a far disegnare pellicani ai modelli

Il prompt del pellicano è prezioso perché il successo richiede che molte piccole relazioni funzionino insieme, anche se il compito sembra banale.

Willison ha chiesto ripetutamente ai modelli linguistici di generare un SVG di un pellicano in bicicletta. SVG è un formato di immagine basato su testo, quindi un modello linguistico può creare l’intera immagine scrivendo markup strutturato e istruzioni di disegno.

Un risultato plausibile richiede ruote riconoscibili, un telaio di bicicletta, manubrio, pedali e un pellicano. Un buon risultato deve anche collegarli correttamente. Le zampe dell’uccello dovrebbero raggiungere i pedali, l’ala dovrebbe toccare il manubrio e il corpo dovrebbe trovarsi sopra il telaio.

Queste relazioni creano un test compatto di pianificazione e coerenza spaziale. Un modello può produrre codice SVG valido senza riuscire a rappresentare realmente la scena. Potrebbe disegnare zampe scollegate, ruote fuori posto, giunti impossibili o un animale che fluttua semplicemente sopra una bicicletta.

Il test è diventato popolare perché i primi miglioramenti erano facili da vedere. I modelli migliori tendevano a produrre codice più pulito, geometrie più coerenti e una maggiore aderenza al prompt. Una sola immagine poteva rivelare errori che un lungo report di benchmark avrebbe potuto nascondere dietro un punteggio aggregato.

In seguito Willison è diventato meno sicuro di questa correlazione. Nella sua rivalutazione di luglio, ha sostenuto che la qualità dei pellicani non seguiva più la qualità generale dei modelli con la stessa affidabilità di prima. Lo stile nella generazione delle immagini, le preferenze di addestramento e le impostazioni di ragionamento influenzavano sempre più il risultato.

Questo limite cambia lo scopo del benchmark. È una prova debole per dichiarare un modello universalmente migliore di un altro. Resta utile per confrontare modelli correlati, livelli di ragionamento ed esecuzioni ripetute in condizioni simili.

L’esperimento con Claude Fable 5.1 segue questo approccio più ristretto. Willison ha testato cinque impostazioni di ragionamento: basso, medio, alto, extra alto e massimo. Fable 5.1 non offriva un’impostazione che disattivasse completamente il ragionamento.

A basso impegno, il modello ha prodotto un’illustrazione pulita e riconoscibile. La trascrizione registrata da Willison non mostrava ragionamenti riassunti, anche se la risposta conteneva 1.998 token di output e ha richiesto 23,8 secondi.

L’impegno medio si è comportato in modo simile. L’output ha usato 1.977 token, ha richiesto 23 secondi e ancora una volta non ha mostrato alcun riepilogo del ragionamento. L’immagine finale non ha mostrato un vantaggio evidente rispetto al risultato a basso impegno.

L’impegno alto ha infine rivelato una piccola traccia di pianificazione. Il modello ha descritto la scena prevista, inclusi bicicletta, pellicano, sfondo, ruote e posizionamento del corpo. Ha usato 2.612 token di output e ha concluso in 29,6 secondi.

Il miglioramento visibile è rimasto modesto. Questo risultato conta perché i controlli del ragionamento sono spesso presentati come una semplice manopola della qualità. In questo esperimento, passare da basso ad alto non ha creato un miglioramento proporzionale.

L’impegno extra alto ha cambiato drasticamente il comportamento. Il modello ha generato 36.767 token di output e ha lavorato per sette minuti e 51 secondi. Il suo ragionamento ha discusso le proporzioni dell’uccello, le zampe, i pedali, la posizione dell’ala e il carattere visivo.

L’impegno massimo ha esteso ulteriormente il processo. Ha usato 65.927 token di output e ha richiesto 13 minuti e 54 secondi. Willison ha definito il risultato il miglior pellicano che avesse mai visto da un modello Anthropic.

L’immagine includeva un casco blu, un cestino per il pesce, una bicicletta coerente e un contatto più curato tra l’uccello e la macchina. I suoi dettagli visivi riflettevano ispezioni ripetute, anziché una generazione in un solo passaggio.

Questa progressione è il vero esperimento. Il prompt è rimasto stabile mentre cambiava la deliberazione disponibile al modello. Fable 5.1 non ha semplicemente disegnato un pellicano migliore a ogni impostazione superiore. Vicino al limite massimo è entrato in una modalità di lavoro diversa.

Il test di Simon per Anthropic mette in luce un divario di impegno

Il miglior pellicano dimostra una correzione autonoma più efficace, ma rivela anche quanto la qualità possa dipendere nettamente dallo sforzo di inferenza.

Il test di Simon per Anthropic è più informativo quando viene trattato come un confronto all’interno di una sola famiglia di modelli. Basso, medio e alto hanno prodotto illustrazioni accettabili, con differenze visibili limitate. Extra alto e massimo hanno attivato ragionamenti molto più lunghi e revisioni più deliberate.

Al massimo impegno, il modello ha fatto più che elencare gli oggetti da disegnare. Ha considerato come tali oggetti dovessero interagire. La traccia di ragionamento ha esaminato il posizionamento del casco, la sovrapposizione del becco, le forme delle piume, i dettagli del manubrio e la curva della forcella anteriore della bicicletta.

Questo comportamento assomiglia a una revisione iterativa del design. Il modello ha generato una struttura, ispezionato probabili difetti e corretto singoli componenti. Ha inoltre respinto aggiunte non necessarie quando minacciavano la chiarezza.

Una traccia ha mostrato il modello riconsiderare un casco da bicicletta perché avrebbe potuto interferire con la cresta riconoscibile del pellicano. Un’altra ha identificato la curva errata della forcella e modificato un punto di controllo per migliorarne la direzione.

Queste decisioni sono piccole, ma illustrano una capacità più ampia. Gli agenti utili per attività di lunga durata devono rilevare quando il loro primo tentativo è soltanto plausibile. Devono poi isolare un punto debole e correggerlo senza destabilizzare tutto il resto.

Questo meccanismo collega il pellicano al vero lavoro di programmazione. Un agente software potrebbe creare una funzionalità che supera un test di base ma viola un vincolo architetturale. Un agente di ricerca potrebbe completare un’analisi prima di notare che un’assunzione compromette la conclusione.

Il problema più difficile non è produrre più testo. È dedicare ulteriore capacità computazionale ai controlli giusti. La traccia massima di Fable 5.1 suggerisce progressi in questo comportamento, almeno nell’ambito di questo compito di programmazione visiva.

Tuttavia, l’esperimento rivela anche una curva dello sforzo irregolare. Il livello medio non ha superato quello basso in modo significativo, pur essendo un’impostazione superiore. Il livello alto ha aggiunto un po’ di pianificazione, ma non ha trasformato l’immagine. Gran parte del miglioramento visibile è arrivata molto più tardi.

Gli sviluppatori dovrebbero quindi evitare di presumere che ogni passaggio di ragionamento generi la stessa qualità. Un carico di lavoro può trovarsi sotto una soglia alla quale lo sforzo aggiuntivo cambia poco. Un altro può trarre beneficio solo quando il modello ha spazio sufficiente per effettuare ispezioni ripetute.

Questo crea una sfida di valutazione. Se un team testa solo l’impostazione predefinita, potrebbe sottovalutare ciò che il modello può fare. Se testa solo il massimo impegno, potrebbe misurare una configurazione troppo lenta per l’uso normale.

Anthropic afferma che Fable 5.1 usa per impostazione predefinita un impegno alto in Claude Code, mentre le altre interfacce Claude usano il livello medio. I risultati di Willison suggeriscono che le impostazioni predefinite dell’interfaccia possono plasmare l’intera impressione che un utente ha del modello.

Il test separa anche la qualità dell’output dall’efficienza operativa. Il pellicano al massimo impegno era migliore, ma richiedeva sostanzialmente più token e tempo rispetto alle versioni a minore impegno. Questo compromesso conta anche quando un articolo evita di discutere prezzi specifici.

Gli agenti di lunga durata consumano capacità computazionale mentre pianificano, ispezionano file, chiamano strumenti, eseguono test e rivedono il proprio lavoro. Un risultato riuscito può giustificare questo sforzo per un compito difficile. Lo stesso processo sarebbe eccessivo per un’illustrazione usa e getta o una trasformazione di routine.

La domanda pratica non è se il ragionamento massimo sia positivo. È se il lavoro extra cambia la decisione, riduce la revisione a valle o evita un errore costoso.

Quella distinzione mette sotto pressione Anthropic e i suoi concorrenti. OpenAI, Google e altri fornitori di modelli espongono sempre più controlli di ragionamento o allocano automaticamente la capacità di calcolo. Gli acquirenti hanno bisogno di prove che tali controlli corrispondano chiaramente al valore del carico di lavoro.

Il pellicano suggerisce che questa corrispondenza resta irregolare. Un'impostazione più alta non garantisce un risultato visibilmente migliore, mentre l'impostazione massima può comportarsi come un prodotto sostanzialmente diverso.

Il benchmark scientifico alza la posta

Il punteggio scientifico di Anthropic rende importante Fable 5.1, ma il pellicano spiega perché il punteggio richiede un contesto operativo.

Terminal-Bench-Science 0.1 è progettato attorno ai flussi di lavoro scientifici che gli agenti eseguono in ambienti terminale. I suoi compiti coprono campi tra cui biologia, chimica, fisica, scienze della Terra, matematica e ingegneria.

Il benchmark scientifico è stato lanciato poco prima di Fable 5.1. Contiene 70 compiti forniti da scienziati, con risultati verificabili all'interno di ambienti controllati.

Questa struttura è più rigorosa che giudicare un'illustrazione. I compiti richiedono agli agenti di orientarsi nei software, manipolare dati, usare strumenti scientifici e raggiungere risultati verificabili. Sono pensati per assomigliare a parti del lavoro di ricerca reale.

Il risultato del 52,6% di Anthropic è notevole perché più che raddoppia il punteggio del 24,7% riportato per Fable 5. Il divario resta molto più ampio dell'errore standard divulgato.

Il confronto richiede comunque cautela. Anthropic ha riprodotto i risultati del modello precedente usando la propria configurazione di valutazione. La classifica pubblica riportava il 30,0% per Opus 5 e il 21,4% per Fable 5, mentre Anthropic ha misurato rispettivamente il 29,0% e il 24,7%.

L'azienda afferma che tali differenze rientrano nel rumore statistico atteso. Ciononostante, i lettori dovrebbero distinguere tra esecuzioni sulla classifica pubblica e confronti condotti dal fornitore.

Un nuovo benchmark ha inoltre una storia limitata. I ricercatori non hanno ancora osservato con quale rapidità gli sviluppatori ottimizzino prompt, harness e strumenti attorno ai suoi compiti. Manca anche una lunga serie storica che colleghi i miglioramenti del benchmark a risultati scientifici misurabili.

Ciò non rende il risultato irrilevante. Significa che è un segnale iniziale, non un verdetto definitivo.

Il benchmark ufficiale e il test del pellicano misurano aspetti diversi. Terminal-Bench-Science chiede se un agente completa un flusso di lavoro scientifico definito. Il pellicano rivela come il modello distribuisce lo sforzo mentre risolve un problema visibile con vincoli.

Insieme, supportano una conclusione più circoscritta. Fable 5.1 sembra migliore nel lavoro prolungato basato su strumenti, e il suo comportamento più efficace emerge quando dispone di abbastanza capacità di calcolo per ispezionare i risultati intermedi.

Anthropic fornisce diversi esempi scientifici oltre al benchmark. L'azienda afferma che i suoi modelli hanno lavorato su leganti proteici, mappatura planetaria e ottimizzazioni GPU per modelli biologici. Queste affermazioni combinano l'output del modello con strumenti esterni e, in alcuni casi, validazione di laboratorio.

L'azienda afferma inoltre che Fable 5.1 ha addestrato una rete neurale che ha prodotto una mappa altimetrica a risoluzione più elevata che copre un terzo di Venere. Secondo Anthropic, la mappa risolve dettagli a due o tre chilometri anziché a 10-20 chilometri.

Esempi di questo tipo meritano un esame più approfondito di un prompt eseguito una sola volta. Un risultato scientifico dipende dalla selezione dei dati, dalla configurazione degli strumenti, dai metodi di validazione e dalla supervisione umana. Il modello può svolgere un lavoro importante senza essere responsabile dell'intero processo di scoperta.

Questa distinzione conta per l'adozione nelle aziende. Un acquirente non implementa un punteggio di benchmark. Implementa un modello all'interno di un sistema con autorizzazioni, dati proprietari, revisori, budget, salvaguardie e procedure di gestione dei fallimenti.

Le prove più solide arriveranno da flussi di lavoro ripetuti in cui i team possono confrontare tassi di completamento, tempo di correzione e requisiti di revisione umana. Un modello con un punteggio più alto ma che richiede una verifica estesa può creare meno valore del previsto.

Al contrario, un modello più lento può valere la pena quando evita un errore difficile. I partner di lancio di Anthropic sottolineano esempi che coinvolgono fallimenti rari, modifiche al codice su più servizi e ricerca non supervisionata. Sono proprio i casi in cui un ragionamento aggiuntivo ha un ritorno plausibile.

Il benchmark scientifico aumenta la pressione su OpenAI e Google perché stabilisce un vantaggio visibile in una nuova valutazione agentica. Tuttavia, la competizione più ampia non riguarda una sola classifica. Riguarda la capacità dei modelli di trasformare il ragionamento esteso in lavoro affidabile e verificabile.

Cosa non dimostra il pellicano

Un SVG curato è la prova di una singola esecuzione riuscita, non la dimostrazione che Claude Fable 5.1 ragionerà in modo affidabile su compiti non correlati.

La prima limitazione è la dimensione del campione. Willison ha mostrato una sequenza attraverso cinque impostazioni di sforzo. Gli output del modello possono variare tra un'esecuzione e l'altra, anche quando prompt e configurazione restano invariati.

Un confronto più solido ripeterebbe ogni impostazione più volte. I revisori potrebbero quindi valutare coerenza fisica, validità del codice, qualità visiva, tempo di esecuzione e lunghezza dell'output. Ciò rivelerebbe se il risultato massimo fosse tipico o insolitamente buono.

La seconda limitazione è il giudizio soggettivo. La maggior parte degli osservatori può concordare sul fatto che il pellicano massimo sembri più completo, ma l'attrattiva visiva non è una singola proprietà misurabile. Una persona potrebbe preferire un'illustrazione minimale, mentre un'altra premia i dettagli decorativi.

La terza limitazione è la contaminazione. Il prompt del pellicano circola pubblicamente da molto tempo. Gli sviluppatori di modelli possono vedere gli esempi e immagini correlate potrebbero comparire nei dati di addestramento o valutazione.

Non ci sono prove che Anthropic abbia ottimizzato esplicitamente Fable 5.1 per questo prompt. Tuttavia, un test familiare diventa meno utile come misura indipendente quando molti output e discussioni sono pubblici.

Willison riconosce già che la relazione del benchmark con la qualità generale dei modelli si è indebolita. Il suo miglior utilizzo residuo è il confronto controllato, soprattutto all'interno della famiglia di modelli di un singolo fornitore.

La quarta limitazione riguarda il ragionamento visibile. L'assenza di un riepilogo del ragionamento non dimostra che il modello non abbia svolto alcun ragionamento interno. I prodotti possono nascondere, comprimere o mostrare selettivamente le tracce.

Willison ha descritto con attenzione le impostazioni bassa e media come apparentemente prive di ragionamento. Questa distinzione giornalistica dovrebbe restare intatta. Il comportamento registrato dell'interfaccia è osservabile, ma il processo interno del modello non è pienamente disponibile.

La quinta limitazione è che tracce lunghe possono creare una falsa fiducia. Un modello che discute molti dettagli può comunque commettere un errore fondamentale. Una maggiore riflessione può migliorare il rilevamento degli errori, ma può anche produrre revisioni non necessarie o razionalizzare un approccio difettoso.

Il seguito animato rende visibile questo rischio. Una richiesta su Hacker News chiedeva se il pellicano risolto potesse essere animato. Willison ha reinviato l'SVG massimo a Fable 5.1 con sforzo elevato e l'istruzione di animarlo.

Il modello ha prodotto una versione animata usando 26.201 token di output. Willison ha osservato che le ruote sembravano ruotare nella direzione sbagliata dopo la conversione in video, anche se l'SVG originale sembrava corretto.

Questo seguito è più di una battuta. Verifica se un modello riesce a preservare un artefatto funzionante aggiungendo un comportamento. Questo schema ricorda la manutenzione software, in cui una nuova funzionalità può far emergere problemi assenti nell'implementazione originale.

L'esperimento completo del pellicano di Willison mostra anche perché gli artefatti finali richiedano un'ispezione diretta. Un SVG valido, una traccia di ragionamento coerente e un comando di animazione riuscito non garantiscono che ogni relazione visiva sia sopravvissuta all'esportazione.

Una sesta limitazione deriva dall'allineamento del benchmark. Il pellicano esplora principalmente la generazione SVG, le relazioni spaziali e il design iterativo. Dice poco sull'affidabilità fattuale, sulle decisioni di sicurezza, sul giudizio scientifico o sulle prestazioni su dati aziendali privati.

Le valutazioni formali di Anthropic coprono alcune di queste aree, ma molti risultati restano riportati dal fornitore. Anche le testimonianze dei partner di lancio descrivono successi selezionati anziché tassi di fallimento controllati.

Questo lascia un'importante lacuna di verifica. Fable 5.1 sembra capace di un lavoro più prolungato, eppure i team hanno ancora bisogno di test indipendenti costruiti sulle proprie attività. Dovrebbero misurare con quale frequenza il modello conclude correttamente, non quanto impressionante appaia la sua migliore sessione.

Una valutazione utile dovrebbe includere requisiti ambigui, fallimenti degli strumenti, documenti obsoleti e contenuti avversari. Gli agenti a lunga esecuzione devono gestire tali condizioni senza modificare silenziosamente l'obiettivo.

La tensione centrale rimane quindi irrisolta. Fable 5.1 può dedicare molto più tempo a migliorare un output, ma gli utenti hanno bisogno di modi affidabili per decidere quando quello sforzo sia giustificato e quando il modello debba fermarsi.

Tre segnali mostreranno se Fable 5.1 manterrà le promesse

Il prossimo test è verificare se i guadagni di benchmark e demo di Fable 5.1 resistano alla ripetizione, ai flussi di lavoro reali e alla pressione competitiva.

Il primo segnale è la riproduzione indipendente di Terminal-Bench-Science 0.1. I ricercatori dovrebbero eseguire Fable 5.1 in più prove usando harness documentati e un accesso agli strumenti comparabile.

Risultati vicini alla cifra del 52,6% di Anthropic rafforzerebbero l'affermazione dell'azienda. Un punteggio pubblico sensibilmente inferiore suggerirebbe che la configurazione della valutazione, il prompting o la configurazione privata abbiano contribuito più di quanto implichi il titolo.

Anche la varianza tra le esecuzioni conterà. Un modello che ottiene una buona media ma fallisce in modo imprevedibile presenta un profilo operativo diverso da uno che produce risultati leggermente inferiori ma più costanti.

Il secondo segnale è costituito dalle prove a livello di carico di lavoro provenienti da sviluppatori e team aziendali. Le metriche più rivelatrici includeranno tassi di completamento riuscito, tempo di revisione, difetti corretti, esecuzioni interrotte e frequenza dell'intervento umano.

I team dovrebbero confrontare il ragionamento alto e massimo sulle stesse attività interne. Dovrebbero inoltre registrare i casi in cui uno sforzo aggiuntivo non cambia nulla o peggiora il risultato.

Queste prove trasformerebbero il divario di sforzo tra Anthropic e Simon in una questione operativa. Se il ragionamento massimo previene sistematicamente fallimenti costosi, il tempo di esecuzione più lungo diventa difendibile. Se i miglioramenti compaiono solo in dimostrazioni selezionate, l'impostazione massima resterà difficile da giustificare.

Il terzo segnale è il modo in cui risponderanno i modelli concorrenti. GPT-5.6 Sol di OpenAI è dietro Fable 5.1 nel confronto scientifico di Anthropic, mentre i modelli di Google restano forti nella generazione di SVG visivamente espressivi.

Un concorrente può rispondere in diversi modi. Può superare Fable nella classifica scientifica pubblica, migliorare l'allocazione automatica del ragionamento, ridurre il tempo necessario per risultati comparabili o pubblicare valutazioni più solide e indipendenti dei flussi di lavoro.

La risposta più significativa combinerà qualità e prevedibilità. Gli sviluppatori non hanno soltanto bisogno di un modello capace di produrre un artefatto straordinario. Hanno bisogno di controlli che comunichino quanto sforzo ha ricevuto un'attività e perché il sistema si è fermato.

Per i knowledge worker, lo stesso principio si applica alla ricerca e all'analisi dei documenti. Una risposta più lunga non è necessariamente una risposta migliore. Il sistema utile è quello che verifica le prove, individua i vincoli mancanti ed espone chiaramente l'incertezza.

Il test del pellicano di Simon per Anthropic offre a Claude Fable 5.1 una dimostrazione memorabile, ma la sua lezione non è che il benchmark sia stato risolto. La lezione è che l'auto-revisione prolungata ora produce un lavoro visibilmente migliore, mentre il costo di tale revisione resta disomogeneo.

Gli sviluppatori dovrebbero testare il modello con artefatti che possono ispezionare e fallimenti che già comprendono. Eseguite la stessa attività a più livelli di sforzo, confrontate i risultati finali e registrate dove il ragionamento aggiuntivo modifica l'esito.

La prossima dimostrazione convincente non dovrebbe essere un altro uccello perfetto. Dovrebbe mostrare che Fable 5.1 è in grado di offrire la stessa correzione accurata in attività ripetute e rilevanti, senza richiedere ogni volta il massimo sforzo.