Cloudflare Clef-omni amplia le decisioni multimodali, ma l'accuratezza resta il limite

Cloudflare Clef-omni è arrivato il 9 ottobre con l'elaborazione nativa di audio, video, immagini e testo in un'unica pipeline decisionale. L'azienda ha inoltre ridotto i prezzi di Clef-flash e aumentato fino a 2,0 volte la velocità dell'inferenza Clef ospitata. Nel complesso, questi cambiamenti trasformano una famiglia di modelli vecchia di una settimana in una sfida più ampia ai sistemi multi-fase che gli sviluppatori usano attualmente per le decisioni automatizzate.

Il cambiamento importante non è che un altro modello accetti contenuti multimediali. I modelli generalisti lo fanno già. Cloudflare sta confezionando la comprensione multimodale come servizio decisionale vincolato, che restituisce probabilità per risposte consentite invece di generare testo aperto.

Questa distinzione mette Cloudflare in competizione con Jev di TypeSafe e con un modello architetturale più consolidato: collegare componenti distinti di trascrizione, visione, linguaggio e classificazione. Clef-omni chiede agli sviluppatori di sostituire quella catena con una sola chiamata al modello. L'approccio promette meno orchestrazione, ma gli stessi risultati dei benchmark di Cloudflare mostrano perché un minor numero di componenti non significa automaticamente decisioni migliori.

Cloudflare Clef-omni trasforma quattro tipi di input in una decisione

Cloudflare Clef-omni è progettato per valutare direttamente media misti, senza prima convertire ogni input in testo.

Il modello accetta testo, immagini, audio WAV o MP3 e video MP4 o WebM. Una richiesta può combinare diversi di questi input con uno schema che descrive le domande a cui il modello deve rispondere. La risposta assegna un livello di confidenza alle opzioni consentite anziché comporre una risposta narrativa.

Cloudflare illustra questo schema con un'ispezione delle apparecchiature. Uno sviluppatore può inviare una fotografia di un'etichetta, una registrazione audio di una macchina e un video della sua ventola. Il modello può quindi valutare se l'etichetta è visibile, se la macchina sembra funzionare normalmente e se la ventola è in movimento.

Questo flusso di lavoro richiede di norma diverse fasi. Un modello trascrive l'audio, un altro campiona o crea didascalie per il video e il codice dell'applicazione riunisce tali output. Un classificatore finale o un modello linguistico trasforma poi le prove accumulate in una decisione.

Clef-omni, invece, mappa i media in un'unica sequenza unificata. Cloudflare afferma che l'audio sincronizzato e i fotogrammi visivi restano disponibili per l'elaborazione congiunta. Il modello assegna un punteggio a ogni risposta valida a partire da questa rappresentazione combinata, senza generare una trascrizione o didascalia intermedia.

Si tratta di una differenza significativa per i segnali che perdono contesto durante la conversione. Una trascrizione può preservare le parole pronunciate, scartando però tono, rumore di fondo, tempistiche e relazione tra suono e movimento. Un insieme di didascalie video può descrivere gli oggetti visibili, ma non rilevare se un suono si è verificato nello stesso istante di un guasto meccanico.

Cloudflare ha costruito il modello su Qwen3-Omni-30B-A3B-Instruct, una base mixture-of-experts. Un modello mixture-of-experts instrada input diversi attraverso gruppi di parametri selezionati invece di attivare l'intera rete per ogni calcolo. Cloudflare ha mantenuto la struttura di comprensione del modello di base, ma ne ha rimosso i componenti di output text-to-speech.

L'azienda ha quindi congelato la struttura Qwen3 e addestrato adattatori a basso rango, o moduli LoRA. LoRA aggiorna un insieme più ridotto di parametri aggiunti lasciando invariata la maggior parte del modello di base. Cloudflare ha inoltre applicato addestramento con entropia incrociata con smoothing delle etichette e calibrazione del Brier score, che misura quanto le probabilità previste corrispondano ai risultati osservati.

I suoi pesi del modello aperti consentono ai ricercatori di ispezionare o ospitare autonomamente il modello. La documentazione del modello ospitata fornisce la struttura della richiesta per Workers AI.

Questa architettura rende il modello multimodale Clef più di un chatbot capace di elaborare media. È un valutatore vincolato da schema, pensato per applicazioni che sanno già a quali domande devono rispondere. Questo focus crea anche la sua limitazione centrale: il sistema può prendere decisioni utili solo quando lo schema, le prove e le scelte consentite catturano il problema reale.

Il modello multimodale Clef punta alla complessità delle pipeline

Cloudflare compete con il costo e la fragilità delle pipeline di modelli collegati, non soltanto con un altro fornitore di modelli.

Un flusso di lavoro multimediale multi-fase crea dipendenze operative. Il riconoscimento vocale può fallire con accenti o registrazioni rumorose. Il campionamento video può saltare un fotogramma rilevante. Un modello di didascalie può omettere un dettaglio che in seguito si rivela importante. Il sistema decisionale finale vede soltanto gli output trasformati, compresi tutti gli errori introdotti a monte.

Ogni fase ha inoltre latenza, osservabilità, comportamento di scalabilità e risposta agli errori propri. Gli sviluppatori devono decidere se ritentare una trascrizione non riuscita, continuare con prove parziali o interrompere l'intera richiesta. Devono mantenere i collegamenti tra timestamp, fotogrammi video e testo derivato se la decisione finale dipende dalle tempistiche.

L'elaborazione diretta di Clef-omni riduce questi passaggi di consegna. Cloudflare afferma che il modello ospitato prende decisioni esclusivamente testuali con una latenza mediana di circa 130 millisecondi. Le richieste di immagini richiedono circa 150 millisecondi, mentre gli input audio richiedono alcune centinaia di millisecondi.

Nell'esempio dell'azienda, un video di 21 secondi contenente suono riceve un punteggio in circa 1,5 secondi. Si tratta di misurazioni di Cloudflare, non di garanzie indipendenti. La latenza reale dipenderà dalla dimensione del payload, dalla distanza di rete, dalla concorrenza e dal modo in cui un'applicazione struttura le proprie domande.

Il potenziale beneficio resta comunque chiaro. Una piattaforma di supporto potrebbe valutare in un'unica richiesta la descrizione scritta di un cliente, la fotografia di un prodotto e una registrazione vocale. Un flusso di sicurezza potrebbe combinare una cattura schermo, una narrazione parlata e dati strutturati sugli incidenti. Un'applicazione di controllo qualità potrebbe confrontare il movimento visibile con il rumore meccanico.

Il formato di output conta quanto il formato di input. I modelli Clef producono probabilità vincolate da schema, quindi un'applicazione può utilizzare la risposta senza analizzare prosa conversazionale. Un sistema di moderazione può richiedere una categoria consentita, mentre un sistema di instradamento può assegnare punteggi a più destinazioni.

Questo non elimina la logica applicativa. I team hanno ancora bisogno di soglie di confidenza, regole di escalation, registri di audit e revisione umana per i casi rilevanti. Hanno inoltre bisogno di una policy per i risultati incerti, perché una distribuzione di probabilità non è una garanzia di correttezza.

Il cambiamento è meglio inteso come consolidamento. Invece di mantenere fasi separate di percezione e classificazione, gli sviluppatori possono verificare se un unico endpoint gestisca una parte sufficiente del flusso di lavoro. Ciò può ridurre il lavoro infrastrutturale anche quando il modello stesso non è il migliore in ogni valutazione.

Lo stesso principio si applica ai flussi di lavoro con informazioni personali. Un sistema che combina riunioni, documenti e media acquisiti necessita comunque di recupero affidabile e gestione del contesto. Gli strumenti basati sul knowledge blending illustrano la più ampia domanda di connessione tra informazioni eterogenee senza costringere gli utenti a ricostruire manualmente il contesto.

La scommessa di Cloudflare è che gli sviluppatori vogliano un consolidamento comparabile all'interno dei percorsi decisionali automatizzati. Se il modello multimodale Clef preserva utili prove tra media diversi, un'architettura più semplice diventa un vantaggio competitivo. Se trascura segnali specifici del dominio, i team torneranno a componenti specializzati nonostante la maggiore complessità.

Un'inferenza Clef più veloce cambia l'equazione di deployment

L'aggiornamento di Clef riguarda in parte l'infrastruttura di serving, con il maggiore aumento mediano di velocità riportato pari a 2,0x.

Cloudflare non ha rilasciato nuovi pesi per la versione più veloce del suo modello Clef originale. L'azienda afferma che i miglioramenti derivano principalmente dal suo livello di serving ospitato. Ciò significa che gli utenti che effettuano l'hosting autonomo non ottengono automaticamente gli stessi vantaggi scaricando nuovamente il modello esistente.

Per input vicini a 800 token, Cloudflare riporta che la latenza mediana è scesa da 262 millisecondi a 152 millisecondi. La latenza riportata al 95° percentile è passata da 438 millisecondi a 351 millisecondi. Ciò rappresenta un miglioramento di 1,7x alla mediana.

A circa 3.400 token, la latenza mediana sarebbe diminuita da 616 millisecondi a 305 millisecondi. Il 95° percentile è sceso da 777 millisecondi a 531 millisecondi. Questo è il carico di lavoro per cui Cloudflare riporta l'aumento massimo di velocità mediano di 2,0x.

Per input vicini a 16.000 token, l'azienda riporta una riduzione mediana da 2.721 millisecondi a 1.635 millisecondi. Il valore al 95° percentile è sceso da 3.250 millisecondi a 1.805 millisecondi. Il miglioramento mediano a questa dimensione è di 1,7x.

Queste misurazioni sono importanti perché i modelli decisionali si trovano spesso all'interno di un'altra operazione. Una decisione di instradamento può avvenire prima che un agente scelga uno strumento. Un punteggio di sicurezza può bloccare la pubblicazione. Una classificazione di sicurezza può determinare se un evento riceve attenzione immediata.

La latenza in queste posizioni si accumula. Un'applicazione che invoca ripetutamente il modello all'interno di un ciclo di agenti può trasformare alcune centinaia di millisecondi in un ritardo percepibile. Anche la latenza di coda è importante, perché gli utenti sperimentano le richieste lente, non soltanto quelle mediane.

Cloudflare attribuisce parte del miglioramento nella velocità d'inferenza di Clef al passaggio a SGLang, un framework di serving open source per modelli linguistici e multimodali. Cloudflare ha collaborato con il progetto per aggiungere il supporto a Clef tramite un contributo SGLang upstream.

Questa collaborazione è importante oltre il servizio ospitato. Offre agli utenti self-hosted un percorso di serving supportato, sebbene i loro risultati varieranno in base all'hardware e alla configurazione. Suggerisce inoltre che le prestazioni di un modello non possono essere valutate separatamente dal software di inferenza.

Il modello ospitato più veloce rafforza l'argomentazione di piattaforma di Cloudflare. Gli sviluppatori che usano Workers AI possono combinare esecuzione del modello, codice applicativo e controlli AI Gateway presso lo stesso fornitore. Una minore latenza riduce la penalità dell'inserimento di una fase decisionale in un Worker esistente.

Tuttavia, l'ottimizzazione dell'infrastruttura non migliora il giudizio del modello. Una risposta sbagliata restituita in metà tempo resta sbagliata. Gli sviluppatori dovrebbero quindi separare due domande di valutazione: se Clef soddisfa le loro esigenze di accuratezza e calibrazione e se il livello di serving di Cloudflare soddisfa il loro obiettivo di latenza.

Questa distinzione impedisce che gli aumenti di velocità dei titoli oscurino il rischio applicativo. Un modello di moderazione veloce può elaborare più contenuti, ma può anche amplificare i falsi positivi. Un modello di instradamento veloce può accelerare gli agenti, ma stime di confidenza scadenti possono indirizzare più richieste verso gli strumenti sbagliati.

Clef-flash più economico comporta un contesto ospitato più piccolo

Cloudflare ha ridotto il costo di Clef-flash accettando un compromesso di prodotto visibile: la sua finestra di contesto ospitata è ora molto più breve.

L'azienda afferma che Clef-flash è ora meno costoso di Jev, il suo confronto più diretto tra modelli decisionali. Le cifre commerciali esatte possono cambiare, quindi gli acquirenti dovrebbero consultare la documentazione aggiornata invece di considerare un annuncio di lancio come un listino permanente.

Il dato più duraturo è la riduzione del contesto. Clef-flash ospitato pubblicizzava in precedenza una finestra di 64.000 token. Ora accetta fino a 24.000 token tramite Workers AI.

Cloudflare afferma che solo lo 0,24 percento delle richieste Clef-flash osservate superava il nuovo limite. In base a tale utilizzo, l'azienda ha scelto di abbassare il limite ospitato e ridurre il costo del servizio. Il modello Clef più grande mantiene il suo contesto ospitato di 64.000 token.

I pesi Clef-flash scaricabili rimangono invariati. Cloudflare afferma che tali pesi sono stati addestrati per supportare un contesto di 256.000 token quando vengono eseguiti in self-hosting. Questo crea una netta differenza tra la capacità teorica del modello e il limite configurato del prodotto gestito.

Per molte attività di classificazione, 24.000 token restano sufficienti. Un ticket cliente, un estratto di policy, un riepilogo di incidente o una breve traccia di agente possono rientrare comodamente. I team che elaborano documenti lunghi, tracce estese o grandi raccolte di evidenze devono pianificare tenendo conto del nuovo limite.

Possono troncare l'input, riassumerlo, recuperare solo i passaggi pertinenti, usare il servizio Clef più grande o eseguire Clef-flash in self-hosting. Ogni opzione modifica il sistema. Il troncamento rischia di eliminare evidenze decisive, mentre il riassunto può introdurre un altro modello e un'altra fonte di errore.

Il recupero può controllare la dimensione dell'input, ma rende il risultato dipendente da ciò che il livello di recupero seleziona. Il self-hosting preserva più contesto, aggiungendo però pianificazione della capacità, aggiornamenti, lavoro sulla sicurezza e ingegneria dell'inferenza.

Per questo la storia di Clef-flash più economico non è semplicemente un taglio di prezzo. Cloudflare sta ottimizzando per la stragrande maggioranza delle richieste che osserva attualmente. I clienti con input insolitamente lunghi sostengono il costo tramite migrazioni o modifiche architetturali.

La decisione chiarisce anche il posizionamento della famiglia. Clef-flash punta a decisioni frequenti e sensibili alla latenza, con un contesto relativamente circoscritto. Clef completo gestisce casi più grandi o più impegnativi. Clef-omni affronta flussi di lavoro in cui l'informazione decisiva attraversa testo, audio, immagini e video.

Ne consegue naturalmente un modello di instradamento a livelli. Un'applicazione può iniziare con Clef-flash e inoltrare casi lunghi o incerti a un altro modello. Tuttavia, questo schema richiede una calibrazione accurata. Una soglia di confidenza che sembra ragionevole su un benchmark generico può comportarsi diversamente con i dati propri di un'azienda.

Gli sviluppatori dovrebbero testare i limiti di contesto utilizzando esempi completi di produzione, non la lunghezza media degli input. La rara richiesta che supera 24.000 token può anche essere quella complessa in cui il contesto mancante causa il danno maggiore.

Cloudflare Clef-omni Deve Ancora Superare una Prova di Accuratezza

I risultati pubblicati da Cloudflare mostrano un modello capace, ma non dimostrano un vincitore universale tra attività o modalità.

Nel set di benchmark di Cloudflare, Clef-omni ottiene risultati solidi in diverse valutazioni orientate al testo. Raggiunge 98,2 nella corrispondenza esatta dei casi BFCL e 97,7 di macro-F1 su CLINC150 con esempi fuori ambito. Registra inoltre 94,8 di macro-F1 su BANKING77.

Tuttavia, il modello resta indietro rispetto a un altro membro della famiglia Clef in diversi test. Clef completo ottiene punteggi superiori su ToolRet, decisioni sugli elettrodomestici, When2Call, BRIGHT e PhishNChips. Clef-flash guida su BFCL, API-Bank e nella valutazione degli elettrodomestici.

Anche Jev mantiene dei vantaggi. La tabella di Cloudflare mostra Jev in testa su When2Call e BRIGHT. I risultati sconsigliano di trattare una maggiore ampiezza degli input come sinonimo automatico di superiorità.

Lo stesso quadro misto emerge nelle valutazioni dei flussi di lavoro. Nelle decision model evals pubblicate, Clef-omni resta indietro rispetto a Clef completo nell'elaborazione delle fatture. Resta inoltre indietro rispetto a Clef-flash nelle azioni esatte del servizio clienti e nelle azioni primarie delle tracce di agente.

Per gli incidenti di sicurezza, Clef-omni eguaglia Clef-flash e Jev nelle azioni esatte, pur collocandosi sotto Clef completo. Queste differenze sono importanti perché i flussi di lavoro aziendali combinano solitamente diverse scelte corrette. Un modello può selezionare correttamente l'azione primaria, ma mancare un'azione secondaria che influenza la conformità o il follow-up.

I benchmark forniscono inoltre evidenze limitate sulle nuove modalità. Molte delle valutazioni elencate si concentrano su classificazione del testo, recupero, uso di strumenti o flussi di lavoro strutturati. Non stabiliscono con quale affidabilità Clef-omni ragioni su parlato sincronizzato, suoni, movimento e immagini in ambienti di produzione diversi.

Cloudflare riporta la latenza multimodale, ma il materiale di lancio non fornisce un'analisi pubblica altrettanto dettagliata dell'accuratezza di audio e video. Restano interrogativi su registrazioni rumorose, più interlocutori, movimento della telecamera, video compressi, suoni sovrapposti ed evidenze in conflitto tra modalità.

Questa lacuna di verifica dovrebbe orientare l'adozione. Un team che valuta ispezioni in fabbrica dovrebbe creare esempi contenenti suoni normali e anomali in presenza di rumore di fondo realistico. Un'organizzazione di supporto dovrebbe testare accenti diversi, microfoni dei dispositivi e registrazioni clienti incomplete.

I team di sicurezza dovrebbero misurare separatamente falsi positivi e falsi negativi. Un unico punteggio di accuratezza può nascondere un sistema che funziona bene favorendo la classe più comune. Anche la calibrazione merita test, poiché l'automazione a valle dipende spesso dal fatto che i valori di confidenza corrispondano a tassi di errore reali.

Il rapido calendario di sviluppo di Cloudflare aumenta la necessità di una valutazione indipendente. L'azienda afferma che lo sforzo originario su Clef è passato da una decisione interna al lancio in meno di una settimana. La velocità di iterazione è impressionante, ma non sostituisce test esterni estesi.

I pesi aperti sono utili. I ricercatori possono riprodurre i test, ispezionare il comportamento e confrontare i risultati in self-hosting con Workers AI. Tuttavia, la disponibilità aperta non rende neutrale un benchmark. I numeri riportati dipendono comunque dalla selezione di modelli, prompt, infrastruttura e metriche effettuata da Cloudflare.

La conclusione più difendibile è più circoscritta rispetto alla formulazione del lancio. Cloudflare Clef-omni offre un'architettura credibile a chiamata singola per decisioni multimodali. Il fatto che migliori un flusso di lavoro reale dipende da evidenze di dominio che i benchmark di lancio non forniscono ancora.

Cosa Dovrebbero Osservare Gli Sviluppatori

La prossima fase sarà decisa da test multimodali indipendenti, adozione in produzione e risposte della concorrenza, più che dalle liste di funzionalità.

Il primo segnale è la copertura delle valutazioni. Gli sviluppatori dovrebbero cercare test pubblici che richiedano evidenze congiunte da audio e video, soprattutto quando tali segnali sono in disaccordo. Un benchmark utile verificherebbe se il modello rileva una macchina visibilmente operativa in modo normale mentre l'audio rivela un guasto intermittente.

Risultati di questo tipo rafforzerebbero l'affermazione di Cloudflare secondo cui una pipeline unificata preserva informazioni perse da trascrizione e didascalie. Risultati deboli suggerirebbero che l'ingestione nativa è comoda, ma non necessariamente più accurata di componenti specializzati.

Il secondo segnale è il comportamento in produzione. Cloudflare descrive già implementazioni interne di Clef per chiudere segnalazioni di spam, moderare librerie di plugin contro il phishing, identificare possibili informazioni personali e rilevare domini dannosi. Questi esempi riguardano classificazioni rilevanti, ma dimostrano soprattutto l'uso, non l'affidabilità misurata.

Gli sviluppatori hanno bisogno di tassi di errore, risultati di calibrazione, modelli di escalation e latenza di coda sotto traffico sostenuto. Dovrebbero anche osservare se i team adottano Clef-omni per decisioni realmente intermodali o se lo utilizzano soprattutto come un ulteriore valutatore di testo e immagini.

Il terzo segnale è la risposta dei concorrenti. Jev resta il confronto diretto più chiaro perché Clef supporta la sua forma di API e Cloudflare effettua ripetutamente benchmark rispetto a esso. La compatibilità riduce l'attrito del passaggio, quindi TypeSafe deve difendere la propria posizione attraverso accuratezza, economia, latenza o strumenti specializzati.

Anche i fornitori di modelli multimodali per uso generale sono rilevanti, anche se non presentano i propri sistemi come modelli decisionali. Output strutturato, decodifica vincolata ed endpoint di classificazione dedicati possono ridurre le differenze operative. I sistemi specializzati per audio e visione resteranno attraenti nei casi in cui l'accuratezza di dominio conta più della semplicità della pipeline.

Per gli sviluppatori, il prossimo passo pratico è una valutazione controllata con esempi reali. Confrontate il modello unificato con la pipeline esistente, quindi misurate l'accuratezza dell'azione completa, la calibrazione, la latenza e la gestione degli errori. Includete input lunghi rari e media di bassa qualità, poiché le medie spesso nascondono i casi che determinano il rischio operativo.

Non iniziate chiedendovi se il modello comprende quattro modalità. Chiedetevi se prende la giusta decisione circoscritta a partire da tali modalità, a un tasso di errore accettabile. Poi testate cosa accade quando è incerto, riceve evidenze contraddittorie o supera il limite di contesto ospitato.

Cloudflare ha reso l'esperimento più facile da eseguire. Non ha eliminato la necessità di eseguirlo. Il valore di Cloudflare Clef-omni dipenderà in ultima analisi dal fatto che un'architettura più semplice resista al contatto con dati di produzione disordinati, non dal fatto che un endpoint possa tecnicamente accettare ogni tipo di file.