top of page

NVIDIA Nemotron 3.5 porta gli agenti aperti dai data center ai desktop

2 ore fa
Tempo di lettura: 15 min

Il 15 ottobre NVIDIA ha rilasciato tre modelli Nemotron 3.5, che spaziano dai 120 miliardi di parametri all'hardware desktop e ai dispositivi edge. L'espansione di NVIDIA Nemotron 3.5 mette in discussione l'idea che agenti capaci e sempre attivi debbano dipendere da servizi cloud chiusi.

Nemotron 3.5 Super VL gestisce ragionamento, uso degli strumenti, codice, immagini, documenti e video all'interno di un unico modello open-weight. Nemotron 3.5 Bolt porta sistemi agentici più piccoli su hardware con 24GB o 4GB di memoria. NVIDIA afferma che questa gamma offre alle organizzazioni un modello per ogni livello di deployment, dai data center ai dispositivi locali.

Il confronto centrale è ora tra infrastrutture aperte e controllabili e API frontier chiuse. NVIDIA non sostiene che ogni modello locale eguagli il miglior servizio ospitato in ogni attività. Sostiene invece che gli agenti specializzati possano prevalere grazie alla personalizzazione, a minori esigenze di inferenza, al controllo dei dati e a un'integrazione più stretta con i sistemi aziendali.

Questa tesi dispone di prove a sostegno credibili, ma presenta anche dei limiti. Un test analitico indipendente ha rilevato una velocità impressionante e analisi di routine competenti. Lo stesso test ha evidenziato fallimenti legati a schemi nascosti, dati mancanti e trappole statistiche.

NVIDIA Nemotron 3.5 copre tre livelli di deployment

NVIDIA ha trasformato Nemotron da una raccolta di modelli in una scala di deployment per agenti sempre attivi.

Il rilascio di Nemotron introduce Super VL insieme a due varianti Bolt. Super VL e Bolt 74B-A9B sono diventati immediatamente disponibili. NVIDIA ha programmato Bolt E4B per il 23 ottobre.

Super VL è un modello mixture-of-experts da 120 miliardi di parametri. Un'architettura mixture-of-experts attiva solo parti selezionate di una rete più ampia per ciascun token. Super VL attiva 12 miliardi di parametri per token, riducendo il calcolo pur mantenendo l'accesso a una capacità di modello più estesa.

Il modello combina generazione di testo e comprensione visiva, ragionamento, rispetto delle istruzioni, programmazione e uso degli strumenti. Può analizzare pagine web, PDF, tabelle, grafici, immagini e video senza trasferire ogni input a un sistema visivo separato.

Questa combinazione è importante per gli agenti a esecuzione prolungata. Un agente per l'elaborazione dei sinistri potrebbe leggere un documento scansionato, confrontarne i campi con le regole della polizza e richiamare uno strumento interno. Passare tra modelli separati può aumentare la latenza e complicare la gestione del contesto.

Super VL mantiene invece questi passaggi all'interno di un unico modello multimodale. NVIDIA lo posiziona per flussi di lavoro quali l'analisi di documenti finanziari, l'ingegneria del software, il triage della cybersicurezza, la ricerca sul web e la revisione video.

Il modello è stato addestrato su circa 26 trilioni di token tra preaddestramento e preaddestramento continuato. NVIDIA ha poi utilizzato circa 3,8 milioni di campioni di post-addestramento e reinforcement learning in decine di ambienti.

L'azienda rilascia anche checkpoint, dataset, ricette di addestramento, materiali di valutazione e ambienti per il reinforcement learning. Questo pacchetto offre agli sviluppatori più di semplici pesi del modello scaricabili. Fornisce gli elementi necessari per modificare il comportamento del modello all'interno di un flusso di lavoro specializzato.

Bolt 74B-A9B punta a un diverso equilibrio operativo. Contiene 74 miliardi di parametri totali, attivandone nove miliardi per token. La quantizzazione nativa a 2 bit lo comprime per adattarlo a 24GB di memoria.

La quantizzazione memorizza i valori del modello con una precisione numerica inferiore, riducendo i requisiti di memoria e calcolo. Il compromesso è che una compressione aggressiva può danneggiare l'accuratezza, a meno che l'addestramento non la compensi.

NVIDIA ha progettato Bolt 74B-A9B per funzionare accanto ad altre applicazioni sui sistemi RTX supportati. L'azienda elenca la ricerca sul web, la scrittura e il debug del codice tra le attività previste per gli agenti locali.

Bolt E4B comprime ulteriormente il concetto in un footprint di 4GB. È destinato ad agenti conversazionali e fisici in esecuzione su GeForce RTX, Jetson, DGX Spark o sistemi correlati. Gli utilizzi suggeriti includono assistenti vocali, personaggi interattivi e interfacce integrate.

La gamma risultante non chiede a un singolo checkpoint di servire ogni carico di lavoro. Super VL punta a lavori multimodali complessi, Bolt 74B-A9B agli agenti locali quotidiani e Bolt E4B ad ambienti edge con risorse limitate.

Questa segmentazione crea la tensione centrale dell'articolo. NVIDIA scommette sul fatto che l'adeguatezza al deployment possa contare quanto un singolo punteggio in classifica. I fornitori di API chiuse devono rispondere con un'economia più solida, una personalizzazione più semplice o vantaggi di affidabilità più chiari.

Perché NVIDIA Nemotron 3.5 punta all'efficienza

Il rilascio riguarda meno il ridimensionamento di un chatbot e più l'aumento del lavoro completato per unità di infrastruttura.

Le prestazioni degli agenti non possono essere valutate soltanto dalla velocità dei token. Un agente può generare testo rapidamente sprecando chiamate, leggendo contesto non necessario o scegliendo gli strumenti sbagliati. Un'efficienza utile comprende accuratezza, tempo di risposta, uso della memoria, chiamate agli strumenti e numero di passaggi necessari per completare un'attività.

NVIDIA afferma che Super VL offre fino a cinque volte il throughput di modelli aperti comparabili su una singola GPU. La sua analisi tecnica riporta oltre 600 token in output al secondo tramite un endpoint ospitato nelle condizioni valutate.

Queste cifre dipendono dall'hardware scelto da NVIDIA, dallo stack di serving, dai carichi di lavoro e dal gruppo di confronto. Non dovrebbero essere considerate garanzie universali di prestazioni. Mostrano però come l'azienda voglia che gli acquirenti valutino il modello.

Super VL combina diversi meccanismi di efficienza. Il suo design mixture-of-experts attiva 12 miliardi dei 120 miliardi di parametri per ogni token. Ciò riduce il calcolo attivo senza limitare la capacità di conoscenza totale a una rete da 12 miliardi di parametri.

La previsione multi-token consente a un generatore interno di proporre diversi token per la verifica durante un singolo forward pass. L'accettazione di più token proposti riduce il calcolo ripetuto durante la generazione.

NVIDIA ha inoltre sviluppato LiLiCorr, un metodo di speculative decoding che valuta le relazioni tra token proposti. Lo speculative decoding utilizza un processo più piccolo o leggero per abbozzare testo prima che il modello principale lo verifichi.

L'azienda afferma che LiLiCorr può rendere la generazione di token fino a 2,3 volte più veloce su DGX Spark rispetto alla decodifica non speculativa. Anche in questo caso, la misurazione descrive una configurazione NVIDIA definita anziché ogni installazione.

Super VL utilizza anche NVFP4, un formato numerico a 4 bit progettato per l'hardware NVIDIA Blackwell. La distillazione consapevole della quantizzazione addestra il modello compresso a imitare la sua controparte a maggiore precisione. NVIDIA riporta un recupero mediano dell'accuratezza del 99,62% su 36 benchmark valutati.

La model card pubblicata mostra che la compressione non influenza ogni benchmark allo stesso modo. Alcuni risultati NVFP4 superano leggermente il checkpoint BF16, mentre altri diminuiscono. Questa variazione rende essenziali test specifici per il carico di lavoro.

L'efficienza dipende anche dal software di serving. NVIDIA afferma che la sua configurazione Dynamo può supportare fino a otto volte più utenti con una latenza time-to-first-token inferiore dell'85%. La misurazione presuppone un obiettivo di interattività di 50 token al secondo per utente.

Queste ottimizzazioni collegano direttamente il modello al più ampio business hardware e software di NVIDIA. I pesi aperti attraggono gli sviluppatori, mentre il percorso validato più rapido punta verso GPU NVIDIA, microservizi NIM, strumenti NeMo e serving Dynamo.

Questo allineamento non rende il modello meno aperto. Gli sviluppatori possono scaricare e adattare i suoi pesi. Tuttavia, il rilascio mostra come un modello aperto possa comunque rafforzare una piattaforma verticalmente integrata.

Per gli acquirenti aziendali, questa relazione ha due lati. Una combinazione di hardware e software pretestata può abbreviare il lavoro di deployment. Può anche approfondire la dipendenza dallo stack di ottimizzazione di un singolo fornitore.

Bolt rende questo calcolo più netto. Inserire un modello di agente capace in 24GB consente l'operatività locale su una base hardware molto più ampia. Tuttavia, la quantizzazione nativa a 2 bit solleva anche domande più difficili sull'accuratezza nella programmazione, nella navigazione, nella pianificazione e nelle conversazioni lunghe.

NVIDIA cita Bolt come il principale modello aperto nella sua classe PinchBench e il secondo tra i modelli aperti su BrowseComp. Questi risultati forniscono punti di partenza utili, non un sostituto dei test di deployment con strumenti e dati reali.

La misura pratica è il lavoro completato correttamente. Un modello più lento che rileva un record mancante può essere più prezioso di un modello veloce che elabora con sicurezza dati errati.

Gli agenti aperti fanno pressione sulle API cloud chiuse

La sfida più forte di NVIDIA non è l'intelligenza grezza; è offrire alle organizzazioni il controllo su dove un agente viene eseguito e su come cambia.

I servizi frontier chiusi offrono solide prestazioni generali e un accesso API semplice. I fornitori gestiscono capacità, aggiornamenti dei modelli, patch di sicurezza e gran parte dell'infrastruttura di serving. Questa comodità rimane interessante per i team che non vogliono gestire modelli.

Tuttavia, gli agenti sempre attivi generano preoccupazioni che il normale uso in chat non comporta. Accedono ripetutamente a documenti interni, eseguono strumenti, conservano il contesto e prendono decisioni lungo flussi di lavoro estesi. Ogni ulteriore confine di sistema crea un altro punto in cui autorizzazioni, latenza o contesto possono fallire.

I modelli open-weight consentono alle organizzazioni di mantenere i carichi di lavoro sensibili all'interno di infrastrutture approvate. Possono inoltre eseguire post-addestramento su un modello per adattarlo a terminologia, strumenti, politiche e procedure interne.

NVIDIA presenta i servizi finanziari, le assicurazioni, la sanità, la sicurezza e l'ingegneria come primi obiettivi. Questi settori combinano dati sensibili con regole specializzate. Un modello generale può comprendere il linguaggio ma gestire comunque in modo errato il processo effettivo dell'organizzazione.

Scale AI ha eseguito il post-addestramento di Super VL per l'elaborazione del credito fornitori presso Skydance. NVIDIA afferma che si prevede che quel deployment riduca il costo di inferenza di 40 volte e la latenza di cinque volte.

Ramp sta adattando il modello per convertire immagini di ricevute in record di transazioni strutturati. Secondo NVIDIA, Ramp prevede un throughput fino al 50% più elevato e una latenza dieci volte inferiore per quel flusso di lavoro.

AI21 e Alice hanno utilizzato il post-addestramento per l'intelligence sulle minacce e l'analisi delle vulnerabilità. NVIDIA riporta un miglioramento dell'accuratezza del 41% in questo contesto specializzato.

Si tratta di affermazioni dell'azienda e dei partner. Non tutte sono state riprodotte in modo indipendente su sistemi di produzione equivalenti. Il loro valore sta nel mostrare ciò a cui la specializzazione può mirare, non nello stabilire guadagni universali.

L'elenco più ampio di partner include Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce e Synopsys. I loro casi d'uso spaziano dalla ricerca aziendale alla sicurezza difensiva, dalla simulazione ingegneristica ai flussi di lavoro governativi e alla verifica dei semiconduttori.

È qui che il confronto con le API chiuse diventa concreto. Un modello frontier ospitato può rimanere complessivamente più capace, pur perdendo su un flusso di lavoro definito in modo ristretto. Post-addestramento, progettazione degli strumenti, accesso ai dati e velocità di serving possono superare la leadership nei benchmark generali.

I modelli aperti offrono anche maggiore controllo sul versioning. Un'azienda può testare un checkpoint, congelarlo e decidere quando adottare un aggiornamento. I servizi chiusi possono modificare il comportamento tramite revisioni del modello gestite dal fornitore.

Il controllo non elimina la responsabilità operativa. I team devono valutare la sicurezza, monitorare gli output, applicare patch ai componenti di serving, proteggere gli endpoint del modello e mantenere i dati di addestramento. I pesi scaricabili non producono automaticamente un agente aziendale affidabile.

NVIDIA cerca di colmare questo divario con NIM, il suo microservizio di inferenza confezionato. NIM offre configurazioni convalidate e supporto enterprise, con aggiornamenti di sicurezza e prestazioni programmati ogni due settimane.

Questo crea un'offerta ibrida. I pesi, i dataset e le ricette sono aperti, mentre NVIDIA vende un percorso ottimizzato per gestirli. Le aziende possono scegliere maggiore indipendenza oppure un deployment NVIDIA supportato.

Questa scelta mette pressione sui fornitori chiusi affinché spieghino cosa ricevono i clienti in cambio di un minore controllo. Le risposte possono includere maggiore accuratezza, operazioni più semplici, test di sicurezza più ampi e accesso a modelli più grandi.

NVIDIA deve dimostrare che la personalizzazione non si trasforma in un costoso progetto di ingegneria. Un modello specializzato può superare un servizio generalista solo se i team riescono a produrre dati di addestramento, valutazioni e integrazioni affidabili con gli strumenti.

Per gli agenti ad alta intensità di conoscenza, tali valutazioni dovrebbero riflettere l'ambiente informativo che i dipendenti utilizzano realmente. I team che creano una base di conoscenza ricercabile necessitano di test che coinvolgano documenti reali, autorizzazioni, revisioni e prove contrastanti.

Il risultato non è una semplice vittoria dei modelli aperti o chiusi. NVIDIA ha reso il percorso aperto più credibile collegando efficienza del modello, strumenti di deployment e copertura hardware. I servizi chiusi mantengono comunque un vantaggio quando gli acquirenti danno priorità alla praticità e a capacità ampie.

I test indipendenti rilevano velocità e punti ciechi

Super VL appare veloce nel lavoro analitico realistico, ma talvolta la velocità deriva dall'esame di una quantità minore di prove.

Le affermazioni di NVIDIA necessitano di una valutazione indipendente, perché i benchmark dei fornitori spesso riflettono hardware e definizioni dei compiti favorevoli. Un test di terze parti di Plotly offre sia una conferma sia un utile avvertimento.

Plotly ha valutato Super VL in un esame privato di analisi dei dati utilizzando un dataset sintetico sull'energia eolica. Il modello ha superato 30 domande su 43, ottenendo un punteggio complessivo del 70%. Ha risposto a una domanda tipica in 12 secondi, il risultato più rapido tra 28 modelli testati.

Il benchmark di analisi copriva analisi di routine, richieste impossibili, domande ambigue, trappole statistiche, problemi di qualità dei dati e schemi nascosti. Mantenere privato l'esame riduce la probabilità che le risposte siano comparse nei dati di addestramento.

Super VL ha risposto correttamente a 19 delle 20 domande convenzionali di analisi. Ha gestito operazioni SQL in più passaggi, join basati sul tempo e intervalli uniti con solide prestazioni al primo tentativo.

Ha inoltre rifiutato tutte e cinque le richieste impossibili. Questo comportamento conta perché gli agenti enterprise utili devono riconoscere quando i dati disponibili non possono supportare una risposta.

Il modello ha risolto quattro delle cinque domande ambigue. In un esempio, ha definito i mesi conteggiati come inverno prima di confrontare le prestazioni stagionali delle turbine. Questa risposta ha mostrato una gestione sensata di una richiesta insufficientemente specificata.

I fallimenti sono stati più rivelatori. Super VL non ha rilevato nessuno dei tre problemi di qualità dei dati inseriti intenzionalmente. Non ha inoltre trovato nessuno dei cinque schemi nascosti che richiedevano un'indagine esplorativa.

In un compito, il modello non ha notato che un dataset non includeva l'ultimo giorno di un mese. Ha anche mancato una settimana di rilevazioni assenti mentre riepilogava un trimestre di temperature delle apparecchiature.

Il modello ha superato soltanto due delle cinque domande contenenti trappole statistiche. Talvolta ha accettato una relazione complessiva senza verificare se un'altra variabile spiegasse entrambi gli effetti osservati.

Queste mancanze mettono in discussione l'idea che un completamento più rapido del compito indichi sempre un agente migliore. Plotly ha rilevato che Super VL effettuava circa quattro chiamate al modello e leggeva approssimativamente 150.000 token per domanda.

Nemotron 3 Ultra ha utilizzato più chiamate e ispezionato un contesto sostanzialmente più ampio. L'approccio più leggero di Super VL ha migliorato i tempi di risposta, ma ha anche ridotto le opportunità di scoprire problemi nascosti.

Questa è la principale incertezza che circonda la strategia NVIDIA Nemotron 3.5. L'efficienza può migliorare l'economia degli agenti continui. Può anche indurre i sistemi a smettere di cercare prima di disporre di prove sufficienti.

Il problema è particolarmente serio quando l'utente non sa cosa chiedere. Un modello può rispondere correttamente a una query specifica senza riuscire a identificare il record mancante o lo schema sospetto che cambia la decisione.

Le valutazioni di NVIDIA offrono un quadro più favorevole. L'azienda riporta per Super VL punteggi del 63,44% su Hermes Bench e dell'87,05% nelle valutazioni LangChain. Nemotron 3 Ultra ha ottenuto rispettivamente il 56,33% e l'84,3%, nelle configurazioni riportate.

NVIDIA riporta inoltre l'80,8% su CharXiv, un benchmark di ragionamento sui grafici. L'uso dell'interpretazione del codice Python ha portato quel risultato all'84%. Secondo l'azienda, il modello si colloca vicino alla vetta della classifica OCRBench v2 per modelli aperti.

Quei risultati e le conclusioni di Plotly possono entrambi essere veri. I benchmark isolano capacità diverse, harness per agenti, politiche sugli strumenti e comportamenti di arresto. Un agente può eccellere nell'interpretazione dei grafici pur senza verificare se un dataset è completo.

I team di deployment dovrebbero quindi testare l'intero flusso di lavoro, non solo il checkpoint. Necessitano di valutazioni per il recupero dei dati, la selezione degli strumenti, il recupero dagli errori, la copertura delle fonti e la verifica della risposta finale.

Gli agenti ad alto rischio possono richiedere passaggi di ispezione espliciti. Un flusso di lavoro finanziario può imporre al sistema di verificare conteggi dei record, intervalli mancanti, righe duplicate e valori in conflitto prima di produrre una conclusione.

La stessa regola vale per gli agenti di ricerca. Una risposta rapida è meno preziosa se l'agente salta i documenti primari o non fa emergere prove contraddittorie. La valutazione deve premiare un'indagine completa, non soltanto un completamento fluido.

I materiali aperti di addestramento e valutazione di Super VL rendono tali test più facili da ispezionare. L'apertura non garantisce l'affidabilità, ma offre ai team tecnici maggiore margine per studiare e modificare il comportamento in caso di errore.

Nemotron 3.5 Bolt porta la sfida sull'hardware locale

Bolt verifica se un'autonomia utile degli agenti può coesistere con le applicazioni quotidiane invece di vivere esclusivamente in un cluster cloud.

Il modello Bolt da 24GB è importante perché questo livello di memoria è accessibile anche al di fuori dei data center. NVIDIA afferma che funziona su PC GeForce RTX, DGX Spark, DGX Station, workstation RTX PRO e sui prossimi laptop RTX Spark.

L'esecuzione locale cambia il rapporto tra un agente e i suoi dati. Documenti, codice, immagini e stato delle applicazioni possono rimanere sul dispositivo anziché trasferirsi a un endpoint di modello ospitato.

Questa configurazione può ridurre la latenza di rete e supportare l'uso offline. Può anche semplificare alcuni requisiti di residenza dei dati, anche se il funzionamento locale non elimina gli obblighi di sicurezza o conformità.

Un agente di coding locale potrebbe ispezionare un repository privato, eseguire strumenti di sviluppo e suggerire modifiche senza trasmettere il repository a un fornitore esterno di modelli. Un agente di ricerca potrebbe organizzare documenti archiviati sulla workstation.

Bolt E4B estende l'idea alle interfacce integrate. Il suo obiettivo di 4GB supporta dispositivi nei quali un modello da 24GB sarebbe poco pratico. NVIDIA descrive assistenti vocali, personaggi interattivi e agenti fisici come carichi di lavoro previsti.

L'ingombro minore comporta un prevedibile limite di capacità. Non si può presumere che un modello conversazionale da 4GB eguagli un sistema multimodale da 120 miliardi di parametri nella pianificazione complessa.

La linea di NVIDIA tratta questa differenza come una decisione di instradamento. Il modello edge gestisce conversazioni immediate o azioni semplici. Super VL gestisce ragionamenti più pesanti, analisi visiva e lavoro in più passaggi.

Questa architettura può mantenere locali le interazioni comuni, trasferendo il lavoro difficile a un'infrastruttura più ampia. Introduce anche sfide di coordinamento che riguardano autorizzazioni, trasferimento del contesto e comportamento coerente tra modelli.

Gli sviluppatori devono decidere quale modello gestisce ogni richiesta. Un cattivo instradamento può inviare lavoro privato al cloud, sovraccaricare il modello più grande o assegnare un compito complesso a un modello edge insufficiente.

Anche la compatibilità hardware merita attenzione. Super VL funziona sui sistemi NVIDIA per data center e locali, ma i suoi percorsi di ottimizzazione più aggressivi favoriscono le architetture NVIDIA recenti. Le prestazioni possono differire su GPU più vecchie o dispositivi non NVIDIA.

Il supporto di llama.cpp, Ollama, LM Studio, Unsloth e vLLM amplia l'accesso a Bolt 74B-A9B. Queste integrazioni rendono più semplice la sperimentazione locale e riducono la dipendenza da una singola interfaccia di serving.

Tuttavia, l'esperienza operativa conterà più degli elenchi di compatibilità. Gli sviluppatori valuteranno il tempo di avvio, la stabilità della memoria, la velocità di generazione sostenuta, la chiamata degli strumenti, la gestione del contesto e l'accuratezza dopo la compressione.

La strategia desktop di NVIDIA favorisce anche la sua roadmap hardware. Un agente convincente da 24GB offre ai clienti un altro motivo per acquistare sistemi RTX ricchi di memoria. L'AI locale diventa una categoria applicativa che può trainare la domanda di hardware.

Questo incentivo non invalida il software. Spiega però perché NVIDIA sta investendo contemporaneamente in pesi dei modelli, librerie di inferenza, strumenti per sviluppatori e dispositivi.

Il test più importante è se gli agenti locali rimangono utili dopo che le applicazioni reali hanno consumato parte della memoria disponibile. Bolt dovrebbe operare accanto ad altri software, non occupare una macchina di benchmark altrimenti vuota.

Gli sviluppatori dovrebbero inoltre esaminare le temperature, il consumo energetico e la stabilità nelle sessioni lunghe. Un modello sempre attivo ha requisiti diversi da una breve dimostrazione. Un sistema che riduce le prestazioni dopo un uso prolungato può annullare il suo iniziale vantaggio di velocità.

Le affermazioni sulla privacy richiedono altrettanta attenzione. Mantenere l'inferenza locale riduce il trasferimento di dati, ma un agente può comunque esporre informazioni tramite log, plugin, strumenti di rete o autorizzazioni mal definite.

Il funzionamento locale trasferisce la responsabilità al proprietario del dispositivo. I team devono proteggere file dei modelli, credenziali degli strumenti, contesto memorizzato e artefatti generati. Hanno inoltre bisogno di un processo di aggiornamento affidabile.

Se Bolt gestisce bene queste condizioni, amplia il mercato degli agenti privati. Se si comporta bene solo in benchmark ristretti, gli utenti locali continueranno a fare affidamento sui servizi cloud per il lavoro più serio.

Tre segnali decideranno se la scommessa di NVIDIA funzionerà

La prossima fase dipende dall'affidabilità indipendente, dalle prestazioni locali sostenute e da un'adozione visibile in produzione.

Il primo segnale è rappresentato da test più ampi di Super VL e Bolt su benchmark indipendenti per agenti. I risultati dovrebbero coprire il completamento dell'intero compito, non soltanto la generazione di token o la risposta a domande isolate.

Le prove più forti deriverebbero da valutazioni ripetute con diversi harness per agenti, configurazioni hardware e politiche sugli strumenti. Risultati coerenti rafforzerebbero l'argomento di NVIDIA sull'efficienza. Ampie oscillazioni delle prestazioni mostrerebbero che la ricetta di serving contribuisce quanto il modello.

I test dovrebbero inoltre misurare la profondità dell'indagine. Le conclusioni di Plotly mostrano perché il rilevamento dei dati mancanti e il comportamento esplorativo devono essere valutati insieme a velocità e accuratezza. Un agente che completa più compiti rapidamente può comunque creare rischi se trascura le prove.

Il secondo segnale è la prestazione di Bolt su sistemi reali da 24GB dopo il rilascio di ottobre. Gli sviluppatori dovrebbero monitorare l'uso della memoria, la velocità sostenuta, la coesistenza con le applicazioni e la qualità nella configurazione a 2 bit rilasciata.

Solidi risultati locali convaliderebbero l'affermazione di NVIDIA secondo cui il lavoro agentico quotidiano non richiede più un cluster remoto. Un uso debole degli strumenti o sessioni lunghe instabili restringerebbero il ruolo di Bolt all'assistenza leggera.

Bolt E4B offrirà un altro utile test dei limiti. Il suo valore dipende dal fatto che un modello da 4GB riesca a mantenere un comportamento coerente su più turni, chiamando strumenti e rispondendo rapidamente sui dispositivi edge.

Il terzo segnale è costituito dalle prove di produzione fornite da partner nominati. NVIDIA ha identificato molte organizzazioni che testano o personalizzano Super VL. Il passo successivo è un deployment misurabile oltre gli esperimenti annunciati.

Prove concrete includerebbero volumi di lavoro completati, miglioramenti verificati nell'accuratezza, latenza operativa, tassi di escalation e requisiti di revisione umana. I casi di studio dovrebbero confrontare il modello specializzato con il sistema che sostituisce in condizioni simili.

L'adozione da parte dei partner rivelerebbe anche quanto sia difficile il post-training nella pratica. NVIDIA fornisce modelli, dataset, strumenti NeMo e ricette di valutazione. Le aziende devono comunque fornire dati di dominio, policy, integrazioni e governance.

I fornitori di modelli chiusi non resteranno fermi. Possono ridurre la latenza, aggiungere opzioni di deployment privato, migliorare il routing dei modelli e offrire controlli più robusti sui dati aziendali.

La loro risposta determinerà se gli agenti aperti diventeranno una categoria di acquisto distinta o rimarranno un'opzione per team tecnicamente avanzati. NVIDIA ha ridotto il divario in termini di praticità, ma non lo ha eliminato.

Il rilascio di NVIDIA Nemotron 3.5 delinea uno spettro credibile che va dagli agenti multimodali per data center agli assistenti locali compatti. Le prove più solide riguardano efficienza e distribuibilità, non una superiorità indiscussa.

Sviluppatori e acquirenti dovrebbero ora testare un flusso di lavoro rappresentativo dall'inizio alla fine. Misurate se l'agente trova prove mancanti, usa gli strumenti giusti e produce un risultato corretto sotto carico sostenuto. Questa valutazione risponderà alla domanda a cui le classifiche dei modelli non possono rispondere: un agente aperto e specializzato completa il vostro lavoro in modo più affidabile di una comoda API chiusa?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page