DeepSeek V4.1 Flash gira su 12 V100, afferma il costruttore
DeepSeek V4.1 Flash ora esegue ogni esperto instradato su dodici schede Nvidia V100 usate, secondo Nick Mermiges, avvocato e costruttore di server. Il suo resoconto del 20 novembre 2026 riferisce una generazione di codice fino a 184 token al secondo. L'affermazione mette hardware server datato a confronto con risultati pubblicati per DGX Spark, sebbene i confronti utilizzino software e rappresentazioni del modello differenti.
L'aggiornamento amplia la sua precedente macchina a otto schede. Il cambiamento centrale riguarda la capacità di memoria: ogni esperto può restare sulle schede grafiche senza ulteriore compressione degli esperti o trasferimenti dalla memoria di sistema. Per chi interroga ripetutamente documenti lunghi, ciò modifica l'equilibrio tra attesa, complessità dell'hardware e mantenimento del lavoro all'interno di un ufficio.
Si tratta ancora di misurazioni pubblicate dal costruttore, senza una replica indipendente documentata nelle fonti esaminate. Descrivono inoltre una gara più ristretta rispetto alle prestazioni dell'AI in generale. Una macchina che risponde rapidamente a una persona non serve automaticamente un team in modo efficiente, non produce necessariamente risposte migliori e non garantisce costi operativi inferiori.
DeepSeek V4.1 Flash supera la soglia di memoria
L'aggiornamento determinante consiste nell'inserire ogni esperto instradato nella memoria grafica con la rappresentazione selezionata a quattro bit.
Mermiges descrive dodici schede V100-SXM2 distribuite su tre schede madri, con quattro schede per ciascuna. Ogni scheda dispone di 32 GB di memoria. La sua precedente configurazione a otto schede non aveva capacità utilizzabile sufficiente per la raccolta completa di esperti nel formato Nvidia selezionato.
Un esperto è un gruppo di parametri specializzato che il modello seleziona durante l'elaborazione. Mantenere disponibile ogni esperto non significa attivarli tutti per ogni token. Significa che il server evita lo specifico compromesso di archiviare alcuni esperti altrove o comprimerli ulteriormente.
Secondo l'architettura a dodici schede del costruttore, tutti i 15.360 esperti instradati occupano la memoria delle schede. La raccolta di esperti richiede 278,9 GiB nella rappresentazione selezionata. I GiB misurano la memoria con unità binarie, quindi i lettori dovrebbero evitare confronti diretti con valori di capacità etichettati in modo diverso.
Questa distinzione rende la storia più specifica del semplice caso di un appassionato che aggiunge schede grafiche. La scheda aggiuntiva supera un limite di capacità. L'ottimizzazione software da sola non può creare lo spazio di archiviazione mancante, anche quando migliora l'efficienza nell'uso della memoria esistente.
L'affermazione richiede inoltre un confine preciso attorno alla parola “tutti”. Mermiges riferisce di ogni esperto instradato in NVFP4, la rappresentazione compatta in virgola mobile a quattro bit di Nvidia. La sua documentazione identifica rappresentazioni differenti per altri componenti del modello. Descrivere l'intero modello come archiviato o calcolato uniformemente con precisione a quattro bit sovrastimerebbe quel resoconto.
Per i lettori che valutano l'AI privata, la domanda importante è cosa elimina il cambiamento di memoria dal percorso operativo. Se una richiesta necessita di un esperto archiviato fuori dalla memoria della scheda, lo spostamento di quei dati introduce un'altra dipendenza. Un'ulteriore compressione introduce un compromesso diverso, che richiede una propria valutazione della qualità.
Nessuno dei due compromessi rende automaticamente un sistema inadatto. La loro rilevanza dipende dall'applicazione, dalla latenza accettabile e dalle evidenze sulla qualità dell'output. Mermiges ha scelto hardware aggiuntivo perché voleva che la rappresentazione selezionata degli esperti risiedesse sulle schede.
Questa scelta chiarisce il confronto principale in tutto questo articolo: un sistema personalizzato ottimizzato per il carico di lavoro di un individuo rispetto a sistemi compatti che soddisfano esigenze più ampie. Non dimostra che l'hardware aggiuntivo sia sempre la risposta migliore.
L'aggiornamento dovrebbe quindi essere valutato come una configurazione distinta. I risultati della precedente macchina a otto schede non descrivono automaticamente questa versione a dodici schede. Al contrario, non tutti i miglioramenti possono essere attribuiti alla capacità, poiché sono cambiati anche software e impostazioni operative.
Per un valutatore indipendente, questa è la prima linea di demarcazione utile. Verificare cosa risiede in memoria prima di interpretare i dati sulla velocità. Altrimenti, due implementazioni del modello apparentemente simili possono rappresentare compromessi significativamente diversi.
Il vantaggio pratico è meno attesa sui documenti
Per il lavoro sui documenti, il ritardo prima dell'avvio di una risposta può contare più del titolo sulla generazione più rapida.
Mermiges ha pubblicato le sue misurazioni principali come test del 19 novembre, con il ragionamento disabilitato e 1.024 token di output richiesti. I token sono le unità di testo che un modello elabora e genera. I valori riportati sono la media di due esecuzioni, il che li rende una serie iniziale di misurazioni anziché un ampio studio statistico.
Le sue misurazioni della latenza sui documenti riferiscono che una richiesta di codice da 128K inizia la risposta dopo circa 28,1 secondi. Con quel documento già nella cache, l'attesa riportata scende a circa 0,4 secondi. Una cache conserva lo stato di elaborazione riutilizzabile di materiale che il sistema ha già letto.
Questi dati descrivono situazioni differenti. L'attesa più breve non significa che la macchina legga quasi istantaneamente un nuovo documento. Significa che una richiesta successiva può riutilizzare il lavoro, purché la cache resti disponibile e la richiesta corrisponda a contenuto riutilizzabile.
Questa differenza conta nel flusso di lavoro descritto da Mermiges: l'analisi privata preliminare dei propri fascicoli. Un professionista torna spesso sullo stesso materiale con domande successive. Pagare ripetutamente l'intero ritardo di elaborazione del documento interromperebbe tale interazione, anche se la risposta finale apparisse rapidamente.
Si consideri una sequenza ipotetica che coinvolge una lunga raccolta di contratti. La prima richiesta chiede gli obblighi, quella successiva le eccezioni e un'altra i passaggi a supporto. Se ogni richiesta riutilizza lo stato del documento, l'utente sperimenta uno strumento diverso da uno che ricomincia ripetutamente da zero.
Questa è un'interpretazione del flusso di lavoro, non un risultato misurato sulla produttività legale. Le tempistiche pubblicate non stabiliscono quanto tempo professionale il sistema faccia risparmiare. Leggere le risposte, verificare i riferimenti e correggere gli errori restano parte del lavoro.
La distinzione tra elaborazione iniziale e generazione della risposta evita anche un comune fraintendimento dei benchmark. Il prefill è l'elaborazione iniziale di un prompt in input. La decodifica è la successiva generazione dei token di output. Un sistema può eccellere in una delle due fasi senza primeggiare in entrambe.
La copertura dell'aggiornamento del server di Tom’s Hardware identifica la riduzione dell'attesa per il primo token come un miglioramento centrale rispetto alla build precedente. Riferisce che una richiesta di codice da 256K passa da 108,4 secondi a circa 58 secondi. Il confronto accompagna cambiamenti nelle impostazioni di alimentazione e nel software, limitando spiegazioni semplicistiche.
Per gli sviluppatori che creano applicazioni documentali, la lezione è esaminare l'intera interazione. Una breve dimostrazione può nascondere il caricamento iniziale del documento. Un test di avvio a freddo può non cogliere i vantaggi del lavoro ripetuto su materiale invariato.
La pressione sui sistemi concorrenti è quindi specifica. Gli acquirenti necessitano di misurazioni della latenza che assomiglino a sessioni reali, includendo sia documenti nuovi sia domande di follow-up. Un singolo valore massimo di generazione lascia inesplorata una parte eccessiva dell'esperienza utente.
Le vecchie V100 riducono il traffico di memoria, non i calcoli a quattro bit
La velocità riportata dalla build dipende dal software e dal movimento dei dati, nonostante le schede non dispongano di hardware nativo per il calcolo a quattro bit.
La V100 non acquisisce nuove capacità aritmetiche perché un modello usa l'archiviazione NVFP4. Mermiges spiega che i valori degli esperti archiviati vengono decompressi in FP16, un formato in virgola mobile a sedici bit, prima del calcolo pertinente. La rappresentazione compatta riduce i byte letti; non crea esecuzione FP4 nativa.
La documentazione del modello NVFP4 di Nvidia fornisce il riferimento per il pacchetto di esperti selezionato. Ciò stabilisce un artefatto del modello identificabile che i ricercatori possono esaminare. Non convalida in modo indipendente l'implementazione, le prestazioni o la qualità applicativa di questo server.
Questo meccanismo aiuta a spiegare perché un acceleratore meno recente possa rimanere utile per un formato di modello più nuovo. Archiviazione e aritmetica sono decisioni separate. Un processore può trarre vantaggio dalla lettura di meno dati anche quando il software deve convertire quei dati prima del calcolo.
Esiste un limite corrispondente a questa inferenza. La riduzione del traffico di memoria non elimina il sovraccarico di conversione, il sovraccarico di comunicazione o le differenze nell'efficienza energetica. La stessa tecnica può creare un'implementazione utile senza rendere l'architettura più vecchia equivalente a hardware più recente.
La disposizione fisica aggiunge un ulteriore livello. Mermiges divide il modello in tre stadi di pipeline, il che significa che gruppi successivi di livelli vengono eseguiti su gruppi di schede separati. All'interno di ciascun gruppo, il parallelismo tensoriale divide i calcoli tra quattro schede. Entrambe le tecniche distribuiscono il lavoro, ma introducono requisiti di comunicazione e pianificazione.
NVLink, la connessione Nvidia tra acceleratori compatibili, collega le schede all'interno di ciascuna scheda madre. I trasferimenti tra schede madri seguono un percorso diverso attraverso l'infrastruttura di espansione dell'host. Ciò rende la topologia parte del risultato, anziché un dettaglio incidentale sotto il conteggio delle schede.
Per chi valuta la riproducibilità, “dodici V100” è quindi una specifica incompleta. La disposizione, le modifiche al motore, l'allocazione della memoria e le impostazioni operative appartengono tutte alla configurazione. Un'altra macchina con lo stesso numero di schede non deve necessariamente produrre le stesse tempistiche.
Lo sforzo software modifica anche il significato dell'accessibilità economica. Un componente usato può avere un costo di acquisizione interessante pur richiedendo un notevole lavoro di integrazione. Che tale lavoro valga la pena dipende dalle competenze del proprietario, dal tempo disponibile e dalla tolleranza per la manutenzione.
Questa è un'analisi della scelta di implementazione, non un confronto misurato delle ore di progettazione. Le evidenze pubblicate non assegnano un costo del lavoro completo alla build. I lettori dovrebbero resistere alla tentazione di trattare un totale delle attrezzature come un budget di approvvigionamento definitivo.
Per il più ampio mercato dell'AI privata, la sfida interessante è pratica. L'hardware meno recente può restare competitivo per compiti selezionati quando gli sviluppatori mirano al vero collo di bottiglia. I fornitori di sistemi più recenti devono comunque spiegare cosa ottengono gli acquirenti in termini di efficienza, supporto, affidabilità e copertura di carichi di lavoro più ampia.
DeepSeek V4.1 Flash fornisce il carico di lavoro in questo esempio. Il principio ingegneristico più ampio consiste nell'identificare quale risorsa limiti una particolare implementazione prima di presumere che l'acceleratore più nuovo determini l'esperienza migliore.
Il confronto con DGX Spark ha un ambito ristretto
Il vantaggio riportato riguarda risultati selezionati di decodifica per singola richiesta, non una classifica controllata di sistemi AI completi.
Il confronto per singola richiesta di Mermiges affianca la sua macchina a configurazioni DGX Spark pubblicate a tre e quattro unità. Egli osserva esplicitamente che tali sistemi utilizzano i propri motori e pesi. Questa precisazione va posta accanto all'affermazione, poiché software e rappresentazione del modello influenzano il risultato.
Secondo quanto riportato, la sua macchina con dodici schede genera codice a 157-184 token al secondo su contesti da 1K a 128K. Il testo giuridico raggiunge 92-102 token al secondo, mentre la prosa arriva a 83-95. La differenza tra le categorie di contenuto mostra già perché il dato massimo richieda contesto.
Il confronto del costruttore riconosce inoltre risultati Spark migliori in alcuni test di elaborazione dei prompt e vantaggi con carichi di servizio più concorrenti. Queste concessioni restringono notevolmente la tesi. Descrivono punti di forza di sistemi diversi, non un vincitore universale.
Una persona in attesa di una risposta ha un obiettivo diverso da quello di un'organizzazione che serve richieste sovrapposte. L'individuo valuta la rapidità con cui termina il compito attuale. Un'organizzazione deve considerare anche code, equità tra utenti, throughput sostenuto e comportamento durante i picchi di domanda.
Il batching combina il lavoro di più richieste per migliorare l'uso delle risorse. I suoi vantaggi dipendono da un motore di serving progettato per sfruttare quel carico di lavoro. Una macchina ottimizzata attorno a una particolare interazione sequenziale non diventa automaticamente un servizio condiviso ad alta capacità.
Questo rende “V100 vs DGX Spark” una domanda utile solo dopo aver specificato il lavoro. Il confronto riguarda l'avvio di una risposta, il completamento di una risposta o la gestione di utenti simultanei? Coinvolge documenti nuovi o memorizzati nella cache? I requisiti di qualità dell'output sono equivalenti?
Queste domande sono rilevanti anche per gli agenti AI, applicazioni che alternano risposte del modello ad azioni o chiamate di strumenti. Alcune interazioni hanno dipendenze sequenziali che impediscono di raggruppare semplicemente ogni passaggio. Altre applicazioni generano abbastanza lavoro indipendente da mantenere occupato un server condiviso.
Le prove esaminate non misurano tutte queste applicazioni. Applicare il benchmark ai flussi di lavoro degli agenti rimane un'ipotesi che richiede test diretti. Un risultato di generazione del codice da solo non può dimostrare un completamento più rapido di un'intera attività di sviluppo.
Un confronto appropriato tra V100 e DGX Spark conserverebbe, ove possibile, prompt, artefatti del modello, impostazioni di generazione e confini di misurazione. Quando le configurazioni devono differire, il valutatore dovrebbe spiegare perché. Altrimenti, il test confronta sistemi software assemblati senza isolare il contributo dell'hardware.
Ciò non rende privi di significato i numeri pubblicati. Identificano un'implementazione che merita approfondimento e forniscono ad altri costruttori un obiettivo concreto. Mettono inoltre in discussione l'assunto semplicistico secondo cui la sola età di un prodotto predice la reattività.
Tuttavia, i risultati disponibili non stabiliscono una superiorità d'acquisto. Un acquirente che sceglie un sistema necessita di prove che coprano il proprio carico di lavoro effettivo. La pressione rilevante sulle configurazioni Spark è dimostrare i propri punti di forza in condizioni comparabili, anziché rispondere a un titolo con un altro titolo non comparabile.
Potenza, privacy e qualità restano test separati
La generazione locale veloce risponde soltanto a una parte della questione che un acquirente professionale deve risolvere.
I requisiti operativi della macchina sono considerevoli. Mermiges afferma che le schede possono assorbire fino a 2.100 watt con i suoi limiti di 175 watt, esclusi gli altri componenti del sistema. Descrive inoltre rumore e una collocazione lontana dagli spazi di lavoro occupati.
Questo crea un evidente vincolo pratico. Un server può essere utile per il lavoro privato pur risultando inadatto accanto a una scrivania. Spazio, raffreddamento, capacità elettrica e manutenzione continua devono rientrare nella valutazione insieme alla reattività.
Anche la sua argomentazione sul costo di acquisizione richiede un'interpretazione attenta. Il calcolo principale riflette quanto ha pagato nel tempo per componenti usati. Fornisce separatamente una stima più elevata per acquistare l'hardware ai prezzi attuali. Gli acquisti storici non stabiliscono ciò che un altro acquirente può replicare.
Nessuno dei due totali risolve da solo l'economia del possesso. Un confronto richiederebbe un trattamento coerente di attrezzature di supporto, installazione, energia, manutenzione e tempi di inattività. Il materiale esaminato non dimostra un vantaggio standardizzato nei costi di possesso che copra tutti questi fattori.
La privacy richiede un confine altrettanto preciso. Mermiges afferma che i documenti dei suoi casi restano nel suo ufficio mentre utilizza il server locale. Si tratta di una dichiarazione dell'operatore sulla propria configurazione. Non è una prova indipendente che ogni configurazione comparabile mantenga locale ogni categoria di dati.
Un'organizzazione dovrebbe comunque esaminare il comportamento dell'applicazione circostante. Logging, integrazioni, backup e accesso amministrativo possono essere rilevanti anche quando l'inferenza del modello viene eseguita in sede. Si tratta di questioni di valutazione, non di accuse riguardo a questa specifica macchina.
La distinzione diventa particolarmente importante quando un'interfaccia familiare si collega a un backend diverso. Cambiare l'endpoint del modello non documenta di per sé il comportamento di ogni servizio circostante. Le prove esaminate non forniscono un audit completo di quell'ambiente più ampio.
La qualità delle risposte è un'altra questione indipendente. Mantenere gli esperti a una rappresentazione selezionata riduce un particolare compromesso di compressione. Non dimostra che le risposte generate siano corrette, sufficientemente fondate o adatte all'uso professionale.
Allo stesso modo, i controlli numerici rispetto a un'altra configurazione non sostituiscono la valutazione su attività realistiche. Un sistema può preservare il comportamento computazionale atteso e produrre comunque un'interpretazione errata. Una risposta veloce ha poco valore quando verificarla richiede più impegno di quello necessario per svolgere il compito originale.
Per gli utenti di documenti, anche l'organizzazione delle informazioni resta distinta dalla velocità del modello. Una base di conoscenza ricercabile affronta il modo in cui il materiale diventa disponibile per il recupero. Non convalida, da sola, un modello sottostante né stabilisce le proprietà di privacy di questo server.
Le prove supportano quindi decisioni separate. Valutate reattività, adeguatezza operativa, gestione dei dati e qualità delle attività secondo i rispettivi criteri. Riunirli in un'unica etichetta di “AI privata” nasconderebbe le domande più importanti.
Tre risultati renderebbero l'affermazione più utile
La replica indipendente, test di serving realistici e prove sulla qualità delle attività dovrebbero determinare fino a che punto questo risultato possa estendersi oltre un singolo ufficio.
Il primo segnale da osservare è la riproduzione indipendente delle bande di latenza e generazione riportate. Un altro operatore dovrebbe identificare gli esatti artefatti del modello, la versione del motore, la topologia hardware e i limiti operativi. Corrispondere a questi dettagli renderebbe l'accordo più significativo.
I test su documenti nuovi e documenti memorizzati nella cache dovrebbero restare separati. Riportarli entrambi chiarirebbe se la replica conferma l'elaborazione iniziale, la reattività ai follow-up o entrambe. I risultati dovrebbero inoltre distinguere tra codice, materiale giuridico e prosa, anziché trattare la categoria più veloce come rappresentativa.
Una riproduzione riuscita rafforzerebbe la fiducia che la configurazione offra un vantaggio ripetibile per il carico di lavoro dichiarato. Risultati sostanzialmente diversi non screditerebbero automaticamente il costruttore. Identificherebbero dipendenze che l'attuale resoconto pubblico non ha isolato completamente.
La riproduzione richiede inoltre attenzione a ciò che è pubblicamente disponibile. Il repository descrive modifiche al motore e misurazioni, identificando al contempo componenti che non vengono distribuiti come pacchetto completo e avviabile. Questo limita la facilità con cui un altro operatore può riprodurre l'ambiente esatto.
Il secondo segnale è un confronto realistico sul serving concorrente. Il test utile seguirebbe le richieste dall'arrivo fino al completamento, incluso il tempo trascorso in attesa. Le sole velocità di generazione aggregate possono non cogliere i ritardi introdotti prima dell'avvio della generazione.
Un esercizio comparabile dovrebbe includere un professionista che lavora da solo e un piccolo gruppo che condivide il server. Dovrebbe preservare requisiti equivalenti di documenti e output. Questo rivelerebbe dove la configurazione personalizzata resta reattiva e dove un diverso approccio di serving diventa preferibile.
Se il lavoro di batching più recente migliora l'uso condiviso senza danneggiare la latenza delle singole richieste, l'ambito pratico della build si amplierebbe. Se la concorrenza introduce attese sostanziali, il posizionamento originario per l'utente individuale resterebbe l'interpretazione più difendibile.
Il terzo segnale è la prova della qualità delle attività, legata a documenti rappresentativi. Le misurazioni della velocità dovrebbero affiancare valutazioni della correttezza delle risposte, delle prove a supporto e delle omissioni. Tali valutazioni richiedono criteri chiaramente dichiarati, anziché impressioni secondo cui un modello sembra paragonabile a un altro prodotto.
Per il lavoro legale privato, una valutazione utile verificherebbe se le risposte rappresentano accuratamente il materiale fornito e identificano i passaggi rilevanti. Principi analoghi si applicano ai registri di ingegneria o alla ricerca interna. Le attività esatte dovrebbero riflettere gli utenti previsti, anziché una dimostrazione conveniente.
Risultati qualitativi solidi sosterrebbero discussioni su un'adozione più ampia. Risultati deboli limiterebbero il valore del vantaggio di velocità, anche se tutte le tempistiche fossero riprodotte. Le prestazioni hardware e l'utilità professionale si sovrappongono, ma non sono intercambiabili.
DeepSeek V4.1 Flash su dodici V100 è quindi uno specifico risultato riportato che vale la pena testare. Suggerisce che hardware più datato, se disposto con cura, possa restare rilevante quando la capacità di memoria e la reattività individuale dominano il carico di lavoro. Non risolve il confronto più ampio tra server personalizzati e sistemi AI compatti.
Prima di trattare questa macchina come un modello d'acquisto, chiedete di vedere il carico di lavoro che assomiglia al vostro. Esaminate l'attesa per i documenti a freddo, le domande ripetute, la qualità dell'output e il comportamento quando qualcun altro inizia a lavorare. Confrontate l'onere di manutenzione con il valore di mantenere locale quel flusso di lavoro. Poi esaminate le prove dietro ogni vantaggio dichiarato, comprese le parti che un altro operatore può effettivamente riprodurre. La prossima domanda utile non è semplicemente se dodici schede più vecchie possano eseguire il modello. È se una configurazione riprodotta in modo indipendente possa fornire risposte affidabili, requisiti operativi accettabili e una reattività costante per il lavoro che dovete completare.



