Il server DeepSeek V100 sacrifica velocità per precisione
Il server DeepSeek V100 di un avvocato ha sacrificato parte della velocità di generazione in favore di una maggiore precisione numerica nelle parti del modello utilizzate più frequentemente. La macchina usa ancora otto processori grafici Nvidia V100, ma il suo ideatore riferisce di aver avvicinato la maggior parte dell'attività misurata di instradamento degli esperti a un riferimento NVFP4. NVFP4 è il formato in virgola mobile a quattro bit di Nvidia, che memorizza i numeri del modello in modo compatto con informazioni di scala condivise. La precisazione è importante: la maggior parte dell'attività di instradamento non significa che la maggior parte dei componenti del modello sia passata a quel formato.
Il progetto appartiene a Nick Mermiges, che usa l'IA locale per il lavoro iniziale sui fascicoli legali. Il suo aggiornamento affronta una tensione pratica: preservare maggiormente il comportamento numerico di un modello mantenendo al contempo i suoi componenti operativi entro una memoria grafica limitata. La configurazione precedente privilegiava una compressione aggressiva e un output più rapido. La configurazione più recente usa più memoria per i componenti selezionati più spesso, accettando una generazione più lenta in cambio di risultati più vicini al riferimento.
Ciò colloca l'esperimento tra alternative familiari: assistenti ospitati come Claude, hardware locale più recente e modelli fortemente compressi in esecuzione su apparecchiature meno recenti. Non dimostra che un server assemblato in modo artigianale equivalga a un servizio di IA legale gestito. Offre però un esempio documentato di un proprietario che sceglie la fedeltà numerica rispetto alla velocità di punta. Le domande importanti riguardano ciò che è migliorato, quali misurazioni vadano considerate insieme e se tali cambiamenti resistano a un'intera giornata di lavoro.
Cosa è cambiato nel server DeepSeek V100
L'aggiornamento modifica il modo in cui la macchina impiega la sua limitata memoria grafica, anziché sostituire i suoi otto processori principali.
Tom's Hardware ha riportato l'aggiornamento il 14 novembre 2026. La sua copertura ha descritto un aumento della memoria di sistema da 256 GB a 1 TB e l'aggiunta di una RTX 3090 alla macchina. Ha inoltre riferito che la generazione di codice è scesa dai precedenti 160–215 token al secondo a 150–180. I token sono i frammenti di testo che un modello elabora e produce. Queste cifre descrivono carichi di lavoro di codifica riportati, anziché ogni attività gestita dal server. La copertura dell'aggiornamento del server della pubblicazione ricostruisce le modifiche a partire dall'account pubblico dell'ideatore.
Il server esegue DeepSeek V4.1 Flash con un harness legale, ossia i flussi di lavoro e i controlli circostanti che organizzano l'attività del modello. Questa distinzione separa il modello dall'applicazione che Mermiges utilizza effettivamente. Un modello genera risposte; il sistema circostante decide quale materiale entra, quale attività segue e cosa richiede revisione. La modifica della rappresentazione numerica sottostante interessa solo una parte di questo processo più ampio.
Anche le aggiunte hardware richiedono un'analisi separata. Una maggiore memoria di sistema non si trasforma automaticamente in maggiore memoria grafica. La RTX 3090 aggiunta non contribuisce automaticamente a ogni risultato di velocità pubblicato. Trattare l'intero elenco dei componenti come una spiegazione delle prestazioni ignorerebbe le effettive scelte di configurazione e software.
Per i lettori che seguono il progetto, lo sviluppo sostanziale è un cambiamento di priorità. L'approccio precedente comprimeva i componenti instradati del modello in modo abbastanza aggressivo da mantenerli disponibili sulle schede. L'aggiornamento conserva questa disponibilità assegnando al contempo spazio aggiuntivo a componenti selezionati con maggiore precisione.
Si tratta di un obiettivo diverso dalla massimizzazione dei token al secondo. Una risposta rapida è utile soltanto quando il suo contenuto sostiene il compito. Viceversa, una corrispondenza numerica più ravvicinata offre un valore pratico limitato se il sistema diventa troppo lento o inaffidabile per essere utilizzato.
L'aggiornamento va quindi collocato in una discussione sulla progettazione dei carichi di lavoro, anziché in una gara tra generazioni di processori. La sua rilevanza deriva da una combinazione specifica di modello, budget di memoria, software e lavoro legale. Gli acquirenti dovrebbero evitare di trasformare tale combinazione in una regola d'acquisto generale.
Le aggiunte visibili rendono la macchina più elaborata. Il cambiamento meno visibile, ossia decidere quali componenti meritino memoria scarsa, spiega perché questo aggiornamento conta.
La maggior parte del traffico degli esperti non è la maggior parte del modello
La percentuale principale misura l'attività attraverso componenti selezionati del modello, non la quota dell'intero modello eseguita a piena precisione.
DeepSeek usa un'architettura mixture-of-experts, che indirizza il calcolo attraverso componenti selezionati del modello chiamati esperti. Durante il decode, la fase che genera i token successivi, esperti diversi ricevono quantità differenti di traffico. Un componente selezionato spesso può rappresentare più attività di quanto suggerisca la sua quota sul numero totale di componenti.
Secondo l'aggiornamento sull'instradamento degli esperti dell'ideatore, il precedente valore predefinito promuoveva 5.949 dei 15.360 esperti instradati a NVFP4. La copertura misurata per slot singolo ha raggiunto circa l'80–86% delle route di decode. La copertura dichiarata del 78–85% per il valore predefinito a due slot era prevista, anziché misurata direttamente. Il post afferma inoltre che la selezione degli esperti usava set di prompt pubblici insieme al traffico legale privato.
Queste dichiarazioni supportano un'affermazione più circoscritta rispetto a “l'80% di DeepSeek viene eseguito a piena precisione”. Descrivono una distribuzione dell'attività dipendente dal carico di lavoro. Non stabiliscono che la stessa quota si applichi ai documenti, alle lingue o alle richieste di un utente non noto.
Si consideri il problema di allocazione sottostante. Se alcuni esperti ricevono traffico frequente, preservare i loro pesi di riferimento può influenzare molte decisioni di instradamento. Riservare lo stesso trattamento a ogni esperto consumerebbe memoria in modo diverso. L'approccio del progetto favorisce invece i componenti che le sue misurazioni identificano come utili.
Questo rende DeepSeek mixed precision una forma di specializzazione del carico di lavoro. Qui, precisione mista significa memorizzare diversi componenti del modello con diverse rappresentazioni numeriche. Il beneficio dipende in parte dal fatto che le richieste future somiglino al traffico utilizzato per scegliere tali componenti.
La distinzione conta nella valutazione dei carichi di lavoro legali. La revisione dei contratti, la cronologia dei fatti, la redazione della corrispondenza e il confronto delle fonti possono richiedere comportamenti diversi. Una selezione calibrata su una miscela di richieste deve essere testata prima che la sua copertura misurata diventi un'affermazione su un'altra.
La spiegazione del formato NVFP4 di Nvidia aiuta inoltre a separare la precisione di archiviazione dall'accelerazione hardware. Il formato combina valori a quattro bit con una scala condivisa per limitare l'errore di rappresentazione. Nvidia ha introdotto l'accelerazione nativa per tale formato con Blackwell. Mantenere pesi nel formato di riferimento su un processore più vecchio non gli conferisce l'hardware di esecuzione di Blackwell.
Di conseguenza, “quasi NVFP4” necessita di un riferimento nominato e di una misurazione definita. Non dovrebbe essere usato come sinonimo di aritmetica non compressa, correttezza garantita o prestazioni dell'hardware più recente.
Il risultato interessante è la strategia di allocazione. La macchina tenta di preservare una maggiore fedeltà lungo i percorsi computazionali più frequentati, mantenendo altrove una copertura compressa. Se ciò resti efficace al di fuori del traffico misurato è una questione da verificare con ulteriori test.
Un migliore accordo con il riferimento non dimostra risposte legali migliori
Un comportamento numerico più vicino è una prova sull'implementazione, mentre l'utilità legale richiede una valutazione separata.
La scheda del modello pubblico del progetto riporta un accordo sul token successivo del 95,1% con il suo riferimento NVFP4, rispetto al 92,2% della precedente configurazione compressa. Ciò misura se entrambe le implementazioni selezionano lo stesso frammento di testo successivo nelle condizioni di confronto. Non significa che uno dei due sistemi risponda correttamente a domande legali a tali percentuali.
La documentazione contiene anche una successiva correzione della configurazione. Un aggiornamento del 13 novembre ha ridotto il valore predefinito a due slot da 5.949 a 5.936 esperti NVFP4 dopo l'aumento della memoria riservata. Lo stesso pacchetto di precisione mista distingue i precedenti test di accordo dalle opzioni di serving successive la cui qualità non era stata stabilita. Il limite di contesto documentato è di 524.288 token, ossia la capacità massima configurata di input e output per una richiesta.
Questi dettagli impediscono diverse scorciatoie allettanti. L'accordo con un riferimento non è accordo con i documenti sottostanti. Un modello di riferimento può commettere un errore fattuale e un'implementazione più fedele può riprodurre tale errore.
Allo stesso modo, una differenza non produce necessariamente una risposta peggiore. Formulazioni diverse possono preservare lo stesso significato. Una piccola differenza numerica può anche modificare una qualificazione critica. La conseguenza dipende dal compito e dall'output, non semplicemente dal numero di token corrispondenti.
Per un DeepSeek legal workflow, la valutazione dovrebbe quindi iniziare dai prodotti di lavoro completati. L'output ha preservato la distinzione tra un'allegazione e un fatto accertato? Ha collegato una conclusione al documento corretto? Ha mantenuto l'incertezza quando le prove restavano incomplete?
Questi sono esempi di domande pertinenti, non risultati di una valutazione indipendente di questo server. Illustrano perché un confronto numerico non può sostituire la revisione del compito.
Anche un lungo contesto configurato richiede un'interpretazione attenta. La capacità indica quanto materiale il sistema accetta nelle sue impostazioni. Non certifica che ogni dettaglio pertinente resti accessibile o correttamente collegato lungo tutta la risposta.
Si immagini una cronologia preliminare assemblata da un fascicolo. Il risultato prezioso è una sequenza utilizzabile con materiale di supporto tracciabile. Un server può elaborare correttamente il fascicolo e tuttavia omettere un evento importante. Può anche generare testo fluido che necessita di correzioni sostanziali.
La pressione pratica ricade su chi mantiene il flusso di lavoro. Una maggiore fedeltà numerica crea un motivo per ritestare l'applicazione, non per eliminare la revisione. Il seguito più utile confronterebbe gli output prima e dopo l'aggiornamento usando gli stessi documenti e criteri di valutazione.
Tale confronto collegherebbe la modifica ingegneristica alla ragione per cui la macchina esiste. Fino ad allora, le prove supportano un comportamento più vicino al riferimento nei test pubblicati. Non supportano un miglioramento quantificato dell'accuratezza legale.
La velocità dipende dalla configurazione e dal carico di lavoro misurati
I risultati pubblici descrivono diverse configurazioni, quindi combinare i loro numeri migliori creerebbe un server che non è mai stato effettivamente testato.
Il repository successivo del progetto documenta una configurazione conclusiva del 13 novembre con output di codice di circa 143–175 token al secondo. Elenca 176,2 token al secondo in aggregato con tre richieste simultanee, rispetto ai 192,3 riportati in precedenza. Il test successivo ha inoltre raggiunto il primo token dopo un prompt da 256K in 86,7 secondi, contro i 108,4 dell'esecuzione precedente.
I dettagli della configurazione di benchmark rivelano impostazioni di potenza diverse tra quelle esecuzioni. Avvertono inoltre che la qualità non è stata verificata per ogni profilo di slot. Uno slot è la capacità di servizio riservata allo stato di una richiesta. Restano misurazioni riportate dallo sviluppatore, anziché benchmark riprodotti in modo indipendente.
Questa divulgazione cambia il modo in cui l'aggiornamento dovrebbe essere descritto. I precedenti dati principali restano utili come risultati datati. Non dovrebbero diventare specifiche permanenti per ogni revisione successiva.
Anche il throughput aggregato necessita di un denominatore esplicito. Conta l'output totale tra le richieste nell'intervallo misurato. Non indica a un singolo utente che la propria risposta arriverà a quella velocità combinata.
Per uno studio, la distinzione è pratica. Diversi compiti in background potrebbero beneficiare di un maggiore output complessivo. Un avvocato in attesa di una risposta specifica si preoccupa del tempo di completamento di quella richiesta. Una configurazione può migliorare l'utilizzo condiviso rendendo al contempo più lenta ogni sessione attiva.
L'elaborazione del prompt introduce un'altra distinzione. Il prefill è la fase iniziale che elabora l'input prima che inizi la generazione. Un documento lungo può creare un'attesa percepibile prima della prima risposta visibile, anche quando l'output successivo arriva rapidamente.
Questo conta per il lavoro interattivo. Un utente potrebbe tollerare un'attesa più lunga per un'analisi completa di un documento rispetto a una breve domanda di follow-up. Una valutazione che fonde entrambe in un unico dato di velocità nasconde la differenza.
I confronti con Claude o un altro assistente ospitato richiedono la stessa disciplina. Mermiges descrive lo spostamento del lavoro da un harness basato su Claude al proprio sistema locale. Questo resoconto stabilisce la sua motivazione e la sua esperienza, piuttosto che un confronto controllato tra servizi.
Una valutazione equa manterrebbe costanti il compito, il materiale di origine, l'output atteso e lo standard di revisione. Includerebbe inoltre il tempo di attesa e le correzioni. Altrimenti, il confronto rischia di misurare flussi di lavoro diversi sotto un'etichetta condivisa.
La generazione più lenta del server DeepSeek V100 è quindi un compromesso reale, ma va inquadrata correttamente. La questione centrale è se una maggiore fedeltà riduca abbastanza il lavoro di correzione da giustificare l'attesa e la manutenzione aggiuntive.
Le velocità di output pubblicate non possono rispondere da sole a questa domanda. Aiutano a individuare il confine tra un'implementazione funzionale e un'applicazione il cui valore completo deve ancora essere misurato.
Affidabilità e controllo locale comportano un proprio carico di lavoro
Il miglioramento della stabilità ottenuto dal costruttore è incoraggiante, ma la sospetta causa hardware resta una diagnosi anziché un riscontro dimostrato.
Mermiges riferisce che gli arresti anomali sono cessati dopo modifiche all'alimentazione. Il suo resoconto descrive nove lunghe chat riuscite in seguito e identifica un alimentatore potenzialmente difettoso come causa sospetta. Errori precedenti lo avevano indirizzato verso PCIe, il sistema di connessione che collega i componenti hardware. La distinzione tra tali osservazioni e una causa radice confermata dovrebbe restare visibile.
Lo stesso resoconto afferma che la RTX 3090 era installata fisicamente, mentre lo spostamento su di essa del piccolo modello draft restava incompiuto. Un modello draft propone testo candidato che un altro modello verifica, un metodo noto come speculative decoding. La sua collocazione prevista è una modifica software futura, non una spiegazione consolidata dei risultati esistenti.
Nel loro insieme, questi dettagli mostrano perché un sistema locale funzionante richieda più che inserire i pesi del modello nella memoria. Diagnosi hardware, gestione della configurazione e integrazione software richiedono impegno anche quando la velocità di generazione sembra adeguata.
Una serie di sessioni riuscite supporta l'affermazione che il comportamento osservato sia migliorato. Non isola il componente guasto. Diverse modifiche effettuate nello stesso periodo possono complicare l'attribuzione.
Questa incertezza è normale in un progetto personale in evoluzione. Diventa più rilevante quando qualcuno tratta il progetto come modello per un'infrastruttura affidabile da studio. Un altro costruttore ha bisogno di documentazione sufficiente per distinguere una correzione trasferibile da un miglioramento specifico della macchina.
Il controllo locale solleva una distinzione correlata. Mermiges afferma che i suoi documenti dei casi restano nel suo ufficio. Ciò descrive il funzionamento previsto e la pratica da lui riportata. Non è un audit indipendente della gestione dei dati del sistema.
Un'organizzazione che valuta un approccio analogo dovrebbe comunque capire dove risiedano documenti, log, backup e accesso amministrativo. Si tratta di questioni di distribuzione, non di prove di un difetto in questa macchina specifica. Il resoconto disponibile non stabilisce una risposta completa.
Il confronto con i servizi ospitati riguarda quindi la responsabilità oltre alla posizione. Eseguire l'hardware localmente conferisce al proprietario il controllo diretto su molte decisioni. Affida però anche a quel proprietario più lavoro di manutenzione e risoluzione dei problemi.
Un servizio gestito distribuisce tali responsabilità in modo diverso. Nessuna delle due soluzioni stabilisce automaticamente una migliore qualità dell'output, un accesso appropriato o un minore sforzo totale. Questi giudizi richiedono prove sul sistema effettivo e sul suo utilizzo.
Il flusso di lavoro della conoscenza circostante resta rilevante indipendentemente dalla soluzione di distribuzione scelta. Una base di conoscenza ricercabile affronta il compito correlato di organizzare il materiale di origine per il recupero. Non può sostituire la valutazione del modello né verificare le affermazioni sulla privacy di un'installazione separata.
Per il flusso di lavoro legale DeepSeek, la domanda impegnativa è se il controllo locale produca un accesso affidabile a un lavoro utile. Ciò richiede un processo operativo ripetibile accanto al lavoro di ottimizzazione. Una dimostrazione riuscita e un servizio quotidiano manutenibile sono risultati correlati, ma richiedono prove diverse.
Tre sviluppi determineranno fin dove può arrivare
Il prossimo aggiornamento utile dovrebbe collegare i miglioramenti ingegneristici a un comportamento riproducibile, anziché aggiungere un altro dato isolato sulla velocità.
Primo, occorre osservare una valutazione unificata dell'attuale configurazione di serving. Le prove più solide combinerebbero copertura di routing misurata, accordo con il riferimento, latenza e qualità dei compiti completati sulla stessa build. Ciò ridurrebbe la necessità di riconciliare dati raccolti con impostazioni diverse.
Questo segnale rafforzerebbe l'affermazione centrale del progetto se l'impostazione predefinita attuale mantenesse un comportamento più vicino al riferimento durante un uso rappresentativo. Ridurrebbe la portata pratica dell'affermazione se la fedeltà calasse drasticamente con traffico non familiare o richieste aggiuntive. Entrambi gli esiti sarebbero più informativi di un'altra velocità massima di output.
I confronti di compiti più preziosi conserverebbero i documenti di input e i criteri di valutazione. Esempi pubblici possono favorire la riproducibilità senza esporre fascicoli privati. Consentirebbero inoltre ad altri utenti di verificare se i test scelti assomigliano al proprio lavoro.
Secondo, occorre osservare il completamento dello spostamento del modello draft sulla RTX 3090, seguito da una misurazione controllata prima e dopo. Installare un processore ne stabilisce la disponibilità. Dimostrarne il contributo richiede di mostrare cosa è cambiato nel sistema in esecuzione.
Un risultato utile spiegherebbe se lo spostamento abbia liberato memoria, modificato il tempo di attesa, influenzato le richieste simultanee o introdotto nuova instabilità. Il confronto richiede lo stesso carico di lavoro e una configurazione chiaramente identificata. Senza questi controlli, un miglioramento potrebbe derivare da un'altra revisione software.
Questo segnale rafforzerebbe la strategia di allocazione se il processore aggiuntivo creasse margine utilizzabile preservando il comportamento dell'output. Indebolirebbe il beneficio previsto se il sovraccarico di integrazione annullasse i guadagni. Il risultato conta perché il ruolo proposto resta parte del lavoro incompiuto del progetto.
Terzo, occorre osservare un funzionamento prolungato e una riproduzione al di fuori della macchina dello stesso costruttore. Un tentativo indipendente verificherebbe se la configurazione documentata si trasferisce a un'altra installazione. Un funzionamento più lungo offrirebbe inoltre prove migliori sul miglioramento della stabilità.
La riproduzione non deve necessariamente corrispondere esattamente a ogni numero per essere utile. Differenze nell'hardware e nelle impostazioni possono spiegare parte della variazione. La domanda importante è se un altro operatore possa comprendere tali differenze e ottenere un risultato affidabile.
Questo segnale rafforzerebbe la tesi per un'adozione più ampia se le istruzioni producessero un comportamento comparabile senza un'estesa attività non documentata. Restringerebbe la tesi se il successo continuasse a dipendere da conoscenze specifiche della macchina. Resterebbe comunque un esperimento prezioso, ma una soluzione meno trasferibile per uno studio.
La questione più profonda è chi possa permettersi l'attenzione richiesta per far funzionare questo approccio. Gli sviluppatori ottengono un esempio concreto di ottimizzazione. Gli acquirenti aziendali ottengono domande da porre sulla valutazione e la manutenzione. I knowledge worker ricevono un promemoria: esecuzione locale, fedeltà numerica e risposte utili richiedono prove distinte.
Il server DeepSeek V100 merita attenzione perché il suo costruttore ha documentato un compromesso deliberato e ha esposto diversi limiti lungo il percorso. Offre ai lettori qualcosa di più utile dell'affermazione che hardware datato possa eseguire un modello di grandi dimensioni. Mostra come la scelta di un carico di lavoro cambi ciò che entra, ciò che funziona più velocemente e ciò che resta incerto.
Prima di trattare questa build come un modello per il vostro lavoro, esaminate le misurazioni legate alla configurazione che usereste realmente. Separate l'accordo con il riferimento dall'accuratezza dei compiti, il throughput combinato dal vostro tempo di attesa personale e gli aggiornamenti pianificati dalle modifiche completate. Chiedete esempi con materiale di origine tracciabile e requisiti di revisione visibili. Confrontate l'intero flusso di lavoro con il processo attuale, incluso l'impegno dedicato a correggerlo e mantenerlo. La prossima domanda utile non è semplicemente se questo server possa generare testo localmente. Quali prove dimostrerebbero che la sua maggiore precisione vi aiuta a completare un lavoro affidabile?



