Una Nvidia Tesla V100 ritirata trasforma un PC da gaming in una veloce piattaforma AI locale

Un hardware Nvidia del 2017 ha appena ottenuto un risultato sorprendente: 32 token al secondo con un modello linguistico locale da 27 miliardi di parametri. Il servizio di Nvidia Tom descrive un acceleratore server Tesla V100 installato accanto a una RTX 4080 all’interno di un PC da gaming.

L’esperimento ha prodotto 32GB di memoria video combinata, sufficienti a mantenere sulle GPU un modello da 27B quantizzato e una lunga finestra di contesto. Il risultato mette in discussione un presupposto centrale sull’hardware AI locale: l’acceleratore più utile non è sempre il più recente.

Tuttavia, la configurazione non è una scorciatoia adatta ai consumatori. Combina due diverse architetture GPU, un adattatore non ufficiale, configurazione Linux, interventi di raffreddamento personalizzati e un supporto software sempre più ristretto. La sua ventola originale raggiungeva inoltre 82 decibel, un livello paragonabile a quello di attrezzature rumorose per esterni.

La vera sfida, quindi, non contrappone il vecchio hardware Nvidia a una particolare nuova GPU. Contrappone capacità di memoria economica e abbondante alla compatibilità e alla comodità dell’hardware consumer moderno.

Cosa ha realmente ottenuto la configurazione con Tesla V100

Il risultato conta perché ha trasformato hardware da data center ritirato in un sistema di inferenza locale realmente utilizzabile.

Lo sviluppatore Oscar Molnar è partito da una RTX 4080 con 16GB di VRAM. Questa capacità gestisce molti giochi e modelli linguistici più piccoli, ma limita quali modelli più grandi possano rimanere interamente sulla GPU.

È possibile spostare una parte del modello nella memoria di sistema, ma l’offloading sulla CPU di solito riduce la velocità di generazione. Anche finestre di contesto più ampie consumano memoria tramite la cache chiave-valore, che conserva i dati di attenzione dei token precedenti.

Molnar ha aggiunto una Tesla V100 SXM2 con altri 16GB di memoria HBM2. SXM2 è un formato di modulo orientato ai server, montato su una scheda specializzata anziché inserito in un normale slot PCIe desktop.

Un adattatore non ufficiale da SXM2 a PCIe ha fornito il collegamento fisico ed elettrico. La macchina completata esponeva 32GB di VRAM totale tra RTX 4080 e V100, anche se tale memoria non è diventata un unico pool unificato.

Secondo il dettagliato registro di compilazione della V100 di Molnar, llama.cpp ha suddiviso il modello tra i due acceleratori. Il software ha collocato porzioni del carico di lavoro su ciascuna GPU e ha spostato i dati via PCIe durante l’inferenza.

La macchina eseguiva Qwen3.6-27B-MTP usando una quantizzazione Q5_K_M. La quantizzazione comprime i pesi del modello in rappresentazioni a precisione inferiore, riducendo il fabbisogno di memoria e cercando al contempo di preservare una qualità di output utile.

Il file del modello risultante occupava circa 19GB. Molnar ha configurato una finestra di contesto da 128.000 token, ha eseguito l’offloading di tutti i 99 livelli del modello e ha distribuito il carico di lavoro in modo uniforme tra entrambe le GPU.

Ha riportato una generazione di circa 32 token al secondo. L’elaborazione dei prompt raggiungeva approssimativamente da 133 a 160 token al secondo.

Queste misurazioni provengono dal sistema di un singolo appassionato, non da un benchmark di laboratorio indipendente. Le prestazioni dipendono dal modello, dalla quantizzazione, dal prompt, dalla revisione software, dalla lunghezza del contesto e dal metodo di ripartizione tra GPU.

Anche con queste precisazioni, 32 token al secondo sono sufficientemente reattivi per sessioni interattive di scrittura e programmazione. Molti utenti leggono il testo generato molto più lentamente di quanto la macchina lo produca.

Il risultato è particolarmente degno di nota perché nessuna delle due GPU è stata progettata per lavorare con l’altra. Una utilizza l’architettura Ada Lovelace di Nvidia del 2022, mentre l’altra utilizza l’architettura Volta del 2017.

Non equivale a possedere una singola scheda con 32GB di VRAM. La comunicazione tra GPU introduce ritardi e ciascun acceleratore può accedere solo ai dati assegnati localmente, senza spostare informazioni attraverso l’interconnessione del sistema.

Ciononostante, l’esperimento ha superato la soglia che conta di più per molti utenti di AI locale. Un valido modello da 27B è entrato interamente nella memoria GPU aggregata e ha risposto senza una pausa impraticabile dopo ogni token.

Questo rende la storia di Nvidia Tom più di una curiosità su hardware insolito. Dimostra come il software possa estrarre una capacità di inferenza utile da acceleratori che i data center hanno già ritirato.

Perché la vecchia memoria Nvidia è ancora importante per gli LLM locali

L’inferenza dei modelli linguistici locali premia spesso la capacità e la larghezza di banda della memoria più delle più recenti funzionalità per il gaming.

Ogni modello linguistico deve memorizzare da qualche parte i propri pesi mentre genera testo. Se i pesi entrano nella VRAM, la GPU può leggerli ripetutamente senza dipendere in modo significativo dalla più lenta memoria di sistema.

Un modello da 27 miliardi di parametri a piena precisione di 16 bit richiederebbe molta più memoria di quella fornita da entrambe le schede. La quantizzazione riduce tale esigenza memorizzando ogni peso con meno bit.

Il processo crea un compromesso. Una quantizzazione più aggressiva risparmia memoria, ma può influire sulla qualità dell’output o sulla compatibilità. Formati meno aggressivi preservano più informazioni del modello, ma richiedono ulteriore VRAM.

La V100 resta rilevante perché Nvidia l’ha dotata di HBM2, ovvero memoria ad alta larghezza di banda di seconda generazione. Le specifiche ufficiali della V100 di Nvidia indicano 900GB al secondo di larghezza di banda della memoria.

Questa cifra resta considerevole per un acceleratore ritirato. La generazione di token sposta spesso i pesi del modello attraverso la memoria per ciascun token generato, rendendo la larghezza di banda un limite importante per l’inferenza a singolo utente.

La V100 include inoltre 5.120 core CUDA e 640 Tensor Core di prima generazione. I Tensor Core accelerano le comuni operazioni matriciali utilizzate dalle reti neurali, anche se Volta supporta meno formati numerici moderni rispetto alle architetture più recenti.

Il suo scopo originario spiega sia i suoi punti di forza sia i suoi problemi. Nvidia ha costruito l’acceleratore per l’addestramento AI, il calcolo scientifico e le dense installazioni server, non per i desktop da gaming.

Il modello SXM2 supporta un limite massimo di potenza di 300 watt ed è stato progettato per un intenso flusso d’aria nel telaio. Non dispone di uscita video, di un familiare dissipatore desktop né di un connettore standard PCIe edge.

Eppure, queste funzionalità consumer mancanti aiutano anche a spiegare perché le unità dismesse attirino gli sperimentatori. Un server di inferenza locale non necessita di un’uscita video se il processore host o un’altra GPU gestisce il desktop.

La memoria resta utile anche dopo che la piattaforma circostante passa di moda. I data center sostituiscono gli acceleratori per efficienza, densità, supporto e coerenza operativa, non perché ogni chip più vecchio smetta improvvisamente di elaborare dati.

Gli utenti locali valutano lo stesso hardware in modo diverso. Un appassionato può tollerare una configurazione manuale, una minore densità e un ambiente software più vecchio se la macchina esegue privatamente il modello desiderato.

Ciò crea un mercato secondario in cui l’obsolescenza aziendale non equivale all’inutilità tecnica. Il proprietario del server vede una passività di manutenzione, mentre lo sperimentatore vede larghezza di banda della memoria e compatibilità CUDA.

Questa divergenza mette sotto pressione il posizionamento delle GPU consumer. Molte nuove schede da gaming offrono eccellenti prestazioni grafiche, ma includono meno memoria di quella desiderata dagli utenti di AI locale per modelli più grandi.

Una scheda moderna offre comunque diversi vantaggi. Propone driver aggiornati, migliore efficienza, formati di precisione più recenti, motori video, uscite display, raffreddamento più silenzioso e un design fisico supportato.

Tuttavia, queste funzionalità non possono caricare un modello che supera la memoria disponibile della scheda. Per alcuni carichi di lavoro di inferenza locale, la capacità è una barriera assoluta anziché una preferenza prestazionale.

L’esperimento con V100 evidenzia questa discrepanza. Gli acquirenti consumer interessati all’AI possono attribuire alla VRAM un valore diverso rispetto ai gamer, eppure entrambi i gruppi acquistano spesso all’interno della stessa famiglia di prodotti.

I sistemi Apple a memoria unificata e i più recenti acceleratori per workstation offrono percorsi alternativi verso pool di memoria più grandi. Anche le schede AMD possono offrire capacità competitive, sebbene la compatibilità software vari in base al modello e al motore di inferenza.

La V100 usata non supera queste alternative sotto ogni aspetto. Dimostra semplicemente che l’AI locale crea un mercato per configurazioni che i prodotti desktop mainstream non servono con continuità.

Il risultato di Nvidia Tom dipende dal software tanto quanto dal silicio

L’hardware funziona perché llama.cpp può distribuire un modello quantizzato tra GPU non corrispondenti senza richiedere una piattaforma server convenzionale.

llama.cpp è un motore di inferenza open source progettato per eseguire in modo efficiente modelli linguistici su CPU e diversi backend GPU. Supporta GGUF, un formato di file modello creato per l’inferenza locale portabile.

La documentazione multi-GPU del progetto distingue tra suddivisione per livelli e suddivisione per tensori. Questi approcci distribuiscono il lavoro su più dispositivi in modi differenti.

La suddivisione per livelli assegna livelli contigui del modello a singole GPU. Ogni token attraversa tali livelli in sequenza, riducendo la quantità di comunicazione tra dispositivi rispetto al parallelismo tensoriale più granulare.

La suddivisione per tensori divide le operazioni all’interno dei livelli. Può migliorare la latenza di generazione quando l’interconnessione è veloce, ma richiede più comunicazione tra le GPU partecipanti.

Molnar ha usato un’impostazione di tensor split per distribuire il modello uniformemente. Le sue due schede comunicavano attraverso la piattaforma desktop anziché tramite la configurazione NVLink nativa di classe server della V100.

Questa distinzione è importante perché la VRAM aggregata non è automaticamente utile. Il software deve capire come collocare pesi del modello, cache e valori intermedi senza superare la capacità di nessuno dei dispositivi.

Le GPU presentano inoltre caratteristiche prestazionali diverse. La RTX 4080 è molto più recente, mentre la V100 contribuisce con unità di calcolo più vecchie e memoria ad alta larghezza di banda.

Una coppia sbilanciata può lasciare la scheda più veloce in attesa di quella più lenta. Il rapporto di suddivisione selezionato può quindi richiedere ottimizzazione in base all’architettura del modello, all’uso della memoria e al throughput misurato.

La configurazione di Molnar ha mantenuto l’intero modello quantizzato nella memoria GPU. Ciò ha evitato il rallentamento maggiore che deriverebbe dall’invio di diversi livelli alla CPU.

Ha inoltre utilizzato una revisione software che supportava l’architettura di previsione multi-token del modello. La previsione multi-token consente a un modello di proporre più token futuri prima di verificare quali proposte siano accettabili.

La tecnica può migliorare il throughput quando le previsioni hanno successo, soprattutto per output strutturati o prevedibili. Tuttavia, il supporto dipende dal modello e dal motore di inferenza, e i guadagni effettivi variano tra i prompt.

Questo dettaglio impedisce di concludere semplicemente che ogni V100 eseguirà ogni modello da 27B alla velocità riportata. Una quantizzazione, una dimensione del contesto, un backend o un’architettura del modello diversi possono produrre un risultato molto differente.

Persino il caricamento dello stesso modello non garantisce prestazioni identiche. Prompt lunghi aumentano l’uso della cache chiave-valore, mentre richieste concorrenti modificano la pressione sulla memoria e il comportamento di pianificazione.

L’esperimento di Nvidia Tom ha utilizzato anche NixOS e una build personalizzata di llama.cpp. NixOS definisce la configurazione di sistema in modo dichiarativo, aiutando l’operatore a riprodurre pacchetti e servizi da file versionati.

Ciò può rendere più semplice ripristinare una configurazione insolita dopo le modifiche. Non rende la combinazione hardware ufficialmente supportata.

Secondo quanto riportato, Windows ha presentato maggiori difficoltà nella build originale. La V100 a volte scompariva anche dopo un riavvio a caldo, richiedendo lo spegnimento completo della macchina prima di poterla rilevare di nuovo.

Sono inconvenienti accettabili per uno sperimentatore che ha costruito il sistema. Sarebbero seri problemi di affidabilità in una workstation che dovrebbe avviarsi in modo prevedibile ogni mattina.

La configurazione illustra comunque un cambiamento più ampio nell’AI locale. I formati di modelli aperti e i motori di inferenza adattabili possono estendere la vita utile dell’hardware oltre la sua destinazione d’uso prevista.

Il componente più importante non è più soltanto l’acceleratore. Il sistema pratico comprende formato del modello, quantizzazione, runtime, driver, sistema operativo, raffreddamento e interconnessione.

Chi valuta hardware enterprise usato deve considerare l’intero stack. La capacità VRAM apre la porta, ma è il software a stabilire se il modello riesca ad attraversarla.

Il rumore del tosaerba rivela il vero compromesso

Le GPU server dismesse scambiano una gestione raffinata con la capacità, e il sistema di raffreddamento rende impossibile ignorare questo compromesso.

La ventola originale dell’adattatore ha prodotto una lettura di 82 decibel su Apple Watch. Non si tratta di una misurazione acustica calibrata, ma descrive chiaramente il problema.

L’hardware per server presuppone un ambiente controllato, in cui il rumore conta meno della rimozione del calore. Un rack compatto può usare ventole ad alta velocità perché non ci si aspetta che qualcuno vi sieda accanto per l’intera giornata.

In un PC da gaming, lo stesso flusso d’aria diventa udibile. Secondo quanto riportato, la ventola dell’adattatore funzionava alla massima velocità perché il connettore originale non esponeva il normale controllo delle ventole desktop.

Molnar ha analizzato il cablaggio e collegato la ventola a un header della scheda madre tramite un cavo personalizzato. La modulazione a larghezza d’impulso ha quindi consentito alla scheda madre di ridurne la velocità.

Con un’impostazione della ventola riportata al 10%, la V100 è rimasta sotto i 50 gradi Celsius con il carico testato. Molnar ha affermato che era diventata difficile da sentire.

La soluzione è ingegnosa, ma i lettori non dovrebbero considerarla una garanzia termica universale. Flusso d’aria del case, temperatura ambiente, geometria della ventola, carico della GPU e posizione dei sensori influenzano tutti il raffreddamento.

Una ventola cablata in modo errato può danneggiare un header o fermarsi inaspettatamente. Ridurre il flusso d’aria senza monitorare le temperature può surriscaldare l’acceleratore, l’adattatore, la memoria o i componenti di alimentazione.

I requisiti elettrici creano un altro rischio. Il modulo SXM2 dipende da un adattatore non ufficiale che deve fornire una potenza considerevole tramite hardware che Nvidia non ha progettato per l’impiego consumer.

La scheda non dispone delle garanzie di sicurezza e praticità tipiche di un normale prodotto desktop. Gli acquirenti devono verificare collegamenti di alimentazione, qualità dell’adattatore, ingombri fisici, comportamento del firmware e capacità dell’alimentatore.

Poi c’è il consumo energetico. Un acceleratore usato può sembrare interessante al momento dell’acquisto, per poi diventarlo meno dopo un utilizzo quotidiano prolungato.

Molnar ha osservato un massimo di circa 150 watt dalla V100 nel suo carico di lavoro. Nvidia valuta il design SXM2 per un massimo di 300 watt, quindi carico di lavoro e configurazione fanno una grande differenza.

Una GPU moderna può completare alcune attività usando meno elettricità e producendo meno calore. Può anche terminarle più velocemente, riducendo l’energia totale usata anche quando la potenza di picco sembra simile.

Il confronto dipende quindi dall’utilizzo. Una macchina usata occasionalmente per sessioni private di coding ha un profilo di costo diverso da un server che risponde continuamente alle richieste.

La longevità del supporto presenta una preoccupazione ancora più netta. Volta ha compute capability 7.0, mentre i nuovi kernel AI puntano sempre più spesso ad Ampere e alle architetture successive.

Le note di CUDA 13 di Nvidia dichiarano che la compilazione offline e il supporto delle librerie per Volta sono stati rimossi dal toolkit CUDA 13. CUDA 12.x rimane il percorso di build supportato per queste architetture.

Questo non disabilita i sistemi V100 esistenti. Significa che gli operatori devono conservare una toolchain compatibile mentre le nuove librerie avanzano gradualmente.

Una futura release del motore di inferenza potrebbe richiedere librerie CUDA o kernel più recenti non disponibili su Volta. Gli utenti potrebbero bloccare versioni più vecchie, ma questo aumenta il lavoro di manutenzione e sicurezza.

I modelli moderni possono anche presupporre BF16, un formato in virgola mobile a 16 bit con un intervallo numerico più ampio di FP16. I Tensor Cores di Volta non offrono accelerazione BF16 nativa.

Alcuni runtime convertono le operazioni non supportate, usano percorsi più lenti o rifiutano configurazioni incompatibili. Il comportamento esatto dipende dal modello e dal framework.

I nuovi kernel di attention creano lacune simili. Il software ottimizzato per Ampere, Hopper o Blackwell potrebbe non offrire un’implementazione Volta utile.

Questi vincoli trasformano la V100 in un investimento su una piattaforma fissa. I proprietari dovrebbero aspettarsi che la compatibilità si riduca, anche se lo stack bloccato sulle versioni attuali continua a funzionare.

Il risultato di 32 token dell’esperimento non è stato riprodotto in modo indipendente su quella macchina esatta. Va inteso come un benchmark personale documentato, non come una specifica di prodotto garantita.

Inoltre combina una RTX 4080 con la V100. Il vecchio acceleratore da solo non ha prodotto 32GB di VRAM né il risultato completo riportato.

Questa distinzione è importante perché i titoli possono far sembrare la V100 un sostituto completo di una moderna scheda ad alta memoria. È più corretto intenderla come un dispositivo di espansione all’interno di un sistema configurato con cura.

L’affare rimane interessante per l’operatore giusto. Diventa un cattivo investimento per chiunque abbia bisogno di funzionamento silenzioso, supporto ufficiale, aggiornamenti prevedibili o risoluzione dei problemi minima.

Le vecchie GPU dei data center stanno facendo pressione sul mercato dell’AI consumer

L’esperimento evidenzia una domanda che i fornitori di GPU desktop affrontano ancora in modo disomogeneo: capacità di memoria accessibile per l’inferenza di modelli locali.

I benchmark per il gaming danno normalmente priorità a frame rate, ray tracing, upscaling ed efficienza energetica. L’AI locale introduce una gerarchia d’acquisto diversa.

Un modello entra nella memoria disponibile oppure no. Una maggiore potenza di calcolo non può compensare quando il modello e il contesto selezionati superano la capacità VRAM.

Gli utenti possono scegliere una quantizzazione più aggressiva, finestre di contesto più corte, modelli più piccoli o offloading sulla CPU. Ogni opzione modifica qualità, capacità o reattività.

Questo crea domanda per vecchie schede enterprise, combinazioni multi-GPU e computer con memoria unificata. Nessuna di queste offre la comodità completa di una GPU consumer attuale con VRAM abbondante.

Nvidia resta centrale perché CUDA gode di un ampio supporto nei framework AI. La V100 beneficia di questo ecosistema anche se la sua toolchain ufficiale smette di avanzare.

AMD offre schede con configurazioni di memoria considerevoli, ma gli utenti devono confermare che i modelli e i runtime preferiti funzionino bene tramite ROCm o altri backend. La compatibilità è migliorata, ma non è identica tra le applicazioni.

La memoria unificata di Apple consente a CPU e GPU di accedere a un unico grande pool. Questo può ospitare modelli più grandi, anche se larghezza di banda, throughput sostenuto, supporto software e memoria non aggiornabile rimangono considerazioni importanti.

I prodotti Nvidia più recenti per workstation e data center offrono alta capacità con funzionalità attuali. Si rivolgono ad acquirenti con budget e requisiti operativi diversi dagli appassionati domestici.

La Tesla P40 è un’altra opzione server usata. Offre 24GB di memoria, ma appartiene alla precedente generazione Pascal e non dispone di Tensor Cores.

Una P40 può caricare modelli che superano 16GB, ma la minore larghezza di banda della memoria e il percorso di calcolo più vecchio possono ridurre le prestazioni di generazione. La capacità da sola non determina il risultato.

Le schede V100 usate occupano una posizione intermedia distintiva. Abbinano la larghezza di banda HBM2 ai Tensor Cores di prima generazione e a un supporto CUDA 12 maturo, ma comportano un chiaro rischio di obsolescenza.

Il report di Nvidia Tom mette quindi sotto pressione la segmentazione dei prodotti, più che un singolo concorrente. Mostra che alcuni utenti accetteranno gravi inconvenienti per superare i limiti della VRAM ridotta.

Questo segnale dovrebbe interessare i produttori di GPU. I carichi di lavoro AI stanno trasformando la memoria in una specifica consumer visibile, anziché in una preoccupazione di nicchia per gli acquirenti professionali.

Conta anche per gli sviluppatori di modelli. Quantizzazione efficiente e runtime locali ampliano la base installata di hardware in grado di eseguire un modello.

Un modello che richiede il formato di precisione più recente esclude acceleratori altrimenti capaci. Una release GGUF portabile può raggiungere utenti con sistemi Nvidia, AMD, Apple o solo CPU meno recenti.

Questo non significa che gli sviluppatori debbano congelare il software attorno a chip obsoleti. Significa che le scelte di compatibilità determinano chi può eseguire privatamente un modello e chi deve usare un servizio ospitato.

L’operatività locale offre diversi vantaggi. I prompt possono rimanere sulla macchina dell’utente, la generazione non dipende dalla disponibilità della rete e l’operatore controlla gli aggiornamenti del modello.

L’operatore eredita anche ogni responsabilità infrastrutturale. Ciò include driver, file dei modelli, autenticazione, accesso remoto, raffreddamento, monitoraggio e backup.

I servizi cloud fanno il compromesso opposto. Eliminano gran parte della manutenzione hardware, ma richiedono agli utenti di fidarsi di un servizio esterno per disponibilità, policy e gestione dei dati.

La configurazione V100 non risolve il dibattito. Rende il lato locale più credibile per utenti tecnicamente sicuri che danno priorità al controllo rispetto alla comodità.

Cosa dovrebbero osservare i costruttori di sistemi AI locali

Tre segnali determineranno se la rinascita della V100 diventerà una nicchia duratura o una breve tappa verso hardware più recente.

Il primo segnale è il supporto di llama.cpp su Volta. Il progetto cambia rapidamente con l’arrivo di nuove architetture di modelli, formati di quantizzazione e kernel GPU.

I proprietari di V100 dovrebbero verificare se i modelli importanti mantengono percorsi di build CUDA 12 funzionanti. Una compatibilità continua rafforzerebbe la convenienza di preservare questi sistemi.

Un passaggio verso kernel che richiedono compute capability più recenti la indebolirebbe. Le versioni bloccate possono ritardare tale esito, ma non possono offrire indefinitamente supporto per nuovi modelli.

Il secondo segnale è la prestazione riproducibile tra diversi modelli da 27B. Il risultato di Molnar utilizza un modello specifico, una quantizzazione, una configurazione di contesto e una disposizione GPU mista.

I test indipendenti dovrebbero riportare velocità di generazione, elaborazione dei prompt, lunghezza del contesto, consumo energetico, temperature e versioni software esatte. Un singolo valore di token al secondo nasconde troppe variabili.

Anche i risultati dei modelli densi non dovrebbero essere confrontati superficialmente con quelli dei modelli mixture-of-experts. Un design mixture-of-experts attiva solo una parte dei parametri totali per ciascun token.

Se diversi tester riproducono un’inferenza reattiva da 27B su combinazioni V100 economiche, l’affermazione centrale diventa più solida. Un’ampia variazione mostrerebbe che il risultato originale dipende fortemente dalla configurazione esperta.

Il terzo segnale è la capacità di memoria nelle prossime GPU consumer e workstation. Più prodotti ad alta memoria posizionati in modo ragionevole ridurrebbero la domanda di conversioni server improvvisate.

Se le schede consumer continueranno ad abbinare un calcolo potente a VRAM restrittiva, gli acceleratori del mercato secondario rimarranno interessanti. Gli utenti continueranno a scambiare efficienza e supporto con capacità per i modelli.

Anche i fornitori di software potrebbero reagire. Una migliore pianificazione eterogenea multi-GPU potrebbe rendere più facile combinare acceleratori non omogenei, mentre requisiti di kernel più rigidi potrebbero chiudere la porta.

I potenziali costruttori dovrebbero iniziare dai modelli che intendono usare, anziché acquistare prima una GPU. Verificate dimensione del modello, opzioni di quantizzazione, requisiti di contesto, supporto del runtime e concorrenza prevista.

Dovrebbero inoltre distinguere la sperimentazione da un uso produttivo affidabile. Un rig che occasionalmente richiede un riavvio a freddo può essere divertente a casa e inaccettabile in un flusso di lavoro aziendale.

Documentare ogni driver, adattatore, impostazione della ventola, scelta del firmware e revisione del modello è essenziale. Una base di conoscenza ingegneristica ricercabile può trasformare le scoperte nella risoluzione dei problemi in un sistema ripetibile.

La storia hardware di Nvidia Tom non offre in definitiva né una raccomandazione universale né una trovata priva di significato. Mostra che il silicio dismesso può ancora fornire un’inferenza locale utile quando software, raffreddamento e pazienza dell’operatore si allineano.

Accetteresti uno stack CUDA meno recente, cablaggi personalizzati e procedure di ripristino manuali per eseguire modelli più grandi in locale? Più di qualsiasi benchmark, è questa risposta a determinare se una Tesla V100 debba far parte della tua prossima macchina per l’AI.