top of page

L'aggiornamento di tandem.cpp aggiunge il supporto AMD e miglioramenti per gli SSD

43 minuti fa
Tempo di lettura: 12 min
Illustrative photograph. Photo: Bibek ghosh / Pexels.

L'aggiornamento di tandem.cpp riporta l'esecuzione di DeepSeek-V4.1-Flash a 14,2 token al secondo su un PC con 64 GB di memoria e una scheda grafica da 16 GB. Il suo autore indica llama.cpp standard a 7,4 token al secondo sulla stessa configurazione. L'affermazione riguarda un'inferenza più rapida, ovvero l'esecuzione di un modello esistente, mentre gran parte dei suoi dati resta fuori dalla memoria grafica.

Il dettaglio importante è dove risiedono quei dati. I pesi degli esperti del modello testato occupano 139 GiB, secondo l'autore, superando la memoria di sistema della macchina. Gli esperti sono componenti specializzati del modello selezionati per input specifici. La patch mantiene sulla scheda grafica gli esperti usati più di frequente e coordina il lavoro rimanente tra processore, memoria e archiviazione.

Questo pone tandem.cpp di fronte a un vincolo pratico: quanta attesa gli utenti tollereranno quando il modello preferito supera la memoria disponibile. Il vantaggio riportato rispetto a llama.cpp è sostanziale sulla macchina evidenziata. I confronti con Strata, un altro motore di inferenza, mostrano una competizione più ravvicinata e complessa. Si tratta di misurazioni riportate dall'autore, non di risultati riprodotti in modo indipendente.

Cosa cambia effettivamente l'aggiornamento di tandem.cpp

L'aggiornamento si rivolge a computer che non possono mantenere un modello di grandi dimensioni interamente nella loro memoria più veloce. Aggiunge inoltre un percorso di esecuzione AMD, ampliando l'hardware che i proprietari possono esaminare.

Nei benchmark sull'offload di DeepSeek dell'autore, la configurazione centrale combina una RTX 5070 Ti, 64 GB di RAM e un i5-14600KF. La RAM è la memoria di lavoro del computer. La scheda grafica dispone di 16 GB di VRAM, la sua memoria dedicata a grafica e calcolo.

Su quella macchina, l'autore riporta 14,2 token al secondo per tandem.cpp, 7,4 per llama.cpp e 10,4 per Strata. I token sono le unità di testo che un modello elabora e genera. Questi numeri misurano la velocità di decodifica, ovvero il ritmo con cui un motore produce output dopo aver elaborato un prompt.

Il benchmark usa DeepSeek-V4.1-Flash IQ2_XS. L'etichetta finale identifica un formato di quantizzazione, che memorizza i pesi del modello con precisione numerica ridotta. L'autore afferma che ogni motore ha usato lo stesso modello quantizzato, rendendo questo un confronto tra approcci di esecuzione anziché tra modelli compressi in modo diverso.

Anche le condizioni dichiarate contano. I test coinvolgono un solo utente, quesiti matematici GSM8K e decodifica greedy, che seleziona il token successivo con il punteggio più alto. L'autore afferma che nessuno dei motori confrontati ha saltato gli esperti selezionati. Questi controlli restringono il confronto, anche se non ne convalidano in modo indipendente l'implementazione.

Una seconda macchina abbina la stessa scheda grafica e capacità di memoria a un i5-12400F e a un SSD economico senza DRAM integrata dedicata. Il risultato riportato è di 10,4 token al secondo per tandem.cpp e 5,7 per Strata. Il post non fornisce alcun risultato di llama.cpp per quella riga.

Quella voce mancante deve restare mancante. Non dimostra un fallimento, l'impossibilità di caricare il modello o uno specifico divario prestazionale. Semplicemente impedisce un confronto completo tra tutti i motori su quella configurazione.

La configurazione più ampia combina una RTX 5090 con 32 GB di memoria grafica, 128 GB di RAM e un i5-14600KF. Qui l'autore riporta 33,1 token al secondo per tandem.cpp, 11,5 per llama.cpp e 28,0 per Strata.

Considerate insieme, le righe supportano una precisa affermazione che vale la pena testare: coordinare memoria e archiviazione può migliorare la velocità di generazione con modelli sovradimensionati. Non dimostrano che qualsiasi computer con una scheda grafica da 16 GB offrirà il risultato evidenziato.

Questo è inoltre un aggiornamento del motore di inferenza, non un annuncio di un modello DeepSeek. La patch modifica il modo in cui viene eseguito un modello esistente. Non addestra un nuovo modello né dimostra che la versione compressa eguagli la qualità del modello originale.

La pressione ricade sulla gestione della memoria, non solo sulle schede grafiche

Il confronto rilevante è tra strategie di esecuzione sottoposte allo stesso vincolo di memoria. Una scheda grafica più veloce da sola non spiega le differenze riportate tra i motori su hardware identico.

Si consideri il lettore che possiede già il tipo di desktop evidenziato. La sua domanda immediata è se il software possa rendere utilizzabile un modello sovradimensionato senza sostituire la macchina. Le cifre dell'autore offrono a questa domanda un punto di partenza sperimentale concreto.

Spostano inoltre l'attenzione sull'intero computer. Quando un carico di lavoro dipende dall'archiviazione, processore, RAM disponibile e comportamento dell'unità entrano nella discussione sulle prestazioni. Trattare la memoria grafica come l'unica specifica rilevante trascura la configurazione qui descritta.

Questo non significa che la capacità di memoria smetta di contare. Il limite centrale resta visibile nella configurazione: i dati degli esperti superano la RAM disponibile. Il software deve gestire spostamenti e calcolo attorno a tale carenza. Il miglioramento riportato rende la carenza meno costosa in termini di tempo; non la elimina.

Per gli sviluppatori che scelgono un motore, ciò crea la necessità di confrontare lo stesso modello in condizioni equivalenti. Un risultato misurato con memoria abbondante risponde a una domanda diversa da uno ottenuto accedendo ripetutamente all'archiviazione.

Il confronto dell'autore con Qwen rafforza questa distinzione. Qwen3.8-Flash-Next IQ3_S, indicato a 78 GiB, raggiungerebbe 34,3 token al secondo su un PC da 32 GB con una RTX 5070 Ti da 16 GB. Le cifre corrispondenti sono 14,9 per llama.cpp e 30,3 per Strata.

Quel test include MTP, ovvero la previsione multi-token, un approccio che propone più token futuri per la convalida. Fa parte della configurazione Qwen dichiarata. I lettori non dovrebbero trasferirne il risultato alla configurazione DeepSeek né presumere che la stessa accelerazione si applichi universalmente.

La posta in gioco pratica differisce tra le applicazioni. Chi sperimenta un assistente locale potrebbe accettare un ritardo di avvio percepibile seguito da un output costante. Uno sviluppatore che esegue richieste brevi ripetute potrebbe preoccuparsi maggiormente del ritardo prima dell'inizio di ogni risposta.

Un processo in background introduce un altro criterio. Il suo proprietario potrebbe accettare un'interazione più lenta se il processo si completa in modo affidabile lasciando risorse sufficienti ad altre applicazioni. Un benchmark che occupa un computer altrimenti inattivo non rappresenta automaticamente tale esperienza.

Si tratta di scenari di valutazione, non di implementazioni documentate di tandem.cpp. Il loro scopo è mostrare perché una singola cifra sulla velocità di generazione non possa risolvere la scelta di un motore.

Per i team che valutano flussi di lavoro locali sui documenti, il modello è inoltre solo un componente. Recupero delle informazioni, accesso alle fonti e verifica delle risposte restano aspetti separati. Una base di conoscenza ricercabile affronta un livello diverso rispetto alla strategia di memoria del motore di inferenza.

La ragionevole pressione sui sviluppatori di motori è dunque specifica. Pubblicare misurazioni che rivelino quando il coordinamento della memoria aiuta, quando smette di aiutare e quali altre parti dell'esperienza utente restano lente.

Perché spostare meno esperti può contare più di far entrare tutto

Il meccanismo dipende dal calcolo e dal posizionamento selettivi, preservando al contempo il lavoro richiesto dal modello testato. Non richiede che l'intero modello risieda sulla scheda grafica.

Un modello mixture-of-experts, comunemente abbreviato in MoE, seleziona sottoinsiemi di componenti specializzati per ogni input. I suoi parametri totali memorizzati possono quindi superare il sottoinsieme usato durante un singolo calcolo. Questa distinzione crea opportunità per diverse disposizioni della memoria.

L'autore descrive tandem.cpp come un sistema che mantiene gli esperti usati più di frequente sulla scheda grafica, lasciando al processore il compito di assistere con gli altri. Quando il modello supera la memoria di sistema, partecipa anche l'archiviazione. La questione ingegneristica diventa quali dati mantenere vicini e come gestire il resto.

Una cache è un'area di archiviazione più veloce che conserva dati per il riutilizzo. In questo contesto, gli esperti utili presenti nella cache possono evitare trasferimenti ripetuti. Un cache miss si verifica quando i dati richiesti sono assenti e devono provenire da altrove.

L'implicazione analitica è semplice: evitare un trasferimento lento può contare anche quando la quantità di operazioni aritmetiche rimane invariata. Ecco perché una patch di gestione della memoria merita attenzione accanto ai miglioramenti del calcolo numerico.

Questo ragionamento ha dei limiti. Una strategia di posizionamento trae beneficio dal modello effettivo di utilizzo degli esperti. Prompt e modelli diversi possono creare modelli diversi. Un risultato favorevole su quesiti matematici non dimostra lo stesso vantaggio per la generazione di codice o l'analisi di documenti lunghi.

Anche il riferimento di base merita un trattamento accurato. L'inferenza di modelli locali tramite llama.cpp fornisce il motore sottostante che tandem.cpp modifica. Si tratta di un confronto all'interno di una base software esistente, piuttosto che della prova che tale base sia diventata irrilevante.

Questa relazione conta per la manutenzione. I lettori dovrebbero valutare sia il beneficio misurato sia le conseguenze dell'uso di un motore modificato. La compatibilità con il proprio modello, applicazione e futuri aggiornamenti software rientra nella decisione.

L'aggiornamento del repository del progetto del 16 novembre aggiunge un altro sviluppo rilevante. Le sue modifiche alla cache degli esperti descrivono batch più grandi per l'elaborazione dei prompt e l'uso temporaneo della memoria cache per buffer di elaborazione. L'autore riporta una latenza dei prompt migliorata, mostrando al contempo che Strata resta più veloce in alcuni confronti.

Questo materiale più recente è rilevante perché l'elaborazione dei prompt e la generazione di testo sono fasi diverse. Il prefill è l'elaborazione iniziale dei token di input. Il decode è la successiva produzione di token in output. Migliorare una delle due fasi non migliora automaticamente l'altra.

Per chi invia un documento lungo, un flusso di output più veloce può seguire un'attesa iniziale considerevole. Quell'utente sperimenta l'interazione totale, non solo la parte evidenziata da un benchmark di decode.

L'aggiornamento di tandem.cpp va quindi letto come un lavoro su una pipeline di esecuzione vincolata dalla memoria. Il suo interesse deriva dal miglioramento della cooperazione tra risorse esistenti. Le prove non supportano il descriverlo come un modo per rendere irrilevante la dimensione del modello.

Nemmeno evitare di saltare gli esperti dimostra l'equivalenza con un modello non compresso. La quantizzazione scelta resta parte dell'esperimento. Preservare il calcolo selezionato e preservare la precisione numerica originale sono affermazioni distinte che richiedono prove distinte.

Il supporto AMD amplia l'accesso senza dimostrare un vantaggio di velocità

La compatibilità AMD è un'aggiunta significativa, ma i risultati AMD riportati non pongono tandem.cpp davanti a ogni alternativa. Il confronto dell'autore stesso chiarisce questa limitazione.

La patch ora viene compilata con HIP, il runtime C++ e l'interfaccia di programmazione di AMD per il calcolo su GPU. AMD descrive la programmazione HIP come parte di ROCm, la sua piattaforma software per il calcolo eterogeneo tra processori e hardware grafico.

Questa distinzione aiuta a interpretare l'annuncio. Il supporto di un'interfaccia di programmazione apre un percorso di esecuzione. Non dimostra prestazioni equivalenti su tutte le schede, processori, sistemi operativi o configurazioni software supportati.

L'autore riferisce di aver testato una RX 7900 XTX con un i7-8700, 64 GB di memoria DDR4 e una connessione PCIe 3.0. PCIe è l'interfaccia che collega componenti come le schede grafiche al computer. Il carico di lavoro usa Qwen3.8 IQ3_S con MTP.

In quella configurazione, tandem.cpp raggiunge secondo quanto riportato 68,6 token al secondo. Strata standard arriva a 69,7, mentre un fork di Strata focalizzato su RDNA3 raggiunge 80,1. RDNA3 identifica l'architettura grafica utilizzata dalla scheda AMD testata.

Questi dati supportano una conclusione prudente: nel test dell'autore, tandem.cpp è competitivo con Strata standard, mentre il fork specializzato risulta più veloce. Non supportano l'affermazione che tandem.cpp sia il motore ROCm più rapido.

Il post elenca anche Avalon a 83,6 token al secondo. Tuttavia, quella voce utilizza la propria quantizzazione IQ3_KS. Poiché la rappresentazione del modello memorizzata è diversa, il dato non dovrebbe essere presentato come un confronto controllato tra soli motori.

È qui che la presentazione dei benchmark può diventare silenziosamente fuorviante. Inserire i risultati nella stessa lista li rende facili da consultare, ma non elimina le differenze nei file dei modelli. Un confronto utile spiega tali differenze prima di stilare una classifica.

L'autore afferma anche che il supporto Vulkan è assente. Vulkan è un'altra API per grafica e calcolo. I lettori la cui configurazione preferita dipende da essa non dovrebbero interpretare l'annuncio HIP come prova che il loro percorso software esistente sia coperto.

RDNA4 rimane un'incertezza distinta. Nella discussione, l'autore afferma di non poter testare quell'architettura con l'hardware a sua disposizione. L'aspettativa che il codice debba funzionare costituisce una prova più debole rispetto a una compilazione riuscita, un carico di lavoro completato e misurazioni riproducibili.

Per i possessori di AMD, il valore immediato consiste quindi in un'opzione aggiuntiva da valutare. L'annuncio amplia l'insieme degli esperimenti plausibili senza stabilire quale motore serva al meglio ogni configurazione Radeon.

Illustra inoltre il confine della narrazione principale. Coordinare la memoria può aiutare, ma l'efficacia di tale coordinamento dipende comunque dalla piattaforma di esecuzione. Il codice condiviso non fa scomparire i vincoli specifici dell'hardware.

La risposta appropriata è confrontare elementi omogenei sulla macchina prevista. I nomi delle architetture e le etichette di compatibilità forniscono contesto; non possono sostituire le misurazioni dell'applicazione che i lettori intendono effettivamente eseguire.

Cosa lasciano irrisolto i benchmark

Il maggiore divario di verifica è la distanza tra il confronto controllato di un autore e il carico di lavoro completo di un altro utente. Le affermazioni disponibili pubblicamente rendono possibile l'indagine, ma non costituiscono una replica indipendente.

L'autore afferma che il confronto DeepSeek utilizza quantizzazione identica, decodifica greedy e nessun salto degli esperti. Si tratta di controlli utili. Riducono le fonti più evidenti di discrepanza tra motori, lasciando però aperte altre domande.

La questione centrale irrisolta è la riproducibilità. Un altro valutatore ha bisogno di informazioni sufficienti per replicare file dei modelli, versioni software, configurazione e procedura di misurazione. La concordanza su questi dettagli renderebbe un risultato ripetuto più informativo di uno screenshot solo vagamente simile.

Le condizioni di archiviazione meritano particolare attenzione. Un'esecuzione a freddo inizia senza gli stessi dati utili già mantenuti in memoria. Un'esecuzione a caldo può riutilizzare dati consultati in precedenza. Confrontare condizioni iniziali diverse rischia di attribuire al motore stesso un vantaggio dovuto allo stato della memoria.

Anche le altre attività del desktop contano per una valutazione pratica. Le applicazioni competono per memoria di lavoro e tempo di elaborazione. Una configurazione che si comporta bene in un test isolato merita un ulteriore esame nelle normali condizioni d'uso del proprietario.

Si tratta di una preoccupazione di valutazione, non della prova di un difetto in tandem.cpp. Il benchmark disponibile semplicemente non può rispondere a ogni domanda sul comportamento di una macchina durante il lavoro ordinario.

Il carico di lavoro del test impone un ulteriore confine. GSM8K contiene problemi matematici espressi a parole. Usare le sue domande per misurare la velocità di generazione non stabilisce automaticamente accuratezza matematica, capacità di programmazione, affidabilità fattuale o uso riuscito degli strumenti.

Un modello può generare rapidamente una risposta errata. Al contrario, una configurazione più lenta potrebbe comunque essere adeguata per un'attività il cui requisito principale è una verifica accurata. Produttività e utilità richiedono misurazioni proprie.

La stessa cautela vale per la parola “esatto”. In questo confronto, l'autore la usa per distinguere il calcolo senza salto degli esperti. Non dovrebbe trasformarsi in un'affermazione generale su output identici tra hardware diversi o sull'equivalenza con il modello originale.

La quantizzazione aggiunge una propria domanda. La configurazione DeepSeek riportata utilizza una rappresentazione compressa. Una valutazione della qualità delle risposte di tale rappresentazione richiederebbe prove ulteriori rispetto ai dati sulla velocità del motore discussi qui.

Anche consumo energetico, attività di archiviazione, reattività e stabilità sono al di fuori del risultato principale. I lettori dovrebbero evitare di dedurre miglioramenti in questi ambiti solo perché l'output arriva più rapidamente. Utenti diversi attribuiranno loro un'importanza diversa.

Nel materiale citato non esistono prove di un'adozione aziendale indipendente. I risultati supportano quindi l'indagine da parte di utenti tecnicamente esperti, piuttosto che l'affermazione che le organizzazioni abbiano già convalidato l'approccio per la produzione.

La stessa concessione dell'autore riguardo a Strata aiuta a mantenere la discussione con i piedi per terra. Nel thread Reddit, riconosce che Strata può essere migliore quando è disponibile memoria sufficiente. Ciò è coerente con un vantaggio dipendente dal carico di lavoro, piuttosto che con un vincitore universale.

Una lettura cauta non rende l'aggiornamento poco interessante. Identifica la vera proposizione da esaminare: se questa patch migliori un particolare modello sovradimensionato su una particolare macchina con vincoli di memoria.

Questa proposizione è sia utile sia verificabile. Estenderla a dichiarazioni su ogni modello, ogni scheda AMD o ogni flusso di lavoro AI locale andrebbe oltre le prove disponibili.

Tre segnali mostreranno se i guadagni si trasferiscono

Le prossime prove utili dovrebbero verificare, in quest'ordine, riproducibilità, copertura AMD e tempo di risposta completo. Questi segnali affrontano le lacune maggiori senza trasformare l'aggiornamento in una previsione sull'intero mercato dell'AI.

Per prima cosa, osservare repliche indipendenti dei risultati DeepSeek con vincoli di memoria. I report più solidi identificherebbero i file esatti dei modelli, le versioni dei motori, l'hardware, le impostazioni e le condizioni iniziali della memoria. Riporterebbero inoltre le variazioni tra esecuzioni ripetute.

Un risultato corrispondente rafforzerebbe l'affermazione che il guadagno sopravvive al di fuori dell'ambiente dell'autore. Un guadagno minore sarebbe comunque informativo se la differenza potesse essere collegata a archiviazione, comportamento del processore o configurazione.

Anche un ribaltamento sarebbe importante. Se un altro motore vincesse in condizioni equivalenti, il confine del vantaggio di tandem.cpp diventerebbe più chiaro. Ciò aiuterebbe gli utenti a scegliere il software, anziché limitarsi ad aggiungere un altro numero a una classifica.

In secondo luogo, osservare test AMD oltre la configurazione RX 7900 XTX riportata. I risultati RDNA4 affronterebbero direttamente la lacuna hardware dichiarata dall'autore. I report dovrebbero distinguere la compilazione riuscita dall'esecuzione corretta e dalle prestazioni sostenute dell'applicazione.

Una copertura AMD più ampia rafforzerebbe la storia della compatibilità. Non eliminerebbe il risultato esistente del fork Strata né stabilirebbe una classifica permanente. Architetture diverse richiedono prove proprie, soprattutto quando anche il processore host partecipa all'inferenza.

In terzo luogo, osservare la tempistica completa dell'interazione su prompt realistici. Ciò significa misurare insieme l'attesa iniziale, la generazione dell'output e il completamento riuscito. Il lavoro di elaborazione dei prompt del 16 novembre rende questo un passo successivo particolarmente rilevante.

Le richieste relative a documenti lunghi e i turni conversazionali ripetuti metterebbero alla prova esigenze diverse rispetto a un breve prompt matematico. I valutatori indipendenti dovrebbero spiegare il carico di lavoro invece di presentare un dato isolato di produttività come punteggio completo dell'esperienza utente.

Vale la pena seguire questi segnali nei prossimi mesi, ma non sono traguardi promessi. Né il post di origine né il repository stabiliscono una scadenza per la convalida indipendente, test hardware più ampi o confronti a livello applicativo.

Per ora, l'aggiornamento tandem.cpp offre un soggetto credibile per una valutazione pratica, supportato da affermazioni dettagliate dell'autore e da limiti competitivi dichiarati con franchezza. Il suo caso riportato più forte riguarda una macchina costretta a spostare i dati degli esperti oltre la memoria disponibile. Il passo pratico successivo è confrontare quel caso con il proprio carico di lavoro. Iniziare con gli stessi file dei modelli e una base di riferimento chiaramente registrata. Misurare l'attesa prima dell'output con la stessa attenzione riservata alla velocità di output. Verificare le risposte prima di considerare la velocità come progresso. Se il guadagno persiste in queste condizioni, diventa una prova per la propria macchina anziché un titolo preso in prestito. Cosa conta di più per il vostro carico di lavoro locale: generazione costante, un'attesa iniziale più breve o mantenere il desktop reattivo?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page