top of page

La mise à jour de tandem.cpp ajoute la prise en charge d’AMD et des gains sur SSD

il y a 44 minutes
13 min de lecture
Illustrative photograph. Photo: Bibek ghosh / Pexels.

La mise à jour de tandem.cpp indique que DeepSeek-V4.1-Flash tourne à 14,2 tokens par seconde sur un PC doté de 64 Go de mémoire et d’une carte graphique de 16 Go. Son auteur indique que llama.cpp standard atteint 7,4 tokens par seconde sur la même configuration. Cette affirmation concerne une inférence plus rapide, c’est-à-dire l’exécution d’un modèle existant, alors qu’une grande partie de ses données reste hors de la mémoire graphique.

Le détail important est l’emplacement de ces données. Selon l’auteur, les poids experts du modèle testé occupent 139 Gio, dépassant la mémoire système de la machine. Les experts sont des composants spécialisés du modèle, sélectionnés pour des entrées particulières. Le correctif conserve les experts fréquemment utilisés sur la carte graphique et coordonne le travail restant entre le processeur, la mémoire et le stockage.

Cela confronte tandem.cpp à une contrainte pratique : combien d’attente les utilisateurs toléreront lorsque leur modèle préféré dépasse la mémoire disponible. L’avantage annoncé par rapport à llama.cpp est substantiel sur la machine mise en avant. Les comparaisons avec Strata, un autre moteur d’inférence, montrent une concurrence plus serrée et plus complexe. Il s’agit de mesures communiquées par l’auteur, et non de résultats reproduits indépendamment.

Ce que la mise à jour de tandem.cpp change réellement

La mise à jour cible les ordinateurs qui ne peuvent pas conserver un grand modèle entièrement dans leur mémoire la plus rapide. Elle ajoute également un chemin d’exécution AMD, élargissant le matériel que les propriétaires peuvent explorer.

Dans les benchmarks de déport de DeepSeek de l’auteur, la configuration centrale associe une RTX 5070 Ti, 64 Go de RAM et un i5-14600KF. La RAM est la mémoire de travail de l’ordinateur. La carte graphique dispose de 16 Go de VRAM, sa mémoire dédiée aux graphiques et aux calculs.

Sur cette machine, l’auteur indique 14,2 tokens par seconde pour tandem.cpp, 7,4 pour llama.cpp et 10,4 pour Strata. Les tokens sont les unités de texte qu’un modèle consomme et génère. Ces chiffres mesurent la vitesse de décodage, c’est-à-dire le rythme auquel un moteur produit une sortie après le traitement d’un prompt.

Le benchmark utilise DeepSeek-V4.1-Flash IQ2_XS. Cette dernière étiquette désigne un format de quantification, qui stocke les poids du modèle avec une précision numérique réduite. L’auteur affirme que chaque moteur utilisait le même modèle quantifié, ce qui en fait une comparaison des approches d’exécution plutôt que de modèles compressés différemment.

Les conditions indiquées importent aussi. Les tests concernent un seul utilisateur, des questions mathématiques GSM8K et un décodage glouton, qui sélectionne le prochain token ayant le score le plus élevé. L’auteur affirme qu’aucun des moteurs comparés n’a ignoré les experts sélectionnés. Ces contrôles resserrent la comparaison, sans toutefois valider indépendamment sa mise en œuvre.

Une deuxième machine associe la même carte graphique et la même capacité mémoire à un i5-12400F et à un SSD économique sans DRAM intégrée dédiée. Le résultat annoncé est de 10,4 tokens par seconde pour tandem.cpp et 5,7 pour Strata. La publication ne fournit aucun résultat llama.cpp pour cette ligne.

Cette entrée manquante doit rester manquante. Elle n’établit ni un échec, ni une incapacité à charger le modèle, ni un écart de performance particulier. Elle empêche simplement une comparaison complète entre tous les moteurs sur cette configuration.

La configuration plus importante associe une RTX 5090 avec 32 Go de mémoire graphique, 128 Go de RAM et un i5-14600KF. Ici, l’auteur indique 33,1 tokens par seconde pour tandem.cpp, 11,5 pour llama.cpp et 28,0 pour Strata.

Prises ensemble, ces lignes étayent une affirmation précise qui mérite d’être testée : la coordination de la mémoire et du stockage peut améliorer la vitesse de génération sur des modèles surdimensionnés. Elles n’établissent pas que tout ordinateur doté d’une carte graphique de 16 Go atteindra le résultat mis en avant.

Il s’agit également d’une mise à jour de moteur d’inférence, et non d’une annonce de modèle DeepSeek. Le correctif modifie la manière dont un modèle existant s’exécute. Il n’entraîne pas de nouveau modèle et n’établit pas que la version compressée égale la qualité du modèle original.

La pression porte sur la gestion de la mémoire, pas uniquement sur les cartes graphiques

La comparaison déterminante porte sur les stratégies d’exécution sous la même contrainte de mémoire. Une carte graphique plus rapide ne suffit pas à expliquer les différences rapportées entre les moteurs sur un matériel identique.

Prenons le lecteur qui possède déjà la catégorie de machine de bureau mise en avant. Sa question immédiate est de savoir si le logiciel peut rendre un modèle surdimensionné utilisable sans remplacer la machine. Les chiffres de l’auteur offrent à cette question un point de départ expérimental concret.

Ils déplacent également l’attention vers l’ordinateur dans son ensemble. Lorsqu’une charge de travail dépend du stockage, le processeur, la RAM disponible et le comportement du disque doivent faire partie de la discussion sur les performances. Considérer la mémoire graphique comme la seule spécification pertinente passe à côté de la configuration décrite ici.

Cela ne signifie pas que la capacité mémoire cesse d’importer. La limitation centrale reste visible dans la configuration : les données expertes dépassent la RAM disponible. Le logiciel doit gérer les déplacements de données et les calculs autour de cette pénurie. L’amélioration annoncée rend cette pénurie moins coûteuse en temps ; elle ne la supprime pas.

Pour les développeurs qui choisissent un moteur, cela crée une pression pour comparer le même modèle dans des conditions correspondantes. Un résultat mesuré avec une mémoire abondante répond à une question différente d’un résultat obtenu avec des accès répétés au stockage.

La comparaison de l’auteur avec Qwen renforce cette distinction. Qwen3.8-Flash-Next IQ3_S, indiqué à 78 Gio, atteindrait 34,3 tokens par seconde sur un PC de 32 Go avec une RTX 5070 Ti de 16 Go. Les chiffres correspondants sont de 14,9 pour llama.cpp et 30,3 pour Strata.

Ce test inclut le MTP, ou prédiction de plusieurs tokens, une approche qui propose plusieurs tokens futurs à valider. Il appartient à la configuration Qwen décrite. Les lecteurs ne devraient pas transférer son résultat à la configuration DeepSeek ni supposer que la même accélération s’applique universellement.

Les enjeux pratiques diffèrent selon les applications. Une personne expérimentant avec un assistant local peut accepter un délai de démarrage perceptible suivi d’une sortie stable. Un développeur exécutant des requêtes courtes répétées peut davantage se soucier du délai avant le début de chaque réponse.

Une tâche en arrière-plan introduit un autre critère. Son responsable peut accepter une interaction plus lente si la tâche s’achève de manière fiable tout en laissant suffisamment de ressources aux autres applications. Un benchmark qui mobilise un ordinateur autrement inactif ne représente pas automatiquement cette expérience.

Il s’agit de scénarios d’évaluation, et non de déploiements documentés de tandem.cpp. Leur objectif est de montrer pourquoi un seul chiffre de vitesse de génération ne peut pas trancher le choix d’un moteur.

Pour les équipes envisageant des flux de travail locaux sur les documents, le modèle n’est également qu’un composant. La récupération, l’accès aux sources et la vérification des réponses restent des préoccupations distinctes. Une base de connaissances consultable traite une couche différente de la stratégie mémoire du moteur d’inférence.

La pression raisonnable sur les développeurs de moteurs est donc précise. Publier des mesures qui révèlent quand la coordination de la mémoire aide, quand elle cesse d’aider, et quelles autres parties de l’expérience utilisateur restent lentes.

Pourquoi déplacer moins d’experts peut compter davantage que tout faire tenir

Le mécanisme repose sur le calcul et le placement sélectifs, tout en préservant le travail requis par le modèle testé. Il n’exige pas que le modèle entier réside sur la carte graphique.

Un modèle de mélange d’experts, couramment abrégé en MoE, sélectionne des sous-ensembles de composants spécialisés pour chaque entrée. Le total de ses paramètres stockés peut donc dépasser le sous-ensemble utilisé lors d’un calcul individuel. Cette distinction ouvre la voie à différentes organisations de la mémoire.

L’auteur décrit tandem.cpp comme conservant les experts fréquemment utilisés sur la carte graphique tout en laissant le processeur aider avec les autres. Lorsque le modèle dépasse la mémoire système, le stockage intervient également. La question d’ingénierie devient alors de savoir quelles données garder à proximité et comment traiter le reste.

Un cache est une zone de stockage plus rapide qui conserve des données en vue de leur réutilisation. Dans ce contexte, les experts utiles mis en cache peuvent éviter des transferts répétés. Un défaut de cache se produit lorsque les données requises sont absentes et doivent provenir d’ailleurs.

L’implication analytique est simple : éviter un transfert lent peut compter même lorsque la quantité de calculs arithmétiques reste inchangée. C’est pourquoi un correctif de gestion de la mémoire mérite de l’attention au même titre que les améliorations du calcul numérique.

Ce raisonnement a des limites. Une stratégie de placement bénéficie du schéma réel d’utilisation des experts. Des prompts et des modèles différents peuvent créer des schémas différents. Un résultat favorable sur des questions mathématiques n’établit pas le même avantage pour la génération de code ou l’analyse de longs documents.

La base de référence mérite également un traitement exact. L’inférence de modèles locaux via llama.cpp fournit le moteur sous-jacent que tandem.cpp corrige. Il s’agit d’une comparaison au sein d’une fondation logicielle existante, plutôt que d’une preuve que cette fondation est devenue sans importance.

Cette relation compte pour la maintenance. Les lecteurs doivent évaluer à la fois le bénéfice mesuré et les conséquences de l’utilisation d’un moteur modifié. La compatibilité avec leur modèle, leur application et les futures mises à jour logicielles fait partie de la décision.

La mise à jour du dépôt du 16 novembre du projet ajoute une autre évolution pertinente. Ses modifications du cache d’experts décrivent des lots de traitement de prompts plus importants et l’utilisation temporaire de mémoire cache pour les tampons de traitement. L’auteur indique une latence des prompts améliorée, tout en montrant que Strata reste plus rapide dans certaines comparaisons.

Ce nouveau matériel compte, car le traitement des prompts et la génération de texte sont des étapes différentes. Le prefill est le traitement initial des tokens d’entrée. Le decode est la production ultérieure de tokens de sortie. Améliorer l’une de ces étapes n’améliore pas automatiquement l’autre.

Pour une personne soumettant un long document, un flux de sortie plus rapide peut suivre une attente initiale importante. Cet utilisateur perçoit l’interaction totale, et non uniquement la partie mise en avant par un benchmark de décodage.

La mise à jour de tandem.cpp devrait donc être lue comme un travail sur un pipeline d’exécution contraint par la mémoire. Son intérêt vient de l’amélioration de la coopération entre les ressources existantes. Les éléments disponibles ne permettent pas de la décrire comme une méthode rendant la taille des modèles sans importance.

De même, éviter de sauter des experts n’établit pas l’équivalence avec un modèle non compressé. La quantification choisie reste partie intégrante de l’expérience. Préserver le calcul sélectionné et préserver la précision numérique originale sont des affirmations distinctes qui exigent des preuves distinctes.

La prise en charge d’AMD élargit l’accès sans établir un avantage de vitesse

La compatibilité AMD est un ajout significatif, mais les résultats AMD communiqués ne placent pas tandem.cpp devant toutes les alternatives. La propre comparaison de l’auteur rend cette limitation claire.

Le correctif se compile désormais avec HIP, l’environnement d’exécution et l’interface de programmation C++ d’AMD pour le calcul GPU. AMD décrit la programmation HIP comme faisant partie de ROCm, sa plateforme logicielle pour le calcul hétérogène sur processeurs et matériel graphique.

Cette distinction aide à interpréter l’annonce. La prise en charge d’une interface de programmation ouvre un chemin d’exécution. Elle n’établit pas des performances égales sur toutes les cartes, tous les processeurs, tous les systèmes d’exploitation ou toutes les configurations logicielles pris en charge.

L’auteur indique avoir testé une RX 7900 XTX avec un i7-8700, 64 Go de mémoire DDR4 et une connexion PCIe 3.0. PCIe est l’interface reliant des composants tels que les cartes graphiques à l’ordinateur. La charge de travail utilise Qwen3.8 IQ3_S avec MTP.

Dans cette configuration, tandem.cpp atteindrait 68,6 tokens par seconde. Strata standard atteint 69,7, tandis qu’un fork de Strata axé sur RDNA3 atteint 80,1. RDNA3 désigne l’architecture graphique utilisée par la carte AMD testée.

Ces chiffres étayent une conclusion mesurée : tandem.cpp est compétitif face à Strata standard dans le test de l’auteur, tandis que le fork spécialisé est plus rapide. Ils ne permettent pas d’affirmer que tandem.cpp est le moteur ROCm le plus rapide.

La publication indique également Avalon à 83,6 tokens par seconde. Cependant, cette entrée utilise sa propre quantification IQ3_KS. Comme la représentation du modèle stockée diffère, ce chiffre ne doit pas être présenté comme une comparaison contrôlée portant uniquement sur le moteur.

C’est ici que la présentation des benchmarks peut devenir discrètement trompeuse. Mettre les résultats dans la même liste les rend faciles à consulter, mais n’efface pas les différences entre les fichiers de modèles. Une comparaison utile explique ces différences avant d’établir un classement.

L’auteur indique également que la prise en charge de Vulkan est absente. Vulkan est une autre API graphique et de calcul. Les lecteurs dont la configuration privilégiée en dépend ne doivent pas considérer l’annonce HIP comme la preuve que leur voie logicielle existante est couverte.

RDNA4 demeure une incertitude distincte. Dans la discussion, l’auteur explique ne pas pouvoir tester cette architecture avec le matériel dont il dispose. L’attente qu’un code devrait fonctionner constitue une preuve plus faible qu’une compilation réussie, une charge de travail achevée et des mesures reproductibles.

Pour les propriétaires de cartes AMD, la valeur immédiate réside donc dans une option supplémentaire à évaluer. L’annonce élargit l’ensemble des expérimentations plausibles sans déterminer quel moteur convient le mieux à chaque configuration Radeon.

Elle illustre également la limite du récit principal. La coordination de la mémoire peut aider, mais son efficacité dépend toujours de la plateforme d’exécution. Un code partagé ne fait pas disparaître les contraintes propres au matériel.

La réponse appropriée consiste à comparer des éléments comparables sur la machine visée. Les noms d’architecture et les étiquettes de compatibilité apportent du contexte ; ils ne peuvent pas remplacer les mesures de l’application que les lecteurs ont réellement l’intention d’utiliser.

Ce que les benchmarks ne permettent pas encore de trancher

La principale lacune de vérification réside dans l’écart entre une comparaison contrôlée par l’auteur et la charge de travail complète d’un autre utilisateur. Les affirmations accessibles au public rendent l’enquête possible, mais elles ne constituent pas une réplication indépendante.

L’auteur indique que la comparaison DeepSeek utilise une quantification identique, un décodage glouton et aucune omission d’experts. Ce sont des contrôles utiles. Ils réduisent les sources évidentes d’écart entre les moteurs tout en laissant d’autres questions ouvertes.

La question centrale non résolue est la reproductibilité. Un autre évaluateur a besoin de suffisamment d’informations pour reproduire les fichiers de modèles, les versions logicielles, la configuration et la procédure de mesure. Une concordance sur ces détails rendrait un résultat répété plus informatif qu’une capture d’écran vaguement similaire.

Les conditions de stockage méritent une attention particulière. Une exécution à froid commence sans les mêmes données utiles déjà conservées en mémoire. Une exécution à chaud peut réutiliser des données consultées auparavant. Comparer des conditions de départ différentes risque d’attribuer au moteur lui-même un avantage lié à l’état de la mémoire.

Les autres activités du bureau comptent également dans une évaluation pratique. Les applications se disputent la mémoire de travail et le temps de traitement. Une configuration qui fonctionne bien lors d’un test isolé mérite d’être réévaluée dans les conditions d’utilisation habituelles de son propriétaire.

Il s’agit d’une question d’évaluation, et non d’une preuve d’un défaut dans tandem.cpp. Le benchmark disponible ne peut tout simplement pas répondre à toutes les questions sur le comportement d’une machine pendant un travail ordinaire.

La charge de travail de test impose une autre limite. GSM8K contient des problèmes de mathématiques rédigés. Utiliser ses questions pour mesurer la vitesse de génération n’établit pas automatiquement l’exactitude mathématique, les capacités de programmation, la fiabilité factuelle ou l’utilisation réussie d’outils.

Un modèle peut générer rapidement une réponse incorrecte. À l’inverse, une configuration plus lente peut rester adéquate pour une tâche dont l’exigence principale est une vérification attentive. Le débit et l’utilité nécessitent leurs propres mesures.

La même prudence s’applique au mot « exact ». Dans cette comparaison, l’auteur l’emploie pour distinguer un calcul sans omission d’experts. Il ne doit pas devenir une affirmation générale concernant des sorties identiques sur différents matériels ou une équivalence avec le modèle d’origine.

La quantification soulève sa propre question. La configuration DeepSeek rapportée utilise une représentation compressée. Une évaluation de la qualité des réponses de cette représentation exigerait des preuves allant au-delà des chiffres de vitesse du moteur examinés ici.

La consommation d’énergie, l’activité de stockage, la réactivité et la stabilité se situent également hors du résultat principal. Les lecteurs doivent éviter d’en déduire une amélioration dans ces domaines uniquement parce que la sortie arrive plus vite. Différents utilisateurs leur accorderont une importance différente.

Le matériel cité ne fournit aucune preuve d’adoption indépendante en entreprise. Les résultats soutiennent donc une enquête menée par des utilisateurs techniquement à l’aise, plutôt qu’une affirmation selon laquelle des organisations ont déjà validé l’approche pour la production.

La propre concession de l’auteur au sujet de Strata aide à garder la discussion ancrée dans le réel. Dans le fil Reddit, il reconnaît que Strata peut être meilleur lorsque suffisamment de mémoire est disponible. Cela concorde avec un avantage dépendant de la charge de travail plutôt qu’avec un vainqueur universel.

Une lecture prudente ne rend pas la mise à jour inintéressante. Elle identifie la proposition réelle qui mérite d’être examinée : ce correctif améliore-t-il un modèle surdimensionné précis sur une machine contrainte précise ?

Cette proposition est à la fois utile et vérifiable. L’étendre à des affirmations concernant chaque modèle, chaque carte AMD ou chaque flux de travail d’IA locale irait au-delà des preuves.

Trois signaux montreront si les gains se généralisent

Les prochaines preuves utiles devraient tester la reproductibilité, la couverture AMD et le temps de réponse complet, dans cet ordre. Ces signaux répondent aux principales lacunes sans transformer la mise à jour en prédiction sur l’ensemble du marché de l’IA.

Premièrement, surveillez les réplications indépendantes des résultats DeepSeek limités par la mémoire. Les rapports les plus solides identifieraient les fichiers de modèles exacts, les versions de moteur, le matériel, les paramètres et les conditions initiales de mémoire. Ils indiqueraient également la variation entre des exécutions répétées.

Un résultat concordant renforcerait l’affirmation selon laquelle le gain se maintient hors de l’environnement de l’auteur. Un gain plus faible resterait informatif si la différence pouvait être reliée au stockage, au comportement du processeur ou à la configuration.

Une inversion compterait aussi. Si un autre moteur l’emporte dans des conditions comparables, la limite de l’avantage de tandem.cpp deviendrait plus claire. Cela aiderait les utilisateurs à choisir un logiciel plutôt qu’à simplement ajouter un chiffre à un classement.

Deuxièmement, surveillez les tests AMD au-delà de la configuration RX 7900 XTX rapportée. Les résultats RDNA4 répondraient directement à la lacune matérielle signalée par l’auteur. Les rapports devraient distinguer une compilation réussie d’une exécution correcte et de performances applicatives soutenues.

Une couverture AMD plus large renforcerait l’argument de compatibilité. Elle n’effacerait pas le résultat existant du fork Strata ni n’établirait un classement permanent. Les différentes architectures nécessitent leurs propres preuves, en particulier lorsque le processeur hôte participe aussi à l’inférence.

Troisièmement, surveillez le temps d’interaction complet sur des invites réalistes. Cela signifie mesurer ensemble l’attente initiale, la génération de sortie et l’achèvement réussi. Le travail de traitement des invites du 16 novembre en fait une prochaine étape particulièrement pertinente.

Les demandes portant sur de longs documents et les tours conversationnels répétés testeraient des exigences différentes de celles d’une courte invite mathématique. Les évaluateurs indépendants devraient expliquer la charge de travail plutôt que de présenter un chiffre de débit isolé comme une note complète de l’expérience utilisateur.

Ces signaux méritent d’être suivis au cours des prochains mois, mais ils ne constituent pas des jalons promis. Ni la publication source ni le dépôt n’établissent de date limite pour une validation indépendante, des tests matériels plus larges ou des comparaisons au niveau des applications.

Pour l’instant, la mise à jour de tandem.cpp offre un sujet crédible pour une évaluation pratique, étayé par des affirmations détaillées de l’auteur et des limites concurrentielles reconnues avec franchise. Son cas le plus solide rapporté concerne une machine contrainte de déplacer des données d’experts au-delà de la mémoire disponible. L’étape pratique suivante consiste à comparer ce cas avec votre propre charge de travail. Commencez avec les mêmes fichiers de modèles et une base de référence clairement consignée. Mesurez l’attente avant la sortie avec autant de soin que le débit de sortie. Vérifiez les réponses avant de considérer la vitesse comme un progrès. Si le gain persiste dans ces conditions, il devient une preuve pour votre machine plutôt qu’un titre emprunté. Qu’est-ce qui compte le plus pour votre charge de travail locale : une génération régulière, une attente initiale plus courte ou un bureau qui reste réactif ?

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page