DeepSeek V4.1 Flash fonctionne sur 12 V100, selon son concepteur
DeepSeek V4.1 Flash exécute désormais chaque expert routé sur douze cartes Nvidia V100 d’occasion, selon Nick Mermiges, avocat et concepteur de serveurs. Son témoignage du 20 novembre 2026 fait état d’une génération de code atteignant 184 tokens par seconde. Cette affirmation met du matériel serveur vieillissant en regard de résultats publiés pour le DGX Spark, bien que les comparaisons reposent sur des logiciels et des représentations de modèles différents.
La mise à niveau étend sa précédente machine à huit cartes. Son changement central concerne la capacité mémoire : chaque expert peut rester sur les cartes graphiques, sans compression supplémentaire des experts ni transferts depuis la mémoire système. Pour une personne qui interroge à répétition de longs documents, cela modifie l’équilibre entre temps d’attente, complexité matérielle et maintien du travail au sein d’un bureau.
Il s’agit toujours de mesures publiées par le concepteur, sans réplication indépendante établie dans les sources examinées. Elles décrivent également une compétition plus restreinte que les performances générales d’une IA. Une machine qui répond rapidement à une personne ne sert pas automatiquement une équipe de façon efficace, ne produit pas nécessairement de meilleures réponses et n’offre pas forcément des coûts d’exploitation inférieurs.
DeepSeek V4.1 Flash franchit le seuil de mémoire
La mise à niveau déterminante consiste à faire tenir chaque expert routé dans la mémoire graphique avec la représentation quatre bits retenue.
Mermiges décrit douze cartes V100-SXM2 réparties sur trois cartes-mères, à raison de quatre cartes par carte-mère. Chaque carte dispose de 32 Go de mémoire. Sa précédente configuration à huit cartes ne disposait pas d’assez de capacité exploitable pour l’ensemble complet d’experts dans le format Nvidia sélectionné.
Un expert est un groupe de paramètres spécialisé que le modèle sélectionne durant le traitement. Garder chaque expert disponible ne signifie pas activer chaque expert pour chaque token. Cela signifie que le serveur évite le compromis particulier consistant à stocker certains experts ailleurs ou à les compresser davantage.
Selon l’architecture à douze cartes du concepteur, les 15 360 experts routés occupent la mémoire des cartes. L’ensemble des experts requiert 278,9 Gio dans la représentation sélectionnée. Le Gio mesure la mémoire à l’aide d’unités binaires ; les lecteurs devraient donc éviter de le comparer directement à des chiffres de capacité étiquetés différemment.
Cette distinction rend le sujet plus précis que celui d’un simple passionné ajoutant des cartes graphiques. La carte-mère supplémentaire franchit une limite de capacité. L’optimisation logicielle ne peut à elle seule créer l’espace de stockage manquant, même lorsqu’elle améliore l’efficacité avec laquelle la mémoire existante est utilisée.
L’affirmation nécessite également une délimitation précise autour du mot « tous ». Mermiges indique que chaque expert routé est en NVFP4, la représentation compacte en virgule flottante quatre bits de Nvidia. Sa documentation identifie différentes représentations pour d’autres composants du modèle. Décrire l’ensemble du modèle comme stocké ou calculé uniformément en précision quatre bits irait au-delà de ce qu’il affirme.
Pour les lecteurs évaluant l’IA privée, la question importante est de savoir ce que ce changement de mémoire retire du chemin de traitement. Si une requête nécessite un expert stocké hors de la mémoire des cartes, déplacer ces données introduit une dépendance supplémentaire. Une compression plus poussée introduit un autre compromis qui exige sa propre évaluation de qualité.
Aucun de ces compromis ne rend automatiquement un système inadapté. Leur importance dépend de l’application, de la latence acceptable et des éléments probants concernant la qualité des sorties. Mermiges a choisi du matériel supplémentaire parce qu’il souhaitait que la représentation d’experts retenue réside sur les cartes.
Ce choix précise la comparaison principale de cet article : un système sur mesure optimisé pour la charge de travail d’un individu face à des systèmes compacts répondant à des besoins plus larges. Il n’établit pas que du matériel supplémentaire constitue toujours la meilleure réponse.
La mise à niveau doit donc être évaluée comme une configuration distincte. Les résultats de la précédente machine à huit cartes ne décrivent pas automatiquement cette version à douze cartes. Inversement, toutes les améliorations ne peuvent être attribuées à la capacité lorsque le logiciel et les paramètres de fonctionnement ont aussi changé.
Pour un évaluateur indépendant, il s’agit de la première ligne de démarcation utile. Vérifiez ce qui réside en mémoire avant d’interpréter les chiffres de vitesse. Sans cela, deux déploiements de modèle apparemment similaires peuvent représenter des compromis sensiblement différents.
Le gain pratique est un temps d’attente réduit sur les documents
Pour le travail documentaire, le délai avant le début d’une réponse peut compter davantage que le meilleur chiffre de génération.
Mermiges a publié ses mesures principales comme des tests du 19 novembre, avec le raisonnement désactivé et 1 024 tokens de sortie demandés. Les tokens sont les unités de texte qu’un modèle traite et génère. Les chiffres rapportés sont la moyenne de deux exécutions, ce qui en fait un premier ensemble de mesures plutôt qu’une vaste étude statistique.
Ses mesures de latence sur documents indiquent qu’une invite de code de 128K commence à recevoir une réponse après environ 28,1 secondes. Une fois ce document mis en cache, l’attente rapportée tombe à environ 0,4 seconde. Un cache conserve l’état de traitement réutilisable de documents que le système a déjà lus.
Ces chiffres décrivent des situations différentes. L’attente plus courte ne signifie pas que la machine lit un nouveau document presque instantanément. Cela signifie qu’une requête de suivi peut réutiliser du travail, à condition que le cache demeure disponible et que la requête corresponde à du contenu réutilisable.
Cette différence importe dans le flux de travail décrit par Mermiges : une première analyse privée de ses propres dossiers. Un professionnel revient souvent sur le même matériau avec des questions successives. Devoir payer à nouveau le délai complet de traitement du document interromprait cette interaction, même si la réponse finale apparaissait rapidement.
Prenons une séquence hypothétique portant sur une longue collection de contrats. La première requête demande les obligations, la suivante les exceptions, puis une autre demande les passages à l’appui. Si chaque requête réutilise l’état du document, l’utilisateur fait l’expérience d’un outil différent de celui qui recommence à zéro à chaque fois.
Il s’agit d’une interprétation du flux de travail, et non d’un résultat mesuré de productivité juridique. Le temps publié n’établit pas combien de temps professionnel le système fait économiser. Lire les réponses, vérifier les références et corriger les erreurs restent partie intégrante du travail.
La distinction entre le traitement initial et la génération des réponses évite également une incompréhension fréquente des benchmarks. Le préremplissage est le traitement initial d’une invite en entrée. Le décodage est la génération ultérieure de tokens de sortie. Un système peut exceller dans l’une de ces étapes sans être en tête dans les deux.
La couverture de la mise à niveau du serveur par Tom’s Hardware identifie la réduction de l’attente du premier token comme une amélioration centrale par rapport à la configuration antérieure. Elle rapporte qu’une invite de code de 256K passe de 108,4 secondes à environ 58 secondes. Cette comparaison s’accompagne de changements dans les réglages d’alimentation et le logiciel, ce qui limite les explications simplistes.
Pour les développeurs qui créent des applications documentaires, la leçon est d’examiner l’ensemble de l’interaction. Une courte démonstration peut masquer le chargement initial d’un document. Un test de démarrage à froid peut manquer les bénéfices du travail répété sur un matériau inchangé.
La pression exercée sur les systèmes concurrents est donc spécifique. Les acheteurs ont besoin de mesures de latence qui ressemblent à des sessions réelles, incluant à la fois des documents nouveaux et des questions de suivi. Un seul taux maximal de génération laisse une trop grande partie de l’expérience utilisateur inexpliquée.
Les anciens V100 réduisent le trafic mémoire, pas les calculs quatre bits
La vitesse rapportée de cette configuration dépend du logiciel et du déplacement des données, malgré l’absence de matériel de calcul quatre bits natif sur les cartes.
La V100 n’acquiert pas de nouvelles capacités arithmétiques parce qu’un modèle utilise un stockage NVFP4. Mermiges explique que les valeurs d’experts stockées sont décompressées en FP16, un format à virgule flottante de seize bits, avant le calcul concerné. La représentation compacte réduit le nombre d’octets lus ; elle ne crée pas une exécution FP4 native.
La documentation du modèle NVFP4 de Nvidia fournit la référence pour le package d’experts sélectionné. Elle établit un artefact de modèle identifiable que les chercheurs peuvent examiner. Elle ne valide pas indépendamment l’implémentation, les performances ou la qualité applicative de ce serveur.
Ce mécanisme aide à comprendre pourquoi un accélérateur plus ancien peut rester utile pour un format de modèle plus récent. Le stockage et l’arithmétique sont des décisions distinctes. Un processeur peut tirer parti de la lecture de moins de données, même lorsque le logiciel doit convertir ces données avant le calcul.
L’inférence présente une limite correspondante. La réduction du trafic mémoire n’efface ni le surcoût de conversion, ni le surcoût de communication, ni les différences d’efficacité énergétique. La même technique peut permettre un déploiement utile sans rendre l’ancienne architecture équivalente à du matériel plus récent.
L’agencement physique ajoute une autre dimension. Mermiges répartit le modèle en trois étapes de pipeline, ce qui signifie que des groupes successifs de couches s’exécutent sur des groupes de cartes distincts. Au sein de chaque groupe, le parallélisme de tenseurs répartit les calculs sur quatre cartes. Les deux techniques distribuent le travail, mais elles introduisent des exigences de communication et d’ordonnancement.
NVLink, la connexion de Nvidia entre accélérateurs compatibles, relie les cartes au sein de chaque carte-mère. Les transferts entre cartes-mères empruntent un chemin différent via l’infrastructure d’extension de l’hôte. La topologie fait donc partie du résultat, plutôt que d’être un détail accessoire derrière le nombre de cartes.
Pour quelqu’un qui évalue la reproductibilité, « douze V100 » constitue donc une spécification incomplète. L’agencement, les modifications du moteur, l’allocation de mémoire et les paramètres de fonctionnement font tous partie de la configuration. Une autre machine disposant du même nombre de cartes ne produira pas nécessairement les mêmes mesures.
L’effort logiciel modifie aussi le sens du terme abordable. Un composant d’occasion peut avoir un coût d’acquisition attractif tout en exigeant un travail d’intégration considérable. La pertinence de cet effort dépend des compétences du propriétaire, du temps disponible et de sa tolérance à la maintenance.
Il s’agit d’une analyse du choix de déploiement, plutôt que d’une comparaison mesurée des heures d’ingénierie. Les éléments publiés n’attribuent pas un coût de main-d’œuvre complet à cette configuration. Les lecteurs devraient éviter de considérer un total d’équipement comme un budget d’approvisionnement finalisé.
Pour le marché plus large de l’IA privée, l’enjeu intéressant est pratique. Du matériel ancien peut rester compétitif pour certaines tâches lorsque les développeurs ciblent le véritable goulot d’étranglement. Les fournisseurs de systèmes plus récents doivent encore expliquer ce que les acheteurs gagnent en efficacité, en support, en fiabilité et en couverture plus large des charges de travail.
DeepSeek V4.1 Flash fournit la charge de travail dans cet exemple. Le principe d’ingénierie plus général consiste à identifier quelle ressource limite un déploiement particulier avant de supposer que l’accélérateur le plus récent détermine la meilleure expérience.
La comparaison avec le DGX Spark a une portée limitée
L’avantage rapporté concerne des résultats de décodage sélectionnés pour une seule requête, et non un classement contrôlé de systèmes d’IA complets.
La comparaison par requête unique de Mermiges place sa machine aux côtés de configurations DGX Spark publiées à trois et quatre unités. Il note explicitement que ces systèmes utilisent leurs propres moteurs et poids. Cette réserve doit accompagner l’affirmation, car le logiciel et la représentation du modèle influencent le résultat.
Sa machine à douze cartes générerait du code à raison de 157 à 184 jetons par seconde, pour des contextes allant de 1K à 128K. Les textes juridiques atteignent 92 à 102 jetons par seconde, tandis que la prose se situe entre 83 et 95. L’écart entre les catégories de contenu montre déjà pourquoi le chiffre maximal doit être replacé dans son contexte.
La comparaison du concepteur reconnaît également de meilleurs résultats pour Spark dans certains tests de traitement des invites, ainsi que des avantages lorsque les charges de service deviennent plus concurrentes. Ces concessions nuancent fortement le récit. Elles décrivent des atouts système différents plutôt qu’un vainqueur universel.
Une personne qui attend une réponse n’a pas le même objectif qu’une organisation traitant des demandes qui se chevauchent. L’individu accorde de l’importance à la rapidité avec laquelle la tâche en cours se termine. Une organisation doit aussi considérer les files d’attente, l’équité entre utilisateurs, le débit soutenu et le comportement lors des pics de demande.
Le traitement par lots combine le travail de plusieurs requêtes afin de mieux utiliser les ressources. Ses bénéfices dépendent d’un moteur de service conçu pour exploiter cette charge de travail. Une machine optimisée pour une interaction séquentielle particulière ne devient pas automatiquement un service partagé à haute capacité.
Ainsi, « V100 vs DGX Spark » n’est une question utile qu’après avoir précisé la tâche. La comparaison porte-t-elle sur le démarrage d’une réponse, son achèvement ou la gestion d’utilisateurs simultanés ? Implique-t-elle des documents nouveaux ou mis en cache ? Les exigences de qualité de sortie sont-elles équivalentes ?
Ces questions comptent aussi pour les agents d’IA, des applications qui alternent réponses du modèle et actions ou appels d’outils. Certaines interactions présentent des dépendances séquentielles qui empêchent de simplement regrouper chaque étape par lots. D’autres applications génèrent suffisamment de travail indépendant pour maintenir un serveur partagé occupé.
Les éléments examinés ne mesurent pas toutes ces applications. Appliquer le benchmark aux flux de travail d’agents reste une hypothèse qui exige des tests directs. Un résultat de génération de code ne peut à lui seul établir une exécution plus rapide d’une tâche de développement complète.
Une comparaison appropriée entre V100 et DGX Spark préserverait autant que possible les invites, les artefacts du modèle, les paramètres de génération et les limites de mesure. Lorsque les configurations doivent différer, l’évaluateur devrait expliquer pourquoi. Sinon, le test compare des systèmes logiciels assemblés sans isoler la contribution du matériel.
Cela ne rend pas les chiffres publiés dénués de sens. Ils identifient une implémentation qui mérite d’être étudiée et donnent aux autres concepteurs une cible concrète. Ils remettent aussi en cause l’idée simpliste selon laquelle l’âge d’un produit prédit à lui seul sa réactivité.
Toutefois, les résultats disponibles n’établissent pas une supériorité à l’achat. Un acheteur qui choisit un système a besoin de preuves couvrant sa charge de travail réelle. L’enjeu pertinent pour les configurations Spark est de démontrer leurs atouts dans des conditions équivalentes, plutôt que de répondre à un titre accrocheur par un autre titre non comparable.
L’alimentation, la confidentialité et la qualité restent des tests distincts
Une génération locale rapide ne répond qu’à une partie des questions qu’un acheteur professionnel doit résoudre.
Les exigences de fonctionnement de la machine sont importantes. Mermiges indique que les cartes peuvent consommer jusqu’à 2 100 watts sous ses limites de 175 watts, hors autres composants du système. Il évoque également le bruit et une installation éloignée des espaces de travail occupés.
Cela crée une contrainte pratique évidente. Un serveur peut être utile pour un travail privé tout en étant inadapté à côté d’un bureau. L’espace, le refroidissement, la capacité électrique et la maintenance continue doivent être évalués au même titre que la réactivité.
Son argument concernant le coût d’acquisition exige aussi une interprétation prudente. Le calcul mis en avant reflète ce qu’il a payé pour des composants d’occasion au fil du temps. Il fournit séparément une estimation plus élevée pour acquérir le matériel aux prix actuels. Des achats historiques n’établissent pas ce qu’un autre acheteur peut reproduire.
Aucun de ces totaux ne tranche à lui seul l’économie de possession. Une comparaison nécessiterait un traitement cohérent des équipements de support, de l’installation, de l’énergie, de la maintenance et des interruptions de service. Le matériel examiné n’établit pas un avantage standardisé de coût de possession couvrant tous ces facteurs.
La confidentialité exige une délimitation tout aussi précise. Mermiges indique que les documents de ses dossiers restent dans son bureau lorsqu’il utilise le serveur local. Il s’agit d’une déclaration de l’opérateur concernant sa configuration. Ce n’est pas une preuve indépendante que toute installation comparable maintient localement chaque catégorie de données.
Une organisation devrait tout de même examiner le comportement de l’application environnante. La journalisation, les intégrations, les sauvegardes et les accès administratifs peuvent compter même lorsque l’inférence du modèle s’exécute sur site. Ce sont des questions d’évaluation, et non des accusations concernant cette machine en particulier.
Cette distinction devient particulièrement importante lorsqu’une interface familière se connecte à un backend différent. Changer le point de terminaison du modèle ne documente pas à lui seul le comportement de chaque service environnant. Les éléments examinés ne fournissent pas d’audit complet de cet environnement plus large.
La qualité des réponses est une autre question indépendante. Conserver les experts dans une représentation sélectionnée réduit un compromis particulier lié à la compression. Cela n’établit pas que les réponses générées sont correctes, suffisamment étayées ou adaptées à un usage professionnel.
De même, les vérifications numériques par rapport à une autre configuration ne remplacent pas une évaluation sur des tâches réalistes. Un système peut préserver le comportement computationnel attendu tout en produisant une interprétation incorrecte. Une réponse rapide a peu de valeur si sa vérification demande davantage d’efforts que l’exécution de la tâche initiale.
Pour les utilisateurs de documents, l’organisation de l’information demeure également distincte de la vitesse du modèle. Une base de connaissances interrogeable traite de la manière dont le contenu devient disponible pour la recherche. Elle ne valide pas, à elle seule, un modèle sous-jacent ni n’établit les propriétés de confidentialité de ce serveur.
Les preuves soutiennent donc des décisions distinctes. Évaluez la réactivité, l’adéquation opérationnelle, le traitement des données et la qualité des tâches selon leurs propres critères. Les regrouper sous une seule étiquette d’« IA privée » masquerait les questions les plus importantes.
Trois résultats rendraient l’affirmation plus utile
Une reproduction indépendante, des tests de service réalistes et des preuves de qualité des tâches devraient déterminer dans quelle mesure ce résultat dépasse un seul bureau.
Le premier signal à surveiller est une reproduction indépendante des plages de latence et de génération rapportées. Un autre opérateur devrait identifier les artefacts exacts du modèle, la version du moteur, la topologie matérielle et les limites de fonctionnement. Reproduire ces détails rendrait la concordance plus significative.
Les tests sur documents nouveaux et sur documents mis en cache devraient rester séparés. Les deux résultats indiqueraient si la reproduction confirme le traitement initial, la réactivité aux suivis, ou les deux. Les résultats devraient aussi distinguer le code, les documents juridiques et la prose, plutôt que de présenter la catégorie la plus rapide comme représentative.
Une reproduction réussie renforcerait la confiance dans le fait que la configuration offre un avantage reproductible pour la charge de travail indiquée. Des résultats sensiblement différents ne discréditeraient pas automatiquement le concepteur. Ils mettraient en évidence des dépendances que le compte rendu public actuel n’a pas entièrement isolées.
La reproduction exige aussi de prêter attention à ce qui est publiquement disponible. Le dépôt décrit les modifications du moteur et les mesures, tout en identifiant des composants qui ne sont pas distribués sous la forme d’un package complet directement lançable. Cela limite la facilité avec laquelle un autre opérateur peut reproduire l’environnement exact.
Le deuxième signal est une comparaison réaliste de service concurrent. Le test utile suivrait les requêtes depuis leur arrivée jusqu’à leur achèvement, y compris le temps passé à attendre. Les seuls taux de génération cumulés peuvent manquer les retards introduits avant le début de la génération.
Un exercice équivalent devrait inclure un professionnel travaillant seul et un petit groupe partageant le serveur. Il devrait préserver des exigences équivalentes en matière de documents et de sortie. Cela révélerait où la configuration personnalisée reste réactive et où une autre approche de service devient préférable.
Si de nouveaux travaux sur le traitement par lots améliorent l’usage partagé sans dégrader la latence des requêtes individuelles, la portée pratique de cette configuration s’élargirait. Si la concurrence introduit une attente importante, le positionnement initial destiné à un utilisateur individuel resterait l’interprétation la plus défendable.
Le troisième signal est une preuve de qualité des tâches liée à des documents représentatifs. Les mesures de vitesse devraient s’accompagner d’évaluations de l’exactitude des réponses, des éléments probants et des omissions. Ces évaluations nécessitent des critères clairement énoncés, plutôt que l’impression qu’un modèle semble comparable à un autre produit.
Pour un travail juridique privé, une évaluation utile vérifierait si les réponses représentent fidèlement le contenu fourni et identifient les passages pertinents. Des principes similaires s’appliquent aux dossiers d’ingénierie ou à la recherche interne. Les tâches exactes devraient refléter les utilisateurs visés plutôt qu’une démonstration commode.
De solides résultats de qualité appuieraient des discussions sur une adoption plus large. Des résultats faibles limiteraient la valeur de l’avantage de vitesse, même si chaque mesure temporelle était reproduite. Les performances matérielles et l’utilité professionnelle se recoupent, mais elles ne sont pas interchangeables.
DeepSeek V4.1 Flash sur douze V100 constitue donc un résultat rapporté précis qui mérite d’être testé. Il suggère que du matériel plus ancien, soigneusement agencé, peut rester pertinent lorsque la capacité mémoire et la réactivité individuelle dominent la charge de travail. Il ne tranche pas le débat plus large entre serveurs personnalisés et systèmes d’IA compacts.
Avant de considérer cette machine comme un modèle d’achat, demandez une charge de travail qui ressemble à la vôtre. Examinez l’attente liée aux documents à froid, les questions répétées, la qualité des réponses et le comportement lorsque quelqu’un d’autre commence à travailler. Comparez la charge de maintenance à la valeur de conserver ce flux de travail localement. Examinez ensuite les preuves derrière chaque avantage revendiqué, y compris les éléments qu’un autre opérateur peut réellement reproduire. La prochaine question utile n’est pas simplement de savoir si douze anciennes cartes peuvent exécuter le modèle. Il s’agit de déterminer si une configuration reproduite indépendamment peut fournir des réponses fiables, des exigences d’exploitation acceptables et une réactivité constante pour le travail que vous devez accomplir.



