Modal adopte les CPU Vera de Nvidia après avoir constaté un débit de sandbox 2x supérieur

Modal adopte les CPU Vera de Nvidia après que des tests internes ont montré un débit jusqu’à deux fois supérieur sous charge, remettant en question sa dépendance aux processeurs Intel et AMD. Le débit mesure le travail achevé par unité de temps. Ce résultat concerne la capacité informatique partagée, plutôt qu’une promesse selon laquelle chaque tâche d’IA se terminera deux fois plus vite.

Cette distinction met la pression concurrentielle en évidence. Nvidia s’attaque à l’exécution logicielle ordinaire qui entoure les modèles d’IA, un domaine où Intel et AMD fournissent déjà les processeurs de Modal. Un CPU, ou unité centrale de traitement, exécute des instructions logicielles générales. Pour un service d’IA, cela comprend l’exécution de code généré et la gestion du travail entre les réponses du modèle.

Le constat de Modal soutient un argument d’achat précis : évaluer les processeurs selon le travail utile accompli sur des serveurs occupés. Toutefois, l’adoption de Vera exige aussi des modifications logicielles, et Modal prévoit de conserver ses fournisseurs existants. L’enjeu immédiat est une option matérielle supplémentaire adaptée de manière prometteuse à cette charge de travail, et non le remplacement achevé de toute sa flotte.

Modal adopte les CPU Vera de Nvidia pour un déploiement planifié de sandbox

Dans son billet d’ingénierie du 19 octobre, Modal a indiqué avoir reçu son premier serveur Vera à San Francisco la semaine précédente. L’entreprise a fait état d’un débit jusqu’à deux fois supérieur à celui d’une machine Intel Granite Rapids équivalente lors des premiers tests concurrents. Ses résultats sur le débit des sandboxes décrivent des projets d’introduction de la prise en charge de Vera, plutôt qu’un déploiement achevé à l’échelle de toute la flotte.

Le changement vérifié est une extension architecturale planifiée, étayée par des tests clients, l’adoption en production nécessitant encore un travail d’ingénierie.

Une sandbox est un environnement isolé qui exécute du code tout en le séparant des autres activités. Pour un agent de programmation IA, cet environnement est l’endroit où les modifications proposées se confrontent à la réalité exécutable. Le modèle peut suggérer un correctif, mais le logiciel doit encore compiler, s’exécuter et renvoyer des résultats.

Cela crée une décision matérielle différente de celle consistant à choisir un processeur pour une application unique. Un fournisseur de cloud doit considérer le comportement conjoint de tâches clientes sans lien entre elles. Le serveur privilégié doit soutenir une activité productive pour l’ensemble de ses locataires sans rendre les tâches individuelles excessivement lentes.

Le test de Modal compte donc comme élément de preuve provenant d’un futur opérateur. Nvidia a intérêt à présenter Vera favorablement, mais Modal doit également assumer les conséquences de l’introduction d’une autre architecture. La prise en charge d’un nouveau matériel demande du travail avant que le moindre avantage de performance n’atteigne les clients.

Cela ne fait pas de Modal un laboratoire de test indépendant. Ses résultats restent des mesures de l’entreprise, façonnées par les charges de travail retenues et ses priorités opérationnelles. Néanmoins, la décision d’entreprendre un travail de compatibilité donne à ces constatations une pertinence commerciale supérieure à celle d’une démonstration isolée d’un fournisseur.

La formulation autour de l’adoption mérite de la prudence. Recevoir un serveur, réaliser une évaluation, annoncer des projets de prise en charge et servir le trafic client ordinaire représentent des étapes distinctes. Elles ne doivent pas être fusionnées en une seule affirmation selon laquelle Vera alimente déjà l’intégralité du service de Modal.

De même, un avantage de débit n’établit pas une amélioration identique pour chaque client. Certaines charges de travail consomment peu de temps processeur. D’autres passent de longues périodes à attendre des services externes. Les gains matériels atteignent les utilisateurs selon les parties de leurs tâches qui dépendent réellement du processeur.

La question utile est donc plus restreinte que celle de savoir si Nvidia est soudainement devenu le fournisseur de CPU le plus rapide. Il s’agit de déterminer si Vera offre à Modal suffisamment de capacité supplémentaire, avec des temps de réponse acceptables, pour justifier l’extension de sa prise en charge logicielle et matérielle.

Cette question dessine la principale ligne concurrentielle de l’article : la nouvelle option de Nvidia face à l’infrastructure Intel et AMD établie de Modal. Le benchmark ouvre cette concurrence, tandis que l’expérience de déploiement en déterminera la valeur opérationnelle.

Les agents IA mettent sous pression les processeurs entre les appels au modèle

Les agents IA élargissent la décision d’achat de CPU, car le travail utile se poursuit après qu’un modèle a produit son instruction suivante.

Un agent IA est un logiciel qui utilise un modèle pour sélectionner et exécuter des étapes vers un objectif. Ses progrès dépendent à la fois des décisions du modèle et des systèmes qui les exécutent. Améliorer l’un ou l’autre n’aide que lorsqu’il traite le travail qui limite l’achèvement.

Prenons une tâche de programmation illustrative. Un agent propose une modification, exécute un test, lit l’échec et révise son approche. La réponse générée est une étape intermédiaire. La tâche reste inachevée tant que le logiciel environnant ne fournit pas un retour que l’agent peut utiliser.

Cela rend les performances du processeur pertinentes sans diminuer le rôle des GPU, ou unités de traitement graphique, qui accélèrent les calculs fortement parallèles. Les catégories matérielles prennent en charge différentes parties du processus. Un calcul de modèle plus rapide ne peut pas éliminer le temps passé à attendre l’exécution nécessaire du logiciel.

L’analyse des charges de travail d’agents de Nvidia publiée en juillet soutient que des performances CPU durables sous charge influencent la progression des services d’IA. Il s’agit d’un argument de fournisseur, et non d’une confirmation indépendante des résultats de Modal. Sa pertinence réside dans le mécanisme : les dépendances séquentielles peuvent rendre les délais CPU importants bien au-delà du CPU lui-même.

La pression sur Intel et AMD découle de la manière dont les acheteurs définissent la comparaison. Si le critère d’achat met l’accent sur le travail d’agent achevé sur des serveurs sollicités, les spécifications de processeurs familières deviennent des éléments probants complémentaires. Elles ne tranchent pas seules la décision.

Le nombre de cœurs, par exemple, indique les ressources d’exécution disponibles. Il ne révèle pas automatiquement à quelle vitesse se terminera un ensemble hétérogène de tâches dépendantes. Les acheteurs doivent toujours observer le comportement de leurs applications réelles et de la plateforme environnante.

Il en va de même pour une victoire de benchmark mise en avant. Un résultat devient commercialement convaincant lorsqu’il correspond à une contrainte de service que le client reconnaît. La capacité supplémentaire compte surtout lorsqu’elle peut être utilisée sans créer un autre goulot d’étranglement ni compromettre la qualité du service.

Pour Modal, le bénéfice potentiel concerne l’infrastructure qui sous-tend les agents des clients. Pour les développeurs, le résultat pertinent est de savoir si leurs tâches se terminent de manière fiable lorsque d’autres utilisateurs sont actifs. Pour les acheteurs d’entreprise, l’enjeu est de savoir si la capacité du service reste prévisible à mesure que l’utilisation augmente.

Ces intérêts se recoupent, mais ils ne sont pas identiques. Un opérateur peut disposer d’une marge supplémentaire pour absorber la demande sans modifier immédiatement l’expérience d’un client individuel. Un client peut aussi constater une meilleure réactivité sans savoir quel processeur a fourni l’amélioration.

Cette séparation empêche une extrapolation facile. Le fait que Nvidia gagne une considération supplémentaire pour ses CPU n’établit pas que chaque application d’IA a besoin de Vera. Cela montre que l’exécution d’agents donne à un opérateur cloud une raison supplémentaire de réévaluer un matériel qui satisfaisait auparavant ses exigences.

La demande concurrentielle qui en résulte est concrète. Les fournisseurs établis doivent rester attractifs sur des systèmes représentatifs et sollicités. Nvidia doit montrer que son avantage résiste au passage d’une évaluation sélectionnée à un service fiable.

Les benchmarks Nvidia Vera évaluent le travail utile sous contention

Le Agentless Agent Bench public de Modal apporte un détail méthodologique important absent d’un simple titre annonçant « 2x plus rapide ». Il utilise 50 tâches Terminal-Bench sélectionnées avec des solutions de référence, en supprimant le temps de réponse du modèle et l’activité réseau. Une exécution n’est comptabilisée comme terminée que lorsque son vérificateur est validé.

Les benchmarks Nvidia Vera examinent une charge d’exécution définie, plutôt que l’intelligence complète ou la vitesse d’un agent autonome.

Une solution de référence fournit des commandes connues pour réaliser une tâche. Retirer le processus de décision du modèle aide à isoler la machine qui exécute ces commandes. La vérification contrôle ensuite si l’exécution a produit un résultat acceptable, plutôt que de simplement se terminer rapidement.

Le dépôt décrit des tests à la fois sériels et concurrents. Les tests sériels exécutent les tâches individuellement. Les tests concurrents permettent à plusieurs tâches de se disputer les ressources de la machine. Ces approches répondent à des questions différentes ; leurs résultats ne doivent donc pas être considérés comme interchangeables.

Un résultat sériel aide à caractériser l’exécution sans interférence de tâches de benchmark concurrentes. Un résultat concurrent examine ce qui se produit lorsque les ressources doivent être partagées. Un processeur peut paraître ordinaire dans la première condition tout en devenant attractif dans la seconde.

C’est là que la contention entre en jeu. La contention survient lorsque des tâches actives se disputent une ressource partagée, telle que l’accès mémoire ou la capacité d’exécution. Elle peut limiter les progrès même lorsque chaque tâche fonctionne raisonnablement bien de manière isolée.

La comparaison Vera contre x86 doit donc être assortie d’une condition d’exploitation. Ici, x86 désigne la famille d’instructions utilisée par les systèmes Intel et AMD examinés. L’affirmation significative concerne la charge de travail testée sous charge, et non un classement universel des familles d’instructions.

Un opérateur de serveurs doit également distinguer le débit de la latence, c’est-à-dire le temps écoulé nécessaire pour terminer une tâche. Un débit supérieur est utile, mais accepter un délai illimité rendrait la mesure commercialement trompeuse. La capacité doit s’accompagner d’une norme de réactivité.

Imaginez un service partagé qui termine davantage de tâches au total tandis qu’un sous-ensemble de clients attend beaucoup plus longtemps. Le débit global s’améliorerait, mais le service pourrait devenir moins adapté au travail interactif. Les acheteurs ont besoin de suffisamment de détails pour reconnaître cette possibilité.

L’exigence de vérification du benchmark répond à une autre préoccupation : des exécutions inachevées ou incorrectes ne devraient pas gonfler le résultat. Toutefois, réussir ces contrôles sélectionnés n’établit pas une précision plus large du modèle. Les solutions de référence retirent précisément le processus de décision qui déterminerait la qualité du raisonnement d’un agent.

Les environnements préconfigurés définissent également le périmètre. Préparer le logiciel avant la mesure réduit les interférences liées à la configuration et aide à isoler l’exécution. Cela ne mesure pas chaque délai rencontré par un client lors du démarrage d’un environnement neuf ou de l’acquisition de dépendances.

Ces choix sont défendables pour une expérience matérielle ciblée. Ils ne deviennent problématiques que si le résultat est présenté comme une mesure de bout en bout de l’ensemble du comportement des agents. Un benchmark ciblé doit étayer une conclusion ciblée.

Les benchmarks Nvidia Vera plaident utilement pour une évaluation plus approfondie parce que la conception du test peut être examinée. Reproduire le résultat avec le matériel et les paramètres divulgués le renforcerait. Étendre l’expérience au trafic réel du service répondrait à une question différente, tout aussi nécessaire.

Vera contre x86 inclut le coût de la prise en charge d’une autre architecture

Vera utilise Arm, une architecture d’instructions qui diffère de la cible logicielle x86 de la flotte existante de Modal. L’architecture CPU Vera de Nvidia positionne le processeur à la fois pour les serveurs autonomes et les systèmes associés à des accélérateurs. Cela en fait un candidat direct pour une infrastructure d’exécution générale, et pas seulement un accessoire à l’achat d’un GPU.

Un résultat favorable du processeur doit l’emporter sur le travail d’ingénierie et d’exploitation nécessaire pour prendre en charge une cible logicielle supplémentaire.

La compatibilité commence par la capacité du logiciel requis à s’exécuter correctement. La portabilité du code source aide, mais une application dépend aussi de ses bibliothèques, de ses outils de compilation et de ses composants empaquetés. Une migration réussie doit prendre en compte l’ensemble de l’environnement de travail.

L’empaquetage en conteneur n’efface pas cette distinction. Un conteneur regroupe un logiciel et ses dépendances, mais ses composants exécutables doivent toujours prendre en charge l’architecture sous-jacente. Le déplacement du même package entre différentes machines peut donc nécessiter de reconstruire ou de remplacer certains éléments.

Le travail va bien au-delà du lancement d’une démonstration. Les opérateurs ont besoin de builds reproductibles, de diagnostics clairs en cas d’échec et de la certitude que les mises à jour préservent le comportement attendu. Chaque plateforme supplémentaire prise en charge accroît le nombre de combinaisons que les ingénieurs doivent maîtriser.

C’est pourquoi le maintien d’Intel et d’AMD répond à une logique pratique. Les charges de travail existantes peuvent continuer à utiliser une cible familière, tandis que les charges compatibles deviennent candidates à Vera. Cette approche permet à l’adoption de suivre une adéquation démontrée, plutôt que d’exiger une conversion universelle.

Elle complique également l’ordonnancement, le processus qui affecte le travail aux machines disponibles. Une flotte mixte doit envoyer chaque tâche vers un matériel capable de l’exécuter. Une capacité disponible sur une machine incompatible ne peut pas automatiquement répondre à une tâche en attente.

Cette limitation compte lorsque la demande évolue. Des serveurs Vera supplémentaires pourraient accroître la capacité pour une catégorie de charges de travail tout en laissant une autre sous contrainte. L’évaluation de la flotte exige donc davantage que l’addition de tous les processeurs disponibles.

La comparaison concurrentielle doit reconnaître cette asymétrie. Intel et AMD bénéficient déjà de la prise en charge de l’environnement logiciel installé de Modal. Nvidia doit offrir suffisamment de valeur pour justifier un travail que les choix existants n’exigent pas.

Dans le même temps, la compatibilité n’est pas un verdict définitif contre une autre architecture. Un investissement d’ingénierie peut devenir pertinent lorsque les bénéfices opérationnels répétés dépassent sa charge continue. Le seuil dépend du volume des charges de travail, de la portabilité des logiciels et de la capacité de l’opérateur à maintenir le support.

C’est pourquoi Vera face à x86 doit rester une analyse d’achat plutôt qu’un concours de fidélité architecturale. Une famille d’instructions ne détermine pas tous les résultats. La conception du processeur, la configuration mémoire, les logiciels et les conditions de déploiement influencent tous le résultat.

La présence d’une autre alternative basée sur Arm ne reproduirait pas, à elle seule, le comportement de Vera. Le partage d’une architecture d’instructions établit une relation de compatibilité, pas des performances identiques. Les acheteurs ont toujours besoin de mesures provenant des systèmes réels qu’ils envisagent d’exploiter.

Pour les développeurs qui documentent les décisions de migration, une base de connaissances consultable peut préserver les conditions de test et les constats de compatibilité. Cet historique aide à distinguer un bénéfice matériel observé des hypothèses introduites lors de la planification du déploiement.

Le choix de Modal ouvre une opportunité à Nvidia, car l’entreprise est disposée à examiner ces compromis. Il laisse à Intel et AMD un rôle durable, car un matériel adapté doit satisfaire les exigences logicielles autant que les objectifs de performance.

Le résultat de 2x laisse d’importantes questions d’achat en suspens

La couverture de l’adoption des processeurs de Tom’s Hardware indique que Modal conservera des CPU AMD et Intel. Elle relève aussi des lacunes dans les détails de configuration et les comparaisons énergétiques. Ces limites comptent lorsqu’il s’agit de transformer un test interne en recommandation d’achat plus large.

Les éléments disponibles étayent une opportunité propre à certaines charges de travail, tout en laissant sans réponse un classement universel des performances ou de l’efficacité.

Le titre secondaire regroupe Intel et AMD, mais l’affirmation chiffrée la plus claire de Modal identifie une comparaison avec Intel sous charge concurrente. Les lecteurs ne devraient pas convertir silencieusement ce résultat en un avantage identique face à chaque processeur AMD.

Le terme « équivalent » n’explique pas non plus l’ensemble de la comparaison. Les acheteurs doivent savoir ce que signifie cette équivalence : des ressources processeur comparables, une capacité système similaire ou une autre contrainte sélectionnée. Des définitions différentes peuvent produire des interprétations différentes du même résultat mesuré.

La mémoire mérite une attention particulière. La bande passante mémoire mesure la quantité de données pouvant traverser le système mémoire au fil du temps. Si une charge de travail attend de manière répétée des données, une capacité d’exécution supérieure ne résoudra pas forcément son facteur limitant.

Cette observation fournit une question d’évaluation plausible, plutôt qu’une preuve de l’avantage précis de Vera. Attribuer un résultat à la mémoire exige des éléments distinguant le comportement mémoire des autres différences système. Un simple graphique de débit ne peut pas établir l’explication causale complète.

L’efficacité énergétique exige sa propre mesure. Une machine qui accomplit davantage de travail pourrait aussi consommer plus d’électricité. À l’inverse, elle pourrait effectuer un travail utile avec moins d’énergie au total. Aucune de ces conclusions ne découle automatiquement du débit sans données de puissance correspondantes ni période de mesure définie.

L’efficacité commerciale est plus large encore. Les opérateurs doivent considérer l’acquisition, le déploiement, le support et l’utilisation en plus de l’électricité. Aucun résultat divulgué n’établit que les clients bénéficieront d’une réduction correspondante des frais de service.

La fiabilité fait également partie de la comparaison. Une exécution plus rapide lors d’un test contrôlé ne décrit ni le comportement de maintenance, ni la récupération après panne, ni la cohérence dans un déploiement plus vaste. Ces facteurs peuvent influer sur la part de capacité mesurée qui devient une capacité client fiable.

Il existe une tension méthodologique autour de la suppression des délais réseau et modèle. Cela rend la comparaison des processeurs plus propre. Cela limite également la mesure dans laquelle le résultat prédit directement le temps total d’exécution d’un agent.

Une application dominée par des réponses distantes dispose de moins de temps que les améliorations CPU peuvent économiser. Une application dominée par l’exécution locale a davantage de raisons d’étudier le résultat. Le même constat matériel peut donc compter différemment selon les clients.

Cela n’invalide pas le benchmark. Isoler un composant est une méthode normale pour comprendre sa contribution. L’erreur serait d’appliquer le gain mesuré du composant à l’ensemble de l’application sans mesurer l’application elle-même.

Les générations concurrentes créent une autre cible mouvante. Une décision de déploiement doit comparer les systèmes disponibles selon des calendriers de livraison pertinents. Un résultat face à une machine installée ne tranche pas l’issue face à des produits ultérieurs du même fournisseur.

La conclusion sceptique est précise : Modal a fourni une raison crédible de tester Vera pour l’exécution concurrente, mais les éléments publics ne tranchent pas tous les critères d’achat. Cela suffit à rendre l’annonce d’adoption significative sans la traiter comme un verdict à l’échelle du marché.

Surveiller le déploiement, la réplication indépendante et les réponses des concurrents

Les prochains éléments devraient relier le gain d’exécution rapporté à la capacité disponible, à des mesures reproductibles et aux alternatives d’achat actuelles.

D’abord, surveillez le déploiement défini par Modal. Une annonce de prise en charge devrait préciser quelles charges de travail peuvent utiliser Vera, où la capacité devient disponible et quelles exigences de compatibilité s’appliquent. Ces détails montreraient comment l’évaluation devient un service client.

Le signal d’adoption le plus fort serait l’exécution réussie de charges de travail ordinaires via les mêmes processus opérationnels dont les clients dépendent déjà. Un aperçu à portée limitée représenterait tout de même un progrès, mais il étayerait une conclusion plus restreinte sur la maturité et l’échelle.

La disponibilité seule n’établirait pas que l’avantage de débit perdure. Des éléments de suivi utiles décriraient le comportement sous une demande représentative, y compris les temps d’achèvement et les exécutions échouées. Cela relierait le constat matériel à des résultats que les clients peuvent reconnaître.

Deuxièmement, surveillez une reproduction indépendante avec des configurations claires. Un autre évaluateur devrait divulguer les machines, les paramètres logiciels, la sélection des charges de travail et les règles d’achèvement. Répéter un chiffre marquant sans ces conditions augmenterait la visibilité tout en apportant peu de vérification.

La réplication renforcerait l’argument si l’avantage résistait à des changements raisonnables des conditions de test. Un gain plus faible resterait instructif. Il aiderait les acheteurs à identifier où le résultat initial se transpose et où il dépend d’une configuration particulière.

Les mesures de production ajouteraient une autre couche. Un benchmark élimine les distractions afin d’isoler une question ; un service doit fonctionner malgré ces distractions. Les deux formes d’éléments comptent, mais elles devraient conserver leurs objectifs distincts.

Troisièmement, surveillez la manière dont Intel et AMD répondent à la question d’achat. La réponse pertinente est la performance sur des charges d’exécution d’agents comparables, avec des systèmes que les acheteurs peuvent réellement obtenir. Une victoire dans un benchmark différent offrirait du contexte sans résoudre directement le constat de Modal.

Les tests concurrentiels devraient également préserver la distinction entre une tâche individuelle et un hôte occupé. Une exécution isolée plus rapide peut être précieuse, mais elle ne répond pas automatiquement à un problème de capacité. De même, une capacité agrégée supérieure nécessite un profil de temps de réponse acceptable.

Au cours des prochains mois, ces signaux élargiront ou réduiront la portée de la décision de Modal. Un déploiement clair et une confirmation indépendante renforceraient la position de Nvidia. Des restrictions de compatibilité persistantes ou des résultats propres à certaines charges de travail limiteraient sa portée sans effacer le constat initial.

Pour les lecteurs qui évaluent une infrastructure d’IA, commencez par la partie du flux de travail qui consomme du temps. Demandez aux fournisseurs de distinguer les délais des modèles, l’exécution logicielle et l’attente de capacité partagée. Conservez la charge de travail testée et la configuration matérielle à côté de chaque affirmation de performance. Lorsque Modal adopte les CPU Nvidia Vera, la question concrète est de savoir comment ce choix affecte le travail utile sur le service que vous utilisez. Suivez le déploiement, examinez les résultats reproductibles et comparez les alternatives actuelles avant de considérer un ratio de débit comme une règle générale d’achat. Qu’est-ce qui compte pour votre application : une exécution individuelle plus rapide, davantage de tâches simultanées ou des achèvements plus cohérents lorsque la plateforme est occupée ?