top of page

Les contrôles SDC d’Amazon SageMaker HyperPod ciblent les erreurs que les nœuds sains masquent

il y a 6 heures
14 min de lecture

AWS a publié le 11 novembre trois contrôles d’entraînement destinés à détecter des erreurs GPU que la surveillance matérielle ordinaire peut manquer. Les contrôles SDC d’Amazon SageMaker HyperPod traitent la corruption silencieuse des données, lorsque le matériel renvoie des valeurs incorrectes sans signaler de panne. L’enjeu est opérationnel : un cluster d’entraînement peut sembler sain alors que ses calculs dégradent le modèle.

La référence ajoute des contrôles applicatifs à PyTorch DistributedDataParallel, ou DDP, qui entraîne des copies synchronisées d’un modèle dans des processus distincts. Elle relie ensuite les calculs suspects à des machines spécifiques et au mécanisme de récupération de HyperPod. AWS indique avoir testé des défaillances injectées par logiciel sur 32 GPU NVIDIA H100 répartis sur quatre instances, puis avoir répété les tests avec trois instances.

Meta fournit un repère historique utile. Lors de l’entraînement de Llama 3, l’entreprise a attribué six des 419 interruptions inattendues sur 54 jours à une corruption silencieuse des données. Ces chiffres décrivent des interruptions identifiées, et non le taux d’erreur parmi les calculs d’entraînement. Pour les équipes d’entraînement, l’urgence immédiate est de distinguer le matériel disponible de calculs dignes de confiance.

Les contrôles SDC d’Amazon SageMaker HyperPod placent la détection au sein de l’entraînement

Cette évolution est une implémentation de référence qui confie à l’application d’entraînement la responsabilité de détecter les calculs suspects.

Les contrôles d’intégrité de l’entraînement d’AWS examinent les gradients non finis, les calculs rejoués et les empreintes des poids du modèle. Les gradients décrivent les modifications proposées des paramètres ; les poids sont les paramètres appris eux-mêmes. Une empreinte est une représentation compacte permettant de comparer des structures de données plus volumineuses.

Les contrôles remplissent des fonctions différentes. Les valeurs non finies incluent NaN et l’infini, qui signalent des résultats numériques invalides ou non bornés. Le rejeu compare les calculs entre machines. Les comparaisons de poids recherchent des divergences après les mises à jour de paramètres. Ensemble, ils créent plusieurs occasions d’arrêter un travail suspect.

Il s’agit d’une réponse au niveau applicatif à un problème matériel. Les contrôles de santé existants de HyperPod traitent les défaillances signalées, tandis que la corruption silencieuse ne produit aucune erreur matérielle correspondante. La tâche d’entraînement doit fournir des éléments probants sur lesquels l’infrastructure peut agir.

Cette frontière compte lors de l’interprétation de l’annonce. Une implémentation de référence offre aux ingénieurs un chemin d’intégration concret. Elle n’établit pas que chaque charge de travail HyperPod bénéficie désormais automatiquement d’une protection contre la corruption silencieuse. Le déploiement, la compatibilité et la gestion des incidents restent des responsabilités d’ingénierie.

Cette distinction modifie également la discussion d’achat. Une équipe évaluant une infrastructure d’entraînement gérée devrait demander où s’exécutent les contrôles de correction et qui les maintient. Une affirmation générale concernant une récupération automatique ne peut pas répondre seule à ces questions.

La récupération commence après qu’un système a reconnu un problème. Les erreurs arithmétiques silencieuses mettent à l’épreuve l’étape de détection, avant que la vitesse de remplacement ne devienne pertinente. Un remplacement plus rapide apporte peu d’aide lorsque la tâche n’identifie jamais une machine suspecte.

La détection des défaillances GPU HyperPod devient ainsi une responsabilité partagée entre l’infrastructure et l’ingénierie des modèles. Les opérateurs de plateforme comprennent l’identité des machines et les mécanismes de remplacement. Les ingénieurs d’entraînement savent quelles relations numériques devraient être respectées dans leurs charges de travail. Aucune de ces perspectives ne fournit seule l’ensemble de la chaîne.

Prenons une équipe qui enquête sur un modèle moins performant après une exécution par ailleurs sans incident. Sa première tâche consiste à établir ce qui s’est passé, et non à remplacer immédiatement du matériel. Sans preuves au niveau applicatif, l’enquête doit distinguer les changements de données, les changements d’entraînement, le comportement logiciel et les défaillances matérielles.

La valeur pratique de l’approche AWS réside dans une enquête plus structurée. Une alerte numérique crée un incident précis à examiner. Elle peut offrir à l’équipe un point de départ plus ciblé qu’une variation inexpliquée de la qualité du modèle.

La lecture la plus solide de cette publication est donc procédurale. AWS a décrit comment des résultats d’entraînement suspects peuvent entrer dans un système de récupération existant. La qualité de cette connexion dépend des éléments probants associés à chaque alerte.

Ce cadrage évite de présenter l’annonce comme un nouveau détecteur matériel. Il maintient également l’attention sur la question déterminante : une équipe de production peut-elle reconnaître suffisamment tôt un travail compromis pour limiter ce qu’elle doit recommencer ?

Des copies de modèle concordantes peuvent toujours partager la même erreur

L’accord entre les copies d’un modèle établit leur cohérence, mais la cohérence seule ne peut établir leur exactitude.

DDP utilise un all-reduce, une opération collective qui combine les gradients entre les processus participants. Chaque processus met ensuite à jour son modèle local à l’aide du résultat synchronisé. Un rang est l’identifiant attribué à un processus participant.

La conception de l’entraînement distribué de PyTorch décrit la synchronisation des gradients et l’attente selon laquelle les répliques conservent des paramètres concordants. Cette relation fait de la divergence un élément probant utile. Elle explique aussi pourquoi vérifier uniquement les paramètres finaux laisse une lacune logique.

Supposons qu’un calcul partagé comporte une erreur avant que chaque participant applique sa mise à jour. Les copies de modèle qui en résultent peuvent tout de même concorder. Leur accord indique à un observateur qu’elles ont suivi le même chemin de mise à jour, sans valider indépendamment la mise à jour.

C’est le conflit central derrière l’annonce : la disponibilité de l’infrastructure face à la correction des calculs. La capacité d’un cluster à maintenir les processus d’entraînement en fonctionnement ne permet pas de déterminer si ces processus produisent des résultats fiables.

Ce conflit exerce une pression sur les équipes qui utilisent l’achèvement comme principal jalon opérationnel. Terminer une exécution est nécessaire, mais accepter son résultat exige un raisonnement supplémentaire. Une sortie de processus réussie ne peut répondre à toutes les questions sur le modèle produit.

La même distinction s’applique à l’état d’entraînement enregistré. Un checkpoint est un instantané stocké utilisé pour reprendre l’entraînement. L’écriture puis la lecture réussies de cet instantané établissent la persistance. Elles n’établissent pas indépendamment que les calculs enregistrés étaient corrects.

Pour les responsables de l’ingénierie, cela crée un problème de mesure. Compter les exécutions terminées reflète la disponibilité et la progression de l’exécution. Suivre les résultats de modèle acceptés reflète un résultat différent. Un incident d’intégrité peut révéler l’écart entre ces mesures.

Pour les chercheurs, le problème se manifeste par une incertitude dans l’interprétation des expériences. Un résultat décevant peut refléter la recette d’entraînement, les données, une variation ordinaire ou un problème d’implémentation. La corruption matérielle ajoute une autre hypothèse qui exige des éléments probants.

Les équipes devraient éviter de transformer cette hypothèse en explication par défaut. Un comportement inhabituel de la loss n’identifie pas à lui seul un GPU défaillant. La loss est la mesure numérique de l’erreur du modèle selon l’objectif d’entraînement, et de nombreuses causes peuvent la modifier.

La leçon opérationnelle consiste à préserver les explications concurrentes jusqu’à ce que les preuves les départagent. Une conclusion matérielle devrait devenir plus solide lorsque la défaillance suit une machine. Une conclusion logicielle devrait devenir plus solide lorsque le comportement suit le même code sur différentes machines.

Il s’agit d’une norme analytique, et non d’une affirmation selon laquelle chaque incident sera facile à classer. Certaines enquêtes resteront ambiguës. Un système de surveillance utile devrait préserver cette ambiguïté plutôt que d’attribuer une certitude injustifiée.

Pour les acheteurs d’entreprise, l’implication est concrète. Demandez si les promesses de récupération d’un fournisseur concernent l’exécution interrompue, la divergence numérique ou les deux. Ces capacités traitent des risques liés, mais leurs preuves et leurs exigences d’exploitation diffèrent.

Les contrôles SDC d’Amazon SageMaker HyperPod comptent parce qu’ils exposent cette distinction au sein d’un flux d’entraînement déployable. Leur importance tient moins à l’ajout d’un signal de tableau de bord qu’à la mise à l’épreuve d’hypothèses que les mesures ordinaires d’achèvement laissent intactes.

Le rejeu indépendant apporte des preuves que la réplication ne peut fournir

Recalculer le travail ailleurs fournit un type de preuve différent de celui obtenu en demandant si des copies synchronisées concordent.

L’exemple d’injection de défaillances d’AWS place les contrôles dans une séquence d’entraînement fixe. Il vérifie les gradients avant les mises à jour, audite le travail rejoué à certaines étapes et compare les poids ensuite.

Un audit de rejeu en anneau attribue à chaque participant le travail d’un autre participant à recalculer. Un micro-batch est la portion des données d’entraînement traitée dans ce calcul. L’audit compare les résultats produits à partir d’un travail identique, plutôt que de données non liées.

Cette distinction est essentielle. Des entrées d’entraînement différentes peuvent légitimement produire des gradients différents. Considérer chaque différence comme une preuve de problème matériel confondrait le comportement attendu de l’entraînement avec une défaillance.

La référence compare les valeurs de loss et, avec une exécution déterministe, les empreintes des gradients. L’exécution déterministe signifie que répéter une opération avec les mêmes entrées produit le même résultat. Elle rend les comparaisons exactes significatives dans la configuration prise en charge.

L’exemple identifie aussi des limites. Les erreurs finies au sein de la réduction des gradients échappent à ces contrôles. Les empreintes de poids ne peuvent pas révéler des mises à jour erronées identiques sur chaque copie. La comparaison des poids répliqués ne couvre pas directement les poids shardés, qui répartissent les paramètres au lieu d’en conserver des copies complètes.

Ces limites suggèrent une méthode utile pour évaluer le mécanisme. Chaque contrôle devrait être jugé selon la question à laquelle il répond. Combiner des contrôles étend la couverture, mais ne transforme pas des preuves partielles en garantie universelle.

Le rejeu indépendant soulève également une question de confiance concernant le vérificateur. Si la machine de vérification est défaillante, une divergence n’identifie pas automatiquement quel côté a calculé de manière incorrecte. La confirmation nécessite donc des preuves au-delà d’une seule paire en conflit.

L’exigence de machines indépendantes est plus qu’un détail de déploiement. Un audit gagne en valeur lorsque ses participants ne partagent pas la défaillance suspectée. Compter les processus sans tenir compte de leur emplacement physique peut surestimer l’indépendance.

Ce raisonnement s’étend au-delà de l’entraînement GPU. Chaque fois que des systèmes répliqués partagent des résultats intermédiaires, la réplication peut diffuser des informations correctes comme incorrectes. Un calcul indépendant offre une occasion distincte de remettre en question le résultat partagé.

Pour les équipes de modèles, la charge d’intégration réside dans la reproductibilité. Reconstruire le même travail exige de contrôler les entrées et les conditions d’exécution. Si ces conditions diffèrent, une divergence devient plus difficile à interpréter.

Les conseils de PyTorch sur le calcul reproductible avertissent que la reproductibilité n’est pas garantie entre les versions ou les plateformes. Ils expliquent également que les opérations déterministes peuvent réduire les performances. Une graine aléatoire fixe n’élimine pas à elle seule toutes les sources de non-déterminisme.

Le compromis pratique découle de ces contraintes. Un système de relecture a besoin d’une définition explicite d’un travail comparable. Cette définition doit rester valable à mesure que les ingénieurs modifient les bibliothèques, les opérateurs, la gestion des données et l’architecture du modèle.

Pour les lecteurs évaluant la détection des défaillances de GPU sur HyperPod, la bonne question est donc spécifique à la charge de travail. L’équipe peut-elle reproduire le calcul pertinent avec une fiabilité suffisante pour que tout désaccord devienne un élément de preuve exploitable ?

La réponse doit venir des tests effectués sur la charge de travail réelle. Un exemple clair rend l’approche vérifiable, mais l’acceptation en production exige de comprendre quelles hypothèses le modèle de production conserve.

Le remplacement d’un nœud exige une décision, pas seulement une alarme

Une alarme devient utile sur le plan opérationnel lorsqu’elle identifie à la fois le matériel suspecté et la décision qui doit suivre.

Un symptôme numérique et l’identité d’une machine appartiennent à des couches différentes du système. Le code d’entraînement comprend les rangs et les étapes de calcul. Les contrôles d’infrastructure opèrent sur les nœuds, c’est-à-dire les machines qui hébergent ces processus.

Le flux de récupération de HyperPod relie ces identités. Pour les intervenants en cas d’incident, cette connexion doit rester compréhensible après l’arrêt ou le redémarrage d’une tâche. Sinon, une alarme précise liée à l’entraînement risque de devenir un ticket d’infrastructure imprécis.

La distinction entre confinement et remplacement est également importante. Le confinement limite l’exposition supplémentaire pendant que les ingénieurs évaluent les éléments de preuve. Le remplacement retire la machine suspectée de l’environnement actif. Ces actions ne nécessitent pas le même niveau de confiance.

AWS documente les contrôles de remplacement de nœuds pour les clusters HyperPod utilisant Amazon Elastic Kubernetes Service, sa plateforme Kubernetes gérée. Kubernetes coordonne les charges de travail conteneurisées entre les machines. Les opérateurs peuvent déclencher un remplacement via une API ou un libellé de nœud pris en charge.

La voie du libellé exige que la récupération automatique des nœuds soit activée. AWS documente également une condition pour Karpenter, un système qui provisionne des nœuds en fonction de la demande des charges de travail. Son comportement de remplacement dépend de charges de travail en attente nécessitant de la capacité.

Ces comportements documentés renforcent un point opérationnel plus large. Demander un remplacement et restaurer l’environnement d’entraînement prévu sont deux résultats distincts. Un processus de gestion des incidents doit vérifier l’environnement obtenu, plutôt que de supposer que la demande achève l’ensemble de la récupération.

Le même raisonnement s’applique au redémarrage de l’entraînement. Une machine de remplacement saine ne peut pas supprimer une corruption déjà incorporée dans l’état sauvegardé. La récupération doit donc inclure une décision sur le point où le calcul reprend.

Pour les équipes d’entraînement, le résultat significatif est le rétablissement d’une progression acceptée sur une infrastructure appropriée. Un événement de remplacement prouve qu’une action de récupération a eu lieu. Il ne doit pas devenir le seul indicateur de réussite.

La référence d’AWS recommande une revue humaine avant les remplacements en production, jusqu’à ce qu’une précision spécifique à la charge de travail soit établie. Il s’agit d’une limite de confiance, non d’un rejet de l’automatisation. Le système de détection peut préserver les éléments de preuve pendant que les opérateurs élaborent une politique de remplacement défendable.

Une alarme ambiguë illustre pourquoi cela importe. Remplacer automatiquement une machine après chaque anomalie numérique peut interrompre un travail sain. Ignorer des anomalies ambiguës peut laisser un calcul endommagé continuer à s’exécuter. Une politique utile doit définir comment l’incertitude modifie l’action suivante.

Un principe d’évaluation raisonnable consiste à distinguer le confinement réversible des choix de récupération aux conséquences importantes. Les équipes peuvent évaluer ces choix selon leurs propres exigences de charge de travail et leurs propres éléments de preuve. La référence ne les dispense pas de cette responsabilité.

Les enregistrements d’incident doivent également relier la décision d’entraînement à la décision d’infrastructure. Les ingénieurs examinant l’événement doivent comprendre pourquoi un calcul est devenu suspect et pourquoi une machine particulière a été sélectionnée.

Pour les organisations qui structurent déjà leurs runbooks techniques, une base de connaissances consultable peut aider à conserver ces décisions. L’enregistrement utile relie le comportement observé, la configuration de la charge de travail, les résultats de l’enquête et l’issue de la récupération.

Un flux de récupération HyperPod mature doit rendre les désaccords vérifiables. Son objectif est d’appuyer une action justifiée, suivie de preuves que l’entraînement a repris depuis un état acceptable.

Les défaillances synthétiques établissent un comportement, pas la fiabilité en production

Les expériences publiées permettent d’évaluer l’implémentation, tout en laissant sans réponse les taux de détection sur du matériel réel.

AWS a testé des défaillances logicielles délibérément injectées plutôt qu’un parc mesuré de GPU connaissant des défaillances naturelles. Cette distinction limite ce que les lecteurs peuvent en déduire. Les tests décrivent des scénarios de défaillance sélectionnés, et non la prévalence de la corruption silencieuse en production.

Un test synthétique peut établir si une entrée choisie déclenche une alarme attendue. Il ne peut pas établir que du matériel réel échouera de la même manière. Il ne peut pas non plus mesurer le taux de production d’incidents manqués sans éléments de preuve indépendants.

Cela crée plusieurs questions d’évaluation distinctes. L’implémentation réagit-elle comme prévu ? La charge de travail respecte-t-elle ses hypothèses ? Les défaillances naturelles produisent-elles des signaux observables ? Les opérateurs peuvent-ils agir sur ces signaux sans perturbation excessive ?

Ces questions doivent rester distinctes lors de l’examen des affirmations d’adoption. La réussite d’un exercice de défaillances injectées étaye la confiance fonctionnelle. Les observations de charges de travail sur une longue durée soutiennent un jugement différent sur l’utilité opérationnelle.

La préoccupation historique dépasse AWS. Les recherches de Google sur le calcul silencieux décrivent des erreurs de processeur qui échappent à la détection conventionnelle. Ces travaux remettent en cause l’hypothèse selon laquelle un calcul défaillant se manifeste toujours par une panne.

Cette comparaison apporte du contexte plutôt qu’un classement de produits. Les recherches de Google concernent un problème de systèmes plus large et ne valident pas indépendamment l’implémentation d’AWS. Elles montrent toutefois pourquoi des éléments de preuve visibles au niveau de l’application ont leur place dans les discussions sur la fiabilité de l’infrastructure.

Meta offre une autre perspective grâce à son expérience d’exploitation de grands systèmes d’entraînement. Ses chiffres attribués sur les interruptions donnent au problème un repère concret. Ils n’indiquent pas aux acheteurs à quelle fréquence une charge de travail HyperPod particulière rencontrera une corruption silencieuse.

Aucune de ces comparaisons ne permet d’affirmer qu’un fournisseur de cloud est plus sûr qu’un autre. Des jugements comparables exigeraient des charges de travail, des méthodes de mesure et une couverture de détection comparables. Les sources disponibles ne fournissent pas cette référence.

L’angle sceptique le plus solide concerne l’écart entre un audit et le travail qu’il représente. Un contrôle réussi décrit ce que le contrôle a examiné. Il ne doit pas être interprété comme une certification de l’ensemble des calculs effectués avant et après lui.

La vérification périodique laisse nécessairement des questions sur le travail non examiné. Augmenter la fréquence de vérification modifie cette exposition, mais modifie aussi l’utilisation des ressources. Les équipes doivent évaluer cet équilibre au regard des conséquences d’une répétition de l’entraînement.

Les comparaisons d’empreintes créent une distinction connexe entre preuve et démonstration. Une représentation compacte rend les comparaisons à grande échelle pratiques. Son utilité n’efface ni les hypothèses sous-jacentes à la comparaison ni la possibilité de différences non détectées.

Pour les décideurs, la question économique centrale est la production acceptée par unité d’effort. Les contrôles supplémentaires consomment des ressources. La corruption non détectée peut également gaspiller des ressources par des expériences invalides ou des travaux répétés.

Cet équilibre ne peut pas être tranché par une affirmation générique sur les surcoûts. Il dépend du modèle, du système d’entraînement, du schéma d’incidents observé et de la valeur d’une détection plus précoce. Une évaluation spécifique à la charge de travail fait donc partie de l’adoption, et non d’un suivi facultatif.

Les contrôles SDC d’Amazon SageMaker HyperPod méritent l’attention en tant que proposition d’ingénierie vérifiable. Les éléments de preuve soutiennent l’expérimentation et la mesure de l’approche. Ils ne permettent pas de considérer un audit réussi comme un certificat universel de bon état.

Trois signaux détermineront si l’approche se généralise

Les prochaines preuves utiles sont l’adoption par les charges de travail, l’attribution vérifiée des incidents et une récupération qui restaure une progression d’entraînement acceptée.

Premièrement, surveillez les évaluations sur des charges de travail de production au-delà de l’exemple fourni. Des éléments de preuve plus solides décriraient les exigences de compatibilité, le comportement en exécution normale et les conséquences de l’activation des contrôles. Un résultat qui omet les conditions de la charge de travail offre peu d’indications à une autre équipe.

La reproductibilité mérite une attention particulière dans ces évaluations. Si une implémentation dépend d’hypothèses d’exécution qu’un modèle de production ne peut pas respecter, la couverture de détection évolue. Rapporter clairement cette évolution renforcerait la confiance dans l’évaluation.

Les expériences publiées devraient également distinguer les désaccords observés lors d’exécutions saines des incidents matériels confirmés. Un simple nombre d’alarmes en dit peu sur l’utilité. Les lecteurs doivent comprendre ce que les enquêteurs ont conclu et quels éléments de preuve étayaient cette conclusion.

Deuxièmement, surveillez les incidents naturels dans lesquels la défaillance suspectée suit un matériel spécifique. De tels rapports aideraient à relier les expériences contrôlées aux opérations réelles. Ils seraient plus informatifs si les enquêteurs décrivaient également les explications logicielles qu’ils ont examinées.

Un compte rendu d’incident convaincant n’a pas besoin de revendiquer une certitude allant au-delà de ses éléments de preuve. Un cas non résolu peut tout de même apprendre aux opérateurs comment le processus se comporte. Une incertitude transparente aide d’autres équipes à juger si leurs propres éléments de preuve sont plus solides ou plus faibles.

À l’inverse, des alarmes répétées qui suivent une configuration logicielle sur des machines saines remettraient en cause la politique de remplacement. Elles suggéreraient que les hypothèses de comparaison de l’application nécessitent une attention particulière. Ce résultat améliorerait la compréhension même s’il affaiblissait un diagnostic matériel initial.

Troisièmement, surveillez si les rapports de récupération mesurent le retour complet à un travail utile. Le remplacement de machine est un événement parmi d’autres dans ce processus. Le résultat pertinent inclut un point de redémarrage approprié et un comportement d’entraînement ultérieur que l’équipe accepte.

Ce signal doit inclure les récupérations échouées comme les réussies. Un redémarrage qui déclenche à répétition la même alarme inexpliquée révèle une dépendance non résolue. Un remplacement achevé sans point de contrôle acceptable laisse le problème d’entraînement initial inachevé.

Il s’agit de priorités d’observation pour les mois à venir, et non de versions AWS promises. Chacune teste une partie différente de la proposition. L’adoption teste la compatibilité, les incidents réels testent l’attribution et les résultats de récupération testent la valeur opérationnelle.

Pour les équipes qui envisagent l’approche dès maintenant, une évaluation limitée est plus instructive qu’une affirmation générale de protection. Elle doit commencer par une charge de travail définie et une déclaration explicite de ce qu’établissent les contrôles réussis.

La valeur de l’implémentation augmentera si les opérateurs peuvent expliquer clairement ses alarmes. Cette explication doit survivre à une passation entre les ingénieurs modèle et les intervenants d’infrastructure. Un système qui détecte un désaccord mais perd le raisonnement lors de l’escalade reste difficile à exploiter.

Avant d’adopter les vérifications SDC d’Amazon SageMaker HyperPod, choisissez une charge de travail d’entraînement et documentez les hypothèses que votre équipe s’attend à voir respectées. Établissez quelles preuves justifient un confinement, lesquelles appuient un remplacement et comment les ingénieurs sélectionneront un point de reprise acceptable. Conservez suffisamment de contexte pour pouvoir examiner ces décisions après l’incident. Comparez une récupération réussie au simple redémarrage du travail, car ces résultats répondent à des questions différentes. Évaluez ensuite les vérifications par rapport aux travaux réellement exécutés par votre équipe, y compris le comportement normal et des défaillances délibérément introduites. Utilisez l’implémentation publiée comme point de départ de cette évaluation. Votre équipe peut-elle expliquer pourquoi une alarme identifie un matériel suspect et démontrer pourquoi l’état d’entraînement repris mérite confiance ?

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page