DeepSeek Flash 0731 entre dans le top trois des modèles ouverts, mais son avance dans les benchmarks doit être testée
DeepSeek Flash 0731 a atteint le score de 50 sur l’Artificial Analysis Intelligence Index, plaçant ce modèle récemment publié parmi les trois meilleurs systèmes à poids ouverts.
Ce résultat dépasse de dix points le précédent score de DeepSeek V4 Flash, selon des tests indépendants. Cette progression est importante, car DeepSeek a conservé l’architecture Flash, plus compacte, tout en concentrant sa mise à jour sur le comportement des agents.
Cette publication accentue également la pression sur les grands modèles ouverts de Zhipu AI, Moonshot AI, Alibaba et d’autres laboratoires chinois. Elle remet en question l’idée selon laquelle un nombre plus élevé de paramètres totaux ou actifs reste la voie la plus sûre vers des agents plus performants.
Mais un score composite ne peut pas trancher le débat. DeepSeek a utilisé son propre environnement d’évaluation d’agents, non publié, pour plusieurs évaluations de code rendues publiques. Deux évaluations citées proviennent également de jeux de tests internes.
L’enjeu principal oppose donc des agents à poids ouverts plus petits à des systèmes plus grands, et non DeepSeek à une entreprise en particulier. Flash 0731 rend l’approche plus compacte plus crédible, mais des charges de travail externes doivent désormais confirmer son efficacité annoncée.
Ce qui a changé dans DeepSeek Flash 0731
DeepSeek a davantage modifié le comportement du modèle que son architecture de base, puis a publié le résultat sous licence MIT.
DeepSeek présente 0731 comme la version officielle de DeepSeek V4 Flash, remplaçant l’aperçu précédent. Sa fiche de modèle indique que la mise à jour améliore sensiblement les capacités agentiques.
Un modèle agentique ne se contente pas de répondre à des invites isolées. Il planifie des étapes, appelle des outils, examine les résultats et ajuste son approche tout au long de l’exécution d’une tâche.
Le modèle conserve la structure V4 Flash, avec 284 milliards de paramètres au total et environ 13 milliards activés pour chaque token. Cette conception repose sur un mélange d’experts, ou MoE, qui oriente chaque token vers des composants spécialisés sélectionnés.
Cette distinction est importante. Les paramètres totaux indiquent la capacité stockée du modèle, tandis que les paramètres activés reflètent mieux le calcul utilisé lors d’un unique passage avant.
DeepSeek a également conservé DSpark, son module de décodage spéculatif associé. Le décodage spéculatif permet à un composant brouillon de proposer plusieurs tokens avant que le modèle principal ne les vérifie, améliorant la vitesse de génération lorsque les prédictions sont acceptées.
Le checkpoint publié utilise une précision mixte FP4 et FP8. Ses poids d’experts utilisent une représentation sur quatre bits, tandis que la plupart des autres paramètres utilisent une représentation sur huit bits.
Une précision numérique plus faible réduit les besoins de stockage et de mémoire, même si la prise en charge matérielle et l’implémentation à l’exécution déterminent encore les performances pratiques. Le dépôt occupe environ 167GB dans l’ensemble de ses fichiers publiés.
DeepSeek a publié ces poids sous licence MIT, qui autorise généralement la modification, la redistribution et l’utilisation commerciale avec des obligations limitées. Le terme « open source » reste imparfait pour des modèles dont les données d’entraînement et le code complet d’entraînement ne sont pas publics.
« Poids ouverts » est plus précis. Les développeurs peuvent inspecter, exécuter, adapter et redistribuer le checkpoint, mais ils ne peuvent pas reproduire entièrement sa création à partir des éléments publiés.
DeepSeek a également placé le modèle mis à jour derrière son API officielle. Les utilisateurs existants peuvent continuer à employer l’identifiant de modèle deepseek-v4-flash plutôt que de migrer vers un endpoint 0731 distinct.
L’API prend en charge des formats de requête compatibles avec OpenAI et Anthropic. Cette compatibilité réduit la charge d’intégration pour les équipes qui utilisent déjà des interfaces courantes de complétion de chat ou d’agents.
DeepSeek affirme que l’architecture et les conditions commerciales restent alignées sur le précédent service Flash. L’entreprise a donc présenté 0731 comme une mise à niveau des capacités, et non comme un nouveau produit premium.
Cette combinaison crée la tension centrale. Les développeurs obtiennent un agent dont les performances annoncées sont supérieures sans adopter un modèle actif plus grand, une licence de poids restrictive ou une nouvelle intégration d’API.
Pourquoi un score de 50 change la course aux modèles ouverts
Ce score compte parce qu’il fait entrer un modèle relativement petit en paramètres actifs dans une catégorie auparavant associée à des systèmes ouverts plus grands.
Artificial Analysis rapporte que DeepSeek Flash 0731 a obtenu 50 sur son Intelligence Index. Le précédent DeepSeek V4 Flash avait obtenu 40 dans le cadre d’évaluation de cette même organisation.
L’indice agrège les performances sur plusieurs évaluations de raisonnement, de connaissances, de mathématiques et de code. Il fournit un point de comparaison commun, même si aucune métrique composite ne représente toutes les charges de travail de déploiement.
Une amélioration de dix points est suffisamment importante pour modifier les discussions sur la sélection des modèles. Il ne s’agit pas simplement d’une petite révision dissimulée dans le bruit de mesure.
Ce résultat placerait le modèle parmi les trois offres à poids ouverts les plus solides mesurées par l’organisation. Il laisse également Flash proche de plusieurs systèmes de pointe dont l’empreinte active est nettement plus grande.
Cela crée une pression immédiate sur les fournisseurs qui rivalisent par l’échelle des modèles. Un acheteur évaluant un agent s’intéresse souvent davantage au travail accompli, à la latence, aux exigences d’hébergement et au contrôle qu’au nombre total de paramètres.
Un modèle avec moins de paramètres actifs peut améliorer ces aspects économiques si sa qualité résiste à des tests indépendants. Moins de calcul par token généré peut permettre un débit plus élevé ou des besoins d’infrastructure réduits.
Toutefois, l’efficacité d’un MoE ne signifie pas un déploiement facile. Les 284 milliards de paramètres doivent toujours être stockés, et les implémentations doivent déplacer efficacement les poids d’experts entre les accélérateurs.
Le checkpoint officiel reste donc hors de portée d’un GPU grand public ordinaire. L’exemple de déploiement de DeepSeek utilise un seul nœud contenant quatre accélérateurs GB300.
Les quantifications communautaires peuvent réduire davantage les besoins en mémoire, mais elles introduisent une autre variable. Une quantification agressive peut modifier la précision, le comportement des outils et les performances sur de longs contextes.
La publication à poids ouverts offre néanmoins aux équipes des options que les API fermées ne peuvent pas fournir. Les organisations peuvent conserver leurs invites dans une infrastructure contrôlée, modifier le comportement d’inférence ou créer des adaptations spécifiques à leur domaine.
Elles peuvent également examiner les résultats sur des jeux d’évaluation privés sans envoyer de contenus sensibles à un fournisseur externe de modèles. C’est utile pour les agents de code qui travaillent avec des dépôts propriétaires.
La publication exerce une pression sur les grands modèles ouverts d’une autre manière. Leurs développeurs doivent désormais justifier que le calcul actif supplémentaire apporte une meilleure fiabilité, de meilleures connaissances ou une exécution d’agents complexes plus performante.
Un modèle plus grand peut rester le bon choix. Les propres résultats de DeepSeek montrent que Flash ne surpasse pas tous les systèmes propriétaires ni toutes les cibles de comparaison.
La question est celle de l’écart de performance. Lorsqu’un modèle plus petit se rapproche d’un concurrent plus grand, les acheteurs se demandent si la différence restante justifie le matériel supplémentaire et la complexité opérationnelle.
Cette question est particulièrement importante pour les charges de travail d’agents répétées. Un modèle peut générer des milliers de tokens, appeler des outils à de nombreuses reprises et conserver un long historique au cours d’une même mission.
De faibles différences d’efficacité se cumulent à travers ces étapes. Un modèle crédible avec 13 milliards de paramètres actifs peut donc compter davantage dans une boucle d’agent que dans un bref échange avec un chatbot.
Le score de 50 ne désigne pas un vainqueur universel. Il modifie la charge de la preuve pour les modèles qui consomment davantage de ressources tout en offrant une intelligence mesurée similaire.
Le mécanisme derrière la mise à niveau de DeepSeek Flash
DeepSeek a amélioré le post-entraînement, le contrôle du raisonnement et l’exécution des agents sans présenter 0731 comme une nouvelle architecture de base.
L’entreprise affirme que Flash 0731 possède la même structure que le précédent modèle V4 Flash DSpark. Cela signifie que les gains annoncés reflètent principalement l’entraînement et le raffinement comportemental.
Le post-entraînement façonne la manière dont un modèle préentraîné suit les instructions, raisonne, utilise des outils et répond aux retours. Il peut modifier considérablement les performances pratiques sans changer le nombre de paramètres sous-jacent.
DeepSeek n’a pas publié de recette d’entraînement complète pour 0731. Les éléments disponibles montrent le résultat et l’interface d’exécution, mais pas chaque jeu de données ni chaque décision d’optimisation.
La publication introduit trois paramètres d’effort de raisonnement : faible, élevé et maximal. Ces paramètres contrôlent la quantité de délibération effectuée par le modèle avant de produire sa réponse finale.
Ce contrôle est important pour les produits d’agents. Une simple demande de mise en forme ne devrait pas consommer le même budget de raisonnement que le débogage d’un dépôt ou une tâche de recherche en plusieurs étapes.
DeepSeek recommande un effort élevé ou maximal pour les tâches exigeantes. Selon les instructions du modèle, il prend également en charge une longueur de sortie maximale de 384 000 tokens dans ces modes.
Un plafond de sortie élevé ne signifie pas que chaque tâche devrait s’en approcher. Un raisonnement plus long peut accroître la latence et multiplier les occasions pour un modèle de s’écarter de sa trajectoire.
Le modèle conserve également la fenêtre de contexte d’un million de tokens de la famille V4. Le contexte correspond aux éléments disponibles lors d’une interaction, y compris les invites, les fichiers, les résultats d’outils et le raisonnement antérieur.
Le rapport technique original de DeepSeek décrit des méthodes d’attention hybrides conçues pour rendre ce long contexte plus efficace. L’attention détermine quels tokens antérieurs influencent le calcul en cours.
Une fenêtre d’un million de tokens peut accueillir de grandes bases de code, des traces d’outils étendues ou des collections de documents techniques. La capacité utile du contexte dépend toujours de la précision de la récupération et de la conservation des instructions.
L’architecture utilise une attention creuse compressée parallèlement à une attention fortement compressée. Ces méthodes réduisent le calcul et la mémoire associés au traitement de longues séquences.
DeepSeek utilise également des hyperconnexions contraintes par variété, appelées mHC, pour stabiliser le flux d’information à travers le réseau. Le terme décrit une alternative structurée aux connexions résiduelles conventionnelles.
La pile d’entraînement V4 intègre en outre l’optimiseur Muon. Un optimiseur contrôle la manière dont les paramètres du modèle évoluent pendant l’entraînement, à mesure que le système minimise l’erreur.
Ces choix architecturaux provenaient de l’aperçu V4 original. L’histoire de 0731 concerne la quantité de performances supplémentaires que DeepSeek a extraite de cette base existante.
DSpark fournit un autre mécanisme d’efficacité. Il prédit plusieurs tokens suivants possibles et permet au réseau principal de les accepter ou de les rejeter par groupes.
La configuration officielle de vLLM propose sept tokens spéculatifs à la fois. Les propositions acceptées peuvent augmenter la vitesse de sortie sans remplacer la validation du modèle principal.
Le déploiement exige toujours une prise en charge logicielle adaptée. DeepSeek documente des voies pour vLLM et SGLang, deux moteurs courants pour servir de grands modèles de langage.
La publication n’inclut pas de modèle de chat Jinja conventionnel. DeepSeek fournit à la place des scripts d’encodage Python pour convertir les messages de type OpenAI au format d’entrée requis par le modèle.
Ce choix ajoute du travail d’intégration aux équipes qui servent directement les poids. Les clients de l’API n’ont pas la même responsabilité de mise en forme de bas niveau.
La thèse pratique est simple. DeepSeek a utilisé le calcul creux, des poids à faible précision, le décodage spéculatif et un post-entraînement plus solide pour permettre à Flash de rivaliser au-delà de sa taille active.
Chaque composant a des précédents. Leur résultat combiné, s’il est reproduit en dehors de l’environnement privilégié de DeepSeek, renforce l’argument architectural en faveur de petits agents ouverts.
Les benchmarks d’agents de DeepSeek nécessitent un audit indépendant
Les résultats publiés sont impressionnants, mais leurs affirmations les plus fortes dépendent de conditions de test que des évaluateurs externes n’ont pas encore pleinement reproduites.
DeepSeek annonce un score de 82,7 sur Terminal-Bench 2.1 pour Flash 0731. La préversion a obtenu 61,8, tandis que la préversion V4 Pro a atteint 72,1 dans la comparaison de l’entreprise.
Terminal-Bench évalue des agents qui exécutent des tâches dans des environnements en ligne de commande. Il est plus proche du travail réel de développement logiciel qu’un test statique à choix multiples, mais le protocole d’évaluation qui l’entoure influence les résultats.
Flash 0731 a également obtenu 54,2 sur NL2Repo, selon DeepSeek. La préversion a atteint 39,4, tandis que la préversion Pro plus grande a obtenu 38,5.
Sur CyberGym, DeepSeek annonce une progression de 38,7 à 76,7. CyberGym évalue le comportement d’agents lié à la cybersécurité dans des environnements contrôlés.
La plus forte évolution signalée apparaît sur DeepSWE. Flash 0731 a obtenu 54,4, contre 7,3 pour la préversion Flash et 12,8 pour la préversion Pro.
Ces chiffres suggèrent une évolution importante des performances des agents de programmation. Ils ne permettent pas d’isoler la part attribuable au modèle, aux prompts, au budget de raisonnement ou au protocole d’évaluation.
DeepSeek indique avoir évalué des tâches publiques d’agents de code à l’aide d’un mode minimal de DeepSeek Harness. Ce framework n’a pas encore été publié.
L’entreprise a également utilisé un effort de raisonnement maximal avec une configuration d’échantillonnage précisée. D’autres fournisseurs pourraient obtenir des résultats différents avec des budgets de raisonnement plus courts ou d’autres schémas d’outils.
Deux évaluations supplémentaires, DSBench-FullStack et DSBench-Hard, sont des jeux de tests internes à DeepSeek. Les chercheurs externes ne peuvent actuellement ni examiner leur composition complète ni reproduire indépendamment leurs scores.
DeepSeek annonce 68,7 sur le jeu full-stack et 59,6 sur le jeu difficile. Ces deux résultats dépassent largement ceux des préversions.
Les benchmarks internes ne sont pas automatiquement invalides. Ils peuvent tester des comportements difficiles que les classements publics négligent.
La limite tient à la transparence. Les lecteurs ne peuvent pas évaluer la contamination, la sélection des tâches, la cohérence de la notation ou la sensibilité à la configuration d’agent privilégiée par l’entreprise.
Artificial Analysis apporte un contrepoids indépendant précieux. Son score de 50 confirme que l’amélioration n’apparaît pas uniquement dans les propres tableaux de DeepSeek.
Cet indice reste toutefois agrégé. Un modèle peut gagner des points en progressant sur des tâches qui ne correspondent pas au flux de travail réel d’une équipe.
Les premières réactions des utilisateurs illustrent cet écart. Certains développeurs décrivent de meilleures capacités de programmation et de recherche, tandis que d’autres signalent une verbosité excessive ou des suppositions formulées avec assurance lors de tâches incomplètes.
Ces témoignages sont anecdotiques. Ils comptent comme hypothèses à tester, non comme substitut à une évaluation contrôlée.
La verbosité mérite une attention particulière dans les systèmes d’agents. Un modèle qui raisonne plus longtemps peut améliorer sa précision tout en augmentant la latence et en consommant davantage de tokens de sortie.
L’achèvement formulé avec assurance constitue un autre risque. Les agents rencontrent souvent des champs manquants, des identifiants indisponibles, des exigences ambiguës ou des outils renvoyant des données incomplètes.
Le comportement approprié peut être de s’arrêter et de demander des précisions. Un modèle optimisé pour poursuivre son action peut à la place inventer une valeur, sélectionner un paramètre par défaut dangereux ou soumettre une opération irréversible.
Les équipes devraient donc tester davantage que la précision de la réponse finale. Les évaluations devraient mesurer les appels d’outils inutiles, la récupération après erreur, les états fabriqués, la gestion des autorisations et le comportement d’arrêt.
Les tests de sécurité sont également essentiels. Les poids ouverts donnent davantage de contrôle aux défenseurs, mais ne garantissent pas une résistance aux injections de prompts ou à l’utilisation dangereuse d’outils.
La bonne conclusion n’est pas que les affirmations de DeepSeek sur les benchmarks sont erronées. Les éléments disponibles étayent une amélioration significative, tandis que son ampleur reste dépendante de la charge de travail.
Les poids ouverts transforment le résultat du benchmark en question de déploiement
La publication sous licence MIT permet aux développeurs de tester les affirmations de DeepSeek sur leur propre infrastructure, ce qui rend 0731 plus important qu’une simple entrée de classement réservée aux API.
Les modèles fermés obligent les utilisateurs à accepter l’environnement de service du fournisseur, son calendrier de mise à jour, ses conditions de conservation et sa disponibilité régionale. Les poids ouverts offrent davantage de choix de déploiement.
Une entreprise peut héberger Flash 0731 au sein de son propre périmètre de sécurité. Elle peut aussi restreindre l’accès réseau, journaliser les appels d’outils et appliquer des règles d’approbation propres à l’organisation.
Ces contrôles sont importants pour les agents de programmation. Un modèle capable peut lire des fichiers sources, exécuter des commandes, modifier des dépôts ou accéder à une documentation interne.
L’auto-hébergement ne supprime pas le risque opérationnel. Il transfère davantage de responsabilités à l’organisation qui exécute le modèle.
Les équipes doivent corriger les logiciels d’inférence, sécuriser les endpoints, gérer les identifiants et surveiller les actions générées. Elles ont aussi besoin de suffisamment de mémoire d’accélérateur et de bande passante pour le checkpoint complet.
La taille du dépôt de 167 Go n’est qu’un point de départ. La mémoire d’exécution inclut également les caches, les activations temporaires, la surcharge du serveur et la longueur de contexte choisie.
Le cache clé-valeur stocke les informations nécessaires pour générer les tokens suivants sans recalculer tout l’historique. Des contextes très longs peuvent faire de ce cache un consommateur majeur de mémoire.
DeepSeek recommande la prise en charge du cache FP8 dans son exemple vLLM. Il utilise également le parallélisme d’experts, qui répartit les experts MoE entre plusieurs accélérateurs.
Cette configuration met en évidence le compromis. Seuls 13 milliards de paramètres sont activés par token, mais l’ensemble complet d’experts nécessite tout de même un accès coordonné.
L’utilisation de l’API cloud reste plus simple pour de nombreuses équipes. Le model endpoint de DeepSeek expose Flash via son service existant, évitant la conversion des poids et la gestion d’un cluster.
L’API prend désormais en charge à la fois les requêtes familières de complétion de chat et le format Responses API. Les interfaces de type Responses facilitent la coordination des outils, de l’état et des sorties en plusieurs étapes au sein d’applications d’agents.
La commodité de l’API soulève des questions distinctes sur le traitement des données, la disponibilité du service et la conformité régionale. Les acheteurs devraient évaluer ces enjeux indépendamment de la qualité des benchmarks.
Le déploiement ouvert offre une alternative lorsque ces contraintes sont inacceptables. Il permet aussi de rattacher plus facilement le comportement du modèle à un checkpoint précis.
Ce contrôle des versions compte, car les identifiants hébergés peuvent changer sous une application. DeepSeek a mis à jour l’identifiant Flash existant afin qu’il pointe vers 0731.
Une amélioration silencieuse des capacités semble utile, mais les équipes de production ont besoin de tests de régression. Un raisonnement plus solide peut malgré tout modifier le formatage, le choix des outils, la latence ou le comportement de refus.
Les utilisateurs en auto-hébergement peuvent conserver côte à côte les checkpoints de la préversion et de 0731. Ils peuvent comparer les deux modèles avec des prompts identiques avant de migrer.
La licence MIT autorise également des adaptations spécialisées. Les organisations peuvent affiner le modèle selon leurs conventions de code internes, leurs workflows structurés ou des domaines professionnels ciblés.
Le fine-tuning introduit sa propre charge de validation. Les améliorations sur des tâches familières peuvent réduire la généralité ou affaiblir les comportements de sécurité ailleurs.
La publication élargit donc le contrôle sans éliminer les compromis. Les développeurs gagnent la capacité de vérifier, modifier et servir le modèle, tout en assumant davantage de responsabilités techniques.
Pour les acheteurs en entreprise, ce contrôle peut être décisif. Pour les petites équipes, l’API officielle ou un fournisseur d’hébergement de confiance restera l’option la plus pratique.
Dans les deux cas, les poids ouverts transforment un score abstrait en artefact testable. Les concurrents doivent répondre avec un accès comparable, des avantages plus clairs ou des preuves de fiabilité plus solides.
Trois signaux détermineront si 0731 conserve sa position
Des tests indépendants d’agents, le comportement des tokens en production et les réponses des concurrents détermineront si DeepSeek Flash 0731 représente un changement durable.
Le premier signal sera la reproduction des résultats via des protocoles d’agents neutres. Les chercheurs doivent exécuter Flash 0731 sur Terminal-Bench, des tâches de dépôt et des suites d’utilisation d’outils sans le framework non publié de DeepSeek.
Reproduire les chiffres de l’entreprise renforcerait l’affirmation selon laquelle le post-entraînement a transformé le modèle lui-même. Une forte baisse montrerait que le protocole a porté une plus grande part de l’amélioration.
Les tests devraient publier les prompts, les définitions d’outils, les paramètres de raisonnement, les politiques de nouvelle tentative et les procédures de notation. Les scores d’agents sont difficiles à interpréter lorsque ces contrôles restent cachés.
Le deuxième signal sera l’efficacité en production. Les équipes devraient mesurer le nombre de tâches achevées par heure, le total de tokens générés, la récupération après erreur et l’intervention humaine.
Un score d’intelligence de 50 points comptera moins si le modèle exige des traces de raisonnement inhabituellement longues. Il comptera davantage si Flash termine le travail avec moins de ressources que des concurrents plus grands.
Les développeurs devraient également suivre les hypothèses non étayées. Un agent rapide qui fabrique des informations manquantes peut imposer davantage de travail de vérification qu’un modèle plus lent qui demande des précisions.
La latence doit faire l’objet de mesures distinctes dans des contextes courts et longs. Le routage MoE, la croissance du cache et le décodage spéculatif peuvent se comporter différemment à mesure que l’historique d’un agent s’allonge.
Le troisième signal sera la réponse des développeurs de modèles ouverts concurrents. Zhipu AI, Moonshot AI, Alibaba et d’autres laboratoires subissent désormais une pression pour améliorer les petits modèles axés sur les agents.
Une réponse directe pourrait passer par un post-entraînement plus solide, une inférence plus efficace, des publications de poids plus larges ou des évaluations d’agents vérifiées de manière indépendante.
Si les concurrents doivent recourir à des modèles actifs sensiblement plus grands pour reprendre la tête, l’argument d’efficacité de DeepSeek se renforcera. Si un rival plus petit dépasse rapidement 0731, le score paraîtra temporaire.
Les fournisseurs propriétaires restent également un contexte utile. Leurs meilleurs modèles dominent encore certaines évaluations complexes de programmation et d’agents, y compris plusieurs comparaisons publiées par DeepSeek.
La voie ouverte n’a pas besoin de gagner chaque benchmark. Elle doit devenir suffisamment fiable pour que le contrôle et la flexibilité de déploiement l’emportent sur l’écart de qualité restant.
Au cours des trois prochains mois, les acheteurs devraient éviter de traiter un seul classement comme une décision d’achat. Ils devraient élaborer des évaluations à partir de dépôts, d’outils, d’autorisations et de conditions d’échec réels.
Utilisez des tâches dont les réponses sont connues, mais incluez aussi des cas ambigus. Mesurez si l’agent reconnaît l’absence d’informations et s’arrête avant d’entreprendre une action dangereuse.
Enregistrez chaque version de modèle et chaque paramètre d’exécution. Un même nom de modèle public peut pointer vers un checkpoint hébergé modifié, tandis que des quantifications locales peuvent produire des comportements différents.
DeepSeek Flash 0731 a mérité une attention sérieuse, car des tests indépendants étayent une amélioration majeure. Ses poids ouverts rendent une vérification approfondie possible, plutôt que simplement théorique.
La prochaine étape appartient aux développeurs et aux évaluateurs. Testez le modèle sur votre workflow répétable le plus exigeant, comparez les résultats obtenus et publiez suffisamment de détails pour que d’autres puissent reproduire le résultat.
Si ces tests confirment sa position dans les benchmarks, de petits modèles ouverts actifs deviendront une option par défaut crédible pour de nombreux systèmes d’agents. Dans le cas contraire, 0731 restera un score frappant avec un scénario de déploiement plus limité.
