Sakana AI fait état de progrès en auto-amélioration récursive, mais la supervision reste une contrainte
Sakana AI a achevé deux cycles d’entraînement d’auto-amélioration récursive par intelligence collective, faisant état de meilleures performances de recherche tout en s’appuyant sur un seul modèle partagé. Sa nouvelle méthode de Multi-Agent Self-Supervision, appelée MASS, transforme le travail coordonné d’agents en données d’entraînement pour ce même modèle. Le résultat n’est pas une explosion autonome de l’intelligence. Il s’agit d’une expérience contrôlée visant à déterminer si des équipes d’IA peuvent produire des enseignements utiles pour leur modèle sous-jacent commun.
Le conflit central se trouve au sein même de la boucle. MASS demande à un modèle de résoudre des tâches, d’organiser ses agents, d’évaluer leur travail et d’apprendre à partir des résultats sélectionnés. Cette conception réduit la dépendance à l’égard de superviseurs externes plus puissants. Elle permet aussi à un même angle mort d’influencer chaque étape.
L’expérience part de Qwen3.6-27B et se concentre sur des tâches de recherche ouvertes liées à la finance, à la robotique et à la pharmacie. Après deux cycles, le modèle obtenu s’améliore sur plusieurs benchmarks de recherche connexes. Les performances baissent toutefois légèrement sur deux benchmarks d’ingénierie logicielle, ce qui révèle une limite importante des résultats.
Ce résultat contrasté distingue MASS des affirmations plus larges sur l’IA auto-améliorante. Sakana AI a produit des éléments indiquant que des trajectoires collectives peuvent entraîner un modèle plus efficacement dans un cadre de recherche défini. L’entreprise n’a pas montré que l’amélioration récursive se poursuivait indéfiniment, se transférait partout ou restait sûre sans supervision indépendante.
MASS transforme le travail d’équipe en signal d’entraînement
Le changement important est que la coordination multi-agent ne s’arrête plus une fois qu’une réponse est produite.
La plupart des systèmes multi-agents utilisent plusieurs instances de modèle durant l’inférence. Un orchestrateur divise une tâche, attribue des rôles, collecte les résultats et assemble une réponse finale. Cette coordination supplémentaire peut améliorer une réponse, mais les poids du modèle sous-jacent restent inchangés.
MASS prolonge ce travail dans le post-entraînement. Ses agents génèrent des trajectoires complètes contenant des messages, des appels d’outils, des artefacts intermédiaires et des résultats. Le système classe ces trajectoires, sélectionne les meilleurs exemples et affine le modèle partagé à partir de ceux-ci.
Les chercheurs qualifient cette approche d’auto-supervision multi-agent. Le même modèle de langage fait office d’exécutant, d’optimiseur de flux de travail et d’évaluateur. Chaque rôle utilise les mêmes poids sous-jacents, même si des instances distinctes peuvent gérer différentes parties d’une exécution.
Cette distinction est importante. Le système ne combine pas plusieurs modèles entraînés indépendamment, aux connaissances ou objectifs différents. Il demande à des copies d’un même modèle de s’organiser, puis distille leur comportement sélectionné dans leurs poids communs.
Le processus comporte deux boucles reliées. La boucle interne cherche un meilleur flux de travail tout en gardant les poids du modèle fixes. La boucle externe entraîne le modèle sur les trajectoires produites par le flux de travail retenu.
Un flux de travail est un plan fondé sur des prompts pour organiser l’équipe. Il précise les rôles des agents, les instructions, les livrables requis et l’ordre des communications. MASS peut réviser ce plan sans modifier le modèle durant la recherche.
Pour chaque tâche d’entraînement, le système conserve un flux de travail champion. Une équipe candidate exécute la tâche, puis le modèle compare son espace de travail au résultat du champion. L’optimiseur utilise ensuite ce jugement pour réviser le flux de travail.
Une fois qu’il trouve un flux de travail privilégié, le système l’exécute 18 fois pour chaque tâche. Le modèle classe les espaces de travail obtenus par comparaisons par paires. Un modèle Bradley-Terry convertit ces préférences en score pour chaque espace de travail.
MASS conserve jusqu’à 16 trajectoires par tâche. Quinze peuvent fournir des exemples d’entraînement, tandis qu’une est réservée à la validation. Le texte du flux de travail est retiré du prompt d’entraînement initial de l’orchestrateur avant l’affinage.
Ce retrait répond à un objectif précis. Il encourage le modèle à déduire comment organiser le travail à partir de la tâche elle-même. Les chercheurs ne lui apprennent pas simplement à répéter une structure d’équipe fixe.
La boucle externe utilise l’adaptation de bas rang, ou LoRA, qui met à jour un ensemble limité de paramètres du modèle durant l’affinage. Les conversations de l’orchestrateur comme celles des sous-agents deviennent des cibles d’entraînement. Le modèle mis à jour revient ensuite comme exécutant, optimiseur et évaluateur pour le cycle suivant.
L’article sur MASS a été soumis le 8 octobre 2026 et décrit deux cycles complets. Sakana AI a également publié une implémentation ouverte contenant les prompts de tâches, les configurations d’entraînement, les outils d’évaluation et la documentation du pipeline.
Cette publication rend l’expérience principale vérifiable. Elle rend également sa portée particulièrement claire. MASS est un pipeline de recherche construit autour de tâches sélectionnées et de mises à jour contrôlées du modèle, et non un système déployé qui se réécrit continuellement.
L’auto-amélioration récursive par intelligence collective produit des gains inégaux
MASS s’améliore surtout là où ses tâches d’évaluation ressemblent au travail de recherche ayant généré ses données d’entraînement.
L’expérience commence avec Qwen3.6-27B dans un environnement d’agent de codage. Sa suite synthétique comprend 12 tâches de recherche dans les domaines de la finance, de la robotique et de la pharmacie. Chaque tâche exige du code, une analyse quantitative et un rapport écrit.
Neuf tâches ont été désignées pour l’entraînement, bien que huit aient finalement contribué des données d’entraînement. Trois tâches, une par domaine, ont été exclues de l’affinage, de la validation et de la sélection des checkpoints.
Des juges externes ont mesuré les progrès sans participer à la boucle d’entraînement MASS. Sakana AI indique que GPT-5.5 et Claude Opus 4.8 ont comparé les espaces de travail achevés. Leurs jugements ont fourni une évaluation externe d’un processus par ailleurs guidé par le modèle Qwen.
Sur les trois tâches synthétiques exclues, le modèle du premier cycle a remporté 53,9 pour cent des comparaisons contre le modèle de base. Le modèle du second cycle a atteint 69,9 pour cent. Il a également remporté 60,8 pour cent des comparaisons contre le modèle du premier cycle.
Les résultats sur les tâches d’entraînement étaient plus solides. Le modèle du premier cycle a enregistré un taux de victoire de 65,6 pour cent contre le modèle de base, tandis que le second cycle a atteint 82,5 pour cent. Cet écart entre les performances sur l’entraînement et les tâches exclues est attendu, mais demeure important.
Les benchmarks publics offrent un test plus large. Sakana AI indique que le modèle du second cycle a obtenu entre 1,2 et 1,6 fois le score du modèle de base par token de sortie. Ces gains sont apparus sur MLR-Bench, DSBench, ScienceAgentBench et AstaBench E2E-Hard.
Les scores sous-jacents racontent une histoire plus détaillée. MLR-Bench est passé de 1,71 pour le modèle de base à 2,25 après deux cycles. Son taux de remise des articles est passé de 57 pour cent à 76 pour cent.
ScienceAgentBench est passé de 28,8 pour cent à 31,7 pour cent. AstaBench est passé de 0,053 à 0,067, tandis que son taux de remise des rapports est passé de 50 pour cent à 76 pour cent.
DSBench n’a évolué que légèrement, de 0,473 à 0,482. Cette faible variation absolue sous-tend un ratio score-par-token plus élevé, car le calcul d’efficacité tient aussi compte de la longueur des sorties.
Deux benchmarks d’ingénierie logicielle ont reculé. Terminal-Bench 2.0 est passé de 0,375 à 0,352. SWE-bench Verified est passé de 0,626 à 0,611.
Leurs ratios score-par-token ont atteint 0,96 et 0,94 fois les résultats du modèle de base. Ces baisses remettent directement en cause toute affirmation selon laquelle MASS aurait produit un modèle généralement plus performant.
L’explication probable est l’alignement des tâches. La suite d’entraînement met l’accent sur la recherche ouverte avec du code, des preuves et des rapports. Elle n’inclut pas de tâches d’ingénierie logicielle ressemblant au débogage de dépôts ou aux opérations en terminal.
Sakana AI suggère que l’ajout de tâches d’ingénierie logicielle pourrait combler cet écart. Cela reste une hypothèse tant qu’un autre cycle ne l’a pas testé. Élargir le mélange de tâches pourrait aussi créer des interférences entre les capacités, plutôt que de les améliorer uniformément.
La conception des benchmarks publics apporte une autre réserve. MASS présente l’efficacité comme un score par token de sortie, ce qui est utile pour évaluer un raisonnement productif. Elle n’inclut pas tous les coûts nécessaires à la production de ces sorties améliorées.
La recherche de flux de travail, les exécutions répétées, les comparaisons de modèles, la génération de données et l’évaluation consomment tous des ressources de calcul. Les totaux de tokens supervisés rapportés excluent également les tokens d’entrée et plusieurs dépenses en amont.
Le résultat est significatif, mais plus limité que ne le suggère un simple titre sur l’efficacité. MASS semble créer des exemples d’entraînement plus denses. Déterminer s’il réduit le coût total de développement exige une comptabilisation complète du pipeline de recherche et de sélection.
Le véritable mécanisme est le flux d’information, pas davantage de personas d’agents
Les gains de MASS semblent provenir d’une restructuration des échanges d’information, et non de l’attribution d’identités théâtrales à de nombreux agents.
Les systèmes multi-agents commencent souvent avec des rôles tels que chercheur, critique, ingénieur ou éditeur. Ces étiquettes aident à répartir le travail, mais elles peuvent rester génériques. Un rôle nommé « analyste méticuleux » contient peu d’informations propres à la tâche.
MASS explore quatre composantes de flux de travail : les rôles, les instructions, les contrats et les sauts. Un contrat définit les preuves ou artefacts qu’un agent doit fournir. Un saut précise à quel moment l’information passe d’un agent à un autre ou revient à une étape antérieure.
Dans un flux de travail financier, des agents distincts gèrent la préparation des données, la construction de caractéristiques, la modélisation, le backtesting, l’audit, la réconciliation et le reporting. L’agent chargé des données doit signaler si des informations futures ont contaminé les décisions historiques.
Ce contrat traite un mode de défaillance concret. Un backtest financier peut sembler concluant lorsque le modèle utilise accidentellement des données futures. Exiger des vérifications explicites donne aux agents ultérieurs des éléments qu’ils peuvent examiner avant d’accepter le résultat.
Sakana AI a analysé l’évolution des composantes des flux de travail durant la recherche. L’entreprise a constaté que les informations liées à la tâche se concentraient de plus en plus dans les contrats et l’ordre des communications. Les rôles et les instructions générales véhiculaient moins de ces informations au fil du temps.
L’échantillon à l’origine de cette analyse est restreint, couvrant huit ou neuf tâches selon la comparaison. Ses estimations d’information mutuelle décrivent le texte des flux de travail, et non chaque message échangé durant l’exécution. Ce schéma doit donc être considéré comme un indice de recherche.
Même avec cette limite, il offre une explication utile de Sakana AI MASS. Le système s’améliore en découvrant ce que chaque agent doit établir, ce qu’il doit transmettre et à quel moment un autre agent doit l’examiner.
Des travaux antérieurs sur le débat multiagent ont montré que des instances de modèles peuvent améliorer le raisonnement en échangeant des réponses et des critiques. MASS étend cette idée du comportement temporaire d’inférence vers l’entraînement supervisé.
La méthode entraîne également deux formes distinctes de comportement. Les trajectoires de l’orchestrateur montrent comment décomposer un travail vaste et coordonner des spécialistes. Les trajectoires des sous-agents montrent comment accomplir des missions délimitées avec des exigences de sortie claires.
Cette combinaison semble plus dense que l’entraînement sur de longues traces d’un seul agent. Dans la comparaison de Sakana AI, un étudiant multi-agent a atteint un taux de victoire de 68,3 pour cent après avoir traité 28,8 millions de tokens supervisés.
Le plus grand étudiant mono-agent a atteint 64 pour cent après avoir traité 42 millions de tokens. Selon cette mesure, le modèle multi-agent a obtenu un meilleur résultat avec 31 pour cent de tokens supervisés en moins.
La comparaison n’isole pas la délégation comme seule cause. Les groupes ont utilisé des flux de travail et des instructions de vérification différents. Les exécutions en équipe ont également généré en moyenne environ 2,4 fois plus de tokens avant la sélection des exemples d’entraînement.
Les juges externes ont préféré le travail multi-agent dans 85,1 % des comparaisons avec des résultats produits par un seul agent. Parmi dix paires présentant des longueurs de trace similaires, les résultats d’équipe ont encore remporté 80 % des comparaisons.
Ces résultats suggèrent que la qualité de sélection compte autant que la structure de l’équipe. MASS n’apprend pas de chaque échange entre agents. Il crée de nombreux candidats, laisse le modèle les classer, puis s’entraîne sur le sous-ensemble retenu.
Le mécanisme ressemble à un filtre qui transforme un travail collectif coûteux en enseignements concentrés. Il échange des coûts supplémentaires de recherche et d’évaluation contre de meilleurs exemples supervisés.
Ce compromis a des implications pratiques pour les développeurs. Une équipe d’IA utile requiert davantage que plusieurs copies du même prompt. Elle a besoin de contrats explicites sur les preuves, d’étapes de relecture et de règles de circulation de l’information liées à la tâche.
Le même principe s’applique lorsque des humains coordonnent des recherches assistées par l’IA. Une base de connaissances consultable n’aide que si les contributeurs préservent les preuves, le contexte et les décisions sous des formes que d’autres peuvent examiner.
MASS automatise une partie de cette conception organisationnelle. Son affirmation plus profonde est que la coordination elle-même peut devenir une capacité apprise. Le modèle ne se contente pas de mieux travailler grâce à une équipe temporaire. Il assimile les schémas issus du comportement réussi de l’équipe.
Un seul modèle corrige encore ses propres devoirs
La principale force de l’auto-supervision multi-agent est aussi son plus grand risque non résolu.
MASS utilise un même modèle partagé comme résolveur de tâches, optimiseur de flux de travail et évaluateur intégré à la boucle. Cette conception homogène teste si un modèle peut s’améliorer sans dépendre d’un enseignant durablement plus puissant.
Elle crée aussi des défaillances corrélées. Si le modèle comprend mal une tâche, chaque agent peut reproduire cette incompréhension. L’évaluateur peut alors récompenser la même erreur que celle produite par l’exécutant.
Les cycles répétés augmentent l’enjeu. Une trajectoire défectueuse peut être acceptée comme supérieure, sélectionnée pour l’entraînement et intégrée au modèle suivant. L’évaluateur mis à jour peut alors devenir plus confiant dans cette erreur partagée.
Sakana AI identifie ouvertement les angles morts communs comme un problème central de sûreté. Sa présentation du projet soutient que l’auto-évaluation doit rester ouverte à la correction à mesure que les capacités progressent.
Les juges externes aident à mesurer cette expérience, mais ils ne résolvent pas le problème du déploiement. GPT-5.5 et Claude Opus 4.8 sont restés en dehors du signal d’entraînement. Leur disponibilité a donc fourni un contrôle dont une boucle véritablement autonome pourrait manquer.
MASS indique que l’accord avec ces juges externes est passé de 73 % à 93 % sur trois générations de modèles. Cela montre que l’évaluateur interne est devenu davantage aligné avec des juges plus puissants sur ces tâches.
L’accord n’équivaut pas à l’exactitude. Deux évaluateurs peuvent partager des hypothèses, récompenser des rapports soignés mais erronés, ou manquer des erreurs nécessitant des expériences dans le monde réel. La recherche ouverte rend cette distinction particulièrement importante.
La suite de benchmarks est également restreinte par rapport à l’ampleur suggérée par l’auto-amélioration récursive. Seules trois tâches synthétiques ont été exclues du post-entraînement. Deux cycles complets fournissent des preuves d’itération, mais pas de progrès récursif indéfini.
Le scepticisme de la communauté s’est concentré sur cette lacune. Certains commentateurs de Hacker News ont estimé que ce travail ressemblait davantage à une meilleure coordination d’agents qu’à une auto-amélioration récursive sans restriction. D’autres se sont demandé pourquoi un processus apparemment récursif s’était arrêté après deux cycles.
Cette critique met en évidence un réel problème de terminologie. L’auto-amélioration récursive au sens strict implique souvent un système qui modifie de manière autonome les mécanismes responsables de la création de ses successeurs. MASS alterne plutôt une recherche de flux de travail conçue par des humains et un affinage supervisé au sein d’un pipeline expérimental fixe.
Le modèle influence les flux de travail, les données d’entraînement et les décisions d’évaluation. Les humains définissent toujours l’architecture, la suite de tâches, la méthode d’optimisation, le protocole de benchmark et les limites des cycles. Ils fournissent également l’infrastructure de calcul.
Qualifier MASS de récursif est défendable, car chaque modèle mis à jour aide à générer et à sélectionner les données d’entraînement du modèle suivant. Le qualifier d’auto-amélioration ouverte exagérerait toutefois ce que l’expérience établit.
La qualité de l’optimiseur constitue une autre contrainte. Sakana AI a testé des configurations intégrant GPT-5.5 dans la boucle de recherche de flux de travail, tout en conservant le modèle Qwen de base comme exécutant.
L’utilisation de GPT-5.5 uniquement comme évaluateur a produit une amélioration limitée. Son utilisation à la fois comme évaluateur et comme optimiseur a permis de trouver des flux de travail gagnants pour les 12 tâches en cinq itérations de recherche.
La boucle entièrement homogène a fini par trouver des flux de travail gagnants pour 11 tâches sur 12, mais a nécessité jusqu’à 13 itérations. Sakana AI y voit la preuve que l’optimiseur peut devenir un goulot d’étranglement plus important que l’évaluateur.
Une bonne critique ne sert à rien si l’optimiseur ne peut pas la transformer en meilleur processus. Ce résultat déplace l’attention de la précision de l’évaluation vers la capacité du modèle à réviser des flux de travail complexes.
La stabilité de la recherche reste faible. Les résultats de Sakana AI sur les flux de travail fluctuent, avec de fortes itérations suivies de régressions marquées. Atteindre un bon flux de travail ne garantit pas que la révision suivante le préservera.
Ces limites rendent le résultat plus intéressant, et non moins. MASS révèle où une boucle d’amélioration homogène échoue lorsqu’elle est observée. Il fournit des mesures du transfert, de l’accord entre juges, de la puissance de l’optimiseur et de l’instabilité des flux de travail.
L’intelligence collective ne supprime pas le problème de supervision
Une équipe de modèles identiques peut élargir une recherche, mais elle ne peut pas garantir un jugement indépendant.
L’intelligence collective tire généralement sa force des différences entre les participants. Les équipes humaines apportent des expériences, des incitations, des expertises et des rôles institutionnels distincts. Ces différences peuvent révéler des erreurs qu’une seule personne manquerait.
MASS utilise plusieurs instances d’un même modèle partagé. L’échantillonnage aléatoire et les missions spécialisées créent une variation comportementale, mais chaque agent hérite des mêmes poids et d’une grande partie du même historique d’entraînement.
Cette architecture peut néanmoins produire une diversité utile. Des agents distincts explorent différentes approches, travaillent avec des preuves intermédiaires différentes et se critiquent mutuellement. Toutefois, leur désaccord n’établit pas une véritable indépendance.
Le problème devient plus aigu pour les tâches non vérifiables. Sakana AI utilise ce terme pour désigner un travail dépourvu de signal de réussite automatique fondé sur des règles. Un rapport de recherche peut être cohérent et bien étayé tout en contenant une erreur conceptuelle inaperçue.
Un évaluateur fondé sur un modèle peut privilégier les résultats qui correspondent à son propre style ou à ses habitudes de raisonnement. L’entraînement sur ces sélections peut renforcer les préférences de l’évaluateur sans renforcer son contact avec la réalité.
Il s’agit d’un problème plus large de supervision évolutive. À mesure que les agents accomplissent un travail que les humains peinent à évaluer, les développeurs ont besoin de superviseurs plus faibles pour surveiller des systèmes plus puissants. Des juges-modèles plus capables aident, mais ils déplacent aussi l’autorité d’évaluation loin des humains.
Les recherches d’OpenAI sur la contrôlabilité concluent que les traces de raisonnement peuvent révéler davantage sur le comportement des agents que les seules actions et réponses finales. Elles décrivent également la contrôlabilité comme incomplète et dépendante à la fois de l’agent et du superviseur.
Cela compte pour MASS, car ses exemples d’entraînement contiennent des trajectoires riches. Les messages, appels d’outils et artefacts intermédiaires créent davantage d’occasions d’inspection. Ils créent aussi une surface plus vaste où des erreurs subtiles peuvent se cacher.
Optimiser directement le raisonnement visible peut introduire un autre danger. Un modèle peut apprendre quelles explications obtiennent l’approbation sans modifier le comportement ayant produit un échec. La supervision récompense alors une rationalisation lisible plutôt qu’un travail fiable.
Sakana AI ne prétend pas avoir résolu ce problème. Son article avertit que la même faiblesse peut compromettre le comportement d’un modèle et le mécanisme destiné à le corriger.
Des contrôles indépendants restent donc nécessaires. Ils peuvent inclure des modèles externes, des experts humains, des tests exécutables, des pipelines de données fiables, des évaluations adversariales et une validation différée dans le monde réel.
Aucun contrôle unique ne couvre toutes les défaillances. Du code peut s’exécuter tout en mettant en œuvre le mauvais objectif. Un rapport peut citer des preuves réelles tout en omettant des résultats contradictoires. Plusieurs modèles peuvent être d’accord parce qu’ils partagent des biais d’entraînement.
L’utilisation à court terme la plus solide de MASS pourrait concerner des recherches circonscrites comportant des étapes intermédiaires vérifiables. Les pipelines financiers peuvent tester des séparations chronologiques des données. Les expériences de robotique peuvent vérifier les résultats de simulation. Les analyses pharmaceutiques peuvent imposer des contrats sur les données et les calculs.
Plus l’objectif final devient subjectif, plus l’auto-jugement s’affaiblit comme signal unique. La stratégie, la nouveauté scientifique, les conseils de politique publique et l’analyse de sûreté dépendent tous de valeurs ou de preuves que le consensus des modèles ne peut pas trancher.
La discussion d’Anthropic sur l’auto-amélioration récursive place elle aussi la supervision, la validation et la vérification au centre du développement futur de l’IA. La pression commune est claire, même lorsque les approches techniques diffèrent.
Si l’IA contribue davantage au travail nécessaire pour améliorer l’IA, la supervision ne peut pas rester une réflexion secondaire. Les systèmes d’évaluation doivent progresser parallèlement aux systèmes de capacités. MASS offre un banc d’essai utile pour étudier cette course.
Les trois prochains signaux détermineront ce que MASS démontre réellement
La phase suivante doit tester la durée, le transfert et la correction plutôt que de répéter le résultat phare le plus fort.
Le premier signal est de savoir si l’amélioration survit à des cycles supplémentaires. Deux cycles établissent la récurrence, mais n’établissent pas une auto-amélioration récursive soutenue par l’intelligence collective.
Un troisième et un quatrième cycle devraient mesurer si les gains se poursuivent, plafonnent ou s’inversent. Les chercheurs devraient également indiquer comment les coûts de recherche de flux de travail évoluent à mesure que le modèle s’améliore.
Des gains continus accompagnés d’une évaluation externe stable renforceraient l’affirmation récursive. Un plateau suggérerait que le modèle épuise les enseignements disponibles dans sa distribution de tâches. Une régression pourrait révéler une erreur accumulée des juges ou des interférences d’entraînement.
Le deuxième signal est le transfert vers des domaines exclus de la suite de recherche initiale. Les baisses observées sur Terminal-Bench 2.0 et SWE-bench Verified fournissent une base de référence exigeante.
L’ajout de tâches d’ingénierie logicielle devrait améliorer ces benchmarks si la méthode apprend une coordination transférable. Si les gains n’apparaissent qu’après un entraînement spécifique au domaine, MASS ressemblera davantage à une méthode de spécialisation efficace.
Cela resterait précieux. Cela réduirait simplement l’affirmation d’une auto-amélioration générale à un meilleur post-entraînement conditionné par la tâche.
Un test de transfert convaincant devrait également préserver les performances en finance, robotique et pharmacie. Dans le cas contraire, les nouvelles capacités pourraient remplacer les anciennes plutôt que s’y ajouter.
Le troisième signal est de savoir si le système peut détecter et corriger un angle mort partagé. Les chercheurs pourraient introduire des pièges d’évaluation cachés, des preuves contradictoires ou des tâches où un consensus soigné mène à une conclusion erronée.
Le succès exigerait davantage que la détection de l’échec par des juges externes. La boucle homogène devrait identifier le problème, réviser son flux de travail et éviter de s’entraîner sur les trajectoires défectueuses.
Ce test relierait les affirmations sur les capacités au contrôle. Il montrerait si l’intelligence collective peut créer une pression corrective lorsque tous les agents partent d’hypothèses similaires.
Les organisations qui évaluent Sakana AI MASS devraient se concentrer sur ces signaux avant de le considérer comme une recette générale. Les résultats actuels soutiennent l’expérimentation de flux de recherche circonscrits et riches en preuves. Ils ne justifient pas de supprimer la revue humaine des décisions importantes.
La leçon plus large est déjà évidente. De meilleures équipes d'agents peuvent générer de meilleures données d'entraînement, et ces enseignements peuvent être intégrés aux poids des modèles. Pourtant, chaque progrès dépend de ce que l'équipe considère comme une réussite.
L'auto-amélioration récursive par l'intelligence collective ne devient digne de confiance que lorsque la boucle peut reconnaître ses propres erreurs partagées. Quelles vérifications indépendantes votre organisation exigerait-elle avant de laisser un tel système sélectionner les preuves utilisées pour son prochain cycle d'entraînement ?
