Sander Dieleman a présenté les modèles de langage à diffusion continue sur Hacker News, mais les tokens restent la référence

Sander Dieleman a présenté les modèles de langage à diffusion continue à la communauté Hacker News le 24 août, suscitant 42 points et neuf commentaires autour d'une remise en question inhabituelle de la génération par tokens. L'argument ne présente ni un modèle finalisé ni une victoire aux benchmarks. Il demande si les modèles de langage doivent nécessairement toujours générer des tokens discrets de gauche à droite.

Cette distinction est importante. Les modèles de langage à diffusion continue, ou CDLM, représentent le langage au moyen d'états continus qu'un modèle affine progressivement. Les systèmes autorégressifs conventionnels sélectionnent au contraire un token après l'autre, chaque choix antérieur entrant dans la prédiction suivante.

L'enjeu central n'oppose donc pas un modèle à un autre. Il s'agit de l'affinage global itératif face à la prédiction du token suivant, le mécanisme qui sous-tend les modèles de type GPT comme la plupart des assistants à poids ouverts. Les CDLM proposent une structure de calcul différente, mais leur valeur pratique dépend encore de leur vitesse, de leur contrôlabilité et de la qualité de leurs textes en dehors de démonstrations soigneusement choisies.

Ce que la publication sur Hacker News a réellement changé

La publication a donné à une direction de recherche dispersée un récit technique clair, mais elle n'a pas tranché en faveur du remplacement des modèles de langage autorégressifs.

L'essai sur les CDLM de Dieleman est apparu comme une interprétation d'une famille de modèles émergente. Il se distingue donc d'un lancement d'entreprise, d'un nouveau service commercial ou de la publication de benchmarks audités. Sa contribution immédiate est d'organiser les idées sur le plan conceptuel.

Le modèle de langage conventionnel commence par diviser le texte en tokens. À partir d'une séquence, il estime une distribution de probabilités pour le token suivant. Il sélectionne ou échantillonne un résultat, l'ajoute, puis répète le processus jusqu'à la fin.

Cette conception a produit une écriture fluide, du code utile et des assistants interactifs. Elle crée aussi une chaîne de dépendances stricte. Le modèle ne peut pas finaliser le 100e token avant d'avoir généré les 99 précédents.

Les modèles de diffusion partent d'un autre principe. Ils corrompent les données avec du bruit pendant l'entraînement, puis apprennent à inverser ce processus. Lors de la génération, ils partent d'un état bruité et le débruitent à plusieurs reprises pour obtenir un résultat structuré.

Les générateurs d'images ont familiarisé le public avec ce processus. Une image entière peut évoluer au fil de plusieurs étapes d'affinage, car les pixels et les caractéristiques latentes d'image vivent dans des espaces numériques continus. Le langage pose un problème plus difficile, car les mots et les tokens sont des symboles discrets.

Les recherches antérieures sur la diffusion appliquée au langage ont souvent répondu à ce décalage en corrompant les tokens, en les masquant ou en définissant des transitions entre catégories discrètes. Un CDLM travaille plutôt avec des représentations continues associées au langage. Le modèle peut mettre à jour ces représentations simultanément avant de les décoder en texte.

Cette différence crée la véritable tension de l'article. Un état continu offre des gradients, de l'interpolation et des mises à jour coordonnées. Pourtant, les lecteurs ont finalement besoin d'une séquence exacte de mots discrets, de signes de ponctuation ou de symboles de code.

L'apparition sur Hacker News est importante parce qu'elle porte ce compromis technique au-delà des articles spécialisés. Elle invite les développeurs à se demander si la génération de gauche à droite est une caractéristique permanente des modèles de langage ou simplement la première approche à avoir réussi à passer à l'échelle.

Les modestes indicateurs de discussion fixent également une limite appropriée. Quarante-deux points et neuf commentaires témoignent d'un intérêt technique ciblé, et non d'une adoption large ou d'un consensus scientifique. La publication constitue un signal utile de curiosité chez les développeurs, pas une preuve que les CDLM ont dépassé les systèmes existants.

Pourquoi les modèles de langage à diffusion continue comptent maintenant

Les CDLM comptent parce que la structure de l'inférence est devenue aussi importante que la taille des modèles, en particulier lorsque chaque token généré ajoute de la latence.

La génération autorégressive comporte une composante séquentielle inévitable. Les fournisseurs peuvent accélérer les opérations matricielles, mettre en cache les calculs antérieurs, anticiper les tokens futurs et traiter de nombreuses requêtes simultanément. Ces méthodes améliorent le débit, mais la séquence de sortie continue d'évoluer par décisions dépendantes.

Cela devient coûteux lorsque les utilisateurs demandent de longs rapports, de vastes correctifs de code ou de nombreuses réponses alternatives. Un modèle peut évaluer des milliers de tokens pendant que l'utilisateur regarde le texte s'afficher progressivement. Du matériel plus rapide aide, sans toutefois supprimer la dépendance elle-même.

La diffusion propose un calendrier différent. Le modèle peut réserver une région de sortie et réviser plusieurs positions à chaque étape de débruitage. En principe, cela permet davantage de calcul parallèle sur l'ensemble de la séquence.

L'expression « en principe » est essentielle. Le travail parallèle au sein d'une étape de débruitage ne garantit pas une latence de bout en bout plus faible. Un modèle de diffusion peut nécessiter de nombreux passages d'affinage, et chaque passage consomme des ressources de calcul.

La comparaison pertinente n'oppose pas une étape de diffusion à un token autorégressif. Elle porte sur le coût total de production d'une réponse acceptable. Cela inclut le nombre d'évaluations du modèle, la longueur de la séquence, les déplacements de mémoire, la surcharge de décodage et les éventuelles étapes de correction.

La recherche avance vers cette question depuis plusieurs années. L'article original Diffusion-LM a exploré la diffusion continue sur des embeddings de mots et mis l'accent sur la génération contrôlable de texte. Ses résultats ont établi une voie de recherche, mais n'ont pas fait de la diffusion l'architecture par défaut des modèles de langage.

D'autres travaux se sont orientés vers des formulations discrètes. La diffusion discrète par score-entropie, décrite dans l'article SEDD, a développé un objectif d'entraînement pour la diffusion sur des données discrètes. Les modèles de langage à diffusion masquée ont ensuite simplifié certaines parties du cadre tout en visant de meilleures vraisemblances et une qualité de génération supérieure.

Ces approches ne désignent pas toutes la même chose. Certaines diffusent des embeddings continus, tandis que d'autres masquent ou corrompent des tokens discrets. Certaines visent le contrôle conditionnel, d'autres cherchent à modéliser le langage de manière générale.

Le cadrage de Dieleman arrive à point nommé, car ces branches produisent de plus en plus de résultats qui méritent d'être comparés aux références autorégressives. La question de recherche est passée de savoir si la diffusion peut générer du texte à déterminer où sa structure de calcul procure un avantage défendable.

Cette pression s'exerce sur les deux camps. Les chercheurs en diffusion doivent montrer que l'affinage coordonné compense ses passages répétés. Les concepteurs de modèles autorégressifs doivent continuer à réduire la latence sans modifier la boucle fondamentale de prédiction du token suivant.

Il en résulte une compétition autour de l'architecture d'inférence. La qualité des modèles reste importante, mais l'ordonnancement, le parallélisme, le comportement du cache et la quantité de travail utile accomplie à chaque passage avant le sont également.

Diffusion continue contre prédiction du token suivant

L'argument le plus solide en faveur des CDLM n'est pas que le débruitage paraît plus élégant. C'est que la révision globale pourrait mieux gérer des dépendances que l'engagement séquentiel traite difficilement.

Prenons un paragraphe dont la dernière phrase modifie la terminologie correcte de sa première ligne. Un modèle autorégressif peut planifier en interne, mais sa sortie visible continue de s'engager de gauche à droite. Une fois qu'un token a été diffusé, sa modification exige une opération d'édition distincte.

Un modèle de diffusion peut traiter le brouillon comme provisoire. Les premières positions, les propositions centrales et la fin peuvent évoluer au fil des étapes d'affinage. Cela crée un mécanisme de cohérence globale, plutôt qu'une simple différence stylistique.

Le code fournit un exemple plus net. La signature d'une fonction contraint les instructions ultérieures, tandis que l'implémentation peut révéler que la signature initiale était erronée. Une révision parallèle pourrait permettre à un modèle de concilier ces positions avant de présenter le programme final.

Les documents structurés créent des dépendances similaires. Les titres influencent les sections suivantes, les résumés doivent correspondre aux éléments de preuve qui les étayent et les termes définis doivent rester cohérents. Un processus d'affinage peut mettre à jour plusieurs régions liées simultanément.

C'est la promesse des modèles de langage à diffusion continue, expliquée sans les transformer en tutoriel. Leur attrait vient du fait qu'ils traitent la génération comme une satisfaction conjointe de contraintes plutôt que comme une chaîne permanente d'engagements locaux.

Cependant, les systèmes autorégressifs sont moins rigides que cette description ne le suggère. Ils peuvent générer un raisonnement caché, esquisser une réponse avant de l'écrire, appeler des outils d'édition ou exécuter des passes de vérification supplémentaires. Les applications peuvent également demander un brouillon complet avant de le montrer à l'utilisateur.

Ces techniques déplacent la révision hors de la règle centrale de décodage. Elles peuvent reproduire certains avantages de la diffusion tout en conservant une infrastructure d'entraînement mature et une mise en cache clé-valeur efficace.

Les deux voies optimisent aussi des factorisations probabilistes différentes. Un modèle autorégressif représente directement une séquence comme un produit de probabilités conditionnelles du token suivant. Cette factorisation permet une évaluation directe de la vraisemblance et un échantillonnage contrôlé.

La diffusion apprend à inverser une corruption selon un calendrier. La qualité de sa sortie dépend du processus de bruit, de l'objectif d'entraînement, de l'échantillonneur, du nombre d'étapes et de la méthode employée pour remapper les états continus vers des symboles.

Le mapping final est particulièrement important pour les CDLM. Des vecteurs continus peuvent se situer entre plusieurs tokens plausibles. Le langage naturel, toutefois, ne permet pas qu'une phrase contienne 40 % d'un mot et 60 % d'un autre.

Le modèle doit finir par choisir. Si le décodage intervient trop tôt, il peut perdre la valeur de l'affinage continu. S'il intervient trop tard, le processus peut consacrer une quantité substantielle de calcul à peaufiner des représentations qui correspondent encore à des tokens instables.

Cette frontière affecte aussi le code et la récupération exacte. Un identifiant sémantiquement proche peut tout de même être incorrect. Un seul chiffre modifié peut invalider une date, tandis qu'un seul symbole mal placé peut casser un programme.

La prédiction du token suivant traite imparfaitement ces cas, mais son interface de sortie correspond à l'objet discret produit. Les CDLM doivent montrer que les bénéfices avant la discrétisation l'emportent sur l'incertitude introduite à cette frontière.

La promesse de la génération parallèle a un problème de calcul

Générer de nombreuses positions simultanément n'est utile que si la réduction des dépendances séquentielles compense des affinages répétés sur toute la séquence.

Le parallélisme est l'avantage phare le plus susceptible d'attirer les équipes d'infrastructure. Les accélérateurs modernes donnent le meilleur d'eux-mêmes lorsqu'ils reçoivent de grands blocs de travail réguliers. Le décodage token par token laisse souvent moins de place à l'exécution parallèle au sein d'une requête.

Un modèle de diffusion peut traiter une séquence candidate entière pendant un passage de débruitage. S'il termine la génération en un petit nombre de passages, il pourrait réduire le chemin sériel entre le prompt et la réponse.

Mais chaque passage peut revisiter toutes les positions de sortie. Un modèle conventionnel ajoute généralement une position tout en réutilisant les représentations mises en cache des tokens précédents. Un modèle de diffusion peut recalculer ou réviser à plusieurs reprises un état bien plus vaste.

Cela rend la conception des benchmarks déterminante. Les chercheurs doivent publier la latence réelle, le nombre total d'opérations en virgule flottante, l'utilisation des accélérateurs, la consommation mémoire et la qualité à budget de calcul équivalent. Les tokens par seconde ne peuvent pas rendre compte proprement d'un processus d'affinage itératif.

La taille des lots compte aussi. Une méthode performante sur un accélérateur entièrement utilisé ne fournira pas forcément le même temps de réponse à un seul utilisateur interactif. À l'inverse, une méthode à forte latence pourrait rester attrayante pour des charges de travail hors ligne si son débit passe efficacement à l'échelle.

Le nombre d’étapes de débruitage crée une autre variable. Davantage d’étapes peuvent améliorer la qualité, mais elles augmentent aussi le coût. Une réduction agressive du nombre d’étapes peut accélérer l’inférence tout en modifiant les profils d’erreur.

Ce compromis rappelle l’histoire de la diffusion d’images. Les premiers systèmes nécessitaient de nombreuses étapes d’échantillonnage. Des échantillonneurs et techniques de distillation plus récents ont réduit ce nombre, rendant les produits plus réactifs.

Le texte impose des exigences d’exactitude plus strictes. Une image légèrement différente peut rester acceptable, tandis qu’une clause juridique, un nom d’API ou un calcul légèrement différent peut en inverser le sens.

Le choix de la longueur nécessite également une solution crédible. Un modèle autorégressif s’arrête naturellement lorsqu’il émet un marqueur de fin. Un système de diffusion commence souvent avec une région ou une représentation dont la longueur finale doit être gérée explicitement.

La génération à longueur flexible n’est pas impossible. Les modèles peuvent prédire la longueur, utiliser des états de remplissage ou réviser des régions masquées. Chaque option ajoute des décisions d’entraînement et de décodage qui influent sur l’efficacité.

Le streaming crée un désavantage au niveau du produit. Les assistants autorégressifs peuvent afficher les mots à mesure qu’ils arrivent, ce qui réduit le temps d’attente perçu. Un modèle qui affine globalement peut préférer retenir le texte jusqu’à ce que ses positions initiales se stabilisent.

Un streaming partiel pourrait n’exposer que les segments stables, mais cela exige une mesure fiable de la stabilité. Sinon, les utilisateurs verraient les mots clignoter ou les phrases précédentes changer pendant leur lecture.

La question pratique est donc plus précise que « La diffusion peut-elle générer en parallèle ? » Elle le peut. La question est de savoir si elle offre une meilleure latence ajustée à la qualité pour une charge de travail donnée sur du matériel réel.

Tant que les chercheurs n’auront pas publié de comparaisons solides et équitables, la génération parallèle restera un mécanisme au potentiel commercial plutôt qu’un avantage universel démontré.

Ce que le débat sur Hacker News ne peut pas encore prouver

L’intérêt des développeurs peut révéler les bonnes questions, mais seules des évaluations reproductibles peuvent établir où les CDLMs surpassent les systèmes autorégressifs matures.

Un fil Hacker News est précieux, car les praticiens examinent rapidement les coûts d’implémentation, les hypothèses cachées et la terminologie ambiguë. Il peut révéler quelles affirmations exigent des preuves plus claires.

Ce n’est pas une évaluation contrôlée. Les votes mesurent l’attention d’une communauté à un moment donné. Le nombre de commentaires peut dépendre du moment de publication, de la formulation du titre et du fait que les lecteurs disposent ou non de suffisamment de détails techniques.

Le premier test manquant concerne la qualité à ressources égales. Un CDLM devrait être confronté à une référence autorégressive avec des paramètres, des données d’entraînement, une puissance de calcul d’entraînement et un budget d’inférence comparables. Sans ces contrôles, les comparaisons d’architectures deviennent ambiguës.

Le deuxième test porte sur la diversité des tâches. Une prose ouverte peut masquer de petites erreurs, car de nombreuses sorties restent plausibles. Le code, le raisonnement mathématique, les réponses à des questions factuelles, l’extraction structurée et la synthèse de contextes longs imposent des contraintes plus fortes.

Le troisième test concerne la longueur de génération. De courtes réponses de benchmark ne démontrent pas l’efficacité sur des milliers de tokens. Les documents longs révèlent les problèmes de cohérence, les coûts mémoire et les conséquences de la révision répétée de toute la séquence.

Le quatrième test est la contrôlabilité. La diffusion promet depuis longtemps un guidage flexible, car le processus de génération traverse des états intermédiaires révisables. Les chercheurs devraient tester si ce contrôle reste fiable sans coût d’échantillonnage excessif.

Le cinquième test est la calibration. Les applications doivent savoir lorsqu’une sortie est incertaine. Les modèles autorégressifs exposent des probabilités de tokens, même si ces valeurs ne constituent pas des estimations parfaites de confiance. Les CDLMs ont besoin de signaux tout aussi utiles, aux niveaux continu comme décodé.

La stabilité de l’entraînement représente une autre incertitude. Les modèles de langage bénéficient d’objectifs d’entropie croisée bien compris et d’une vaste expérience d’ingénierie. La diffusion introduit des calendriers de bruit, un conditionnement temporel et des choix d’échantillonneurs susceptibles d’interagir avec l’échelle.

Cela ne rend pas l’approche impraticable. Cela relève le niveau de preuve requis pour les affirmations concernant une architecture de remplacement.

La recherche plus large sur la diffusion masquée offre une comparaison importante, car elle aborde la génération de langage sans exiger la même stratégie de représentation continue. Si la diffusion masquée ou discrète atteint des bénéfices similaires avec une interface de tokens plus simple, les CDLMs devront justifier leur mécanisme supplémentaire.

La recherche autorégressive ne restera pas immobile non plus. Le décodage spéculatif permet à un modèle plus petit de proposer plusieurs tokens qu’un modèle plus grand vérifie. La prédiction multi-token entraîne les modèles à anticiper plus d’une position future. De meilleurs noyaux et mécanismes de cache continuent de réduire les coûts de service.

Ces méthodes préservent la sémantique séquentielle tout en raccourcissant le chemin critique pratique. Une évaluation équitable des CDLMs doit les comparer à ces systèmes améliorés, et non à un décodeur basique datant de plusieurs années.

Il existe également un risque de confondre génération non autorégressive et génération instantanée. Tout modèle qui révise à plusieurs reprises une séquence entière conserve des étapes séquentielles dans le temps. Il modifie le nombre et la forme de ces étapes plutôt que d’éliminer entièrement la séquence.

L’interprétation la plus solide de la discussion sur Hacker News est donc prudente. Les CDLMs révèlent un véritable choix architectural, et ce choix mérite d’être mesuré. Le fil ne montre pas que la diffusion continue est déjà plus rapide, moins coûteuse ou plus précise.

Qui subirait une pression si les CDLMs fonctionnent

Un CDLM crédible à faible nombre d’étapes exercerait d’abord une pression sur l’architecture d’inférence, tandis que les fournisseurs de modèles auraient le temps d’adapter leurs produits et leurs piles d’entraînement.

La cible immédiate de cette pression est l’hypothèse selon laquelle une génération de langage de haute qualité doit exposer une boucle de prédiction du token suivant. Cette hypothèse façonne l’utilisation des accélérateurs, les logiciels de service, les interfaces utilisateur et les modèles de tarification dans toute l’industrie.

Les plateformes d’inférence optimisent fortement autour des caches clé-valeur. Ces caches conservent les informations d’attention des tokens précédents, empêchant le modèle de recalculer l’intégralité du préfixe à chaque étape. Ils sont essentiels à un service autorégressif efficace.

Un CDLM utiliserait un schéma de calcul différent. L’infrastructure pourrait devoir privilégier l’affinage de séquences complètes, la planification des pas de temps et la mémoire des états intermédiaires. Les optimisations existantes ne se transféreraient pas automatiquement.

Les concepteurs d’applications seraient confrontés à un autre choix. Les interfaces de chat traitent actuellement le texte en streaming comme une norme. Un produit fondé sur la diffusion pourrait plutôt présenter une courte attente suivie d’un bloc cohérent, ou afficher des sections stables tandis que l’affinage se poursuit ailleurs.

Les outils d’écriture et de programmation pourraient en bénéficier davantage que le chat ordinaire. Ils travaillent déjà sur des documents complets, acceptent les révisions et masquent souvent la génération jusqu’à ce qu’un brouillon soit prêt. L’affinage global correspond à leur modèle d’interaction.

Le travail de connaissance offre un autre cadre pertinent. Un système produisant une note de recherche doit maintenir la cohérence entre les affirmations, les résumés, les citations et les conclusions. Une révision conjointe pourrait réduire les contradictions si le modèle apprend à coordonner des passages éloignés.

Les utilisateurs auraient toujours besoin de traçabilité. Une réponse globalement cohérente peut rester uniformément erronée. Les équipes qui traitent des documents techniques ont besoin de flux de travail ancrés dans les sources, comme une base de connaissances consultable, quel que soit le générateur sous-jacent.

Les fournisseurs de modèles autorégressifs disposent également d’avantages considérables. Ils possèdent des pipelines d’entraînement établis, des systèmes de déploiement, des données d’instructions, des évaluations de sécurité et des boucles de retours utilisateurs. Une nouvelle méthode de décodage doit surmonter cet investissement d’ingénierie accumulé.

Des conceptions hybrides pourraient émerger avant un remplacement net. Un modèle autorégressif pourrait créer un plan tandis qu’un modèle de diffusion remplit ou révise des sections. Un modèle de diffusion pourrait rédiger des candidats avant qu’un vérificateur autorégressif contrôle les tokens exacts.

De tels systèmes brouilleraient le concours présenté en manchette, mais ils valideraient l’intuition sous-jacente. La génération de langage n’a pas besoin de reposer sur un seul calendrier de décodage à chaque étape.

Les gagnants seraient déterminés par la charge de travail. Le dialogue interactif récompense une faible latence du premier token et un streaming fluide. La génération de rapports hors ligne récompense le débit et la cohérence à l’échelle du document. La génération de code récompense l’exactitude, les tests et la révision.

Un CDLM n’a pas besoin de dominer toutes les catégories pour compter. Un avantage mesurable dans la génération longue, la réécriture sous contraintes ou la production parallèle de candidats pourrait soutenir un rôle spécialisé durable.

La pression porte donc sur les hypothèses d’infrastructure plutôt que sur une entreprise nommée. Si l’affinage continu devient compétitif, les piles de service devront prendre en charge davantage qu’un convoyeur de tokens.

Trois signaux qui détermineront si les CDLMs perdurent

La prochaine étape exige des preuves sur les étapes d’échantillonnage, les tâches nécessitant une sortie exacte et la reproduction indépendante, et non des affirmations plus larges sur le potentiel de la diffusion.

Le premier signal est un benchmark de latence équitable. Les chercheurs devraient comparer les CDLMs à des références autorégressives et de diffusion masquée optimisées sur le même matériel. La comparaison devrait préciser la taille du modèle, la longueur des séquences, la taille des lots, les étapes de génération et les seuils de qualité.

Un résultat solide montrerait une latence murale plus faible sans transférer un coût excessif vers l’entraînement ni sacrifier l’exactitude. Un résultat limité à des paramètres de lots favorables restreindrait l’affirmation plutôt qu’il n’invaliderait l’approche.

Le deuxième signal est la performance sur des sorties qui tolèrent peu l’approximation. La complétion de code, la génération de JSON, les expressions mathématiques, les citations et l’extraction factuelle révèlent si l’affinage continu résiste à la discrétisation.

Le succès dans ces domaines renforcerait l’argument selon lequel les CDLMs peuvent prendre en charge des charges de travail de production. Une instabilité persistante des tokens suggérerait que l’architecture convient mieux à la génération créative qu’aux tâches exactes.

Le troisième signal est une reproduction indépendante à une échelle significative. Une méthode gagne en crédibilité lorsque des équipes distinctes peuvent l’entraîner, reproduire son efficacité et identifier les composants qui comptent. Des implémentations ouvertes et des ablations détaillées faciliteraient ce processus.

Ce signal protège également les lecteurs contre la surinterprétation d’une démonstration soignée. Les résultats des modèles de langage peuvent dépendre des données, des prompts d’évaluation, des paramètres d’échantillonnage et d’un post-traitement caché. La reproduction distingue un gain architectural d’une recette expérimentale favorable.

La leçon plus large tirée de l’apparition sur Hacker News n’est pas que la prédiction du token suivant a atteint sa date d’expiration. C’est que le domaine dispose désormais de suffisamment de mécanismes alternatifs pour remettre en question une hypothèse autrefois considérée comme fixe.

Les modèles de langage à diffusion continue offrent une alternative cohérente : représenter le langage dans un espace continu révisable, affiner plusieurs positions ensemble, puis revenir au texte discret. Ce mécanisme pourrait améliorer le parallélisme et la coordination globale.

Il soulève aussi de difficiles questions d’ingénierie concernant le calcul répété, la longueur, le décodage exact, le cache et le streaming. Aucune ne disparaît parce que la diffusion a bien fonctionné pour les images.

Les lecteurs devraient donc surveiller les benchmarks plutôt que l’étiquette. Un CDLM atteint-il une qualité compétitive en peu d’étapes ? Reste-t-il précis sur le code et le texte structuré ? Un autre groupe peut-il reproduire le résultat ?

Ces réponses détermineront si la prochaine discussion sur Hacker News portera sur une direction de recherche intrigante ou sur une architecture entrant dans des déploiements réels. D’ici là, la diffusion continue mérite de l’attention en tant qu’expérience sérieuse, et non comme successeur déclaré du modèle token par token.