« Les LLMs ne peuvent pas faire de saut » fait son entrée sur Hacker News, remettant en cause les prétentions de l’IA à la découverte scientifique

Le chercheur de Google DeepMind Tom Zahavy a remis en question une promesse centrale de l’IA, malgré les progrès rapides du raisonnement formel. Son article, « LLMs Can’t Jump », soutient que les modèles actuels ne peuvent pas accomplir les sauts conceptuels à l’origine des grandes découvertes scientifiques. Cette affirmation est arrivée sur Hacker News et a relancé une question difficile sur ce que le raisonnement machine accomplit réellement.

L’article ne nie pas que l’IA puisse démontrer des théorèmes, explorer des programmes ou améliorer des algorithmes connus. Il distingue ces capacités de l’invention des prémisses qui rendent possible une théorie entièrement nouvelle. Cette distinction met davantage sous pression les projets actuels d’IA scientifique qu’un nouveau benchmark décevant.

Zahavy utilise le parcours d’Albert Einstein vers la relativité générale comme test principal. Un modèle pourrait manipuler les équations d’Einstein après avoir reçu les bons principes. La tâche plus difficile consiste à générer ces principes avant que les preuves expérimentales ne les rendent évidents.

L’article trace une frontière entre preuve et découverte

L’affirmation centrale est limitée, mais lourde de conséquences : résoudre à partir de prémisses fournies n’est pas la même chose qu’inventer ces prémisses.

Le position paper de Zahavy divise le raisonnement en induction, déduction et abduction. Chaque processus joue un rôle différent dans le travail scientifique.

L’induction extrait des régularités ou des règles générales à partir d’exemples. Les modèles de langage modernes exécutent une version computationnelle de ce processus pendant l’entraînement. Ils apprennent des relations statistiques entre les tokens à travers d’immenses collections de contenus produits par des humains.

La déduction commence par des prémisses acceptées et en dérive les conséquences. Les mathématiques formelles en offrent un exemple clair. Une fois les axiomes, les définitions et une conjecture cible spécifiés, un système peut rechercher une preuve valide.

L’abduction avance dans la direction opposée. Elle propose une explication possible d’une observation, en particulier lorsque les bonnes prémisses restent inconnues. L’explication n’est pas garantie d’être vraie, mais elle crée quelque chose que la déduction pourra ensuite tester.

Zahavy identifie l’abduction au « saut » de son titre. Le terme vient d’un schéma qu’Einstein a envoyé à son ami Maurice Solovine. Einstein décrivait la découverte comme un mouvement de l’expérience sensible vers les axiomes, suivi de déductions qui reviennent à la réalité observable.

Ce premier mouvement n’est pas une inférence routinière à partir des données disponibles. Il introduit un cadre conceptuel qui indique aux scientifiques quels faits comptent et comment ils s’articulent.

L’article soutient que les LLMs restent les plus performants une fois ce cadre déjà en place. Ils peuvent explorer des combinaisons, révéler des contradictions, formaliser des arguments et en suivre les conséquences. Ce sont des fonctions scientifiques précieuses, mais elles interviennent en aval du choix conceptuel décisif.

Cette distinction explique pourquoi l’article a attiré l’attention au-delà de la philosophie universitaire. Les affirmations sur la science automatisée regroupent souvent plusieurs capacités différentes sous une même étiquette. Revue de littérature, génération d’hypothèses, planification expérimentale, démonstration de théorèmes et création de paradigmes deviennent toutes de la « découverte ».

Zahavy rejette cette compression. Un système qui génère des milliers de variations au sein d’une représentation établie n’a pas nécessairement inventé une nouvelle représentation. Un système qui résout un problème formulé n’a pas nécessairement décidé quel problème non formulé mérite l’attention.

L’argument déplace également l’évaluation au-delà d’un langage scientifique élégant. Un LLM peut décrire avec aisance les tenseurs, la gravité et l’inférence causale. Cette fluidité ne démontre pas que ses symboles soient reliés à un modèle manipulable de la réalité physique.

La discussion sur Hacker News importe parce que les développeurs rencontrent régulièrement la même distinction à plus petite échelle. Un modèle de programmation peut résoudre un problème défini tout en ne voyant pas que la spécification encode une mauvaise hypothèse sur le produit.

En recherche, le coût de cette limite est plus élevé. Un système automatisé peut optimiser une réponse élégante à une question qui ne mérite plus d’organiser le domaine.

Pourquoi la relativité générale constitue le cas difficile de l’article

La réussite d’Einstein est ici importante parce que la théorie décisive est arrivée avant qu’un riche jeu de données n’en rende la structure facile à inférer.

La relativité générale n’est pas née d’une vaste collection de prédictions newtoniennes défaillantes. La mécanique newtonienne décrivait extrêmement bien la plupart des comportements gravitationnels observables. Son succès exerçait peu de pression statistique sur les chercheurs pour qu’ils en remplacent les fondements.

L’étrange précession orbitale de Mercure constituait une exception notable. Les astronomes avaient déjà utilisé des objets manquants pour expliquer des anomalies orbitales, notamment lors de la prédiction de Neptune. Certains chercheurs ont donc proposé l’existence d’une autre planète, Vulcain, près du Soleil.

Cette réponse préservait le cadre existant. Elle traitait le résidu comme un objet manquant plutôt que comme la preuve que la gravité exigeait une nouvelle explication.

Un optimiseur inductif ferait face à une tentation similaire. Si une théorie familière produit peu d’erreurs sur la plupart des observations, ajouter une correction locale coûte moins cher que de reconstruire l’espace, le temps et la gravité.

Einstein a suivi un chemin différent. Son raisonnement a relié la gravité à l’accélération au moyen de situations physiques imaginées. Ses célèbres scénarios de l’observateur en chute et de l’ascenseur ont contribué à motiver le principe d’équivalence.

Le principe d’équivalence affirme qu’un observateur local ne peut pas toujours distinguer un champ gravitationnel d’une accélération. Cette proposition a réorganisé le problème avant qu’Einstein ne dispose de l’appareil mathématique final.

L’article présente ce processus comme une abduction manipulatoire. Le penseur construit un scénario, en modifie les conditions et en examine les conséquences. Le résultat est une prémisse proposée, et non simplement une nouvelle prédiction fondée sur des règles établies.

Einstein a encore eu besoin de plusieurs années de travail mathématique. Il a collaboré avec Marcel Grossmann, exploré le calcul tensoriel, emprunté de mauvaises pistes et adopté temporairement la théorie Entwurf, erronée.

Ces difficultés n’affaiblissent pas la distinction de Zahavy. Elles montrent comment la déduction, la recherche et la vérification peuvent dominer une fois qu’une nouvelle intuition physique définit l’espace de recherche.

Un assistant IA compétent aurait pu accélérer ce travail ultérieur. Il aurait pu vérifier des hypothèses, explorer des tenseurs candidats ou trouver plus tôt des incohérences. Aucune de ces réussites n’explique comment il aurait pu faire naître le principe d’équivalence.

Cela crée un test exigeant pour les affirmations sur la découverte par l’IA. Retirez la relativité générale des données d’entraînement, limitez les connaissances à la période historique pertinente et demandez à un système de reconstruire la théorie.

La réussite exigerait davantage que la reproduction d’une dérivation connue. Le système devrait identifier le bon conflit conceptuel, inventer des expériences de pensée utiles et formuler de nouvelles prémisses.

Il devrait également éviter les fuites cachées. Le langage scientifique moderne contient des concepts façonnés par la relativité, même lorsqu’une consigne exclut les travaux publiés d’Einstein. Les données d’entraînement peuvent préserver discrètement la réponse à travers une terminologie et des hypothèses ultérieures.

L’article propose donc un argument, et non une expérience contrôlée achevée. La relativité générale est une étude de cas utilisée pour mettre en évidence une frontière de capacité. Elle ne prouve pas que tout système computationnel possible échouera.

Cette nuance importe. « Les LLMs actuels ne disposent pas de mécanisme identifié pour ce saut » est défendable. « Aucune machine ne pourra jamais effectuer d’abduction » exigerait un argument philosophique et technique bien plus solide.

La cible de Zahavy est avant tout le modèle de langage en tant que système statistique désincarné. L’article laisse de la place à des architectures qui relient langage, action, simulation et intervention causale.

Hacker News rencontre le débat sur le scientifique IA

Le différend met sous pression les systèmes commercialisés comme des scientifiques IA, car la plupart opèrent au sein d’objectifs et de représentations choisis par des humains.

Le fil Hacker News a présenté l’argument de Zahavy à un public qui teste fréquemment des modèles de pointe dans des contextes pratiques. Ce public connaît à la fois les réussites surprenantes des modèles et leurs échecs fragiles.

Le désaccord ne porte pas simplement sur la question de savoir si les LLMs sont intelligents. La question la plus utile consiste à déterminer quelles parties de la découverte restent fournies par les chercheurs, les concepteurs de benchmarks et l’infrastructure logicielle.

Prenons un agent de recherche automatisé chargé d’améliorer un algorithme d’optimisation. Les humains définissent généralement le benchmark, la métrique d’évaluation, le langage de programmation, les outils disponibles et le format de sortie acceptable.

L’agent peut néanmoins trouver une implémentation véritablement nouvelle. Son résultat peut surpasser le code existant écrit par des humains et offrir une réelle valeur économique ou scientifique.

Cependant, le système cherche à l’intérieur d’un monde déjà rendu intelligible. La fonction objectif lui indique ce qui constitue un progrès. La représentation détermine quelles idées candidates peuvent être exprimées.

AlphaEvolve de Google DeepMind illustre à la fois la force et la limite de cette approche. Le système combine des modèles de langage avec des évaluateurs automatisés et une recherche évolutionnaire afin d’améliorer des algorithmes.

Selon l’annonce d’AlphaEvolve par Google, le système a trouvé des améliorations dans des tâches de mathématiques et d’informatique. Ces résultats méritent l’attention, même s’ils ne tranchent pas la question de l’abduction.

AlphaEvolve peut générer des programmes candidats, les évaluer, conserver les changements productifs et répéter le processus. Cette boucle peut découvrir des solutions qui n’étaient pas explicitement présentes dans ses données d’entraînement.

Pourtant, l’évaluateur reste central. Il fournit un signal lisible par machine qui classe les programmes candidats. Le système sait dans quelle direction se situe l’amélioration parce que les chercheurs ont encodé cette direction.

Le défi de Zahavy commence là où ce signal devient incertain. Une révolution scientifique peut modifier les variables, les normes ou l’ontologie qui définissent la réussite. Il peut ne pas exister d’évaluateur stable pour l’idée avant que cette idée n’existe.

Le même problème s’applique aux systèmes automatisés de génération d’articles. Un scientifique IA peut récupérer la littérature, proposer des hypothèses, mener des expériences et rédiger un rapport. Ces étapes condensent un travail de recherche considérable.

La plupart de ces systèmes héritent encore d’un domaine, d’un jeu de données, d’un protocole expérimental et d’une règle de notation. Leurs hypothèses recombinent souvent des concepts trouvés dans la littérature fournie.

La recombinaison ne doit pas être écartée comme dépourvue de valeur. Les scientifiques humains réutilisent également des concepts, des techniques et des instruments établis. La plupart des recherches importantes prolongent un paradigme plutôt que de le remplacer.

Le problème vient du fait que l’on gonfle l’automatisation incrémentale en preuve d’une invention scientifique autonome. Un système peut produire des résultats nouveaux sans manifester le type précis de nouveauté en débat.

C’est pourquoi le terme « nouveau » exige des définitions plus précises. Un artefact généré peut être absent de l’ensemble d’entraînement, statistiquement inhabituel, utile et brevetable. Il peut satisfaire ces quatre conditions sans créer un nouveau cadre explicatif.

À l’inverse, une prémisse scientifique peut paraître simple après que les humains l’ont acceptée. Son importance réside dans la réorganisation des observations, et non dans la production d’une phrase inhabituellement compliquée.

Les équipes qui évaluent des agents de recherche devraient donc retracer le point d’entrée du cadrage dans le flux de travail. Qui a sélectionné le problème ? Qui a choisi la cible mesurable ? Qui a fourni le langage de représentation ? Qui a décidé qu’un résultat anomal méritait d’être étudié ?

Ces questions révèlent si le modèle navigue sur une carte ou s’il la redessine.

La réussite du raisonnement formel rend le défi plus aigu

Les progrès rapides de l’IA en déduction renforcent le contraste établi par Zahavy, car ils montrent jusqu’où les systèmes peuvent avancer une fois que les humains ont formalisé le problème.

AlphaProof de Google DeepMind offre la comparaison la plus éclairante. Le système combine les capacités des modèles de langage avec l’apprentissage par renforcement dans un environnement de preuve formelle.

Un article de Nature a fait état d’un raisonnement mathématique formel de niveau olympiade par AlphaProof et AlphaGeometry 2. Leurs performances ont montré que le raisonnement machine peut traiter des problèmes mathématiques difficiles et soigneusement spécifiés.

Les environnements formels fournissent un retour d’information d’une fiabilité inhabituelle. Un assistant de preuve peut vérifier si chaque étape logique découle de règles acceptées. Les preuves incorrectes échouent mécaniquement au lieu de recevoir un jugement humain ambigu.

Cette boucle de vérification permet la recherche et l’apprentissage à grande échelle. Le modèle peut explorer des candidats tandis que le système formel empêche les arguments convaincants mais invalides d’être acceptés comme solutions.

Il s’agit d’une avancée majeure par rapport au raisonnement des chatbots ordinaires. Un chatbot peut produire une preuve plausible comportant une erreur subtile. Un système vérifié formellement doit construire un objet qui respecte des contraintes logiques explicites.

Zahavy ne nie pas ces progrès. Son argument repose sur le fait de les prendre au sérieux.

Donnez à une machine les bons axiomes, le langage formel et une conjecture, et ses capacités de recherche peuvent devenir redoutables. Elle peut même trouver des preuves qui surprennent des mathématiciens experts.

La question ouverte est de savoir qui crée les axiomes et les conjectures. Les mathématiques ne progressent pas uniquement en démontrant des éléments issus d’une liste préparée. Les chercheurs inventent aussi des définitions, choisissent des abstractions et déterminent quelles affirmations révèlent une structure plus profonde.

Ces choix en amont résistent à une évaluation simple. Une nouvelle définition peut d’abord paraître superflue. Sa valeur peut n’apparaître qu’après avoir relié plusieurs problèmes ou rendu exprimable une régularité auparavant invisible.

Les prémisses scientifiques font face à une contrainte encore plus difficile. Elles doivent relier des symboles formels à des observations du monde. Leur réussite dépend de la prédiction, de l’intervention, de l’instrumentation et de l’interprétation causale.

Un LLM entraîné sur des textes reçoit le récit finalisé de ces connexions. Les articles décrivent quelles variables comptaient après que les chercheurs les ont sélectionnées. Les manuels présentent des théories abouties sans conserver chaque piste conceptuelle abandonnée.

L’entraînement sur ce récit peut donner l’impression que la découverte a été plus nette qu’elle ne l’était. Le modèle voit le langage produit après un saut, pas nécessairement les expériences qui ont rendu ce saut possible.

Cela crée un piège d’évaluation. Si les chercheurs demandent à un modèle de redécouvrir un résultat célèbre, le modèle peut reconstruire des schémas intégrés dans les écrits ultérieurs. S’ils demandent une théorie inconnue, personne ne possède de corrigé immédiat.

La vérification automatisée fonctionne le mieux lorsque la réussite est formelle et locale. L’invention scientifique exige souvent une validation différée, coûteuse ou incertaine. Les expériences peuvent prendre des mois, les instruments peuvent introduire des erreurs, et des théories concurrentes peuvent correspondre aux mêmes observations.

Cette différence ne rend pas l’IA hors de propos. Elle modifie l’endroit où la confiance doit se placer.

Les modèles peuvent explorer des déductions, comparer des corpus, détecter des contradictions et générer des expériences candidates. Ces capacités peuvent élargir l’éventail des hypothèses examinées par les chercheurs humains.

Ils peuvent aussi aider à maintenir la mémoire externe requise par les enquêtes de longue durée. Une base de connaissances technique consultable peut préserver les hypothèses rejetées, le contexte expérimental et les liens entre documents.

Ce soutien devient particulièrement utile lorsque la découverte s’étend sur plusieurs personnes et plusieurs années. Toutefois, organiser les preuves ne détermine toujours pas quel détail inexpliqué mérite une nouvelle théorie.

Le modèle le plus solide à court terme est donc collaboratif. Les humains et les machines peuvent répartir le travail selon leurs forces vérifiées sans prétendre que cette division a déjà disparu.

Les modèles du monde constituent le pont proposé, pas une réponse prouvée

Le remède proposé par Zahavy remplace la prédiction passive de texte par des systèmes capables d’agir au sein de simulations cohérentes et de tester des situations contrefactuelles.

Un modèle du monde représente la façon dont un environnement évolue au fil du temps. Un modèle du monde contrôlable par l’action permet aussi à un agent d’intervenir et d’observer l’état qui en résulte.

Cette distinction importe pour l’abduction. Observer de nombreux objets tomber peut révéler une régularité. Choisir de retirer un support, de modifier la gravité ou de changer le mouvement d’un observateur peut révéler une structure causale.

Zahavy soutient que l’invention scientifique exige cette seconde relation. Un système a besoin de plus que de descriptions d’expériences. Il lui faut un laboratoire synthétique où les actions proposées produisent des conséquences cohérentes.

Les recherches de Google DeepMind sur Genie vont dans cette direction. L’article original sur Genie décrivait des environnements interactifs génératifs appris à partir de vidéos.

De tels systèmes peuvent transformer des données visuelles en espaces qui réagissent aux actions. Ils offrent une voie au-delà d’un modèle de langage qui ne fait que discuter de situations physiques sous forme de jetons.

Cependant, le réalisme visuel ne suffit pas. Une pomme générée qui tombe de manière convaincante peut refléter des séquences d’images fréquentes plutôt qu’une loi interne de la gravité.

Un modèle du monde scientifique doit rester cohérent face à des interventions inhabituelles. Il devrait préserver les relations causales lorsqu’un agent crée des conditions rarement représentées dans les données d’entraînement.

Cette exigence est élevée. Les modèles génératifs de vidéo privilégient souvent des images plausibles. La simulation scientifique exige des grandeurs stables, des dynamiques reproductibles et des contrefactuels fiables.

Le modèle a également besoin d’un moyen de traduire la simulation en concepts. Faire l’expérience d’une régularité ne produit pas automatiquement un axiome qui l’explique.

Cette traduction constitue le véritable goulot d’étranglement de l’article. Un agent doit choisir quelles propriétés d’une simulation méritent une représentation symbolique. Il doit ignorer les détails accessoires tout en conservant la structure causale.

Ce processus de sélection ressemble au problème de cadrage que l’architecture était censée résoudre. Les développeurs peuvent fournir à un système des objets, des actions et des variables d’état prédéfinis, mais ces choix intègrent des hypothèses humaines.

Un environnement latent plus riche réduit certaines contraintes tout en en introduisant d’autres. Si l’espace latent reflète les corrélations des vidéos d’entraînement, le modèle peut toujours reproduire des apparences familières sans découvrir le mécanisme qui les régit.

L’incarnation reste également ambiguë. Einstein n’avait pas besoin de sauter d’un vrai toit ni de voyager dans un ascenseur en chute libre. Son expérience physique soutenait une simulation mentale.

Une machine pourrait de même acquérir un ancrage par une interaction virtuelle suffisamment cohérente. Rien dans l’argument n’établit que la sensation biologique soit seule capable de soutenir l’abduction.

L’exigence importante est fonctionnelle. Le système doit formuler des interventions, prédire leurs conséquences, comparer des explications et créer des représentations qui ne lui ont pas été fournies à l’avance.

Même cette liste pourrait être incomplète. Le jugement scientifique implique de décider quelles surprises comptent, quelles simplifications restent acceptables et quand une prémisse improbable mérite une enquête prolongée.

Les a priori humains façonnent ces décisions. Einstein accordait de la valeur à des principes tels que la covariance et l’unité conceptuelle. Les engagements de Kepler ont influencé sa recherche d’un ordre astronomique.

Une machine aura aussi besoin d’a priori. Les concepteurs doivent décider si ces préférences sont apprises, programmées, évoluées ou dérivées de l’interaction.

Des a priori forts peuvent stimuler une exploration productive, mais ils peuvent aussi créer une cécité systématique. Une machine abductive pourrait générer des théories assurées à partir de simulations trompeuses.

Cela rend la vérification plus importante, et non moins. Un système qui propose de nouvelles prémisses a besoin de tests rigoureux distinguant la nouveauté conceptuelle de l’hallucination non contrôlée.

Les garde-fous actuels des LLM se concentrent largement sur l’exactitude factuelle au sein de connaissances établies. L’invention scientifique exige de proposer des affirmations que les connaissances existantes ne peuvent pas déjà certifier.

Le système recherché doit donc être imaginatif et se méfier de sa propre imagination. L’intégration de ces deux propriétés dans une même boucle de recherche reste non résolue.

« Ne peut pas » est le terme le plus vulnérable de l’article

L’article identifie une lacune réelle, mais sa conclusion architecturale la plus forte dépasse les éléments fournis par une seule étude de cas historique.

Premièrement, la nouveauté est difficile à classer. Une hypothèse proposée peut combiner des concepts existants tout en réorganisant un domaine. L’invention humaine émerge rarement sans langage, instruments et théories antérieures.

Qualifier toute recombinaison d’induction risque de définir l’abduction comme tout ce que les machines n’ont pas encore accompli. Cette définition se déplacerait chaque fois qu’un système produit un résultat surprenant.

Deuxièmement, les modèles de langage n’opèrent pas seuls dans de nombreux systèmes modernes. L’utilisation d’outils, la mémoire, l’apprentissage par renforcement, la vérification formelle, la recherche et l’interaction avec l’environnement peuvent modifier la capacité globale.

Un pur prédicteur du prochain jeton peut manquer d’un mécanisme abductif fiable. Un agent construit autour de ce prédicteur peut néanmoins mettre en œuvre des processus absents du modèle de base.

L’unité d’analyse pertinente pourrait donc être le système entier. Dire qu’« un LLM ne peut pas faire le saut » devient moins informatif lorsque le chercheur déployé comprend des simulateurs, des évaluateurs, des instruments et une mémoire persistante.

Troisièmement, l’exemple d’Einstein fixe une barre très élevée. Reconstruire la relativité générale à partir des connaissances historiques se rapproche davantage de la reproduction d’une révolution scientifique que de la mesure de l’invention scientifique ordinaire.

Un système pourrait contribuer à de nouvelles hypothèses importantes en chimie, en biologie ou en informatique sans reconstruire indépendamment les fondements conceptuels de la physique.

Exiger un résultat à l’échelle d’Einstein avant de reconnaître l’abduction machine sous-estimerait des changements plus modestes mais authentiques dans la représentation.

Quatrièmement, le diagnostic de l’article nécessite des évaluations falsifiables. Les chercheurs ont besoin de tests dans lesquels le cadre pertinent est absent de l’entraînement, l’environnement permet l’intervention et la réussite ne peut pas provenir d’une terminologie mémorisée.

Ces conditions sont difficiles à créer. Des mondes scientifiques synthétiques pourraient fournir des lois cachées, mais la réussite dans ces mondes pourrait refléter les biais de leurs concepteurs.

Les tests dans le monde réel évitent certaines hypothèses synthétiques, mais rendent plus difficile l’évaluation de la nouveauté et de la causalité. Ils créent aussi de longs cycles de retour d’information et des préoccupations de sécurité potentiellement graves.

La meilleure interprétation est donc provisoire. Les éléments actuels ne montrent pas que les modèles de langage peuvent faire naître indépendamment des prémisses scientifiques de niveau paradigmatique. Ils n’établissent pas non plus une impossibilité permanente.

L’article est le plus convaincant lorsqu’il demande aux chercheurs de dissocier les capacités. Il l’est moins lorsque l’expression « structurellement incapable » sonne comme un théorème sur tout système futur contenant un LLM.

Cette tension devrait façonner les affirmations sur les produits. Les fournisseurs devraient identifier quelles étapes leurs agents de recherche automatisent et quelles étapes dépendent encore du cadrage humain.

Les chercheurs devraient publier des traces complètes montrant comment les objectifs, les prompts, les outils et les évaluateurs ont influencé une découverte rapportée. Un article final soigné ne peut pas révéler ces dépendances.

Ils devraient également comparer les hypothèses générées par les modèles à de solides références de recherche. La recherche évolutionnaire, la récupération d’information et la recombinaison de modèles peuvent produire des résultats surprenants sans exiger une nouvelle catégorie de raisonnement.

Enfin, des experts indépendants doivent déterminer si un résultat modifie la représentation ou améliore simplement les performances à l’intérieur de celle-ci. Cette évaluation restera souvent sujette à débat.

La réaction sur Hacker News est utile précisément parce que les praticiens résistent aux frontières philosophiques trop nettes. Ils voient les modèles se comporter différemment selon les contextes, les prompts, les outils et les niveaux d’échafaudage.

Les anecdotes de part et d’autre restent insuffisantes. Des résultats impressionnants ne prouvent pas une compréhension ancrée dans le réel, tandis que des échecs familiers ne démontrent pas une impossibilité architecturale.

Ce que les prochaines affirmations de découvertes par l’IA devront démontrer

Les preuves décisives viendront de systèmes capables de formuler des prémisses utiles sous des limites de connaissances contrôlées, et non d’une prose scientifique améliorée.

Le premier signal à surveiller est une expérience sérieuse de « seuil historique ». Les chercheurs devraient entraîner ou contraindre un système afin que les théories et la terminologie ultérieures ne puissent pas contaminer ses données probantes.

Le système devrait ensuite recevoir des observations, des instruments et des possibilités d’intervention disponibles avant une découverte majeure. Il doit formuler une prémisse qui n’était pas présente dans ses matériaux de départ.

Si un système réussit de manière répétée sous ces contrôles, l’affirmation de Zahavy s’affaiblit. S’il ne reconstruit des théories que lorsque le langage ultérieur reste accessible, le diagnostic de l’article gagne en crédibilité.

Le deuxième signal est le progrès des modèles du monde contrôlables par l’action. Ces systèmes doivent rester physiquement cohérents lors d’interventions inhabituelles, et non simplement générer des prolongements visuels convaincants.

Les chercheurs devraient vérifier si les agents peuvent identifier des variables cachées, concevoir des expériences discriminantes et créer des représentations causales compactes. La réussite doit se transférer au-delà des environnements exacts utilisés pour l’entraînement.

Un transfert fiable soutiendrait l’idée que la simulation peut fournir l’ancrage que Zahavy juge absent. Un échec hors des environnements familiers suggérerait que l’interaction visuelle masque encore l’induction.

Le troisième signal concerne la provenance des découvertes revendiquées par l’IA. Les laboratoires devraient indiquer qui a défini l’objectif, choisi la représentation, construit l’évaluateur et reconnu l’importance du résultat.

Un système mérite davantage de crédit lorsqu’il modifie l’un de ces éléments en amont. Améliorer une métrique au sein d’un benchmark rédigé par des humains reste utile, mais répond à une autre question.

Pour les développeurs et les acheteurs en entreprise, cette distinction influe dès aujourd’hui sur la conception des flux de travail. L’IA peut accélérer la recherche, la formalisation, la comparaison et la vérification sans devenir l’autorité finale en matière de cadrage.

Les équipes devraient maintenir l’examen humain au plus près des décisions concernant les objectifs, les hypothèses, les explications causales et les éléments de preuve acceptables. C’est à ces moments qu’une réponse fluide peut discrètement restreindre le problème.

Les travailleurs du savoir devraient également préserver le contexte qui sous-tend les conclusions. Les sources, les hypothèses écartées et l’historique des décisions aident à repérer lorsqu’un assistant optimise le cadre d’hier.

Le débat « LLMs Can’t Jump » ne se terminera pas avec un seul benchmark ou fil Hacker News. Sa valeur réside dans l’exigence d’une norme plus rigoureuse pour la découverte.

Lorsque la prochaine affirmation d’un scientifique IA arrivera, demandez-vous ce que le système a reçu avant de commencer. Demandez-vous ensuite s’il a trouvé une meilleure réponse ou créé une meilleure question.

Cette distinction détermine si l’IA a franchi le fossé de Zahavy, ou si elle s’est simplement déplacée plus vite après que les humains ont construit le pont.