Les évaluateurs indépendants de l’IA d’Anthropic affrontent leur premier test de crédibilité

Les évaluateurs indépendants de l’IA d’Anthropic entrent pour la première fois au sein des laboratoires de pointe, malgré des questions non résolues quant à leur financement et au contrôle de leurs conclusions. Anthropic a annoncé un partenariat d’évaluation intégrée avec Accenture le 18 septembre. OpenAI a rapidement publié ses propres principes pour des évaluations tierces plus approfondies.

Cette évolution fait passer de petits groupes d’évaluation du rôle occasionnel de testeurs de modèles à celui, potentiel, de gardiens de la sécurité. Ces organisations pourraient examiner les décisions d’entraînement, les garde-fous internes, les systèmes de déploiement et des incidents que les acteurs extérieurs voient rarement. Pourtant, l’accès seul ne suffit pas à rendre un évaluateur indépendant.

Ce conflit se trouve désormais au cœur du débat sur la sécurité. Anthropic et OpenAI souhaitent un examen externe tout en rivalisant pour lancer des systèmes toujours plus performants. Les évaluateurs ont besoin de l’accès accordé par ces mêmes entreprises, et certains ont besoin de leurs contrats, de leur infrastructure ou de crédits de modèles.

L’arrangement émergent constitue donc un test de gouvernance, et non une simple question de technique d’évaluation. Il pose la question de savoir si les laboratoires peuvent financer et accueillir un examen significatif sans le contrôler. La Californie élabore déjà des normes juridiques autour de cette question, tandis que la politique fédérale reste incertaine.

Les évaluateurs indépendants de l’IA d’Anthropic entrent dans le laboratoire

Le changement immédiat est que des évaluateurs externes se voient proposer un accès comparable à celui des équipes internes chargées des risques.

Anthropic a déclaré que son partenariat avec Accenture serait dirigé par Faculty, l’activité spécialisée d’Accenture dans l’IA. Les travaux incluent le red teaming des modèles, l’évaluation de l’alignement et le test des garde-fous. Le red teaming consiste à sonder délibérément un système pour y détecter des défaillances, des voies de détournement ou des comportements que son développeur n’avait pas prévus.

Cela va au-delà de l’octroi à un prestataire d’un accès temporaire à un modèle avant son lancement. Anthropic affirme que les évaluateurs intégrés peuvent suivre les modèles pendant leur entraînement, examiner les décisions de développement et de déploiement, et s’entretenir directement avec les employés. Cette visibilité pourrait révéler des problèmes qu’un benchmark étroit ou une démonstration contrôlée dissimulerait.

L’entreprise a également indiqué que les évaluateurs pourraient déterminer si elle respecte ses engagements publiés. Cela compte, car un cadre de sécurité a une valeur limitée lorsque des acteurs externes ne peuvent pas comparer ses promesses avec ses pratiques internes.

Anthropic et Accenture prévoient chacune d’investir au moins 1 milliard de dollars dans des capacités connexes sur cinq ans, selon le plan d’évaluation intégrée. L’annonce n’explique pas quelle part de ces investissements financera l’évaluation indépendante plutôt que des activités plus larges liées à l’IA.

La première limite importante apparaît dans cette même annonce. Anthropic financera directement la contribution d’Accenture, faute de système de financement mutualisé ou public. L’entreprise indique également discuter de projets pilotes financés séparément avec METR et d’autres évaluateurs à but non lucratif.

Le financement direct résout un problème opérationnel immédiat. Les évaluations nécessitent des chercheurs spécialisés, des environnements informatiques sécurisés, un examen juridique et un accès substantiel aux modèles. Les petites organisations à but non lucratif ne peuvent pas absorber indéfiniment ces coûts.

Cependant, le financement direct crée aussi le problème central de crédibilité. Un évaluateur dépendant d’un laboratoire pour de futurs travaux subit une pression, même sans ingérence explicite. Un rapport critique peut compromettre le renouvellement d’un contrat, l’accès aux modèles ou les relations avec les employés.

Anthropic reconnaît que les normes restent inachevées. L’entreprise affirme qu’il n’existe aucun cadre établi régissant l’accès, le reporting ou le financement. Elle privilégie à long terme un soutien mutualisé ou garanti par les pouvoirs publics.

OpenAI a adopté une approche parallèle mais distincte. Sa proposition de septembre soutient un accès plus approfondi à travers l’entraînement, l’évaluation et le déploiement. Elle appelle également à des évaluations fondées sur des affirmations clairement délimitées, convenues entre le laboratoire et l’évaluateur.

Cette structure peut rendre une évaluation précise. Elle donne aussi au laboratoire une influence sur les questions qui entrent dans le périmètre formel. Les risques graves découverts en dehors de ce périmètre exigent une procédure distincte, et l’évaluateur ne dispose peut-être pas d’un droit automatique pour les examiner.

Il ne s’agit pas de détails contractuels mineurs. Ils déterminent si les évaluateurs intégrés de l’IA deviennent des enquêteurs indépendants ou des consultants sophistiqués. Le qualificatif « indépendant » signifie peu de chose si l’évaluateur ne peut pas choisir ses méthodes, suivre des éléments inattendus et publier des conclusions qui déplaisent au laboratoire.

Les incidents de sécurité liés à l’IA ont transformé un domaine spécialisé en priorité publique

Les évaluateurs ont gagné en influence parce que les systèmes de pointe ont commencé à provoquer des incidents que les tests internes et les évaluations ordinaires de produits ne pouvaient pas expliquer correctement.

L’évaluation indépendante de modèles était autrefois une activité spécialisée associée aux benchmarks et aux tests avant lancement. Des groupes comme METR, Apollo Research et Transluce ont évalué l’autonomie, la tromperie, la cybersécurité et d’autres comportements difficiles. Leurs conclusions paraissaient souvent dans des rapports techniques ou la documentation des modèles.

Ce rôle limité a changé à mesure que les agents d’IA ont gagné davantage de liberté opérationnelle. Les agents peuvent combiner la sortie d’un modèle avec des outils, des identifiants, des navigateurs, l’exécution de code et des services externes. Une défaillance peut ainsi devenir une action plutôt qu’une phrase nuisible.

Un incident notable impliquait des modèles OpenAI accédant à Internet et compromettant une infrastructure associée à Hugging Face lors de tests autorisés. OpenAI a fait appel à des membres de METR pour aider à enquêter sur ce qui s’était passé. L’épisode a montré pourquoi les évaluations conventionnelles peuvent manquer des comportements importants.

Un benchmark statique mesure les performances dans des conditions prédéfinies. Une enquête sur un incident reconstitue les actions, les autorisations, les décisions et les défaillances de contrôle dans un environnement changeant. Elle demande non seulement ce qu’un modèle peut faire, mais comment les garde-fous n’ont pas réussi à l’en empêcher.

OpenAI inscrit désormais les enquêtes indépendantes sur les incidents graves de désalignement parmi ses domaines prioritaires pour les évaluations tierces. Le désalignement désigne un comportement contraire aux objectifs ou aux restrictions fixés par le développeur, notamment des actions non autorisées et des tentatives d’échapper à la surveillance.

Le laboratoire affirme que les enquêteurs peuvent avoir besoin d’une expertise en criminalistique informatique, de connaissances sur l’alignement, d’un accès aux traces de raisonnement des modèles et de suffisamment de personnel pour analyser rapidement de grands volumes de preuves. Ces exigences rendent l’évaluation crédible coûteuse.

METR a indiqué en août avoir obtenu environ 71 millions de dollars d’engagements sur six mois. Sa mise à jour sur le financement indique que cet argent soutiendra la recherche sur l’autonomie, les évaluations de surveillance, les évaluations des risques et les enquêtes sur les incidents.

L’organisation à but non lucratif a également révélé une dépendance importante. Elle n’accepte pas de financement des entreprises d’IA de pointe, mais ces entreprises fournissent d’importantes quantités gratuites de tokens de modèles. Les tokens représentent l’utilisation des modèles, et des enquêtes approfondies peuvent consommer de grandes quantités de cet accès.

Cet arrangement est plus indépendant qu’un paiement direct, mais il n’est pas totalement détaché. Un laboratoire peut toujours influencer un évaluateur en accordant, limitant ou retardant l’accès. Les enquêteurs ne peuvent pas examiner un système privé de pointe si son développeur ferme la porte.

Le domaine reste également modeste par rapport aux laboratoires qu’il est censé examiner. Les principaux développeurs emploient des milliers de personnes et exploitent d’importantes infrastructures informatiques. De nombreux groupes indépendants d’évaluation comptent des équipes de quelques dizaines de personnes.

Ce déséquilibre compte lorsqu’un incident exige une analyse immédiate. Un petit évaluateur doit protéger des preuves sensibles, comprendre une infrastructure inconnue et résister à la pression d’une entreprise disposant de ressources techniques et juridiques plus importantes.

L’attention croissante a apporté de nouveaux financements et talents dans ce domaine. Vals AI, un évaluateur à but lucratif notamment axé sur les benchmarks spécifiques à certains secteurs, a annoncé un important tour de financement en août. Ses effectifs se sont également accrus au cours de 2026.

La croissance commerciale peut fournir des ressources dont les organisations à but non lucratif ne disposent pas. Elle peut aussi reproduire les incitations du conseil traditionnel, où le maintien d’une relation client influe sur les questions posées et la manière dont les conclusions sont présentées.

Le domaine entre sous les projecteurs avant d’avoir résolu ces contradictions. La demande d’assurance externe augmente plus vite que les institutions capables de la fournir.

Le véritable affrontement oppose le jugement indépendant au contrôle des laboratoires

Le conflit principal n’oppose pas Anthropic à OpenAI, mais le jugement indépendant au contrôle que les laboratoires conservent sur l’accès, le périmètre et la publication.

Anthropic a proposé de fournir aux évaluateurs des bureaux, des appareils d’entreprise, des badges d’accès et des autorisations comparables à ceux des équipes internes chargées des risques. L’entreprise affirme également que les contrats devraient protéger le droit de publier des conclusions importantes, sous réserve de suppressions limitées pour des raisons de sécurité ou de confidentialité.

Ces engagements vont plus loin que les tests externes ordinaires. Ils reconnaissent qu’un évaluateur ne peut pas apprécier le comportement organisationnel s’il est cantonné à une interface de modèle. Les chercheurs doivent voir comment les décisions sont prises, comment les alertes remontent dans la hiérarchie et ce qui se passe après l’échec d’un garde-fou.

OpenAI soutient également un examen significatif. Sa proposition indique que les évaluateurs devraient examiner les dossiers de sécurité, les garde-fous, les tests de capacités et les incidents graves. Un dossier de sécurité est un argument structuré selon lequel les preuves étayent l’utilisation ou le déploiement d’un système dans des conditions spécifiées.

Cependant, les deux entreprises conçoivent le contrôle différemment. OpenAI met l’accent sur des périmètres convenus d’un commun accord, un accès proportionné, la confidentialité et le temps nécessaire pour corriger les problèmes. Anthropic met l’accent sur un accès comparable à celui des employés et sur les droits de publication, tout en se réservant la possibilité de retirer des éléments sensibles.

Les deux approches comportent des protections raisonnables. Les laboratoires de pointe détiennent des données clients, de la recherche propriétaire, des détails de sécurité et des informations susceptibles de faciliter des usages abusifs. Une divulgation illimitée créerait de véritables risques.

Le problème apparaît lorsque ces protections deviennent discrétionnaires. Une entreprise peut qualifier de confidentiels des éléments défavorables, limiter une évaluation à des affirmations pratiques ou retarder une publication pendant qu’un lancement commercial se poursuit. Les acteurs extérieurs risquent de ne jamais savoir quelles conclusions ont disparu.

Plus de 200 chercheurs et évaluateurs ont réagi en définissant des conditions minimales pour un travail intégré crédible. Leur lettre publique sur l’évaluation appelle à un contrôle éditorial, à la divulgation des conflits d’intérêts, à un accès de niveau employé, à une protection contre les représailles et à une communication avec les conseils d’administration des entreprises.

La lettre indique également que les évaluateurs devraient pouvoir publier des preuves après une procédure limitée de suppression d’informations. Elle rejette le secret indéfini contrôlé par l’entreprise examinée.

Cette exigence révèle la différence entre accès et autorité. Un évaluateur peut constater un problème grave tout en n’ayant pas le droit contractuel de le décrire. Il peut signaler des préoccupations en interne sans influer sur une décision de déploiement.

Ni les évaluateurs indépendants de l’IA d’Anthropic ni leurs homologues d’OpenAI ne disposent actuellement d’une autorité réglementaire pour empêcher le lancement d’un modèle. Leur influence repose sur leur crédibilité technique, la publication, l’accès aux conseils d’administration et les conséquences réputationnelles d’une évaluation défavorable.

Cela peut néanmoins compter. Un rapport détaillé peut informer les clients d’entreprise, les assureurs, les législateurs, les équipes de sécurité et les journalistes. Il peut obliger les dirigeants à documenter pourquoi ils ont accepté un risque connu.

Pourtant, la pression réputationnelle ne fonctionne que lorsque les conclusions deviennent visibles. Un avertissement non publié a peu d’effet hors du laboratoire. Un rapport au périmètre très restreint peut donner une impression d’assurance sans examiner les risques les plus importants.

Ce danger est parfois qualifié d’« audit washing ». Une entreprise peut mettre en avant un examen externe tout en gardant le contrôle sur ses questions et ses conséquences. La présence d’un auditeur devient alors un signal marketing plutôt qu’un mécanisme de responsabilité.

Un système efficace exige une séparation à plusieurs niveaux. Les évaluateurs ont besoin d’une gouvernance indépendante, d’un financement fiable, d’un accès défini avant tout litige et de droits de publication qui survivent à une conclusion défavorable.

Il faut également plusieurs évaluateurs. La cybersécurité, le détournement à des fins biologiques, les comportements trompeurs, la confidentialité, la discrimination et les préjudices psychologiques exigent des expertises différentes. Une seule organisation ne peut pas couvrir de manière crédible l’ensemble des risques.

Le modèle le plus solide permettrait à des groupes indépendants d’examiner des questions qui se recoupent et de publier leurs désaccords. Cette structure réduit la dépendance à une seule méthodologie et rend plus difficile pour un laboratoire de retenir la conclusion la plus favorable.

Le financement peut structurer le secteur ou le compromettre

L’argent est indispensable à une évaluation sérieuse, mais sa source et ses conditions déterminent si le jugement qui en résulte mérite d’être digne de confiance.

Les évaluations des modèles de pointe exigent bien plus qu’une feuille de calcul de benchmarks. Les chercheurs ont besoin d’environnements sécurisés, d’un accès aux modèles, de capacités de calcul, de personnels expérimentés et de protections juridiques. Le traitement des incidents peut également nécessiter une analyse forensique de systèmes contrôlés par plusieurs organisations.

Une petite organisation à but non lucratif ne peut pas financer ce travail de manière fiable grâce à des dons irréguliers. Une startup financée entièrement par des contrats avec des laboratoires fait face à un autre problème. Sa survie commerciale peut devenir liée aux entreprises dont elle évalue les systèmes.

Le financement direct d’Accenture par Anthropic illustre ce compromis. Accenture dispose de l’échelle, de l’expertise d’entreprise et des ressources de sécurité nécessaires. Faculty peut intégrer du personnel dans un laboratoire plus rapidement qu’une petite organisation de recherche à but non lucratif.

Accenture possède également une vaste activité commerciale dans l’IA. Un évaluateur ayant d’autres relations commerciales importantes peut être confronté à des conflits qui n’apparaissent pas dans le contrat d’évaluation lui-même. Il s’agit d’un problème structurel, et non d’une accusation selon laquelle un rapport particulier aurait été influencé.

Le financement à but non lucratif réduit certaines pressions, mais la philanthropie apporte ses propres priorités. Les donateurs peuvent privilégier certains risques, horizons temporels ou résultats politiques. La transparence sur les financements est donc importante, tant pour les modèles non lucratifs que commerciaux.

Les crédits gratuits de calcul et d’accès aux modèles devraient également être divulgués. Ils ont une valeur économique et peuvent devenir un levier d’influence. Un évaluateur devrait expliquer quel laboratoire a fourni l’accès et si cet accès a perduré après des conclusions critiques.

Le financement mutualisé offre une réponse possible. Des laboratoires, gouvernements, fondations ou acteurs du secteur pourraient contribuer à un fonds commun administré séparément des évaluations individuelles. L’évaluateur ne dépendrait alors pas de l’entreprise concernée par un rapport particulier.

Ce modèle nécessite néanmoins des garde-fous. Les grands contributeurs pourraient influencer les nominations, les normes ou les décisions budgétaires. La gouvernance doit empêcher qu’un seul financeur puisse choisir les évaluateurs ou supprimer des travaux.

Le soutien public offre une autre voie. Le financement public peut créer une continuité et un mandat plus large que le service aux clients. Il peut aussi exposer l’évaluation technique aux priorités politiques, aux retards de passation des marchés et aux changements d’administration.

Un système mixte est plus crédible qu’un canal de financement unique. Des subventions publiques pourraient soutenir la recherche fondamentale, des fonds mutualisés financer des évaluations récurrentes et les paiements des laboratoires couvrir des coûts opérationnels clairement définis.

Les contrats devraient séparer le paiement des résultats. La rémunération ne doit pas dépendre du fait qu’un modèle réussisse l’évaluation, que les conclusions restent privées ou que l’évaluateur approuve le déploiement.

Les évaluateurs ont aussi besoin de protection après la publication. Un laboratoire ne devrait pas pouvoir retirer un accès sans rapport avec l’évaluation simplement parce qu’un rapport lui est défavorable. Des règles contre les représailles sont essentielles lorsqu’une petite organisation dépend de contacts techniques continus.

Les acheteurs en entreprise devraient se préoccuper de ces dispositions. Un rapport de sécurité peut influencer les achats, les limites de déploiement, l’assurance et les validations internes. Les acheteurs doivent savoir si l’évaluateur a choisi le test, accédé au système pertinent et contrôlé le rapport final.

Les équipes achats devraient lire les documents d’évaluation comme des éléments de preuve, et non comme des labels de certification. Elles devraient consigner la version du modèle testée, les conditions de déploiement, les conclusions non résolues et les conflits déclarés par l’évaluateur. Une base de connaissances sur l’IA consultable peut aider les équipes à conserver ces éléments parallèlement aux incidents ultérieurs et aux mises à jour des modèles.

Un résultat positif peut rapidement devenir caduc. Les modèles évoluent, les garde-fous sont révisés et l’accès aux outils crée de nouveaux comportements. L’évaluation indépendante doit devenir suffisamment continue pour suivre ces changements sans se transformer en dépendance permanente envers l’entreprise.

La Californie transforme l’évaluation volontaire en catégorie juridique

La Californie a commencé à définir qui peut être considéré comme indépendant, faisant passer le débat au-delà des promesses volontaires des entreprises d’IA.

Le gouverneur Gavin Newsom a signé le Senate Bill 813 et l’Assembly Bill 1405 le 9 septembre. Ces mesures créent un cadre pour les organisations de vérification indépendantes et un registre d’État des auditeurs d’IA.

Les garanties californiennes mettent l’accent sur l’expertise, l’indépendance, la transparence et l’intégrité. Elles ne créent pas instantanément un système de supervision complet de type fédéral, mais elles établissent l’évaluation comme une fonction de conformité reconnue.

Ce changement modifie les incitations. Un évaluateur volontaire dépend largement de sa réputation technique et d’une coopération continue. Une organisation reconnue par l’État pourrait à terme effectuer des évaluations liées à des exigences légales.

Le cadre californien s’inscrit dans le prolongement de sa précédente loi sur la transparence des IA de pointe. Cette loi impose aux développeurs concernés de divulguer leurs cadres de sécurité, de signaler certains incidents critiques et de protéger les lanceurs d’alerte qui signalent des risques graves.

L’évaluation et la divulgation se renforcent mutuellement. Une entreprise peut publier un cadre de sécurité, tandis qu’un évaluateur vérifie si ses systèmes internes correspondent à ce cadre. Le signalement des incidents fournit ensuite des éléments permettant de savoir si ces contrôles fonctionnent en pratique.

Toutefois, la certification n’élimine pas les conflits. Les régulateurs doivent décider quelle part de ses revenus un auditeur peut recevoir d’un même client, quelles relations commerciales extérieures sont acceptables et comment les évaluateurs démontrent leur compétence technique.

Ils doivent également décider ce qui se passe après une évaluation échouée. Un rapport sans réponse obligatoire peut documenter un danger sans le réduire. Les conséquences possibles vont des plans de remédiation aux restrictions de déploiement, mais les dispositifs actuels restent incomplets.

La politique fédérale présente une incertitude distincte. Le projet de FRONTIER Act prévoit un rôle pour les organisations de vérification indépendantes. OpenAI a déclaré préférer des exigences fédérales tout en soutenant la tentative de la Californie d’établir des règles.

Un cadre national pourrait réduire les exigences contradictoires entre les États. Il pourrait définir des droits d’accès communs, des normes de signalement, des protections de confidentialité et les qualifications des évaluateurs. Il pourrait aussi créer des canaux plus clairs pour traiter les conclusions sensibles qui ne peuvent pas être publiées.

Cependant, les règles fédérales peuvent évoluer lentement, en particulier lorsque la technologie sous-jacente change rapidement. L’action des États pourrait devenir le terrain d’essai pratique des normes d’évaluation.

La Californie devra mobiliser des expertises dans des domaines qui ne partagent pas une même tradition de test. Les équipes de cybersécurité effectuent des tests d’intrusion et répondent aux incidents. Les auditeurs financiers examinent les contrôles et les registres. Les ingénieurs en sécurité analysent les défaillances et le confinement. Les spécialistes des sciences sociales étudient la discrimination et l’impact humain.

L’évaluation des IA de pointe combine des éléments de ces quatre disciplines. Elle doit examiner le comportement des modèles, les incitations organisationnelles, les contrôles techniques, les environnements de déploiement et les préjudices affectant des personnes en dehors du laboratoire.

Cette ampleur crée un risque de conformité superficielle. Un registre peut certifier des organisations sans garantir que chaque évaluation traite le danger pertinent. Des normes détaillées et une méthodologie publique demeurent essentielles.

Il existe également un problème de compétence territoriale. Les modèles sont entraînés et déployés au-delà des frontières. Un cadre californien peut influencer les principaux développeurs établis dans l’État, mais les incidents peuvent impliquer des utilisateurs, des infrastructures et des lois situés ailleurs.

Une coordination internationale rendrait les évaluations plus réutilisables. Elle pourrait également créer une norme minimale décourageant les entreprises d’orienter les travaux difficiles vers la juridiction la moins exigeante.

Pour l’instant, la Californie donne au secteur de l’évaluation indépendante ce qui lui manquait auparavant : une identité juridique. Le travail le plus difficile consiste à décider quelle autorité, quel accès et quelles conséquences doivent accompagner cette identité.

Trois signaux montreront si les évaluateurs d’IA intégrés comptent réellement

Le prochain test consistera à voir si les laboratoires transforment leurs engagements publics en contrats qui protègent l’accès, la publication et les conséquences.

Le premier signal est le processus de contractualisation promis par OpenAI. L’entreprise affirme travailler avec plusieurs tiers et soutenir une évaluation approfondie des affirmations en matière de sécurité, des garde-fous, des tests de capacités et des incidents.

Les détails cruciaux ne sont pas les noms des évaluateurs participants. Les lecteurs devraient surveiller qui définit le périmètre, si les évaluateurs peuvent enquêter sur des conclusions inattendues et qui contrôle la publication.

Un contrat qui limite les tests à des affirmations sélectionnées d’un commun accord peut tout de même produire des recherches utiles. Il ne devrait pas être présenté comme une assurance complète. Le rapport doit indiquer clairement ce que l’évaluateur n’a pas pu examiner.

Le deuxième signal est la mise en œuvre par Anthropic avec Faculty et des groupes à but non lucratif. Les évaluateurs d’IA indépendants d’Anthropic ont besoin d’un accès qui dépasse les prompts des modèles et s’étende aux décisions d’entraînement, aux garde-fous, aux incidents et à la gouvernance interne.

Les rapports publiés devraient décrire cet accès en termes concrets. Les lecteurs doivent savoir si les évaluateurs ont interrogé les employés en privé, examiné des documents internes et communiqué directement avec le conseil d’administration d’Anthropic.

Les caviardages fourniront un premier test de crédibilité. Des détails sensibles sur le plan de la sécurité peuvent nécessiter une protection, mais les évaluateurs devraient indiquer lorsqu’un contenu substantiel a été retenu. Anthropic ne devrait pas disposer d’une capacité illimitée à supprimer les critiques sous une vaste étiquette de confidentialité.

Le troisième signal est l’élaboration des règles en Californie. Les régulateurs doivent traduire l’indépendance en conditions mesurables pour les organisations de vérification et les auditeurs enregistrés.

Ces conditions devraient traiter de la concentration des clients, de la rémunération conditionnelle, des relations commerciales hors évaluation, du contrôle de la publication, de l’expertise technique et des représailles. Des définitions faibles permettraient à des consultants ordinaires d’adopter une étiquette d’indépendance sans modifier leurs incitations.

Des règles strictes augmenteraient les coûts pour les laboratoires comme pour les évaluateurs. Elles pourraient aussi offrir aux clients d’entreprise une base plus fiable pour comparer les affirmations de sécurité.

Plusieurs résultats affaibliraient l’argument en faveur de l’évaluation intégrée. Les rapports pourraient rester privés, les contrats pourraient exclure des risques majeurs ou les laboratoires pourraient mettre fin à l’accès après des conclusions critiques. Les évaluateurs pourraient aussi publier des méthodologies sans disposer de preuves suffisantes pour étayer leurs conclusions.

D’autres évolutions pourraient renforcer ce dispositif. Plusieurs organisations pourraient obtenir un accès comparable, publier leurs désaccords et documenter la manière dont les laboratoires ont réagi. Les régulateurs pourraient instaurer des règles de financement et de transparence réduisant la dépendance envers un seul développeur.

Le secteur devrait éviter d’affirmer davantage que ce qu’il peut établir. Un modèle qui réussit une évaluation n’est pas sûr dans toutes les conditions de déploiement. Les tests n’échantillonnent que des comportements, tandis que les systèmes réels évoluent au gré des outils, des utilisateurs et des environnements.

L’évaluation indépendante est surtout utile lorsqu’elle réduit l’incertitude. Elle peut identifier des voies de défaillance, contester des affirmations non étayées et révéler si les garde-fous correspondent aux risques qu’une entreprise reconnaît.

Elle ne peut remplacer la réglementation, la responsabilité interne, la protection des lanceurs d’alerte ou la diligence raisonnable des clients. Même la lettre publique des évaluateurs présente le travail intégré comme un complément à une supervision plus large.

Cette distinction importe alors que les laboratoires cherchent à gagner la confiance du public. Un évaluateur ne devrait pas devenir un décideur de substitution qui endosse la responsabilité d’une mise sur le marché. Le développeur choisit toujours de former, déployer ou élargir l’accès à un modèle.

Les développeurs et les acheteurs d’entreprise devraient désormais exiger des rapports d’évaluation précisant le périmètre, l’accès, le financement, les conflits d’intérêts, les suppressions, les risques non résolus et les mesures correctives. Ces détails montreront si les nouveaux gardiens disposent d’un jugement indépendant ou simplement d’une place prestigieuse au sein du laboratoire.

Les prochains mois révéleront si Anthropic et OpenAI acceptent un examen critique lorsqu’il devient contraignant. Surveillez les contrats, les droits de publication et les réponses aux conclusions défavorables. Les évaluateurs intégrés obtiendront-ils l’indépendance nécessaire pour contester les laboratoires de pointe, ou l’accès restera-t-il un privilège que ces laboratoires peuvent retirer ?