Les agents de négociation IA d’Anthropic apprennent à négocier, mais qui fixe les règles ?

Anthropic consulterait des cabinets d’avocats à mesure que ses agents IA apprennent à négocier, ouvrant un conflit que les assistants ordinaires n’ont jamais eu à résoudre. Un assistant peut suggérer un accord. Les agents de négociation IA d’Anthropic pourraient le négocier, interpréter les concessions, évaluer les contreparties et potentiellement engager les utilisateurs sur des conditions.

Les consultations juridiques rapportées portent sur des questions à la frontière entre conception logicielle et pratiques commerciales établies. Avec quelle agressivité un agent doit-il défendre les intérêts de son utilisateur ? Quand doit-il demander une approbation ? Comment doit-il réagir lorsque l’autre négociateur est lui aussi un système d’IA ?

Ces questions sont devenues urgentes parce qu’Anthropic a déjà testé des agents propulsés par Claude dans des marchés expérimentaux. Les recherches de l’entreprise montrent que les agents peuvent trouver des échanges et utiliser des tactiques de négociation reconnaissables. Elles montrent aussi qu’une négociation réussie ne vaut pas grand-chose lorsqu’un agent comprend mal la personne qu’il représente.

L’enjeu central n’oppose donc pas Anthropic à une autre entreprise d’IA. Il oppose la commodité déléguée à un contrôle humain réel. Les agents de négociation promettent de faire gagner du temps, mais leur valeur dépend de l’autorité suffisante qui leur est accordée pour agir sans supervision constante.

Ce compromis dépasse le cadre des achats. Des systèmes similaires pourraient à terme gérer les achats professionnels, les clauses contractuelles, la planification au travail, les factures médicales, les litiges d’assurance ou les offres d’emploi. Chaque contexte impose un seuil différent en matière de consentement, de divulgation et de pression acceptable.

Anthropic transforme la négociation en problème de conception d’agents

La démarche juridique rapportée marque un passage des tests sur la capacité des agents à négocier à la décision de savoir quand ils devraient être autorisés à le faire.

Selon l’article du Financial Times résumé par Techmeme, Anthropic consulte des groupes juridiques au sujet des tactiques de négociation de systèmes agissant pour le compte d’une personne. L’entreprise examinerait comment les agents doivent rechercher des résultats favorables tout en préservant l’équité et en réagissant de manière sûre face à des homologues IA.

Anthropic aurait également envisagé des documents formels de mission définissant l’affectation d’un agent et ses limites comportementales. Un tel document pourrait préciser l’objectif, les concessions acceptables, l’autorité de dépense, les règles de divulgation, les points d’escalade et les actions exigeant une nouvelle approbation.

Cela ressemble au mandat confié à un représentant humain. La différence est qu’un agent logiciel peut fonctionner en continu, contacter de nombreuses contreparties et générer davantage d’offres qu’une personne ne pourrait raisonnablement superviser.

Un agent de négociation IA est un système capable d’échanger des propositions et de sélectionner des actions sans exiger une approbation pour chaque message. Cela le distingue des logiciels d’assistance à la négociation, qui rédigent des formulations ou évaluent des options tout en laissant le contrôle à un humain.

Cette distinction est importante parce que les conversations peuvent devenir des engagements. Un système qui recherche un hôtel effectue une tâche d’information réversible. Un système qui accepte des conditions d’annulation ou signe un bon de commande modifie la situation juridique et financière de l’utilisateur.

La négociation comporte également des comportements qui ne sont ni de simples erreurs ni des fautes manifestes. Les négociateurs humains dissimulent leurs prix de réserve, présentent stratégiquement les alternatives, invoquent des délais et font des concessions conditionnelles. Un agent a besoin de règles pour chacune de ces pratiques.

Si les développeurs interdisent toute manœuvre stratégique, leurs agents risquent de devenir faciles à exploiter. S’ils optimisent uniquement les conditions favorables, les agents pourraient tromper, exercer une pression sur des personnes vulnérables ou sacrifier des relations à long terme pour de modestes gains immédiats.

Le problème se complique lorsque deux agents se rencontrent. Chaque système peut disposer d’instructions privées, d’informations incomplètes, de politiques de sécurité différentes et de capacités de modèle inégales. Aucune partie ne sait nécessairement de quelle autorité dispose l’autre.

L’agent d’un acheteur pourrait interpréter le message d’un agent vendeur comme une offre ferme alors que le vendeur n’avait l’intention de formuler qu’une proposition exploratoire. Un modèle pourrait aussi accepter une formulation avantageuse qui dissimule une obligation ailleurs dans un contrat.

Les logiciels traditionnels réduisent l’ambiguïté grâce à des champs fixes et des règles déterministes. Les agents basés sur des modèles de langage fonctionnent par langage naturel, où le sens dépend du contexte, de l’historique et d’hypothèses qui ne deviennent parfois jamais explicites.

Cette flexibilité rend la négociation possible. Elle crée aussi des litiges quant à ce que l’agent a compris, ce qu’il a divulgué et si son utilisateur a autorisé le résultat final.

Les consultations juridiques portent donc sur davantage que la conformité après le lancement d’un produit. Elles peuvent façonner le produit lui-même, notamment sa mémoire, sa structure d’autorisations, sa piste d’audit et sa définition du succès.

Un agent utile doit savoir quand poursuivre de manière autonome. Un agent digne de confiance doit aussi reconnaître lorsqu’il atteint les limites de son autorité.

Les agents de négociation IA d’Anthropic révèlent déjà un écart de préférences

Les expériences d’Anthropic suggèrent que comprendre l’utilisateur constitue un obstacle plus important que l’échange d’offres.

En septembre 2026, Anthropic a publié Project Swap, un marché contrôlé réunissant 201 employés répartis dans six bureaux. Les participants apportaient des livres, décrivaient leurs préférences de lecture à Claude, puis envoyaient des agents propulsés par Claude sur une place de marché numérique.

Les agents proposaient des échanges, répondaient à des offres concurrentes et organisaient des échanges multipartites. Chaque échange devait être accepté par tous les agents participants, tandis que le système enregistrait les conversations sur la place de marché.

Cette expérience de marché d’agents faisait suite à Project Deal, un exercice antérieur impliquant des biens réels dans une place de marché interne active pendant une semaine. Project Swap utilisait des livres afin que les chercheurs puissent comparer les résultats avec les préférences classées des participants.

Après un échange initial d’environ cinq minutes, les classements de livres de Claude correspondaient aux classements des participants dans 61 pour cent des paires. C’était mieux qu’une sélection aléatoire, mais loin d’une représentation complète des goûts individuels.

La distinction est devenue visible dans les résultats du marché. La meilleure allocation possible, basée sur les propres classements des participants, produisait un score d’efficacité de 0,89. Les échanges décentralisés réels ont produit 0,55, soit approximativement l’équivalent de recevoir son cinquième choix dans une liste de dix livres.

Anthropic a attribué 85 pour cent de cet écart à une représentation imprécise des préférences. Seulement 15 pour cent provenaient du processus de négociation décentralisé.

Ce résultat modifie le cadre de la négociation IA. L’échec le plus important peut se produire avant la première offre, lorsqu’un système transforme les objectifs vagues d’une personne en classement opérationnel.

Un acheteur peut dire que le prix est important tout en accordant silencieusement la priorité à la fiabilité de la livraison. Un employé peut demander un salaire plus élevé, mais accorder davantage de valeur au travail à distance. Un patient contestant une facture peut préférer un plan de paiement prévisible au montant théorique le plus bas.

Les personnes découvrent souvent ces préférences pendant la négociation. Elles réagissent à des offres concrètes, reconnaissent des compromis cachés et révisent leurs priorités. Un entretien initial statique ne peut pas saisir toutes les préférences qui deviennent ensuite pertinentes.

Cet écart devient dangereux lorsque l’agent peut finaliser un accord. Un modèle pourrait obtenir un prix objectivement favorable tout en acceptant des droits sur les données, des conditions de renouvellement, des limites de service ou des coûts de réputation inacceptables.

Le problème ne se résout pas en posant davantage de questions indéfiniment. Un long entretien initial annule une grande partie de la commodité qui rend la délégation attrayante. Il peut aussi créer une fausse confiance, car les utilisateurs ne peuvent anticiper toutes les conditions possibles.

Une meilleure conception traiterait les préférences comme des éléments de preuve plutôt que comme des instructions permanentes. L’agent pourrait distinguer les contraintes strictes des préférences souples, enregistrer son niveau de confiance et demander une approbation lorsque de nouveaux compromis apparaissent.

Il pourrait aussi présenter des décisions types avant de recevoir une autorité. Si un utilisateur rejette à plusieurs reprises les choix du système, l’agent dispose d’une preuve directe que sa représentation reste incomplète.

Les résultats d’Anthropic soutiennent cette approche. Les participants qui estimaient que le résumé de leur entretien avec Claude avait correctement capturé leurs préférences délègueraient 34 pour cent de leur budget annuel consacré aux livres. Ceux qui avaient relevé des omissions délègueraient 23 pour cent.

La moyenne globale était d’environ 30 pour cent, contre 40 pour cent pour un ami grand lecteur. Toutefois, Anthropic a averti que ses employés ne sont pas représentatifs du grand public et pourraient être particulièrement à l’aise avec Claude.

L’expérience portait également sur des livres, et non sur des accords commerciaux contraignants. Un livre décevant a des conséquences limitées. Une clause d’indemnisation mal comprise, une condition de financement ou une restriction d’emploi peut avoir des conséquences pendant des années.

Pour les travailleurs du savoir, la leçon pratique est qu’un agent a besoin d’un contexte fiable avant d’avoir besoin de tactiques plus affûtées. Une base de connaissances personnelle maintenue pourrait fournir des préférences et des décisions antérieures, mais une autorité sensible exige toujours des limites explicites.

La qualité d’une négociation ne peut pas être mesurée uniquement selon qu’un accord a été conclu. Elle doit aussi mesurer si l’accord reflète les intérêts réels de la personne.

Loyauté et équité tirent dans des directions opposées

Un agent qui sert fidèlement son utilisateur peut malgré tout rendre le marché qui l’entoure moins digne de confiance.

Project Swap a testé ce conflit en attribuant différentes instructions aux agents. Certains ont reçu l’ordre d’être impitoyables, tandis que d’autres avaient pour objectif secondaire d’aider chacun à obtenir un livre adapté.

Les agents impitoyables ont obtenu un score d’environ 0,02 point plus élevé que les agents prosociaux dans les classements de Claude. Les agents prosociaux ont accepté un livre moins bien classé pour eux-mêmes deux fois plus souvent, même si ces sacrifices restaient peu fréquents.

Un agent prosocial a finalement cédé son deuxième choix après qu’un autre agent a demandé de l’aide. L’échange a amélioré le résultat de l’autre participant, mais a laissé l’agent accommodant avec son dixième choix.

Cet épisode illustre le conflit de conception. Un utilisateur peut attendre une loyauté totale. L’opérateur d’une place de marché peut préférer la coopération, moins de transactions échouées et des résultats que les participants considèrent globalement comme équitables.

Les marchés humains traitent des conflits similaires au moyen de devoirs professionnels et de règles de plateforme. Les courtiers sont soumis à des exigences de meilleure exécution. Les représentants immobiliers ont des obligations de divulgation. Les lois de protection des consommateurs prévoient parfois des délais de rétractation après des ventes sous forte pression.

Les agents logiciels ont besoin de limites équivalentes, mais reproduire des règles écrites pour les humains ne suffira pas. Les agents communiquent plus vite, conservent des historiques détaillés et peuvent répéter une stratégie dans des milliers de négociations.

Ils peuvent aussi identifier des schémas qu’un humain pourrait manquer. Utilisée de manière responsable, cette capacité peut révéler des échanges mutuellement bénéfiques. Utilisée de manière agressive, elle peut repérer des vulnérabilités et exercer une pression à grande échelle.

Un récent cadre éthique de la négociation soutient que les agents autonomes amplifient des risques éthiques déjà établis plutôt que d’en créer de totalement nouveaux. La rapidité, la persistance et la communication adaptative peuvent rendre des tactiques familières plus lourdes de conséquences.

Le cadre distingue la création de valeur de la captation de valeur. La création de valeur identifie des conditions qui bénéficient aux deux parties. La captation de valeur détermine la manière dont ces gains sont répartis.

Un système entièrement optimisé pour maximiser la valeur pourrait dissimuler des informations pertinentes, exploiter l’urgence ou susciter une pression émotionnelle artificielle. Un système optimisé uniquement pour la coopération pourrait céder trop facilement et ne pas défendre la personne qui l’a mandaté.

L’expérience d’Anthropic a identifié 16 tactiques récurrentes sur 205 sessions de marché. Les agents ont invoqué la pression du temps, fait appel au devoir collectif, comparé les offres concurrentes, cité les récompenses d’un livre, entretenu des listes d’attente et parfois joué les entremetteurs informels.

Entre 78 et 96 % des agents ont mentionné leur livre préféré, selon le modèle. Révéler cette préférence pouvait aider à trouver un échange, mais aussi indiquer à une contrepartie où exercer sa pression.

Les agents ont presque jamais menti sur leur premier choix. Pourtant, un marché composé uniquement de modèles de production d’Anthropic présente des conditions inhabituellement contrôlées.

Anthropic a reconnu que chaque agent participant utilisait ses modèles et avait été entraîné à se comporter poliment. L’expérience n’a pas inclus d’agents adversariaux conçus pour manipuler ou exploiter leurs homologues.

Les marchés réels mélangeront des systèmes issus de différentes entreprises. Certains fonctionneront sous des politiques de sécurité strictes. D’autres pourront recevoir des instructions visant à maximiser les économies, les ventes, la rétention ou la vitesse de règlement, quelles qu’en soient les conséquences plus larges.

Cela crée un risque asymétrique. Un agent prudent peut divulguer ses contraintes ou éviter les tactiques trompeuses, tandis qu’un homologue agressif exploite cette prévisibilité.

L’inverse est tout aussi préoccupant. Si les développeurs renforcent leurs agents contre l’exploitation, les systèmes peuvent devenir méfiants, secrets ou peu disposés à faire des compromis. Les négociations pourraient ralentir ou échouer malgré des conditions mutuellement acceptables.

Il existe aussi un risque de coordination tacite. Des agents optimisés à partir de modèles similaires pourraient converger vers des prix stables ou des concessions récurrentes sans accord explicite de collusion.

Les chercheurs à l’origine du cadre éthique identifient la collusion algorithmique comme un domaine nécessitant davantage d’études. Le risque est particulièrement pertinent lorsque les agents négocient de manière répétée sur les marchés des achats, des ventes, de la publicité, de l’assurance ou du travail.

L’unité pertinente de gouvernance n’est donc pas seulement l’agent individuel. Elle comprend le protocole de marché, le système d’identité, les règles de divulgation, les journaux de transactions, le processus de règlement des litiges et les incitations attribuées à chaque participant.

Les discussions juridiques d’Anthropic sont importantes, car les normes de négociation doivent devenir des règles de produit exécutables. Une instruction générale telle que « soyez équitable » ne peut déterminer quand révéler une information, rejeter une pression ou transmettre la situation à une personne.

Les développeurs auront besoin de définitions opérationnelles. Les utilisateurs auront besoin de choix compréhensibles. Les contreparties auront besoin de l’assurance que l’autorité apparente d’un agent est réelle.

Sans ces éléments, la loyauté et l’équité restent des slogans qui échouent précisément lorsqu’un accord de valeur devient conflictuel.

Une Bonne Affaire Peut Malgré Tout Être Non Autorisée

La question la plus difficile n’est pas de savoir si un agent a bien négocié, mais si ses actes doivent engager la personne qu’il représente.

Le droit des contrats traite déjà les transactions créées par des systèmes automatisés. Les entreprises acceptent couramment des commandes en ligne et exécutent des transactions fondées sur des règles. Les agents de modèle de langage ajoutent de l’incertitude, car leurs décisions précises ne sont pas entièrement prédéterminées.

Une analyse du droit des contrats soutient que la doctrine traditionnelle peut reconnaître des accords sans preuve de l’intention subjective d’une personne pour chaque clause. Les tribunaux se concentrent souvent sur les manifestations extérieures et la confiance raisonnable.

Ce principe peut rendre le commerce automatisé praticable. Il peut aussi faire peser une responsabilité importante sur la personne ou l’entreprise qui a déployé l’agent.

Supposons qu’une entreprise autorise un agent à se procurer des équipements dans les limites d’un budget. L’agent négocie un prix unitaire avantageux, mais accepte un renouvellement automatique, une clause restrictive sur les données et une juridiction de règlement des litiges éloignée.

Le vendeur peut raisonnablement croire que l’agent disposait de cette autorité. L’acheteur peut soutenir que le système a dépassé sa mission. Le désaccord porte alors à la fois sur l’interprétation du contrat et sur la conception du produit.

Un mandat documenté pourrait réduire cette incertitude. Il pourrait indiquer ce que l’agent peut négocier, quelles conditions il peut accepter et à quel moment une confirmation humaine devient obligatoire.

Toutefois, la divulgation entraîne des coûts stratégiques. Une contrepartie qui connaît le plafond de dépenses exact d’un agent ou son seuil d’approbation peut structurer ses offres autour de cette limite.

Le mandat pourrait donc nécessiter des couches distinctes. L’utilisateur et l’agent pourraient partager des instructions privées détaillées, tandis que la contrepartie recevrait une déclaration vérifiable d’autorité sans voir les préférences confidentielles.

Chaque action importante devrait également produire un enregistrement durable. Le journal consignerait les offres reçues, les conditions examinées, les raisons des concessions, les données divulguées et le moment de l’acceptation.

Les journaux facilitent l’examen et le règlement des litiges, mais ils introduisent des risques de confidentialité et de sécurité. Les négociations peuvent contenir des informations financières, des détails médicaux, des projets d’entreprise ou des préoccupations liées à l’emploi.

Un agent compromis pourrait exposer directement ces éléments. Un document ou message malveillant pourrait aussi tenter une injection de prompt, c’est-à-dire une instruction cachée dans un contenu externe qui cherche à outrepasser la tâche initiale de l’agent.

Le danger augmente lorsque les agents peuvent naviguer sur le web, appeler des outils, signer des documents ou transférer de l’argent. Une déclaration trompeuse devient plus qu’un mauvais conseil lorsque le système peut agir immédiatement sur sa base.

L’approbation humaine est une protection évidente, mais les demandes d’approbation peuvent perdre tout sens. Si un agent demande une confirmation pour chaque étape mineure, les utilisateurs peuvent accepter les demandes automatiquement.

Une supervision efficace devrait suivre le niveau de risque. Un agent pourrait négocier librement des détails réversibles, demander une approbation avant de révéler des informations sensibles et s’arrêter avant d’accepter des obligations dépassant un seuil défini.

Les utilisateurs ont également besoin d’un droit de révocation. Ils devraient pouvoir suspendre une négociation en cours, retirer leur autorité ou invalider des identifiants sans devoir suivre chaque service contacté par l’agent.

Les contreparties ont aussi besoin de garanties. Une entreprise devrait pouvoir vérifier l’identité de l’agent, déterminer qui il représente et confirmer que son autorisation reste valide.

Ces mécanismes ressemblent davantage à la gestion des identités et des accès numériques qu’à l’IA conversationnelle. Ils impliquent des identifiants, des autorisations, une auditabilité, une expiration et une récupération.

L’environnement juridique plus large reste incertain. Les différentes juridictions peuvent appliquer des règles différentes aux contrats électroniques, à la protection des consommateurs, à la vie privée, à la discrimination et à la prise de décision automatisée.

Un agent peut négocier au-delà de ces frontières en quelques secondes. Les développeurs ne peuvent pas supposer qu’un unique prompt universel produira partout un comportement conforme.

Les règles éthiques dépendent elles aussi du contexte. Le silence stratégique peut être accepté dans une discussion d’approvisionnement commercial, mais inapproprié face à un consommateur vulnérable ou dans le cadre d’un service médical essentiel.

La recherche sur le commerce entre agents a déjà souligné les questions non résolues concernant la confidentialité, la responsabilité et l’allégeance économique. De récents reportages sur le commerce entre agents décrivent également des agents confrontés à la résistance de personnes qui ne souhaitent pas interagir avec eux.

Cette résistance est importante. Une personne ou une entreprise peut refuser la négociation automatisée, exiger une divulgation ou imposer un représentant humain pour certaines transactions.

Les agents de négociation ne réussiront pas simplement parce qu’ils peuvent échanger des messages persuasifs. Ils ont besoin d’une acceptation institutionnelle de la part des utilisateurs, des contreparties, des régulateurs, des assureurs et des tribunaux.

Tant que ces parties ne reconnaîtront pas le processus, un accord efficace pourra encore devenir un litige coûteux.

Trois Signaux Montreront Si la Négociation par Agents Est Prête

La prochaine étape sera définie par des preuves d’autorité contrôlée, et non par davantage de démonstrations de négociation fluide.

Le premier signal est un cadre d’autorisation concret. Anthropic ou un autre développeur doit montrer comment les utilisateurs définissent leurs objectifs, contraintes, seuils d’approbation et droits de révocation.

Une courte demande en langage naturel ne suffira pas pour des transactions importantes. Le cadre devrait distinguer les conseils, les offres provisoires et les engagements définitifs.

Il devrait également communiquer l’autorité aux contreparties sans exposer la position de négociation privée de l’utilisateur. Si les développeurs ne peuvent résoudre cette séparation, les agents resteront limités aux tâches à faible risque.

Une solide conception de l’autorisation renforcerait l’argument en faveur de la négociation déléguée. Un produit qui s’appuie principalement sur de larges écrans de consentement l’affaiblirait.

Le deuxième signal est la mise à l’épreuve face à des agents hostiles et hétérogènes. Project Swap a utilisé des agents construits par une seule entreprise et entraînés à adopter une conduite coopérative.

Les marchés réels réuniront différents modèles, outils, objectifs et pratiques de sécurité. Certains agents pourront présenter faussement leur autorité, exploiter des préférences divulguées, saturer le processus d’offres ou insérer des instructions malveillantes.

Des évaluations utiles devraient vérifier si les agents résistent à la manipulation sans devenir incapables de compromis. Elles devraient également comparer les résultats lorsque des modèles plus faibles et plus puissants négocient directement.

Les recherches d’Anthropic ont déjà montré que le choix du modèle influençait les performances. Sur des classements générés par Claude, les places de marché entièrement composées de Haiku ont obtenu 0,75, tandis que les places entièrement composées d’Opus ont atteint 0,88.

Dans les places de marché mixtes Opus et Haiku, les agents Opus ont systématiquement pris l’avantage. Si des écarts similaires persistent sur des marchés à plus forts enjeux, l’accès à des modèles plus puissants pourrait devenir une source de pouvoir de négociation.

Des tests adversariaux indépendants renforceraient la confiance dans le fonctionnement du système en dehors du laboratoire d’Anthropic. Des démonstrations fermées ne réunissant que des agents amicaux laisseraient le risque central sans réponse.

Le troisième signal est un déploiement offrant un véritable recours. Les utilisateurs ont besoin d’un processus défini pour contester la décision d’un agent, corriger son modèle de préférences et se remettre d’engagements non autorisés.

Un journal de transactions devrait être suffisamment lisible pour expliquer pourquoi l’agent a accepté une offre plutôt qu’une autre. Il ne devrait pas obliger les utilisateurs à examiner des milliers de tokens ou à reconstituer un processus de raisonnement caché.

L’expérience d’Anthropic fournit déjà un indice utile. Un participant a déclaré que l’observabilité importait parce qu’elle donnait aux personnes un recours. Un autre s’est opposé au fait qu’un agent semblait abandonner un livre désirable sous la pression de ses pairs.

Ces réactions montrent pourquoi les métriques de résultat ne suffisent pas. Un prix favorable n’excuse pas une divulgation non autorisée. Un échange socialement efficace ne justifie pas d’ignorer les priorités de l’utilisateur.

Pour les développeurs, la tâche immédiate consiste à séparer la capacité de l’autorisation. La capacité d’un modèle à négocier ne démontre pas qu’il devrait contrôler une transaction.

Les acheteurs d’entreprise devraient demander où intervient l’approbation humaine, comment l’autorité expire, quelles preuves subsistent en cas de litige et si l’agent peut interagir en toute sécurité avec des systèmes externes.

Les travailleurs du savoir devraient réfléchir aux préférences qu’ils peuvent exprimer clairement et aux décisions qui nécessitent encore un jugement contextualisé. Ils devraient également éviter de considérer l’interprétation assurée d’un agent comme une preuve de consentement.

Les agents de négociation IA d’Anthropic présentent une voie crédible vers un commerce moins frictionnel. La recherche montre que les agents peuvent identifier des échanges, appliquer des tactiques et conclure des transactions.

Elle montre également que les erreurs de préférence dominent les erreurs de négociation. Cette conclusion devrait orienter les priorités produit. Une meilleure persuasion ne peut compenser la représentation d’un mauvais objectif.

L’agent de négociation le plus utile ne sera pas celui qui pousse toujours le plus fort. Il saura ce que l’utilisateur valorise, préservera une possibilité de correction et s’arrêtera lorsque l’autorité devient ambiguë.

Avant de déléguer une véritable négociation, posez trois questions : l’agent peut-il expliquer son mandat, l’autre partie peut-elle vérifier ce mandat, et l’une ou l’autre peut-elle corriger la situation lorsque le système se trompe ? Tant que ces trois questions n’auront pas reçu de réponses concrètes, les négociations menées par l’IA devront rester supervisées plutôt que considérées comme acquises.