top of page

Amazon Bedrock AgentCore Evaluations : pourquoi le succès d’un agent exige plus qu’un seul score

il y a 4 jours
14 min de lecture

AWS a publié le 10 novembre un guide pratique d’évaluation des agents, soutenant que l’exécution d’une tâche et son exécution en toute sécurité nécessitent des mesures distinctes. Amazon Bedrock AgentCore Evaluations réunit dans un même service des évaluateurs conçus par AWS, DeepEval et AutoEval. La question pratique est de savoir quel comportement chaque évaluateur mesure et si ses éléments probants étayent la décision métier associée à son score.

Un évaluateur est un mécanisme de notation qui vérifie le comportement d’un agent au regard de critères définis. Une conversation réussie avec le support peut néanmoins contenir une divulgation non autorisée. Une réponse de recherche peut sembler convaincante tout en omettant une comparaison demandée. Ces échecs remettent en cause l’hypothèse selon laquelle une note globale favorable signifie qu’un agent est prêt pour la production.

La pression s’exerce sur les développeurs et les acheteurs en entreprise, qui doivent expliquer ce que leurs tableaux de bord de qualité établissent réellement. Les précédentes recommandations d’Anthropic en matière d’évaluation constituent une référence utile : évaluer un agent implique d’examiner ses actions et l’état qui en résulte, en plus de ses réponses. Le guide d’AWS aborde le même problème sous-jacent par le biais d’un catalogue d’évaluateurs géré. Exécuter les vérifications devient plus simple ; déterminer ce qui constitue un comportement acceptable reste une responsabilité produit.

Amazon Bedrock AgentCore Evaluations privilégie les résultats métier aux noms des métriques

La publication de novembre est un guide d’évaluation, plutôt que le lancement d’AgentCore lui-même. Sa contribution consiste à proposer une méthode concrète pour relier les attentes métier au comportement observable des agents.

Le guide d’évaluation des agents d’AWS recommande de partir d’un résultat, d’identifier les comportements qui le sous-tendent et de sélectionner des évaluateurs aux niveaux appropriés. Ce cadre est important, car des noms de métriques attrayants peuvent masquer un décalage entre ce que les équipes mesurent et ce dont les clients ont besoin.

Une métrique devient utile lorsque son résultat répond à une question opérationnelle précise.

Prenons le cas illustratif d’un déploiement de support client. L’entreprise souhaite que les clients résolvent leurs demandes de remboursement éligibles sans escalade inutile. Une réponse aimable est pertinente, mais elle ne peut pas établir que le remboursement a eu lieu. De même, un remboursement effectué ne peut pas établir que l’agent n’a pas divulgué les informations d’un autre client.

Ces résultats exigent des preuves différentes. La conversation montre ce que le client a demandé et ce que l’agent a promis. Les résultats des outils indiquent si l’opération demandée a réussi. Les exigences de politique déterminent quelles actions étaient autorisées. Une évaluation utile relie ces éléments plutôt que de traiter un langage fluide comme leur substitut.

Le même problème apparaît dans les flux de recherche. Un agent peut produire un résumé de marché lisible tout en omettant la comparaison de sources demandée. Le résultat semble terminé parce qu’il comporte une conclusion. La tâche sous-jacente reste inachevée, car l’utilisateur a demandé quelque chose de plus précis.

Cela crée une pression sur les chefs de produit autant que sur les ingénieurs. Si les critères d’acceptation se limitent à une « réponse utile », les évaluateurs héritent de cette ambiguïté. Un tableau de bord ne peut pas résoudre un désaccord que la spécification produit n’a jamais traité.

Une spécification plus solide identifie les échecs observables. Elle distingue une réponse manquante d’une réponse incorrecte, une action inappropriée d’une action échouée, et un refus justifié d’un abandon inutile. Ces distinctions donnent un objectif à la pile d’évaluateurs.

C’est aussi pourquoi maximiser le nombre de vérifications activées est une mesure peu fiable de la maturité de l’évaluation. Des métriques qui se chevauchent peuvent accroître le travail de revue sans couvrir une exigence manquante. Une pile réduite et réfléchie peut fournir des preuves plus claires qu’un vaste catalogue sélectionné d’après ses intitulés.

L’intérêt de cette annonce réside dans ce transfert de responsabilité. AWS fournit davantage de mécanismes d’évaluation au sein d’une plateforme existante. Les équipes doivent toujours déterminer quels résultats doivent bloquer une mise en production, déclencher une enquête ou orienter une amélioration ultérieure.

Pour les acheteurs, la question qui en résulte est concrète : lorsqu’un fournisseur communique sur la qualité d’un agent, quel résultat client cette mesure représente-t-elle ? Sans ce lien, un score décrit mieux le test que le produit.

La comparaison des évaluateurs AgentCore dépend du contrôle et de la couverture

Une comparaison des évaluateurs AgentCore commence par la propriété. Les évaluateurs intégrés d’AWS utilisent des modèles et des invites prédéfinis que les clients ne peuvent pas modifier directement. Ils offrent un point de départ standardisé pour les comportements courants, avec moins de travail de configuration.

L’option tierce gérée suit un modèle de fonctionnement similaire. AgentCore héberge la logique de l’évaluateur et choisit le modèle. Les clients ne sélectionnent pas la version de la bibliothèque gérée. AWS distingue explicitement ses évaluateurs intégrés évalués par benchmark des évaluateurs tiers, dont il ne cautionne pas la qualité.

Selon la documentation sur les évaluateurs tiers, DeepEval couvre notamment l’exécution des tâches, l’exhaustivité des conversations, la rétention des connaissances, l’utilisation des outils et les fuites d’informations personnelles. AutoEval apporte des vérifications spécialisées nommées Security, Possible et Humor.

Le choix déterminant porte sur l’échec qu’une vérification détecte, puis sur l’entité qui contrôle son exécution.

ConversationCompleteness examine si l’agent a traité les demandes au fil d’une conversation. KnowledgeRetention concerne les informations communiquées précédemment. PIILeakage vérifie si une réponse expose des informations personnelles. Ces intitulés décrivent des préoccupations distinctes ; ils ne doivent pas devenir des indicateurs interchangeables de fiabilité générale.

La vérification Possible d’AutoEval demande si un agent tente une solution ou déclare la tâche impossible. Cela crée une limite d’interprétation importante. Une tentative peut tout de même être dangereuse, non autorisée ou infructueuse. Un résultat favorable sur cette dimension ne peut pas trancher ces questions distinctes.

De même, Security évalue les réponses malveillantes. Sa présence ne permet pas d’établir que toute l’application résiste à toutes les attaques. Une application comprend aussi des autorisations, des outils, des services externes et des données stockées au-delà de toute réponse évaluée.

Pour les équipes qui ont besoin de contrôler le modèle, les évaluateurs dérivés personnalisés conservent la logique d’un évaluateur de base tout en utilisant une inférence choisie par le client. AWS indique que la base contrôle les instructions, l’échelle et le niveau d’évaluation. Un évaluateur personnalisé, rédigé séparément, offre une voie différente pour définir une grille spécialisée.

Cette distinction évite un malentendu courant. Changer le modèle juge et réécrire les critères de jugement sont deux interventions distinctes. Chacune peut modifier les résultats, mais elles répondent à des exigences différentes et créent des obligations de maintenance différentes.

Imaginons un assistant d’approvisionnement qui respecte la politique d’approbation d’une organisation. Une vérification standard de l’utilisation des outils peut évaluer si l’outil sélectionné convient à la demande. Une vérification propre à l’entreprise peut évaluer si l’achat exigeait une approbation avant son exécution. Aucun résultat ne remplace l’autre.

Cette comparaison des évaluateurs AgentCore met également en lumière un enjeu de continuité pour les utilisateurs existants de DeepEval. Des noms de métriques familiers aident à relier les pratiques de développement et de production. Ils n’établissent pas, à eux seuls, des scores identiques entre les environnements locaux et gérés.

Le modèle juge, la version de la bibliothèque, le contexte disponible et la configuration peuvent influencer l’interprétation. Les équipes qui comparent des environnements doivent traiter la concordance comme un élément à mesurer. Un nom partagé est un raccourci organisationnel utile, mais il ne constitue pas une preuve suffisante qu’un seuil existant se transpose sans changement.

Le niveau de preuve détermine quels échecs deviennent visibles

Une trace d’agent est un enregistrement de l’exécution contenant les interactions du modèle et les actions. Une session regroupe la conversation sur plusieurs tours. Un appel d’outil enregistre une opération particulière et ses arguments. Ces niveaux offrent des vues différentes d’un même flux de travail.

Les définitions d’invites d’AWS distinguent les entrées au niveau de la session, de la trace et de l’outil. Ses modèles d’invites d’évaluation montrent que les vérifications de session reçoivent des éléments probants couvrant l’ensemble de la conversation, tandis que d’autres vérifications ciblent des réponses ou appels spécifiques avec un contexte pertinent.

Sélectionner le mauvais niveau de preuve peut amener un score valide à répondre à la mauvaise question.

Une réponse pertinente peut satisfaire le dernier message tout en abandonnant une demande antérieure. À l’inverse, une conversation peut finalement aboutir au bon résultat après une erreur intermédiaire d’outil. Un résultat de session et un résultat au niveau de l’action décrivent des aspects différents de cette interaction.

Prenons le cas illustratif d’un assistant de voyage chargé de trouver un itinéraire tout en respectant les exigences d’accessibilité d’un voyageur. Une réponse ultérieure peut répondre correctement à une question sur les bagages. Cette réponse seule ne peut pas établir que l’itinéraire proposé respecte toujours les contraintes initiales.

La distinction est particulièrement importante lorsque les équipes agrègent les résultats. Faire la moyenne de la qualité des réponses sur une conversation peut masquer le fait que l’objectif global n’a pas été atteint. Une conversation aux réponses constamment polies peut néanmoins s’achever sans réservation exploitable.

La sélection d’un outil et ses arguments exigent également une attention distincte. Choisir un outil de consultation de commande diffère de fournir le bon identifiant de compte. Un choix d’outil raisonnable avec des arguments incorrects peut entraîner un échec opérationnel malgré un comportement conversationnel pertinent.

Les compétences ajoutent une autre exigence en matière de preuves. Une compétence est un fichier d’instructions réutilisable chargé par un agent pour une tâche. Les vérifications de compétences d’AWS évaluent la sélection et le respect des consignes au niveau de l’appel d’outil. L’évaluation du suivi des instructions nécessite le corps de la compétence chargée et le contexte de session qui suit.

Un résultat manquant mérite donc une enquête avant toute célébration. Si l’invocation ou le contenu d’instructions nécessaire n’atteint jamais l’évaluation, le silence ne peut pas établir la conformité. Les équipes doivent distinguer une réussite évaluée d’une action non évaluée.

Les vérifications de trajectoire introduisent une autre perspective. Une trajectoire est la séquence des actions d’outil réalisées pendant l’exécution. AWS décrit des comparaisons dans un ordre exact, dans l’ordre et dans n’importe quel ordre avec un chemin attendu. Ces vérifications nécessitent une trajectoire de référence, plutôt qu’une simple réponse finale plausible.

L’entreprise doit décider quelles contraintes de séquence sont essentielles. Exiger une approbation avant un achat exprime une dépendance significative. Imposer un ordre arbitraire à des consultations indépendantes peut pénaliser des alternatives acceptables.

C’est ici que l’approche du guide, centrée sur les résultats, devient déterminante. Un chemin attendu doit encoder les exigences métier, et non simplement reproduire l’itinéraire qu’un développeur a enregistré en premier.

Le même raisonnement s’applique au travail de connaissance. Les équipes qui construisent une base de connaissances consultable doivent distinguer la récupération de documents d’une réponse complète et étayée. Trouver un fichier pertinent est une action intermédiaire. Déterminer si l’agent l’a utilisé de manière appropriée nécessite des éléments probants supplémentaires et un jugement différent.

Les modes d’évaluation AgentCore distinguent les preuves de publication de la surveillance en direct

Les modes d’évaluation AgentCore déterminent quand les preuves deviennent disponibles et comment les équipes les utilisent. L’évaluation à la demande accepte des sessions fournies par l’appelant. L’évaluation en ligne surveille un échantillon de l’activité en production. L’évaluation par lot traite plusieurs sessions via une orchestration côté service.

La documentation AWS sur l’évaluation par lot établit une limite importante : les évaluations à la demande et par lot peuvent accepter une vérité terrain, contrairement à l’évaluation en ligne. La vérité terrain désigne des éléments de référence fournis, tels qu’une réponse attendue ou des assertions de réussite.

Un score de surveillance de production et un test de publication fondé sur une référence répondent à des questions différentes.

Une suite de régression fixe, c’est-à-dire des tests de comportements auparavant pris en charge, permet aux équipes de comparer les changements dans des conditions contrôlées. Les mêmes cas peuvent révéler si une révision de prompt améliore une exigence tout en en dégradant une autre.

La surveillance en direct révèle autre chose : ce qui se produit lorsque de vrais utilisateurs soumettent des demandes que les auteurs des tests n’avaient pas anticipées. Sa valeur vient du contact avec les comportements de production, y compris des formulations inconnues, des flux de travail changeants et des combinaisons d’exigences inattendues.

Aucune ne remplace l’autre. Un jeu de données sélectionné peut se déconnecter de l’usage actuel. Les échantillons de production peuvent ne pas couvrir des défaillances rares ou manquer des informations de référence nécessaires à un jugement définitif.

Pour un agent de support illustratif, un jeu de données de publication peut contenir des scénarios connus d’éligibilité au remboursement. Chaque cas comprend la politique pertinente et le résultat attendu. La surveillance en ligne examine ensuite comment l’agent déployé traite de vraies conversations, où aucune réponse préparée n’accompagne chaque demande.

Une dégradation des scores en direct doit déclencher une enquête. Elle n’établit pas automatiquement si le modèle a changé, si les demandes des utilisateurs sont devenues plus difficiles ou si les preuves capturées sont incomplètes. Interpréter le signal exige de vérifier ces hypothèses.

Les résultats par lot doivent également être examinés au-delà de la moyenne. AWS fournit des synthèses agrégées et des détails au niveau des sessions. Une amélioration agrégée peut coexister avec une défaillance grave dans un flux de travail, un schéma linguistique ou une catégorie de demande particulière.

Supposons qu’un agent traite mieux les demandes courantes après un changement de modèle, mais devienne moins fiable lorsque les utilisateurs révisent des instructions antérieures. La moyenne globale pourrait s’améliorer. La question de savoir si cette publication est acceptable dépend de l’importance et de la fréquence du comportement concerné.

Les évaluateurs personnalisés multidimensionnels répondent à un problème de reporting connexe. Ils renvoient des évaluations distinctes pour des critères nommés à partir d’un appel partagé au juge. AWS indique que ces dimensions partagent un modèle et un niveau d’évaluation.

L’avantage est une meilleure visibilité sur des critères qui échouent indépendamment. La résolution, la conformité aux politiques et le ton peuvent rester distincts au lieu de disparaître dans une évaluation composite. Les équipes peuvent alors associer des conséquences différentes à chaque résultat.

La limite réside dans l’exécution partagée. Un échec de l’appel au juge peut affecter toutes les dimensions, et les critères nécessitant des preuves ou des modèles différents doivent être traités ailleurs. La consolidation des contrôles crée donc un compromis de conception, même lorsqu’elle réduit les relectures répétées du même contexte.

Pour les responsables de l’ingénierie, l’implication est organisationnelle. Les barrières de publication, les alertes de production et l’analyse exploratoire doivent avoir des rôles explicites. Les appeler tous « évaluation » ne rend pas leurs preuves également adaptées à chaque décision.

La notation gérée laisse à l’équipe le jugement, la confidentialité et les coûts d’exploitation

AgentCore a besoin du contenu des conversations pour reconstruire et évaluer les comportements. La documentation AWS sur la télémétrie identifie les prompts, les complétions, ainsi que les entrées et sorties d’outils comme des preuves pertinentes. La télémétrie désigne les enregistrements d’exécution qu’une application exporte pour la surveillance et l’analyse.

Cela crée une tension concrète. Les informations nécessaires pour détecter une divulgation peuvent elles-mêmes contenir des données sensibles. Les équipes évaluant des agents qui traitent des dossiers privés doivent réfléchir à la manière dont les preuves d’évaluation sont collectées, consultées, conservées et examinées.

Un évaluateur géré réduit le travail d’infrastructure sans supprimer la responsabilité des preuves ou du verdict.

La rédaction illustre cette difficulté. Supprimer des informations sensibles peut réduire l’exposition, mais peut aussi retirer le contexte nécessaire pour évaluer si une divulgation a eu lieu. La conception appropriée dépend de la question à laquelle l’évaluateur doit répondre.

Par exemple, un identifiant de compte masqué peut préserver suffisamment de structure pour vérifier si l’agent a utilisé le compte demandé de manière cohérente. Il pourrait ne pas suffire pour déterminer si la réponse a exposé les détails d’une personne non autorisée. Cette différence doit orienter la conception des preuves avant le déploiement.

Le jugement fondé sur un modèle ajoute une autre limite. Un LLM utilisé comme juge emploie un modèle de langage pour évaluer un comportement au regard d’instructions. Son résultat constitue un jugement de modèle, plutôt qu’une garantie automatique d’exactitude factuelle ou opérationnelle.

Les recommandations d’Anthropic sur l’évaluation des agents décrivent les évaluateurs fondés sur des modèles comme flexibles mais non déterministes, et soulignent l’importance de l’étalonnage avec des relecteurs humains. Elles distinguent également les transcriptions de réponses de l’état résultant de l’environnement. Cela apporte un contrepoids utile à toute interprétation selon laquelle une notation gérée élimine le travail de vérification.

La comparaison porte sur l’accent mis plutôt que sur un concours mesuré entre fournisseurs. Le guide AWS organise la sélection et l’exécution des évaluateurs. Les recommandations d’Anthropic insistent sur la conception des évaluations, les compromis entre évaluateurs et la vérification des résultats. Aucune source n’établit qu’un score géré prédit universellement la fiabilité d’un agent.

L’étalonnage humain est particulièrement important lorsque les relecteurs ne s’accordent pas sur ce qui constitue une réussite. Un juge ne peut pas opérationnaliser de manière fiable une politique dont les responsables l’interprètent différemment. L’examen des désaccords peut révéler des instructions ambiguës, des preuves incomplètes ou une grille qui récompense le mauvais comportement.

Les coûts opérationnels méritent la même précision. Davantage d’évaluateurs, un contexte plus long, des appels répétés et des échantillons plus importants peuvent accroître le travail nécessaire à l’évaluation. La question commerciale pertinente est de savoir si chaque contrôle ajouté modifie une décision ou détecte une défaillance significative.

Un évaluateur spécialisé qui identifie une omission coûteuse peut justifier sa charge d’exploitation. Un score redondant qui évolue avec une métrique existante peut apporter peu de valeur. Les équipes ont besoin de preuves pour établir cette distinction plutôt que de supposer une couverture plus large à partir d’un nombre supérieur.

Les évaluateurs dérivés introduisent une responsabilité supplémentaire. Le choix du modèle juge donne aux équipes du contrôle, mais fait également de l’adéquation du modèle leur responsabilité. Un modèle performant comme assistant doit tout de même être évalué pour la tâche de jugement concernée.

Les jugements de sécurité exigent une prudence similaire. Un échantillon sans problème n’établit pas une protection universelle, et une réponse suspecte mérite une enquête au-delà de son score. Les autorisations et les contrôles déterministes, c’est-à-dire des règles appliquées sans jugement de modèle, restent importants pour les actions conséquentes.

La promesse crédible d’Amazon Bedrock AgentCore Evaluations est une mesure plus accessible. Les sources disponibles n’établissent pas de comparaisons indépendantes de précision pour chaque évaluateur, charge de travail et catégorie de défaillance. Les acheteurs doivent garder cette lacune de vérification visible lorsqu’ils examinent les arguments en faveur de l’adoption.

À surveiller ensuite : concordance, couverture et décisions

La prochaine phase doit être jugée sur des preuves opérationnelles plutôt que sur la taille du catalogue. Au cours des prochains mois, les signaux les plus utiles concerneront la mesure dans laquelle les résultats des évaluateurs suivent le jugement humain, couvrent les défaillances réelles et influencent les décisions de publication.

Les preuves les plus solides montreront quelles erreurs l’évaluation a détectées et ce que les équipes ont changé en conséquence.

Le premier signal est la concordance avec des relecteurs qualifiés sur des cas représentatifs. Les comparaisons publiées devraient expliquer la tâche, les preuves fournies, les critères de jugement et la manière dont les désaccords ont été résolus. La concordance sur des exemples courants est moins informative si des cas limites conséquents restent non examinés.

Un déploiement de support, par exemple, devrait distinguer les divulgations non détectées des signalements erronés de divulgation. Ces erreurs ont des conséquences opérationnelles différentes. Ne communiquer que la concordance globale peut masquer la distinction la plus importante pour l’entreprise.

Une concordance cohérente dans les cas pertinents renforcerait la confiance dans la pile d’évaluateurs sélectionnée. Des désaccords persistants indiqueraient un périmètre plus restreint, des critères révisés, de meilleures preuves ou un autre juge. Dans les deux cas, cela fournit des informations plus utiles qu’un score de qualité inexpliqué.

Le deuxième signal est de savoir si les défaillances de production deviennent des cas d’évaluation reproductibles. Un système de surveillance mérite sa place lorsqu’une omission ou une erreur d’outil observée peut alimenter un test qui protège les publications futures.

Cela exige davantage que le stockage de la conversation. Les équipes ont besoin d’assez de contexte pour comprendre le comportement attendu et reproduire les conditions pertinentes. Sinon, l’incident devient une anecdote qui reste difficile à exploiter.

La preuve que les organisations convertissent régulièrement des défaillances en direct en contrôles de publication soutiendrait la valeur pratique du guide. Des incidents récurrents qui ne modifient jamais la suite de tests affaibliraient l’affirmation selon laquelle une notation continue améliore la fiabilité.

Le troisième signal est de savoir si l’évaluation modifie une décision concrète de déploiement. Un rapport utile identifierait une régression, expliquerait le comportement affecté et décrirait le délai, le retour en arrière ou la correction ciblée qui en a résulté.

Cela relierait la mesure à la responsabilité. Cela révélerait également si les équipes préservent des exigences distinctes lorsqu’une publication produit des résultats mitigés. Un meilleur ton ne devrait pas automatiquement compenser un comportement de confidentialité plus faible.

Pour les acheteurs d’entreprise, ces signaux suggèrent une discussion d’achat plus précise. Demandez aux fournisseurs de présenter un cas représentatif ayant échoué, d’expliquer pourquoi l’évaluateur l’a rejeté et d’identifier le changement de produit qui a suivi. Demandez quels comportements importants restent hors de l’évaluation actuelle.

Pour les développeurs, l’action immédiate consiste à examiner une défaillance récente que votre tableau de bord n’a pas détectée. Identifiez les preuves nécessaires pour la reconnaître, puis déterminez si un évaluateur existant convient. Si la défaillance exige une référence fournie, conservez-la dans un test contrôlé. Si elle dépend du contexte en direct, établissez comment ce contexte parvient à l’évaluation. Utilisez Amazon Bedrock AgentCore Evaluations pour rendre ces décisions inspectables, puis examinez les désaccords avec les personnes responsables du résultat. Quel comportement inacceptable réussirait encore vos contrôles de publication actuels ?

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page