top of page

Amazon Bedrock AgentCore Evaluations: Por que o sucesso de agentes precisa de mais de uma pontuação

há 4 dias
13 min de leitura

A AWS publicou um guia de avaliação de agentes em 10 de novembro, defendendo que concluir uma tarefa e concluí-la com segurança exigem medições separadas. Amazon Bedrock AgentCore Evaluations reúne avaliadores criados pela AWS, DeepEval e AutoEval no mesmo serviço. A questão prática é qual comportamento cada avaliador mede e se suas evidências sustentam a decisão de negócio vinculada à sua pontuação.

Um avaliador é um mecanismo de pontuação que verifica o comportamento de um agente em relação a critérios definidos. Uma conversa de suporte bem-sucedida ainda pode conter uma divulgação não autorizada. Uma resposta de pesquisa pode soar convincente enquanto omite uma comparação solicitada. Essas falhas desafiam a premissa de que uma avaliação geral favorável significa que um agente está pronto para produção.

A pressão recai sobre desenvolvedores e compradores corporativos que precisam explicar o que seus painéis de qualidade realmente comprovam. As orientações anteriores da Anthropic sobre avaliação oferecem uma referência útil: avaliar um agente envolve examinar suas ações e o estado resultante, além de suas respostas. O guia da AWS trata do mesmo problema subjacente por meio de um catálogo gerenciado de avaliadores. Executar as verificações se torna mais fácil; decidir o que constitui um comportamento aceitável continua sendo uma responsabilidade de produto.

Amazon Bedrock AgentCore Evaluations coloca os resultados de negócio à frente dos nomes das métricas

A publicação de novembro é um guia de avaliação, e não o lançamento do próprio AgentCore. Sua contribuição é uma forma concreta de conectar expectativas de negócio a comportamentos observáveis dos agentes.

O guia de avaliação de agentes da AWS recomenda começar por um resultado, identificar os comportamentos por trás dele e selecionar avaliadores nos níveis adequados. Esse enquadramento importa porque nomes atraentes de métricas podem ocultar uma incompatibilidade entre o que as equipes medem e o que os clientes precisam.

Uma métrica se torna útil quando seu resultado responde a uma pergunta operacional específica.

Considere uma implantação ilustrativa de suporte ao cliente. A empresa quer que os clientes resolvam solicitações de reembolso elegíveis sem escalonamento desnecessário. Uma resposta amigável é relevante, mas não pode comprovar se o reembolso ocorreu. Da mesma forma, um reembolso concluído não pode comprovar se o agente divulgou informações de outro cliente.

Esses resultados exigem evidências diferentes. A conversa mostra o que o cliente solicitou e o que o agente prometeu. Os resultados das ferramentas mostram se a operação solicitada foi bem-sucedida. Os requisitos de política estabelecem quais ações eram permitidas. Uma avaliação útil conecta esses registros, em vez de tratar uma linguagem fluente como substituta para eles.

A mesma questão aparece em fluxos de trabalho de pesquisa. Um agente pode produzir um resumo de mercado legível enquanto ignora a comparação de fontes solicitada. A saída parece concluída porque tem uma conclusão. A tarefa subjacente continua incompleta porque o usuário pediu algo mais específico.

Isso cria pressão sobre gerentes de produto tanto quanto sobre engenheiros. Se os critérios de aceitação dizem apenas “resposta útil”, os avaliadores herdam essa ambiguidade. Um painel não pode resolver uma discordância que a especificação do produto nunca abordou.

Uma especificação mais forte identifica falhas observáveis. Ela distingue uma resposta ausente de uma resposta incorreta, uma ação inadequada de uma ação que falhou e uma recusa justificada de um abandono desnecessário. Essas distinções dão propósito à pilha de avaliadores.

Esse também é o motivo pelo qual maximizar o número de verificações ativadas é uma medida pouco confiável de maturidade da avaliação. Métricas sobrepostas podem aumentar o trabalho de revisão sem cobrir um requisito ausente. Uma pilha pequena e deliberada pode fornecer evidências mais claras do que um catálogo amplo selecionado pelo nome.

O valor noticioso está nessa mudança de responsabilidade. A AWS fornece mais mecanismos de avaliação dentro de uma plataforma existente. As equipes ainda precisam estabelecer quais resultados devem bloquear um lançamento, acionar uma investigação ou orientar uma melhoria posterior.

Para compradores, a questão resultante é concreta: quando um fornecedor relata a qualidade de um agente, qual resultado do cliente essa medição representa? Sem essa conexão, uma pontuação descreve o teste com mais clareza do que descreve o produto.

A comparação de avaliadores do AgentCore depende de controle e cobertura

Uma comparação de avaliadores do AgentCore começa pela propriedade. Os avaliadores integrados da AWS usam modelos e prompts predefinidos que os clientes não podem modificar diretamente. Eles oferecem um ponto de partida padronizado para comportamentos comuns, com menos trabalho de configuração.

A opção gerenciada de terceiros segue um modelo operacional semelhante. O AgentCore hospeda a lógica do avaliador e escolhe o modelo. Os clientes não selecionam a versão da biblioteca gerenciada. A AWS distingue explicitamente seus avaliadores integrados, submetidos a benchmark, dos avaliadores de terceiros, cuja qualidade ela não endossa.

Segundo a documentação de avaliadores de terceiros, o DeepEval abrange comportamentos como conclusão de tarefas, completude da conversa, retenção de conhecimento, uso de ferramentas e vazamento de informações pessoais. O AutoEval contribui com verificações especializadas chamadas Security, Possible e Humor.

A escolha significativa é qual falha uma verificação detecta, seguida de quem controla sua execução.

ConversationCompleteness trata de verificar se o agente lidou com solicitações ao longo de uma conversa. KnowledgeRetention diz respeito a informações compartilhadas anteriormente. PIILeakage verifica se uma resposta expõe informações pessoais. Esses rótulos descrevem preocupações distintas; eles não devem se tornar indicadores intercambiáveis de confiabilidade geral.

A verificação Possible do AutoEval pergunta se um agente tenta uma solução ou declara a tarefa impossível. Isso cria um limite interpretativo importante. Uma tentativa ainda pode ser insegura, não autorizada ou malsucedida. Um resultado favorável nessa dimensão não pode resolver essas questões separadas.

Da mesma forma, Security avalia respostas maliciosas. Sua presença não comprova que todo o aplicativo resiste a todos os ataques. Um aplicativo também inclui permissões, ferramentas, serviços externos e dados armazenados além de qualquer resposta que esteja sendo avaliada.

Para equipes que precisam de controle sobre o modelo, avaliadores derivados personalizados preservam a lógica de um avaliador-base enquanto usam inferência selecionada pelo cliente. A AWS afirma que a base controla as instruções, a escala e o nível de avaliação. Um avaliador personalizado, criado separadamente, oferece uma rota diferente para definir uma rubrica especializada.

Essa distinção evita um mal-entendido comum. Alterar o modelo julgador e reescrever os critérios de julgamento são intervenções separadas. Ambas podem mudar os resultados, mas respondem a requisitos diferentes e criam obrigações de manutenção distintas.

Imagine um assistente de compras que segue a política de aprovação de uma organização. Uma verificação padrão de uso de ferramentas pode avaliar se a ferramenta selecionada corresponde à solicitação. Uma verificação específica do negócio pode avaliar se a compra exigia aprovação antes da execução. Nenhum resultado substitui o outro.

Essa comparação de avaliadores do AgentCore também revela uma questão de continuidade para usuários existentes do DeepEval. Nomes de métricas familiares ajudam a conectar práticas de desenvolvimento e produção. Eles não comprovam, por si só, pontuações idênticas em ambientes locais e gerenciados.

O modelo julgador, a versão da biblioteca, o contexto disponível e a configuração podem afetar a interpretação. As equipes que comparam ambientes devem tratar a concordância como algo a ser medido. Um nome compartilhado é uma abreviação organizacional útil, mas é evidência insuficiente de que um limite existente seja transferido sem alterações.

O nível de evidência determina quais falhas se tornam visíveis

Um rastreamento de agente é um registro de execução que contém interações e ações do modelo. Uma sessão agrupa a conversa entre vários turnos. Uma chamada de ferramenta registra uma operação específica e seus argumentos. Esses níveis oferecem diferentes perspectivas do mesmo fluxo de trabalho.

As definições de prompts da AWS distinguem entradas nos níveis de sessão, rastreamento e ferramenta. Seus modelos de prompt de avaliação mostram que as verificações de sessão recebem evidências de toda a conversa, enquanto outras verificações visam respostas ou chamadas específicas com contexto relevante.

Selecionar o nível de evidência errado pode fazer uma pontuação válida responder à pergunta errada.

Uma resposta relevante pode satisfazer a mensagem mais recente enquanto abandona uma solicitação anterior. Por outro lado, uma conversa pode alcançar o resultado correto após um erro intermediário de ferramenta. Um resultado de sessão e um resultado no nível de ação descrevem aspectos diferentes dessa interação.

Considere um assistente de viagens ilustrativo solicitado a encontrar um itinerário e respeitar os requisitos de acessibilidade de um viajante. Uma resposta posterior pode responder corretamente a uma pergunta sobre bagagem. Essa resposta isolada não pode comprovar se o itinerário proposto ainda atende às restrições originais.

A distinção é especialmente importante quando as equipes agregam resultados. Calcular a média da qualidade das respostas em uma conversa pode ocultar se o objetivo geral foi alcançado. Uma conversa com respostas consistentemente educadas ainda pode terminar sem uma reserva utilizável.

A seleção de ferramentas e os argumentos das ferramentas também exigem atenção separada. Escolher uma ferramenta de consulta de pedidos é diferente de fornecer o identificador correto da conta. Uma escolha razoável de ferramenta com argumentos incorretos pode provocar uma falha operacional, apesar de um comportamento conversacional adequado.

As habilidades adicionam outro requisito de evidência. Uma habilidade é um arquivo de instruções reutilizável carregado por um agente para uma tarefa. As verificações de habilidades da AWS avaliam a seleção e a adesão no nível de chamada de ferramenta. A avaliação de seguimento de instruções exige o corpo da habilidade carregada e o contexto de sessão subsequente.

Portanto, um resultado ausente merece investigação antes de comemoração. Se a invocação necessária ou o conteúdo das instruções nunca chega à avaliação, o silêncio não pode comprovar conformidade. As equipes precisam distinguir um sucesso avaliado de uma ação não avaliada.

As verificações de trajetória introduzem outra perspectiva. Uma trajetória é a sequência de ações de ferramenta executadas durante a execução. A AWS descreve comparações de ordem exata, em ordem e em qualquer ordem com relação a um caminho esperado. Essas verificações exigem uma trajetória de referência, e não apenas uma resposta final plausível.

A empresa deve decidir quais restrições de sequência são essenciais. Exigir aprovação antes de uma compra expressa uma dependência significativa. Exigir uma ordem arbitrária de consultas independentes pode penalizar alternativas aceitáveis.

É aqui que a abordagem do guia, centrada no resultado, se torna consequente. Um caminho esperado deve codificar requisitos de negócio, e não apenas reproduzir a rota que um desenvolvedor registrou primeiro.

O mesmo raciocínio se aplica ao trabalho com conhecimento. As equipes que criam uma base de conhecimento pesquisável precisam distinguir a recuperação de documentos de uma resposta completa e embasada. Encontrar um arquivo relevante é uma ação intermediária. Determinar se o agente o utilizou adequadamente exige evidências adicionais e um julgamento diferente.

Os modos de avaliação do AgentCore separam as evidências de lançamento do monitoramento em produção

Os modos de avaliação do AgentCore determinam quando as evidências ficam disponíveis e como as equipes as utilizam. A avaliação sob demanda aceita spans de sessão fornecidos por quem chama. A avaliação online monitora atividades de produção amostradas. A avaliação em lote processa várias sessões por meio de orquestração no lado do serviço.

A documentação de avaliação em lote da AWS identifica uma fronteira importante: as avaliações sob demanda e em lote podem aceitar verdade fundamental, enquanto a avaliação online não. Verdade fundamental significa material de referência fornecido, como uma resposta esperada ou afirmações de sucesso.

Uma pontuação de monitoramento em produção e um teste de lançamento baseado em referência respondem a perguntas diferentes.

Uma suíte fixa de regressão, ou seja, testes para comportamentos anteriormente suportados, permite que as equipes comparem alterações sob condições controladas. Os mesmos casos podem revelar se uma revisão de prompt melhora um requisito enquanto prejudica outro.

O monitoramento ao vivo revela outra coisa: o que acontece quando usuários reais trazem solicitações que os autores dos testes não previram. Seu valor vem do contato com o comportamento em produção, incluindo linguagem desconhecida, fluxos de trabalho em mudança e combinações inesperadas de requisitos.

Nenhum substitui o outro. Um conjunto de dados curado pode se desconectar do uso atual. Amostras de produção podem deixar passar falhas incomuns ou não conter as informações de referência necessárias para um julgamento definitivo.

Para um agente de suporte ilustrativo, um conjunto de dados de lançamento pode conter cenários conhecidos de elegibilidade para reembolso. Cada caso inclui a política relevante e o resultado esperado. O monitoramento online então examina como o agente implantado lida com conversas reais, nas quais nem toda solicitação vem acompanhada de uma resposta preparada.

Uma piora nas pontuações ao vivo deve motivar investigação. Ela não estabelece automaticamente se o modelo mudou, se as solicitações dos usuários ficaram mais difíceis ou se as evidências capturadas se tornaram incompletas. Interpretar o sinal exige verificar essas alternativas.

Os resultados em lote também precisam de análise abaixo da média. A AWS fornece resumos agregados e detalhes no nível da sessão. Uma melhora agregada pode coexistir com uma falha grave em um fluxo de trabalho específico, padrão de linguagem ou categoria de solicitação.

Suponha que um agente lide melhor com solicitações rotineiras após uma mudança de modelo, mas se torne menos confiável quando os usuários revisam instruções anteriores. A média geral pode melhorar. A aceitabilidade desse lançamento depende da importância e da frequência do comportamento afetado.

Avaliadores personalizados multidimensionais abordam um problema relacionado de relatórios. Eles retornam classificações separadas para critérios nomeados a partir de uma chamada compartilhada ao julgador. A AWS documenta que essas dimensões compartilham um modelo e um nível de avaliação.

A vantagem é uma visibilidade mais clara de critérios que falham de forma independente. Resolução, conformidade com políticas e tom podem permanecer distintos, em vez de desaparecer dentro de uma classificação combinada. As equipes podem então vincular consequências diferentes a cada resultado.

A limitação é a execução compartilhada. Uma chamada ao julgador que falha pode afetar todas as dimensões, e critérios que exigem evidências ou modelos diferentes devem ficar em outro lugar. Consolidar verificações, portanto, cria uma compensação de projeto, mesmo quando reduz a leitura repetida do mesmo contexto.

Para líderes de engenharia, a implicação é organizacional. Portões de lançamento, alertas de produção e análises exploratórias devem ter funções explícitas. Chamar todos eles de “avaliação” não torna suas evidências igualmente adequadas para cada decisão.

A pontuação gerenciada mantém o julgamento, a privacidade e os custos operacionais com a equipe

O AgentCore precisa de conteúdo de conversas para reconstruir e avaliar o comportamento. A documentação de telemetria da AWS identifica prompts, conclusões e entradas e saídas de ferramentas como evidências relevantes. Telemetria significa os registros de execução que uma aplicação exporta para monitoramento e análise.

Isso cria uma tensão prática. As informações necessárias para detectar uma divulgação podem, elas próprias, conter material sensível. Equipes que avaliam agentes que lidam com registros privados precisam considerar como as evidências de avaliação são coletadas, acessadas, retidas e revisadas.

Um avaliador gerenciado reduz o trabalho de infraestrutura sem eliminar a responsabilidade pelas evidências ou pelo veredito.

A redação ilustra a dificuldade. Remover informações sensíveis pode reduzir a exposição, mas também pode remover o contexto necessário para avaliar se uma divulgação ocorreu. O projeto apropriado depende de qual pergunta o avaliador precisa responder.

Por exemplo, um identificador de conta mascarado pode preservar estrutura suficiente para verificar se o agente usou a conta solicitada de maneira consistente. Pode ser insuficiente para determinar se a resposta expôs os detalhes de uma pessoa não autorizada. Essa diferença deve moldar o projeto das evidências antes da implantação.

A avaliação baseada em modelo acrescenta outro limite. Um LLM como julgador usa um modelo de linguagem para avaliar o comportamento em relação às instruções. Seu resultado é um julgamento do modelo, e não uma garantia automática de correção factual ou operacional.

A orientação de avaliação de agentes da Anthropic descreve avaliadores de modelo como flexíveis, porém não determinísticos, e enfatiza a calibração com revisores humanos. Ela também distingue transcrições de respostas do estado resultante do ambiente. Isso oferece um contraponto útil a qualquer interpretação de que a pontuação gerenciada elimina o trabalho de verificação.

A comparação trata de ênfase, e não de uma disputa medida entre provedores. O playbook da AWS organiza a seleção e a execução de avaliadores. A orientação da Anthropic enfatiza o projeto de avaliação, as compensações dos avaliadores e a verificação de resultados. Nenhuma fonte estabelece que uma pontuação gerenciada preveja universalmente a confiabilidade de agentes.

A calibração humana é particularmente importante quando revisores discordam sobre o sucesso. Um julgador não consegue operacionalizar de forma confiável uma política que seus responsáveis interpretam de maneiras diferentes. Revisar discordâncias pode revelar instruções ambíguas, evidências incompletas ou uma rubrica que recompensa o comportamento errado.

O custo operacional merece a mesma especificidade. Mais avaliadores, contexto mais longo, chamadas repetidas e amostras maiores podem ampliar o trabalho necessário para a avaliação. A questão de negócio relevante é se cada verificação adicional altera uma decisão ou detecta uma falha significativa.

Um avaliador especializado que identifica uma omissão dispendiosa pode justificar sua carga operacional. Uma pontuação redundante que se move junto com uma métrica existente pode acrescentar pouco. As equipes precisam de evidências para essa distinção, em vez de presumir cobertura mais ampla por causa de uma contagem maior.

Avaliadores derivados introduzem responsabilidade adicional. Escolher o modelo julgador dá às equipes controle, mas também torna a adequação do modelo responsabilidade delas. Um modelo que tem bom desempenho como assistente ainda deve ser avaliado para a tarefa específica de julgamento.

Julgamentos de segurança exigem cautela semelhante. Uma amostra sem problemas não estabelece proteção universal, e uma resposta suspeita merece investigação além de sua pontuação. Permissões e controles determinísticos, ou seja, regras aplicadas sem julgamento do modelo, continuam importantes para ações consequentes.

A promessa crível do Amazon Bedrock AgentCore Evaluations é uma medição mais acessível. As fontes disponíveis não estabelecem comparações independentes de precisão entre todos os avaliadores, cargas de trabalho e categorias de falha. Compradores devem manter essa lacuna de verificação visível ao analisar alegações de adoção.

O que observar a seguir: concordância, cobertura e decisões

A próxima fase deve ser avaliada por evidências operacionais, e não pelo tamanho do catálogo. Nos próximos meses, os sinais mais úteis dizem respeito a se os resultados dos avaliadores acompanham o julgamento humano, cobrem falhas reais e influenciam decisões de lançamento.

As evidências mais fortes mostrarão quais erros a avaliação detectou e o que as equipes mudaram por causa disso.

O primeiro sinal é a concordância com revisores qualificados em casos representativos. Comparações publicadas devem explicar a tarefa, as evidências fornecidas, os critérios de julgamento e como as discordâncias foram resolvidas. A concordância em exemplos rotineiros é menos informativa se casos extremos consequentes continuarem sem exame.

Uma implantação de suporte, por exemplo, deve separar divulgações não detectadas de sinalizações incorretas de divulgação. Esses erros trazem consequências operacionais diferentes. Relatar apenas a concordância geral pode ocultar a distinção mais importante para a empresa.

Uma concordância consistente entre casos relevantes fortaleceria a confiança na pilha de avaliadores selecionada. Discordâncias persistentes apontariam para um escopo mais restrito, critérios revisados, melhores evidências ou um julgador diferente. Qualquer um dos resultados fornece informações mais úteis do que uma pontuação de qualidade sem explicação.

O segundo sinal é se falhas de produção se tornam casos de avaliação reproduzíveis. Um sistema de monitoramento conquista seu lugar quando uma omissão observada ou erro de ferramenta pode orientar um teste que proteja lançamentos futuros.

Isso exige mais do que armazenar a conversa. As equipes precisam de contexto suficiente para entender o comportamento esperado e reproduzir as condições relevantes. Caso contrário, o incidente se torna uma anedota que continua difícil de usar.

Evidências de que organizações convertem repetidamente falhas ao vivo em verificações de lançamento apoiariam o valor prático do playbook. Incidentes recorrentes que nunca alteram a suíte de testes enfraqueceriam a alegação de que a pontuação contínua melhora a confiabilidade.

O terceiro sinal é se a avaliação muda uma decisão concreta de implantação. Um relatório útil identificaria uma regressão, explicaria o comportamento afetado e descreveria um atraso, reversão ou correção direcionada resultante.

Isso conectaria medição com responsabilização. Também revelaria se as equipes preservam requisitos separados quando um lançamento produz resultados mistos. Um tom melhor não deve compensar automaticamente um comportamento de privacidade pior.

Para compradores empresariais, esses sinais sugerem uma conversa de aquisição mais precisa. Peça aos fornecedores que mostrem um caso representativo que falhou, expliquem por que o avaliador o rejeitou e identifiquem a mudança de produto que se seguiu. Pergunte quais comportamentos importantes permanecem fora da avaliação atual.

Para desenvolvedores, a ação imediata é examinar uma falha recente que seu painel não detectou. Identifique as evidências necessárias para reconhecê-la e então decida se um avaliador existente é adequado. Se a falha exigir uma referência fornecida, preserve-a em um teste controlado. Se depender de contexto ao vivo, estabeleça como esse contexto chega à avaliação. Use Amazon Bedrock AgentCore Evaluations para tornar essas decisões inspecionáveis e, em seguida, revise as discordâncias com as pessoas responsáveis pelo resultado. Qual comportamento inaceitável ainda seria aprovado pelas suas verificações atuais de lançamento?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page