LangSmith AI Search encontra falhas de agentes que filtros tradicionais de rastreamento não detectam

A LangSmith lançou o AI Search em beta público, oferecendo às equipes uma nova maneira de encontrar falhas de agentes que filtros convencionais não detectam. O recurso aceita descrições em linguagem natural de comportamentos e, em seguida, pesquisa interações registradas de agentes em busca de rastreamentos correspondentes.

Um desenvolvedor pode pedir casos em que um usuário ficou frustrado, um agente afirmou ter tido sucesso sem concluir sua tarefa ou informações pessoais apareceram em uma resposta. Essas perguntas dependem de significado e sequência, não de uma tag conhecida ou frase exata.

Essa distinção cria a verdadeira tensão por trás do LangSmith AI Search. A observabilidade de agentes tem dependido em grande parte de filtros estruturados, consultas de texto completo e avaliadores configurados antes que as equipes saibam quais falhas importam. A LangSmith aposta que um modelo pode investigar comportamentos desconhecidos quando a pergunta surge.

A abordagem também introduz uma questão menos confortável. Se outro modelo decide quais conversas de produção correspondem a uma descrição subjetiva, as equipes precisam entender o que esse modelo lê, exclui e classifica incorretamente.

LangSmith AI Search adiciona consultas comportamentais à exploração de rastreamentos

O lançamento transforma a investigação de rastreamentos de um problema de consulta a banco de dados em um problema de interpretação.

A LangChain anunciou o beta público em 13 de outubro de 2026. Ele está disponível pelo LangSmith Cloud nas regiões dos Estados Unidos, Europa e Ásia-Pacífico do Google Cloud. Um administrador da organização precisa habilitá-lo antes que outros membros possam usá-lo.

O LangSmith já permite que equipes filtrem rastreamentos por campos como status, latência, tags, metadados, custos e feedback. Sua busca de texto completo também pode localizar palavras presentes nas entradas, saídas, metadados e erros dos rastreamentos.

Essas ferramentas funcionam quando um investigador sabe qual campo ou expressão identifica o alvo. Um filtro de status pode encontrar erros, enquanto uma consulta de texto pode localizar conversas que contenham "refund". Nenhuma das duas consegue determinar de forma confiável se um usuário simplesmente desistiu após receber uma resposta inútil.

Em vez disso, o LangSmith AI Search aceita uma descrição comportamental. Os exemplos da empresa de busca comportamental de rastreamentos incluem usuários demonstrando frustração, agentes expondo detalhes internos de implementação e agentes que não concluem o trabalho atribuído.

O recurso funciona em threads, rastreamentos e execuções individuais. Um rastreamento registra uma solicitação e suas operações aninhadas, enquanto uma thread conecta vários rastreamentos da mesma conversa.

As equipes podem combinar a consulta em linguagem natural com filtros estruturados existentes. Elas podem primeiro limitar os resultados a rastreamentos de produção com erros e então perguntar quais conversas mostram usuários ficando confusos durante o onboarding.

Essa combinação é importante. Ela permite que filtros convencionais reduzam a área de busca antes que um modelo examine as conversas restantes. Também preserva controles determinísticos para atributos que não deveriam exigir interpretação.

Os resultados chegam com pontuações de confiança. Ao abrir uma correspondência, o revisor é levado a uma visualização de trajetória, em que o LangSmith destaca as mensagens disponíveis que influenciaram a correspondência.

Uma trajetória é uma sequência normalizada de mensagens humanas, respostas de agentes, chamadas de ferramentas e resultados de ferramentas. Ela apresenta a sessão uma única vez, em vez de repetir o histórico de conversa incluído em chamadas sucessivas ao modelo.

Isso não é apenas uma camada de sintaxe mais amigável sobre os filtros existentes. A LangSmith afirma que o modelo de decisão lê cada trajetória candidata e avalia se o comportamento solicitado ocorreu.

A diferença fica clara com um pedido como "o agente disse que concluiu a tarefa, mas não concluiu". Tanto um rastreamento bem-sucedido quanto um malsucedido podem conter tópicos, ferramentas e vocabulário quase idênticos.

Um embedding, que representa texto como um vetor numérico, pode posicionar essas conversas próximas porque elas discutem a mesma tarefa. A classificação comportamental precisa, em vez disso, comparar a afirmação com as ações registradas ao longo do rastreamento.

Assim, a empresa levou um padrão de LLM como juiz diretamente para a descoberta interativa de rastreamentos. Engenheiros não precisam mais definir todos os avaliadores antes de começar a investigar.

Essa mudança torna a análise exploratória mais rápida. Ela não torna todos os resultados definitivos.

Por que a busca em rastreamentos de agentes se tornou um problema de dados

Longas sessões de agentes contêm evidências valiosas, mas sua escala e repetição tornam a revisão manual cada vez mais impraticável.

O monitoramento tradicional de aplicações se concentra em sinais previsíveis. Engenheiros buscam códigos de erro, solicitações lentas, chamadas de banco de dados com falha ou consumo incomum de recursos. Esses sinais geralmente se encaixam em campos estruturados.

Agentes de IA produzem uma superfície de falhas diferente. Um agente pode retornar uma resposta tecnicamente bem-sucedida enquanto interpreta mal a solicitação, chama uma ferramenta inadequada ou exagera o que realizou.

A telemetria resultante também é excepcionalmente densa. Uma tarefa de agente pode conter mensagens de usuários, saídas de modelos, documentos recuperados, comandos de shell, respostas de ferramentas, tentativas repetidas e transferências para outros agentes.

A LangChain examinou 150 conversas selecionadas aleatoriamente do Open SWE, seu agente de programação de código aberto. Segundo a empresa, várias ultrapassaram um milhão de tokens.

A conversa mediana continha cerca de 72.000 tokens. Apenas aproximadamente 2.000 vinham de mensagens de usuários e respostas finais dos agentes, enquanto cerca de 85 por cento consistiam em saída de ferramentas.

Esses números vêm da amostra da LangChain, não de um benchmark independente do setor. Ainda assim, ilustram por que pesquisar cada evento bruto gera custos tanto de contexto quanto de inferência.

Agentes frequentemente enviam todo o histórico da conversa a cada nova chamada ao modelo. Uma representação ingênua de rastreamento, portanto, armazena repetidamente as mesmas mensagens anteriores.

O LangSmith aborda essa repetição por meio de trajetórias. Sua camada de dados de rastreamentos converte formatos de rastreamento compatíveis em uma representação comum à medida que os dados chegam.

Os formatos incluem rastreamentos produzidos por meio de LangChain, LangGraph, SDKs da OpenAI e da Anthropic, o Vercel AI SDK e OpenTelemetry. A normalização dá ao sistema de busca uma sequência consistente para inspecionar.

Isso também amplia o peso competitivo. Fornecedores de observabilidade oferecem cada vez mais avaliação no nível de rastreamento, não apenas armazenamento e filtragem.

A Datadog, por exemplo, documenta avaliações no nível de rastreamento que inserem cada span de um rastreamento em um prompt de LLM juiz. Essas avaliações podem classificar conclusão de objetivos, ordem de ferramentas ou qualidade da conversa.

O Arize Phoenix combina de forma semelhante rastreamento, anotações, avaliações, conjuntos de dados e experimentos em um fluxo de trabalho de rastreamento de código aberto. Seus avaliadores podem pontuar rastreamentos de produção e converter execuções selecionadas em conjuntos de dados para testes posteriores.

A distinção se refere principalmente ao momento e ao fluxo de trabalho. Avaliadores normalmente representam critérios que uma equipe define, testa e aplica repetidamente. O LangSmith AI Search mira questões que surgem durante uma investigação.

Considere um agente de suporte que recebe um aumento repentino em pedidos de cancelamento. Um painel estruturado pode mostrar latência estável e poucos erros explícitos. A busca de texto completo pode identificar a palavra "cancel", mas não o motivo por trás dela.

Em vez disso, um gerente de produto poderia buscar usuários que tentaram cancelar após receber respostas contraditórias. Essa descrição combina intenção, sequência e qualidade percebida.

Se as correspondências forem úteis, a equipe pode revisá-las, adicionar exemplos a um conjunto de dados e criar um avaliador duradouro. A busca se torna a interface exploratória para um processo de qualidade mais formal.

Esse fluxo de trabalho pressiona as plataformas de observabilidade a conectar descoberta e avaliação. Armazenar rastreamentos detalhados já não é suficiente quando os clientes não conseguem recuperar o comportamento oculto dentro deles.

Também muda quais equipes podem usar dados de rastreamento. Gerentes de produto, revisores de segurança e líderes de suporte podem descrever um problema sem antes aprender uma linguagem de consulta específica da plataforma.

A camada de consultas técnicas continua necessária. A linguagem natural simplesmente aproxima a primeira etapa investigativa das pessoas que reconhecem o problema de negócio.

Como o LangSmith AI Search lê um rastreamento sem ler tudo

O LangSmith reduz o custo da busca ao priorizar evidências conversacionais, mas essa compressão determina quais falhas continuam visíveis.

Quando um usuário envia uma descrição ao AI Search, os filtros existentes primeiro reduzem o conjunto de candidatos. O SmithDB então prepara trajetórias enquanto um modelo de decisão as verifica em paralelo.

As correspondências são transmitidas para a interface à medida que o sistema as identifica. Os usuários não precisam esperar até que todo o conjunto de candidatos tenha sido processado.

O mecanismo central é um orçamento de contexto de 8.000 tokens para cada trajetória. O LangSmith preenche esse orçamento em uma ordem fixa de prioridade, em vez de enviar cada token registrado.

Mensagens de usuários e as respostas diretas do agente recebem a prioridade mais alta. Mensagens intermediárias do modelo, chamadas de ferramentas, resultados de ferramentas e mensagens de sistema preenchem o espaço restante.

Se a próxima mensagem não couber, o LangSmith a corta. O conteúdo posterior fica fora da visão do modelo quando o orçamento se esgota.

Essa escolha torna muitas buscas conversacionais práticas. Frustração, recusa, confusão, intenção de cancelamento e promessas sem respaldo frequentemente aparecem no diálogo visível.

Ela também cria um ponto cego previsível. Algumas falhas existem apenas dentro da saída de ferramentas ou de etapas intermediárias de execução.

Um agente pode encontrar um erro de autorização, ignorá-lo e ainda dizer ao usuário que uma tarefa foi concluída com sucesso. A resposta visível contém a afirmação falsa, mas a evidência decisiva está em um resultado de ferramenta.

O modelo de busca pode não identificar essa evidência quando conteúdos anteriores e de maior prioridade consomem o orçamento de tokens. A LangChain reconhece essa limitação e afirma estar explorando a seleção de contexto dependente da consulta.

Essa seleção alteraria a ordem das evidências conforme a pergunta. Uma consulta sobre erros de ferramentas ignorados deveria priorizar respostas de ferramentas, enquanto uma consulta sobre o sentimento do usuário deveria enfatizar a conversa.

A versão atual usa, em vez disso, uma única ordenação geral. Isso é compreensível para uma versão beta, mas as equipes devem tratar a cobertura resultante como dependente da consulta.

O mecanismo também explica por que o LangSmith não se baseou apenas em busca vetorial. A recuperação vetorial funciona bem quando o objetivo é encontrar material sobre um tema.

Uma conversa sobre cobrança provavelmente ficará próxima de outras conversas sobre cobrança em um espaço de embeddings. No entanto, interações de cobrança bem-sucedidas e malsucedidas podem permanecer semanticamente semelhantes.

Consultas comportamentais precisam de um julgamento sobre o que ocorreu. Um modelo de decisão avalia a trajetória diante de uma proposição restrita, como se o agente concluiu a tarefa solicitada.

Essa abordagem baseada em modelos melhora a expressividade, mas substitui uma incerteza de recuperação por outra. O sistema passa a depender da interpretação de um modelo sobre linguagem ambígua.

"Frustração do usuário" pode incluir reclamações diretas, perguntas repetidas, sarcasmo, saídas abruptas ou rejeição educada. Diferentes revisores podem discordar sobre casos limítrofes.

As pontuações de confiança ajudam a classificar os resultados, mas não estabelecem uma verdade fundamental. Uma pontuação alta do modelo ainda reflete a definição de comportamento, o contexto disponível e o modelo juiz.

O padrão operacional mais robusto, portanto, inclui revisão humana. As equipes podem inspecionar evidências destacadas, corrigir correspondências fracas e refinar a descrição antes de tratar o conjunto de resultados como representativo.

Para riscos recorrentes, elas podem transformar casos revisados em um conjunto de dados de avaliação. Os avaliadores online já existentes do LangSmith podem então aplicar um critério definido a rastros futuros.

Isso separa exploração de monitoramento. O AI Search ajuda as equipes a descobrir um padrão, enquanto um avaliador mede esse padrão de forma consistente após a estabilização de sua definição.

Essa separação é especialmente importante para segurança e conformidade. Uma busca em linguagem natural por informações pessoais pode revelar rastros suspeitos, mas não deve substituir scanners determinísticos ou controles formais.

O julgamento do modelo pode ampliar uma investigação. Ele não deve se tornar a única camada de aplicação para decisões de alto impacto.

A Principal Concorrência É a Avaliação Predefinida

O LangSmith está desafiando a premissa de que as equipes precisam conhecer todas as falhas importantes antes que o tráfego de produção as revele.

Antes da busca comportamental, as equipes geralmente tinham três formas de localizar rastros problemáticos. Elas podiam pesquisar texto, filtrar atributos conhecidos ou executar um avaliador sobre tráfego selecionado.

A pesquisa de texto completo oferece rapidez e reprodutibilidade. Ela é útil quando a evidência relevante inclui uma frase distinta, identificador, mensagem de erro ou nome de produto.

A filtragem estruturada é ainda mais precisa. As equipes podem isolar rastros com códigos de status de falha, alta latência, chamadas de modelo caras, ferramentas específicas ou baixas pontuações de feedback.

Avaliadores predefinidos lidam com significado. Um juiz LLM pode decidir se uma resposta foi útil, fundamentada, segura ou completa e, então, anexar o resultado a cada rastro.

A abordagem de avaliadores é eficaz quando uma equipe já compreende a categoria de falha. Ela se torna menos conveniente durante um incidente inesperado.

Alguém precisa definir a rubrica, selecionar os campos de rastro necessários, escolher regras de amostragem, testar o avaliador e aplicá-lo ao tráfego passado ou futuro. Essa preparação cria uma medição duradoura, mas desacelera a investigação aberta.

O LangSmith AI Search condensa esse trabalho em uma descrição inserida no momento da consulta. Ele oferece um caminho mais rápido da suspeita à evidência candidata.

O recurso não elimina os avaliadores. Ele cria uma etapa de descoberta antes deles.

Uma equipe pode perceber um aumento nas escaladas de suporte sem saber por quê. Um analista poderia buscar usuários que repetiram uma solicitação depois que o agente afirmou tê-la resolvido.

Os revisores podem descobrir que o agente interpretava regularmente o encerramento de conta como cancelamento de assinatura. Esse padrão pode então se tornar um avaliador nomeado com uma rubrica testada.

Essa sequência é a parte mais consequente do lançamento. Ela conecta exploração qualitativa, construção de conjuntos de dados, avaliação e monitoramento de produção.

Ela também cria pressão para além dos concorrentes diretos do LangSmith. Equipes internas de análise frequentemente exportam rastros para data warehouses, notebooks ou sistemas de busca personalizados porque as perguntas sobre o produto ultrapassam os painéis de observabilidade.

A busca comportamental de rastros poderia manter mais dessa análise dentro da plataforma de observabilidade. As equipes de produto e engenharia trabalhariam a partir do mesmo registro de execução subjacente.

A abordagem se assemelha à mudança mais ampla da busca por palavras-chave para a recuperação assistida por modelos em sistemas corporativos de conhecimento. Ambas tentam encontrar significado que os usuários não codificaram como metadados.

A diferença é que rastros de agentes contêm ações, não apenas documentos. Um resultado útil depende de reconstruir o que aconteceu entre mensagens e ferramentas.

Para equipes de engenharia, isso torna a organização dos rastros parte da infraestrutura de qualidade do produto. O mesmo princípio se aplica quando as equipes criam uma base de conhecimento pesquisável a partir de registros técnicos fragmentados.

A vantagem pertencerá aos sistemas que preservam evidências enquanto reduzem o atrito investigativo. O acesso por linguagem natural ajuda, mas a capacidade de revisão importa tanto quanto.

O LangSmith destaca mensagens correspondentes dentro da visualização de trajetória. Esse design oferece aos revisores um caminho da classificação do modelo de volta à conversa registrada.

No entanto, a documentação observa que nem toda correspondência pode ser destacada. Texto repetido ou mensagens ausentes da visualização de trajetória podem impedir a localização das evidências.

Um resultado pode, portanto, ter uma pontuação de confiança sem exibir todos os motivos por trás dela. As equipes devem distinguir entre confiança do modelo e evidência auditável.

Os concorrentes podem responder tornando suas próprias interfaces de avaliadores mais conversacionais. Eles também podem expor juízes ad hoc, consultas comportamentais salvas ou geração automática de conjuntos de dados.

A disputa de produto não é simplesmente sobre quem oferece primeiro a busca em linguagem natural. Trata-se de quem transforma descobertas incertas em testes repetíveis com o menor número de lacunas.

Contexto, Privacidade e Reprodutibilidade Definem os Limites da Beta

A utilidade do recurso depende de as equipes entenderem os dados que ele exclui e as obrigações de governança que ele adiciona.

A documentação de filtros do LangSmith identifica diversas limitações do produto. Atualmente, as descrições do AI Search não podem ser salvas como visualizações nem preservadas em links de páginas copiadas.

As buscas também não aparecem no histórico de filtros recentes. O painel de estatísticas fica indisponível enquanto uma consulta do AI Search está ativa.

Essas restrições afetam a reprodutibilidade. Um engenheiro investigando um incidente não pode simplesmente enviar uma consulta comportamental salva a outro revisor e esperar um fluxo de trabalho idêntico.

As equipes podem registrar a formulação em outro lugar, mas isso acrescenta um processo manual. Também importa porque pequenas mudanças na formulação podem influenciar as classificações do modelo.

O sistema aplica limites de taxa no nível do espaço de trabalho. A LangChain não publica o limite na documentação referenciada, portanto as equipes ainda não podem inferir sua adequação para investigação automatizada frequente.

Limites mais importantes vêm da própria trajetória. O AI Search lê a conversa principal do agente, mas não o conteúdo de subagentes, middleware ou mensagens de compactação.

Um fluxo de trabalho multiagente pode, portanto, ocultar comportamentos decisivos fora da representação pesquisável. O agente principal pode relatar sucesso enquanto um subagente registra a falha real.

O sistema também não pode inferir o status de execução, tags, metadados ou estrutura do rastro a partir da descrição em linguagem natural. Os usuários precisam aplicar filtros convencionais para essas propriedades.

Essa divisão deve aparecer nos manuais operacionais das equipes. A busca comportamental lida com significado dentro da trajetória, enquanto os filtros estruturados lidam com atributos operacionais conhecidos.

A privacidade apresenta uma restrição separada. Ativar o AI Search permite que dados de rastros sejam transferidos para os Estados Unidos e processados por meio de inferência e subprocessadores gerenciados pela LangChain.

O administrador da organização ativa o recurso para todos os membros. Não é necessária uma chave separada de provedor de modelo.

A LangChain afirma explicitamente que os clientes não devem usar o AI Search para informações de saúde protegidas. O recurso não é coberto por nenhum Acordo de Associado Comercial que uma organização tenha assinado com a LangChain.

Esse aviso merece atenção porque o lançamento destaca buscas por informações de identificação pessoal vazadas. Buscar dados sensíveis exige enviar o conteúdo relevante do rastro pelo sistema de classificação.

As organizações precisam distinguir a revisão geral de PII do processamento de dados de saúde regulamentados. Também precisam confirmar requisitos de retenção, acesso, residência e subprocessadores antes de ativar o recurso.

Um risco mais amplo de observabilidade permanece, independentemente do fornecedor. Rastros ricos podem capturar prompts, respostas de modelo, registros de clientes, documentos recuperados e resultados de ferramentas.

Uma telemetria mais completa melhora a depuração, ao mesmo tempo que aumenta as consequências da coleta excessiva. As equipes devem minimizar campos sensíveis antes que eles alcancem qualquer plataforma de observabilidade.

Elas também devem testar falsos positivos e falsos negativos em amostras revisadas. Um benchmark beta útil incluiria incidentes comportamentais conhecidos, negativos difíceis e exemplos que abranjam diferentes frameworks de agentes.

O material público não informa precisão, recall, distribuições de latência ou comparações independentes com embeddings e avaliadores predefinidos. Ele descreve a arquitetura e uma amostra interna de comprimento de rastros.

Isso deixa os compradores sem uma medida comum de qualidade de busca. Um recurso que retorna correspondências plausíveis ainda pode deixar passar falhas raras que mais importam.

A interpretação correta, portanto, é limitada. O LangSmith introduziu uma interface de investigação promissora, não uma substituição comprovada para avaliação, varredura de segurança ou revisão humana.

Seu valor dependerá de quão rapidamente os usuários podem validar um resultado, reproduzir a consulta e transformar a descoberta em um controle de qualidade duradouro.

O Que Observar Após a Beta do LangSmith AI Search

Três sinais mostrarão se a busca comportamental de rastros se tornará infraestrutura central ou continuará sendo um atalho investigativo útil.

O primeiro sinal é a seleção adaptativa de contexto. A LangChain diz estar explorando métodos que escolhem evidências de acordo com a consulta e indicam quando o modelo precisa de uma segunda passagem.

Esse trabalho aborda diretamente o limite de 8.000 tokens. Se buscas focadas em ferramentas começarem a priorizar resultados de ferramentas, o sistema deverá detectar mais falhas de execução ocultas da evidência conversacional.

Sem seleção adaptativa, os usuários precisarão de abordagens separadas para diferentes tipos de rastros. Buscas conversacionais podem funcionar bem, enquanto buscas operacionais produzem cobertura inconsistente.

O segundo sinal é a reprodutibilidade. Buscas salvas, consultas compartilháveis, conjuntos de resultados estáveis e limites de taxa documentados facilitariam a integração do AI Search à resposta a incidentes.

Agrupar correspondências semelhantes também ajudaria as equipes a ir além de rastros individuais. A LangChain afirma que quer resumir padrões comuns em vez de retornar apenas uma lista plana.

Essa capacidade poderia transformar uma busca ad hoc em um fluxo de trabalho de insights de produto. As equipes poderiam identificar clusters recorrentes de falhas, inspecionar rastros representativos e criar avaliadores direcionados.

O terceiro sinal é a resposta competitiva. Datadog, Arize e outros provedores de observabilidade já combinam rastreamento com avaliação baseada em modelos.

Se eles adicionarem descoberta comportamental interativa, a busca de rastros em linguagem natural se tornará uma interface esperada. A concorrência então migrará para qualidade de evidência, governança e integração com conjuntos de dados.

Se os concorrentes enfatizarem precisão avaliada e monitoramento repetível, o LangSmith precisará mostrar que a exploração produz melhorias mensuráveis após a implantação.

Os usuários também devem observar a publicação de benchmarks de qualidade de busca. Precisão e recall em frustração, tarefas incompletas, divulgação insegura e erros de ferramentas ignorados forneceriam uma base mais clara para comparação.

Por enquanto, as equipes que avaliam o LangSmith AI Search devem começar com um conjunto revisado de rastros conhecidos. Elas podem testar várias descrições, comparar as correspondências retornadas e documentar quais evidências o modelo deixa passar.

Em seguida, devem usar o recurso para descoberta, não para adjudicação final. Confirmem manualmente conclusões de alto impacto e promovam definições comportamentais estáveis para avaliadores ou controles determinísticos.

O lançamento importa porque muda quando as equipes podem fazer perguntas sobre o comportamento de agentes. Elas não precisam mais prever todas as falhas antes de coletar rastros de produção.

Esse é um passo significativo para a observabilidade de agentes. O teste mais difícil é saber se o LangSmith AI Search consegue tornar essas descobertas repetíveis, auditáveis e seguras em cargas de trabalho reais de produção.