LangSmith AI Search Encuentra Fallos de Agentes que los Filtros de Trazas Tradicionales No Detectan
LangSmith lanzó AI Search en beta pública, ofreciendo a los equipos una nueva forma de encontrar fallos de agentes que los filtros habituales no detectan. La función acepta descripciones del comportamiento en lenguaje natural y, a continuación, busca trazas coincidentes en las interacciones registradas de los agentes.
Un desarrollador puede solicitar casos en los que un usuario se frustró, un agente afirmó haber tenido éxito sin completar su tarea o apareció información personal en una respuesta. Estas preguntas dependen del significado y la secuencia, no de una etiqueta conocida o una frase exacta.
Esa distinción genera la verdadera tensión detrás de LangSmith AI Search. La observabilidad de agentes ha dependido en gran medida de filtros estructurados, consultas de texto completo y evaluadores configurados antes de que los equipos sepan qué fallos importan. LangSmith apuesta a que un modelo puede investigar comportamientos desconocidos cuando surge la pregunta.
El enfoque también introduce una cuestión menos cómoda. Si otro modelo decide qué conversaciones de producción coinciden con una descripción subjetiva, los equipos deben entender qué lee, qué excluye y qué clasifica erróneamente ese modelo.
LangSmith AI Search Añade Consultas de Comportamiento a la Exploración de Trazas
El lanzamiento transforma la investigación de trazas de un problema de consultas a bases de datos en un problema de interpretación.
LangChain anunció la beta pública el 13 de octubre de 2026. Está disponible a través de LangSmith Cloud en las regiones de Google Cloud de Estados Unidos, Europa y Asia-Pacífico. Un administrador de la organización debe habilitarla antes de que otros miembros puedan utilizarla.
LangSmith ya permite a los equipos filtrar trazas mediante campos como estado, latencia, etiquetas, metadatos, costes y comentarios. Su búsqueda de texto completo también puede encontrar palabras dentro de entradas, salidas, metadatos y errores de las trazas.
Estas herramientas funcionan cuando un investigador sabe qué campo o frase identifica el objetivo. Un filtro de estado puede encontrar errores, mientras que una consulta de texto puede localizar conversaciones que contengan "refund." Ninguna puede determinar de forma fiable si un usuario abandonó silenciosamente después de recibir una respuesta poco útil.
En su lugar, LangSmith AI Search acepta una descripción conductual. Los ejemplos de la empresa sobre búsqueda de trazas por comportamiento incluyen usuarios que muestran frustración, agentes que exponen detalles internos de implementación y agentes que no completan el trabajo asignado.
La función opera en hilos, trazas y ejecuciones individuales. Una traza registra una solicitud y sus operaciones anidadas, mientras que un hilo conecta múltiples trazas de la misma conversación.
Los equipos pueden combinar la consulta en lenguaje natural con los filtros estructurados existentes. Podrían limitar primero los resultados a trazas de producción con errores y después preguntar qué conversaciones muestran a usuarios confundidos durante la incorporación.
Esa combinación importa. Permite que los filtros convencionales reduzcan el área de búsqueda antes de que un modelo examine las conversaciones restantes. También preserva controles deterministas para atributos que no deberían requerir interpretación.
Los resultados llegan con puntuaciones de confianza. Al abrir una coincidencia, el revisor accede a una vista de trayectoria, donde LangSmith resalta los mensajes disponibles que influyeron en la coincidencia.
Una trayectoria es una secuencia normalizada de mensajes humanos, respuestas del agente, llamadas a herramientas y resultados de herramientas. Presenta la sesión una sola vez, en lugar de repetir el historial de conversación incluido en llamadas sucesivas al modelo.
No se trata simplemente de una capa de sintaxis más amigable sobre los filtros existentes. LangSmith afirma que el modelo de decisión lee cada trayectoria candidata y evalúa si ocurrió el comportamiento solicitado.
La diferencia se hace clara con una solicitud como "el agente dijo que completó la tarea, pero no lo hizo." Tanto una traza exitosa como una fallida pueden contener temas, herramientas y vocabulario casi idénticos.
Un embedding, que representa texto como un vector numérico, puede situar esas conversaciones cerca una de otra porque tratan la misma tarea. La clasificación conductual debe, en cambio, comparar la afirmación con las acciones registradas en toda la traza.
Por tanto, la empresa ha llevado un patrón de LLM-as-a-judge directamente al descubrimiento interactivo de trazas. Los ingenieros ya no necesitan definir cada evaluador antes de empezar a investigar.
Este cambio acelera el análisis exploratorio. No convierte cada resultado en una autoridad definitiva.
Por Qué la Búsqueda de Trazas de Agentes se Ha Convertido en un Problema de Datos
Las sesiones largas de agentes contienen evidencia valiosa, pero su escala y repetición hacen que la revisión manual sea cada vez menos práctica.
La monitorización tradicional de aplicaciones se centra en señales predecibles. Los ingenieros buscan códigos de error, solicitudes lentas, llamadas fallidas a bases de datos o consumo inusual de recursos. Por lo general, estas señales encajan en campos estructurados.
Los agentes de IA generan una superficie de fallos diferente. Un agente puede devolver una respuesta técnicamente exitosa mientras malinterpreta la solicitud, utiliza una herramienta inapropiada o exagera lo que logró.
La telemetría resultante también es inusualmente densa. Una tarea de agente puede contener mensajes de usuarios, salidas de modelos, documentos recuperados, comandos de shell, respuestas de herramientas, reintentos y transferencias a otros agentes.
LangChain examinó 150 conversaciones seleccionadas aleatoriamente de Open SWE, su agente de programación de código abierto. Según la empresa, varias superaron un millón de tokens.
La conversación mediana contenía alrededor de 72.000 tokens. Solo unos 2.000 procedían de mensajes de usuarios y respuestas finales de agentes, mientras que aproximadamente el 85 por ciento consistía en salidas de herramientas.
Estas cifras proceden de la muestra de LangChain, no de un referente independiente del sector. Aun así, ilustran por qué buscar en cada evento sin procesar genera costes tanto de contexto como de inferencia.
Los agentes suelen enviar el historial completo de la conversación con cada nueva llamada al modelo. Por ello, una representación ingenua de una traza almacena repetidamente los mismos mensajes anteriores.
LangSmith aborda esa repetición mediante trayectorias. Su capa de datos de trazas convierte los formatos de traza compatibles en una representación común a medida que llegan los datos.
Los formatos incluyen trazas producidas mediante LangChain, LangGraph, los SDK de OpenAI y Anthropic, el Vercel AI SDK y OpenTelemetry. La normalización proporciona al sistema de búsqueda una secuencia coherente para inspeccionar.
Esto también eleva la competencia. Los proveedores de observabilidad ofrecen cada vez más evaluación a nivel de traza, no solo almacenamiento y filtrado.
Datadog, por ejemplo, documenta evaluaciones a nivel de traza que incluyen cada span de una traza en un prompt de juez LLM. Estas evaluaciones pueden clasificar la finalización de objetivos, el orden de las herramientas o la calidad de la conversación.
Arize Phoenix combina de forma similar trazado, anotaciones, evaluaciones, conjuntos de datos y experimentos en un flujo de trabajo de trazado de código abierto. Sus evaluadores pueden puntuar trazas de producción y convertir ejecuciones seleccionadas en conjuntos de datos para pruebas posteriores.
La distinción se refiere principalmente al momento y al flujo de trabajo. Los evaluadores normalmente representan criterios que un equipo define, prueba y aplica de forma repetida. LangSmith AI Search se dirige a preguntas que surgen durante una investigación.
Pensemos en un agente de soporte que recibe un aumento repentino de solicitudes de cancelación. Un panel estructurado podría mostrar una latencia estable y pocos errores explícitos. La búsqueda de texto completo podría identificar la palabra "cancel," pero no el motivo que hay detrás.
En cambio, un responsable de producto podría buscar usuarios que intentaron cancelar después de recibir respuestas contradictorias. Esa descripción combina intención, secuencia y calidad percibida.
Si las coincidencias resultan útiles, el equipo puede revisarlas, añadir ejemplos a un conjunto de datos y crear un evaluador duradero. La búsqueda se convierte en la interfaz exploratoria de un proceso de calidad más formal.
Este flujo de trabajo presiona a las plataformas de observabilidad para conectar el descubrimiento con la evaluación. Almacenar trazas detalladas ya no es suficiente cuando los clientes no pueden recuperar el comportamiento oculto dentro de ellas.
También cambia qué equipos pueden utilizar los datos de trazas. Los responsables de producto, revisores de seguridad y líderes de soporte pueden describir un problema sin tener que aprender primero un lenguaje de consulta específico de una plataforma.
La capa técnica de consultas sigue siendo necesaria. El lenguaje natural simplemente acerca el primer paso de investigación a las personas que reconocen el problema de negocio.
Cómo LangSmith AI Search Lee una Traza sin Leerlo Todo
LangSmith reduce el coste de búsqueda al priorizar la evidencia conversacional, pero esa compresión determina qué fallos siguen siendo visibles.
Cuando un usuario envía una descripción a AI Search, los filtros existentes reducen primero el conjunto de candidatos. SmithDB prepara después las trayectorias mientras un modelo de decisión las revisa en paralelo.
Las coincidencias aparecen de forma progresiva en la interfaz a medida que el sistema las identifica. Los usuarios no necesitan esperar a que se procese todo el conjunto de candidatos.
El mecanismo central es un presupuesto de contexto de 8.000 tokens para cada trayectoria. LangSmith llena ese presupuesto en un orden de prioridad fijo, en lugar de enviar cada token registrado.
Los mensajes de usuarios y las respuestas directas del agente reciben la mayor prioridad. Los mensajes intermedios del modelo, las llamadas a herramientas, los resultados de herramientas y los mensajes del sistema llenan el espacio restante.
Si el siguiente mensaje no cabe, LangSmith lo recorta. El contenido posterior queda fuera de la vista del modelo una vez que se llena el presupuesto.
Esta decisión hace prácticas muchas búsquedas conversacionales. La frustración, el rechazo, la confusión, la intención de cancelar y las promesas sin respaldo suelen aparecer en el diálogo visible.
También crea un punto ciego predecible. Algunos fallos existen únicamente dentro de la salida de herramientas o de pasos intermedios de ejecución.
Un agente podría encontrarse con un error de autorización, ignorarlo y aun así decirle al usuario que una tarea se completó correctamente. La respuesta visible contiene la afirmación falsa, pero la evidencia decisiva se encuentra dentro del resultado de una herramienta.
El modelo de búsqueda puede pasar por alto esa evidencia cuando el contenido anterior, de mayor prioridad, consume el presupuesto de tokens. LangChain reconoce esta limitación y afirma que está explorando una selección de contexto dependiente de la consulta.
Dicha selección cambiaría el orden de la evidencia según la pregunta. Una consulta sobre errores de herramientas ignorados debería priorizar las respuestas de herramientas, mientras que una consulta sobre el sentimiento del usuario debería enfatizar la conversación.
En cambio, la versión actual utiliza un ordenamiento general único. Es comprensible para una beta, pero los equipos deberían tratar la cobertura resultante como dependiente de la consulta.
El mecanismo también explica por qué LangSmith no se basó únicamente en la búsqueda vectorial. La recuperación vectorial funciona bien cuando el objetivo es encontrar material sobre un tema.
Una conversación sobre facturación probablemente se situará cerca de otras conversaciones sobre facturación en un espacio de embeddings. Sin embargo, las interacciones de facturación exitosas y fallidas pueden seguir siendo semánticamente similares.
Las consultas conductuales necesitan un juicio sobre lo que ocurrió. Un modelo de decisión evalúa la trayectoria frente a una proposición concreta, como si el agente completó la tarea solicitada.
Este enfoque basado en modelos mejora la expresividad, pero sustituye una incertidumbre de recuperación por otra. El sistema ahora depende de la interpretación de un modelo sobre lenguaje ambiguo.
"La frustración del usuario" puede incluir quejas directas, preguntas repetidas, sarcasmo, abandonos abruptos o rechazo cortés. Distintos revisores podrían discrepar sobre los casos límite.
Las puntuaciones de confianza ayudan a clasificar los resultados, pero no establecen la verdad fundamental. Una puntuación alta del modelo sigue reflejando la definición del comportamiento, el contexto disponible y el modelo juez.
Por tanto, el patrón operativo más sólido incluye revisión humana. Los equipos pueden inspeccionar la evidencia resaltada, corregir coincidencias débiles y perfeccionar la descripción antes de considerar que el conjunto de resultados es representativo.
Para riesgos recurrentes, pueden convertir los casos revisados en un conjunto de datos de evaluación. Los evaluadores en línea existentes de LangSmith pueden entonces aplicar un criterio definido a futuras trazas.
Esto separa la exploración de la monitorización. AI Search ayuda a los equipos a descubrir un patrón, mientras que un evaluador mide ese patrón de forma consistente una vez que su definición se estabiliza.
Esta separación es especialmente importante para la seguridad y el cumplimiento normativo. Una búsqueda en lenguaje natural de información personal puede revelar trazas sospechosas, pero no debe sustituir a los escáneres deterministas ni a los controles formales.
El juicio del modelo puede ampliar una investigación. No debe convertirse en la única capa de aplicación para decisiones de alto impacto.
La Principal Competencia Es la Evaluación Predefinida
LangSmith cuestiona la premisa de que los equipos deben conocer cada fallo importante antes de que el tráfico de producción lo revele.
Antes de la búsqueda conductual, los equipos por lo general tenían tres formas de localizar trazas problemáticas. Podían buscar texto, filtrar atributos conocidos o ejecutar un evaluador sobre tráfico seleccionado.
La búsqueda de texto completo ofrece rapidez y reproducibilidad. Resulta útil cuando la evidencia relevante incluye una frase distintiva, un identificador, un mensaje de error o un nombre de producto.
El filtrado estructurado es aún más preciso. Los equipos pueden aislar trazas con códigos de estado fallidos, alta latencia, llamadas costosas al modelo, herramientas específicas o puntuaciones bajas de feedback.
Los evaluadores predefinidos abordan el significado. Un juez basado en LLM puede decidir si una respuesta fue útil, fundamentada, segura o completa, y luego adjuntar el resultado a cada traza.
La vía del evaluador es eficaz cuando un equipo ya entiende la categoría del fallo. Se vuelve menos conveniente durante un incidente inesperado.
Alguien debe definir la rúbrica, seleccionar los campos de traza necesarios, elegir reglas de muestreo, probar el evaluador y aplicarlo al tráfico pasado o futuro. Esa preparación crea mediciones duraderas, pero ralentiza la investigación abierta.
LangSmith AI Search condensa ese trabajo en una descripción introducida al momento de realizar la consulta. Ofrece una vía más rápida desde la sospecha hasta la evidencia candidata.
La función no elimina los evaluadores. Crea una etapa de descubrimiento antes de ellos.
Un equipo podría detectar un aumento de las escalaciones de soporte sin saber por qué. Un analista podría buscar usuarios que repitieron una solicitud después de que el agente afirmara haberla resuelto.
Los revisores podrían descubrir que el agente interpretaba habitualmente el cierre de una cuenta como una cancelación de suscripción. Ese patrón puede convertirse después en un evaluador identificado con una rúbrica probada.
Esta secuencia es la parte más relevante del lanzamiento. Conecta la exploración cualitativa, la construcción de conjuntos de datos, la evaluación y la monitorización en producción.
También ejerce presión más allá de los competidores directos de LangSmith. Los equipos internos de analítica a menudo exportan trazas a almacenes de datos, notebooks o sistemas de búsqueda personalizados porque las preguntas sobre el producto superan lo que ofrecen los paneles de observabilidad.
La búsqueda conductual de trazas podría mantener una mayor parte de ese análisis dentro de la plataforma de observabilidad. Los equipos de producto e ingeniería trabajarían desde el mismo registro de ejecución subyacente.
El enfoque se asemeja al cambio más amplio de la búsqueda por palabras clave a la recuperación asistida por modelos en los sistemas empresariales de conocimiento. Ambos intentan encontrar significado que los usuarios no codificaron como metadatos.
La diferencia es que las trazas de agentes contienen acciones, no solo documentos. Un resultado útil depende de reconstruir lo ocurrido entre mensajes y herramientas.
Para los equipos de ingeniería, esto convierte la organización de trazas en parte de la infraestructura de calidad del producto. El mismo principio se aplica cuando los equipos construyen una base de conocimiento con capacidad de búsqueda a partir de registros técnicos fragmentados.
La ventaja será para los sistemas que preserven la evidencia mientras reducen la fricción investigativa. El acceso en lenguaje natural ayuda, pero la capacidad de revisión importa igual de mucho.
LangSmith resalta los mensajes coincidentes dentro de la vista de trayectoria. Ese diseño ofrece a los revisores un camino desde la clasificación del modelo de vuelta a la conversación registrada.
Sin embargo, la documentación señala que no todas las coincidencias pueden resaltarse. El texto repetido o los mensajes ausentes de la vista de trayectoria pueden impedir la localización de la evidencia.
Por tanto, un resultado puede llevar una puntuación de confianza sin mostrar todas las razones que la sustentan. Los equipos deben distinguir entre la confianza del modelo y la evidencia auditable.
Los competidores pueden responder haciendo más conversacionales sus propias interfaces de evaluación. También pueden ofrecer jueces ad hoc, consultas conductuales guardadas o generación automática de conjuntos de datos.
La competencia de producto no consiste simplemente en quién ofrece primero la búsqueda en lenguaje natural. Consiste en quién convierte descubrimientos inciertos en pruebas repetibles con menos vacíos.
El Contexto, la Privacidad y la Reproducibilidad Definen los Límites de la Beta
La utilidad de la función depende de que los equipos comprendan los datos que excluye y las obligaciones de gobernanza que añade.
La documentación de filtros de LangSmith identifica varias limitaciones del producto. Actualmente, las descripciones de AI Search no pueden guardarse como vistas ni conservarse en enlaces de páginas copiados.
Las búsquedas tampoco aparecen en el historial de filtros recientes. El panel de estadísticas deja de estar disponible mientras una consulta de AI Search está activa.
Estas restricciones afectan a la reproducibilidad. Un ingeniero que investiga un incidente no puede simplemente enviar una consulta conductual guardada a otro revisor y esperar un flujo de trabajo idéntico.
Los equipos pueden registrar la redacción en otro lugar, pero eso añade un proceso manual. También importa porque pequeños cambios de redacción pueden influir en las clasificaciones del modelo.
El sistema aplica límites de tasa a nivel de espacio de trabajo. LangChain no publica el umbral en la documentación citada, por lo que los equipos todavía no pueden inferir si es adecuado para investigaciones automatizadas frecuentes.
Los límites más importantes proceden de la propia trayectoria. AI Search lee la conversación principal del agente, pero no el contenido de subagentes, middleware o mensajes de compactación.
Por tanto, un flujo de trabajo multiagente puede ocultar un comportamiento decisivo fuera de la representación consultable. El agente principal podría informar de éxito mientras un subagente registra el fallo real.
El sistema tampoco puede inferir el estado de ejecución, las etiquetas, los metadatos ni la estructura de la traza a partir de la descripción en lenguaje natural. Los usuarios deben aplicar filtros convencionales para esas propiedades.
Esta división debería figurar en los manuales de equipo. La búsqueda conductual maneja el significado dentro de la trayectoria, mientras que los filtros estructurados manejan atributos operativos conocidos.
La privacidad plantea una limitación independiente. Habilitar AI Search permite transferir y procesar datos de trazas en Estados Unidos mediante inferencia y subprocesadores gestionados por LangChain.
El administrador de la organización habilita la función para todos los miembros. No se requiere una clave independiente de proveedor de modelos.
LangChain afirma explícitamente que los clientes no deben utilizar AI Search para información sanitaria protegida. La función no está cubierta por ningún Acuerdo de Asociado Comercial que una organización haya firmado con LangChain.
Esta advertencia merece atención porque el lanzamiento destaca las búsquedas de información de identificación personal filtrada. Buscar datos sensibles requiere enviar el contenido relevante de la traza a través del sistema de clasificación.
Las organizaciones deben distinguir la revisión general de PII del procesamiento de datos sanitarios regulados. También deben confirmar los requisitos de retención, acceso, residencia y subprocesadores antes de habilitar la función.
Persiste un riesgo más amplio de observabilidad, independientemente del proveedor. Las trazas detalladas pueden capturar prompts, respuestas del modelo, registros de clientes, documentos recuperados y resultados de herramientas.
Una telemetría más completa mejora la depuración, pero incrementa las consecuencias de una recopilación excesiva. Los equipos deben minimizar los campos sensibles antes de que lleguen a cualquier plataforma de observabilidad.
También deben probar los falsos positivos y falsos negativos frente a muestras revisadas. Un benchmark beta útil incluiría incidentes conductuales conocidos, negativos difíciles y ejemplos que abarquen distintos frameworks de agentes.
El material público no informa de precisión, recall, distribuciones de latencia ni comparaciones independientes con embeddings y evaluadores predefinidos. Describe la arquitectura y una muestra interna de longitud de trazas.
Esto deja a los compradores sin una medida común de la calidad de búsqueda. Una función que devuelve coincidencias plausibles todavía puede pasar por alto fallos poco frecuentes que son los más importantes.
Por tanto, la interpretación adecuada es limitada. LangSmith ha introducido una interfaz de investigación prometedora, no un sustituto verificado de la evaluación, el escaneo de seguridad o la revisión humana.
Su valor dependerá de la rapidez con que los usuarios puedan validar un resultado, reproducir la consulta y convertir el descubrimiento en un control de calidad duradero.
Qué Observar Después de la Beta de LangSmith AI Search
Tres señales mostrarán si la búsqueda conductual de trazas se convierte en infraestructura central o sigue siendo un atajo de investigación útil.
La primera señal es la selección adaptativa de contexto. LangChain afirma que está explorando métodos que elijan evidencia según la consulta e indiquen cuándo el modelo necesita una segunda pasada.
Ese trabajo aborda directamente el límite de 8.000 tokens. Si las búsquedas centradas en herramientas comienzan a priorizar los resultados de herramientas, el sistema debería detectar más fallos de ejecución ocultos en la evidencia conversacional.
Sin selección adaptativa, los usuarios necesitarán enfoques independientes para distintos tipos de trazas. Las búsquedas conversacionales pueden funcionar bien mientras que las búsquedas operativas producen una cobertura inconsistente.
La segunda señal es la reproducibilidad. Las búsquedas guardadas, las consultas compartibles, los conjuntos de resultados estables y los límites de tasa documentados facilitarían la integración de AI Search en la respuesta a incidentes.
Agrupar coincidencias similares también ayudaría a los equipos a ir más allá de las trazas individuales. LangChain afirma que quiere resumir patrones comunes en lugar de devolver únicamente una lista plana.
Esa capacidad podría convertir una búsqueda ad hoc en un flujo de trabajo de insights de producto. Los equipos podrían identificar grupos de fallos recurrentes, inspeccionar trazas representativas y crear evaluadores específicos.
La tercera señal es la respuesta competitiva. Datadog, Arize y otros proveedores de observabilidad ya combinan el tracing con la evaluación basada en modelos.
Si añaden descubrimiento conductual interactivo, la búsqueda de trazas en lenguaje natural se convertirá en una interfaz esperada. La competencia se desplazaría entonces hacia la calidad de la evidencia, la gobernanza y la integración con conjuntos de datos.
Si los competidores priorizan la precisión evaluada y la monitorización repetible, LangSmith tendrá que demostrar que la exploración produce mejoras medibles después del despliegue.
Los usuarios también deberían estar atentos a benchmarks publicados sobre la calidad de búsqueda. La precisión y el recall en frustración, tareas incompletas, divulgación insegura y errores de herramientas ignorados proporcionarían una base de comparación más clara.
Por ahora, los equipos que evalúen LangSmith AI Search deberían comenzar con un conjunto revisado de trazas conocidas. Pueden probar varias descripciones, comparar las coincidencias devueltas y documentar qué evidencia omite el modelo.
Después deberían utilizar la función para el descubrimiento, no para la adjudicación final. Confirmen manualmente los hallazgos de alto impacto y conviertan las definiciones conductuales estables en evaluadores o controles deterministas.
El lanzamiento importa porque cambia cuándo los equipos pueden plantear preguntas sobre el comportamiento de los agentes. Ya no necesitan predecir cada fallo antes de recopilar trazas de producción.
Es un paso significativo para la observabilidad de agentes. La prueba más difícil es si LangSmith AI Search puede hacer que esos descubrimientos sean repetibles, auditables y seguros en cargas de trabajo reales de producción.
