LangSmith AI Search, 기존 트레이스 필터가 놓치는 에이전트 실패 찾아낸다

LangSmith가 AI Search를 공개 베타로 출시하며, 일반 필터가 놓치는 에이전트 실패를 찾을 새로운 방법을 팀에 제공했다. 이 기능은 행동을 자연어로 설명하면 기록된 에이전트 상호작용에서 일치하는 트레이스를 검색한다.

개발자는 사용자가 좌절감을 보인 사례, 에이전트가 작업을 완료하지 않았으면서 성공했다고 주장한 사례, 또는 응답에 개인정보가 포함된 사례를 요청할 수 있다. 이러한 질문은 알려진 태그나 정확한 문구가 아니라 의미와 순서에 의존한다.

이 차이가 LangSmith AI Search의 핵심적인 긴장을 만든다. 에이전트 관측성은 팀이 어떤 실패가 중요한지 알기 전에 구성한 구조화된 필터, 전문 검색, 평가기에 주로 의존해 왔다. LangSmith는 질문이 제기되는 시점에 모델이 낯선 행동을 조사할 수 있다는 데 베팅하고 있다.

이 접근 방식은 불편한 질문도 제기한다. 다른 모델이 어떤 프로덕션 대화가 주관적인 설명에 부합하는지 판단한다면, 팀은 그 모델이 무엇을 읽고, 무엇을 제외하며, 무엇을 잘못 분류하는지 이해해야 한다.

LangSmith AI Search, 트레이스 탐색에 행동 기반 쿼리 추가

이번 출시는 트레이스 조사를 데이터베이스 쿼리 문제에서 해석 문제로 전환한다.

LangChain은 2026년 10월 13일 공개 베타를 발표했다. 이 기능은 Google Cloud의 미국, 유럽, 아시아 태평양 지역에서 LangSmith Cloud를 통해 제공된다. 다른 구성원이 사용하려면 조직 관리자가 먼저 활성화해야 한다.

LangSmith는 이미 상태, 지연 시간, 태그, 메타데이터, 비용, 피드백 등의 필드로 트레이스를 필터링할 수 있게 해 준다. 전문 검색은 트레이스 입력, 출력, 메타데이터, 오류 안에서 발견된 단어도 일치시킬 수 있다.

이 도구들은 조사자가 대상 식별에 필요한 필드나 문구를 알고 있을 때 작동한다. 상태 필터는 오류를 찾을 수 있고, 텍스트 쿼리는 "refund"가 포함된 대화를 찾을 수 있다. 그러나 어느 쪽도 도움이 되지 않는 답변을 받은 뒤 사용자가 조용히 이탈했는지를 신뢰성 있게 판단할 수는 없다.

대신 LangSmith AI Search는 행동 설명을 받아들인다. 회사의 행동 기반 트레이스 검색 예시에는 좌절감을 드러내는 사용자, 내부 구현 세부 정보를 노출하는 에이전트, 할당된 작업을 완료하지 못하는 에이전트가 포함된다.

이 기능은 스레드, 트레이스, 개별 실행 전반에서 작동한다. 트레이스는 하나의 요청과 그 안에 중첩된 작업을 기록하며, 스레드는 같은 대화의 여러 트레이스를 연결한다.

팀은 자연어 쿼리를 기존 구조화된 필터와 결합할 수 있다. 먼저 오류가 발생한 프로덕션 트레이스로 결과를 제한한 뒤, 온보딩 중 사용자가 혼란을 겪는 대화를 질문할 수 있다.

이 조합은 중요하다. 모델이 남은 대화를 살펴보기 전에 기존 필터가 검색 범위를 줄일 수 있기 때문이다. 또한 해석이 필요하지 않은 속성에 대해서는 결정론적 제어를 유지한다.

결과는 신뢰도 점수와 함께 제공된다. 일치 항목을 열면 검토자는 LangSmith가 일치 판단에 영향을 준 사용 가능한 메시지를 강조 표시하는 궤적 보기로 이동한다.

궤적은 사람의 메시지, 에이전트 응답, 도구 호출, 도구 결과를 정규화한 순서다. 연속적인 모델 호출에 포함된 대화 이력을 반복하는 대신 세션을 한 번만 제시한다.

이는 기존 필터 위에 더 친숙한 문법을 덧씌운 기능에 그치지 않는다. LangSmith는 판단 모델이 각 후보 궤적을 읽고 요청된 행동이 발생했는지 평가한다고 설명한다.

"에이전트가 작업을 완료했다고 말했지만 실제로는 그렇지 않았다"와 같은 요청에서 차이가 분명해진다. 성공한 트레이스와 실패한 트레이스 모두 거의 동일한 주제, 도구, 어휘를 포함할 수 있다.

텍스트를 수치 벡터로 표현하는 임베딩은 동일한 작업을 논의한다는 이유로 이러한 대화를 가깝게 배치할 수 있다. 반면 행동 분류는 주장과 트레이스 전반에 기록된 행동을 비교해야 한다.

따라서 회사는 LLM-as-a-judge 패턴을 대화형 트레이스 탐색에 직접 도입했다. 엔지니어는 조사를 시작하기 전에 모든 평가기를 정의할 필요가 없다.

이 변화는 탐색적 분석을 더 빠르게 만든다. 그렇다고 모든 결과가 권위 있는 판단이 되는 것은 아니다.

에이전트 트레이스 검색이 데이터 문제가 된 이유

긴 에이전트 세션에는 가치 있는 증거가 담겨 있지만, 그 규모와 반복성 때문에 수동 검토는 점점 비현실적이 되고 있다.

기존 애플리케이션 모니터링은 예측 가능한 신호에 초점을 맞춘다. 엔지니어는 오류 코드, 느린 요청, 실패한 데이터베이스 호출, 비정상적인 리소스 소비를 검색한다. 이러한 신호는 대체로 구조화된 필드에 적합하다.

AI 에이전트는 다른 유형의 실패 표면을 만든다. 에이전트는 요청을 오해하거나, 부적절한 도구를 호출하거나, 달성한 결과를 과장하면서도 기술적으로는 성공한 응답을 반환할 수 있다.

그 결과 생성되는 텔레메트리도 유난히 밀집돼 있다. 하나의 에이전트 작업에는 사용자 메시지, 모델 출력, 검색된 문서, 셸 명령, 도구 응답, 재시도, 다른 에이전트로의 핸드오프가 포함될 수 있다.

LangChain은 오픈소스 코딩 에이전트 Open SWE에서 무작위로 선택한 150개 대화를 조사했다. 회사에 따르면, 그중 일부는 100만 토큰을 초과했다.

대화의 중앙값은 약 72,000토큰이었다. 사용자 메시지와 최종 에이전트 답변은 약 2,000토큰에 불과했고, 약 85%는 도구 출력으로 구성됐다.

이 수치는 독립적인 업계 벤치마크가 아닌 LangChain의 표본에서 나온 것이다. 그럼에도 모든 원시 이벤트를 검색하면 컨텍스트와 추론 비용이 모두 발생하는 이유를 보여 준다.

에이전트는 새 모델 호출마다 전체 대화 이력을 전송하는 경우가 많다. 따라서 단순한 트레이스 표현은 동일한 이전 메시지를 반복해서 저장한다.

LangSmith는 궤적을 통해 이러한 반복을 해결한다. 트레이스 데이터 레이어는 데이터가 들어오는 대로 지원되는 트레이스 형식을 공통 표현으로 변환한다.

여기에는 LangChain, LangGraph, OpenAI 및 Anthropic SDK, Vercel AI SDK, OpenTelemetry를 통해 생성된 트레이스가 포함된다. 정규화는 검색 시스템이 검사할 일관된 순서를 제공한다.

이는 경쟁 구도도 확대한다. 관측성 공급업체들은 단순한 저장과 필터링을 넘어 트레이스 수준 평가를 점점 더 제공하고 있다.

예를 들어 Datadog는 트레이스의 모든 스팬을 LLM 심사 프롬프트에 넣는 트레이스 수준 평가를 문서화하고 있다. 이러한 평가는 목표 달성, 도구 순서, 대화 품질을 분류할 수 있다.

Arize Phoenix도 오픈소스 트레이싱 워크플로에서 트레이싱, 주석, 평가, 데이터세트, 실험을 결합한다. 평가기는 프로덕션 트레이스를 점수화하고, 선택한 실행을 이후 테스트용 데이터세트로 변환할 수 있다.

차이는 주로 시점과 워크플로에 있다. 평가기는 일반적으로 팀이 정의하고, 테스트하고, 반복 적용하는 기준을 나타낸다. LangSmith AI Search는 조사 과정에서 새롭게 떠오르는 질문을 겨냥한다.

취소 요청이 갑자기 증가한 지원 에이전트를 생각해 보자. 구조화된 대시보드는 안정적인 지연 시간과 적은 수의 명시적 오류를 보여 줄 수 있다. 전문 검색은 "cancel"이라는 단어를 식별할 수 있지만, 그 배경 이유는 알 수 없다.

대신 제품 관리자는 모순된 답변을 받은 뒤 취소를 시도한 사용자를 검색할 수 있다. 이 설명은 의도, 순서, 인지된 품질을 결합한다.

일치 항목이 유용하다면 팀은 이를 검토하고, 데이터세트에 예시를 추가하며, 지속적으로 활용할 평가기를 구축할 수 있다. 검색은 보다 공식적인 품질 프로세스를 위한 탐색적 프런트엔드가 된다.

이 워크플로는 관측성 플랫폼이 발견 기능과 평가 기능을 연결하도록 압박한다. 고객이 그 안에 숨은 행동을 찾아낼 수 없다면 상세한 트레이스를 저장하는 것만으로는 충분하지 않다.

이는 트레이스 데이터를 활용할 수 있는 팀도 바꾼다. 제품 관리자, 안전성 검토자, 지원 리더는 플랫폼별 쿼리 언어를 먼저 배우지 않고도 문제를 설명할 수 있다.

기술적 쿼리 계층은 여전히 필요하다. 자연어는 첫 번째 조사 단계를 비즈니스 문제를 알아차리는 사람들에게 더 가깝게 옮길 뿐이다.

LangSmith AI Search가 모든 것을 읽지 않고 트레이스를 읽는 방식

LangSmith는 대화 증거를 우선시해 검색 비용을 낮추지만, 이 압축 방식은 어떤 실패가 계속 보일지를 결정한다.

사용자가 AI Search 설명을 제출하면 기존 필터가 먼저 후보 집합을 좁힌다. 이후 SmithDB가 궤적을 준비하는 동안 판단 모델이 이를 병렬로 확인한다.

시스템이 일치 항목을 식별하면 결과가 인터페이스에 스트리밍된다. 사용자는 전체 후보 집합의 처리가 끝날 때까지 기다릴 필요가 없다.

핵심 메커니즘은 각 궤적에 적용되는 8,000토큰 컨텍스트 예산이다. LangSmith는 기록된 모든 토큰을 전송하는 대신 고정된 우선순위에 따라 이 예산을 채운다.

사용자 메시지와 에이전트의 직접 답변이 가장 높은 우선순위를 받는다. 중간 모델 메시지, 도구 호출, 도구 결과, 시스템 메시지가 남은 공간을 채운다.

다음 메시지가 들어맞지 않으면 LangSmith는 이를 잘라낸다. 예산이 모두 소진되면 이후 콘텐츠는 모델의 시야 밖에 놓인다.

이 선택은 많은 대화형 검색을 실용적으로 만든다. 좌절, 거절, 혼란, 취소 의도, 뒷받침되지 않는 약속은 흔히 보이는 대화에 나타난다.

하지만 예측 가능한 사각지대도 만든다. 일부 실패는 도구 출력이나 중간 실행 단계 안에서만 존재한다.

에이전트는 권한 부여 오류를 만나고도 이를 무시한 채 사용자에게 작업이 성공했다고 말할 수 있다. 눈에 보이는 답변에는 거짓 주장이 담기지만, 결정적 증거는 도구 결과 안에 있다.

더 이른 시점의 우선순위 높은 콘텐츠가 토큰 예산을 소진하면 검색 모델은 이 증거를 놓칠 수 있다. LangChain은 이 한계를 인정하며 쿼리 의존적 컨텍스트 선택을 검토하고 있다고 밝혔다.

이러한 선택 방식은 질문에 따라 증거의 순서를 바꾼다. 무시된 도구 오류에 관한 쿼리는 도구 응답을 우선시해야 하고, 사용자 감정에 관한 쿼리는 대화를 강조해야 한다.

현재 릴리스는 대신 하나의 일반적인 순서를 사용한다. 베타 버전으로서는 이해할 수 있지만, 팀은 그에 따른 커버리지를 쿼리 의존적인 것으로 봐야 한다.

이 메커니즘은 LangSmith가 벡터 검색에만 의존하지 않은 이유도 설명한다. 벡터 검색은 특정 주제에 관한 자료를 찾는 것이 목표일 때 효과적이다.

청구에 관한 대화는 임베딩 공간에서 다른 청구 관련 대화 근처에 배치될 가능성이 높다. 그러나 성공한 청구 상호작용과 실패한 상호작용은 의미상 유사하게 남을 수 있다.

행동 기반 쿼리에는 실제로 무슨 일이 일어났는지에 대한 판단이 필요하다. 판단 모델은 에이전트가 요청된 작업을 완료했는지와 같은 좁은 명제에 대해 궤적을 평가한다.

이 모델 기반 접근은 표현력을 높이지만, 하나의 검색 불확실성을 다른 불확실성으로 대체한다. 이제 시스템은 모호한 언어에 대한 모델의 해석에 의존한다.

"사용자 좌절"에는 직접적인 불만, 반복 질문, 냉소, 갑작스러운 이탈, 정중한 거절이 포함될 수 있다. 경계선 사례에 대해서는 검토자마다 의견이 다를 수 있다.

신뢰도 점수는 결과의 순위를 매기는 데 도움이 되지만, 사실관계를 확정하지는 않는다. 높은 모델 점수 역시 행동 정의, 이용 가능한 컨텍스트, 심사 모델을 반영한다.

따라서 가장 강력한 운영 패턴에는 사람의 검토가 포함됩니다. 팀은 강조 표시된 근거를 살펴보고, 부정확한 일치를 수정하며, 결과 집합을 대표성 있는 것으로 간주하기 전에 설명을 다듬을 수 있습니다.

반복적으로 발생하는 위험의 경우, 검토가 끝난 사례를 평가 데이터셋으로 전환할 수 있습니다. 이후 LangSmith의 기존 온라인 평가기는 정의된 기준을 향후 트레이스에 적용할 수 있습니다.

이렇게 하면 탐색과 모니터링이 분리됩니다. AI Search는 팀이 패턴을 발견하도록 돕고, 평가기는 해당 패턴의 정의가 안정화된 뒤 이를 일관되게 측정합니다.

이 분리는 보안 및 컴플라이언스 측면에서 특히 중요합니다. 개인정보를 찾는 자연어 검색은 의심스러운 트레이스를 드러낼 수 있지만, 결정론적 스캐너나 공식 통제를 대체해서는 안 됩니다.

모델의 판단은 조사 범위를 넓힐 수 있습니다. 그러나 중대한 결과를 초래하는 결정에서 유일한 집행 계층이 되어서는 안 됩니다.

주요 경쟁 대상은 사전 정의된 평가입니다

LangSmith는 팀이 프로덕션 트래픽에서 문제가 드러나기 전에 모든 중요한 실패를 미리 알아야 한다는 가정에 도전하고 있습니다.

행동 기반 검색 이전에는 팀이 문제가 있는 트레이스를 찾는 방법이 대체로 세 가지였습니다. 텍스트를 검색하거나, 알려진 속성으로 필터링하거나, 선택한 트래픽에 평가기를 실행하는 방식입니다.

전체 텍스트 검색은 속도와 재현성을 제공합니다. 관련 근거에 고유한 문구, 식별자, 오류 메시지 또는 제품명이 포함될 때 유용합니다.

구조화된 필터링은 더욱 정확합니다. 팀은 실패한 상태 코드, 긴 지연 시간, 비용이 큰 모델 호출, 특정 도구 또는 낮은 피드백 점수가 있는 트레이스를 분리할 수 있습니다.

사전 정의된 평가기는 의미를 다룹니다. LLM 심사자는 응답이 유용했는지, 근거에 충실했는지, 안전했는지 또는 완전했는지를 판단한 뒤 각 트레이스에 결과를 연결할 수 있습니다.

평가기 방식은 팀이 이미 실패 범주를 이해하고 있을 때 효과적입니다. 하지만 예기치 못한 인시던트가 발생하면 편의성이 떨어집니다.

누군가는 루브릭을 정의하고, 필요한 트레이스 필드를 선택하며, 샘플링 규칙을 정하고, 평가기를 테스트한 뒤 과거 또는 향후 트래픽에 적용해야 합니다. 이 준비는 지속 가능한 측정을 만들지만, 개방형 조사를 늦춥니다.

LangSmith AI Search는 이러한 작업을 쿼리 시점에 입력하는 설명으로 압축합니다. 의심에서 후보 근거까지 더 빠르게 도달할 수 있는 경로를 제공합니다.

이 기능이 평가기를 없애는 것은 아닙니다. 평가기 이전에 발견 단계를 추가하는 것입니다.

팀은 그 이유를 알지 못한 채 지원 에스컬레이션 증가를 발견할 수 있습니다. 분석가는 에이전트가 해결되었다고 주장한 뒤에도 요청을 반복한 사용자를 검색할 수 있습니다.

검토자는 에이전트가 계정 폐쇄를 구독 취소로 반복 해석한다는 사실을 발견할 수 있습니다. 이후 이 패턴은 검증된 루브릭을 갖춘 명명된 평가기가 될 수 있습니다.

이 순서는 이번 출시에서 가장 중요한 부분입니다. 정성적 탐색, 데이터셋 구성, 평가 및 프로덕션 모니터링을 연결합니다.

이는 LangSmith의 직접적인 경쟁사를 넘어서는 압력도 만듭니다. 제품 관련 질문이 관측성 대시보드의 범위를 넘어서기 때문에, 내부 분석 팀은 종종 트레이스를 데이터 웨어하우스, 노트북 또는 맞춤형 검색 시스템으로 내보냅니다.

행동 기반 트레이스 검색은 그러한 분석을 더 많이 관측성 플랫폼 내부에 유지할 수 있습니다. 제품 팀과 엔지니어링 팀은 동일한 기반 실행 기록을 바탕으로 작업하게 됩니다.

이 접근 방식은 엔터프라이즈 지식 시스템에서 키워드 검색에서 모델 지원 검색으로 전환되는 더 큰 흐름과 닮아 있습니다. 둘 다 사용자가 메타데이터로 인코딩하지 않은 의미를 찾으려 합니다.

차이점은 에이전트 트레이스가 문서뿐 아니라 행동을 포함한다는 점입니다. 유용한 결과를 얻으려면 메시지와 도구 전반에서 무슨 일이 있었는지 재구성해야 합니다.

엔지니어링 팀에게 이는 트레이스 구성이 제품 품질 인프라의 일부임을 뜻합니다. 단편화된 기술 기록으로부터 검색 가능한 지식 기반을 구축할 때도 같은 원칙이 적용됩니다.

우위는 조사 과정의 마찰을 줄이면서 근거를 보존하는 시스템에 돌아갈 것입니다. 자연어 접근도 도움이 되지만, 검토 가능성 역시 그만큼 중요합니다.

LangSmith는 trajectory 보기 안에서 일치한 메시지를 강조 표시합니다. 이 설계는 검토자가 모델의 분류에서 기록된 대화로 되짚어 갈 수 있는 경로를 제공합니다.

하지만 문서에서는 모든 일치 항목을 강조 표시할 수 있는 것은 아니라고 언급합니다. 반복된 텍스트나 trajectory 보기에 없는 메시지는 근거 위치를 특정하지 못하게 할 수 있습니다.

따라서 결과는 그 이유를 모두 보여주지 않은 채 신뢰도 점수를 가질 수 있습니다. 팀은 모델 신뢰도와 감사 가능한 근거를 구분해야 합니다.

경쟁사는 자체 평가기 인터페이스를 더 대화형으로 만들어 대응할 수 있습니다. 즉석 심사자, 저장된 행동 쿼리 또는 자동 데이터셋 생성을 제공할 수도 있습니다.

제품 경쟁은 단순히 누가 자연어 검색을 먼저 제공하느냐의 문제가 아닙니다. 불확실한 발견을 최소한의 공백으로 반복 가능한 테스트로 전환하는 주체가 누구인지의 문제입니다.

컨텍스트, 개인정보 보호 및 재현성이 베타의 한계를 규정합니다

이 기능의 유용성은 팀이 제외되는 데이터와 추가되는 거버넌스 의무를 이해하는지에 달려 있습니다.

LangSmith의 필터 문서는 몇 가지 제품 제한 사항을 설명합니다. 현재 AI Search 설명은 보기로 저장하거나 복사한 페이지 링크에 보존할 수 없습니다.

검색은 최근 필터 기록에도 나타나지 않습니다. AI Search 쿼리가 활성화된 동안에는 통계 패널을 사용할 수 없습니다.

이러한 제한은 재현성에 영향을 미칩니다. 인시던트를 조사하는 엔지니어는 저장된 행동 쿼리를 다른 검토자에게 단순히 보내고 동일한 워크플로를 기대할 수 없습니다.

팀은 문구를 다른 곳에 기록할 수 있지만, 이는 수동 절차를 추가합니다. 작은 표현 변화도 모델 분류에 영향을 줄 수 있으므로 중요합니다.

시스템은 워크스페이스 수준에서 속도 제한을 적용합니다. LangChain은 참조된 문서에서 임계값을 공개하지 않았으므로, 팀은 아직 빈번한 자동 조사에 적합한지 추론할 수 없습니다.

더 중요한 제한은 trajectory 자체에서 비롯됩니다. AI Search는 주요 에이전트 대화를 읽지만, 서브에이전트, 미들웨어 또는 컨텍스트 압축 메시지 내용은 읽지 않습니다.

따라서 멀티에이전트 워크플로는 검색 가능한 표현 외부에 결정적인 행동을 숨길 수 있습니다. 부모 에이전트는 성공을 보고하는 반면, 서브에이전트는 실제 실패를 기록할 수 있습니다.

또한 시스템은 자연어 설명에서 실행 상태, 태그, 메타데이터 또는 트레이스 구조를 추론할 수 없습니다. 사용자는 이러한 속성에 기존 필터를 적용해야 합니다.

이 구분은 팀 플레이북에 반영되어야 합니다. 행동 기반 검색은 trajectory 내부의 의미를 다루고, 구조화된 필터는 알려진 운영 속성을 다룹니다.

개인정보 보호는 별도의 제약을 제시합니다. AI Search를 활성화하면 LangChain이 관리하는 추론 시스템과 하위 처리업체를 통해 트레이스 데이터가 미국으로 전송되고 처리될 수 있습니다.

조직 관리자는 모든 구성원에 대해 이 기능을 활성화합니다. 별도의 모델 제공업체 키는 필요하지 않습니다.

LangChain은 고객이 보호 대상 건강 정보를 위해 AI Search를 사용해서는 안 된다고 명시합니다. 이 기능은 조직이 LangChain과 체결한 모든 Business Associate Agreement의 적용 대상이 아닙니다.

이번 출시가 유출된 개인식별정보 검색을 강조한다는 점에서 이 경고는 주목할 만합니다. 민감한 데이터를 검색하려면 관련 트레이스 콘텐츠를 분류 시스템으로 전송해야 합니다.

조직은 일반적인 PII 검토와 규제 대상 건강 데이터 처리를 구분해야 합니다. 또한 기능을 활성화하기 전에 보존, 접근, 데이터 레지던시 및 하위 처리업체 요건을 확인해야 합니다.

공급업체와 무관하게 더 광범위한 관측성 위험은 남아 있습니다. 풍부한 트레이스는 프롬프트, 모델 응답, 고객 기록, 검색된 문서 및 도구 결과를 포착할 수 있습니다.

더 완전한 텔레메트리는 디버깅을 개선하는 동시에 과도한 수집의 결과를 키웁니다. 팀은 민감한 필드가 관측성 플랫폼에 도달하기 전에 최소화해야 합니다.

또한 검토된 샘플을 바탕으로 거짓 양성과 거짓 음성을 테스트해야 합니다. 유용한 베타 벤치마크에는 알려진 행동 인시던트, 까다로운 음성 사례 및 서로 다른 에이전트 프레임워크에 걸친 예시가 포함될 것입니다.

공개 자료는 정밀도, 재현율, 지연 시간 분포 또는 임베딩 및 사전 정의된 평가기와의 독립 비교를 보고하지 않습니다. 아키텍처와 내부 트레이스 길이 샘플을 설명할 뿐입니다.

이로 인해 구매자는 검색 품질을 평가할 공통 척도가 없습니다. 그럴듯한 일치를 반환하는 기능도 가장 중요한 드문 실패를 놓칠 수 있습니다.

따라서 적절한 해석은 제한적이어야 합니다. LangSmith는 유망한 조사 인터페이스를 도입했지만, 평가, 보안 스캐닝 또는 사람의 검토를 대체하는 검증된 수단은 아닙니다.

그 가치는 사용자가 결과를 얼마나 빠르게 검증하고, 쿼리를 재현하며, 발견을 지속 가능한 품질 관리로 전환할 수 있는지에 달려 있습니다.

LangSmith AI Search 베타 이후 주목할 점

행동 기반 트레이스 검색이 핵심 인프라가 될지, 유용한 조사 지름길에 머물지는 세 가지 신호가 보여줄 것입니다.

첫 번째 신호는 적응형 컨텍스트 선택입니다. LangChain은 쿼리에 따라 근거를 선택하고 모델에 두 번째 패스가 필요한 시점을 나타내는 방법을 탐색하고 있다고 말합니다.

이 작업은 8,000토큰 제한을 직접 해결합니다. 도구 중심 검색이 도구 결과를 우선시하기 시작하면, 시스템은 대화형 근거에 가려진 실행 실패를 더 많이 감지할 수 있어야 합니다.

적응형 선택이 없다면 사용자는 서로 다른 트레이스 유형에 별도의 접근 방식을 사용해야 합니다. 대화형 검색은 잘 작동하는 반면, 운영 검색은 일관되지 않은 범위를 제공할 수 있습니다.

두 번째 신호는 재현성입니다. 저장된 검색, 공유 가능한 쿼리, 안정적인 결과 집합 및 문서화된 속도 제한은 AI Search를 인시던트 대응에 더 쉽게 통합하게 할 것입니다.

유사한 일치를 그룹화하는 기능도 팀이 개별 트레이스를 넘어서는 데 도움이 됩니다. LangChain은 단순한 목록만 반환하는 대신 일반적인 패턴을 요약하고자 한다고 말합니다.

이 기능은 임시 검색을 제품 인사이트 워크플로로 전환할 수 있습니다. 팀은 반복되는 실패 클러스터를 식별하고, 대표 트레이스를 검토하며, 표적 평가기를 만들 수 있습니다.

세 번째 신호는 경쟁사의 대응입니다. Datadog, Arize 및 다른 관측성 제공업체는 이미 트레이싱과 모델 기반 평가를 결합하고 있습니다.

이들이 대화형 행동 발견 기능을 추가한다면 자연어 트레이스 검색은 기대되는 인터페이스가 될 것입니다. 그러면 경쟁은 근거 품질, 거버넌스 및 데이터셋 통합으로 이동할 것입니다.

경쟁사가 평가된 정밀도와 반복 가능한 모니터링을 강조한다면, LangSmith는 탐색이 배포 후 측정 가능한 개선으로 이어진다는 점을 보여줘야 할 것입니다.

사용자는 공개되는 검색 품질 벤치마크도 지켜봐야 합니다. 불만, 미완료 작업, 안전하지 않은 공개 및 무시된 도구 오류 전반의 정밀도와 재현율은 비교를 위한 더 명확한 근거를 제공할 것입니다.

현재로서는 LangSmith AI Search를 평가하는 팀이 검토된 알려진 트레이스 집합으로 시작해야 합니다. 여러 설명을 테스트하고, 반환된 일치를 비교하며, 모델이 놓치는 근거를 문서화할 수 있습니다.

그런 다음 이 기능을 최종 판정이 아니라 발견에 사용해야 합니다. 영향이 큰 발견은 수동으로 확인하고, 안정적인 행동 정의는 평가기나 결정론적 통제로 승격해야 합니다.

이번 출시는 팀이 에이전트 행동에 관해 질문할 수 있는 시점을 바꾸기 때문에 중요합니다. 이제 프로덕션 트레이스를 수집하기 전에 모든 실패를 예측할 필요가 없습니다.

이는 에이전트 관측성에 의미 있는 진전입니다. 더 어려운 시험대는 LangSmith AI Search가 실제 프로덕션 워크로드 전반에서 그러한 발견을 반복 가능하고, 감사 가능하며, 안전하게 만들 수 있는지입니다.