LangSmith AI Search wykrywa błędy agentów, których nie wychwytują tradycyjne filtry śledzenia
LangSmith udostępnił AI Search w publicznej becie, dając zespołom nowy sposób na znajdowanie błędów agentów, które umykają zwykłym filtrom. Funkcja przyjmuje opisy zachowań w języku naturalnym, a następnie przeszukuje zarejestrowane interakcje agentów pod kątem pasujących śladów.
Deweloper może zapytać o przypadki, w których użytkownik stał się sfrustrowany, agent twierdził, że odniósł sukces bez wykonania zadania, lub w odpowiedzi pojawiły się dane osobowe. Takie pytania zależą od znaczenia i kolejności zdarzeń, a nie od znanego tagu czy dokładnej frazy.
To rozróżnienie tworzy główne napięcie stojące za LangSmith AI Search. Obserwowalność agentów opierała się w dużej mierze na ustrukturyzowanych filtrach, zapytaniach pełnotekstowych i ewaluatorach konfigurowanych, zanim zespoły dowiedzą się, które błędy mają znaczenie. LangSmith zakłada, że model może zbadać nieznane zachowanie, gdy pojawi się pytanie.
Podejście to rodzi też mniej komfortowe pytanie. Jeśli inny model decyduje, które rozmowy produkcyjne odpowiadają subiektywnemu opisowi, zespoły muszą rozumieć, co ten model odczytuje, pomija i błędnie klasyfikuje.
LangSmith AI Search dodaje zapytania behawioralne do eksploracji śladów
Premiera zmienia badanie śladów z problemu zapytań do bazy danych w problem interpretacji.
LangChain ogłosił publiczną betę 13 października 2026 roku. Jest ona dostępna przez LangSmith Cloud w regionach Google Cloud w USA, Europie i Azji oraz na Pacyfiku. Administrator organizacji musi ją włączyć, zanim inni członkowie będą mogli z niej korzystać.
LangSmith już teraz pozwala zespołom filtrować ślady według pól takich jak status, opóźnienie, tagi, metadane, koszty i informacje zwrotne. Jego wyszukiwanie pełnotekstowe może również dopasowywać słowa znajdujące się w danych wejściowych śladów, wynikach, metadanych i błędach.
Narzędzia te działają, gdy osoba prowadząca dochodzenie wie, jakie pole lub wyrażenie identyfikuje cel. Filtr statusu może znaleźć błędy, a zapytanie tekstowe może zlokalizować rozmowy zawierające „refund”. Żadne z nich nie potrafi jednak niezawodnie stwierdzić, czy użytkownik po cichu zrezygnował po otrzymaniu niepomocnej odpowiedzi.
LangSmith AI Search przyjmuje zamiast tego opis zachowania. Przykłady firmy dotyczące wyszukiwania śladów behawioralnych obejmują użytkowników okazujących frustrację, agentów ujawniających wewnętrzne szczegóły implementacji oraz agentów, którzy nie wykonali powierzonej pracy.
Funkcja działa na poziomie wątków, śladów i pojedynczych uruchomień. Ślad rejestruje jedno żądanie oraz jego zagnieżdżone operacje, natomiast wątek łączy wiele śladów z tej samej rozmowy.
Zespoły mogą łączyć zapytanie w języku naturalnym z istniejącymi filtrami ustrukturyzowanymi. Mogą najpierw ograniczyć wyniki do produkcyjnych śladów z błędami, a następnie zapytać, które rozmowy wskazują na dezorientację użytkowników podczas wdrażania.
To połączenie ma znaczenie. Pozwala konwencjonalnym filtrom zawęzić obszar wyszukiwania, zanim model zbada pozostałe rozmowy. Zachowuje też deterministyczne mechanizmy kontroli dla atrybutów, które nie powinny wymagać interpretacji.
Wyniki są dostarczane wraz z ocenami pewności. Otwarcie dopasowania przenosi recenzenta do widoku trajektorii, w którym LangSmith wyróżnia dostępne wiadomości, które wpłynęły na dopasowanie.
Trajektoria to znormalizowana sekwencja wiadomości od ludzi, odpowiedzi agentów, wywołań narzędzi i wyników narzędzi. Przedstawia sesję jednokrotnie, zamiast powtarzać historię rozmowy zawartą w kolejnych wywołaniach modelu.
Nie jest to jedynie bardziej przyjazna warstwa składni nad istniejącymi filtrami. LangSmith twierdzi, że model decyzyjny odczytuje każdą kandydacką trajektorię i ocenia, czy wystąpiło żądane zachowanie.
Różnica staje się jasna przy żądaniu takim jak „agent powiedział, że wykonał zadanie, ale tego nie zrobił”. Zarówno udany, jak i nieudany ślad mogą zawierać niemal identyczne tematy, narzędzia i słownictwo.
Embedding, który reprezentuje tekst jako wektor numeryczny, może umieścić te rozmowy blisko siebie, ponieważ dotyczą tego samego zadania. Klasyfikacja behawioralna musi natomiast porównać deklarację z działaniami zarejestrowanymi w całym śladzie.
Firma przeniosła więc wzorzec LLM-as-a-judge bezpośrednio do interaktywnego odkrywania śladów. Inżynierowie nie muszą już definiować każdego ewaluatora, zanim rozpoczną dochodzenie.
Ta zmiana przyspiesza analizę eksploracyjną. Nie czyni jednak każdego wyniku rozstrzygającym.
Dlaczego wyszukiwanie śladów agentów stało się problemem danych
Długie sesje agentów zawierają cenne dowody, lecz ich skala i powtarzalność sprawiają, że ręczny przegląd staje się coraz mniej praktyczny.
Tradycyjne monitorowanie aplikacji koncentruje się na przewidywalnych sygnałach. Inżynierowie szukają kodów błędów, powolnych żądań, nieudanych wywołań baz danych lub nietypowego zużycia zasobów. Takie sygnały zwykle pasują do ustrukturyzowanych pól.
Agenci AI tworzą inną powierzchnię błędów. Agent może zwrócić technicznie poprawną odpowiedź, jednocześnie błędnie rozumiejąc żądanie, wywołując nieodpowiednie narzędzie lub zawyżając zakres tego, co osiągnął.
Powstająca telemetria jest również wyjątkowo gęsta. Jedno zadanie agenta może zawierać wiadomości użytkownika, wyniki modelu, pobrane dokumenty, polecenia powłoki, odpowiedzi narzędzi, ponowienia i przekazania do innych agentów.
LangChain przeanalizował 150 losowo wybranych rozmów z Open SWE, swoim open-source’owym agentem programistycznym. Według firmy kilka z nich przekroczyło milion tokenów.
Mediana rozmowy wyniosła około 72 000 tokenów. Tylko około 2 000 pochodziło z wiadomości użytkownika i końcowych odpowiedzi agenta, podczas gdy około 85 procent stanowiły wyniki narzędzi.
Liczby te pochodzą z próbki LangChain, a nie z niezależnego branżowego benchmarku. Mimo to pokazują, dlaczego przeszukiwanie każdego surowego zdarzenia generuje koszty zarówno kontekstowe, jak i inferencyjne.
Agenci często wysyłają pełną historię rozmowy przy każdym nowym wywołaniu modelu. Naiwna reprezentacja śladu przechowuje więc te same wcześniejsze wiadomości wielokrotnie.
LangSmith ogranicza tę powtarzalność za pomocą trajektorii. Jego warstwa danych śledzenia przekształca obsługiwane formaty śladów we wspólną reprezentację w miarę napływania danych.
Formaty obejmują ślady generowane przez LangChain, LangGraph, SDK OpenAI i Anthropic, Vercel AI SDK oraz OpenTelemetry. Normalizacja zapewnia systemowi wyszukiwania spójną sekwencję do analizy.
Rozszerza to również stawkę konkurencyjną. Dostawcy narzędzi obserwowalności coraz częściej oferują ewaluację na poziomie śladów, a nie tylko przechowywanie i filtrowanie.
Datadog na przykład dokumentuje ewaluacje na poziomie śladów, które umieszczają każdy span ze śladu w prompcie dla sędziego LLM. Ewaluacje te mogą klasyfikować ukończenie celu, kolejność użycia narzędzi lub jakość rozmowy.
Arize Phoenix podobnie łączy śledzenie, adnotacje, ewaluacje, zbiory danych i eksperymenty w otwartoźródłowym przepływie pracy śledzenia. Jego ewaluatory mogą oceniać ślady produkcyjne i przekształcać wybrane uruchomienia w zbiory danych do późniejszego testowania.
Różnica dotyczy głównie czasu i przepływu pracy. Ewaluatory zwykle reprezentują kryteria, które zespół definiuje, testuje i stosuje wielokrotnie. LangSmith AI Search jest skierowany do pytań pojawiających się podczas dochodzenia.
Rozważmy agenta wsparcia, który nagle otrzymuje więcej próśb o anulowanie. Ustrukturyzowany pulpit może pokazywać stabilne opóźnienia i niewiele jawnych błędów. Wyszukiwanie pełnotekstowe może znaleźć słowo „cancel”, ale nie przyczynę stojącą za tym zjawiskiem.
Menedżer produktu mógłby zamiast tego wyszukać użytkowników, którzy próbowali anulować usługę po otrzymaniu sprzecznych odpowiedzi. Opis ten łączy intencję, sekwencję i postrzeganą jakość.
Jeśli dopasowania okażą się użyteczne, zespół może je przejrzeć, dodać przykłady do zbioru danych i zbudować trwały ewaluator. Wyszukiwanie staje się eksploracyjnym front-endem dla bardziej formalnego procesu jakościowego.
Ten przepływ pracy wywiera presję na platformy obserwowalności, by łączyły odkrywanie z ewaluacją. Przechowywanie szczegółowych śladów nie wystarcza już, gdy klienci nie mogą odzyskać ukrytego w nich zachowania.
Zmienia to również krąg zespołów mogących korzystać z danych śledzenia. Menedżerowie produktu, recenzenci bezpieczeństwa i liderzy wsparcia mogą opisać problem bez uprzedniej nauki języka zapytań specyficznego dla danej platformy.
Techniczna warstwa zapytań nadal pozostaje konieczna. Język naturalny po prostu przybliża pierwszy krok dochodzenia do osób, które rozpoznają problem biznesowy.
Jak LangSmith AI Search odczytuje ślad bez czytania wszystkiego
LangSmith obniża koszt wyszukiwania, priorytetyzując dowody konwersacyjne, lecz ta kompresja decyduje o tym, które błędy pozostają widoczne.
Gdy użytkownik przesyła opis do AI Search, istniejące filtry najpierw zawężają zbiór kandydatów. SmithDB następnie przygotowuje trajektorie, podczas gdy model decyzyjny sprawdza je równolegle.
Dopasowania są strumieniowane do interfejsu, gdy system je identyfikuje. Użytkownicy nie muszą czekać na przetworzenie całego zbioru kandydatów.
Centralnym mechanizmem jest budżet kontekstu wynoszący 8 000 tokenów dla każdej trajektorii. LangSmith wypełnia ten budżet według ustalonej kolejności priorytetów, zamiast wysyłać każdy zarejestrowany token.
Najwyższy priorytet otrzymują wiadomości użytkowników i bezpośrednie odpowiedzi agenta. Pośrednie wiadomości modeli, wywołania narzędzi, wyniki narzędzi i komunikaty systemowe wypełniają pozostałą przestrzeń.
Jeśli kolejna wiadomość się nie mieści, LangSmith ją przycina. Późniejsza treść wypada poza widok modelu, gdy budżet zostanie wyczerpany.
Ten wybór sprawia, że wiele wyszukiwań konwersacyjnych staje się praktycznych. Frustracja, odmowa, dezorientacja, zamiar anulowania i niepoparte obietnice często pojawiają się w widocznym dialogu.
Tworzy też przewidywalny martwy punkt. Niektóre błędy istnieją wyłącznie w wynikach narzędzi lub pośrednich krokach wykonania.
Agent może napotkać błąd autoryzacji, zignorować go, a mimo to powiedzieć użytkownikowi, że zadanie zakończyło się powodzeniem. Widoczna odpowiedź zawiera fałszywe twierdzenie, ale rozstrzygający dowód znajduje się w wyniku narzędzia.
Model wyszukiwania może pominąć ten dowód, gdy wcześniejsza treść o wyższym priorytecie zużyje budżet tokenów. LangChain przyznaje, że to ograniczenie istnieje, i twierdzi, że bada wybór kontekstu zależny od zapytania.
Taki wybór zmieniałby kolejność dowodów zależnie od pytania. Zapytanie o ignorowane błędy narzędzi powinno priorytetyzować odpowiedzi narzędzi, natomiast zapytanie o nastawienie użytkownika powinno akcentować rozmowę.
Obecne wydanie stosuje zamiast tego jedną ogólną kolejność. Jest to zrozumiałe w przypadku bety, ale zespoły powinny traktować wynikający z tego zakres pokrycia jako zależny od zapytania.
Mechanizm ten wyjaśnia również, dlaczego LangSmith nie oparł się wyłącznie na wyszukiwaniu wektorowym. Wyszukiwanie wektorowe działa dobrze, gdy celem jest znalezienie materiału dotyczącego tematu.
Rozmowa o rozliczeniach prawdopodobnie znajdzie się blisko innych rozmów o rozliczeniach w przestrzeni embeddingów. Jednak udane i nieudane interakcje rozliczeniowe mogą pozostać semantycznie podobne.
Zapytania behawioralne wymagają oceny tego, co się wydarzyło. Model decyzyjny ocenia trajektorię względem jednej wąskiej tezy, na przykład tego, czy agent ukończył żądane zadanie.
Podejście oparte na modelu zwiększa ekspresyjność, lecz zastępuje jedną niepewność wyszukiwania inną. System zależy teraz od interpretacji niejednoznacznego języka przez model.
„Frustracja użytkownika” może obejmować bezpośrednie skargi, powtarzane pytania, sarkazm, nagłe odejścia lub uprzejme odrzucenie. Różni recenzenci mogą nie zgadzać się w przypadkach granicznych.
Oceny pewności pomagają uszeregować wyniki, ale nie ustanawiają prawdy obiektywnej. Wysoka ocena modelu nadal odzwierciedla definicję zachowania, dostępny kontekst i model sędziego.
Najsolidniejszy model operacyjny obejmuje zatem weryfikację przez człowieka. Zespoły mogą analizować wyróżnione dowody, korygować słabe dopasowania i dopracowywać opis, zanim uznają zestaw wyników za reprezentatywny.
W przypadku powtarzających się ryzyk mogą przekształcić zweryfikowane przypadki w zbiór danych ewaluacyjnych. Istniejące ewaluatory online LangSmith mogą następnie stosować zdefiniowane kryterium do przyszłych śladów.
Oddziela to eksplorację od monitorowania. AI Search pomaga zespołom odkryć wzorzec, a ewaluator konsekwentnie mierzy ten wzorzec po ustabilizowaniu jego definicji.
To rozdzielenie jest szczególnie istotne dla bezpieczeństwa i zgodności. Wyszukiwanie danych osobowych w języku naturalnym może ujawnić podejrzane ślady, ale nie powinno zastępować deterministycznych skanerów ani formalnych mechanizmów kontrolnych.
Ocena modelu może poszerzyć zakres dochodzenia. Nie powinna jednak stać się jedyną warstwą egzekwowania zasad w decyzjach o poważnych konsekwencjach.
Główną konkurencją jest zdefiniowana wcześniej ewaluacja
LangSmith podważa założenie, że zespoły muszą znać każdą istotną awarię, zanim ujawni ją ruch produkcyjny.
Przed wyszukiwaniem zachowań zespoły miały na ogół trzy sposoby lokalizowania problematycznych śladów. Mogły przeszukiwać tekst, filtrować znane atrybuty lub uruchamiać ewaluator dla wybranego ruchu.
Wyszukiwanie pełnotekstowe zapewnia szybkość i powtarzalność. Jest przydatne, gdy istotne dowody obejmują charakterystyczną frazę, identyfikator, komunikat błędu lub nazwę produktu.
Filtrowanie strukturalne jest jeszcze bardziej precyzyjne. Zespoły mogą wyodrębniać ślady z nieudanymi kodami statusu, długim opóźnieniem, kosztownymi wywołaniami modelu, określonymi narzędziami lub niskimi ocenami feedbacku.
Zdefiniowane wcześniej ewaluatory radzą sobie ze znaczeniem. Sędzia LLM może zdecydować, czy odpowiedź była pomocna, oparta na źródłach, bezpieczna lub kompletna, a następnie dołączyć wynik do każdego śladu.
Ścieżka ewaluatora jest skuteczna, gdy zespół już rozumie kategorię awarii. Staje się mniej wygodna podczas nieoczekiwanego incydentu.
Ktoś musi zdefiniować rubrykę, wybrać wymagane pola śladu, ustalić zasady próbkowania, przetestować ewaluator i zastosować go do ruchu historycznego lub przyszłego. Takie przygotowanie tworzy trwały pomiar, ale spowalnia otwarte dochodzenie.
LangSmith AI Search kondensuje tę pracę do opisu wprowadzanego w chwili zapytania. Oferuje szybszą drogę od podejrzenia do potencjalnych dowodów.
Funkcja nie eliminuje ewaluatorów. Tworzy etap odkrywania poprzedzający ich użycie.
Zespół może zauważyć wzrost eskalacji zgłoszeń do wsparcia, nie wiedząc dlaczego. Analityk mógłby wyszukać użytkowników, którzy ponowili prośbę po tym, jak agent zadeklarował jej rozwiązanie.
Recenzenci mogą odkryć, że agent regularnie interpretował zamknięcie konta jako anulowanie subskrypcji. Ten wzorzec może następnie stać się nazwanym ewaluatorem z przetestowaną rubryką.
Ta sekwencja jest najważniejszą częścią premiery. Łączy eksplorację jakościową, budowanie zbiorów danych, ewaluację i monitorowanie produkcyjne.
Wywiera też presję wykraczającą poza bezpośrednich konkurentów LangSmith. Wewnętrzne zespoły analityczne często eksportują ślady do hurtowni danych, notebooków lub niestandardowych systemów wyszukiwania, ponieważ pytania produktowe wykraczają poza panele obserwowalności.
Wyszukiwanie śladów behawioralnych mogłoby zatrzymać większą część tej analizy wewnątrz platformy obserwowalności. Zespoły produktowe i inżynieryjne pracowałyby na tym samym bazowym zapisie wykonania.
To podejście przypomina szersze przejście od wyszukiwania słów kluczowych do wspomaganego przez modele wyszukiwania w korporacyjnych systemach wiedzy. Oba rozwiązania próbują odnaleźć znaczenie, którego użytkownicy nie zapisali w metadanych.
Różnica polega na tym, że ślady agentów zawierają działania, a nie tylko dokumenty. Użyteczny wynik zależy od odtworzenia tego, co wydarzyło się między wiadomościami i narzędziami.
Dla zespołów inżynieryjnych oznacza to, że organizacja śladów staje się częścią infrastruktury jakości produktu. Ta sama zasada ma zastosowanie, gdy zespoły budują przeszukiwalną bazę wiedzy z rozproszonych zapisów technicznych.
Przewagę zdobędą systemy, które zachowują dowody, jednocześnie ograniczając tarcie podczas dochodzeń. Dostęp w języku naturalnym pomaga, ale możliwość weryfikacji ma równie duże znaczenie.
LangSmith wyróżnia dopasowane wiadomości w widoku trajektorii. Taka konstrukcja daje recenzentom ścieżkę od klasyfikacji modelu z powrotem do zarejestrowanej rozmowy.
Dokumentacja zaznacza jednak, że nie każde dopasowanie można wyróżnić. Powtarzający się tekst lub wiadomości nieobecne w widoku trajektorii mogą uniemożliwić lokalizację dowodów.
Wynik może więc zawierać ocenę pewności bez wyświetlania każdego stojącego za nim powodu. Zespoły powinny rozróżniać pewność modelu od audytowalnych dowodów.
Konkurenci mogą odpowiedzieć, czyniąc własne interfejsy ewaluatorów bardziej konwersacyjnymi. Mogą też udostępnić doraźnych sędziów, zapisane zapytania behawioralne lub automatyczne generowanie zbiorów danych.
Rywalizacja produktowa nie sprowadza się po prostu do tego, kto pierwszy zaoferuje wyszukiwanie w języku naturalnym. Chodzi o to, kto przekształci niepewne odkrycia w powtarzalne testy z najmniejszą liczbą luk.
Kontekst, prywatność i powtarzalność wyznaczają ograniczenia bety
Użyteczność funkcji zależy od tego, czy zespoły rozumieją, jakie dane wyklucza oraz jakie obowiązki w zakresie zarządzania dodaje.
Dokumentacja filtrów LangSmith wskazuje kilka ograniczeń produktu. Opisy AI Search nie mogą obecnie być zapisywane jako widoki ani zachowywane w kopiowanych linkach do stron.
Wyszukiwania nie pojawiają się też w historii ostatnich filtrów. Panel statystyk staje się niedostępny, gdy aktywne jest zapytanie AI Search.
Te ograniczenia wpływają na powtarzalność. Inżynier badający incydent nie może po prostu przesłać zapisanego zapytania behawioralnego innemu recenzentowi i oczekiwać identycznego przebiegu pracy.
Zespoły mogą zapisać sformułowanie gdzie indziej, ale dodaje to ręczny proces. Ma to również znaczenie, ponieważ niewielkie zmiany w sformułowaniu mogą wpływać na klasyfikacje modelu.
System stosuje limity szybkości na poziomie przestrzeni roboczej. LangChain nie publikuje progu w przywołanej dokumentacji, więc zespoły nie mogą jeszcze ocenić przydatności rozwiązania do częstych zautomatyzowanych dochodzeń.
Ważniejsze ograniczenia wynikają z samej trajektorii. AI Search odczytuje główną rozmowę agenta, ale nie treść wiadomości subagentów, middleware ani kompaktowania.
Wieluagentowy przepływ pracy może zatem ukryć decydujące zachowanie poza przeszukiwalną reprezentacją. Agent nadrzędny może zgłosić sukces, podczas gdy subagent rejestruje faktyczną awarię.
System nie potrafi też wywnioskować statusu uruchomienia, tagów, metadanych ani struktury śladu z opisu w języku naturalnym. Użytkownicy muszą stosować konwencjonalne filtry dla tych właściwości.
Ten podział powinien znaleźć się w zespołowych podręcznikach operacyjnych. Wyszukiwanie behawioralne obsługuje znaczenie wewnątrz trajektorii, a filtry strukturalne obsługują znane atrybuty operacyjne.
Prywatność stanowi odrębne ograniczenie. Włączenie AI Search pozwala na przesyłanie i przetwarzanie danych śladów w Stanach Zjednoczonych za pośrednictwem inferencji i podwykonawców zarządzanych przez LangChain.
Administrator organizacji włącza tę funkcję dla każdego członka. Nie jest wymagany osobny klucz dostawcy modelu.
LangChain wyraźnie stwierdza, że klienci nie powinni używać AI Search do chronionych informacji zdrowotnych. Funkcja nie jest objęta żadną umową Business Associate Agreement podpisaną przez organizację z LangChain.
To ostrzeżenie zasługuje na uwagę, ponieważ premiera wyróżnia wyszukiwania ujawnionych danych umożliwiających identyfikację osoby. Wyszukiwanie danych wrażliwych wymaga przesłania odpowiedniej treści śladu przez system klasyfikacyjny.
Organizacje muszą rozróżniać ogólny przegląd PII od przetwarzania regulowanych danych zdrowotnych. Muszą również potwierdzić wymogi dotyczące retencji, dostępu, rezydencji danych i podwykonawców przed włączeniem funkcji.
Szersze ryzyko obserwowalności pozostaje niezależnie od dostawcy. Bogate ślady mogą rejestrować prompty, odpowiedzi modeli, dane klientów, pobrane dokumenty i wyniki narzędzi.
Pełniejsza telemetria usprawnia debugowanie, jednocześnie zwiększając konsekwencje nadmiernego gromadzenia danych. Zespoły powinny minimalizować pola wrażliwe, zanim trafią one na jakąkolwiek platformę obserwowalności.
Powinny również testować fałszywie dodatnie i fałszywie ujemne wyniki na zweryfikowanych próbkach. Użyteczny benchmark bety obejmowałby znane incydenty behawioralne, trudne negatywne przypadki oraz przykłady z różnych frameworków agentowych.
Materiały publiczne nie podają precyzji, kompletności, rozkładów opóźnień ani niezależnych porównań z embeddingami i zdefiniowanymi wcześniej ewaluatorami. Opisują architekturę oraz wewnętrzną próbkę długości śladów.
Pozostawia to kupujących bez wspólnej miary jakości wyszukiwania. Funkcja zwracająca wiarygodne dopasowania może nadal pomijać rzadkie awarie, które mają największe znaczenie.
Właściwa interpretacja jest zatem ograniczona. LangSmith wprowadził obiecujący interfejs dochodzeniowy, a nie zweryfikowany zamiennik ewaluacji, skanowania bezpieczeństwa czy przeglądu przez człowieka.
Jego wartość będzie zależeć od tego, jak szybko użytkownicy mogą zweryfikować wynik, odtworzyć zapytanie i przekształcić odkrycie w trwały mechanizm kontroli jakości.
Co obserwować po becie LangSmith AI Search
Trzy sygnały pokażą, czy wyszukiwanie śladów behawioralnych stanie się kluczową infrastrukturą, czy pozostanie użytecznym skrótem w dochodzeniach.
Pierwszym sygnałem jest adaptacyjny wybór kontekstu. LangChain informuje, że bada metody wybierające dowody zgodnie z zapytaniem i wskazujące, kiedy model potrzebuje drugiego przebiegu.
Ta praca bezpośrednio odpowiada na limit 8 000 tokenów. Jeśli wyszukiwania skupione na narzędziach zaczną priorytetyzować wyniki narzędzi, system powinien wykrywać więcej błędów wykonania ukrytych poza dowodami konwersacyjnymi.
Bez adaptacyjnego wyboru użytkownicy będą potrzebować oddzielnych podejść dla różnych typów śladów. Wyszukiwania konwersacyjne mogą działać dobrze, podczas gdy wyszukiwania operacyjne będą zapewniać niespójne pokrycie.
Drugim sygnałem jest powtarzalność. Zapisane wyszukiwania, zapytania możliwe do udostępnienia, stabilne zestawy wyników i udokumentowane limity szybkości ułatwiłyby integrację AI Search z reakcją na incydenty.
Grupowanie podobnych dopasowań również pomogłoby zespołom wyjść poza pojedyncze ślady. LangChain deklaruje, że chce podsumowywać wspólne wzorce zamiast zwracać jedynie płaską listę.
Taka funkcja mogłaby przekształcić doraźne wyszukiwanie w przepływ pracy oparty na analizie produktu. Zespoły mogłyby identyfikować powtarzające się klastry awarii, analizować reprezentatywne ślady i tworzyć ukierunkowane ewaluatory.
Trzecim sygnałem jest reakcja konkurencji. Datadog, Arize i inni dostawcy obserwowalności już łączą śledzenie z ewaluacją opartą na modelach.
Jeśli dodadzą interaktywne odkrywanie zachowań, wyszukiwanie śladów w języku naturalnym stanie się oczekiwanym interfejsem. Konkurencja przesunie się wtedy w stronę jakości dowodów, zarządzania i integracji ze zbiorami danych.
Jeśli konkurenci podkreślą ocenianą precyzję i powtarzalne monitorowanie, LangSmith będzie musiał wykazać, że eksploracja przynosi mierzalne usprawnienia po wdrożeniu.
Użytkownicy powinni również obserwować publikowane benchmarki jakości wyszukiwania. Precyzja i kompletność w zakresie frustracji, nieukończonych zadań, niebezpiecznego ujawniania danych oraz ignorowanych błędów narzędzi zapewniłyby jaśniejszą podstawę do porównania.
Na razie zespoły oceniające LangSmith AI Search powinny zacząć od zweryfikowanego zestawu znanych śladów. Mogą przetestować kilka opisów, porównać zwrócone dopasowania i udokumentować, jakie dowody pomija model.
Następnie powinny wykorzystywać funkcję do odkrywania, a nie ostatecznego rozstrzygania. Należy ręcznie potwierdzać ustalenia o dużym wpływie i przenosić stabilne definicje zachowań do ewaluatorów lub deterministycznych mechanizmów kontrolnych.
Premiera ma znaczenie, ponieważ zmienia moment, w którym zespoły mogą zadawać pytania o zachowanie agentów. Nie muszą już przewidywać każdej awarii, zanim zbiorą ślady produkcyjne.
To istotny krok dla obserwowalności agentów. Trudniejszym testem będzie to, czy LangSmith AI Search zdoła uczynić te odkrycia powtarzalnymi, audytowalnymi i bezpiecznymi w rzeczywistych obciążeniach produkcyjnych.
