Amazon Bedrock AgentCore Evaluations: dlaczego sukces agenta wymaga więcej niż jednej oceny
AWS opublikował 10 listopada poradnik dotyczący oceny agentów, argumentując, że wykonanie zadania i jego bezpieczne wykonanie wymagają odrębnych pomiarów. Amazon Bedrock AgentCore Evaluations łączy w jednej usłudze ewaluatory stworzone przez AWS, DeepEval i AutoEval. Praktyczne pytanie brzmi: jakie zachowanie mierzy każdy ewaluator oraz czy jego dowody wspierają decyzję biznesową związaną z jego oceną.
Ewaluator to mechanizm punktacji, który sprawdza zachowanie agenta względem określonych kryteriów. Udana rozmowa z pomocą techniczną może mimo to zawierać nieuprawnione ujawnienie informacji. Odpowiedź badawcza może brzmieć przekonująco, jednocześnie pomijając wymagane porównanie. Takie niepowodzenia podważają założenie, że korzystna ocena ogólna oznacza gotowość agenta do wdrożenia produkcyjnego.
Presja spada na programistów i nabywców korporacyjnych, którzy muszą wyjaśnić, co faktycznie potwierdzają ich pulpity jakości. Wcześniejsze wskazówki Anthropic dotyczące oceny stanowią użyteczny punkt odniesienia: ocena agenta obejmuje analizę jego działań i wynikowego stanu, obok jego odpowiedzi. Poradnik AWS podejmuje ten sam podstawowy problem za pomocą zarządzanego katalogu ewaluatorów. Uruchamianie kontroli staje się łatwiejsze; ustalenie, co jest zachowaniem akceptowalnym, nadal pozostaje odpowiedzialnością produktu.
Amazon Bedrock AgentCore Evaluations stawia wyniki biznesowe ponad nazwy metryk
Listopadowa publikacja jest poradnikiem dotyczącym oceny, a nie premierą samego AgentCore. Jej wkład polega na konkretnym sposobie łączenia oczekiwań biznesowych z obserwowalnym zachowaniem agenta.
Poradnik AWS dotyczący oceny agentów zaleca rozpoczęcie od wyniku, wskazanie zachowań, które do niego prowadzą, oraz wybór ewaluatorów na odpowiednich poziomach. To ujęcie ma znaczenie, ponieważ atrakcyjne nazwy metryk mogą ukrywać rozbieżność między tym, co mierzą zespoły, a tym, czego potrzebują klienci.
Metryka staje się użyteczna, gdy jej wynik odpowiada na konkretne pytanie operacyjne.
Rozważmy przykładowe wdrożenie obsługi klienta. Firma chce, aby klienci mogli rozwiązywać kwalifikujące się wnioski o zwrot bez niepotrzebnej eskalacji. Uprzejma odpowiedź ma znaczenie, ale nie może potwierdzić, czy zwrot został zrealizowany. Podobnie zrealizowany zwrot nie może potwierdzić, czy agent ujawnił informacje innego klienta.
Te wyniki wymagają różnych dowodów. Rozmowa pokazuje, o co poprosił klient i co obiecał agent. Wyniki narzędzi pokazują, czy żądana operacja się powiodła. Wymagania polityki określają, które działania były dozwolone. Użyteczna ocena łączy te zapisy, zamiast traktować płynny język jako ich substytut.
Ten sam problem pojawia się w procesach badawczych. Agent może stworzyć czytelne podsumowanie rynku, pomijając wymagane porównanie źródeł. Wynik wygląda na ukończony, ponieważ zawiera wniosek. Zadanie bazowe pozostaje niekompletne, ponieważ użytkownik poprosił o coś bardziej szczegółowego.
Wywiera to presję na menedżerów produktu w takim samym stopniu jak na inżynierów. Jeśli kryteria akceptacji mówią jedynie „pomocna odpowiedź”, ewaluatory dziedziczą tę niejednoznaczność. Pulpit nie może rozstrzygnąć sporu, którego specyfikacja produktu nigdy nie uwzględniła.
Silniejsza specyfikacja wskazuje obserwowalne błędy. Rozróżnia brak odpowiedzi od nieprawidłowej odpowiedzi, niewłaściwe działanie od nieudanego działania oraz uzasadnioną odmowę od niepotrzebnego porzucenia zadania. Rozróżnienia te nadają stosowi ewaluatorów cel.
To również wyjaśnia, dlaczego maksymalizowanie liczby włączonych kontroli jest niewiarygodną miarą dojrzałości procesu oceny. Nakładające się metryki mogą zwiększać nakład pracy przy przeglądzie, nie pokrywając brakującego wymagania. Mały, przemyślany zestaw może dostarczać wyraźniejszych dowodów niż duży katalog wybrany na podstawie nazw.
Wartość informacyjna tej wiadomości leży w takim przesunięciu odpowiedzialności. AWS dostarcza więcej mechanizmów oceny w ramach istniejącej platformy. Zespoły nadal muszą ustalić, które wyniki powinny blokować wydanie, uruchamiać dochodzenie lub wskazywać późniejsze usprawnienie.
Dla nabywców wynikające z tego pytanie jest konkretne: gdy dostawca raportuje jakość agenta, jaki wynik klienta reprezentuje ten pomiar? Bez tego połączenia ocena opisuje test wyraźniej niż produkt.
Porównanie ewaluatorów AgentCore opiera się na kontroli i zakresie
Porównanie ewaluatorów AgentCore zaczyna się od kwestii własności. Wbudowane ewaluatory AWS wykorzystują zdefiniowane wcześniej modele i prompty, których klienci nie mogą bezpośrednio modyfikować. Zapewniają ustandaryzowany punkt wyjścia dla typowych zachowań, przy mniejszym nakładzie konfiguracji.
Zarządzana opcja zewnętrzna działa według podobnego modelu operacyjnego. AgentCore hostuje logikę ewaluatora i wybiera model. Klienci nie wybierają wersji zarządzanej biblioteki. AWS wyraźnie rozróżnia swoje porównywane z benchmarkami wbudowane ewaluatory od ewaluatorów zewnętrznych, których jakości nie rekomenduje.
Zgodnie z dokumentacją ewaluatorów zewnętrznych, DeepEval obejmuje zachowania takie jak ukończenie zadania, kompletność rozmowy, zachowanie wiedzy, użycie narzędzi i wyciek danych osobowych. AutoEval wnosi wyspecjalizowane kontrole o nazwach Security, Possible i Humor.
Istotny wybór dotyczy tego, jakie niepowodzenie wykrywa dana kontrola, a następnie kto kontroluje sposób jej działania.
ConversationCompleteness dotyczy tego, czy agent obsłużył żądania w całej rozmowie. KnowledgeRetention odnosi się do informacji przekazanych wcześniej. PIILeakage sprawdza, czy odpowiedź ujawnia dane osobowe. Etykiety te opisują odrębne kwestie; nie powinny stawać się wymiennymi wskaźnikami ogólnej niezawodności.
Kontrola Possible w AutoEval pyta, czy agent podejmuje próbę rozwiązania, czy uznaje zadanie za niemożliwe. Tworzy to istotne ograniczenie interpretacyjne. Próba może nadal być niebezpieczna, nieuprawniona lub nieskuteczna. Korzystny wynik w tym wymiarze nie może rozstrzygać tych odrębnych kwestii.
Podobnie Security ocenia złośliwe odpowiedzi. Jej obecność nie potwierdza, że cała aplikacja jest odporna na każdy atak. Aplikacja obejmuje także uprawnienia, narzędzia, usługi zewnętrzne i przechowywane dane wykraczające poza każdą ocenianą odpowiedź.
Dla zespołów potrzebujących kontroli nad modelem niestandardowe ewaluatory pochodne zachowują logikę podstawowego ewaluatora, używając jednocześnie inferencji wybranej przez klienta. AWS wskazuje, że baza odpowiada za instrukcje, skalę i poziom oceny. Osobno utworzony niestandardowy ewaluator oferuje inną ścieżkę definiowania wyspecjalizowanej rubryki.
To rozróżnienie zapobiega częstemu nieporozumieniu. Zmiana modelu sędziego i przepisanie kryteriów oceny są odrębnymi interwencjami. Każda z nich może zmienić wyniki, ale odpowiada na inne wymagania i tworzy inne obowiązki utrzymaniowe.
Wyobraźmy sobie asystenta zakupowego, który przestrzega polityki zatwierdzania organizacji. Standardowa kontrola użycia narzędzi może oceniać, czy wybrane narzędzie pasuje do żądania. Kontrola specyficzna dla firmy może oceniać, czy zakup wymagał zatwierdzenia przed wykonaniem. Żaden wynik nie zastępuje drugiego.
To porównanie ewaluatorów AgentCore ujawnia również problem ciągłości dla obecnych użytkowników DeepEval. Znajome nazwy metryk pomagają łączyć praktyki rozwoju i produkcji. Same w sobie nie potwierdzają jednak identycznych ocen w środowiskach lokalnych i zarządzanych.
Model sędziego, wersja biblioteki, dostępny kontekst i konfiguracja mogą wpływać na interpretację. Zespoły porównujące środowiska powinny traktować zgodność jako coś, co należy zmierzyć. Wspólna nazwa jest użytecznym organizacyjnym skrótem, lecz niewystarczającym dowodem, że istniejący próg można przenieść bez zmian.
Poziom dowodów określa, które niepowodzenia stają się widoczne
Ślad agenta to zapis wykonania zawierający interakcje modelu i działania. Sesja grupuje rozmowę w wielu turach. Wywołanie narzędzia rejestruje konkretną operację i jej argumenty. Poziomy te oferują różne widoki tego samego procesu.
Definicje promptów AWS rozróżniają dane wejściowe na poziomie sesji, śladu i narzędzia. Szablony promptów do oceny pokazują, że kontrole sesji otrzymują dowody obejmujące całą rozmowę, podczas gdy inne kontrole celują w określone odpowiedzi lub wywołania z odpowiednim kontekstem.
Wybranie niewłaściwego poziomu dowodów może sprawić, że poprawna ocena odpowie na niewłaściwe pytanie.
Trafna odpowiedź może spełniać wymagania najnowszej wiadomości, jednocześnie porzucając wcześniejsze żądanie. Odwrotnie, rozmowa może ostatecznie osiągnąć właściwy wynik po pośrednim błędzie narzędzia. Wynik sesji i wynik na poziomie działania opisują różne aspekty tej interakcji.
Rozważmy przykładowego asystenta podróży, którego poproszono o znalezienie planu podróży z uwzględnieniem wymagań dostępności podróżnego. Późniejsza odpowiedź może poprawnie odpowiedzieć na pytanie o bagaż. Sama ta odpowiedź nie potwierdza, czy proponowany plan nadal spełnia pierwotne ograniczenia.
Rozróżnienie to jest szczególnie istotne, gdy zespoły agregują wyniki. Uśrednianie jakości odpowiedzi w całej rozmowie może ukryć, czy osiągnięto ogólny cel. Rozmowa z konsekwentnie uprzejmymi odpowiedziami może nadal zakończyć się bez użytecznej rezerwacji.
Wybór narzędzia i argumenty narzędzia również wymagają odrębnej uwagi. Wybranie narzędzia do wyszukiwania zamówień różni się od podania właściwego identyfikatora konta. Rozsądny wybór narzędzia z nieprawidłowymi argumentami może prowadzić do niepowodzenia operacyjnego mimo poprawnego zachowania w rozmowie.
Umiejętności dodają kolejny wymóg dotyczący dowodów. Umiejętność to plik z instrukcjami wielokrotnego użytku, ładowany przez agenta dla zadania. Kontrole umiejętności AWS oceniają wybór i przestrzeganie instrukcji na poziomie wywołania narzędzia. Ocena stosowania instrukcji wymaga treści załadowanej umiejętności i późniejszego kontekstu sesji.
Brakujący wynik zasługuje zatem na zbadanie przed świętowaniem. Jeśli wymagane wywołanie lub treść instrukcji nigdy nie trafia do oceny, cisza nie może potwierdzać zgodności. Zespoły muszą rozróżniać oceniony sukces od nieocenionego działania.
Kontrole trajektorii wprowadzają kolejną perspektywę. Trajektoria to sekwencja działań narzędziowych podjętych podczas wykonania. AWS opisuje porównania dokładnej kolejności, kolejności zachowanej i dowolnej kolejności z oczekiwaną ścieżką. Kontrole te wymagają referencyjnej trajektorii, a nie tylko wiarygodnej odpowiedzi końcowej.
Firma musi zdecydować, które ograniczenia sekwencji są kluczowe. Wymaganie zatwierdzenia przed zakupem wyraża istotną zależność. Wymaganie arbitralnej kolejności niezależnych wyszukiwań może karać dopuszczalne alternatywy.
W tym miejscu podejście poradnika „najpierw wynik” staje się istotne. Oczekiwana ścieżka powinna kodować wymagania biznesowe, a nie jedynie odtwarzać trasę, którą programista przypadkowo zarejestrował jako pierwszą.
To samo rozumowanie dotyczy pracy z wiedzą. Zespoły budujące przeszukiwalną bazę wiedzy muszą rozróżniać wyszukanie dokumentu od pełnej, popartej dowodami odpowiedzi. Znalezienie istotnego pliku jest działaniem pośrednim. To, czy agent wykorzystał go właściwie, wymaga dodatkowych dowodów i innej oceny.
Tryby oceny AgentCore oddzielają dowody dla wydań od monitorowania na żywo
Tryby oceny AgentCore określają, kiedy dowody stają się dostępne i jak zespoły z nich korzystają. Ocena na żądanie przyjmuje zakresy sesji dostarczone przez wywołującego. Ocena online monitoruje próbkowaną aktywność produkcyjną. Ocena wsadowa przetwarza wiele sesji poprzez orkiestrację po stronie usługi.
Dokumentacja AWS dotycząca oceny wsadowej wskazuje ważną granicę: ocena na żądanie i wsadowa mogą przyjmować dane referencyjne, podczas gdy ocena online nie może. Dane referencyjne oznaczają dostarczony materiał odniesienia, taki jak oczekiwana odpowiedź lub asercje sukcesu.
Wynik monitorowania produkcyjnego i oparty na referencjach test wydania odpowiadają na różne pytania.
Stały zestaw testów regresyjnych, czyli testów wcześniej wspieranego zachowania, pozwala zespołom porównywać zmiany w kontrolowanych warunkach. Te same przypadki mogą ujawnić, czy zmiana promptu poprawia jeden wymóg, jednocześnie szkodząc innemu.
Monitorowanie na żywo ujawnia coś innego: co dzieje się, gdy rzeczywiści użytkownicy zgłaszają prośby, których autorzy testów nie przewidzieli. Jego wartość wynika z kontaktu z zachowaniem produkcyjnym, w tym z nieznanym językiem, zmieniającymi się procesami pracy i nieoczekiwanymi kombinacjami wymagań.
Żadne z nich nie zastępuje drugiego. Starannie przygotowany zbiór danych może stracić związek z bieżącym użyciem. Próbki produkcyjne mogą pomijać rzadkie awarie lub nie zawierać danych referencyjnych potrzebnych do jednoznacznej oceny.
Dla przykładowego agenta wsparcia zbiór danych dla wydania może zawierać znane scenariusze kwalifikowalności do zwrotu. Każdy przypadek obejmuje odpowiednią politykę i oczekiwany rezultat. Monitorowanie online analizuje następnie, jak wdrożony agent obsługuje rzeczywiste rozmowy, w których każdemu żądaniu nie towarzyszy przygotowana odpowiedź.
Pogorszenie wyników na żywo powinno skłonić do zbadania sprawy. Nie przesądza automatycznie, czy zmienił się model, żądania użytkowników stały się trudniejsze, czy zebrane dowody były niekompletne. Interpretacja sygnału wymaga sprawdzenia tych alternatyw.
Wyniki wsadowe również wymagają analizy poniżej poziomu średniej. AWS udostępnia podsumowania zbiorcze i szczegóły na poziomie sesji. Poprawa wyniku zbiorczego może współistnieć z poważną awarią w określonym procesie pracy, wzorcu językowym lub kategorii żądań.
Załóżmy, że po zmianie modelu agent lepiej obsługuje rutynowe żądania, ale staje się mniej niezawodny, gdy użytkownicy zmieniają wcześniejsze instrukcje. Ogólna średnia może się poprawić. To, czy takie wydanie jest akceptowalne, zależy od znaczenia i częstotliwości dotkniętego zachowania.
Wielowymiarowe niestandardowe ewaluatory rozwiązują powiązany problem raportowania. Zwracają oddzielne oceny dla nazwanych kryteriów z jednego wspólnego wywołania oceniającego. AWS dokumentuje, że te wymiary współdzielą model i poziom oceny.
Zaletą jest większa widoczność niezależnie zawodzących kryteriów. Rozwiązanie, zgodność z polityką i ton mogą pozostać odrębne, zamiast znikać w ramach połączonej oceny. Zespoły mogą następnie przypisać różne konsekwencje do każdego wyniku.
Ograniczeniem jest wspólne wykonanie. Nieudane wywołanie oceniające może wpłynąć na każdy wymiar, a kryteria wymagające innych dowodów lub modeli powinny być oceniane gdzie indziej. Konsolidowanie kontroli tworzy zatem kompromis projektowy, nawet gdy ogranicza wielokrotne odczytywanie tego samego kontekstu.
Dla liderów inżynierii konsekwencja ma charakter organizacyjny. Bramy wydań, alerty produkcyjne i analiza eksploracyjna powinny mieć jasno określone role. Nazywanie ich wszystkich „oceną” nie czyni ich dowodów jednakowo odpowiednimi dla każdej decyzji.
Zarządzane punktowanie pozostawia osąd, prywatność i koszty operacyjne po stronie zespołu
AgentCore potrzebuje treści rozmów, aby odtworzyć i ocenić zachowanie. Dokumentacja telemetrii AWS wskazuje prompty, uzupełnienia oraz wejścia i wyjścia narzędzi jako istotne dowody. Telemetria oznacza zapisy wykonania, które aplikacja eksportuje do monitorowania i analizy.
Tworzy to praktyczne napięcie. Informacje potrzebne do wykrycia ujawnienia mogą same zawierać wrażliwe dane. Zespoły oceniające agentów obsługujących prywatne dane muszą rozważyć, jak dowody oceny są zbierane, udostępniane, przechowywane i przeglądane.
Zarządzany ewaluator ogranicza pracę infrastrukturalną, nie zdejmując odpowiedzialności za dowody ani werdykt.
Redakcja danych ilustruje tę trudność. Usunięcie wrażliwych informacji może ograniczyć ekspozycję, ale może też usunąć kontekst potrzebny do oceny, czy doszło do ujawnienia. Właściwy projekt zależy od pytania, na które ewaluator ma odpowiedzieć.
Na przykład zamaskowany identyfikator konta może zachować wystarczającą strukturę, by sprawdzić, czy agent konsekwentnie użył wskazanego konta. Może jednak nie wystarczyć do ustalenia, czy odpowiedź ujawniła dane nieuprawnionej osoby. Ta różnica powinna kształtować projekt dowodów przed wdrożeniem.
Ocena oparta na modelu dodaje kolejne ograniczenie. LLM-as-a-judge wykorzystuje model językowy do oceny zachowania względem instrukcji. Jego wynik jest osądem modelu, a nie automatyczną gwarancją poprawności faktycznej lub operacyjnej.
Wskazówki Anthropic dotyczące oceny agentów opisują oceniające modele jako elastyczne, lecz niedeterministyczne, i podkreślają kalibrację z udziałem ludzkich recenzentów. Rozróżniają też transkrypty odpowiedzi od wynikowego stanu środowiska. Stanowi to użyteczną przeciwwagę dla interpretacji, według której zarządzane punktowanie eliminuje potrzebę weryfikacji.
Porównanie dotyczy akcentów, a nie zmierzonego pojedynku między dostawcami. Playbook AWS organizuje wybór i wykonanie ewaluatorów. Wskazówki Anthropic kładą nacisk na projektowanie oceny, kompromisy związane z oceniającymi modelami oraz sprawdzanie rezultatów. Żadne ze źródeł nie dowodzi, że jeden zarządzany wynik uniwersalnie przewiduje niezawodność agenta.
Kalibracja z udziałem ludzi jest szczególnie ważna, gdy recenzenci nie zgadzają się co do sukcesu. Sędzia nie może niezawodnie operacjonalizować polityki, którą jej właściciele interpretują odmiennie. Analiza rozbieżności może ujawnić niejasne instrukcje, niekompletne dowody lub rubrykę nagradzającą niewłaściwe zachowanie.
Koszt operacyjny zasługuje na taką samą precyzję. Większa liczba ewaluatorów, dłuższy kontekst, powtarzane wywołania i większe próbki mogą zwiększać nakład pracy potrzebny do oceny. Istotne pytanie biznesowe brzmi, czy każda dodatkowa kontrola zmienia decyzję lub wykrywa istotną awarię.
Wyspecjalizowany ewaluator, który identyfikuje kosztowne pominięcie, może uzasadniać swoje obciążenie operacyjne. Zbędny wynik, który zmienia się wraz z istniejącą metryką, może niewiele wnosić. Zespoły potrzebują dowodów na to rozróżnienie, zamiast zakładać szersze pokrycie na podstawie większej liczby ocen.
Ewaluatory pochodne wprowadzają dodatkową odpowiedzialność. Wybór modelu oceniającego daje zespołom kontrolę, ale jednocześnie czyni je odpowiedzialnymi za odpowiedniość modelu. Model, który dobrze sprawdza się jako asystent, nadal powinien zostać oceniony pod kątem konkretnego zadania oceniającego.
Oceny bezpieczeństwa wymagają podobnej ostrożności. Czysta próbka nie dowodzi uniwersalnej ochrony, a podejrzana odpowiedź zasługuje na dochodzenie wykraczające poza jej wynik. Uprawnienia i deterministyczne mechanizmy kontroli, czyli reguły egzekwowane bez osądu modelu, pozostają ważne dla działań o istotnych konsekwencjach.
Wiarygodną obietnicą Amazon Bedrock AgentCore Evaluations jest bardziej dostępny pomiar. Dostępne źródła nie ustanawiają niezależnych porównań dokładności dla każdego ewaluatora, obciążenia pracą i kategorii awarii. Nabywcy powinni zachować widoczność tej luki w weryfikacji podczas oceny deklaracji dotyczących wdrożenia.
Co obserwować dalej: zgodność, pokrycie i decyzje
Kolejna faza powinna być oceniana na podstawie dowodów operacyjnych, a nie wielkości katalogu. W nadchodzących miesiącach najbardziej użyteczne sygnały będą dotyczyć tego, czy wyniki ewaluatorów odpowiadają ludzkim osądom, obejmują rzeczywiste awarie i wpływają na decyzje dotyczące wydań.
Najmocniejsze dowody pokażą, które błędy wykryła ocena i co zespoły zmieniły w jej następstwie.
Pierwszym sygnałem jest zgodność z wykwalifikowanymi recenzentami w reprezentatywnych przypadkach. Opublikowane porównania powinny wyjaśniać zadanie, dostarczone dowody, kryteria oceny oraz sposób rozstrzygania rozbieżności. Zgodność w rutynowych przykładach jest mniej informacyjna, jeśli istotne przypadki brzegowe pozostają nieprzeanalizowane.
Wdrożenie wsparcia powinno na przykład odróżniać pominięte ujawnienia od błędnych flag ujawnienia. Błędy te niosą różne konsekwencje operacyjne. Raportowanie wyłącznie ogólnej zgodności może ukrywać rozróżnienie najważniejsze dla firmy.
Spójna zgodność we wszystkich istotnych przypadkach zwiększyłaby zaufanie do wybranego zestawu ewaluatorów. Utrzymujące się rozbieżności wskazywałyby na węższy zakres, zmienione kryteria, lepsze dowody lub innego sędziego. Każdy z tych wyników dostarcza bardziej użytecznej informacji niż niewyjaśniony wynik jakości.
Drugim sygnałem jest to, czy awarie produkcyjne stają się odtwarzalnymi przypadkami oceny. System monitorowania zasługuje na swoje miejsce, gdy zaobserwowane pominięcie lub błąd narzędzia może posłużyć do opracowania testu chroniącego przyszłe wydania.
Wymaga to czegoś więcej niż przechowywania rozmowy. Zespoły potrzebują wystarczającego kontekstu, aby zrozumieć oczekiwane zachowanie i odtworzyć odpowiednie warunki. W przeciwnym razie incydent staje się anegdotą, którą nadal trudno wykorzystać.
Dowody, że organizacje wielokrotnie przekształcają awarie na żywo w kontrole wydań, wspierałyby praktyczną wartość playbooka. Powracające incydenty, które nigdy nie zmieniają zestawu testów, osłabiałyby twierdzenie, że ciągłe punktowanie zwiększa niezawodność.
Trzecim sygnałem jest to, czy ocena zmienia konkretną decyzję wdrożeniową. Użyteczny raport wskazywałby regresję, wyjaśniał dotknięte zachowanie i opisywał wynikające z tego opóźnienie, wycofanie wdrożenia lub ukierunkowaną poprawkę.
Łączyłoby to pomiar z odpowiedzialnością. Ujawniłoby również, czy zespoły zachowują odrębne wymagania, gdy wydanie przynosi mieszane wyniki. Lepszy ton nie powinien automatycznie kompensować gorszego zachowania w zakresie prywatności.
Dla nabywców korporacyjnych sygnały te sugerują bardziej precyzyjną rozmowę zakupową. Poproś dostawców o pokazanie reprezentatywnego przypadku niepowodzenia, wyjaśnienie, dlaczego ewaluator go odrzucił, oraz wskazanie zmiany produktu, która nastąpiła później. Zapytaj, które ważne zachowania pozostają poza obecną oceną.
Dla deweloperów natychmiastowym działaniem jest przeanalizowanie niedawnej awarii, której nie wykrył panel kontrolny. Zidentyfikuj dowody potrzebne do jej rozpoznania, a następnie zdecyduj, czy pasuje istniejący ewaluator. Jeśli awaria wymaga dostarczonego odniesienia, zachowaj je w kontrolowanym teście. Jeśli zależy od kontekstu na żywo, ustal, w jaki sposób ten kontekst trafia do oceny. Użyj Amazon Bedrock AgentCore Evaluations, aby decyzje te były możliwe do skontrolowania, a następnie przeanalizuj rozbieżności z osobami odpowiedzialnymi za rezultat. Które niedopuszczalne zachowanie nadal przeszłoby Twoje obecne kontrole wydań?



