AWS Agent DLC wyznacza standard dla wdrożeń agentów
AWS wprowadził 12 listopada 2026 roku swój cykl rozwoju agentów, przedstawiając niewygodny przykład: doskonałej precyzji wyszukiwania towarzyszyło pytanie o politykę, które pozostało bez odpowiedzi. AWS Agent DLC łączy rozwój agentów i decyzje o wdrożeniu z jawnymi, zatwierdzonymi przez właścicieli kryteriami akceptacji. Kluczowe pytanie brzmi, czy wynik pozytywny mierzy zachowanie, które rzeczywiście ma znaczenie.
Ogłoszenie wywiera presję na zespoły przenoszące asystentów z demonstracji do procesów pracy pracowników. Przekonująca odpowiedź może dowieść, że system czasami działa. Nie może jednak ustalić, które prośby zasługują na automatyczną obsługę, które wymagają eskalacji ani czy wczorajsze ulepszenie nie zaszkodziło innemu zadaniu.
Porównanie dotyczy konwencjonalnej ciągłej integracji i ciągłego dostarczania, czyli CI/CD, które automatyzuje kontrole oprogramowania i jego dostarczanie. Te praktyki nadal są konieczne. Luka pojawia się wtedy, gdy pomyślne zbudowanie projektu staje się głównym dowodem akceptacji zmiennego zachowania agenta. Wcześniejsze badania skupione na ocenie oraz wskazówki inżynierskie Anthropic już odnoszą się do tej luki. AWS dodaje wokół decyzji ramy dostarczania: jakie dowody powinny upoważniać do wdrożenia tej wersji?
AWS Agent DLC czyni kryteria akceptacji punktem wyjścia
Cykl rozwoju agentów AWS porządkuje pracę w etapy Define, Build, Evaluate, Release, Observe i Feed Back. Jego złotym standardem jest zatwierdzony zestaw kryteriów, progów i przykładów.
Kluczowa zmiana polega na jawnym określeniu standardu akceptacji przed interpretacją najnowszego wyniku.
Brzmi to administracyjnie, dopóki zespół nie zacznie spierać się o odpowiedź. Inżynier może uznać ją za poprawną, ponieważ jej stwierdzenia są zgodne z wyszukanymi dokumentami. Właściciel biznesowy może ją odrzucić, ponieważ pomija wyjątek decydujący o kolejnym działaniu pracownika.
Oba osądy mogą wynikać z rozsądnych definicji jakości. Problem z wdrożeniem zaczyna się wtedy, gdy definicje te pozostają niewypowiedziane aż do demonstracji. Wtedy naprawianie systemu i renegocjowanie jego celu stają się działaniami nie do odróżnienia.
Jawny standard rozdziela te decyzje. Właściciel produktu wskazuje wymagany rezultat. Inżynierowie łączą go z obserwowalnym zachowaniem. Recenzenci mogą następnie ocenić kandydata względem uzgodnionego oczekiwania, a nie przykładu, który tego popołudnia przyciągnął uwagę.
Rozważmy hipotetycznego wewnętrznego asystenta wyjaśniającego polityki w miejscu pracy. Jego cel może brzmieć prosto: dokładnie odpowiadać na pytania pracowników. Sama dokładność nie rozstrzyga jednak, czy asystent powinien odpowiadać na niepełne pytania, wskazywać brakującą dokumentację czy kierować pracowników do upoważnionego recenzenta.
Te wybory kształtują zakres produktu. Asystent, który rozpoznaje nieobsługiwaną prośbę i odpowiednio eskaluje sprawę, może spełniać wymagania. Inny, który przekazuje płynne, lecz niepełne instrukcje, może zawieść, mimo że podczas demonstracji wydaje się bardziej pomocny.
Dlatego ogłoszenie ma znaczenie wykraczające poza nazwę cyklu życia. Wprowadza akceptację biznesową do rozmowy inżynierskiej, zanim presja wdrożeniowa uczyni wyjątki kuszącymi. Standard staje się wspólnym artefaktem, który można kwestionować i poprawiać.
Zmienia też pytania, które nabywcy powinni zadawać podczas procesu zakupowego. Demonstracja odpowiada na pytanie, czy dostawca potrafi uzyskać atrakcyjny rezultat. Dowody akceptacji odpowiadają na pytanie, jakie zachowanie dostawca przetestował, w jakich warunkach i według czyjej definicji sukcesu.
W przypadku AWS Agent DLC użyteczne pytanie jest zatem węższe niż to, czy ramy ogólnie ulepszają agentów. Chodzi o to, czy zespoły mogą podejmować decyzje wdrożeniowe w sposób bardziej możliwy do prześledzenia. Recenzent powinien móc połączyć zatwierdzoną funkcję z jej wymaganiami i dowodami ją wspierającymi.
To rozróżnienie zapobiega przekształceniu ram w kolejny diagram procesu. Bez konkretnych przykładów i rozliczalnego zatwierdzenia etapy opisują działania, nie rozstrzygając sporów. Ich wartość zależy od tego, czy zmieniają dowody wymagane przez ludzi przed zaakceptowaniem agenta.
Trzy właściwości agentów podważają zaufanie do pomyślnego buildu
AWS wskazuje trzy komplikacje: zmienne wyniki, zmiany zachowania wynikające z edycji konfiguracji oraz zewnętrzne zależności zmieniające się niezależnie. Każda z nich osłabia inne założenie stojące za zwykłą pewnością wdrożenia.
Repozytorium może pozostać niezmienione, podczas gdy zachowanie doświadczane przez użytkowników się zmienia.
Pierwszą komplikacją jest zmienność. Agent może wybrać inne sformułowania lub działania po otrzymaniu tej samej prośby. Udana demonstracja przedstawia więc zaobserwowany rezultat, a nie gwarancję dotyczącą kolejnej interakcji.
Praktyczna presja spada na osobę odpowiedzialną za doświadczenie użytkownika. Jeśli pracownik jutro otrzyma niepełną odpowiedź, fakt, że wczorajszy test się powiódł, niewiele pomaga w diagnozie. Zespół potrzebuje dowodów na temat powtarzającego się zachowania i okoliczności związanych z porażką.
Druga komplikacja dotyczy tego, co należy uznać za istotną zmianę. Prompt, zawierający instrukcje przekazywane modelowi, może wyglądać niegroźnie w porównaniu tekstowym. Jego efekt zależy od kontekstu prośby, dostępnych informacji i możliwych działań.
Na przykład polecenie hipotetycznemu asystentowi, by był bardziej zwięzły, może usunąć powtórzenia. Może też usunąć zastrzeżenie, które zapobiega zastosowaniu przez pracowników niewłaściwej polityki. Samo przeanalizowanie sformułowania nie rozstrzyga, który efekt przeważa.
To samo rozumowanie dotyczy wyszukiwania, czyli procesu wybierania informacji do odpowiedzi. Zmiana konfiguracji może zwrócić fragmenty wyglądające na lepiej dobrane, jednocześnie wykluczając konieczny wyjątek. Implementacja może wydawać się prostsza, nawet gdy obsługiwane zadanie staje się mniej niezawodne.
Trzecia komplikacja przenosi odpowiedzialność poza najnowszą zmianę w kodzie. Podłączone źródło informacji może zmienić swoją zawartość. Zewnętrzna usługa może zmienić swoje zachowanie. Punkt końcowy modelu może otrzymać aktualizację poza repozytorium zespołu aplikacyjnego.
Możliwości te komplikują przypisanie odpowiedzialności za incydenty. Gdy zachowanie zmienia się bez wdrożenia, zespół nie może zakładać, że jego aplikacja pozostała funkcjonalnie identyczna. Środowisko operacyjne powinno należeć do wyjaśnienia tego, co się wydarzyło.
Nie czyni to konwencjonalnych kontroli oprogramowania przestarzałymi. Logika uwierzytelniania, walidacja żądań i kod aplikacji nadal wymagają zwykłej dyscypliny inżynierskiej. Wniosek jest taki, że kontrole te obejmują inne pytania niż to, czy agent w akceptowalny sposób obsługuje prośbę biznesową.
Dla menedżerów inżynierii natychmiastową konsekwencją jest szersza odpowiedzialność za wdrożenia. Ktoś musi odpowiadać za zachowanie między wdrożeniami, w tym za błędy pojawiające się bez odpowiadającego im commita. W przeciwnym razie organizacja ma potok dostarczania, lecz nie ma jasnego właściciela bieżącej akceptacji.
Dla właścicieli biznesowych presja jest równie konkretna. Nie mogą całkowicie delegować znaczenia akceptowalnego zachowania do wyniku modelu. Muszą określić, które pominięcia mają znaczenie i które błędy wymagają eskalacji, nawet jeśli inżynierowie obsługują infrastrukturę oceny.
Wynikający z tego podział pracy jest wymagający, ale zrozumiały. Inżynierowie zapewniają wiarygodny pomiar i badanie problemów. Właściciele dziedzin definiują rezultat. Uprawnienie do wdrożenia zależy od połączenia tych odpowiedzialności, a nie od traktowania zielonego buildu jako ich substytutu.
Idealna precyzja ukryła pytanie bez odpowiedzi
Referencyjny eksperyment HR AWS wykorzystał trzy pytania. Wszystkie uzyskały precyzję na poziomie fragmentów równą 1,00, czyli miarę tego, czy wyszukane fragmenty były ogólnie istotne. Jednak pokrycie wyszukiwania dotyczącego zwolnienia chorobowego wyniosło 0,00, co oznacza, że wyszukany materiał nie odpowiadał na pytanie.
Istotny materiał i wystarczające dowody to różne warunki wdrożenia.
To rozróżnienie wyjaśnia, dlaczego atrakcyjny wynik zbiorczy może wprowadzać w błąd. Fragment może dotyczyć urlopu pracowniczego, lecz nie zawierać reguły potrzebnej do obsługi konkretnej prośby. Podobieństwo tematyczne ustanawia związek, lecz pracownik potrzebuje odpowiedzi umożliwiającej działanie.
Błędem analitycznym byłoby uznanie metryki za wadliwą tylko dlatego, że nie odpowiedziała na inne pytanie. Precyzja opisuje jedną właściwość wybranego materiału. Pokrycie pyta, czy materiał ten dostarcza informacji wymaganych przez prośbę.
Próbka oceny HR rozróżnia istotność fragmentu od istotności faktu i pokrycia pytania. Jej znaczenie ma charakter diagnostyczny: różne pomiary wskazują różne obszary wymagające zbadania.
W tym przypadku w zbiorze brakowało dedykowanej polityki dotyczącej zwolnień chorobowych. Zmiana promptu pomogła w przykładzie oceny wyników pracy, jednocześnie pogarszając wynik dotyczący zwolnienia chorobowego. Silniejsze instrukcje nie mogły dostarczyć brakujących informacji o polityce.
Dla zespołu pracującego pod presją terminu jest to istotne ustalenie. Kolejna runda zmian sformułowań może pochłonąć czas bez rozwiązania problemu brakującego źródła. Porażka częściowo wynika z dostępnych informacji, a nie wyłącznie z generatora odpowiedzi.
Przykład ujawnia również granicę odpowiedzialności. Inżynierowie mogą dostosować sposób wyszukiwania lub odpowiadania przez asystenta. Nie mogą samodzielnie ustanowić brakującej polityki organizacji. Użyteczna diagnoza musi dotrzeć do osoby upoważnionej do dostarczenia lub zatwierdzenia tej informacji.
Oddzielna odpowiedź dotycząca świadczeń uzyskała 0,90 za ugruntowanie, mierzące oparcie w wyszukanym materiale, a mimo to wymyśliła osobistą preferencję kontaktu. Korzystny wynik jakości współistniał więc z fałszywym stwierdzeniem na temat użytkownika.
Problem wykracza poza pytanie, czy otaczające wyjaśnienie polityki było w większości poprawne. Osobiste twierdzenie zachęca użytkownika do przekonania, że asystent posiada wiedzę o nim. To przekonanie może wpływać na zaufanie, nawet gdy wymyślony szczegół wydaje się błahy.
Wyniki te przemawiają za utrzymaniem widoczności odrębnych pytań. Czy źródło obejmuje prośbę? Czy odpowiedź wynika ze źródła? Czy formułuje niepoparte założenia na temat osoby? Pojedyncza etykieta jakości nie może jasno przekazać tych rozróżnień.
Eksperyment pozostaje niewielkim ćwiczeniem referencyjnym, a nie benchmarkiem klientów ani dowodem ogólnej poprawy. Jego największym wkładem jest kontrast między uspokajającą metryką a leżącą u jej podstaw porażką.
To ograniczenie ma znaczenie dla interpretacji AWS Agent DLC. Przykład wspiera potrzebę lepszej diagnozy. Nie dowodzi, że przyjęcie tych ram przynosi przewidywalną poprawę w różnych organizacjach, dziedzinach lub modelach.
Dla asystentów opartych na wiedzy praktyczny wniosek jest taki, że pokrycie informacji powinno należeć do akceptacji produktu. Przeszukiwalna baza wiedzy pomaga organizować materiały techniczne, ale sama organizacja nie może ustalić, że każde obsługiwane pytanie ma zatwierdzoną odpowiedź.
To samo rozróżnienie powinno kształtować demonstracje. Pokazanie, że asystent znalazł istotny dokument, potwierdza użyteczną możliwość. Pokazanie, że dokument zawiera wymaganą regułę, potwierdza coś innego. Nabywcy potrzebują obu rodzajów dowodów, zanim ocenią wynikającą z nich odpowiedź.
Dwie pętle rozdzielają naprawy agentów od zmieniających się wymagań
Framework rozróżnia pętlę wewnętrzną, która ulepsza kandydata względem stałych kryteriów, od pętli zewnętrznej, która koryguje te kryteria na podstawie dowodów. Ich rozdzielenie zachowuje sens doskonalenia.
Lepszy agent i zmieniona definicja sukcesu wymagają różnych wyjaśnień.
Załóżmy, że hipotetyczny asystent nie spełnia już zatwierdzonego wymagania. Oczekiwane zachowanie jest jasne, a implementacja nie dorasta do niego. Pytanie inżynieryjne dotyczy sposobu skorygowania tego zachowania przy zachowaniu funkcji, które już działają.
Załóżmy teraz, że użytkownicy zgłaszają potrzebę, której produkt nigdy nie obsługiwał. Zespół nie może konsekwentnie ocenić sukcesu, dopóki właściciel nie określi granicy. Natychmiastowa edycja promptu grozi umieszczeniem improwizowanej decyzji produktowej wewnątrz zmiany inżynieryjnej.
Sytuacje te mogą dawać podobne symptomy. Obie mogą wyglądać jak niezadowalająca odpowiedź. Ich przyczyny są jednak różne, a ta różnica określa, kto powinien działać. Naprawa implementacji należy do inżynierów; nierozstrzygnięte wymaganie wymaga odpowiedzialnej decyzji biznesowej.
Utrzymanie stałego standardu podczas porównania chroni również interpretację. Jeśli zespół jednocześnie zmienia kandydata i oczekiwane zachowanie, wyższy wynik staje się niejednoznaczny. Recenzenci nie mogą stwierdzić, czy system się poprawił, czy test stał się łatwiejszy.
Z kolei rozszerzenie zakresu może obniżyć wynik bez pogorszenia agenta. Nowe przykłady mogą ujawnić wcześniej niemierzone słabości. Taki rezultat powinien wpływać na granicę wydania, zamiast automatycznie być uznawany za regresję inżynieryjną, czyli utratę wcześniej wspieranego zachowania.
To rozróżnienie ma precedensy. Badanie Bominga Xii i współpracowników dotyczące rozwoju opartego na ewaluacji opisuje ewaluację jako ciągłą funkcję obejmującą rozwój i eksploatację. Jego model procesu łączy ocenę offline z dowodami środowiska wykonawczego i zarządzanym ponownym rozwojem.
Badanie to dostarcza kontekstu dla ogłoszenia AWS, nie stanowi jednak niezależnej walidacji tej implementacji. Wspólny kierunek zakłada, że ewaluacja powinna wpływać na bieżące decyzje rozwojowe. Konkretna skuteczność każdego procesu dostarczania nadal wymaga dowodów z jego użycia.
Wskazówki Anthropic dotyczące ewaluacji agentów podobnie łączą automatyczną ocenę, monitorowanie produkcyjne i ocenę człowieka. Rozróżniają testy możliwości od testów regresji oraz omawiają oceniających opartych na kodzie, modelach i ludziach.
Kontekst konkurencyjny to zatem zbieżność wokół dyscypliny ewaluacyjnej, a nie prosty wyścig między niekompatybilnymi frameworkami. Dostawcy coraz częściej muszą wyjaśniać, jak zespoły mierzą zachowanie i badają awarie. Udostępnienie wydajnego modelu pozostawia te pytania bez odpowiedzi.
Użyteczne porównanie powinno skupiać się na konsekwencjach dla przepływu pracy. Czy organizacja może zachować swoje przykłady akceptacyjne, gdy zmienia modele? Czy recenzenci mogą zrozumieć wynik bez całkowitego polegania na panelu dostawcy? Czy właściciel biznesowy może zakwestionować automatyczny osąd?
Te pytania wpływają również na elastyczność zakupową. Jeśli wymagania istnieją wyłącznie jako nieformalne oczekiwania, zmiana platformy na nowo rozpoczyna dyskusję o jakości. Jawne, przenośne przykłady dają nabywcy trwalszą podstawę do porównań.
AWS Agent DLC jest najbardziej użyteczny, gdy pętle zachowują tę odpowiedzialność. Naprawa agenta nie powinna po cichu redefiniować jego obowiązków. Zmiana jego obowiązków powinna skutkować widoczną decyzją, którą recenzenci mogą odróżnić od postępu implementacyjnego.
Standard wydania nadal zależy od ludzkiego osądu
Nazwany cykl życia nie może rozstrzygnąć każdej różnicy zdań dotyczącej akceptowalnego zachowania. Sam standard może zawierać pominięcia, nierealistyczne progi lub przykłady, które błędnie przedstawiają rzeczywistą pracę.
Formalna ewaluacja czyni osąd możliwym do skontrolowania; nie eliminuje potrzeby jego stosowania.
To jest główna sceptyczna perspektywa. Organizacja może wdrożyć każdy etap, a mimo to zatwierdzić niewłaściwy zakres. Proces staje się uspokajającą biurokracją, jeśli nikt nie sprawdza, czy jego przykłady reprezentują decyzje, przed którymi rzeczywiście stają użytkownicy.
Wąska ewaluacja może nadmiernie reprezentować proste zapytania. Hipotetyczny asystent w miejscu pracy może wyglądać na niezawodnego w przypadku bezpośrednich pytań o zasady, a jednocześnie mieć trudności ze sprzecznymi dokumentami lub niejasną sytuacją pracownika. Dobre wyniki w wąskim zestawie nie rozstrzygają tych szerszych przypadków.
Automatyczni ewaluatorzy wprowadzają kolejną zależność. Sędzia modelowy, który używa modelu do oceny odpowiedzi, może nie zgadzać się z ludzkim recenzentem. Jego pozorna precyzja nie powinna przesłaniać faktu, że jego osąd również wymaga zbadania.
Wskazówki Anthropic wprost omawiają kalibrację względem ludzkich oceniających. To porównanie ma znaczenie, ponieważ ewaluator może konsekwentnie nagradzać zachowanie, którego użytkownicy nie lubią. Stabilna punktacja jest użyteczna tylko wtedy, gdy wynik odzwierciedla zamierzone wymaganie.
Fałszywa osobista preferencja w przykładzie AWS pokazuje trudność. Odpowiedź może opierać się na dostępnym tekście, a jednocześnie formułować nieuzasadniony wniosek dotyczący użytkownika. Sama ocena oparcia w źródłach pozostawia relację między informacją ogólną a osobistymi twierdzeniami niewystarczająco przetestowaną.
Ludzka władza decyzyjna dotycząca wydania pozostaje więc merytoryczna. Ktoś musi przyjąć odpowiedzialność za wspierany zakres i nierozwiązane słabości. Automatyczny wynik może tę decyzję wspierać, ale nie może samodzielnie zdecydować, które konsekwencje biznesowe są akceptowalne.
Twarde ograniczenia również wymagają odrębnego traktowania. Niedopuszczalne ujawnienie nie może stać się akceptowalne dlatego, że odpowiedź jest użyteczna, szybka lub niedroga. Łączenie niepowiązanych wymiarów w korzystną średnią ukryłoby granicę, którą organizacja zamierzała egzekwować.
Występuje tu napięcie komercyjne. Zespoły chcą, aby ewaluacja przyspieszała dostarczanie, lecz wiarygodna ewaluacja ujawnia powody do ograniczenia wydania. Proces, który nigdy nie zmienia zakresu ani nie blokuje kandydata, dostarcza niewielu dowodów, że jego autorytet jest realny.
Infrastruktura pomaga badaczom analizować te decyzje. Dokumentacja AWS dotycząca obserwowalności agentów opisuje inspekcję ścieżki wykonania i telemetrię operacyjną, w tym opóźnienia, zużycie tokenów i błędy. Obserwowalność oznacza uwidacznianie wewnętrznego zachowania systemu.
Te zapisy mogą pomóc wyjaśnić, gdzie wystąpiła awaria. Nie ustalają jednak, czy leżąca u podstaw reguła biznesowa była właściwa. Widoczna ścieżka wykonania i zatwierdzony wynik pozostają uzupełniającymi się formami dowodów.
Koszt stanowi kolejny nierozstrzygnięty kompromis. Ewaluacja pochłania uwagę inżynierów, zasoby obliczeniowe i wiedzę dziedzinową. Istotne pytanie brzmi, czy prowadzi ona do decyzji wartych tego wysiłku, w tym do jaśniejszej diagnozy i odpowiednio ograniczonych wydań.
Ogłoszenie nie rozstrzyga tej równowagi dla każdego zespołu. Organizacje powinny oceniać proces przez pryzmat jego rzeczywistych decyzji. Użyteczne dowody obejmowałyby awarie wykryte przed wydaniem, skrócone dochodzenia oraz wymagania doprecyzowane, zanim pracownicy polegali na niewspieranym zachowaniu.
Co potwierdzi wartość frameworka w produkcji
W ciągu najbliższych kilku miesięcy warto obserwować trzy sygnały: szerszą replikację, decyzje uporządkowane według typu zadania oraz udokumentowane zmiany kryteriów akceptacji. Każdy z nich testuje inną część obietnicy frameworka.
Wartość produkcyjna będzie zależeć od decyzji zmienionych przez dowody, a nie od liczby przeprowadzonych ewaluacji.
Po pierwsze, warto obserwować wyniki wykraczające poza niewielki przykład HR. Większe i bardziej zróżnicowane ewaluacje wyjaśniłyby, czy rozróżnienia diagnostyczne pozostają użyteczne w różnych domenach. Raporty powinny wyjaśniać testowany zakres i odróżniać eksperymenty referencyjne od wyników działania klientów.
Dowody na to, że zespoły wielokrotnie identyfikowały brakujące informacje lub izolowały szkodliwą zmianę, wzmocniłyby tę tezę. Wyniki ograniczone do korzystnych średnich pozostawiłyby główną wątpliwość nierozwiązaną. Pytanie brzmi, czy pomiar zmienia sposób prowadzenia dochodzenia.
Po drugie, warto obserwować decyzje wydawnicze, które zachowują różnice między zadaniami. Asystent może obsługiwać niektóre prośby, a inne kierować do człowieka. Publiczne opisy tych granic byłyby bardziej informacyjne niż pojedyncze twierdzenie o gotowości produkcyjnej.
Ten sygnał ma znaczenie, ponieważ cykl życia zyskuje wiarygodność, gdy ogranicza dostarczanie. Raport pokazujący, dlaczego zespół wstrzymał daną funkcję, ujawniłby, jak dowody akceptacyjne wpłynęły na władzę decyzyjną. Raport opisujący wyłącznie udane wdrożenie ujawniłby mniej.
Po trzecie, warto obserwować udokumentowane rewizje standardu po rzeczywistym użyciu. Nieoczekiwane prośby powinny czasami zmieniać przykłady lub granice, względem których oceniany jest produkt. Zmiany te wymagają wyjaśnień odróżniających rozszerzony zakres od pogarszającego się zachowania.
Jasne zapisy wzmocniłyby zaufanie, że informacje zwrotne docierają do decyzji produktowych. Wielokrotne przepisywanie promptów bez rozwiązania brakujących wymagań osłabiłoby je. To rozróżnienie określa, czy organizacja uczy się na awariach, czy tylko zmienia sposób formułowania odpowiedzi przez asystenta.
Są to sygnały obserwacyjne, a nie prognozy ogłoszonych wydań. AWS przedstawił framework i ilustracyjny eksperyment. Jego szersza wartość produkcyjna pozostaje pytaniem empirycznym dla zespołów, które go wdrożą.
Dla deweloperów bezpośrednia implikacja to uczynienie dowodów zrozumiałymi dla osoby zatwierdzającej wydanie. Dla nabywców korporacyjnych oznacza to pytanie, które prośby dowody faktycznie obejmują. Dla pracowników chodzi o to, czy asystent rozpoznaje granice swojej wiedzy.
Przed zatwierdzeniem kolejnej demonstracji agenta wybierz rzeczywistą prośbę, której niepowodzenie zmieniłoby czyjeś następne działanie. Zapytaj, jakie zatwierdzone informacje wspierają odpowiedź i co system powinien zrobić, gdy tych informacji brakuje. Następnie zapytaj, czy najnowsza zmiana poprawiła to zachowanie bez szkody dla innego wspieranego zadania. AWS Agent DLC zapewnia strukturę dla tych pytań, lecz odpowiedzi muszą wynikać z własnych dowodów. Przejrzyj przykłady akceptacyjne z osobami odpowiedzialnymi za podstawową pracę. Ustal, kto może zatwierdzić wydanie, kto może zmieniać wymagania i kto bada awarie po uruchomieniu. Czy ta grupa potrafi wyjaśnić, dlaczego obecna wersja zasługuje na zaufanie w deklarowanym zakresie?



