Autonomiczne agenty AI potrzebują nowego modelu zarządzania

Google News wyświetliło nagłówek SiliconANGLE z bezpośrednim ostrzeżeniem: autonomiczne podmioty AI potrzebują zasad zarządzania zaprojektowanych dla oprogramowania zdolnego podejmować działania o istotnych konsekwencjach.

To rozróżnienie ma znaczenie, ponieważ agent AI robi więcej niż tylko generuje odpowiedź. Może pobierać pliki, wywoływać narzędzia, wykonywać kod, aktualizować rekordy i komunikować się z innymi systemami. Te możliwości mogą przekształcić niewiarygodny wynik w potencjalnie nieautoryzowane działanie.

Nagłówek oddaje konflikt, przed którym stoją dziś liderzy technologiczni w przedsiębiorstwach. Firmy chcą agentów działających przy mniejszym nadzorze, ale wiele mechanizmów bezpieczeństwa nadal zakłada, że każde ważne działanie inicjuje człowiek.

Regulatorzy, organizacje normalizacyjne i dostawcy rozwiązań bezpieczeństwa zaczęli wypełniać tę lukę. Ich wyłaniająca się odpowiedź łączy unikalne tożsamości agentów, ograniczone uprawnienia, ciągłe monitorowanie, punkty wymagające zgody człowieka oraz mechanizmy odzyskiwania kontroli.

Głównym problemem nie jest już to, czy model tworzy nieprecyzyjne zdanie. Chodzi o to, czy organizacja potrafi zidentyfikować, powstrzymać, wyjaśnić i odwrócić działania agenta, zanim błąd się rozprzestrzeni.

Nagłówek w Google News wskazuje na szerszą zmianę w zarządzaniu

Zarządzanie AI przechodzi od nadzorowania wyników modeli do kontrolowania podmiotów programowych posiadających tożsamości, uprawnienia, narzędzia i obowiązki operacyjne.

Tradycyjne zarządzanie generatywną AI koncentrowało się w dużej mierze na danych treningowych, szkodliwych treściach, ocenie modeli i trafności generowanych odpowiedzi. Te kwestie nadal są ważne, ale autonomiczne agenty wprowadzają inny problem operacyjny.

Agent AI może realizować cel poprzez sekwencję decyzji. Może wybierać narzędzia, odczytywać zmieniające się informacje, modyfikować plan i inicjować działania bez proszenia o zgodę na każdym etapie.

Takie zachowanie tworzy dłuższy łańcuch między pierwotną instrukcją użytkownika a ostatecznym rezultatem. Każdy dodatkowy etap wprowadza kolejne miejsce, w którym intencja, kontekst lub uprawnienia mogą ulec zmianie.

Wyobraźmy sobie pracownika proszącego agenta o przygotowanie dokumentów dotyczących odnowienia umów z klientami. Chatbot mógłby przygotować tekst i czekać. Autonomiczny agent mógłby pobrać dane kont, wybrać szablony, zmodyfikować umowę i wysłać pakiet.

Takie działania obejmują kilka systemów i wiele granic uprawnień. Nieprecyzyjna instrukcja lub zatruty dokument mogą wpłynąć na cały ciąg działań.

Pozycja w Google News jest więc czymś więcej niż kolejnym ostrzeżeniem przed niedokładną AI. Odzwierciedla strukturalną zmianę w sposobie działania oprogramowania wewnątrz organizacji.

Usługi programowe od dawna wykorzystują tożsamości maszynowe. Jednak takie usługi zwykle wykonują przewidywalne funkcje w wąskich granicach technicznych.

Agent AI może interpretować niejednoznaczne cele i wybierać spośród kilku możliwych działań. Jego zachowanie zależy od promptów, pobieranych danych, pamięci, wyników modelu, dostępnych narzędzi i zmiennych warunków środowiskowych.

To sprawia, że agent nie jest ani zwykłym pracownikiem, ani konwencjonalną usługą programową. Przedsiębiorstwa nadal muszą przypisać mu właściciela, określić jego uprawnienia i zachować dowody jego aktywności.

Ta odpowiedzialność nie może pozostać domyślna. Jeśli wiele zespołów wdraża agentów za pośrednictwem różnych platform, liderzy bezpieczeństwa potrzebują pełnego inwentarza pokazującego, gdzie działają te agenty i do czego mogą uzyskać dostęp.

AppViewX zilustrował tę wyłaniającą się kategorię produktów, gdy wprowadził platformę tożsamości agentów. Firma twierdzi, że jej system wykrywa agenty, mapuje ich uprawnienia i monitoruje ich zachowanie.

Produkt został udostępniony jako prywatna wersja testowa dla kwalifikujących się przedsiębiorstw. Jego deklaracje nadal wymagają weryfikacji w rzeczywistych wdrożeniach, ale projekt odzwierciedla kierunek rynku.

Istotna zmiana ma charakter koncepcyjny. Przedsiębiorstwa zaczynają traktować każdego agenta jako podmiot objęty zasadami zarządzania, a nie jako niewidoczną funkcję wewnątrz aplikacji.

Ta zmiana tworzy główne napięcie artykułu. Im bardziej użyteczny staje się agent, tym większego dostępu zwykle wymaga. Każde dodatkowe uprawnienie zwiększa też skalę szkód możliwych po manipulacji, błędzie lub przejęciu poświadczeń.

Autonomiczna zdolność nie jest tym samym co uprawniona władza

Techniczna zdolność agenta nigdy nie powinna określać, na co organizacja mu pozwala.

Deweloperzy często mierzą agenty za pomocą wskaźników ukończenia zadań, testów rozumowania lub benchmarków użycia narzędzi. Takie oceny opisują możliwości, ale nie odpowiadają na pytanie, czy agent powinien otrzymać uprawnienia operacyjne.

Agent programistyczny może być zdolny do modyfikacji całego repozytorium. Nie oznacza to, że powinien scalać zmiany z produkcją bez przeglądu.

Agent finansowy może wygenerować prawidłową instrukcję płatniczą. Nie oznacza to, że powinien przelewać środki powyżej określonego progu.

Zarządzanie musi oddzielać to, co agent potrafi osiągnąć, od tego, co może wykonać. To rozdzielenie staje się niezbędne, gdy jeden model obsługuje wiele agentów o różnych obowiązkach.

Ten sam model bazowy może zasilać asystenta badawczego, agenta obsługi klienta i operatora infrastruktury. Ich uprawnienia powinny się różnić, ponieważ różnią się konsekwencje ich działań.

Organizacje stosują podobne rozumowanie już wobec pracowników i usług programowych. Pracownik obsługi klienta nie otrzymuje nieograniczonego dostępu do bazy danych tylko dlatego, że rozumie zapytania do bazy danych.

Agenty potrzebują tej samej zasady, wdrożonej za pomocą mechanizmów technicznych. Uprawnienia powinny odzwierciedlać określone zadanie, właściciela biznesowego, środowisko i dopuszczalny wpływ.

NIST umieścił tożsamość i autoryzację w centrum swojej inicjatywy dotyczącej standardów agentów, ogłoszonej 17 lutego 2026 r. Inicjatywa koncentruje się na standardach, otwartych protokołach, badaniach nad bezpieczeństwem i zaufanej interoperacyjności.

NIST opisał również agenty zdolne do pisania kodu, zarządzania komunikacją i kupowania towarów. Przykłady te pokazują, dlaczego zasady bezpieczeństwa na poziomie modelu nie mogą regulować każdego wynikającego z nich działania.

Agent działający w kilku aplikacjach potrzebuje weryfikowalnej tożsamości. Każdy system odbierający żądanie musi wiedzieć, który agent wnioskuje o dostęp i w czyim imieniu działa.

Ta tożsamość powinna być powiązana z odpowiedzialną osobą lub jednostką organizacyjną. W przeciwnym razie dziennik audytowy może pokazać, że działanie nastąpiło, nie ustalając jednak, kto upoważnił podmiot.

Autoryzacja musi również uwzględniać delegowanie. Agent może stworzyć wyspecjalizowanego subagenta albo wywołać innego agenta obsługiwanego przez zewnętrznego dostawcę.

Proste poświadczenie użytkownika nie odzwierciedla tego łańcucha. Organizacja potrzebuje dowodów opisujących pierwotne żądanie, delegowane uprawnienia, podmioty pośrednie i działanie końcowe.

W tym miejscu znane narzędzia tożsamości pozostają użyteczne, lecz niewystarczające. Uwierzytelnianie może zweryfikować, kto przedstawia poświadczenie. Nie ustala automatycznie, czy działanie zależne od kontekstu odpowiada przypisanemu celowi agenta.

Uwierzytelniony agent zakupowy nadal może niewłaściwie użyć prawidłowego narzędzia zakupowego. Przejęta instrukcja może skierować go do nieautoryzowanego dostawcy, podczas gdy każde poświadczenie pozostaje technicznie ważne.

Zarządzanie agentami wymaga zatem autoryzacji uwzględniającej zadanie. System musi ocenić żądane działanie w odniesieniu do roli agenta, bieżącego celu, wrażliwości danych i potencjalnego wpływu.

Krótkotrwałe poświadczenia mogą ograniczyć ekspozycję. Ograniczone zakresy narzędzi mogą uniemożliwić agentowi korzystanie z funkcji niezwiązanych z jego zadaniem.

Organizacje powinny także oddzielać dostęp do odczytu od uprawnień do działania. Agent potrzebujący danych fakturowych do analizy nie musi koniecznie mieć pozwolenia na zatwierdzanie lub opłacanie faktur.

Te mechanizmy wprowadzają tarcie, ale bezrefleksyjna autonomia nie jest użyteczną alternatywą. Lepszym celem jest autonomia proporcjonalna, w której nadzór zmniejsza się dopiero wtedy, gdy dowody uzasadniają taką decyzję.

Statyczne mechanizmy kontroli dostępu nie mogą zarządzać zmienną intencją

Agenty AI wymagają kontroli w czasie działania, ponieważ ważne poświadczenia nie gwarantują właściwego zachowania.

Tradycyjne systemy dostępu zwykle pytają, czy użytkownik lub usługa może dotrzeć do zasobu. Zarządzanie agentami musi także pytać, co podmiot zamierza zrobić i czy działanie nadal mieści się w przypisanym mu celu.

Ta różnica staje się widoczna, gdy agent przetwarza niezaufaną treść. Dokument, e-mail, strona internetowa lub odpowiedź narzędzia mogą zawierać instrukcje sprzeczne z żądaniem użytkownika.

Prompt injection to atak polegający na umieszczaniu złośliwych instrukcji w treści przetwarzanej przez system AI. Agent może pomylić te instrukcje z uzasadnionymi wskazówkami.

Agent badawczy może przeczytać stronę internetową nakazującą mu ujawnienie przechowywanych informacji. Agent wsparcia może natrafić na wiadomość polecającą mu ignorowanie zasad weryfikacji klienta.

Model może pozostać technicznie sprawny, jednocześnie wykonując niewłaściwą instrukcję. Samo uwierzytelnianie nie zatrzyma takiego zachowania, ponieważ agent nadal przedstawia ważną tożsamość.

Lista ryzyk agentowych OWASP wskazuje przejęcie celu, niewłaściwe użycie narzędzi, nadużycie uprawnień, zatruwanie pamięci i słabości łańcucha dostaw jako jedne z głównych zagrożeń.

Lista powstała przy udziale ponad 100 badaczy bezpieczeństwa, praktyków, organizacji użytkowników i dostawców technologii. Odzwierciedla ważną zmianę w myśleniu o bezpieczeństwie.

Obrońcy nie mogą oceniać wyłącznie modelu. Muszą analizować cały system agenta, w tym prompty, pamięć, narzędzia, konektory, poświadczenia, logikę orkiestracji i komunikację zewnętrzną.

Egzekwowanie zasad w czasie działania stanowi jedną z odpowiedzi. Ocenia działanie, gdy agent pracuje, zamiast opierać się wyłącznie na regułach ustanowionych podczas wdrożenia.

Warstwa zasad może pozwolić agentowi zakupowemu przygotować zamówienie, lecz wymagać zatwierdzenia przed jego złożeniem. Może też zablokować temu samemu agentowi zmianę danych bankowych dostawcy.

Decyzja może również zależeć od odwracalności. Szkic zaproszenia kalendarzowego łatwo cofnąć. Usunięcie danych produkcyjnych wiąże się z zupełnie innym ciężarem odzyskiwania.

Działania o dużym wpływie wymagają silniejszych punktów kontrolnych. Mogą one obejmować potwierdzenie przez człowieka, drugi zautomatyzowany mechanizm weryfikujący, limity transakcji lub wykonanie w odizolowanym środowisku.

Jednak aprobata człowieka nie jest automatycznie znacząca. Recenzent nie może podjąć świadomej decyzji, jeśli otrzymuje niewyjaśnione żądanie potwierdzenia zawierające jedynie przycisk zatwierdzenia.

System powinien przedstawić proponowane działanie, objęte nim zasoby, dowody wspierające i oczekiwane konsekwencje. Powinien także ujawniać niepewność lub sprzeczne informacje.

Pamięć wprowadza kolejną komplikację. Pamięć agenta przechowuje fakty lub wcześniejsze interakcje do późniejszego wykorzystania, umożliwiając utrzymanie zachowania między sesjami.

Taka trwałość może poprawić ciągłość, lecz może też zachowywać fałszywe lub złośliwe informacje. Zatruty wpis w pamięci może wpływać na decyzje długo po zniknięciu pierwotnego ataku.

Organizacje potrzebują mechanizmów kontrolujących, kto może zapisywać do pamięci, jak wpisy otrzymują informacje o pochodzeniu oraz kiedy wygasa stary kontekst. Wrażliwe magazyny pamięci wymagają również takiej samej dyscypliny dostępu jak inne dane biznesowe.

Ma to znaczenie dla wewnętrznych systemów wiedzy. Przeszukiwalna baza wiedzy staje się częścią środowiska decyzyjnego agenta, gdy jest połączona za pośrednictwem narzędzi wyszukiwania.

Uprawnienia muszą być zgodne z dokumentami bazowymi. Podłączenie agenta nie powinno spłaszczać kontroli dostępu ani ujawniać informacji, których użytkownik zgłaszający żądanie zwykle nie może zobaczyć.

Nagłówek w Google News przedstawia te systemy jako autonomicznych aktorów, lecz autonomia powinna pozostać warunkowa. Każde istotne działanie wymaga ograniczonej ścieżki od upoważnienia do wykonania.

Prawdziwe starcie to autonomia kontra odpowiedzialność

Przedsiębiorstwa nie wybierają między użytecznymi a bezpiecznymi agentami; decydują, czy autonomia pozostanie rozliczalna przy tempie działania operacyjnego.

Najmocniejszym argumentem za autonomicznymi agentami jest efektywność. Mogą koordynować powtarzalne zadania, działać nieprzerwanie i skracać opóźnienia między analizą a wykonaniem.

Najpoważniejszy zarzut dotyczy zasięgu szkód. Szybki agent może powielić błędne działanie w wielu rekordach, systemach lub wobec wielu klientów, zanim ktokolwiek to zauważy.

Ryzyko rośnie, gdy agent ma szerokie uprawnienia. Zwiększa się ponownie, gdy agent może delegować pracę lub modyfikować kontekst używany przez późniejsze agenty.

Dostawcy rozwiązań bezpieczeństwa reagują z różnych stron. Specjaliści od tożsamości podkreślają kryptograficzne tożsamości i ograniczone uprawnienia. Firmy zajmujące się bezpieczeństwem danych akcentują monitorowanie, odzyskiwanie i ochronę informacji wrażliwych.

Dostawcy bezpieczeństwa chmurowego koncentrują się na połączeniach między agentami, aplikacjami i danymi. Dostawcy platform agentowych często podkreślają ewaluację, definiowanie polityk i mechanizmy kontroli dla deweloperów.

Podejścia te częściowo się pokrywają, lecz żadne z nich nie rozwiązuje problemu samodzielnie. Zweryfikowana tożsamość nie zapobiega manipulacji celem, a monitorowanie zachowania nie ustala, kto przyznał uprawnienia.

Podobnie etap zatwierdzania przez człowieka nie naprawi brakujących zapisów audytowych. Narzędzie do cofania zmian nie może odwrócić wszystkich konsekwencji fizycznych, finansowych ani reputacyjnych.

Infocomm Media Development Authority w Singapurze opublikował swoje ramy zarządzania agentami 22 stycznia 2026 r. Organizują one zarządzanie wokół czterech praktycznych wymiarów.

Organizacje powinny najpierw ograniczać ryzyko, limitując autonomię i dostęp. Następnie powinny ustanowić znaczące punkty odpowiedzialności człowieka i zatwierdzania działań.

Ramy wzywają także do kontroli całego cyklu życia, testów bazowych oraz dostępu do usług z białej listy. Ostatni wymiar dotyczy przejrzystości, szkoleń i odpowiedzialności użytkowników końcowych.

To podejście uznaje, że zarządzanie agentami nie może znajdować się wyłącznie w dziale bezpieczeństwa. Właściciele produktów decydują o przypadku użycia, deweloperzy składają system, a liderzy biznesowi zatwierdzają wdrożenie operacyjne.

Zespoły zakupowe również wpływają na ryzyko, gdy wybierają narzędzia zewnętrznych dostawców. Agent dostawcy może przetwarzać dane przedsiębiorstwa za pośrednictwem zewnętrznych modeli, konektorów lub usług pamięci.

Umowy muszą uwzględniać rejestrowanie zdarzeń, powiadamianie o incydentach, retencję danych, podwykonawców i zmiany systemu. Nabywcy powinni rozumieć, czy dostawca potrafi odtworzyć ścieżkę decyzyjną agenta po incydencie.

Kluczowego kompromisu nie rozwiązuje trwałe ustawienie jednego poziomu autonomii. Uprawnienia agenta powinny zmieniać się wraz ze zmianą zadania, środowiska i dostępnych dowodów.

Nowy agent może zaczynać z dostępem tylko do odczytu i obowiązkowym zatwierdzaniem. Pomyślne kontrolowane testy mogą uzasadniać ograniczone wykonywanie działań w ramach wąskiego przepływu pracy.

Powtarzające się niepowodzenia powinny zmniejszać zakres uprawnień. Nieoczekiwane zachowanie, dryf konfiguracji lub aktualizacja modelu powinny uruchamiać kolejną kontrolę.

Tworzy to model autonomii zdobywanej stopniowo. Agent otrzymuje większą swobodę działania tylko wtedy, gdy testy wykazują akceptowalne zachowanie w odpowiednich warunkach.

Nawet wtedy organizacje powinny zachować twarde granice. Niektóre działania nadal nie nadają się do wykonania bez nadzoru, ponieważ ich konsekwencje trudno odwrócić.

Przykłady obejmują zmianę kontroli dostępu, publikowanie regulowanych ujawnień, rozwiązanie stosunku pracy, transfer dużych kwot lub usuwanie podstawowych rekordów.

Dokładna granica będzie różna w zależności od firmy. Niezmienne powinno pozostać wyraźne powiązanie autonomii z ryzykiem, odwracalnością i rozliczalną odpowiedzialnością.

Czego obecne produkty do zarządzania wciąż nie potrafią udowodnić

Rynek tworzy narzędzia kontroli agentów szybciej, niż nabywcy mogą zweryfikować, czy te mechanizmy działają w różnych modelach, platformach i delegowanych przepływach pracy.

Zapowiedzi produktów często obiecują wykrywanie, monitorowanie, egzekwowanie polityk i szybką remediację. Funkcje te są wartościowe, lecz dowody je otaczające pozostają nierówne.

Dostawca może wykazać, że jego platforma blokuje znane wywołanie narzędzia. Taki test nie potwierdza skuteczności wobec nowych ataków, niejednoznacznych celów ani złożonych łańcuchów delegacji.

Wykrywanie również stanowi trudny problem. Centralnie zarządzane agenty łatwiej zinwentaryzować, lecz pracownicy mogą tworzyć nieformalne automatyzacje za pomocą narzędzi przeglądarkowych, skryptów i usług zewnętrznych.

Agenty te mogą korzystać z osobistych poświadczeń lub skopiowanych kluczy API. Mogą działać poza systemami monitorowanymi przez centralną konsolę zarządzania.

Organizacje mierzą się zatem z agentowym odpowiednikiem shadow IT. Różnica polega na tym, że ukryte agenty mogą inicjować działania i tworzyć dodatkową automatyzację.

Narzędzia monitorujące muszą odróżniać złośliwe zachowanie od uzasadnionych odchyleń. Agenty często wykorzystują różne sekwencje do wykonania tego samego zadania, przez co sztywne reguły zachowania są podatne na fałszywe alarmy.

Zbyt wiele alertów może podważyć nadzór. Zespoły bezpieczeństwa mogą ignorować hałaśliwe ostrzeżenia, podczas gdy zespoły biznesowe będą szukać sposobów na obejście mechanizmów, które często blokują legalną pracę.

Kolejną słabością są wyjaśnienia. Agent może przedstawić wiarygodnie brzmiący opis swojego rozumowania, nie dostarczając rzetelnych dowodów dotyczących procesu, który wygenerował działanie.

Systemy audytowe powinny priorytetowo traktować obserwowalne zdarzenia. Przydatne zapisy obejmują pochodzenie danych wejściowych, wywołania narzędzi, decyzje autoryzacyjne, dostęp do danych, wersje modeli, wyniki polityk i końcowe rezultaty.

Zapisy te muszą pozostawać chronione przed modyfikacją. Agent nie powinien móc usuwać dowodów potrzebnych do zbadania własnego zachowania.

Również twierdzenia dotyczące odzyskiwania zasługują na weryfikację. Przywrócenie usuniętej gałęzi kodu jest możliwe, gdy istnieje niezależna kopia. Wycofanie zewnętrznego e-maila lub odwrócenie ujawnionych informacji jest znacznie trudniejsze.

Niektóre działania są odwracalne tylko częściowo. Płatność może zostać anulowana, ale próba transferu nadal może rodzić problemy zgodności lub obawy o oszustwo.

Platforma zarządzania powinna wskazywać, które zasoby potrafi przywrócić, a które konsekwencje pozostają poza jej kontrolą. Nabywcy potrzebują dowodów opartych na scenariuszach, a nie ogólnej obietnicy cofania zmian.

Interoperacyjność wprowadza więcej niepewności. Przedsiębiorstwa rzadko korzystają z jednego modelu, jednego frameworka agentowego lub jednego dostawcy tożsamości.

Polityka działająca wewnątrz platformy jednego dostawcy może utracić kontekst, gdy agent wywoła zewnętrzne narzędzie. Delegowane agenty mogą przekraczać granice organizacyjne i techniczne.

Standardy mogą ograniczyć tę fragmentację, lecz nadal są rozwijane. Prace NIST wskazują na rosnący impet, podczas gdy praktyczne wdrożenia będą wymagały testów w rzeczywistych systemach przedsiębiorstw.

World Economic Forum podało, że 82% kadry kierowniczej planowało wdrożyć agenty w ciągu jednego do trzech lat. Ta liczba opisuje intencje, a nie potwierdzone wdrożenia produkcyjne.

To rozróżnienie ma znaczenie. Entuzjazm widoczny w ankietach nie dowodzi, że organizacje mają wiarygodne inwentaryzacje, dojrzałe mechanizmy kontroli lub mierzalne zwroty.

Twierdzenia dostawców powinny więc pozostać twierdzeniami, dopóki niezależne oceny ich nie potwierdzą. Nabywcy powinni żądać dowodów z wdrożeń przypominających ich własny profil ryzyka.

Rynek zarządzania mierzy się również z problemem zachęt. Platformy sprzedające większą autonomię często sprzedają też mechanizmy kontroli, które mają uczynić tę autonomię akceptowalną.

Nie unieważnia to ich narzędzi. Oznacza jednak, że klienci potrzebują niezależnych testów bezpieczeństwa, jasnej odpowiedzialności umownej i wewnętrznego upoważnienia do ograniczania wdrożeń.

Trzy sygnały pokażą, czy zarządzanie agentami dojrzewa

Kolejny etap będzie mierzony interoperacyjną tożsamością, autonomią opartą na dowodach i możliwymi do odzyskania wdrożeniami produkcyjnymi, a nie kolejnymi deklaracjami polityk.

Pierwszym sygnałem są konkretne wytyczne wdrożeniowe w ramach NIST AI Agent Standards Initiative. Ich wartość będzie zależeć od tego, czy organizacje potrafią przełożyć standardy na interoperacyjne mechanizmy kontroli.

Przydatny rezultat umożliwiłby aplikacji weryfikację tożsamości agenta, delegowanych uprawnień, dozwolonego zakresu i odpowiedzialnego właściciela ponad granicami dostawców.

Wspólne pola tożsamości poprawiłyby również reakcję na incydenty. Śledczy mogliby odtworzyć, który agent działał, kto go upoważnił i czy jego uprawnienia zmieniły się podczas wykonywania zadania.

Jeśli standardy pozostaną abstrakcyjne, dostawcy będą nadal wdrażać niekompatybilne modele tożsamości. Taka fragmentacja osłabiłaby argument za scentralizowanym zarządzaniem w heterogenicznych środowiskach.

Drugim sygnałem jest przyjęcie dynamicznych polityk autonomii. Firmy powinny zacząć raportować, jak uprawnienia agentów zmieniają się na podstawie testów, ryzyka i obserwowanej skuteczności.

Wymaga to mierzalnych kryteriów. Same wskaźniki ukończenia zadań są niewystarczające, ponieważ agent może wykonać zadanie, jednocześnie naruszając politykę lub ujawniając chronione informacje.

Ewaluacje powinny obejmować nieautoryzowane użycie narzędzi, prompt injection, zatruwanie pamięci, niewłaściwe użycie poświadczeń, delegowanie i odzyskiwanie. Testy powinny także odzwierciedlać rzeczywiste środowisko produkcyjne agenta.

Dojrzałe wdrożenie połączy wyniki ewaluacji z uprawnieniami. Nieudane testy powinny automatycznie blokować szersze uprawnienia, dopóki słabość nie zostanie usunięta i sprawdzona.

Dowody stosowania tej praktyki wzmocniłyby argument, że przedsiębiorstwa mogą odpowiedzialnie skalować autonomię. Statyczne modele uprawnień sugerowałyby, że zarządzanie pozostaje w tyle za wdrożeniami.

Trzecim sygnałem są publiczne dowody dotyczące ograniczania incydentów i odzyskiwania po nich. Organizacje muszą pokazać, że potrafią wykrywać szkodliwą aktywność agentów i ograniczać jej konsekwencje.

Nie wymaga to ujawniania wrażliwych szczegółów incydentów. Firmy mogą publikować zanonimizowane scenariusze, niezależne oceny i zmierzoną skuteczność odzyskiwania.

Przydatne ujawnienia wyjaśniałyby, co się wydarzyło, który mechanizm kontroli to wykrył, jak daleko rozprzestrzeniło się działanie i co można było odwrócić.

Niepowodzenia również dostarczą informacji. Incydent z udziałem właściwie uwierzytelnionego agenta pokazałby, dlaczego sama tożsamość nie może ustanowić godnych zaufania intencji.

Niepowodzenie obejmujące kilka agentów sprawdziłoby, czy obecne rejestrowanie zachowuje pełny łańcuch delegacji. Nieodwracalny wynik ujawniłby ograniczenia marketingu cofania zmian.

Te sygnały mają większe znaczenie niż kolejny panel zarządzania. Technologia musi udowodnić, że mechanizmy kontroli pozostają skuteczne, gdy agenty działają z prędkością maszynową w rzeczywistych systemach.

Dla deweloperów natychmiastowy wniosek jest jasny. Architektura agentów powinna od początku udostępniać punkty kontrolne polityk, śledzalne wywołania narzędzi i ograniczone poświadczenia.

Dla nabywców korporacyjnych wymagania dotyczące zarządzania powinny znaleźć się w procesie zakupowym przed wdrożeniem. Doposażanie w odpowiedzialność właścicielską, audytowalność i odzyskiwanie po tym, jak agenty rozprzestrzenią się po działach, będzie kosztować więcej.

Pracownicy wiedzy również mają w tym interes. Agenty coraz częściej działają za pośrednictwem ich kont, danych i narzędzi komunikacyjnych, tworząc konsekwencje, które mogą pojawić się pod ludzką tożsamością.

Nagłówek Google News trafnie wskazuje potrzebę nowego modelu zarządzania. Trudniejsze pytanie brzmi, czy organizacje narzucą ten model, zanim autonomiczna działalność stanie się zwyczajną infrastrukturą.

Zapytaj, kto jest właścicielem każdego wdrożonego agenta, jakie działania może on podejmować i co dzieje się, gdy zmieniają się jego instrukcje. Następnie zażądaj dowodów, że odpowiedzi te wytrzymują rzeczywistą awarię.