Ostrzeżenie AXA XL dotyczące zarządzania AI: wdrożenia wyprzedzają nadzór
AXA XL twierdzi, że wdrażanie AI przekroczyło niebezpieczny próg: systemy trafiają do kluczowych procesów, podczas gdy zarządzanie nimi, bezpieczeństwo i reagowanie na incydenty pozostają o kilka kroków w tyle.
Ostrzeżenie AXA XL dotyczące zarządzania AI pojawiło się 23 września wraz ze wspólnym raportem przygotowanym z firmą doradczą S-RM, specjalizującą się w wywiadzie i cyberbezpieczeństwie. Raport przekonuje, że organizacje muszą przestać traktować ryzyko AI jako wąsko rozumiany projekt zgodności. AI dotyka dziś wrażliwych informacji, dostępu do oprogramowania, decyzji biznesowych i relacji z zewnętrznymi dostawcami.
Powoduje to konflikt między szybkością wdrażania a kontrolą operacyjną. Firmy chcą wykorzystywać agentów i generatywną AI w codziennych procesach, jednak wiele z nich nie potrafi wiarygodnie zidentyfikować każdego systemu, właściciela, źródła danych ani zależności w dalszej części procesu.
Ostrzeżenie ma dodatkową wagę, ponieważ AXA XL patrzy na ten problem przez pryzmat ubezpieczeń i doradztwa w zakresie ryzyka. Ubezpieczyciele muszą rozumieć, jak dochodzi do awarii, jak poważne mogą się one stać oraz czy różne straty są ze sobą powiązane. AI komplikuje wszystkie trzy kwestie.
Centralny problem jest zatem większy niż sporadyczne generowanie przez model nieprawidłowej odpowiedzi. Firmy przyznają systemom AI coraz większy dostęp i uprawnienia, zanim ustanowią ciągły nadzór nad tym dostępem.
Ostrzeżenie AXA XL dotyczące zarządzania AI wykracza poza zgodność
Najważniejszą zmianą w raporcie jest potraktowanie awarii AI jako problemu odporności przedsiębiorstwa, a nie wyłącznie problemu jakości modelu.
AXA XL jest działem AXA zajmującym się ubezpieczeniami majątkowymi, odpowiedzialności cywilnej i ryzykami specjalistycznymi. S-RM doradza organizacjom w obszarach cyberbezpieczeństwa, wywiadu i ryzyka korporacyjnego. Ich wspólny raport o odpornej AI łączy wdrażanie AI z incydentami cybernetycznymi, oszustwami, odpowiedzialnością, przerwami w działalności i awariami dotyczącymi stron trzecich.
Moment publikacji odzwierciedla tempo, w jakim AI weszła do zwykłej działalności operacyjnej. AXA XL przytacza badania, według których 88% organizacji używa AI w co najmniej jednej funkcji biznesowej. Wdrażanie wykracza obecnie poza kontrolowane eksperymenty i odizolowane chatboty.
Pracownicy wykorzystują systemy generatywne do podsumowywania dokumentacji, przygotowywania komunikacji, analizowania dokumentów i wspierania decyzji. Dostawcy oprogramowania także wbudowują AI w produkty, z których klienci już korzystają. Organizacja może więc uzyskać nową zależność od AI bez zatwierdzania odrębnego projektu AI.
Systemy agentowe podnoszą stawkę jeszcze bardziej. Agent AI to oprogramowanie zdolne realizować cel poprzez wiele kroków, czasem z użyciem zewnętrznych narzędzi lub modyfikując inne systemy. Ryzyko zależy od tego, co może odczytać, co może zmienić i czy człowiek sprawdza jego działania.
AXA XL wskazuje pięć priorytetów dla organizacji mierzących się z tą transformacją. Liderzy potrzebują jasnej odpowiedzialności za zatwierdzone systemy, wbudowane funkcje AI i shadow AI. Muszą chronić wrażliwe dane, jednocześnie wzmacniając kontrolę tożsamości i dostępu.
Organizacje potrzebują również zarządzania w całym cyklu życia, obejmującego gromadzenie danych, rozwój, wdrożenie, monitorowanie i reagowanie na incydenty. Należyta staranność wobec dostawców musi uwzględniać zależności od AI w usługach zewnętrznych. Wreszcie firmy powinny przygotować się na straty przekraczające tradycyjne kategorie ubezpieczeniowe.
Ten ostatni punkt ma znaczenie. Pojedyncze zdarzenie może zacząć się od zmanipulowanego modelu, ujawnić poufne informacje, zakłócić działalność i wywołać roszczenie z tytułu odpowiedzialności. Ten sam incydent może dotyczyć cyberbezpieczeństwa, prywatności, usług profesjonalnych i decyzji zarządczych.
Jonathan Salter, szef doradztwa ds. ryzyka w AXA XL, bezpośrednio podsumował ten konflikt. Jak stwierdził, AI trafia do systemów, od których organizacje są zależne, podczas gdy zarządzanie nie zawsze dotrzymuje kroku.
Jego ujęcie przenosi pytanie z „Czy ten model jest dokładny?” na „Co stanie się z firmą, gdy ten system zawiedzie?”. To pytanie wymaga wskazanych właścicieli, ścieżek eskalacji, przetestowanych mechanizmów kontrolnych i planów odzyskiwania sprawności.
Raport odrzuca też powszechne uproszczenie. Przegląd bezpieczeństwa przed uruchomieniem nie zapewnia stałej kontroli po wdrożeniu. Modele się zmieniają, dostawcy aktualizują usługi, pracownicy odkrywają nowe zastosowania, a uprawnienia dostępu są rozszerzane.
AXA XL podaje, że 64% organizacji ocenia obecnie bezpieczeństwo narzędzi AI przed wdrożeniem, wobec 37% rok wcześniej. Ta poprawa nadal dotyczy jedynie punktu wejścia. Ryzyko trwa po przejściu przez narzędzie pierwszej oceny.
To pierwsza ważna konsekwencja ostrzeżenia AXA XL dotyczącego zarządzania AI: zatwierdzenie nie może być trwałym certyfikatem bezpieczeństwa. Nadzór musi towarzyszyć systemowi przez cały okres jego działania.
Wdrażanie AI wywołuje kryzys ewidencji i odpowiedzialności
Firma nie może zarządzać systemami AI, których nie potrafi znaleźć, sklasyfikować ani przypisać odpowiedzialnemu właścicielowi.
Problem ewidencji zaczyna się od rozproszenia. Niektóre zastosowania AI pojawiają się za pośrednictwem formalnych programów technologicznych. Inne są wprowadzane jako funkcje w platformach obsługi klienta, pakietach produktywności, produktach bezpieczeństwa lub narzędziach dla programistów.
Pracownicy mogą także korzystać z usług konsumenckich bez autoryzacji. Ta praktyka, często nazywana shadow AI, może ujawniać informacje biznesowe poza zatwierdzonymi mechanizmami kontroli. Ryzyko nie ogranicza się do celowego naruszania zasad.
Pracownik może zasadnie sądzić, że zwykła funkcja oprogramowania jest objęta istniejącym zatwierdzeniem firmy. Może ona jednak przesyłać dane do innego dostawcy modelu, przechowywać prompty na innych zasadach lub generować treści za pośrednictwem zewnętrznej usługi.
Skuteczna ewidencja wymaga zatem czegoś więcej niż listy nazw modeli. Musi łączyć każdy przypadek użycia z właścicielem biznesowym, właścicielem technicznym, celem, źródłami danych, uprawnieniami, dostawcą, użytkownikami, których dotyczy, oraz procesem odzyskiwania sprawności.
Powinna również odnotowywać, czy system jedynie rekomenduje działania, czy może je wykonywać. Narzędzie do podsumowań z dostępem tylko do odczytu niesie inne ryzyko niż agent, który może wysyłać wiadomości, zatwierdzać transakcje lub zmieniać rekordy produkcyjne.
Rebiah Bardot-Girard, szefowa usług doradczych ds. ryzyka cybernetycznego w AXA XL, przekonuje, że organizacje muszą wiedzieć, gdzie działa AI, do jakich informacji ma dostęp i gdzie może wpływać na działania. Taka ewidencja staje się punktem wyjścia do budowania odporności.
Rekomendacja ściśle odpowiada ramom zarządzania ryzykiem AI prowadzonym przez amerykański National Institute of Standards and Technology. NIST opisuje zarządzanie jako ciągłą funkcję w całym cyklu życia systemu AI.
Jego ramy wzywają do stosowania mechanizmów ewidencjonujących systemy AI zgodnie z priorytetami ryzyka organizacji. Wymagają także dokumentowania odpowiedzialności, monitorowania mechanizmów kontrolnych, oceny komponentów stron trzecich i planowania bezpiecznego wycofywania systemów.
Działania te brzmią administracyjnie, lecz decydują o tym, czy firma potrafi zareagować podczas incydentu. Zespół bezpieczeństwa nie może szybko odebrać dostępu, jeśli nie wie, z których poświadczeń korzysta agent. Zespoły prawne nie mogą ocenić narażenia, jeśli nie wiedzą, które rekordy trafiły do systemu.
Właściciele biznesowi również potrzebują wystarczającej dokumentacji, aby odróżnić zamierzone zachowanie od awarii. Jeśli agent wyśle nieautoryzowaną komunikację, osoby prowadzące dochodzenie muszą odtworzyć dane wejściowe, wersję modelu, instrukcje, wywołania narzędzi, zatwierdzenia i wynikające z nich działania.
Dowody te mogą być rozproszone między panelami dostawców, lokalnymi aplikacjami, systemami tożsamości i wiadomościami pracowników. Bez określonego rejestru firma może mieć trudności z ustaleniem, co się wydarzyło lub czy ta sama słabość występuje gdzie indziej.
Utrzymywanie przeszukiwalnej bazy wiedzy może pomóc zespołom organizować zasady i dokumentację techniczną. Dokumentacja pomaga jednak tylko wtedy, gdy właściciele utrzymują jej połączenie z działającymi systemami.
Odpowiedzialność jest drugą połową problemu. AI często przekracza granice organizacyjne, obejmując bezpieczeństwo, prywatność, kwestie prawne, zakupy, produkt i operacje. Każdy zespół może być właścicielem jednego mechanizmu kontrolnego, podczas gdy nikt nie odpowiada za pełny wynik biznesowy.
Twórca modelu może zarządzać testowaniem, ale nie informacjami dostarczanymi przez pracowników. Dział zakupów może analizować warunki umów, lecz nie uprawnienia operacyjne. Zespół bezpieczeństwa może monitorować zdarzenia techniczne, nie rozumiejąc konsekwencji błędnej decyzji biznesowej.
Jasna odpowiedzialność nie oznacza przypisania każdej kwestii centralnemu biuru AI. Oznacza wskazanie, kto akceptuje ryzyko, kto utrzymuje mechanizmy kontrolne, kto monitoruje zachowanie i kto może zawiesić system.
Ta ostatnia kompetencja ma znaczenie. Zespoły potrzebują z góry określonych warunków spowolnienia, odizolowania lub wyłączenia procesu AI. W przeciwnym razie presja biznesowa może utrzymywać w działaniu wątpliwy system, podczas gdy działy dyskutują o odpowiedzialności.
Przesłanie AXA XL dotyczące zarządzania AI nie brzmi zatem po prostu „napisz politykę”. Brzmi: „połącz każdą wdrożoną funkcję z uprawnieniami, dowodami i ścieżką reagowania”.
Rzeczywisty kompromis dotyczy dostępu i kontroli
AI staje się bardziej użyteczna, gdy zyskuje kontekst i uprawnienia, lecz te same cechy zwiększają szkody, jakie może spowodować skompromitowany lub zawodny system.
Samodzielny chatbot może wygenerować nieprawidłowy tekst. Zintegrowany agent może pobierać prywatne rekordy, wywoływać narzędzia wewnętrzne i działać na podstawie wyniku. Drugi system może przynosić większą wartość biznesową, ale tworzy też szerszą drogę od błędu do straty.
AXA XL i S-RM wskazują wyciek danych, prompt injection, manipulację modelem, niewiarygodne wyniki, shadow AI i nadmierną autonomię jako istotne zagrożenia.
Prompt injection występuje, gdy złośliwa lub niezaufana treść odciąga model od jego zamierzonych instrukcji. Atak może pojawić się w dokumencie, stronie internetowej, e-mailu lub źródle danych przetwarzanym przez system.
Niebezpieczeństwo rośnie, gdy model może wywoływać narzędzia. Zmanipulowana odpowiedź może przestać być tylko tekstem na ekranie. Może wpłynąć na zapytanie do bazy danych, wiadomość wychodzącą, decyzję w procesie roboczym lub przekazanie informacji.
Tradycyjne mechanizmy kontroli dostępu nadal mają znaczenie w tym środowisku. System AI nie powinien otrzymywać szerokich uprawnień wyłącznie dlatego, że użytkownicy uznają szerszy dostęp za wygodny. Jego tożsamość powinna otrzymywać tylko zasoby wymagane dla zatwierdzonego przypadku użycia.
Uprawnienia wymagają także granic dotyczących działań. Dostęp do odczytu nie jest tym samym co dostęp do zapisu. Przygotowanie odpowiedzi różni się od jej wysłania, podobnie jak rekomendowanie transakcji różni się od jej zatwierdzenia.
Nadzór człowieka pozostaje ważny, lecz to sformułowanie może skrywać słabe mechanizmy kontroli. Formalny recenzent nie może zapewnić znaczącego nadzoru, jeśli setki wyników pojawiają się zbyt szybko lub bez istotnego kontekstu.
Organizacje muszą określić, które decyzje wymagają zatwierdzenia, jakie dowody otrzymuje recenzent oraz jak zachowuje się system, gdy nikt nie odpowiada. Muszą też mierzyć, czy recenzenci rutynowo akceptują wyniki bez ich sprawdzenia.
Ten kompromis staje się wyraźniejszy, gdy firmy łączą agentów z wrażliwymi procesami biznesowymi. Użyteczność systemu może zależeć od historii klientów, dokumentacji technicznej, danych finansowych, umów lub danych pracowników.
Ten kontekst może poprawiać trafność. Może też ujawniać wartościowe informacje poprzez niebezpieczne integracje, nadmierną retencję, przejęte konta lub nieostrożne prompty.
Pięć fundamentów bezpiecznego projektowania wskazanych przez AXA XL odnosi się do tej kwestii poprzez zarządzanie danymi, bezpieczne modele i aplikacje, odporne ekosystemy dostawców, kontrolę dostępu i ciągłe monitorowanie. Żaden z nich samodzielnie nie zapewnia pełnej ochrony.
Nadzór nad danymi określa, z jakich informacji system może korzystać. Bezpieczne projektowanie aplikacji ogranicza dane wejściowe, wyniki i połączenia z narzędziami. Mechanizmy kontroli tożsamości ograniczają, do czego system może uzyskać dostęp.
Monitorowanie powinno następnie wykrywać nieoczekiwany dostęp, nietypowe użycie narzędzi, zmiany w wynikach i próby naruszenia zasad. Plany reagowania na incydenty muszą uwzględniać zarówno techniczne ograniczenie skutków, jak i konsekwencje biznesowe.
Szersza organizacja AXA pokazuje, jak te mechanizmy kontroli mogą wspierać wdrożenia, zamiast je blokować. AXA opisuje program zarządzania AI, który obejmuje bibliotekę ryzyk AI, narzędzia do oceny sprawiedliwości, przeglądy eksperckie i wytyczne dla całej grupy.
AXA zwiększa również skalę wspólnej infrastruktury AI w ramach swoich globalnych operacji. Insurance Business podał, że do września 2026 roku jej Global AI Hub działał w pięciu podmiotach, w tym przy pracach obejmujących AXA XL.
Tworzy to pouczający kontrast. AXA nie ostrzega przedsiębiorstw przed unikaniem AI, pozostając jednocześnie poza tą technologią. Wdraża AI, argumentując zarazem, że dostęp, nadzór i odpowiedzialność operacyjna muszą rozwijać się wspólnie.
Nie dowodzi to, że własne mechanizmy kontroli AXA eliminują każde ryzyko. Jej publiczne opisy nie mogą zastąpić niezależnych testów ani dowodów z rzeczywistych incydentów. Pokazują jednak, że debata nie dotyczy już wyboru między wdrożeniem a jego brakiem.
Praktyczna rywalizacja toczy się między zarządzanym wdrażaniem a wdrażaniem słabo monitorowanym. Pierwsze traktuje dostęp jako ograniczony przywilej powiązany z dowodami. Drugie uznaje szybkość integracji za sukces, a następnie próbuje dodać mechanizmy kontroli później.
Ubezpieczenia ujawniają to, czego ramy zarządzania nie potrafią jeszcze zmierzyć
Perspektywa ubezpieczeniowa ujawnia trudną prawdę: organizacje mogą łatwiej opisywać mechanizmy kontroli AI, niż ubezpieczyciele potrafią ilościowo określić wynikającą z nich ekspozycję na straty.
Ubezpieczenia opierają się na informacjach o tym, jak często występują straty, jak poważne się stają i czy wielu ubezpieczonych może ucierpieć jednocześnie. Generatywna AI oferuje niewiele dojrzałych danych dotyczących roszczeń, które pozwalałyby odpowiedzieć na te pytania.
Jeden wadliwy system może również wpłynąć na wiele przedsiębiorstw. Wiele organizacji korzysta z tych samych modeli bazowych, dostawców chmury, usług programistycznych lub potoków danych. Wspólna słabość mogłaby prowadzić do skorelowanych strat w wielu ubezpieczonych firmach.
Te zależności komplikują tradycyjne łączenie ryzyk. Ubezpieczyciel może uważać, że zdywersyfikował ekspozycję między branżami, podczas gdy jego klienci zależą od tego samego bazowego dostawcy AI.
Kategorie awarii mogą się również nakładać. Halucynacyjna odpowiedź może prowadzić do odpowiedzialności zawodowej. Ujawnienie danych może wywołać roszczenia dotyczące prywatności i cyberbezpieczeństwa. Zautomatyzowana decyzja może skutkować działaniami regulacyjnymi lub zarzutami dyskryminacji.
Zakłócenie wpływające na przepływ pracy zależny od AI może powodować straty operacyjne. Oszustwo z udziałem syntetycznych mediów może wiązać się z ochroną od przestępstw, mechanizmami kontroli tożsamości i wewnętrznymi procedurami autoryzacji.
Ta złożoność wyjaśnia, dlaczego AXA XL prosi firmy o przygotowanie się na scenariusze obejmujące cyberbezpieczeństwo, oszustwa, odpowiedzialność i przerwy w działalności. Organizacja musi analizować pełny łańcuch konsekwencji, a nie tylko pierwsze zdarzenie techniczne.
Niedawna analiza rynku ubezpieczeniowego Centrum Studiów Strategicznych i Międzynarodowych opisuje podobne przeszkody. Argumentuje, że ograniczone dane z wdrożeń i asymetria informacji ograniczają zdolność ubezpieczycieli do oceny ryzyka AI.
Asymetria informacji oznacza, że klient wie więcej o swojej ekspozycji niż ubezpieczyciel. Firma wie, z których modeli korzysta, jakie informacje przetwarzają, jak zarządzane są prompty oraz czy nadzór człowieka rzeczywiście działa.
Ubezpieczyciel może otrzymywać jedynie kwestionariusze lub opisy mechanizmów kontroli na wysokim poziomie. Nie może łatwo obserwować codziennego działania każdej implementacji.
Daje to ubezpieczycielom silny powód, by wymagać lepszych dowodów. Inwentaryzacja AI, dzienniki dostępu, zapisy incydentów, wyniki testów i dokumentacja dostawców mogą zwiększyć widoczność ryzyka.
Jednak artefakty zarządzania nie są tym samym co skuteczność zarządzania. Kompletna polityka nie dowodzi, że pracownicy jej przestrzegają. Wynik testu nie gwarantuje, że aktualizacja dostawcy zachowa wcześniejsze zachowanie systemu.
Sceptyczne odczytanie rekomendacji AXA XL zaczyna się właśnie tutaj. Pięć priorytetów jest rozsądnych, lecz raport nie przedstawia uniwersalnego systemu pomiaru, który dowodziłby, że firma skutecznie je wdrożyła.
Organizacje znacząco różnią się pod względem systemów, obowiązków regulacyjnych, zasobów i przypadków użycia. Mechanizm kontroli odpowiedni dla tworzenia tekstów marketingowych może być niewystarczający w ochronie zdrowia, kredytach, zatrudnieniu lub infrastrukturze krytycznej.
Zachowanie AI może także zależeć od kontekstu. System może zdać kontrolowany test, lecz zawieść, gdy użytkownicy wprowadzą nieznane dane wejściowe albo gdy połączone narzędzia zwrócą nieoczekiwane dane.
NIST podkreślał znaczenie testowania, oceny, weryfikacji i walidacji w całym cyklu życia AI. Jego prace z 2026 roku obejmują projekt ram oceny rzeczywistych wyników modeli, systemów multimodalnych i agentów.
Ten kierunek jest istotny, ponieważ statyczne przeglądy nie mogą uchwycić wszystkich warunków operacyjnych. Organizacje potrzebują powtarzalnych ocen powiązanych z rzeczywistymi konsekwencjami biznesowymi.
Muszą również zdecydować, które ryzyka rezydualne zaakceptować, ograniczyć, uniknąć lub przenieść. Ubezpieczenie może pokryć część straty finansowej, lecz nie może przywrócić ujawnionych informacji, odwrócić szkodliwej decyzji ani natychmiast naprawić nadszarpniętego zaufania.
Ochrona ubezpieczeniowa może też wyznaczać granice między polisami cybernetycznymi, odpowiedzialnością zawodową, przestępczością i innymi polisami. Incydent AI, który przekracza te granice, może powodować spory o to, która polisa znajduje zastosowanie.
Firmy powinny zatem unikać traktowania ubezpieczenia jako zamiennika zarządzania. Ubezpieczyciele z kolei nie mogą zakładać, że ramy zarządzania automatycznie czynią ryzyko mierzalnym.
Silniejsza interpretacja stanowiska AXA XL dotyczącego ryzyka AI jest warunkowa. Lepsze zarządzanie tworzy lepsze dowody, a lepsze dowody mogą wspierać bardziej świadome procesy underwritingowe. Żadne z nich nie gwarantuje, że każda ekspozycja na AI stanie się ubezpieczalna.
Regulacje podnoszą koszt dryfu w zarządzaniu
Luka między wdrożeniem a nadzorem staje się bardziej kosztowna, gdy systemy AI przekraczają jurysdykcje, funkcje biznesowe i obszary regulowanych decyzji.
Przepisy dotyczące AI nie pojawiają się jako jeden uniwersalny standard zgodności. Organizacje muszą uwzględniać prywatność, cyberbezpieczeństwo, ochronę konsumentów, własność intelektualną, zatrudnienie, regulacje sektorowe i zobowiązania umowne.
Unijny AI Act wprowadza obowiązki oparte na ryzyku dla systemów objętych jego zakresem. Inne jurysdykcje stosują istniejące przepisy lub opracowują odmienne, specyficzne dla AI reguły. Międzynarodowa firma może podlegać kilku obowiązkom w odniesieniu do tego samego przepływu pracy.
Ta fragmentacja wywiera presję operacyjną. System zatwierdzony dla jednego rynku lub celu może wymagać innej dokumentacji, testów albo nadzoru człowieka gdzie indziej.
Relacje z dostawcami utrudniają ten problem. Klient może nie tworzyć modelu, nie kontrolować jego danych treningowych ani nie decydować, kiedy dostawca go zmienia. Mimo to klient nadal decyduje, jak system wpływa na ludzi i procesy biznesowe.
Umowy muszą uwzględniać obowiązki w zakresie bezpieczeństwa, powiadamiania o incydentach, przetwarzania danych, praw do audytu, podwykonawców, zmian modeli, ciągłości usług i rozwiązania umowy. Zespoły zakupowe potrzebują również wystarczającego kontekstu technicznego, aby ocenić te postanowienia.
Ogólny przegląd oprogramowania może nie uwzględnić zależności specyficznych dla AI. Usługa może opierać się na kilku dostawcach modeli, systemach wyszukiwania, podmiotach przetwarzających dane i narzędziach monitorujących. Każdy komponent dodaje kolejny punkt, w którym zachowanie lub ekspozycja mogą się zmienić.
Rekomendacja AXA XL dotycząca należytej staranności wobec dostawców wykracza więc poza sprawdzenie, czy dostawca publikuje zasady odpowiedzialnej AI. Nabywcy potrzebują dowodów powiązanych z rzeczywistą usługą i przypadkiem użycia.
Powinni wiedzieć, która strona monitoruje zachowanie modelu, kto przechowuje dzienniki oraz jak szybko dostawca zgłasza incydent. Powinni też rozumieć, co dzieje się z danymi klienta po zakończeniu umowy.
Nie oznacza to, że każda organizacja może sprawdzić kod źródłowy dostawcy lub zbiór danych treningowych. Wielu dostawców nie ujawni tych informacji. Oznacza to, że nabywcy muszą zidentyfikować wynikającą z tego niepewność i zdecydować, czy dany przypadek użycia może ją tolerować.
Organizacja może zaakceptować ograniczoną przejrzystość w przypadku niskiego ryzyka pomocy przy redagowaniu tekstów. Powinna wymagać silniejszych dowodów, zanim oprze się na tym samym dostawcy w przypadku istotnych decyzji lub autonomicznych działań.
Wyniki AXA z 2025 roku dotyczące przyszłych ryzyk pokazały, dlaczego ta luka w zarządzaniu już przyciąga uwagę. Eksperci umieścili ryzyko związane z AI i big data na czwartym miejscu na świecie.
Wśród respondentów, którzy wskazali AI jako wiodące ryzyko, 43% ekspertów uznało zagrożenia dla interesów lub praw człowieka za swoją główną obawę. Następne były brak przejrzystości i niespójne regulacje.
Tylko 11% tych ekspertów uważało, że organy publiczne są dobrze przygotowane na ryzyka związane z AI i big data. Respondenci wskazali silniejsze regulacje i lepsze ramy zarządzania ryzykiem jako priorytetowe reakcje publiczne.
Liczby te nie mierzą jakości zarządzania w poszczególnych firmach. Pokazują jednak powszechną obawę, że istniejące instytucje nie nadążają za tempem rozwoju technologii.
Dryf w zarządzaniu występuje wtedy, gdy rzeczywisty system zmienia się szybciej niż udokumentowane środowisko kontroli. Pojawia się nowa funkcja, zmienia się wersja modelu, użytkownicy rozszerzają przepływ pracy albo dostawca dodaje integrację.
Pierwotny przegląd może pozostać w dokumentacji, podczas gdy jego założenia stają się nieaktualne. W takiej sytuacji formalna zgodność tworzy fałszywe poczucie pewności.
Ciągły nadzór musi zatem obejmować zarządzanie zmianą. Zespoły potrzebują mechanizmów uruchamiających ponowne testy, gdy zmieniają się modele, dane, narzędzia, uprawnienia lub zamierzone zastosowania.
Potrzebują również informacji zwrotnych z incydentów i zdarzeń niemal incydentalnych. Zdarzenie, które nie powoduje straty, nadal może ujawnić słabe mechanizmy kontroli dostępu, niejasną odpowiedzialność lub zawodny proces eskalacji.
Pytanie regulacyjne nie brzmi po prostu, czy firma ma politykę AI. Chodzi o to, czy ta polityka nadal opisuje działanie jej systemów.
Trzy sygnały pokażą, czy nadzór nadrabia zaległości
Kolejny etap korporacyjnej AI będzie oceniany na podstawie dowodów operacyjnych, a nie liczby zasad zarządzania publikowanych przez firmę.
Pierwszym sygnałem będzie to, czy firmy budują wiarygodne inwentaryzacje obejmujące wbudowaną i nieautoryzowaną AI. Ten wskaźnik wykracza poza liczenie zatwierdzonych modeli.
Wiarygodna inwentaryzacja powinna łączyć systemy z danymi, uprawnieniami, dostawcami, właścicielami i konsekwencjami biznesowymi. Powinna także identyfikować agentów, którzy mogą podejmować działania, a nie tylko generować treści.
Jeśli organizacje zaczną ujawniać zakres inwentaryzacji, wyniki audytów lub ograniczenie nieznanego użycia AI, diagnoza AXA XL zyska praktyczne potwierdzenie. Pokazałoby to, że firmy uznają widoczność za fundament kontroli.
Jeśli większość firm nadal będzie polegać na zgłaszanych przez siebie listach narzędzi i jednorazowych zatwierdzeniach, luka w zarządzaniu pozostanie. Shadow AI i wbudowane funkcje dostawców będą nadal rozszerzać się poza formalnym przeglądem.
Drugim sygnałem będzie przyjęcie ciągłego testowania i ćwiczeń dotyczących incydentów. Oceny bezpieczeństwa przed wdrożeniem stają się coraz powszechniejsze, lecz AXA XL twierdzi, że przeglądy przed uruchomieniem są niewystarczające.
Organizacje powinny testować prompt injection, wycieki danych, nadmierne uprawnienia, niewiarygodne wyniki i awarie dostawców. W ćwiczeniach powinny uczestniczyć zespoły prawne, bezpieczeństwa, operacyjne, komunikacyjne oraz właściciele biznesowi.
Najbardziej użyteczne testy będą koncentrować się na konsekwencjach. Czy firma potrafi wykryć nieautoryzowane użycie narzędzi? Czy może odizolować poświadczenia agenta? Czy potrafi odtworzyć decyzję i powiadomić osoby, których ona dotyczy?
Rosnąca liczba danych z rzeczywistych incydentów wzmocniłaby zarówno zarządzanie, jak i ubezpieczenia. Mogłaby pomóc organizacjom porównywać mechanizmy kontroli, a ubezpieczycielom dostarczyć lepszych informacji o częstotliwości i skali zdarzeń.
Brak wspólnych dowodów dotyczących incydentów osłabiłby zaufanie. Firmy mogłyby deklarować silniejszy nadzór, jednocześnie powtarzając błędy, które pozostają niewidoczne poza ich własnymi systemami.
Trzecim sygnałem będzie to, czy ubezpieczyciele i regulatorzy zaczną wymagać porównywalnych dowodów. Warto obserwować pytania w procesie oceny ubezpieczeniowej dotyczące rejestrów AI, kontroli dostępu, weryfikacji przez człowieka, zależności od dostawców i monitorowania.
Należy też śledzić, w jaki sposób regulatorzy przekładają ogólne zasady na konkretne oczekiwania dotyczące dokumentacji i testów. Jaśniejsze wymogi dowodowe mogą zmniejszyć niepewność po stronie nabywców, dostawców i ubezpieczycieli.
Niewłaściwą reakcją byłby wyścig w tworzeniu dokumentacji. Firmy mogą opracowywać rozbudowane polityki, nie kontrolując działających systemów. Dowody powinny odzwierciedlać rzeczywiste uprawnienia, zachowanie systemów, monitorowanie i zdolność reagowania.
Lepsze podejście łączy zarządzanie z decyzjami wdrożeniowymi. Systemy o wyższym ryzyku powinny podlegać silniejszym kontrolom, częstszym testom i jaśniejszym zasadom zawieszania działania. Zastosowania o niższym ryzyku powinny być traktowane proporcjonalnie.
Dla deweloperów i zespołów produktowych oznacza to projektowanie obserwowalności i mechanizmów przeglądu w procesie pracy jeszcze przed uruchomieniem. Logi dodane po incydencie mogą nie odtworzyć brakującego kontekstu.
Nabywcy korporacyjni powinni pytać, do czego produkt może uzyskać dostęp, co może zmieniać oraz jak jego dostawca komunikuje aktualizacje. Powinni też wskazać, kto ponosi odpowiedzialność za awarie po integracji.
Pracownicy wiedzy powinni rozumieć, że wygodne funkcje AI mogą tworzyć ekspozycję organizacyjną. Poufne rejestry, dane klientów, wewnętrzna strategia i zastrzeżone dokumenty wymagają zatwierdzonych ścieżek obsługi.
Ostrzeżenie AXA XL dotyczące zarządzania AI ostatecznie podważa dobrze znany schemat wdrażania: najpierw uruchomienie, później ustalenie odpowiedzialności, a monitoring dopiero po wystąpieniu problemu.
Firmy nie muszą eliminować każdego ryzyka AI przed wykorzystaniem tej technologii. Muszą jednak wiedzieć, jakie ryzyka akceptują i kto może podjąć działania, gdy założenia okażą się błędne.
Najbliższe jeden do trzech miesięcy pokażą, czy firmy odpowiedzą zmianami operacyjnymi, czy jedynie dodatkowymi zapisami w politykach. Warto szukać kompletnych rejestrów, powtarzalnych testów w całym cyklu życia oraz pytań ubezpieczeniowych opartych na dowodach.
Sygnały te będą ważniejsze niż kolejna fala zasad dotyczących AI. Czy Twoja organizacja zmapowała każdy system AI, który może uzyskać dostęp do danych wrażliwych lub wpływać na działanie biznesowe, i czy potrafi udowodnić, że ta mapa pozostaje aktualna?
