Thales: firmy bardziej obawiają się ryzyk związanych z AI niż znanych zagrożeń cybernetycznych

Thales odnotował wyraźne odwrócenie trendu: 69% ankietowanych organizacji wskazało szybko zmieniający się ekosystem AI jako główne zagrożenie dla bezpieczeństwa związane z generatywną AI. Znane zagrożenia, takie jak malware, phishing i ransomware, nadal są aktywne, lecz przedsiębiorstwa mierzą się teraz z systemem, który same wdrażają.

Wynik ten nie oznacza, że AI już powoduje więcej naruszeń niż ransomware czy malware. Pokazuje, że firmy bardziej obawiają się niepewności związanej z wdrażaniem AI niż jakiegokolwiek pojedynczego, ugruntowanego rodzaju ataku. Zespoły bezpieczeństwa rozumieją mechanizmy kontroli phishingu. Mają mniejsze zaufanie do systemów, które mogą uzyskiwać dostęp do danych, generować kod i uruchamiać działania biznesowe.

To rozróżnienie ma znaczenie, ponieważ ryzyko AI przekracza kilka ustalonych granic. Łączy cyberbezpieczeństwo, prywatność, ryzyko prawne, niezawodność modeli i kontrolę operacyjną. Główny konflikt nie dotyczy już adopcji AI i oporu wobec niej. Chodzi o tempo wdrożeń biznesowych w zestawieniu ze zdolnością organizacji do zarządzania tym, co już zainstalowała.

Ankieta ujawnia zmianę w obawach przedsiębiorstw

Firmy nie zastępują dawnych obaw cybernetycznych AI. Dostrzegają, że AI może jednocześnie wzmacniać kilka rodzajów ryzyka.

Raport o zagrożeniach dla danych objął ponad 3100 specjalistów ds. technologii i bezpieczeństwa z 20 krajów i 15 branż. Badanie dla Thales przeprowadziła firma S&P Global Market Intelligence 451 Research.

Wśród respondentów 69% wskazało szybko zmieniający się ekosystem AI jako główne zagrożenie dla bezpieczeństwa związane z generatywną AI. Integralność modeli znalazła się na drugim miejscu z wynikiem 64%, a wiarygodność na kolejnym z 57%.

Określenie „szybko zmieniający się ekosystem” obejmuje więcej niż premiery modeli. Dotyczy dostawców modeli, wtyczek, usług danych, frameworków programistycznych, agentów oraz infrastruktury, która je łączy. Każdy komponent może zmieniać się niezależnie, tworząc łańcuch zależności, którego zespoły bezpieczeństwa nie kontrolują w pełni.

Różni się to od typowego incydentu z malware. Zespół bezpieczeństwa może zidentyfikować złośliwy plik, odizolować punkt końcowy i zbadać jego ścieżkę. System AI może działać nieprawidłowo bez obecności malware lub tradycyjnego wskaźnika kompromitacji.

Model może ujawnić poufne informacje, ponieważ użytkownik wprowadził je do niezatwierdzonej usługi. Agent może pobrać dane wykraczające poza zamierzony zakres osoby składającej żądanie. Kod wygenerowany przez AI może wprowadzić podatną zależność bez wywołania natychmiastowego alertu.

Takie skutki mogą przypominać zwykłe awarie cyberbezpieczeństwa. Ich przyczyny często jednak leżą poza tradycyjnym centrum operacji bezpieczeństwa. Na system wpływają działy zakupów, prawny, inżynierii, data science, zgodności oraz zespoły biznesowe.

Ankieta wykazała również, że 73% respondentów inwestowało w narzędzia bezpieczeństwa przeznaczone specjalnie dla AI. Część otrzymała nowe budżety, a inni przekierowali istniejące wydatki na bezpieczeństwo. Wskaźnik potwierdza, że obawy już wpłynęły na decyzje zakupowe i planistyczne.

Dodatkowe oprogramowanie nie rozwiązuje jednak automatycznie problemu niejasnej odpowiedzialności. Produkt monitorujący nie może zdecydować, do których danych biznesowych agent powinien mieć dostęp. Nie jest też w stanie określić akceptowalnego zachowania modelu dla każdego klienta, pracownika czy regulowanego procesu.

W tym samym badaniu tradycyjne kategorie ataków pozostały istotne. Malware zajęło pierwsze miejsce wśród obserwowanych rodzajów ataków, phishing przesunął się na drugie, a ransomware znalazło się na trzecim.

Ten kontekst ogranicza znaczenie nagłówka. AI jest największym nowym powodem obaw związanych z adopcją generatywnej AI, a nie dowodem na zanik ugruntowanych zagrożeń. Firmy muszą chronić dwa nakładające się środowiska, zamiast wybierać między nimi.

Zmiana nadal ma znaczenie. Liderzy bezpieczeństwa traktują teraz AI jako obszar ryzyka dla przedsiębiorstwa, a nie po prostu kolejną aplikację wymagającą ochrony punktów końcowych. Jej awarie mogą powstawać w zatwierdzonych procesach i rozprzestrzeniać się przez zaufany dostęp.

Dlaczego zagrożenia dla bezpieczeństwa AI wymykają się znanym mechanizmom kontroli

AI zmienia jednostkę ryzyka: z przewidywalnej aplikacji na system, który interpretuje instrukcje i wybiera działania.

Tradycyjne aplikacje przedsiębiorstw zazwyczaj oferują zdefiniowane funkcje. Użytkownicy wprowadzają ustrukturyzowane dane, wybierają dozwolone działania i otrzymują ograniczone rezultaty. Zespoły bezpieczeństwa mogą powiązać te funkcje z tożsamościami, uprawnieniami, bazami danych i zapisami audytowymi.

Generatywna AI przyjmuje otwarte instrukcje. Jej wynik zależy od promptu, pobranych informacji, zachowania modelu, konfiguracji systemu i połączonych narzędzi. Niewielkie zmiany w dowolnym miejscu tego łańcucha mogą prowadzić do innych rezultatów.

Agent AI dodaje kolejną warstwę. Agent to oprogramowanie, które wykorzystuje model do planowania zadań i wywoływania narzędzi przy ograniczonej interwencji człowieka. Narzędzia te mogą obejmować e-mail, repozytoria kodu, bazy danych klientów, kalendarze i systemy finansowe.

Taka architektura tworzy ryzyka, na które mechanizmy ochrony obwodowej nie zostały zaprojektowane. Uprawniony pracownik może przekazać ryzykowną instrukcję przez zatwierdzony interfejs. Model może następnie wykorzystać autoryzowane połączenia w niezamierzony sposób.

Prompt injection ilustruje ten problem. Złośliwa instrukcja może pojawić się w dokumencie, stronie internetowej lub wiadomości przetwarzanej przez system AI. Instrukcja próbuje odwrócić model od zamierzonego zadania.

Nie jest wymagane skradzione hasło, gdy agent ma już dostęp. Atakujący celuje zamiast tego w warstwę interpretacji modelu. To przekształca zwykłe treści biznesowe w potencjalny kanał kontroli.

Pobieranie danych stwarza podobne wyzwanie. Retrieval-augmented generation pozwala modelowi korzystać z wybranych informacji organizacyjnych podczas tworzenia odpowiedzi. Model nie musi zawierać tych informacji w swoich pierwotnych danych treningowych.

Jakość pobierania zależy jednak od uprawnień i metadanych. Indeks wyszukiwania, który ignoruje reguły dostępu na poziomie dokumentu, może ujawnić materiały, których użytkownik nie mógłby otworzyć bezpośrednio. Odpowiedź może ukryć tę awarię kontroli dostępu za naturalnym językiem.

Ma to znaczenie dla firm budujących wewnętrznych asystentów na podstawie umów, protokołów spotkań, zgłoszeń wsparcia czy dokumentów inżynieryjnych. Użyteczny asystent potrzebuje szerokiego kontekstu. Każde dodatkowe źródło zwiększa również konsekwencje słabych uprawnień.

Pracownicy tworzą kolejną ekspozycję poprzez shadow AI, czyli usługi AI wykorzystywane bez zgody lub nadzoru organizacji. Pracownicy mogą wklejać kod źródłowy, dane klientów lub plany biznesowe do publicznych narzędzi, aby oszczędzić czas.

Takie zachowanie trudno kontrolować wyłącznie za pomocą polityk. Pracownicy często postrzegają okno czatu AI jako tymczasową przestrzeń roboczą, a nie zewnętrzny podmiot przetwarzający dane. Interfejs wydaje się mniej ryzykowny niż przesłanie pliku na nieznaną stronę internetową.

Ustalenia dotyczące nadzoru nad AI przywołują ankietę, w której 78% pracowników zgłosiło korzystanie z narzędzi AI w pracy. W tej grupie 58% przyznało, że przekazywało wrażliwe informacje firmowe dużym modelom językowym.

Dane deklarowane przez respondentów nie mierzą potwierdzonej utraty danych. Mimo to pokazują, dlaczego ryzyko AI zaczyna się od uprawnionych użytkowników, a nie wyłącznie od zewnętrznych atakujących. Adopcja może wyprzedzać formalny przegląd, ponieważ narzędzia są łatwo dostępne.

Wyzwanie obejmuje również tworzenie oprogramowania. Asystenci AI mogą proponować kod szybciej, niż zespoły są w stanie go przeglądać. Wygenerowana funkcja może działać podczas testów, a jednocześnie zawierać niebezpieczne ustawienia domyślne, słabą walidację lub przestarzałą zależność.

Skanery bezpieczeństwa mogą wykrywać znane wzorce, ale nie gwarantują, że wygenerowana logika odpowiada wymaganiom biznesowym. Weryfikacja przez człowieka pozostaje konieczna, szczególnie gdy kod obsługuje uwierzytelnianie, płatności lub informacje regulowane.

Wyniki modelu również stwarzają ryzyko dla integralności. System może tworzyć fałszywe treści z dużą pewnością siebie, co jest zachowaniem powszechnie nazywanym halucynacją. Rezultat staje się niebezpieczny, gdy inna aplikacja traktuje go jako zweryfikowane dane wejściowe.

Błędne podsumowanie jest niewygodne. Błędna decyzja dotycząca dostępu lub instrukcja finansowa ma konsekwencje operacyjne. To samo zachowanie modelu wiąże się z różnym ryzykiem w zależności od narzędzi i uprawnień, które go otaczają.

Dlatego bezpieczeństwa AI nie można sprowadzać do dokładności modelu. Istotne pytanie brzmi: co dzieje się, gdy model się myli, zostaje zmanipulowany lub otrzymuje nadmierny dostęp.

Rzeczywisty konflikt dotyczy tempa wdrożeń i kontroli

Kadra zarządzająca chce już teraz mierzalnych korzyści z AI, podczas gdy zespoły bezpieczeństwa przejmują systemy, których uprawnienia i ścieżki awarii pozostają niejasne.

Presja zaczyna się ponad organizacją bezpieczeństwa. Rady nadzorcze i zespoły kierownicze oczekują, że CIO znajdą produktywne zastosowania AI, ograniczą tarcia operacyjne i nie pozostaną w tyle za konkurencją.

Zespoły biznesowe mogą rozpocząć pilotaż AI w ciągu kilku dni. Zbudowanie kompletnego inwentarza, modelu uprawnień, procesu ewaluacji i planu reagowania na incydenty zajmuje więcej czasu. Ta różnica czasowa tworzy główny konflikt artykułu.

Badanie Logicalis z 2026 roku wykazało, że ponad jedna czwarta CIO uznawała AI za istotne ryzyko. Respondenci umieścili ją obok malware, ransomware i phishingu, zgodnie z ustaleniami dotyczącymi bezpieczeństwa CIO.

To samo badanie wykazało, że dwie trzecie uznawało szkolenia pracowników z zakresu zarządzania ryzykiem AI za niewystarczające. Poinformowano również, że 94% CIO zmagało się z niedoborem kompetencji w zakresie cyberbezpieczeństwa.

Wyniki te ujawniają problem zdolności, a nie wyłącznie problem technologiczny. Organizacje dodają nieznaną klasę systemów, podczas gdy istniejące zespoły bezpieczeństwa już teraz nie mają wystarczającej liczby wyspecjalizowanych pracowników.

Odpowiedzialność może też ulec rozproszeniu. CIO może odpowiadać za strategię technologiczną, podczas gdy CISO odpowiada za bezpieczeństwo. Zespoły prawne nadzorują własność intelektualną i ekspozycję regulacyjną. Osoby odpowiedzialne za dane zarządzają nadzorem, a jednostki biznesowe wybierają przypadki użycia.

Awaria AI może dotknąć każdą z tych grup, nie wpisując się wyraźnie w zakres żadnego działu. Gdy odpowiedzialność pozostaje niejednoznaczna, zatwierdzenia stają się niespójne, a reagowanie na incydenty zwalnia.

Ugruntowane programy cyberbezpieczeństwa stanowią użyteczny punkt odniesienia. Organizacje przez lata definiowały procesy zarządzania podatnościami, ochrony punktów końcowych, tożsamości, kopii zapasowych i odzyskiwania.

Te mechanizmy kontroli pozostają niezbędne. Systemy AI nadal działają na zwykłych usługach chmurowych, aplikacjach i kontach użytkowników. Przejęta tożsamość może narazić proces AI tak samo, jak naraża inne oprogramowanie.

AI dodaje jednak decyzje, których tradycyjne mechanizmy kontroli nie potrafią podejmować samodzielnie. Firewall nie może określić, czy wygenerowana rekomendacja zawiera niedopuszczalne uprzedzenia. Oprogramowanie punktów końcowych nie jest w stanie ocenić, czy model przywołał właściwą wewnętrzną politykę.

Nie uzasadnia to tworzenia odizolowanej biurokracji zarządzania AI. Całkowite oddzielenie AI od cyberbezpieczeństwa prowadziłoby do dublowania mechanizmów kontroli i tworzenia nowych luk.

Silniejsze podejście zaczyna się od istniejących mechanizmów zarządzania tożsamością, klasyfikacji danych, przeglądu oprogramowania i obsługi incydentów. Zespoły mogą następnie dodać ewaluację modeli i kontrole specyficzne dla agentów tam, gdzie zwykłe procesy nie wystarczają.

Tożsamość zasługuje na szczególną uwagę, ponieważ agenci działają za pośrednictwem poświadczeń. Każdy agent powinien mieć własną tożsamość, ograniczone uprawnienia i udokumentowanego właściciela. Wspólne konta utrudniają rozliczalność.

Uprawnienia powinny odpowiadać najmniejszemu zestawowi działań wymaganych do realizacji przypisanego zadania. Asystent podsumowujący zgłoszenia wsparcia nie potrzebuje uprawnień do usuwania rekordów. Agent programistyczny nie potrzebuje nieograniczonego dostępu do środowiska produkcyjnego.

Organizacje potrzebują również aktualnego inwentarza. Zespoły nie mogą nadzorować modeli, wtyczek i połączeń danych, o których istnieniu nie wiedzą. Same rejestry zakupowe nie obejmą narzędzi przeglądarkowych ani integracji tworzonych przez pracowników.

Inwentarz powinien zawierać dostawcę modelu, właściciela biznesowego, źródła danych, podłączone narzędzia, docelowych użytkowników oraz zakres uprawnień decyzyjnych. Powinien też wskazywać, czy wyniki podlegają kontroli człowieka.

W przypadku pracy intensywnie wykorzystującej wiedzę firmy mogą ograniczyć ekspozycję, utrzymując materiały źródłowe w zatwierdzonych systemach. Kontrolowana baza wiedzy AI może zachować granice dostępu, jednocześnie pomagając zespołom odnajdywać istotny kontekst.

Taki wybór nie eliminuje ryzyka związanego z AI. Zapewnia jednak bardziej przejrzysty przepływ danych niż kopiowanie wrażliwych materiałów między niepowiązanymi usługami konsumenckimi. O wyniku nadal decydują jasne przypisanie odpowiedzialności i egzekwowanie uprawnień.

Celem nie jest blokowanie każdego eksperymentu. Nadmiernie szerokie ograniczenia mogą skłaniać pracowników do korzystania z niezatwierdzonych narzędzi. Nadzór działa lepiej, gdy zatwierdzone opcje pozostają użyteczne i dostępne.

Czego Nagłówek Nie Dowodzi

Wskaźnik obaw z badania mierzy postrzeganą ekspozycję, a nie rzeczywistą częstotliwość ani finansowy wpływ incydentów AI.

Nagłówek nasuwa prosty wniosek: AI stała się bardziej niebezpieczna niż ransomware, malware czy phishing. Dostępne dowody nie potwierdzają tego twierdzenia.

Thales zapytał respondentów o obawy związane z generatywną AI, a osobno przedstawił obserwowane kategorie ataków. Te pomiary odpowiadają na różne pytania i nie mogą służyć do bezpośredniego rankingu ryzyka.

Badanie obaw odzwierciedla niepewność, uwagę i oczekiwane konsekwencje. Dane o incydentach mierzą zdarzenia, które organizacje wykryły i sklasyfikowały. Żadne z nich nie przedstawia automatycznie całkowitych strat.

Respondenci mogą wysoko oceniać ryzyko AI, ponieważ jej granice pozostają niejasne. Znane zagrożenie może wydawać się łatwiejsze do opanowania, nawet jeśli powoduje większe, mierzalne szkody.

Na odpowiedzi może też wpływać nowość zjawiska. Liderzy bezpieczeństwa często otrzymują pytania o AI od zarządów, klientów, regulatorów i pracowników. Ta widoczność może podnosić postrzegane ryzyko, nie świadcząc o większej liczbie incydentów.

Badania sponsorowane przez dostawcę wymagają dodatkowej ostrożności. Thales sprzedaje produkty z zakresu cyberbezpieczeństwa i ochrony danych, więc firma ma komercyjny interes w wydatkach na bezpieczeństwo AI. Badanie przeprowadził S&P Global Market Intelligence 451 Research, lecz czytelnicy nadal powinni analizować sposób jego ujęcia.

Nie podważa to ustaleń. Oznacza natomiast, że odsetki powinny wspierać wąski wniosek: przedsiębiorstwa zgłaszają wysoki poziom obaw i kierują zasoby na bezpieczeństwo specyficzne dla AI.

Dane pochodzą również z wielu krajów i branż. Bank wykorzystujący agentów do transakcji klientów mierzy się z innymi konsekwencjami niż producent testujący wewnętrznego asystenta do pisania.

Zagregowane odsetki mogą ukrywać te różnice. Ryzyko zależy od wrażliwości danych, poziomu automatyzacji, populacji użytkowników, obowiązków regulacyjnych i zakresu uprawnień modelu do działania.

Firmy powinny zatem unikać kopiowania uniwersalnej listy kontrolnej bezpieczeństwa AI. Narzędzie do tworzenia szkiców o niskim wpływie nie wymaga takich samych zabezpieczeń jak agent zmieniający konta klientów.

Kolejna niepewność dotyczy klasyfikacji incydentów. Atakujący może użyć AI do napisania wiadomości phishingowej, lecz organizacja może zarejestrować zdarzenie jako phishing. AI wspomogła atak, nie stając się zgłaszaną kategorią.

Możliwa jest też sytuacja odwrotna. Zwykły błąd w uprawnieniach w aplikacji AI może otrzymać etykietę AI, ponieważ nowy interfejs uwidocznił problem.

Badacze potrzebują spójnych definicji, zanim porównania staną się wiarygodne. Muszą rozróżniać ataki wykorzystujące AI, ataki wymierzone w systemy AI oraz awarie spowodowane zatwierdzonym użyciem AI.

Analiza bezpieczeństwa agentów NIST wykazała szeroką zgodę co do tego, że podstawowe praktyki cyberbezpieczeństwa nadal pozostają istotne. Respondenci stwierdzili również, że praktyki te wymagają dostosowania do bezpieczeństwa agentów.

To bardziej użyteczne ujęcie niż ogłaszanie, że tradycyjne cyberbezpieczeństwo jest przestarzałe. AI dziedziczy znane ryzyka infrastrukturalne, jednocześnie dodając nowe ścieżki instrukcji, dostępu i autonomicznego działania.

Istnieje też ryzyko zbyt szybkiego przesuwania budżetów. Firmy nadal potrzebują aktualizacji, uwierzytelniania wieloskładnikowego, kopii zapasowych, bezpieczeństwa poczty elektronicznej i przetestowanych planów odtwarzania. Mechanizmy kontroli AI nie zrekompensują zaniedbanych podstaw.

Atakujący często wykorzystują znane słabości, ponieważ te metody nadal są skuteczne. Dodanie warstwy monitorowania AI ponad słabymi mechanizmami kontroli tożsamości może tworzyć pozory postępu bez ograniczania podstawowej ekspozycji.

Kierownictwo powinno pytać, jak każda inwestycja zmienia mierzalny wynik. Przydatne miary obejmują nieautoryzowany dostęp do danych, działania agentów o wysokim ryzyku, naruszenia polityk oraz czas potrzebny na opanowanie incydentu związanego z AI.

Zespoły bezpieczeństwa powinny testować deklaracje dostawców w realistycznych warunkach. Produkt wykrywający oczywiste prompt injection może zawieść wobec instrukcji ukrytych w dokumentach biznesowych lub zakodowanych na kilku etapach.

Ćwiczenia red-team mogą ujawnić te słabości. Zespół red-team AI sprawdza, jak system reaguje na manipulację, niebezpieczne żądania, nadmierne uprawnienia i nieoczekiwane dane.

Testowanie musi obejmować całą aplikację, a nie tylko model. Bezpieczny model może stać się niebezpieczny po podłączeniu do szerokiego zestawu narzędzi. Słabszy model może pozostać mało ryzykowny w ściśle ograniczonym przepływie pracy.

Kontrola człowieka również nie jest uniwersalną odpowiedzią. Recenzenci mogą stać się jedynie formalnością, gdy systemy generują zbyt wiele decyzji lub gdy terminy premiują szybkość.

Właściwa kontrola zależy od konsekwencji. Treści o niskim ryzyku można sprawdzać wyrywkowo. Działania o wysokim wpływie powinny wymagać wyraźnego zatwierdzenia, niezależnej walidacji lub ograniczenia technicznego uniemożliwiającego autonomiczne wykonanie.

Nadzór Nad AI Trafia Do Sali Posiedzeń Zarządu

Ryzyko AI stało się kwestią nadzoru, ponieważ mechanizmy techniczne nie są w stanie rozwiązać problemu niejasnej odpowiedzialności ani sprzecznych bodźców biznesowych.

Publiczne ujawnienia pokazują, jak szybko rozszerzył się ten problem. The Conference Board ustalił, że odsetek spółek z indeksu S&P 500 wspominających o ryzykach AI wzrósł z 12% w 2023 roku do 83% w 2025 roku.

Badanie dotyczące nadzoru wykazało również, że 58% wskazało cyberbezpieczeństwo i naruszenia danych jako najistotniejsze ryzyko związane z AI. Mniej niż 10% badanych członków kadry kierowniczej stwierdziło, że ich firmy są w pełni przygotowane na regulacje dotyczące AI.

Ujawnienia ryzyka nie potwierdzają, że doszło do incydentów. Firmy wykorzystują zgłoszenia do opisu możliwych istotnych zagrożeń, a ostrożność prawna może zachęcać do stosowania szerokiego języka.

Mimo to zmiana sygnalizuje, że AI wyszła poza zespoły innowacyjne. Zarządy muszą teraz uwzględniać nadzór, eskalację i odpowiedzialność kierownictwa.

Rolą zarządu nie jest zatwierdzanie poszczególnych modeli. Dyrektorzy powinni weryfikować, czy kierownictwo rozumie, gdzie AI wpływa na produkty, operacje, pracowników i klientów.

Powinni również wiedzieć, które wdrożenia mogą podejmować decyzje o istotnych konsekwencjach. Asystent przygotowujący wewnętrzne teksty różni się od agenta aktualizującego ceny, przekazującego pieniądze lub zmieniającego uprawnienia dostępu.

Raportowanie dla kierownictwa powinno łączyć sygnały techniczne z wpływem na działalność. Wyniki testów modeli niewiele znaczą bez wyjaśnienia, jakie decyzje wspiera system.

Przydatny raport może pokazywać, ile systemów AI ma dostęp do poufnych danych. Może wskazywać agentów z uprawnieniami do zapisu, nierozwiązane ustalenia o wysokim ryzyku oraz wyjątki oczekujące na przegląd.

Zarządy powinny także analizować ryzyko koncentracji. Kilka wewnętrznych aplikacji może zależeć od jednego dostawcy modeli, usługi tożsamości lub platformy retrieval. Pojedyncza awaria może wtedy wpłynąć na wiele funkcji biznesowych.

Zależności od podmiotów trzecich komplikują zapewnienie bezpieczeństwa. Przedsiębiorstwo może zabezpieczyć własną aplikację, jednocześnie polegając na dostawcy, który zmienia zachowanie modelu, warunki retencji lub funkcje integracji.

Umowy mogą ustanawiać obowiązki dotyczące powiadamiania, audytu i postępowania z danymi. Nie mogą zapobiec każdej zmianie technicznej. Zespoły nadal potrzebują monitorowania i planów awaryjnych.

Regulacje są kolejnym źródłem presji. Różne jurysdykcje klasyfikują systemy AI według przeznaczenia, sektora i potencjalnej szkody. Firma międzynarodowa może podlegać nakładającym się wymogom dotyczącym prywatności, cyberbezpieczeństwa, ochrony konsumentów i AI.

Zgodność nie powinna stać się jedyną definicją bezpieczeństwa. System może spełniać wymagania dokumentacyjne, a jednocześnie zachowywać nadmierne uprawnienia lub wydawać niewiarygodne decyzje.

Z drugiej strony zespół techniczny może ograniczyć bezpośrednie ryzyko bezpieczeństwa, nie rozwiązując kwestii obowiązków prawnych dotyczących przejrzystości, dyskryminacji czy własności intelektualnej.

To przecięcie wyjaśnia, dlaczego w niektórych badaniach obawy przed AI przewyższyły każde pojedyncze, znane zagrożenie. Ryzyko nie sprowadza się do jednej metody ataku. To problem nadzoru obejmujący cały cykl życia technologii.

Organizacje potrzebują jasnych etapów kontrolnych przed wdrożeniem, ale potrzebują też stałego przeglądu. Modele, dane, użytkownicy i integracje zmieniają się po początkowym zatwierdzeniu.

Monitorowanie powinno wykrywać nietypowe wywołania narzędzi, nieautoryzowane pobieranie danych, nienormalny przepływ danych i zmiany jakości wyników. Dzienniki muszą pokazywać, która tożsamość zainicjowała każde działanie i które źródła na nie wpłynęły.

Plany reagowania na incydenty powinny obejmować scenariusze specyficzne dla AI. Zespoły potrzebują procedur wyłączania agenta, unieważniania poświadczeń, zachowywania promptów i identyfikowania danych, których dotyczy problem.

Muszą także określić, kiedy niewiarygodny wynik staje się incydentem wymagającym zgłoszenia. Decyzja ta może wymagać udziału liderów ds. bezpieczeństwa, prywatności, prawa i operacji.

Szkolenia powinny odzwierciedlać role pracowników. Ogólne ostrzeżenia dotyczące danych poufnych łatwo zignorować. Programiści, zespoły sprzedaży, analitycy i kadra kierownicza spotykają się z różnymi trybami awarii.

Programista potrzebuje wskazówek dotyczących generowanego kodu i zależności. Sprzedawca potrzebuje zasad dotyczących danych klientów. Członek kadry kierowniczej musi umieć rozpoznawać podszywanie się z użyciem deepfake’ów i zmanipulowane materiały decyzyjne.

Skuteczny nadzór ułatwia więc bezpieczne zachowanie. Zatwierdzone narzędzia powinny oferować wystarczającą wartość, aby pracownicy nie potrzebowali nieoficjalnych alternatyw do rutynowej pracy.

Trzy Sygnały Pokażą, Czy Mechanizmy Obronne Przedsiębiorstw Nadrabiają Zaległości

Kolejny etap będzie mierzony poprzez uprawnienia agentów, zweryfikowane dane o incydentach oraz dowody, że nadzór zmienia decyzje wdrożeniowe.

Pierwszym sygnałem będzie węższy dostęp agentów. Przedsiębiorstwa powinny zacząć raportować, ilu agentów AI ma unikalne tożsamości, ograniczone uprawnienia i wymóg zatwierdzenia przez człowieka dla działań o istotnych konsekwencjach.

Ta miara wykracza poza liczenie zatwierdzonych aplikacji. Sprawdza, czy firmy rozumieją zakres uprawnień, które przyznają oprogramowaniu.

Postęp będzie widoczny, gdy organizacje zastąpią współdzielone poświadczenia i nieograniczone konektory. O porażce będą świadczyć agenci dziedziczący szerokie uprawnienia pracowników lub administratorów.

Drugim sygnałem będzie lepsza klasyfikacja incydentów. Raporty bezpieczeństwa muszą rozdzielać ataki wspomagane przez AI, ataki na systemy AI oraz awarie spowodowane wewnętrznym wykorzystaniem AI.

Wiarygodne kategorie pozwoliłyby firmom porównywać częstotliwość, dotkliwość i skuteczność mechanizmów kontroli. Pozwoliłyby też sprawdzić, czy obecne obawy odpowiadają obserwowanym szkodom.

Wzrost liczby zgłaszanych incydentów nie oznaczałby automatycznie porażki zabezpieczeń. Lepsze wykrywanie często najpierw podnosi liczby, zanim obniży straty.

Trzecim sygnałem będzie to, czy nadzór zmienia rzeczywiste wdrożenia. Polityki mają znaczenie tylko wtedy, gdy ograniczają dane, zmniejszają zakres uprawnień, opóźniają niebezpieczne wdrożenia lub wymagają dodatkowych testów.

Najmocniejszym dowodem będą udokumentowane zmiany zakresu. Firma może odebrać agentowi możliwość wysyłania wiadomości, ograniczyć źródła pobierania danych lub zachować wymóg zatwierdzania przez człowieka działań finansowych.

Słabszym sygnałem jest powołanie kolejnego komitetu nadzorczego bez uprawnień operacyjnych. Ład organizacyjny, który nie może wpłynąć na decyzję o uruchomieniu, będzie miał trudności z ograniczaniem presji biznesowej.

Firmy powinny również obserwować, jak ubezpieczyciele cybernetyczni i regulatorzy traktują incydenty związane z AI. Bardziej szczegółowe wymogi zmusiłyby organizacje do dokumentowania mechanizmów kontrolnych oraz odróżniania deklaracji od sprawdzonych możliwości.

Najważniejsza lekcja nie polega na tym, że AI pokonała cyberbezpieczeństwo. Chodzi o to, że przedsiębiorstwa łączą systemy probabilistyczne z cennymi danymi i zaufanymi narzędziami biznesowymi szybciej, niż dojrzewają mechanizmy kontrolne.

Ta nierównowaga wyjaśnia obawy. Złośliwe oprogramowanie, phishing i ransomware są groźne, ale ich schematy działania są znane. AI wprowadza niepewność do przepływów pracy, które firmy aktywnie chcą rozwijać.

Liderzy ds. bezpieczeństwa muszą teraz utrzymywać podstawową higienę cyberbezpieczeństwa, jednocześnie dodając ocenę modeli, tożsamość agentów, kontrolę danych i odpowiedzialność międzyfunkcyjną. Zaniedbanie którejkolwiek ze stron tworzy lukę, której można uniknąć.

Dla nabywców technologii, deweloperów i pracowników wiedzy praktyczne pytanie jest proste: czy narzędzie AI otrzymuje wyłącznie informacje i uprawnienia niezbędne do wykonania swojego zadania?

Zadaj to pytanie, zanim kolejna integracja zostanie uruchomiona. Zapisz odpowiedź, przetestuj granicę i zdecyduj, kto może zatrzymać system, gdy zachowuje się nieoczekiwanie. Te dowody będą miały większe znaczenie niż kolejna ogólna obietnica, że organizacja korzysta z AI w sposób odpowiedzialny.