Halucynacja AI w Pentagonie omal nie wywołała amerykańskiej operacji wojskowej, ujawniając porażkę weryfikacji

Halucynacja AI w Pentagonie omal nie doprowadziła do planowania amerykańskiej operacji wojskowej — samoloty były już w powietrzu, zanim urzędnicy wykryli jedno fałszywe twierdzenie dotyczące ładunku. Raport wywiadowczy twierdził, że chiński statek na Bliskim Wschodzie przewoził komponenty do programu broni jądrowej. Jak podano, uzbrojony personel przygotowywał się do wejścia na pokład jednostki, gdy dokładniejsza analiza wstrzymała operację.

Informacje wywiadowcze nie były jedynie niedokładne. Według fałszywego raportu wywiadowczego opublikowanego przez CNN i rozpowszechnionego przez stację partnerską chatbot błędnie zidentyfikował materiał wymieniony w manifeście ładunkowym statku. Analityk Dowództwa Operacji Specjalnych poprosił system o połączenie materiałów ze źródeł otwartych z niejawnym wywiadem sygnałowym.

Następnie analityk ponownie wykorzystał AI, by ująć wniosek w standardowym raporcie wywiadowczym. Ten drugi krok nadał niepopartemu dowodami twierdzeniu wygląd i strukturę uznanego produktu wojskowego. Powstały dokument krążył w kanałach dowodzenia podczas wojny z Iranem, gdy decyzje już wcześniej kształtowały presja czasu i niepewność.

Urzędnicy odkryli problem krótko przed planowanym przechwyceniem. Pentagon i U.S. Special Operations Command Pacific nie skomentowały publicznie incydentu. Tożsamość chatbota, rzeczywisty ładunek oraz dokładny etap weryfikacji, który ostatecznie ujawnił błąd, pozostają nieujawnione.

Główny problem jest zatem większy niż jedna błędna odpowiedź. Wojsko chce, aby AI skróciła czas między pozyskaniem informacji a działaniem. Jednak to samo przyspieszenie może wyeliminować chwile, w których analitycy kwestionują założenia, sprawdzają źródła i odróżniają dowody od wygenerowanego tekstu.

Jak halucynacja AI omal nie uruchomiła planowania amerykańskiej operacji wojskowej

Błąd przeszedł przez dwa odrębne etapy wspomagane przez AI: najpierw analizę, a następnie prezentację.

Zdarzenie rozpoczęło się od informacji wywiadowczych dotyczących manifestu chińskiego statku. Źródłowe ustalenia miały pochodzić od U.S. Special Operations Command Pacific, mającego siedzibę na Hawajach i nadzorującego operacje specjalne w regionie Indo-Pacyfiku.

Analityk zapytał niezidentyfikowanego chatbota o te ustalenia. System połączył wywiad ze źródeł otwartych z niejawnym wywiadem sygnałowym posiadanym przez rząd. Wywiad ze źródeł otwartych oznacza informacje zebrane z publicznie dostępnych materiałów, podczas gdy wywiad sygnałowy pochodzi z przechwyconej komunikacji elektronicznej lub emisji sygnałów.

Model następnie błędnie zidentyfikował materiał znajdujący się na pokładzie jednostki. Halucynacja AI to wiarygodnie brzmiący wynik, który nie ma oparcia w faktach, jest niepoprawny albo zmyślony. Duże modele językowe generują prawdopodobne sekwencje słów, więc pewny ton nie dowodzi prawdziwości stojącego za nim twierdzenia.

Analityk najwyraźniej nie wychwycił tej różnicy. Wniosek chatbota stał się podstawą oceny, że statek przewoził przez Bliski Wschód komponenty programu jądrowego. Jedna osoba zaznajomiona ze sprawą miała opisać ukończony raport jako całkowicie fałszywy.

Ta sama technologia odegrała potem drugą rolę. Według opisanego niemal tragicznego zdarzenia analityk użył AI do przekształcenia ustaleń w raport wywiadowczy o standardowym formacie. Format ten był znany urzędnikom, którzy otrzymują informacje wywiadowcze i podejmują na ich podstawie działania.

To drugie zastosowanie ma znaczenie, ponieważ formatowanie może tworzyć instytucjonalną wiarygodność. Wątpliwe stwierdzenie w oknie chatbota wygląda na tymczasowe. To samo stwierdzenie w oficjalnym dokumencie może sprawiać wrażenie zweryfikowanego, opartego na źródłach i gotowego do użycia operacyjnego.

Raport rozprzestrzenił się w strukturach wojskowych podczas aktywnego konfliktu. Dowódcy zareagowali, przygotowując przechwycenie chińskiego statku. Dwa źródła podały, że uzbrojony amerykański personel przygotowywał się do wejścia na pokład, podczas gdy inne źródła informowały, że samoloty wojskowe były już w powietrzu.

Urzędnicy przyjrzeli się następnie raportowi dokładniej i znaleźli błąd wspomagany przez AI. Odwołali planowaną operację, zanim amerykańskie siły weszły na pokład statku. Dostępne doniesienia nie wskazują, kto zlecił ostateczną weryfikację ani jakie dowody podważyły twierdzenie o ładunku.

Te brakujące szczegóły uniemożliwiają pełną rekonstrukcję. Nie wiadomo, czy analityk źle zrozumiał narzędzie, zignorował wskaźniki niepewności, czy działał bez odpowiedniej procedury przeglądu. Nie jest też jasne, czy chatbot wskazał źródła, które można było niezależnie sprawdzić.

Znany ciąg zdarzeń ujawnia jednak problem z możliwością prześledzenia pochodzenia wniosków. Łańcuch dowodzenia otrzymał dopracowaną konkluzję bez dostatecznie widocznego wyjaśnienia, w jaki sposób model ją wygenerował. Forma dokumentu rozprzestrzeniała się skuteczniej niż informacje o jego ograniczeniach dowodowych.

Sprawa podważa także proste rozumienie ludzkiego nadzoru. Człowiek zainicjował zapytanie, przejrzał wynik, stworzył raport i go rozesłał. Inni ludzie zaplanowali odpowiedź. Udział człowieka nie zapobiegł temu, by błąd modelu zbliżył się do decyzji o użyciu siły.

To rozróżnienie jest ważne dla każdej organizacji wdrażającej generatywną AI. „Człowiek w pętli” niewiele znaczy, jeśli człowiek akceptuje wygenerowane twierdzenia bez niezależnej weryfikacji. Skuteczny nadzór wymaga konkretnej osoby, określonej kontroli, dostępnych materiałów źródłowych oraz uprawnień do zatrzymania procesu.

Incydent ostatecznie miał mechanizm zatrzymania, ponieważ urzędnicy przejrzeli raport przed wejściem na pokład statku. Weryfikacja nastąpiła jednak po tym, jak samoloty znalazły się już w powietrzu, a personel przygotowywał się do działania. Zabezpieczenie aktywowane pod sam koniec może zapobiec katastrofie, a jednocześnie ujawnić słabość systemu.

Dążenie Pentagonu do szybszej AI stworzyło presję

To niemal tragiczne zdarzenie nastąpiło w ramach strategii wdrażania, która traktuje szybkość podejmowania decyzji jako przewagę wojskową.

Amerykańskie wojsko od lat korzysta z systemów algorytmicznych, między innymi do analizy obrazów, logistyki, utrzymania sprzętu i wykrywania zagrożeń. Generatywna AI rozszerzyła ten program, ponieważ potrafi streszczać dokumenty, przygotowywać raporty, przeszukiwać duże zbiory i łączyć informacje z różnych formatów.

W styczniu 2026 roku sekretarz obrony Pete Hegseth ogłosił strategię przyspieszenia AI. Strategia zakładała szybsze eksperymentowanie, mniej barier biurokratycznych oraz szerszy dostęp do czołowych modeli w całym resorcie.

Jednym z priorytetów było wspomagane przez AI zarządzanie walką i wsparcie decyzyjne, obejmujące działania od planowania kampanii po realizację łańcucha rażenia. Łańcuch rażenia to proces identyfikowania, śledzenia, wybierania i atakowania celu. Skrócenie tego łańcucha może zapewnić przewagę nad przeciwnikiem podejmującym decyzje w podobnym tempie.

Resort dążył również do oddania zaawansowanych systemów AI w ręce wojskowych i cywilnych pracowników. Takie podejście sprzyja zdecentralizowanemu eksperymentowaniu, pozwalając jednostkom i personelowi znajdować zastosowania bez oczekiwania na jeden centralny program.

Decentralizacja może tworzyć użyteczną wiedzę operacyjną. Oficer logistyki rozumie problemy z zaopatrzeniem, których scentralizowane biuro technologiczne mogłoby nie dostrzec. Analityk wywiadu wie też, które zbiory dokumentów, strumienie raportowania i powtarzalne zadania pochłaniają cenny czas.

Ten sam model utrudnia zarządzanie. Różne dowództwa mogą korzystać z różnych produktów, konfiguracji, źródeł danych i zasad działania. Niezawodność może różnić się między systemami, a użytkownicy mogą otrzymywać niespójne szkolenia dotyczące dopuszczalnego użycia.

CNN podało, że nie istniał jeden standard weryfikacji obejmujący rozmaite systemy AI używane w całym wojsku i społeczności wywiadowczej. Nie dowodzi to, że każde dowództwo nie ma mechanizmów kontroli. Pokazuje jednak, że wspólny dostęp nie gwarantuje wspólnych praktyk weryfikacyjnych.

Incydent ze statkiem pokazuje, jak presja wdrożeniowa może zmieniać ludzkie zachowania jeszcze przed formalną zmianą polityki. Jeśli AI jest promowana jako droga do szybszych decyzji, analitycy mogą interpretować szybkość jako ceniony rezultat. Ostrożne opóźnienie może wtedy wydawać się oporem, a nie profesjonalnym osądem.

Młodsi analitycy mogą szczególnie swobodnie korzystać z interfejsów czatowych, choć znajomość takich narzędzi nie oznacza automatycznie nieostrożności. Szersze ryzyko dotyczy automatyzacyjnego uprzedzenia, czyli skłonności do faworyzowania odpowiedzi wygenerowanej przez maszynę mimo sprzecznych lub niepełnych dowodów.

Duże modele językowe wzmacniają to ryzyko, ponieważ komunikują się płynnie. Starsze narzędzia analityczne mogły zwracać wynik punktowy, alert albo sztywny rezultat z bazy danych. Chatbot potrafi stworzyć spójną narrację, która łączy źródła, przewiduje pytania i brzmi jak kompetentny współpracownik.

Płynność staje się szczególnie niebezpieczna, gdy wynik wspiera pilną ocenę zagrożenia. Analityk mierzący się z rozproszonymi informacjami może z zadowoleniem przyjąć system, który porządkuje niepewność w jedno wyjaśnienie. Przydatność modelu jako narzędzia do pisania może ukrywać jego słabość jako źródła autorytatywnych faktów.

Presja dotyka również osób dokonujących przeglądu. Przepływ pracy wspomagany przez AI może generować więcej raportów w krótszym czasie, ale organizacja nadal potrzebuje ludzi do sprawdzania twierdzeń. Jeśli zdolność weryfikacji nie rośnie wraz z produkcją, szybkość jedynie przenosi wąskie gardło dalej.

Jake Steckler, badacz GovAI i były oficer U.S. Army, ostrzegł, że członkowie sił zbrojnych muszą rozumieć niepewność nieodłącznie związaną z dużymi modelami językowymi. Wskazał na wybór celów, analizę wywiadowczą i planowanie operacyjne jako obszary szczególnie wrażliwe, ponieważ ich konsekwencje dotyczą życia i śmierci.

Steckler nie twierdził, że wojsko powinno porzucić AI. Powiedział, że narzędzia mogą pomagać w odpowiednich sytuacjach, gdy zabezpieczenia odpowiadają poziomowi ryzyka. Obawiał się, że przedkładanie szybkości wdrożenia ponad wszystko inne doprowadzi do incydentów podważających zaufanie członków sił zbrojnych.

Ostrzeżenie to wskazuje na koszt strategiczny wykraczający poza jedną odwołaną operację. Jeśli personel zobaczy, że systemy AI generują niebezpieczne twierdzenia, może później odrzucać także prawidłowe wyniki. Złe wdrożenie może prowadzić zarówno do nadmiernego zaufania, jak i niedostatecznego zaufania, przez co dowódcy nie będą pewni, kiedy technologia zasługuje na uwagę.

Szybkość kontra weryfikacja to prawdziwy wyścig w wojskowej AI

Głównym przeciwnikiem nie są Stany Zjednoczone i konkretny dostawca AI; jest nim szybsza analiza kontra możliwe do obrony dowody.

Organizacje wojskowe mają mocne powody, by skracać czas podejmowania decyzji. Czujniki produkują więcej informacji, niż zespoły ludzi mogą ręcznie przeanalizować. Przeciwnicy ukrywają aktywność, szerzą dezinformację i wykorzystują opóźnienia między wykryciem a reakcją.

AI może pomóc analitykom znajdować zależności między obrazami, komunikacją, manifestami, raportami i publicznymi rejestrami. Może tłumaczyć materiały, porównywać dokumenty, wyszukiwać wcześniejsze oceny oraz ujawniać niespójności, których człowiek może nie zauważyć pod presją czasu.

Zdarzenie ze statkiem nie przekreśla tych korzyści. Pokazuje, że generowanie i weryfikacja muszą pozostać odrębnymi funkcjami. System może pomóc zaproponować hipotezę, ale nie powinien jednocześnie potwierdzać własnej propozycji ani ukrywać niepewności za dopracowanym językiem.

To rozdzielenie zawiodło w tym przypadku. Chatbot najpierw pomógł sporządzić ocenę ładunku. Następnie AI pomogła przekształcić tę ocenę w wiarygodny dokument. Druga interakcja wzmocniła autorytet pierwszej, nie dodając niezależnych dowodów.

Bezpieczniejszy proces roboczy zachowywałby powiązania między każdym twierdzeniem a źródłem, które je potwierdza. Recenzenci powinni móc sprawdzić pierwotny wpis w manifeście, istotne przechwycone informacje, wszelkie tłumaczenia oraz tok rozumowania łączący te elementy z komponentami nuklearnymi.

Etykiety pewności również wymagałyby jasnych znaczeń. Prawdopodobieństwo wygenerowane przez model nie może zastąpić pewności analitycznej, która odzwierciedla jakość źródeł, zgodność informacji, założenia, luki w wiedzy i alternatywne wyjaśnienia. Precyzja liczbowa może wprowadzać w błąd, gdy same dowody pozostają niepewne.

Pentagon ma już zasady, które wydają się odpowiednie dla tego problemu. Jego zasady etycznego wykorzystania AI wymagają, by systemy były odpowiedzialne, sprawiedliwe, możliwe do prześledzenia, niezawodne i poddawalne kontroli.

Możliwość prześledzenia wymaga, aby odpowiedni personel rozumiał technologię, jej metody i źródła danych. Niezawodność wymaga testowania w jasno określonych zastosowaniach. Możliwość zarządzania wymaga systemów, które potrafią wykrywać lub unikać niezamierzonych konsekwencji i można je odłączyć, gdy ich zachowanie staje się niebezpieczne.

Zgłoszone bliskie uniknięcie katastrofy było najwyraźniej sprzeczne z każdym z tych celów operacyjnych. Recenzenci nie mieli natychmiastowej informacji o wspomaganym przez AI pochodzeniu raportu. Narzędzie wydało fałszywy wniosek w zadaniu wywiadowczym o wysokiej stawce. Organizacja zatrzymała operację, lecz dopiero po zaawansowaniu przygotowań.

Ta rozbieżność nie musi oznaczać, że zasady zostały formalnie zignorowane. Niezidentyfikowany chatbot mógł nie być zatwierdzony do tego zastosowania albo analityk mógł odstąpić od istniejących procedur. Publiczne doniesienia nie rozstrzygają tych możliwości.

Same zasady nie mogą jednak kontrolować procesu roboczego. Wymagają egzekwowalnych mechanizmów w chwili, gdy użytkownik wysyła zapytanie, przekazuje twierdzenie lub publikuje ocenę. Dokumenty szkoleniowe nie mogą zastąpić projektu produktu ani obowiązkowych etapów weryfikacji.

Jednym z praktycznych środków kontroli byłoby wymaganie wyraźnego ujawnienia za każdym razem, gdy generatywna AI wnosi wkład do produktu wywiadowczego. Ujawnienie powinno wskazywać model, wersję, czas zapytania, środowisko danych i części dokumentu, których dotyczy.

Inny środek kontroli zakazywałby wprowadzania niezweryfikowanych twierdzeń wygenerowanych przez AI do raportowania operacyjnego. Analityk musiałby powiązać każde istotne stwierdzenie ze źródłem niezależnym od podsumowania modelu. Tekst bez potwierdzenia pozostawałby wyraźnie oznaczony jako hipoteza.

Raporty o poważnych konsekwencjach mogłyby również wymagać weryfikacji przez dwie osoby. Drugi analityk badałby pierwotne dowody bez polegania na wygenerowanej narracji. Takie podejście zmniejszyłoby ryzyko, że formatowanie, pilność lub hierarchia służbowa przekształcą niepewny tekst w zaakceptowany fakt.

Kontrole red-team oferują kolejną warstwę ochrony. Recenzent lub odrębny system mógłby otrzymać zadanie podważenia oceny, wskazania alternatywnych interpretacji ładunku i znalezienia luk między manifestem a raportem. Celem nie byłoby automatyczne odrzucenie, lecz uporządkowany sprzeciw.

Dzienniki audytowe są równie ważne. Jeśli chatbot połączył tajne dane z wywiadu sygnałowego z informacjami ze źródeł otwartych, śledczy potrzebują zapisu danych wejściowych, wyników wyszukiwania, promptów, wyników, edycji i cytowań. Bez takiego śladu organizacje nie mogą wyjaśniać porażek ani ulepszać zabezpieczeń.

Te środki kontroli wiążą się z kosztami czasu i pracy. To zasadniczy kompromis. Proces weryfikacji, który trwa zbyt długo, może sprawić, że informacje wywiadowcze staną się nieistotne, podczas gdy proces przebiegający zbyt szybko może przekształcić fałsz w działanie.

Właściwa równowaga powinna zależeć od konsekwencji. Asystent redakcyjny używany do rutynowej pracy administracyjnej nie potrzebuje takich samych zabezpieczeń jak model wpływający na abordaż zagranicznego statku. Poziomy ryzyka powinny określać wymagania dotyczące dostępu, testowania, rejestrowania i zatwierdzania.

Dowódcy wojskowi często opisują AI jako wsparcie decyzji, a nie decydenta. To sformułowanie pozostaje trafne tylko wtedy, gdy ludzie otrzymują wystarczające dowody, by dokonać niezależnej oceny. Osoba, która widzi jedynie wniosek modelu, zatwierdza wynik, a nie podejmuje świadomą decyzję.

Istniejące zabezpieczenia nie zatrzymały błędu wystarczająco wcześnie

Kluczową niewiadomą jest to, czy była to porażka jednego analityka, czy dowód na szerszą lukę w weryfikacji.

Publiczne doniesienia pozostawiają kilka ważnych pytań bez odpowiedzi. Urzędnicy nie wskazali chatbota, więc czytelnicy nie mogą ocenić jego zamierzonego przeznaczenia, zabezpieczeń, projektu systemu wyszukiwania ani historii działania.

Nie jest również jasne, czy system był modelem komercyjnym, modelem hostowanym przez rząd czy spersonalizowanym interfejsem. Były urzędnik powiedział CNN, że wiele systemów wewnętrznych bardzo przypominało produkty komercyjne. Ta obserwacja nie ujawnia, która technologia obsługiwała tę sprawę.

Rozróżnienie ma znaczenie, ponieważ bezpieczne wdrożenie rozwiązuje tylko część problemu. Hostowanie modelu w środowisku tajnym może chronić wrażliwe dane. Nie sprawia jednak, że generowane odpowiedzi są dokładne, ani nie eliminuje halucynacji.

Generowanie wspomagane wyszukiwaniem może ograniczyć część błędów, dostarczając modelowi dokumenty podczas zapytania. Nadal zależy jednak od pobrania właściwych materiałów, ich poprawnej interpretacji i uczciwego przedstawienia niepewności. Model może błędnie odczytać dokument nawet wtedy, gdy dokument jest dostępny.

Doniesienia nie wyjaśniają również, czy fałszywemu wnioskowi towarzyszyły cytowania. Jeśli cytowania istniały, mogły wskazywać nieistotne fragmenty lub źródła, które nie potwierdzały twierdzenia. Jeśli ich nie było, ocena powinna była zostać natychmiast poddana kontroli.

Nie wiemy też, czy chatbot przekształcił niejednoznaczny opis ładunku w konkretny wniosek związany z bronią. Błędy tłumaczenia, skróty, niepełne manifesty i komponenty podwójnego zastosowania mogą komplikować wywiad dotyczący żeglugi nawet bez generatywnej AI.

Rzeczywisty ładunek pozostaje nieujawniony. To pominięcie chroni wrażliwe metody pozyskiwania informacji lub szczegóły operacyjne, ale ogranicza niezależną ocenę. Zewnętrzni obserwatorzy nie mogą ustalić, jak oczywisty powinien był być błąd dla wykwalifikowanego analityka.

Odpowiedź Pentagonu stanowi kolejną lukę. Ani departament, ani Special Operations Command Pacific nie przedstawili publicznego wyjaśnienia, gdy pojawiły się pierwotne raporty. Żadna oficjalna relacja nie opisała kroków dyscyplinarnych, zmian proceduralnych ani formalnego dochodzenia.

To milczenie oznacza, że wydarzenie nadal opiera się przede wszystkim na doniesieniach anonimowych źródeł. Wiele mediów powtórzyło tę relację, lecz większość wywodziła ją z tego samego źródłowego śledztwa CNN. Podstawowa narracja nie otrzymała szczegółowego publicznego potwierdzenia od zaangażowanych agencji.

Dlatego konieczna jest ostrożność. Dowody uzasadniają opisywanie incydentu jako poważnego bliskiego uniknięcia katastrofy, opisanego przez cztery dobrze poinformowane źródła. Nie uzasadniają twierdzenia, że system AI samodzielnie zarządził operację lub bezpośrednio kontrolował zasoby wojskowe.

Ludzie pozostawali odpowiedzialni na każdym etapie opisanym publicznie. Analityk wybrał narzędzie i rozpowszechnił raport. Urzędnicy uznali raport za podstawę do działania. Inny personel ostatecznie go zakwestionował i zatrzymał misję.

Ten ludzki łańcuch nie zmniejsza znaczenia awarii technicznej. Zmienia miejsce, w którym należy szukać odpowiedzialności. Istotny system obejmuje chatbota, jego interfejs, analityka, procedury przeglądu, zachęty dla dowództwa oraz instytucjonalny status raportu.

Federalny przegląd AI z 2025 roku przeprowadzony przez amerykańskie Government Accountability Office już wcześniej udokumentował powiązane obawy. Urzędnicy obrony powiedzieli śledczym, że systemy generatywne mogą tworzyć wiarygodnie brzmiące, lecz fałszywe wyniki i wywoływać fałszywe poczucie pewności.

W przeglądzie wskazano również ograniczoną przejrzystość dotyczącą sposobu, w jaki modele tworzą odpowiedzi. Niektórzy użytkownicy nie mieli wiedzy potrzebnej do interpretowania tych wyników, podczas gdy rygorystyczne wymagania bezpieczeństwa komplikowały testowanie w wrażliwych obszarach misji.

Te ustalenia sprawiają, że sprawa statku jest mniej zaskakująca, nawet jeśli jej konsekwencje operacyjne były wyjątkowo poważne. Centralne ograniczenie techniczne było znane. Porażka wynikała z dopuszczenia, by to ograniczenie przetrwało cały łańcuch produkcji wywiadowczej.

Pentagon utrzymuje także formalne wytyczne dotyczące odpowiedzialnej AI i udostępnił narzędzia mające pomagać zespołom oceniać ryzyko. Jednak zestaw narzędzi nie może zagwarantować zgodności we wszystkich dowództwach, u wszystkich dostawców, dla wszystkich modeli i improwizowanych przypadków użycia.

W tym miejscu zdecentralizowane wdrożenie tworzy wyzwanie w zakresie zarządzania. Lokalne zespoły potrzebują elastyczności, lecz wyniki o wysokiej stawce wymagają minimalnych zabezpieczeń, które nie różnią się w zależności od jednostki. Operacja abordażu nie powinna zależeć od tego, czy dane dowództwo akurat stosuje silniejsze wytyczne dotyczące promptów niż inne.

Sceptyczne pytanie nie brzmi, czy pojawi się dodatkowa polityka. Brzmi ono: czy dowódcy mogą zweryfikować jej przestrzeganie podczas rzeczywistych operacji. Skuteczne zarządzanie powinno pozostawiać widoczne dowody, takie jak dzienniki modelu, cytowania źródeł, podpisy recenzentów i zarejestrowane oceny pewności.

Wydarzenie ostrzega także przed traktowaniem lepszych modeli jako kompletnego rozwiązania. Wskaźniki błędów mogą spadać, podczas gdy awarie o dużym wpływie nadal pozostają możliwe. Model używany miliony razy może popełniać rzadkie błędy wystarczająco często, by miało to znaczenie, zwłaszcza gdy użytkownicy wybierają jedynie wyniki potwierdzające pilne podejrzenia.

Szkolenie jest konieczne, lecz również niewystarczające. Personel powinien rozumieć, że pewny ton nie jest równoznaczny ze zweryfikowanymi informacjami wywiadowczymi. Potrzebuje też systemów, które utrudniają ryzykowne zachowanie, zamiast całkowicie polegać na pamięci w czasie kryzysu.

Wojsko powinno zatem zbadać warunki, które nagradzały błąd. Jeśli analitycy są pod presją, by publikować szybciej, dodanie kolejnego banera ostrzegawczego nie rozwiąże problemu bodźców. Przywódcy muszą chronić czas potrzebny na weryfikację, gdy może po niej nastąpić użycie siły.

Trzy sygnały pokażą, czy Pentagon wyciągnął wnioski

Kolejnym sprawdzianem będzie to, czy wojsko przekształci ledwie unikniętą operację w mierzalne zmiany w całym procesie pracy z AI.

Pierwszym sygnałem jest formalny przegląd pooperacyjny z ustaleniami wykraczającymi poza indywidualnego analityka. Wiarygodny przegląd wskazałby rolę modelu, pominięte kroki weryfikacji, decyzje dowództwa oraz zabezpieczenie, które ostatecznie zatrzymało operację.

Pentagon nie musi ujawniać tajnych danych wywiadowczych, aby wyjaśnić porażkę procesu. Może opublikować standardy dotyczące ujawniania wsparcia AI, zachowywania zapisów modelu i walidowania wygenerowanych twierdzeń. Nawet streszczone sprawozdanie pozwoliłoby ustalić, czy przywódcy postrzegają incydent jako systemowy.

Jeśli dochodzenie skoncentruje się wyłącznie na błędzie użytkownika, centralna ocena artykułu stanie się silniejsza. Obwinienie jednego analityka pozostawiłoby tę samą kombinację presji na wdrażanie, nierównych standardów i przekonującego wygenerowanego tekstu.

Jeśli departament zidentyfikuje błędy procesu roboczego i wyznaczy osoby odpowiedzialne za korekty, ta ocena osłabnie. Takie działanie sugerowałoby, że istniejąca struktura zarządzania potrafi wyciągać wnioski, zanim kolejne bliskie uniknięcie zajdzie równie daleko.

Drugim sygnałem jest ogólnodepartamentalna reguła weryfikacji dla wywiadu i planowania operacyjnego wspomaganych przez AI. Najsilniejsza polityka rozróżniałaby redagowanie o niskim ryzyku od analizy o wysokim ryzyku i wymagałaby niezależnego potwierdzenia źródłowego przed decyzjami o użyciu siły.

Reguła powinna określać, kto weryfikuje twierdzenie i jakie dowody musi zbadać. Ogólny wymóg utrzymywania udziału ludzi nie odnosiłby się do tego incydentu, ponieważ ludzie byli już zaangażowani przez cały opisywany ciąg zdarzeń.

Systemy operacyjne mogłyby bezpośrednio egzekwować tę zasadę. Raport zawierający materiał wygenerowany przez AI mógłby pozostać wyraźnie oznaczony, dopóki wykwalifikowany recenzent nie potwierdzi każdego istotnego twierdzenia. Usunięcie oznaczenia wymagałoby możliwego do skontrolowania zatwierdzenia, a nie prostej zmiany formatowania.

Taka polityka musiałaby również obejmować podsumowania generowane przez AI. Przypadek statku pokazuje, że sporządzanie szkiców nie jest automatycznie działaniem niskiego ryzyka. Gdy podsumowanie staje się dokumentem, na którym polegają dowódcy, jego prezentacja może wpływać na działania równie silnie jak leżąca u jego podstaw analiza.

Jeśli Pentagon przyjmie jednolite mechanizmy kontroli we wszystkich dowództwach i na wszystkich poziomach klasyfikacji, pokaże to, że szybkość nie ma już pierwszeństwa przed identyfikowalnością procesu. Jeśli weryfikacja pozostanie rozproszona, podobne błędy mogą przechodzić przez tę jednostkę, która ma najsłabsze procedury.

Trzecim sygnałem są testy operacyjne mierzące więcej niż ogólną dokładność modelu. Departament powinien sprawdzać, czy personel wykrywa twierdzenia bez potwierdzenia w źródłach w warunkach realistycznej presji czasu, niepełnych danych i scenariuszy zaprojektowanych tak, by wywoływać błąd potwierdzenia.

Oceny powinny również badać przypisywanie źródeł, kalibrację i powstrzymywanie się od odpowiedzi. Kalibracja mierzy, czy poziom pewności odpowiada faktycznej poprawności. Powstrzymanie się od odpowiedzi oznacza, że system wyraźnie odmawia odpowiedzi, gdy dowody są niewystarczające.

Model, który generuje mniej halucynacji w warunkach laboratoryjnych, może nadal zawodzić operacyjnie, jeśli użytkownicy nie potrafią rozpoznać tych pozostałych. Właściwą jednostką pomiaru jest zatem zespół człowiek–maszyna, a nie sam chatbot.

Testy powinny obejmować także dane o charakterze adversarialnym. Przeciwnik może manipulować publicznymi źródłami, rejestrami ładunków, obrazami lub komunikacją, aby wpływać na analizę wspomaganą przez AI. System łączący dane tajne i publiczne może nadać celowo umieszczonym materiałom z otwartych źródeł niezasłużoną wiarygodność.

Wyniki nie muszą ujawniać zdolności wojskowych. Pentagon może raportować kategorie niepowodzeń, wskaźniki działań naprawczych oraz to, czy systemy spełniły zdefiniowane progi dla określonych zastosowań. Przejrzyste wskaźniki pomogłyby żołnierzom zrozumieć, którym narzędziom można udzielić ograniczonego zaufania.

Te trzy sygnały mają znaczenie wykraczające poza bezpieczeństwo narodowe. Firmy już wykorzystują AI do podsumowywania umów, oceny incydentów, przygotowywania dokumentów finansowych i przeszukiwania wewnętrznej wiedzy. Dopracowany wynik może przejść przez organizację szybciej, niż ktokolwiek sprawdzi stojące za nim dowody.

Zespoły powinny zachować widoczną granicę między wygenerowaną syntezą a zweryfikowanym faktem. Powinny także zachowywać źródła stojące za twierdzeniami o istotnych konsekwencjach, zwłaszcza gdy podsumowania wpływają na decyzje dotyczące bezpieczeństwa, zgodności z przepisami, zatrudnienia lub finansów.

Narzędzia wiedzy mogą zmniejszyć obciążenie, utrzymując materiały źródłowe powiązane z wnioskami. Jednak wyszukiwanie i organizacja nie przenoszą odpowiedzialności na oprogramowanie. Osoba zatwierdzająca działanie o istotnych konsekwencjach nadal musi sprawdzić odpowiednie dowody.

Według doniesień halucynacja AI niemal uruchomiła planowanie operacji wojskowej USA, ponieważ kilka warstw ludzkiego udziału nie zakwestionowało wystarczająco szybko jednego wygenerowanego twierdzenia. Skuteczna kontrola w ostatniej chwili zapobiegła eskalacji, lecz nie powinna stać się dowodem, że proces zadziałał.

Bardziej użyteczne pytanie brzmi, czy kolejny wątpliwy raport zostanie zatrzymany, zanim wystartują samoloty i zbiorą się zespoły abordażowe. Warto obserwować publiczny przegląd, egzekwowalne zasady weryfikacji i realistyczne testy. Bez tych zmian szybsza wojskowa AI będzie nadal skracać nie tylko czas podejmowania decyzji, lecz także możliwość odkrycia, że przekonująca odpowiedź jest fałszywa.