DHS rozszerza wykorzystanie AI do obsługi FOIA, ale prawdziwym sprawdzianem jest kontrola człowieka

Departament Bezpieczeństwa Krajowego planuje rozszerzyć wspomagane przez AI przetwarzanie wniosków FOIA po zakończeniu roku fiskalnego 2025 z 245 572 oczekującymi wnioskami. Departament twierdzi, że automatyzacja może ograniczyć pracę administracyjną i pomóc pracownikom radzić sobie z rosnącą liczbą wniosków o dostęp do rejestrów publicznych. Konflikt jest prosty: szybsze przetwarzanie ma wartość tylko wtedy, gdy wynikające z niego wyszukiwania, klasyfikacje i redakcje pozostają trafne.

W ciągu roku fiskalnego DHS otrzymał ponad 1 mln wniosków na podstawie Freedom of Information Act. Przetworzył niemal tyle samo, a mimo to liczba oczekujących spraw wzrosła z 221 068 wniosków na początku roku. Według departamentu jego formalne zaległości stanowiły 16 procent otrzymanych wniosków.

Liczby te pomagają wyjaśnić, dlaczego federalne agencje postrzegają automatyzację jako coś więcej niż eksperyment. DHS rozważa jednak wykorzystanie AI do decyzji wpływających na to, jakie dokumenty otrzymują ludzie. Czyni to z tego planu test odpowiedzialności, a nie jedynie projekt modernizacji biura.

Departament już wskazuje przedwdrożeniowy przypadek użycia do identyfikowania i redagowania wrażliwych treści. Customs and Border Protection korzysta również z oprogramowania do przeglądu dokumentów, które może uczyć się od osób dokonujących przeglądu i klasyfikować dokumenty według istotności. Obrońcy swobód obywatelskich ostrzegają, że systemy te mogą powielać istniejące wzorce nadmiernej redakcji, jednocześnie ograniczając przestrzeń dla starannej kontroli człowieka.

DHS wprowadza AI głębiej do procesu FOIA

Istotna zmiana nie polega na tym, że DHS używa oprogramowania, lecz na tym, że AI zbliża się do decyzji o istotnych konsekwencjach podejmowanych podczas przeglądu.

DHS od lat korzysta z narzędzi elektronicznych do przyjmowania wniosków, zarządzania sprawami, udostępniania plików, usuwania duplikatów i przekazywania dokumentów. Funkcje te zastępują ręczną obsługę, niekoniecznie jednak rozstrzygają o tym, co społeczeństwo może zobaczyć. Nowsze przypadki użycia sięgają dalej — do identyfikacji dokumentów i redakcji.

W rocznym sprawozdaniu FOIA departament podaje, że jego Privacy Office nadal rozwija i wdraża nowe technologie do obsługi wniosków. DHS spodziewa się uruchomić dodatkowe narzędzia automatyzacji w nadchodzącym roku. Opisuje ich cele jako zwiększenie wydajności i wyeliminowanie powtarzalnej pracy administracyjnej.

Opis ten obejmuje szeroki zakres możliwych funkcji. Zautomatyzowany system może uzupełniać pola sprawy, wykrywać zduplikowane pliki, przekształcać zeskanowane strony w tekst z możliwością wyszukiwania lub kierować dokumenty do właściwego biura. Każda z tych funkcji może oszczędzać czas bez zastępowania oceny prawnej.

Reagowanie dokumentów na zakres wniosku jest bardziej wrażliwe. Dokument odpowiadający na wniosek mieści się w zakresie wyszukiwania wnioskodawcy, nawet jeśli część informacji musi zostać później wstrzymana. Jeśli system błędnie sklasyfikuje taki dokument jako nieistotny, wnioskodawca może nigdy nie dowiedzieć się o jego istnieniu.

Redakcja tworzy kolejną warstwę ryzyka. FOIA pozwala agencjom wstrzymywać informacje na podstawie określonych ustawowych wyjątków, w tym ochron związanych z bezpieczeństwem narodowym, egzekwowaniem prawa i prywatnością osobistą. Stosowanie tych wyjątków często wymaga kontekstu, interpretacji prawnej i oceny przewidywalnej szkody.

DHS wskazał przypadek użycia AI mający usprawnić identyfikację i redagowanie wrażliwych materiałów. Według publicznego wykazu departament zakwalifikował planowane zastosowanie jako niemające dużego wpływu. Oznaczenie to ma znaczenie, ponieważ systemy o dużym wpływie podlegają silniejszym oczekiwaniom w zakresie zarządzania ryzykiem zgodnie z federalną polityką AI.

Wykaz opisuje system jako znajdujący się przed wdrożeniem. Oznacza to, że publiczne informacje nie ustalają jeszcze, jak szeroko DHS będzie go wykorzystywać, które komponenty będą uczestniczyć ani jaki odsetek jego sugestii pracownicy zaakceptują.

Osobne narzędzie jest już częścią tego obrazu. DHS wymienia RelativityOne jako komercyjny system AI do wyszukiwania wiedzy. Analiza prywatności Customs and Border Protection opisuje jego rolę bardziej szczegółowo, w tym wsparcie dla terminowego odpowiadania na wnioski FOIA.

W wydziale FOIA CBP platforma może uczyć się na podstawie decyzji osób dokonujących przeglądu i oznaczać dokumenty jako istotne lub nieistotne. Technika ta jest powszechnie nazywana technologią wspomaganego przeglądu, co oznacza, że oprogramowanie wykorzystuje przykłady oznaczone przez ludzi do priorytetyzowania lub klasyfikowania większego zbioru.

Technologia wspomaganego przeglądu nie zawsze oznacza autonomiczne decyzje o udostępnieniu. Osoby dokonujące przeglądu mogą wykorzystywać prognozy do porządkowania dokumentów, identyfikowania prawdopodobnych duplikatów lub skupiania uwagi na niepewnych klasyfikacjach. Publiczne dokumenty pozostawiają istotne szczegóły niejasne, w tym to, kiedy pracownicy muszą zweryfikować oznaczenie i jak DHS mierzy błędy.

Ta luka tworzy centralne napięcie. DHS przedstawia AI jako wsparcie dla przeciążonych pracowników, ale niektóre udokumentowane możliwości mogą wpływać na to, które dokumenty do tych pracowników trafią. Wydajność zależy od mniejszej liczby ręcznych kroków. Odpowiedzialność zależy od wiedzy, których kroków nie można bezpiecznie usunąć.

Liczby wniosków wyjaśniają, dlaczego DHS automatyzuje procesy

DHS mierzy się z problemem obciążenia pracą na tyle dużym, że automatyzacja wydaje się atrakcyjna, jeszcze zanim uwzględni się presję kadrową.

Departament rozpoczął rok fiskalny 2025 z 221 068 oczekującymi wnioskami FOIA. Następnie otrzymał ponad 1 mln nowych wniosków i przetworzył niemal taką samą liczbę. DHS zakończył jednak rok z 245 572 oczekującymi wnioskami — wzrostem o 24 504 w ciągu roku.

Oczekujący wniosek i formalna zaległość nie są tożsame. Wniosek staje się zaległy, gdy pozostaje nierozstrzygnięty po upływie obowiązującego ustawowego terminu odpowiedzi. DHS podaje, że jego zaległości stanowiły 16 procent otrzymanych wniosków, mimo że łączna liczba oczekujących spraw przekroczyła 245 000.

Rozróżnienie to jest użyteczne, ale nie sprawia, że wyzwanie operacyjne staje się małe. Każda oczekująca sprawa nadal wymaga śledzenia, komunikacji, wyszukiwania, przeglądu lub przekazania dokumentów. Złożone wnioski mogą obejmować duże zbiory e-maili, akta imigracyjne, dokumenty dotyczące egzekwowania prawa, nagrania wideo lub materiały przechowywane przez kilka komponentów.

DHS od dawna obsługuje wyjątkowo dużą część federalnego obciążenia pracą związanego z FOIA. Jego agencje obejmują Customs and Border Protection, Immigration and Customs Enforcement, Federal Emergency Management Agency, Transportation Security Administration oraz U.S. Citizenship and Immigration Services.

Kilka z tych komponentów przechowuje dokumenty, których ludzie potrzebują z bezpośrednich powodów osobistych lub prawnych. Wnioski imigracyjne mogą dotyczyć oficjalnej teczki danej osoby. Wnioski związane z katastrofami mogą dotyczyć decyzji rządu po sytuacji nadzwyczajnej. Dziennikarze i organizacje nadzorcze poszukują dokumentów dotyczących polityki, kontraktów, komunikacji i danych o egzekwowaniu prawa.

Potrzeba szybkości wykracza więc poza wygodę. Opóźniony dokument może wpłynąć na postępowanie sądowe, relacjonowanie wydarzeń, postępowania imigracyjne, badania historyczne lub publiczną kontrolę aktywnej polityki.

Zmiany w federalnej sile roboczej zwiększają presję. Ponad 600 rządowych specjalistów ds. informacji odeszło ze służby federalnej po rozpoczęciu drugiej administracji Trumpa, według danych przywołanych w pierwotnym raporcie. Prawie 100 z tych odejść dotyczyło DHS.

Kategoria rządowych specjalistów ds. informacji obejmuje wielu pracowników przetwarzających wnioski FOIA. Odejścia nie przekładają się bezpośrednio na identyczne zmniejszenie zdolności obsługi FOIA, ponieważ obowiązki zawodowe są zróżnicowane. Mimo to federalne dane o zatrudnieniu pokazują szersze kurczenie się zasobów kadrowych dotykające agencje, które już mierzyły się z rosnącym obciążeniem pracą dotyczącą dokumentów.

Mniejsza liczba doświadczonych osób dokonujących przeglądu tworzy trudny cykl. Pozostali pracownicy otrzymują więcej spraw, menedżerowie poszukują szybszych narzędzi, a osoby dokonujące przeglądu mają mniej czasu na sprawdzanie zautomatyzowanych wyników. Technologia mająca odciążyć pracowników może wówczas stać się trudniejsza do właściwego nadzorowania.

DHS nie jest osamotniony w tej zmianie. Office of Government Information Services przy National Archives podało, że 18,6 procent odpowiadających agencji wykorzystywało AI lub uczenie maszynowe w obsłudze FOIA. Ustalenie to pokazuje, że wdrażanie jest w toku, choć większość agencji nadal nie zgłosiła korzystania z tych narzędzi.

Inne departamenty badają podobne funkcje. Department of Health and Human Services opisał prace obejmujące zautomatyzowane funkcje przepływu pracy, platformy do odkrywania dokumentów i demonstrację koncepcji AI. Urzędnicy obrony analizowali także agentową, generatywną i predykcyjną AI na potrzeby operacji FOIA.

Staje się to ogólnorządową odpowiedzią na rosnące zapotrzebowanie i ograniczone zasoby kadrowe. DHS wyróżnia się ze względu na skalę, wrażliwe dokumenty i obowiązki związane z egzekwowaniem prawa. Błąd w tym środowisku może dotknąć zarówno poszczególnych wnioskodawców, jak i szerszego nadzoru publicznego.

Kluczowy kompromis dotyczy szybkości i oceny możliwej do zweryfikowania

AI może przyspieszać wyszukiwanie, nie posiada jednak osądu prawnego wymaganego przy decyzjach FOIA.

Niektóre zadania stanowią względnie oczywisty przypadek dla automatyzacji. Optyczne rozpoznawanie znaków może przekształcać zeskanowane strony w tekst z możliwością wyszukiwania. Wykrywanie duplikatów może zapobiec wielokrotnemu czytaniu przez osoby dokonujące przeglądu tego samego wątku e-mail. Identyfikacja języka i konwersja plików mogą przygotowywać dokumenty do przeglądu.

Wsparcie wyszukiwania może również pomóc pracownikom znaleźć dokumenty, które mogłoby pominąć wąskie zapytanie słów kluczowych. Systemy uczenia maszynowego mogą identyfikować powiązane pojęcia, szeregowac prawdopodobnie istotne dokumenty i grupować podobne materiały. Możliwości te są wartościowe, gdy sprawa obejmuje tysiące plików.

Cody Venzke, starszy prawnik w American Civil Liberties Union, przyznał istnienie tego potencjału w pierwotnym raporcie. Stwierdził, że AI może przyspieszyć odnajdywanie dokumentów i zmniejszyć ryzyko, że szerokie wnioski pominą odpowiadające im dokumenty.

Jego ostrzeżenie dotyczy tego, co dzieje się później. Redakcja nie jest po prostu ćwiczeniem w dopasowywaniu wzorców. Osoby dokonujące przeglądu muszą zidentyfikować wyjątek prawny, zastosować go do konkretnego materiału i rozważyć, czy ujawnienie spowodowałoby przewidywalną szkodę.

Kontekst zmienia odpowiedź. Nazwisko może wymagać ochrony w jednym dokumencie, ale być już publiczne w innym. Fragment opisujący narady może zawierać możliwe do wydzielenia informacje faktyczne, które nadal powinny zostać ujawnione. Technika egzekwowania prawa może być wrażliwa w jednym momencie, a później powszechnie znana.

Modele mogą przypisywać etykiety na podstawie wcześniejszych przykładów, ale wcześniejsze etykiety niekoniecznie są prawidłowe. Odpowiedzi agencji odzwierciedlają interpretacje prawne, preferencje dotyczące ryzyka, historię sporów sądowych i nawyki osób dokonujących przeglądu. Trenowanie na takich odpowiedziach może powielać te same tendencje na większą skalę.

Obawa ta jest szczególnie istotna, ponieważ agencje często oskarża się o nadmierne redagowanie dokumentów. Nadmiernie ostrożna osoba dokonująca przeglądu może ukryć zbyt wiele informacji w jednej sprawie. System wytrenowany na tysiącach ostrożnych decyzji może stosować takie zachowanie w tysiącach spraw.

Abigail Kunkler, stypendystka prawa w Electronic Privacy Information Center, argumentowała, że automatyzacja wytrenowana na istniejących odpowiedziach będzie odzwierciedlać istniejące wzorce redakcji. Jej obawa nie polega jedynie na tym, że model AI czasami zawiedzie. Chodzi o to, że system ustandaryzuje instytucjonalną preferencję dla wstrzymywania informacji.

Znaczenie ma także przeciwny błąd. Model może nie rozpoznać danych osobowych, informacji dotyczących bezpieczeństwa lub prawnie chronionych szczegółów. Może to narazić osoby fizyczne lub zaszkodzić śledztwu. Agencje mają zatem racjonalny powód, by dostrajać systemy w kierunku ostrożności.

Jednak dostrajanie pod kątem ostrożności przesuwa błędy w stronę nieujawniania. Wnioskodawcy nie mogą łatwo wykryć dokumentu, który klasyfikator wykluczył przed analizą. Mogą zakwestionować widoczne redakcje, ale nie mogą zakwestionować dokumentu, którego nigdy nie otrzymali ani nawet nie wiedzieli o jego istnieniu.

Ta asymetria sprawia, że klasyfikacja pod kątem adekwatności jest szczególnie istotna. Fałszywie dodatni wynik kieruje nieistotny dokument do osoby dokonującej przeglądu i pochłania jej czas. Fałszywie ujemny wynik może po cichu wyeliminować istotny dokument z procesu.

DHS potrzebuje miar oceny odzwierciedlających tę różnicę. Jeden wskaźnik dokładności może ukrywać szkodliwe wzorce błędów. Departament powinien oddzielnie śledzić pominięte istotne dokumenty, niepotrzebne przeglądy, błędne sugestie redakcji oraz ujawnione informacje wrażliwe.

Testowanie wymaga również realistycznych danych. System oceniany na czystych przykładowych dokumentach może działać inaczej w przypadku zeskanowanych stron, odręcznych notatek, wątków e-mailowych, załączników, transkrypcji nagrań audio lub dokumentów zawierających kilka języków. DHS przetwarza wszystkie te formaty w swoich komponentach.

Najlepsze wykorzystanie AI pozostawiłoby systemowi rolę wspomagającą. Mógłby on uszeregować dokumenty, sugerować redakcje i wyjaśniać, które wzorce uruchomiły rekomendację. Przeszkolony pracownik potwierdzałby istotność dokumentu i podejmował ostateczną decyzję o wstrzymaniu ujawnienia.

Taka struktura zachowuje ludzką decyzyjność, ale tylko wtedy, gdy przegląd ma charakter merytoryczny. Wymaganie od pracownika jedynie naciśnięcia przycisku zatwierdzenia nie tworzy znaczącego nadzoru. Osoby dokonujące przeglądu potrzebują wystarczająco dużo czasu, szkolenia i informacji o systemie, aby mogły kwestionować rekomendacje.

DHS Nie Wyjaśnił Wystarczająco Swoich Zabezpieczeń

Publiczny wykaz identyfikuje możliwości AI, ale nie dostarcza wystarczających dowodów, by ocenić stosowane zabezpieczenia.

DHS zaklasyfikował planowane zastosowanie do identyfikowania treści wrażliwych i redakcji jako niemające dużego wpływu. Decyzja ta ogranicza wymogi zarządzania ryzykiem związane z systemem. Informacje publiczne nie wyjaśniają jednak w pełni, dlaczego przypadek użycia otrzymał taką klasyfikację.

Definicje zawarte w polityce federalnej mają tu znaczenie. System może wpływać na dostęp do informacji rządowych, nie podejmując decyzji dotyczących świadczeń, egzekwowania prawa ani osobistej wolności. Taka węższa rola może umieszczać go poza formalnymi kategoriami wysokiego wpływu.

Mimo to niska formalna klasyfikacja nie oznacza niskiego ryzyka dla publicznej rozliczalności. FOIA jest jednym z głównych mechanizmów prawnych służących analizie działań agencji wykonawczych. Narzędzie zmieniające sposób wyszukiwania lub redakcji może kształtować to, czego dziennikarze, strony sporów, badacze i obywatele dowiadują się o działalności rządu.

Rozbieżność między opisami DHS zasługuje na uwagę. Wspólny wykaz komercyjny klasyfikuje RelativityOne jako system wyszukiwania wiedzy. Analiza prywatności CBP opisuje funkcję, która uczy się od osób dokonujących przeglądu i samodzielnie oznacza dokumenty pod kątem istotności.

Oba opisy mogą być technicznie poprawne. Wyszukiwanie wiedzy obejmuje znajdowanie i klasyfikowanie dokumentów. Szersza etykieta nie komunikuje jednak znaczenia wykluczenia dokumentu z dalszego przeglądu.

Patrick Eddington, starszy analityk Cato Institute, argumentował, że ta różnica zaciemnia możliwość, która najbardziej uzasadnia bliższą kontrolę. Jego krytyka wskazuje na problem z projektem wykazu: ogólna kategoria może spełniać wymogi ujawniania informacji, nie wyjaśniając decyzji operacyjnej.

DHS powinien opublikować rolę, jaką każde narzędzie odgrywa na każdym etapie. Opis powinien rozróżniać wyszukiwanie, priorytetyzację, klasyfikację istotności, rekomendacje redakcji, ostateczne zatwierdzenie i zapewnienie jakości. Łączenie tych funkcji pod hasłem „przetwarzanie” uniemożliwia znaczącą ocenę.

Departament powinien również wyjaśnić próg przeglądu przez człowieka. Czy każda etykieta „nieistotny” jest weryfikowana, czy tylko próbka? Czy oprogramowanie może udostępnić zredagowany dokument bez zatwierdzenia linia po linii? Co dzieje się, gdy model wyraża niską pewność?

Kolejnym brakującym elementem są zapisy audytowe. System, którego można bronić, powinien zachowywać wersję modelu, zbiór wejściowy, klasyfikacje, zmiany wprowadzone przez recenzentów i końcowy wynik. Takie zapisy pomogłyby DHS badać błędy oraz odpowiadać na odwołania administracyjne lub postępowania sądowe.

Procedury odwoławcze muszą uwzględniać zautomatyzowane wsparcie. Wnioskodawca kwestionujący niewystarczające wyszukiwanie musi wiedzieć, czy agencja stosowała uczenie maszynowe. Sądy badające adekwatność takiego wyszukiwania potrzebują dowodów na to, jak system został skonfigurowany i nadzorowany.

Zamówienia publiczne wprowadzają dodatkową niepewność. DHS opublikował zawiadomienie o zamiarze przyznania Deloitte kontraktu na dostosowane oprogramowanie FOIA z funkcjami AI. Zawiadomienie o zamiarze wskazuje planowaną ścieżkę zakupową departamentu, a nie stanowi dowodu ukończonego wdrożenia ani zmierzonej wydajności.

Planowane oprogramowanie jest następstwem federalnej prezentacji technologii FOIA, w której uczestniczyło niemal 40 dostawców. Według podsumowania wydarzenia niemal 85 procent z nich podkreślało funkcje AI. Obejmowały one maskowanie nagrań audio, redakcję, skanowanie pod kątem istotności, uzupełnianie pól i chatboty dostępne publicznie.

Zainteresowanie dostawców pokazuje, że DHS będzie mieć wybór. Nie dowodzi jednak, że narzędzia te spełniają wspólny standard dokładności, bezpieczeństwa lub wyjaśnialności. Prezentacje produktów rzadko odtwarzają jakość dokumentów i niejednoznaczność prawną spotykane w spornych wnioskach.

Warunki umowy mogą przekształcić zabezpieczenia w egzekwowalne wymogi. DHS może wymagać testów na reprezentatywnych dokumentach, ujawniania zmian w modelach, zgłaszania incydentów, przechowywania dzienników audytowych, dostępności oraz ograniczeń wtórnego wykorzystania danych rządowych.

Departament może również wymagać niezależnej oceny przed szerszym wdrożeniem. Testy powinny obejmować specjalistów od swobód obywatelskich, doświadczonych profesjonalistów FOIA, urzędników ds. dokumentacji, personel bezpieczeństwa oraz przedstawicieli częstych wnioskodawców.

Bez tych szczegółów opinia publiczna musi wnioskować o zabezpieczeniach na podstawie krótkich opisów w wykazie i zawiadomień o zamówieniach. To za mało w przypadku systemów mających wspierać ustawę o przejrzystości.

Redakcje FOIA z Wykorzystaniem AI Wymagają Mierzalnego Nadzoru Człowieka

Kontrola człowieka staje się wiarygodna dopiero wtedy, gdy DHS mierzy, czy ludzie wychwytują błędy systemu.

Agencje często odpowiadają na obawy dotyczące AI stwierdzeniem, że człowiek pozostaje w procesie. To sformułowanie brzmi uspokajająco, ale opisuje wiele różnych modeli działania. Osoba dokonująca przeglądu może analizować każdy dokument, sprawdzać niewielką próbkę lub interweniować wyłącznie wtedy, gdy system sygnalizuje niepewność.

DHS powinien zdefiniować model przeglądu dla każdej funkcji. Automatyzacja administracyjna może działać przy rutynowych kontrolach jakości. Klasyfikacja istotności wymaga silniejszej walidacji, ponieważ fałszywie ujemne wyniki mogą ukrywać dokumenty. Sugestie redakcji wymagają kontroli prawnej przed udostępnieniem.

Próbkowanie może wspierać zapewnienie jakości, ale próbka musi odzwierciedlać ryzyko. Losowe kontrole mogą pominąć rzadkie dokumenty zawierające ważne istotne materiały. DHS powinien nadreprezentować prognozy o niskiej pewności, nietypowe formaty, wrażliwe tematy i sprawy o szerokim znaczeniu publicznym.

Agencja potrzebuje też punktu odniesienia. Nie może wykazać poprawy bez porównania wspomaganego przeglądu z ustalonymi procedurami wykonywanymi przez ludzi. Miary powinny obejmować czas przetwarzania, obciążenie pracą recenzentów, pominięte dokumenty, cofnięte redakcje, wyniki odwołań i ustalenia sądów.

Sama szybkość dawałaby mylący wynik. System, który szybciej zamyka sprawy przez wykluczanie większej liczby dokumentów, mógłby wydawać się wydajny, jednocześnie ograniczając ujawnianie informacji. DHS potrzebuje zestawionych miar pokazujących zarówno terminowość, jak i kompletność.

Dokładność redakcji wymaga czegoś więcej niż liczenia czarnych pól na stronie. Departament powinien badać, czy każde wstrzymanie ujawnienia ma ważne uzasadnienie w wyłączeniu, czy informacje nieobjęte wyłączeniem zostały w rozsądnym zakresie oddzielone oraz czy agencja zastosowała standard przewidywalnej szkody.

Należy mierzyć również zachowanie recenzentów. Błąd wynikający z uprzedzenia automatyzacyjnego występuje, gdy ludzie przywiązują nadmierną wagę do sugestii systemu. Może się nasilać, gdy recenzenci mierzą się z dużym obciążeniem pracą lub zakładają, że oprogramowanie już wykonało trudną analizę.

Projekt interfejsu może ograniczyć to ryzyko. System powinien pokazywać tekst uzasadniający i informacje o pewności, nie przedstawiając odpowiedzi jako rozstrzygniętej. Recenzenci powinni odnotowywać, dlaczego przyjęli lub odrzucili wrażliwe rekomendacje.

Równie ważne jest szkolenie. Pracownicy muszą rozumieć, co ocenia model, w jakich obszarach działa słabo oraz jak zmiany w materiale źródłowym wpływają na wyniki. Samo szkolenie prawne nie wyjaśnia sposobów zawodzenia uczenia maszynowego.

W 2024 r. DHS zaprosił około 500 pracowników ze swoich centrów przetwarzania FOIA do wirtualnego programu szkoleniowego. Sesje obejmowały dyskusję o AI i uczeniu maszynowym w przetwarzaniu FOIA. To użyteczny punkt wyjścia, ale wdrożenie wymaga ciągłego, dostosowanego do konkretnych narzędzi przygotowania.

Niezależny nadzór może sprawdzić, czy kontrole wytrzymują presję operacyjną. Inspektorzy generalni, rzecznik FOIA National Archives, komisje kongresowe i sądy pełnią różne role w ocenie przejrzystości agencji.

Wnioskodawcy również dostarczają dowodów. Wzorce brakujących dokumentów, niespójnych redakcji lub wyjątkowo wąskich wyszukiwań mogą ujawniać problemy, których nie wychwytują zbiorcze dane o wydajności. DHS potrzebuje procesu łączącego takie skargi z oceną systemu.

Departament powinien ujawniać istotne incydenty. Jeśli model pominie istotne dokumenty lub ujawni chronione informacje, DHS powinien udokumentować zakres, korektę i zmiany zapobiegawcze. Ciche naprawienie pojedynczego wniosku pozostawiłoby podstawowe ryzyko nienaruszone.

Publiczne raportowanie nie wymaga udostępniania wrażliwych dokumentów ani zastrzeżonego kodu. DHS może publikować metody testowania, zbiorcze wyniki, wymogi dotyczące przeglądu i kategorie błędów. Takie ujawnienia pozwoliłyby podmiotom zewnętrznym ocenić zarządzanie bez ujawniania tajemnic operacyjnych.

Szersza lekcja wykracza poza FOIA. Agencja nie może zrekompensować mniejszej liczby wykwalifikowanych pracowników wyłącznie przez dodanie kroku zatwierdzania po automatyzacji. Znaczący nadzór wymaga ludzi mających czas, uprawnienia, szkolenie i dowody.

Trzy Sygnały Pokażą, Czy Plan Poprawia Dostęp

Kolejnym sprawdzianem będzie to, czy DHS opublikuje dowody operacyjne, a nie to, czy ogłosi dodatkowe narzędzia AI.

Pierwszym sygnałem będzie bardziej szczegółowy wykaz AI. DHS powinien wskazać, które komponenty używają każdego systemu, które etapy przetwarzania otrzymują automatyzację oraz które decyzje wymagają potwierdzenia przez człowieka. Powinien również wyjaśnić podstawę swoich klasyfikacji wpływu.

Jaśniejsze ujawnienia wzmocniłyby argument departamentu dotyczący efektywności. Pokazałyby, że DHS oddzielił zadania administracyjne o niskim ryzyku od decyzji wpływających na dostęp do dokumentów. Kolejny ogólny opis „wyszukiwania wiedzy” osłabiłby zaufanie.

Drugim sygnałem jest struktura zamówienia Deloitte i wszelkich wynikających z niego zleceń. Zawiadomienie o zamówieniu powinno prowadzić do wymogów obejmujących testy dokładności, ścieżki audytowe, przegląd przez człowieka, zmiany modeli, ochronę danych i zgłaszanie incydentów.

Umowa zawierająca mierzalne kontrole przekształciłaby publiczne obietnice w zobowiązania dostawcy. Umowa skupiona głównie na przepustowości i szybkości wdrożenia przeniosłaby ryzyko na pracowników FOIA i wnioskodawców.

Trzecim sygnałem będzie wydajność w nadchodzącym cyklu sprawozdawczym. DHS powinien ujawnić, czy zaległa liczba spraw spada z 245 572, podczas gdy jakość przetwarzania pozostaje stabilna. Cofnięcia decyzji w odwołaniach, ustalenia sądów i potwierdzone skargi dotyczące wyszukiwania mogą stanowić ważną przeciwwagę dla łącznej liczby zamkniętych spraw.

Mniejsze zaległości poparłyby argument DHS tylko wtedy, gdy automatyzacja poprawia dostęp. Szybsze odpowiedzi z szerszymi redakcjami lub brakującymi dokumentami oznaczałyby postęp administracyjny bez większej przejrzystości.

Społeczeństwo powinno również obserwować kwestie kadrowe. Raport rzecznika FOIA pokazuje, że wdrażanie AI rozprzestrzenia się wśród agencji. Nie dowodzi jednak, że oprogramowanie może zastąpić doświadczonych specjalistów ds. dokumentacji.

Jeśli odejścia specjalistów będą się utrzymywać, DHS może mieć trudności z zapewnieniem kontroli, jaką zakładają jego zabezpieczenia. Jeśli departament utrzyma przeszkolone zespoły i będzie wykorzystywać automatyzację do przygotowywania oraz priorytetyzacji pracy, narzędzia będą miały większą szansę bezpiecznie ograniczyć powtarzalne zadania.

Najbardziej wiarygodnym rezultatem nie byłoby całkowicie zautomatyzowane biuro FOIA. Byłby nim system, który znajduje więcej trafnych dokumentów, eliminuje rutynową obsługę i daje pracownikom więcej czasu na analizę prawną. DHS powinien następnie opublikować wystarczające dowody, aby osoby z zewnątrz mogły zweryfikować ten rezultat.

Automatyzacja FOIA zasługuje na szczególną kontrolę właśnie dlatego, że technologia działa wewnątrz procesu zapewniającego przejrzystość. Ukryty błąd może decydować o tym, które działania rządu pozostaną niejawne. Dlatego możliwość audytu jest kluczową funkcją, a nie opcjonalną warstwą zgodności.

DHS ma teraz okazję ustanowić praktyczny model przetwarzania dokumentacji publicznej wspomaganego przez AI. Departament powinien określić zakres ludzkiej odpowiedzialności, testować realistyczne scenariusze awarii i raportować wyniki wykraczające poza samą szybkość.

W miarę postępu wdrożenia wnioskodawcy, dziennikarze i grupy nadzorcze powinni zadawać trzy pytania: Na które decyzje wpływa AI, kto je sprawdza i jakie dowody pokazują, że te kontrole działają? Odpowiedzi zdecydują o tym, czy DHS skróci opóźnienia, czy jedynie zautomatyzuje wstrzymywanie informacji.