Zabezpieczenia Anthropic, Google i OpenAI spowalniają ofensywne badania nad cyberbezpieczeństwem

Mechanizmy bezpieczeństwa Anthropic, Google i OpenAI stają obecnie przed trudnym sprawdzianem: badacze twierdzą, że zaostrzone zabezpieczenia utrudniają autoryzowane prace z zakresu ofensywnego cyberbezpieczeństwa. Ograniczenia mają przeciwdziałać złośliwym włamaniom, lecz te same mechanizmy mogą blokować walidację luk, inżynierię wsteczną i tworzenie exploitów.

Ten konflikt stał się trudniejszy do zignorowania po tym, jak kilku badaczy bezpieczeństwa ofensywnego opisało powtarzające się odmowy i niespójne wyniki. Ich praca polega na znajdowaniu nieznanych błędów, zanim wykorzystają je przestępcy, często poprzez tworzenie kontrolowanych dowodów koncepcji.

Problem nie polega wyłącznie na tym, że firmy AI odrzucają niebezpieczne prośby. Badacze twierdzą, że systemy mają trudności z rozróżnieniem autoryzowanego testu od rzeczywistego ataku. Ta niejednoznaczność powoduje opóźnienia, ogranicza powtarzalność i skłania do przenoszenia wrażliwych prac do lokalnie hostowanych otwartych modeli.

OpenAI i Anthropic wprowadziły programy weryfikacyjne, które mają zmniejszyć te utrudnienia. Google również ogranicza wykorzystanie generatywnej AI związane ze złośliwym oprogramowaniem, zakłócaniem infrastruktury i omijaniem filtrów bezpieczeństwa. Łącznie polityki te pokazują, jak czołowe amerykańskie firmy AI wyznaczają granice dla cybernetycznych zdolności podwójnego zastosowania.

Sedno sporu jest poważniejsze niż rutynowa skarga na odmowy modeli. Bezpieczeństwo ofensywne i defensywne często wymagają tych samych kroków technicznych. Model nie zawsze potrafi ustalić, czy operator ma upoważnienie, na podstawie kodu, polecenia lub podatności umieszczonej w jego kontekście.

To zmusza laboratoria tworzące modele graniczne do wyboru między dwoma kosztownymi błędami. Zbyt liberalny model może pomóc atakującemu działać szybciej. Zbyt ostrożny model może uniemożliwić obrońcy zrozumienie i naprawienie tej samej słabości.

Badacze twierdzą, że blokowana jest legalna praca cybernetyczna

Bezpośrednią zmianą jest to, że zabezpieczenia cybernetyczne zakłócają obecnie praktyczne procesy badawcze, a nie tylko oczywiście złośliwe prośby.

Opublikowane 23 lipca dochodzenie dotyczące cyberbezpieczeństwa udokumentowało skargi badaczy, którzy znajdują podatności i tworzą exploity. Kilku z nich powiedziało, że modele graniczne odmawiały realizacji uzasadnionych próśb albo udzielały niespójnych odpowiedzi podczas autoryzowanej pracy.

Bezpieczeństwo ofensywne oznacza testowanie systemów z perspektywy atakującego, za zgodą właściciela. Obejmuje testy penetracyjne, walidację exploitów, red teaming oraz niektóre formy inżynierii wstecznej.

Działania te mogą ujawnić słabości, których nie wykryje tradycyjny przegląd kodu. Podejrzana ścieżka w kodzie staje się istotna dopiero wtedy, gdy badacz ustali, czy można ją osiągnąć i wykorzystać.

Chris Anley, główny naukowiec w NCC Group, powiedział TechCrunch, że poproszenie modelu o wykorzystanie błędu może potwierdzić, czy wymaga on naprawy. Odmowa na tym etapie nie tylko odbiera wygodę. Może przerwać proces gromadzenia dowodów, który pomaga firmie nadać priorytet poprawce.

Anley porównał tę technologię do młotka, który może służyć zarówno jako narzędzie, jak i broń. Jego szerszy argument dotyczy nakładania się zastosowań technicznych. Instrukcje przydatne do wykorzystania luki mogą być również niezbędne do wykazania, że podatny kod stwarza realne ryzyko.

To nakładanie się jest szczególnie istotne w przypadku zero-dayów, czyli podatności nieznanych dotkniętemu nimi dostawcy w chwili ich odkrycia. Badacze często muszą śledzić wykonanie, manipulować pamięcią lub tworzyć nietypowe dane wejściowe, zanim zrozumieją błąd.

Kroki te przypominają zachowanie atakującego, ponieważ badacze odtwarzają atak. Klasyfikator widzi podejrzane terminy, kod i polecenia. Może nie widzieć umowy ani upoważnienia laboratoryjnego, które czyni tę pracę legalną.

Jeden z badaczy pracujący u producenta komponentów do smartfonów powiedział TechCrunch, że narzędzia Anthropic stały się niemal bezużyteczne do wykrywania podatności poza jego programem weryfikacyjnym. Badacz stwierdził, że system zatrzymywał się po wykryciu pracy związanej z bezpieczeństwem.

Chris Thompson, CEO RemoteThreat, opisał inny tryb awarii. Powiedział, że zabezpieczenia działały różnie w poszczególnych sesjach, także w ramach zweryfikowanych programów oferujących łagodniejsze ograniczenia.

Ta niespójność ma znaczenie, ponieważ badania nad podatnościami zależą od powtarzalnych eksperymentów. Badacz musi ustalić, czy wynik pochodzi z celu, metody testowania czy zmieniającej się interwencji modelu.

Gdy egzekwowanie polityki zmienia się bez jasnego wyjaśnienia, model wprowadza kolejną niekontrolowaną zmienną. Czas przeznaczony na analizę podatności zostaje przesunięty na przeformułowywanie promptów i diagnozowanie odmów.

Ograniczenia nie wpływają jednakowo na każdego specjalistę. Giuseppe Cali, który znajduje zero-daye i tworzy exploity, powiedział TechCrunch, że zabezpieczenia nie utrudniały jego pracy.

Cali korzysta z AI na potrzeby wstępnej inżynierii wstecznej i tworzenia narzędzi pomocniczych. Faktyczne wykrywanie podatności i uzbrajanie exploitów pozostawia pod własną kontrolą, częściowo dlatego, że lubi tę pracę.

Jego doświadczenie wyznacza istotną granicę tej krytyki. Modele graniczne mogą pozostać użyteczne, gdy badacze powierzają im pomocnicze zadania o niższym ryzyku. Konflikt nasila się, gdy proces pracy zbliża się do wykorzystywalności luki, zachowania ładunku lub testów operacyjnych.

Obecna debata dotyczy zatem dostępu do konkretnych możliwości, a nie tego, czy AI ma jakąkolwiek wartość w bezpieczeństwie. Modele mogą streszczać kod, wyjaśniać funkcje, proponować testy lub pomagać w dokumentacji bez przekraczania najtrudniejszych granic polityki.

Problemy pojawiają się, gdy badacz prosi model o połączenie tych kroków. To połączenie jest często momentem, w którym możliwy błąd staje się potwierdzonym ustaleniem dotyczącym bezpieczeństwa.

Dlaczego polityki Anthropic i Google nie potrafią jednoznacznie oddzielić ataku od obrony

Polityki Anthropic, Google i innych laboratoriów tworzących modele graniczne mierzą się z problemem klasyfikacji, którego same prompty nie są w stanie wiarygodnie rozwiązać.

Anthropic twierdzi, że jego zabezpieczenia działające w czasie rzeczywistym blokują zakazane użycie oraz działalność wysokiego ryzyka o podwójnym zastosowaniu. Do kategorii zakazanej zalicza działania o niewielkiej uzasadnionej wartości defensywnej, takie jak tworzenie ransomware lub masowa eksfiltracja danych.

Kategoria wysokiego ryzyka o podwójnym zastosowaniu jest bardziej złożona. Anthropic wprost zalicza do niej wykorzystywanie podatności oraz tworzenie narzędzi bezpieczeństwa ofensywnego, które mogą służyć uzasadnionym celom defensywnym.

Takie prośby są domyślnie blokowane w objętych polityką modelach Claude. Zweryfikowani użytkownicy mogą ubiegać się o dostosowanie ograniczeń w ramach Anthropic's Cyber Verification Program, czyli CVP.

Anthropic twierdzi, że zatwierdzeni specjaliści nadal mogą napotykać blokady. Firma przyznaje, że może błędnie odrzucać kwalifikujących się kandydatów oraz że zatwierdzeni użytkownicy mogą podlegać ograniczeniom podczas legalnej pracy.

To przyznanie odzwierciedla podstawowe wyzwanie techniczne. Model może otrzymać identyczne instrukcje dotyczące tworzenia exploita od testera penetracyjnego i przestępcy. Widoczna różnica często dotyczy upoważnienia, a nie żądanej operacji.

Polityka zakazanego użycia Google podobnie zakazuje generatywnej AI tworzenia treści ułatwiających działanie złośliwego oprogramowania, nadużycia wobec infrastruktury lub obchodzenie filtrów bezpieczeństwa. Dopuszcza wyjątki, gdy korzyści edukacyjne, naukowe lub publiczne przeważają nad szkodą.

Sformułowanie dotyczące wyjątków uwzględnia kontekst, lecz egzekwowanie go na dużą skalę pozostaje trudne. Użytkownik może twierdzić, że jest właścicielem celu, nie potrafiąc tego udowodnić. Uzasadniony badacz może również pracować nad produktem, nie kontrolując jego infrastruktury.

OpenAI opisuje zdolności cybernetyczne jako z natury podwójnego zastosowania. Firma twierdzi, że procesy defensywne i ofensywne opierają się w dużej mierze na tej samej wiedzy i wielu tych samych technikach.

Firma odnotowała gwałtowny wzrost wyników w dziedzinie cyberbezpieczeństwa w 2025 roku. Według jej planu odporności cybernetycznej wyniki jej modeli w capture-the-flag wzrosły z 27% w sierpniu do 76% w listopadzie.

Wyzwania capture-the-flag to kontrolowane ćwiczenia bezpieczeństwa z celowo podatnymi celami. Sprawdzają umiejętności takie jak rozpoznanie, inżynieria wsteczna, wykorzystywanie podatności i eskalacja uprawnień.

OpenAI wykorzystuje wyższe progi możliwości, aby przewidywać modele zdolne do tworzenia zdalnych exploitów zero-day lub wspierania złożonych włamań. Ta trajektoria wyjaśnia, dlaczego firma nie będzie traktować każdej prośby cybernetycznej jak zwykłego programowania.

Google DeepMind przyjął podobne podejście oparte na ryzyku na poziomie rozwoju modeli. Jego ramy bezpieczeństwa uwzględniają cyberbezpieczeństwo wśród dziedzin wymagających oceny możliwości i stopniowo nasilanych środków ograniczających ryzyko.

Polityki te odpowiadają na rzeczywistą obawę. Zaawansowany model może kompresować specjalistyczną wiedzę, automatyzować powtarzalną pracę i koordynować narzędzia. Ta sama wydajność dostępna dla obrońcy może zmniejszać wysiłek potrzebny do nadużyć.

Agresywne filtrowanie promptów jest jednak toporną odpowiedzią na problem tożsamości i upoważnienia. Sama treść techniczna dostarcza słabych dowodów dotyczących celu użytkownika.

Proste sformułowania mogą również wprowadzać w błąd. Nieszkodliwy prompt może zawierać terminy takie jak shellcode, exploit, persistence lub credential extraction, ponieważ pojęcia te występują w legalnych ocenach bezpieczeństwa.

Złośliwa prośba może używać złagodzonego języka. Atakujący może opisać kradzież poświadczeń jako odzyskiwanie konta lub ukryć wykorzystywanie podatności jako testowanie zgodności.

Klasyfikatory muszą oceniać kod, intencję, cel, historię konta i otaczającą aktywność. Nawet wtedy wydają osądy probabilistyczne, zamiast weryfikować prawne upoważnienie.

Fałszywie pozytywne wyniki stają się szczególnie prawdopodobne podczas badań eksploracyjnych. Badacze nie zawsze wiedzą, czym stanie się podejrzana ścieżka w kodzie. Mogą potrzebować przetestować kilka ofensywnych hipotez, zanim zidentyfikują rzeczywistą podatność.

Ta niepewność kłóci się z systemami, które oczekują jasno zdefiniowanego celu defensywnego od samego początku. Proces badawczy często dostarcza takiego wyjaśnienia dopiero po rozpoczęciu technicznej pracy wyglądającej na niebezpieczną.

Zweryfikowany dostęp pomaga, ale nie usuwa utrudnień

Programy weryfikacyjne poprawiają dostęp znanym obrońcom, lecz nie mogą zagwarantować nieograniczonych ani przewidywalnych procesów badawczych.

CVP Anthropic to program oparty na zgłoszeniach dla legalnej pracy cybernetycznej wysokiego ryzyka. Firma twierdzi, że jej celem jest wydanie decyzji po weryfikacji w ciągu dwóch dni roboczych.

Zatwierdzenie jest powiązane z konkretną organizacją. Badacze nadal mogą otrzymywać blokady, jeśli korzystają z innej przestrzeni roboczej lub napotkają działanie, które pozostaje zakazane.

Dostępność różni się także w zależności od platformy. Anthropic podaje, że CVP nie jest obecnie dostępny przez Amazon Bedrock ani Google Vertex AI. Aplikacje innych firm korzystające z Claude również mogą nie uczestniczyć w programie.

Te rozróżnienia tworzą złożoność operacyjną. Zespół bezpieczeństwa może być traktowany inaczej w zależności od dostawcy chmury, konfiguracji przestrzeni roboczej lub integracji oprogramowania.

Program wymaga także przechowywania danych. Anthropic zaleca organizacjom korzystającym z zerowego okresu przechowywania danych utworzenie oddzielnej przestrzeni roboczej, w której przechowywanie jest włączone.

Warunek ten rodzi drugi problem, wykraczający poza zabezpieczenia. Badania ofensywne często obejmują poufny kod źródłowy, niezałatane podatności, zastrzeżone oprogramowanie układowe oraz informacje, które mogłyby umożliwić przejęcie systemu.

Przesyłanie tych materiałów do hostowanego modelu może tworzyć niedopuszczalne ryzyko ujawnienia, nawet gdy istnieją zabezpieczenia umowne. Dlatego niektórzy badacze unikają usług oferujących modele graniczne, zanim dostawca nie załata luki.

Paolo Stagno, dyrektor ds. technologii w Crowdfense, powiedział TechCrunch, że jego zespół wykorzystuje modele frontier do inżynierii wstecznej. Unika jednak używania ich do wyszukiwania luk lub tworzenia exploitów.

Stagno wskazał na obawy dotyczące wycieku wrażliwych informacji o podatnościach lub włączenia danych do przyszłego treningu modeli. Przy pracach nad exploitami jego zespół korzysta z lokalnie obsługiwanych otwartych modeli, które nie wymagają przesyłania materiałów do dostawcy.

System OpenAI trusted cyber access wykorzystuje kilka poziomów możliwości. Standardowy dostęp wspiera typowe zadania defensywne, natomiast zweryfikowany dostęp łagodzi część ograniczeń w przypadku autoryzowanej pracy.

Bardziej wyspecjalizowany dostęp obejmuje testy ofensywne, w tym rozwój exploitów, testy penetracyjne, inżynierię wsteczną oraz red teaming. Zatwierdzenie jednego poziomu dostępu nie przyznaje automatycznie dostępu do każdego modelu wyspecjalizowanego w obszarze cyberbezpieczeństwa.

OpenAI podkreśla również, że program nie usuwa wszystkich zabezpieczeń ani odmów. Dostęp pozostaje ograniczony do zatwierdzonych użytkowników, wewnętrznych procesów oraz systemów należących do organizacji lub takich, na których testowanie ma ona zgodę.

Warunki te są uzasadnione. Dostawca nie może bezpiecznie traktować weryfikacji jako ogólnego zezwolenia na atakowanie dowolnego celu.

Jednocześnie pokazują one, dlaczego weryfikacja nie rozwiązuje w pełni problemu badawczego. Autoryzacja jest szczegółowa. Może dotyczyć jednego systemu, jednego okresu, jednej metody testowej lub jednego zlecenia klienta.

Ogólne zatwierdzenie na poziomie konta nie jest w stanie uwzględnić każdej zmiany zakresu. Ciągła weryfikacja dokumentów wprowadzałaby dodatkowe opóźnienia i ujawniała kolejne informacje o klientach.

OpenAI wcześniej informowało, że jego zaufany program objął tysiące zweryfikowanych obrońców oraz setki zespołów chroniących krytyczne oprogramowanie. Skala ta pokazuje zapotrzebowanie, ale nie mierzy liczby fałszywych pozytywów ani porzuconych procesów pracy.

Brakuje praktycznych wskaźników skuteczności. Badacze muszą wiedzieć, jak często zatwierdzone zapytania są blokowane, ile trwają odwołania oraz czy decyzje pozostają stabilne między aktualizacjami modeli.

Potrzebują też użytecznych wyjaśnień. Ogólny komunikat dotyczący bezpieczeństwa nie ujawnia, czy wyzwalaczem był cel, zachowanie kodu, żądany wynik czy skumulowana aktywność konta.

Bez tych informacji użytkownicy eksperymentują z formułowaniem promptów. Takie zachowanie może przypominać próbę obchodzenia ograniczeń, nawet gdy badacz chce jedynie uzyskać zgodny z prawem wynik.

Lepsze egzekwowanie zasad powinno skupiać się na całym środowisku operacyjnym. Dostawcy mogą łączyć weryfikację tożsamości z izolowanym wykonywaniem, listami dozwolonych celów, limitami częstotliwości, dziennikami audytowymi i kontrolowanym dostępem do sieci.

Model ten przypomina cyber range, czyli odizolowane środowisko do ćwiczeń z zakresu bezpieczeństwa. Zapewnia silniejszy dowód autoryzacji niż sama klasyfikacja promptów.

Nakłada też większą odpowiedzialność na infrastrukturę. Dostawcy muszą potwierdzić, że rzekomo odizolowany cel nie może stać się pomostem do zewnętrznego systemu.

Takie podejście nie obejmie każdego badacza. Niezależni specjaliści i małe firmy konsultingowe mogą nie dysponować dokumentacją organizacyjną oczekiwaną przez programy skoncentrowane na przedsiębiorstwach.

Badania nad bezpieczeństwem od dawna korzystają z wkładu osób z zewnątrz, które analizują produkty bez formalnej relacji z ich dostawcą. Ograniczenie zaawansowanego dostępu do dużych, łatwych do zweryfikowania instytucji mogłoby zawęzić tę społeczność.

Rezultatem byłby system dwupoziomowy. Duże firmy otrzymywałyby wyspecjalizowane modele i wsparcie, podczas gdy niezależni badacze polegaliby na narzędziach konsumenckich, lokalnych otwartych modelach lub metodach ręcznych.

Zabezpieczenia kierują wrażliwą pracę ku otwartym modelom

Gdy hostowane modele frontier stają się nieprzewidywalne lub nieodpowiednie do pracy poufnej, badacze mają powód, by uruchamiać otwarte modele lokalnie.

Kilku badaczy powiedziało TechCrunch, że sięga po modele do pobrania, gdy amerykańskie usługi frontier odmawiają realizacji zadań ofensywnych. Thompson wskazał konkretnie na chińskie otwarte modele, takie jak GLM.

Lokalne wdrożenie zmienia strukturę kontroli. Badacze mogą wybrać wersję modelu, zachować prompty, wyłączyć zewnętrzną łączność i przechowywać podatny kod na własnym sprzęcie.

Mogą też odtworzyć eksperyment po tym, jak dostawca zaktualizuje swoją hostowaną usługę. Stały checkpoint modelu zachowuje się bardziej konsekwentnie niż usługa, której zabezpieczenia mogą zmieniać się bez uprzedzenia.

Nie oznacza to, że każdy otwarty model dorównuje jakością rozumowania czołowemu modelowi hostowanemu. Badacze muszą porównać możliwości, obsługę kontekstu, wymagania sprzętowe oraz integrację z narzędziami.

Otwarte modele przenoszą także większą odpowiedzialność za bezpieczeństwo na operatora. Słabo odizolowany agent może wykonywać niebezpieczne polecenia, ujawniać sekrety lub uzyskiwać dostęp do systemów produkcyjnych.

Mimo to lokalna kontrola odpowiada jednocześnie na dwie skargi. Eliminuje odmowy na poziomie dostawcy i ogranicza konieczność wysyłania nieopublikowanych danych o podatnościach do zewnętrznej usługi.

To połączenie ma większe znaczenie niż przewaga w benchmarkach. Nieco słabszy model może być bardziej użyteczny, jeśli pozostaje dostępny przez cały wrażliwy, powtarzalny proces pracy.

Zmiana ta tworzy również strategiczne napięcie dla amerykańskich firm AI. Rygorystyczne zabezpieczenia mogą ograniczać nadużycia na ich własnych platformach, jednocześnie kierując legalnych ekspertów ku systemom pozostającym poza ich nadzorem.

Badacze ci przekazują następnie informacje zwrotne, integracje i wiedzę o procesach pracy do innego ekosystemu modeli. Ich użycie może ulepszać narzędzia wokół modeli, które mają mniej ograniczeń.

Nie jest to dowód, że zabezpieczenia czynią internet mniej bezpiecznym. Atakujący mogą korzystać z otwartych modeli niezależnie od tego, co wybiorą zweryfikowani obrońcy.

Migracja obrońców może jednak osłabić argument, że ograniczenia w usługach hostowanych zachowują przewagę dla odpowiedzialnych użytkowników. Ta przewaga ma znaczenie tylko wtedy, gdy użytkownicy mogą wykonywać istotną pracę.

OpenAI przedstawia swoją strategię jako zapewnianie obrońcom lepszych narzędzi przy jednoczesnym ograniczaniu wzrostu możliwości złośliwych podmiotów. Anthropic również oferuje dostosowane zabezpieczenia dla zweryfikowanych profesjonalistów.

Oba cele zależą od właściwie skalibrowanego dostępu. Kontrola blokująca niemal każde zachowanie wyglądające na niebezpieczne może ograniczać nadużycia, ale może też wyeliminować możliwości obiecane obrońcom.

Presja migracyjna wykracza poza wyraźne odmowy. Hostowane modele mogą stać się nieatrakcyjne, gdy wymogi retencji, wykluczenia platformowe lub niejasne procedury odwoławcze komplikują poufne zlecenia.

Firma konsultingowa może obsługiwać wielu klientów z odrębnymi granicami autoryzacji. Nie może beztrosko mieszać ich kodu źródłowego i ustaleń w jednej przestrzeni roboczej objętej retencją.

Niezależny badacz może analizować szeroko wdrożony produkt przed skontaktowaniem się z jego twórcą. Taka osoba nie zawsze może przedstawić umowę z klientem potwierdzającą autoryzację.

Programy bug bounty tworzą kolejną szarą strefę. Zachęcają do testowania zgodnie z opublikowanymi zasadami, ale dostawca modelu może nie być w stanie zweryfikować, czy każde żądane działanie mieści się w zakresie.

Sytuacje te ujawniają ograniczenia weryfikacji na poziomie firmy. Zaufanie przypisuje się osobie lub organizacji, podczas gdy autoryzacja dotyczy konkretnej operacji.

Modele obsługiwane lokalnie omijają tę lukę w weryfikacji. Usuwają też dostawcę, który mógłby wykrywać nadużycia na dużą skalę, zawieszać dostęp lub badać podejrzane wzorce.

Kompromis zatem się przesuwa, a nie znika. Usługi hostowane zapewniają nadzór, ale mogą powodować tarcia i budzić obawy o poufność. Modele lokalne zapewniają kontrolę, ale ograniczają scentralizowane egzekwowanie zasad.

Amerykańskie laboratoria rozwijające modele frontier nie mogą odwrócić dostępności otwartych modeli poprzez bardziej rygorystyczne odmowy. Ich bardziej realistyczną opcją jest uczynienie odpowiedzialnego dostępu hostowanego lepszym od lokalnej alternatywy.

Oznacza to przewidywalne zasady, szybsze odwołania, znaczące mechanizmy ochrony prywatności oraz środowiska zaprojektowane do kontrolowanego wykorzystywania exploitów. Sama surowa zdolność modelu nie wystarczy, by zatrzymać badaczy bezpieczeństwa na platformie.

Krytyka badaczy ma istotne ograniczenia

Badacze ofensywni wskazują na rzeczywiste awarie procesów pracy, ale ich interesy nie rozstrzygają, jak szeroko powinny być udostępniane niebezpieczne możliwości AI.

Niektóre firmy zajmujące się bezpieczeństwem ofensywnym odkrywają, nabywają lub sprzedają podatności klientom rządowym. Ich praca nie zawsze prowadzi do natychmiastowego ujawnienia i załatania luk.

Mark Dowd, prominentny badacz cytowany przez TechCrunch, sprzedawał zero-daye rządom państw zachodnich. Przyznał, że to doświadczenie może wpływać na jego pogląd na ograniczenia korporacyjne.

Rządy cenią nieujawnione podatności, ponieważ agencje wywiadowcze mogą z nich korzystać, podczas gdy cele pozostają narażone. Ten rynek komplikuje każde proste utożsamienie badań ofensywnych z obroną publiczną.

Dostawca modelu musi rozważyć więcej niż to, czy klient wydaje się wiarygodny. Musi także ocenić, czy pomoc może rozszerzać możliwości inwigilacji, włamań lub gromadzenia exploitów.

Autoryzacja prawna nie jest tożsama z korzyścią publiczną. Operacja zatwierdzona przez rząd może pozostawać kontrowersyjna lub stwarzać ryzyko systemowe, jeśli podatność dotyczy powszechnie używanego oprogramowania.

Badacze różnią się również co do tego, jak centralną rolę powinna odgrywać AI. Proces pracy Cali sugeruje, że użyteczna pomoc może kończyć się przed zautomatyzowanym wykrywaniem błędów lub uzbrajaniem ich w exploity.

Takie podejście zachowuje ludzki osąd na najbardziej ryzykownych etapach. Zmniejsza też prawdopodobieństwo, że model przekształci niekompletny pomysł w metodę ataku nadającą się do ponownego użycia.

Tymczasem argument dostawców dotyczący ryzyka nie jest hipotetyczny. OpenAI twierdzi, że możliwości modeli w obszarze cyberbezpieczeństwa szybko wzrosły, a wszystkie trzy laboratoria traktują zaawansowane zdolności cybernetyczne jako poważny obszar bezpieczeństwa.

W miarę jak modele zyskują zdolność do dłuższego, samodzielnego działania, pojedyncza odpowiedź staje się mniej istotna niż sekwencja działań. Agent może analizować kod, generować testy, wykonywać polecenia, oceniać błędy i rewidować swój plan.

Ta zdolność zmienia stawkę. Odmowa, która kiedyś blokowała krótkie żądanie dotyczące malware, może teraz musieć regulować tysiące skoordynowanych działań.

Czyni też odizolowane testowanie niezbędnym. Agent działający z użyciem narzędzi może przekraczać granice, do których asystent wyłącznie tekstowy nie ma dostępu.

Badacze zasługują na przewidywalny dostęp, ale dostawcy potrzebują dowodów, że otaczające środowisko ograniczy skutki awarii. Sama weryfikacja nie może dostarczyć takich dowodów.

Nie istnieje również publiczny, ustandaryzowany pomiar jakości zabezpieczeń dla legalnej pracy cybernetycznej. Anegdoty ujawniają sposoby awarii, ale nie określają ogólnego odsetka fałszywych pozytywów.

Wywiady TechCrunch obejmują różne organizacje i procesy pracy. Stanowią wiarygodne sygnały ostrzegawcze, a nie reprezentatywny sondaż branży bezpieczeństwa.

Dostawcy również publikują ograniczone dane o doświadczeniach zatwierdzonych użytkowników. Liczby uczestników pokazują zasięg, ale niewiele mówią o realizacji zadań czy użyteczności modeli.

Ta luka dowodowa zachęca obie strony do wyolbrzymiania swoich racji. Badacze mogą interpretować odmowę jako dowód arbitralności polityki bezpieczeństwa. Dostawcy mogą traktować dostępność programu jako dowód, że legalny dostęp działa.

Lepsza ocena testowałaby realistyczne, autoryzowane procesy pracy na wielu modelach. Powinna mierzyć powodzenie zadań, nieodpowiednie odmowy, niebezpieczne spełnianie żądań, spójność, czas odwołania oraz wymogi dotyczące obsługi danych.

Benchmark powinien obejmować niejednoznaczne przypadki. Łatwe prompty defensywne i jawne żądania dotyczące ransomware nie testują spornej granicy.

Scenariusze mogłyby obejmować walidację exploita w cyber range, inżynierię wsteczną malware, analizę celu programu bug bounty oraz opracowanie bezpiecznego proof of concept.

Niezależni ewaluatorzy potrzebowaliby również dostępu do modeli z najwyższych poziomów ryzyka. W przeciwnym razie mierzyliby publiczne ograniczenia, nie badając, czy weryfikacja rzeczywiście rozwiązuje problem.

Wyniki nie powinny ujawniać szczegółów operacyjnych, które umożliwiają nadużycia. Raportowanie zbiorcze nadal może pokazać, czy mechanizmy kontroli z czasem coraz trafniej rozróżniają legalną pracę.

Dopóki takie dowody nie istnieją, stanowcze wnioski pozostają przedwczesne. Zabezpieczenia wyraźnie powodują tarcia dla części badaczy, ale ich usunięcie stworzyłoby inne, potencjalnie większe ryzyko.

Praktycznym celem nie jest nieograniczony dostęp. Jest nim rozliczalny dostęp, który pozostaje użyteczny w realistycznych warunkach testów ofensywnych.

Co Anthropic, Google i OpenAI muszą udowodnić w następnej kolejności

Kolejny etap należy oceniać pod kątem niezawodności przepływów pracy, kontrolowanego wykonywania zadań oraz tego, czy odpowiedzialni badacze pozostają na platformach objętych nadzorem.

Pierwszym sygnałem są mierzalne wyniki w ramach programów weryfikacyjnych. Anthropic i OpenAI powinny raportować terminy zatwierdzania, wyniki odwołań oraz odsetki fałszywych alarmów dla uzasadnionych wniosków o podwójnym zastosowaniu.

Te liczby wymagają kontekstu, w tym informacji o modelu, poziomie dostępu i kategorii zadania. Jeden wskaźnik dla całego programu może ukrywać poważne problemy z walidacją exploitów.

Anthropic już deklaruje, że zamierza podejmować decyzje dotyczące wniosków CVP w ciągu dwóch dni roboczych. Ważniejsze pytanie brzmi, co dzieje się po zatwierdzeniu.

Jeśli zweryfikowani badacze nadal często napotykają niewyjaśnione blokady, proces weryfikacji jedynie przesunął granicę, nie rozwiązując problemu przepływu pracy. Spadek odsetka fałszywych alarmów wzmocniłby argument za skalibrowanymi zabezpieczeniami.

Drugim sygnałem jest upowszechnienie kontrolowanych środowisk badawczych. Laboratoria pracujące nad modelami frontier mogą zapewniać izolowane przestrzenie robocze z audytowanymi narzędziami, ograniczoną łącznością sieciową i jasnym upoważnieniem do działania wobec określonych celów.

Takie środowiska pozwoliłyby modelom wykonywać zadania wyglądające na niebezpieczne bez przyznawania otwartego dostępu do zewnętrznej infrastruktury. Uczyniłyby też analizę incydentów bardziej konkretną niż spekulacje na poziomie promptów.

Sukces wymagałby wsparcia na platformach chmurowych i w narzędziach firm trzecich. Obecne luki w dostępności CVP Anthropic pokazują, jak dostęp może się załamać, gdy model dociera do użytkowników przez pośredników.

Kontrole prywatności będą równie ważne jak kontrole wykonywania zadań. Zespoły bezpieczeństwa potrzebują wiarygodnych opcji obsługi własnościowego kodu i nieujawnionych podatności bez tworzenia dodatkowej ekspozycji.

Jeśli firmy połączą cyberpoligony z solidnymi opcjami retencji danych, więcej badaczy będzie mogło uzasadnić korzystanie z modeli hostowanych. Jeśli retencja pozostanie obowiązkowa, wrażliwa praca nadal będzie przenoszona lokalnie.

Trzecim sygnałem jest zachowanie badaczy. Dostawcy powinni obserwować, czy cenione zespoły ofensywne korzystają ze specjalistycznych modeli frontier do walidacji exploitów, a nie tylko do podsumowywania kodu.

Dalsza migracja w kierunku GLM i innych modeli dostępnych do pobrania osłabiłaby twierdzenia, że zweryfikowany dostęp daje obrońcom praktyczną przewagę. Stabilne wykorzystanie sugerowałoby, że zabezpieczenia stają się użyteczne.

Google należy uwzględnić w tym porównaniu, choć niedawne relacje badaczy koncentrowały się głównie na Anthropic i OpenAI. Jego polityki i ramy dotyczące modeli frontier odzwierciedlają ten sam podstawowy kompromis.

Zestawienie słów kluczowych anthropic google oddaje również szerszą rzeczywistość rynkową. Zespoły bezpieczeństwa porównują zasady zarządzania, wdrożenia, prywatność i dostęp między dostawcami, a nie tylko surowe wyniki benchmarków.

Żadna firma nie rozwiąże problemu klasyfikacji zastosowań o podwójnym przeznaczeniu za pomocą lepszego komunikatu odmowy. Decydujące ulepszenia połączą tożsamość, środowisko, autoryzację, monitoring oraz przejrzystą ścieżkę korygowania błędów.

Deweloperzy i nabywcy korporacyjni powinni zadawać bezpośrednie pytania przed wdrożeniem modelu AI do pracy związanej z bezpieczeństwem. Które zadania uruchamiają rozszerzone zabezpieczenia? Czy zatwierdzeni użytkownicy mogą odwołać się podczas aktywnego działania?

Powinni też przeanalizować retencję danych, przetwarzanie regionalne, dostępność platformy, audytowalność i stabilność wersji modelu. Te szczegóły decydują o tym, czy produkt może wspierać rzeczywisty program bezpieczeństwa.

Badacze ofensywni powinni dokumentować fałszywe alarmy bez publikowania materiałów ułatwiających wyrządzenie szkody. Porównywalne dowody utrudnią dostawcom odrzucanie niepowodzeń jako odosobnionego niewłaściwego użycia.

Firmy AI powinny z kolei traktować uzasadnione odmowy jako defekty bezpieczeństwa. System, który bez rozróżnienia blokuje obrońców, nie osiąga zamierzonej równowagi.

Nadchodzący test jest prosty. Czy Anthropic, Google i OpenAI potrafią zachować znaczący nadzór, jednocześnie zapewniając upoważnionym badaczom niezawodny dostęp do możliwości, których już poszukują atakujący?

Jeśli programy weryfikacyjne staną się spójne i poufne, modele frontier objęte nadzorem będą mogły zatrzymać odpowiedzialnych ekspertów. Jeśli nie, eksperci ci będą nadal przechodzić na lokalne alternatywy z mniejszą liczbą ograniczeń i słabszym nadzorem dostawcy.