Włamanie do kamery TikTok z użyciem AI pokazuje, jak darmowe modele zmieniają cyberbezpieczeństwo

TikTok załatał podatność po tym, jak badacze wykorzystali darmową AI do znalezienia drogi do kamery i biblioteki zdjęć telefonu testowego. Włamanie do kamery TikTok z użyciem AI było kontrolowaną demonstracją, a nie atakiem na niczego nieświadomego użytkownika. Mimo to ujawniło konflikt, którego zespoły bezpieczeństwa nie mogą już lekceważyć.

Badacze z firmy cyberbezpieczeństwa DepthFirst z San Francisco zmodyfikowali model o otwartych wagach od chińskiego twórcy AI Z.ai. Powstały w ten sposób system przeanalizował oprogramowanie używane przez TikTok i zidentyfikował łańcuch możliwych do wykorzystania luk. Pracownik DepthFirst zademonstrował następnie zdalny dostęp do wrażliwych funkcji telefonu, gdy urządzenie przeglądało TikTok.

TikTok potwierdził podatność i naprawił ją po otrzymaniu raportu od badaczy. Firma oświadczyła, że nie ma dowodów na wykorzystanie problemu przez atakujących przeciwko użytkownikom. To rozróżnienie jest istotne, lecz równie ważna jest metoda, która doprowadziła do odkrycia luki.

Modele o otwartych wagach pozwalają użytkownikom pobierać, modyfikować i uruchamiać parametry modelu na kontrolowanej przez siebie infrastrukturze. Deweloperzy zyskują większą swobodę niż w przypadku hostowanych chatbotów ze stałymi mechanizmami bezpieczeństwa. Badacze bezpieczeństwa również zyskują tę swobodę, ale mogą ją uzyskać także atakujący.

Kluczowe pytanie wykracza więc poza jedną naprawioną lukę. Systemy AI stają się zdolnymi narzędziami do badania podatności, a dostęp do tych możliwości rozprzestrzenia się poza uznane organizacje zajmujące się bezpieczeństwem.

Co faktycznie pokazało włamanie do kamery TikTok z użyciem AI

Demonstracja pokazała, że AI może pomóc połączyć odrębne słabości oprogramowania w drogę do dostępu do wrażliwych funkcji urządzenia.

Według oryginalnego raportu o włamaniu do kamery, DepthFirst dostosował darmowy model GLM opracowany przez Z.ai. Firma połączyła ten model z innymi narzędziami przeznaczonymi do analizowania oprogramowania i wyszukiwania słabości bezpieczeństwa.

System znalazł błędy w oprogramowaniu open source używanym przez TikTok. Oprogramowanie open source udostępnia kod źródłowy do wglądu, modyfikacji i redystrybucji na określonych warunkach licencyjnych. Tysiące aplikacji korzystają ze wspólnych komponentów, ponieważ odtwarzanie każdej funkcji wewnętrznie byłoby niepraktyczne.

Demonstracja DepthFirst miała podobno połączyć kilka błędów w jeden łańcuch. Łańcuch błędów łączy słabości, których łączny wpływ jest większy niż wpływ pojedynczej luki. Technika ta często oddziela drobny defekt od poważnego naruszenia bezpieczeństwa.

W nagranym teście pracownik zdalnie uzyskał dostęp do kamery i rolki zdjęć smartfona przeglądającego TikTok. Demonstracja odbyła się w środowisku testowym i nie była wymierzona w zwykłego użytkownika TikTok. Nie ma publicznych dowodów, że przestępcy wykorzystali tę samą drogę.

DepthFirst przekazał ustalenia za pośrednictwem programu bug bounty TikTok. Programy bug bounty wynagradzają lub wyróżniają badaczy, którzy odpowiedzialnie zgłaszają kwalifikujące się problemy bezpieczeństwa. TikTok kieruje badaczy do HackerOne i publikuje politykę skoordynowanego ujawniania podatności.

TikTok podał, że problem został zgłoszony kilka miesięcy wcześniej i szybko załatany. Firma dodała również, że nie znalazła dowodów na wykorzystanie go przeciwko użytkownikom. Te oświadczenia znacząco ograniczają bezpośrednie ryzyko dla konsumentów.

Zdarzenia nie należy opisywać jako znanego masowego wycieku, trwającej kampanii szpiegowskiej ani dowodu na przejęcie każdej instalacji TikTok. Był to udany dowód koncepcji dotyczący podatności, którą TikTok, jak twierdzi, naprawił.

Jednak dowód koncepcji nadal dostarcza cennych dowodów. Pokazuje, co upoważniony zespół mógłby osiągnąć, dostosowując dostępny model do badań nad podatnościami.

Istotna zmiana nie polega na tym, że oprogramowanie zawierało błędy. Duże aplikacje zawsze były wydawane z defektami, w tym odziedziczonymi przez zewnętrzne komponenty. Zmiana polega na tym, że system wspomagany przez AI pomógł zidentyfikować i połączyć te słabości.

Proces ten wcześniej w dużej mierze zależał od rzadko dostępnych specjalistów rozumiejących kod, systemy operacyjne, zachowanie aplikacji i techniki eksploatacji. AI nie eliminuje potrzeby takich specjalistów. Może zwiększać ilość kodu, który analizują, oraz tempo testowania obiecujących tropów.

Włamanie do kamery TikTok z użyciem AI stanowi zatem praktyczny przykład ofensywnego bezpieczeństwa wspomaganego przez AI. Oprogramowanie pomogło znaleźć drogę do chronionego zasobu, podczas gdy ludzie wybrali cel i przeprowadzili autoryzowaną demonstrację.

To połączenie jest ważniejsze niż spory o to, czy AI działała autonomicznie. Wyniki w zakresie bezpieczeństwa zależą od całego procesu, w tym modeli, narzędzi, danych, ludzkiej oceny i dostępu do celu.

System nie musi być w pełni autonomiczny, aby zmienić ekonomię hakowania. Wystarczy, że pomoże jednemu badaczowi przeanalizować więcej kodu, przetestować więcej hipotez lub połączyć więcej wskazówek.

Darmowa AI obniża koszt badań nad podatnościami

AI o otwartych wagach zmienia to, kto może budować wyspecjalizowane systemy cybernetyczne i jak ściśle dostawcy modeli mogą kontrolować ich użycie.

Amerykańskie firmy AI zwykle udostępniają swoje najwydajniejsze modele za pośrednictwem usług hostowanych. Mogą monitorować żądania, ograniczać określone zachowania, zawieszać konta i limitować dostęp do zaawansowanych funkcji cyberbezpieczeństwa.

Te mechanizmy kontroli są niedoskonałe. Użytkownicy mogą maskować złośliwe zamiary, dzielić szkodliwe zadanie na pozornie nieszkodliwe kroki lub przechodzić między dostawcami. Mimo to hostowany dostawca zachowuje kilka możliwości wykrycia i przerwania nadużycia.

Modele o otwartych wagach korzystają z innego modelu dystrybucji. Ich parametry można pobrać i uruchamiać poza infrastrukturą dewelopera. Użytkownicy mogą modyfikować otaczające oprogramowanie, dostosowywać zachowanie i łączyć model z narzędziami bezpieczeństwa.

To sprawia, że otwarte modele są przydatne dla legalnych badaczy potrzebujących kontroli, prywatności lub powtarzalnych eksperymentów. Firma zajmująca się bezpieczeństwem może uruchomić model na własnym kodzie bez wysyłania go do zewnętrznej usługi. Badacze mogą również dostrajać przepływy pracy do wąskich zadań technicznych.

DepthFirst wykorzystał tę elastyczność, aby dostosować model GLM do wyszukiwania błędów. Z.ai podało, że jego partnerzy z obszaru bezpieczeństwa wykorzystali systemy GLM do odkrycia tysięcy słabości w rzeczywistych bazach kodu. Twierdzenie to pojawia się w opisie prac rozwojowych nad GLM.

Twierdzenie to nie ustala, ile ustaleń było poważnych, unikalnych lub niezależnie potwierdzonych. Skanery podatności rutynowo generują fałszywe alarmy, duplikaty i raporty o niskim wpływie. Znalezienie podejrzanego wzorca nie jest tym samym co stworzenie działającego exploita.

Demonstracja TikTok nadaje szerszemu twierdzeniu większą wagę, ponieważ przyniosła konkretny rezultat. Według wiadomości przejrzanych przez The Washington Post TikTok potwierdził zgłoszony problem i go załatał.

Skutek ekonomiczny ma znaczenie nawet wtedy, gdy podstawowy model nie jest najwydajniejszy na świecie. Modele do pobrania eliminują cykliczne decyzje o dostępie po stronie pierwotnego dewelopera. Użytkownik może uruchamiać je wielokrotnie i łączyć ze wyspecjalizowanymi narzędziami.

To sprawia, że darmowa AI jest atrakcyjna dla mniejszych zespołów bezpieczeństwa. Mogą one nie dysponować budżetami, relacjami lub uprawnieniami wymaganymi do uzyskania dostępu do ograniczonych modeli granicznych. Adaptowalny model może pomóc takim zespołom analizować duże bazy kodu, które wcześniej przekraczały ich możliwości.

Ta sama dostępność może wspierać grupy przestępcze. Atakujący o umiarkowanych umiejętnościach może używać AI do czytania nieznanego kodu, wyjaśniania awarii, tworzenia przypadków testowych i organizowania rozpoznania. Doświadczeni operatorzy mogą integrować modele z większymi zautomatyzowanymi systemami.

Nie oznacza to, że nowicjusz może nacisnąć jeden przycisk i przejąć dowolną aplikację. Rzeczywiste ataki nadal napotykają uwierzytelnianie, zabezpieczenia platformy, niespójne środowiska, systemy monitorowania i niepełne informacje.

AI skraca natomiast część procesu uczenia się i badania. Może zwiększać produktywność ekspertów, jednocześnie pomagając mniej doświadczonym użytkownikom podejmować pracę, która wcześniej pozostawała poza ich zasięgiem.

To rozróżnienie wyjaśnia, dlaczego ryzyko rośnie stopniowo, zanim stanie się dramatyczne. Każde ulepszenie usuwa niewielką część tarcia. Łącznie te redukcje zwiększają liczbę podmiotów zdolnych do testowania wystawionego na ataki oprogramowania.

Najistotniejsza konkurencja nie toczy się między Z.ai a OpenAI czy Anthropic. Toczy się między dostępnymi możliwościami a egzekwowalną kontrolą.

Dostawcy usług hostowanych mogą narzucać zasady użytkowania, lecz atakujący mogą przenosić się do modeli dostępnych do pobrania. Otwarci deweloperzy mogą publikować oceny i wytyczne dotyczące odpowiedzialnego użycia, lecz nie mogą niezawodnie odebrać pobranych wag.

Po rozpowszechnieniu zdolnego modelu bezpieczeństwo zależy w większym stopniu od kontroli na dalszych etapach. Obejmują one sandboxing, ograniczenia sieciowe, zarządzanie dostępem, rejestrowanie zdarzeń i szybkie usuwanie wszelkich odkrytych podatności.

Rzeczywista rywalizacja to możliwości kontra kontrola

Im lepsza staje się AI w pracy cybernetycznej, tym trudniej oddzielić badania defensywne od przygotowań ofensywnych.

Badania nad bezpieczeństwem mają z natury charakter podwójnego zastosowania. Ta sama wiedza może pomóc deweloperowi naprawić słabość lub atakującemu ją wykorzystać. Różnica często wynika z upoważnienia, intencji, wyboru celu i sposobu ujawnienia informacji.

Model poproszony o wskazanie niebezpiecznej obsługi pamięci może wspierać audyt kodu. Ten sam wynik mógłby pomóc zbudować exploit przeciwko niezałatanej usłudze. Sama treść techniczna nie zawsze ujawnia, jaki rezultat zamierza osiągnąć użytkownik.

Hostowane firmy AI reagują, ograniczając określone żądania i zapewniając zaawansowany dostęp zweryfikowanym badaczom. Takie podejście tworzy nadzór, ale generuje również koszty i opóźnienia dla legalnej pracy.

Systemy o otwartych wagach zmniejszają te bariery. Badacze mogą je dostosowywać bez proszenia dostawcy o pozwolenie. Mogą też odtwarzać testy i sprawdzać, jak zmiany wpływają na wydajność.

Kompromis staje się wyraźniejszy, gdy modele przechodzą od odpowiadania na pytania do obsługi narzędzi. Agent AI może przeszukiwać repozytoria, uruchamiać kod, analizować niepowodzenia i zmieniać podejście na wielu etapach.

Praca w cyberbezpieczeństwie szczególnie dobrze pasuje do tego wzorca. Wiele zadań obejmuje powtarzalną eksplorację, po której następuje ukierunkowana ocena ekspercka. Modele mogą pomóc nadać priorytet podejrzanym funkcjom, zanim człowiek przeanalizuje najbardziej obiecujące wyniki.

Demonstracja DepthFirst sugeruje, że taki przepływ pracy może prowadzić do istotnych ustaleń. Nie dowodzi, że model samodzielnie zaprojektował całe włamanie ani rozumiał każdą jego konsekwencję.

Ta granica powinna pozostać jasna. Opisywanie każdego odkrycia wspomaganego narzędziami jako autonomicznego hakowania wyolbrzymia dowody i odwraca uwagę od mierzalnej zmiany. Systemy kierowane przez ludzi są już wystarczająco istotne.

Własne badania Anthropic dotyczące zagrożeń pokazują, jak skomplikowane mogą stać się mechanizmy kontroli dostawców. We wrześniowym raporcie firma podała, że złośliwi aktorzy wykorzystywali Claude w operacjach cybernetycznych, inwigilacji, oszustwach i innych szkodliwych działaniach.

Firma poinformowała, że niektórzy aktorzy dzielili projekty na mniejsze żądania, które wyglądały na nieszkodliwe. Bezpośrednie złośliwe żądania częściej wywoływały odmowy niż podzielone przepływy pracy. Anthropic opisał te przypadki w swoim raporcie o nadużyciach AI.

Raport wskazał również, że Anthropic zakłócił zidentyfikowane operacje i wzmocnił zabezpieczenia. Pokazuje to zaletę hostowanego dostępu: dostawcy mogą badać aktywność, blokować konta i aktualizować systemy monitorowania.

Jednak kontrole w usługach hostowanych nie usuwają podstawowej zdolności. Regulują dostęp do niej. Przypadek TikTok pokazuje, co dzieje się, gdy porównywalne umiejętności stają się dostępne za pośrednictwem modeli, które użytkownicy mogą lokalnie modyfikować.

Żadne z tych podejść nie daje pełnej odpowiedzi. Zbyt szerokie ograniczanie zdolności cybernetycznych może pozbawić obrońców narzędzi pomagających znajdować słabości, zanim zrobią to atakujący. Nieograniczone udostępnianie może zapewnić taką samą pomoc podmiotom ignorującym normy ujawniania luk.

Praktyczna polityka musi uwzględniać cały łańcuch operacyjny. Wagi modelu są tylko jednym z elementów. Uprawnienia narzędzi, zasoby obliczeniowe, dostęp do celów i łączność sieciowa określają, co system rzeczywiście może zrobić.

Model działający lokalnie bez dostępu do sieci stwarza inne ryzyko niż model połączony z frameworkami exploitów i aktywnymi celami. Agent bezpieczeństwa działający w odizolowanym środowisku testowym różni się od tego samego agenta działającego w sieci korporacyjnej.

Problem kontroli przesuwa się więc na zewnątrz. Organizacje muszą traktować agentów AI jak uprzywilejowanych operatorów oprogramowania, a nie zwykłe chatboty.

Oznacza to przyznawanie im wyłącznie dostępu potrzebnego do jasno określonego zadania. Oznacza też oddzielanie systemów testowych od produkcyjnych, zachowywanie dzienników audytowych i wymaganie ludzkiej akceptacji dla wrażliwych działań.

Zabezpieczenia modeli nadal mają znaczenie, szczególnie w usługach hostowanych. Mogą zniechęcać do okazjonalnych nadużyć i pomagać dostawcom identyfikować zorganizowane kampanie. Nie są jednak w stanie przejąć całego ciężaru bezpieczeństwa.

Rywalizacja między możliwościami a kontrolą będzie się nasilać, gdy systemy z otwartymi wagami zbliżą się pod względem cybernetycznej skuteczności do czołowych modeli hostowanych. Istotnym punktem odniesienia nie będzie jakość rozmowy. Będzie nim niezawodne działanie w rzeczywistych procesach bezpieczeństwa.

Łowcy błędów AI wywierają presję na dostawców oprogramowania

Dostawcy muszą dziś mierzyć się ze skracającym się czasem między momentem, gdy lukę można wykryć, a chwilą, gdy ktoś próbuje ją wykorzystać.

Firmy programistyczne od dawna działają w ramach niewygodnego założenia. Błędy istnieją, zanim zauważą je obrońcy lub atakujący, a proces ich odkrywania często zajmuje dużo czasu.

Audyt wspomagany przez AI skraca część tego czasu. Modele mogą analizować więcej kodu, streszczać nieznane komponenty, generować potencjalne dane wejściowe i pomagać badaczom interpretować nieoczekiwane zachowanie.

Natychmiastowa presja dotyczy firm z dużymi aplikacjami i rozbudowanymi drzewami zależności. Drzewo zależności mapuje zewnętrzne pakiety i zagnieżdżone komponenty wymagane przez aplikację.

Jedna aplikacja może pośrednio zależeć od tysięcy elementów oprogramowania. Wada głęboko w takim łańcuchu może wpływać na wiele produktów, nawet jeśli ich twórcy nigdy nie dotknęli podatnego kodu.

Według doniesień atak na kamerę AI w TikTok rozpoczął się od oprogramowania open source używanego przez platformę. To istotne, ponieważ ryzyko nie musiało pochodzić z najbardziej widocznych funkcji TikTok.

Współczesne bezpieczeństwo oprogramowania wykracza poza kod tworzony przez samą firmę. Zespoły potrzebują dokładnego spisu zależności, wersji, uprawnień i ścieżek ekspozycji.

Łowcy błędów AI mogą przeszukiwać współdzielone komponenty na dużą skalę. Odkrycie w jednym pakiecie może stworzyć pracę naprawczą dla każdego produktu, który go osadza. Atakujący mogą prowadzić podobne wyszukiwania, aby identyfikować szeroko wykorzystywalne możliwości.

Dostawcy muszą więc skracać cykle wykrywania i łatania. Otrzymanie odpowiedzialnego zgłoszenia to dopiero początek. Inżynierowie muszą odtworzyć problem, zmierzyć jego wpływ, przygotować bezpieczną poprawkę, przetestować regresje i rozprowadzić aktualizację.

Aplikacje mobilne wprowadzają kolejne opóźnienie. Firma może opublikować poprawioną wersję, lecz użytkownicy mogą odkładać instalację. Systemy operacyjne i sklepy z aplikacjami również wpływają na tempo, w jakim aktualizacje trafiają na urządzenia.

TikTok poinformował, że szybko załatał zgłoszony problem i nie znalazł dowodów jego wykorzystania. To pożądany rezultat skoordynowanego ujawnienia, ale nie gwarantuje, że każde przyszłe zgłoszenie pozostanie prywatne.

Wiele zespołów może niezależnie odkryć tę samą słabość. AI zwiększa liczbę zespołów zdolnych do prowadzenia takich poszukiwań, co podnosi prawdopodobieństwo nakładających się odkryć.

Ta dynamika osłabia dawną przewagę obronną. Historycznie niektóre trudne luki pozostawały nieznane, ponieważ niewiele osób dysponowało czasem i wiedzą potrzebnymi do ich znalezienia.

Niejasność nigdy nie była niezawodnym mechanizmem bezpieczeństwa. AI utrudnia ignorowanie tego ograniczenia.

Pentagon napotkał podobną presję, choć w innej skali. Jego kierownictwo ds. cyberobrony zgłosiło dziesięciokrotny wzrost liczby podatności narażonych na ataki zero-day w związku z rozwojem możliwości AI.

Zero-day to luka, którą obrońcy muszą usunąć bez istniejącej poprawki lub ustalonego czasu reakcji. Zgłoszony wzrost nie oznacza, że AI spowodowała każdy leżący u podstaw błąd.

Wskazuje, że atakujący i badacze mogą identyfikować więcej słabości w systemach, które już zawierają dług techniczny. AI wzmacnia konsekwencje opóźnionej konserwacji.

Platformy konsumenckie borykają się z tym samym problemem strukturalnym. Funkcje się kumulują, zależności rosną, a stare komponenty pozostają, ponieważ ich wymiana może zepsuć ważne funkcje.

Zespoły bezpieczeństwa muszą reagować poprzez zwiększanie widoczności przed zwiększaniem automatyzacji. Skaner AI generujący tysiące niezweryfikowanych ostrzeżeń może przytłoczyć inżynierów, nie zmniejszając praktycznego ryzyka.

Skuteczne systemy wymagają priorytetyzacji. Powinny ustalać, czy wada jest osiągalna, czy przekracza granicę bezpieczeństwa oraz czy atakujący może połączyć ją z inną słabością.

Na tym etapie wiedza ekspertów pozostaje niezbędna. Badacze muszą odróżniać teoretyczny problem od wiarygodnej ścieżki ataku. Zespoły produktowe muszą ustalić, która poprawka ogranicza ryzyko bez wprowadzania nowych defektów.

AI może przyspieszyć dochodzenie, ale szybkość pomaga tylko wtedy, gdy organizacje potrafią wykorzystać jego wyniki. Dostawcy, którzy nie potrafią weryfikować i naprawiać ustaleń, zgromadzą większą kolejkę znanego ryzyka.

Dlatego to wydarzenie wywiera presję zarówno na nabywców oprogramowania, jak i jego twórców. Klienci korporacyjni powinni pytać dostawców, jak ewidencjonują zależności, przetwarzają zewnętrzne zgłoszenia i dystrybuują awaryjne aktualizacje.

Odpowiedź jest ważniejsza niż obietnica, że produkt wykorzystuje AI do bezpieczeństwa. Zdolność obronna powinna być mierzona tempem łatania, odtwarzalnym testowaniem oraz dowodami, że krytyczne ustalenia trafiają do osób ponoszących odpowiedzialność.

Demonstracja nie dowodzi, że nastąpiło powszechne hakowanie przez AI

Jedna załatana luka w TikTok nie dowodzi, że darmowe modele mogą niezawodnie kompromitować dowolne aplikacje ani zastąpić doświadczonych hakerów.

Wynik dotyczący TikTok zasługuje na uwagę właśnie dlatego, że był konkretny. Nie powinien jednak stać się dowodem twierdzeń wykraczających poza dostępne fakty.

Publiczne doniesienia nie zawierają wszystkich szczegółów technicznych łańcucha podatności. To pominięcie jest właściwe, gdy użytkownicy mogą nadal korzystać z dotkniętych wersji oprogramowania lub powiązanych komponentów.

Ogranicza ono także ocenę zewnętrzną. Niezależni badacze nie mogą jeszcze określić, które części procesu wymagały modelu, które wymagały narzędzi DepthFirst, a które zależały od ludzkiej wiedzy.

Niejasny pozostaje również wkład danych treningowych. Modele bezpieczeństwa mogą odtwarzać znane wzorce poznane na podstawie opublikowanych podatności. Znalezienie rzeczywiście nowej luki wymaga silniejszego rozumowania i skutecznej interakcji ze środowiskami testowymi.

Nawet potwierdzona podatność nie dowodzi powtarzalnej skuteczności. System może odnieść sukces wobec jednego celu po intensywnym dostrajaniu, a zawieść wobec dziesiątek innych.

Testowanie bezpieczeństwa wywołuje również efekty selekcji. Firmy naturalnie podkreślają udane odkrycia, podczas gdy nieudane poszukiwania otrzymują mniej uwagi. Czytelnicy rzadko widzą całkowity czas obliczeń, odrzucone próby lub korekty dokonane przez ludzi.

Oświadczenie Z.ai dotyczące tysięcy podatności wymaga podobnego kontekstu. Łączna liczba nie ujawnia ich wagi, unikalności, wskaźników walidacji ani rezultatów naprawy.

Defekt w kodzie o niskim wpływie i luka możliwa do zdalnego wykorzystania nie powinny mieć tej samej wagi. Niezależne benchmarki muszą mierzyć wyniki od początku do końca, a nie surową liczbę ustaleń.

Słowo „darmowe” także może wprowadzać w błąd. Pobranie wag modelu może być bezpłatne, lecz obsługa wyspecjalizowanego systemu wymaga sprzętu, energii elektrycznej, pracy inżynierskiej, pamięci masowej i infrastruktury bezpieczeństwa.

Według doniesień DepthFirst znacząco zmodyfikował model i połączył go z innymi narzędziami. Nie jest to równoznaczne z poproszeniem publicznego chatbota o działający exploit na kamerę.

Te ograniczenia nie eliminują ryzyka. Umożliwiają jego dokładniejsze umiejscowienie.

Krótkoterminowe zagrożenie wynika z tego, że zdolni ludzie zyskują lepszą dźwignię działania. Zespół przestępczy może automatyzować powtarzalną pracę i badać więcej celów. Grupa wspierana przez państwo może integrować AI z istniejącymi operacjami rozpoznawczymi i związanymi ze złośliwym oprogramowaniem.

Mniej doświadczeni atakujący również mogą się rozwijać, ale nadal napotykają przeszkody operacyjne. Potrzebują osiągalnych celów, niezawodnego wykonania, trwałości i sposobów unikania wykrycia.

Obrońcy zyskują podobną dźwignię. Mogą audytować wewnętrzny kod, oceniać poprawki, porządkować dane o incydentach i przeszukiwać logi pod kątem powiązanego zachowania.

Wynik będzie zależał od tempa wdrażania i dyscypliny operacyjnej. Atakujący mogą działać szybko, ponieważ akceptują porażki i przerzucają szkody na innych. Obrońcy muszą utrzymywać dostępność, prywatność i zgodność z prawem.

Ta asymetria daje atakującym przewagę, ale nie jest ona absolutna. Obrońcy kontrolują wiele środowisk docelowych i mogą usuwać zbędne uprawnienia, izolować systemy oraz monitorować nietypowe zachowanie.

Konsumenci nie powinni traktować demonstracji jako dowodu, że TikTok obecnie zdalnie aktywuje kamery. TikTok poinformował, że nie ma dowodów na wykorzystanie naprawionej luki przeciwko użytkownikom.

Użytkownicy powinni mimo to aktualizować TikTok i mobilny system operacyjny. Powinni także przeglądać uprawnienia do kamery i zdjęć, szczególnie w przypadku aplikacji niewymagających ciągłego dostępu.

Kontrole uprawnień nie stanowią pełnej ochrony przed poważnym exploitem oprogramowania. Ograniczają ekspozycję, gdy aplikacje lub integracje działają poza oczekiwaniami użytkownika.

Odpowiedzialny wniosek jest węższy niż panika i mocniejszy niż lekceważenie. Wspomagane przez AI wykrywanie podatności przeszło od dyskusji o benchmarkach do zweryfikowanej pracy nad bezpieczeństwem produktów.

Nadal niepewna pozostaje częstotliwość takich sukcesów. Branża bezpieczeństwa potrzebuje przejrzystych ocen mierzących wykrywanie, możliwość wykorzystania, fałszywie pozytywne wyniki, nakład pracy ludzkiej i rezultaty napraw.

Trzy sygnały pokażą, czy hakowanie z użyciem AI weszło w nową fazę

Kolejną fazę zdefiniują powtarzalność, rzeczywiste nadużycia oraz zdolność dostawców do naprawiania oprogramowania szybciej, niż AI potrafi ujawniać jego słabości.

Pierwszym sygnałem będzie niezależne powielanie łańcuchów podatności wspomaganych przez AI. Badacze muszą wykazać wyniki w różnych aplikacjach, językach programowania i środowiskach operacyjnych.

Pojedynczy sukces może wynikać ze starannego wyboru celu lub intensywnego wsparcia człowieka. Powtarzalny sukces pokazałby, że zdolność ta wykracza poza jeden sprzyjający przypadek.

Oceny powinny ujawniać, jak wiele ludzkiej interwencji wymagał każdy wynik. Powinny również oddzielać przegląd kodu, wykrywanie podatności, rozwój exploitu i skuteczne uzyskanie dostępu.

To rozróżnienie określi, czy AI pozostanie narzędziem wspierającym ekspertów, czy stanie się bardziej niezależnym operatorem. Pomoże też organizacjom zdecydować, gdzie akceptacja człowieka pozostaje obowiązkowa.

Drugim sygnałem będą dowody złośliwego wykorzystania porównywalnych procesów pracy z otwartymi wagami. Firmy zajmujące się bezpieczeństwem już zgłaszają szerokie wykorzystanie AI w rozpoznaniu, phishingu, tworzeniu złośliwego oprogramowania i planowaniu operacyjnym.

Mocniejsze twierdzenie brzmiałoby, że otwarty model odkrył wcześniej nieznaną lukę i umożliwił jej wykorzystanie przeciwko rzeczywistym ofiarom. Publiczna atrybucja będzie trudna, ponieważ atakujący rzadko dokumentują kompletne łańcuchy używanych narzędzi.

Respondenci ds. incydentów powinni więc zabezpieczać dowody dotyczące plików modeli, frameworków agentowych, wygenerowanych skryptów i historii automatycznych poleceń. Te artefakty mogą ujawnić, w jaki sposób AI przyczyniła się do włamania.

Braku publicznych dowodów nie należy mylić z potwierdzeniem, że nadużycia nie miały miejsca. Nie należy też zastępować go spekulacjami. Zweryfikowane przypadki muszą pozostać oddzielone od prawdopodobnych scenariuszy.

Trzecim sygnałem jest czas między odpowiedzialnym zgłoszeniem a szerokim wdrożeniem działającej poprawki. Ten okres pokazuje, czy obrońcy nadążają za szybszym wykrywaniem problemów.

Reakcja TikTok stanowi użyteczny przykład. Firma twierdzi, że otrzymała zgłoszenie za pośrednictwem swojego programu bounty, szybko usunęła problem i nie znalazła dowodów na jego wykorzystanie.

Przyszłe przypadki sprawdzą, czy ten proces działa także u mniejszych dostawców, którzy mają mniej inżynierów bezpieczeństwa. Szczególnie istotne będą wspólne komponenty open source, ponieważ jedna wada może wpływać na wiele produktów.

Rządy i duzi nabywcy mogą wzmacniać lepsze praktyki za pomocą wymogów zakupowych. Mogą wymagać inwentaryzacji zależności, kanałów skoordynowanego ujawniania podatności, zapisów audytowych oraz terminów usuwania krytycznych problemów.

Twórcy modeli również stoją przed kolejnymi decyzjami. Dostawcy usług hostowanych będą rozwijać programy monitorowania i dostępu dla badaczy. Twórcy otwartych modeli staną pod presją publikowania ocen cyberbezpieczeństwa przed wydaniem silniejszych modeli.

Oceny przed wydaniem powinny testować coś więcej niż to, czy model odpowiada na oczywiście złośliwe polecenia. Powinny badać użycie narzędzi, rozproszone przepływy pracy, trwałość działań oraz zachowanie w realistycznych środowiskach.

Organizacje wdrażające agentów AI powinny koncentrować się na ograniczaniu ich działania w takim samym stopniu jak na wyborze modelu. Agent nie powinien dziedziczyć szerokiego dostępu do sieci tylko dlatego, że jego bezpośrednie zadanie wygląda na defensywne.

Zespoły bezpieczeństwa mogą zacząć od odizolowanych środowisk, dostępu tylko do odczytu, krótkotrwałych poświadczeń oraz kompleksowego rejestrowania zdarzeń. Wrażliwe działania powinny wymagać zatwierdzenia przez odpowiedzialnego operatora.

Dla konsumentów praktyczna odpowiedź pozostaje znana, lecz bardziej pilna. Należy niezwłocznie instalować aktualizacje aplikacji i systemu operacyjnego. Warto usuwać nieużywane aplikacje oraz cofać uprawnienia, które nie służą już jasno określonemu celowi.

Atak na kamerę AI w TikTok nie ujawnił masowego naruszenia bezpieczeństwa. Pokazał jednak, że dostępna AI może pomóc wykwalifikowanym badaczom znaleźć poważną drogę ataku w nowoczesnym oprogramowaniu.

Ta zdolność może wzmacniać obrońców, gdy ustalenia trafiają do skoordynowanego ujawniania i szybkiego łatania. Może wzmacniać atakujących, gdy ten sam proces jest wymierzony w nieprzygotowane systemy.

Czynnikiem decydującym nie będzie to, czy darmowa AI zniknie. Modele możliwe do pobrania są już częścią krajobrazu bezpieczeństwa. Decydujące będzie to, czy dostawcy oprogramowania potrafią skrócić dystans między wykryciem problemu a jego naprawą.

Liderzy bezpieczeństwa powinni teraz zadać bezpośrednie pytanie: jeśli system AI jutro znajdzie krytyczną wadę w jednej z Waszych zależności, kto ją zweryfikuje, naprawi i przede wszystkim ochroni użytkowników?