Anthropic twierdzi, że prompt injection jest niemal rozwiązany, ale zero wymaga kontekstu
Anthropic twierdzi, że jego najnowsze zabezpieczenia ograniczyły skuteczne ataki prompt injection niemal do zera, podważając ryzyko, które wielu badaczy uważało za fundamentalne dla agentów AI.
Boris Cherny, który kieruje Claude Code, przypisał tę zmianę przede wszystkim lepszemu treningowi modelu. Jak powiedział, warstwowe zabezpieczenia jeszcze bardziej obniżyły zmierzony wskaźnik powodzenia ataków. Warstwy te obejmują sondy prompt injection oraz tryb automatyczny Claude Code, który klasyfikuje działania narzędzi przed zezwoleniem na ich wykonanie.
To twierdzenie ma znaczenie, ponieważ prompt injection ograniczał możliwość bezpiecznego przeglądania przez agentów stron internetowych, odczytywania repozytoriów, przetwarzania e-maili i obsługi połączonych narzędzi. OpenAI opisywało ten problem jako porównywalny z oszustwami internetowymi i mało prawdopodobny do całkowitego wyeliminowania. Anthropic oferuje teraz bardziej optymistyczną odpowiedź, popartą wyjątkowo niskimi wynikami w najnowszych ewaluacjach.
Zaobserwowany zerowy wskaźnik ataków nie oznacza jednak uniwersalnej odporności. Opisuje on skuteczność wobec określonego zbioru ataków, środowisk, narzędzi i reguł oceny. Nowe ataki, szersze uprawnienia lub odmienne ustawienia wdrożeniowe mogą prowadzić do innych wyników.
To rozróżnienie stanie się ważniejsze, gdy Anthropic uczyni tryb automatyczny standardowym doświadczeniem Claude Code. Firma odchodzi od zachowawczych monitów o uprawnienia na rzecz zautomatyzowanych decyzji dokładnie w chwili, gdy deklaruje istotną poprawę bezpieczeństwa.
Twierdzenie Anthropic dotyczące prompt injection pochodzi z testu warstwowego
Istotna zmiana nie polega na tym, że Anthropic dodał kolejny filtr. Bazowy model wydaje się znacznie trudniejszy do zmanipulowania, zanim filtry zaczną interweniować.
Prompt injection występuje, gdy niezaufana treść zawiera instrukcje przeznaczone dla AI, a nie dla jego użytkownika. Agent może napotkać takie instrukcje na stronie internetowej, w repozytorium, odpowiedzi narzędzia, obrazie lub pobranym dokumencie.
Atak działa, ponieważ agent musi interpretować zarówno zaufane polecenia, jak i niezaufane dane w swoim kontekście roboczym. Złośliwy dokument może naśladować instrukcję i prosić agenta o zignorowanie zadania, ujawnienie informacji lub wywołanie niebezpiecznego narzędzia.
Twierdzenie Cherny’ego o warstwowej obronie wskazuje na trzy odrębne zabezpieczenia. Pierwszym jest alignment modelu, czyli trening uczący Claude’a odróżniania celu użytkownika od poleceń osadzonych w zewnętrznych treściach.
Drugą warstwą jest sonda prompt injection. To działające po stronie serwera zabezpieczenie analizuje materiały zwracane przez narzędzia, zanim trafią one do kontekstu agenta. Może oznaczać podejrzane instrukcje ukryte w plikach, wynikach powłoki, witrynach internetowych lub usługach zewnętrznych.
Trzecią warstwą jest klasyfikator intencji trybu automatycznego. Tryb automatyczny nie daje Claude’owi nieograniczonych uprawnień. Ocenia proponowane działania i blokuje aktywność sklasyfikowaną jako destrukcyjna, nieodwracalna lub wykraczająca poza zamierzone środowisko.
Opublikowane przez Anthropic wyniki wskazują, że każda warstwa ogranicza inny punkt awarii. Trening zmniejsza prawdopodobieństwo, że model wykona wrogą instrukcję. Sonda próbuje rozpoznać wrogą treść, zanim model na nią zareaguje. Klasyfikator działań ogranicza to, co atakujący może osiągnąć po wpłynięciu na model.
To rozdzielenie ma znaczenie. Detektor może przeoczyć sprytnie zamaskowaną treść, podczas gdy dobrze wyrównany model nadal może błędnie zrozumieć niejednoznaczne instrukcje. Klasyfikator narzędzi daje kolejną szansę na zatrzymanie wynikającego z nich działania.
Anthropic wcześniej opisał tę strategię w badaniu dotyczącym obrony przed wstrzykiwaniem poleceń w przeglądarce. Podczas treningu Claude napotyka symulowane strony internetowe zawierające złośliwe instrukcje. Model otrzymuje nagrodę, gdy rozpoznaje i odrzuca te instrukcje, jednocześnie kontynuując prawidłowe zadanie.
Ten cel treningowy jest trudniejszy niż nauczenie modelu odmawiania w odpowiedzi na oczywiście złośliwy tekst. Użyteczny agent przeglądarkowy musi nadal odczytywać instrukcje na legalnych stronach, wykonywać procedury dostarczone przez użytkownika i wchodzić w interakcje z nieznanymi interfejsami. Nadmierna ostrożność może uczynić go bezpiecznym, ale nieskutecznym.
Nowe wyniki sugerują, że Anthropic poprawił równowagę między bezpieczeństwem a użytecznością. Nie pokazują jednak, że wyeliminowano każde możliwe wstrzyknięcie.
Wynik bliski zeru obejmuje więcej niż jedną liczbę
„W przybliżeniu zero” łączy kilka ustawień ewaluacyjnych, a tych ustawień nie należy traktować jako wymiennego dowodu pełnego bezpieczeństwa.
Zgodnie z kartą systemową Claude Opus 5 model oceniano pod kątem pośrednich prompt injection w środowiskach przeglądarkowych i computer-use. Ataki pośrednie umieszczają złośliwe instrukcje w treściach pobieranych przez agenta, a nie w bezpośrednim żądaniu użytkownika.
Podsumowanie wyników karty systemowej podaje, że dodanie sondy prompt injection ograniczyło skuteczność ataków do 0,18% w dwóch testowanych konfiguracjach. Inna ewaluacja przeglądarkowa miała podobno obejmować 129 środowisk, które nie zostały wykorzystane podczas treningu.
Po dodaniu trybu automatycznego do zestawu zabezpieczeń żaden atak nie zakończył się sukcesem w ocenianych scenariuszach przeglądarkowych. To stanowi podstawę do opisania zaobserwowanego wskaźnika jako w przybliżeniu zerowego. Jest to istotny wynik testu, zwłaszcza że ataki były wymierzone w wcześniej niewidziane środowiska.
Mimo to zero udanych ataków i zerowe ryzyko bazowe to dwa różne stwierdzenia. Gdy benchmark nie odnotowuje skutecznego ataku, wyznacza górną granicę w obrębie tej próbki. Nie może potwierdzić, że rzeczywisty wskaźnik wynosi dokładnie zero dla każdego przyszłego ataku.
Znaczenie ma również mianownik. System testowany na setkach lub tysiącach prób dostarcza mocniejszych dowodów niż system oceniany na niewielkim zbiorze. Powtarzane ataki na to samo środowisko nie muszą odzwierciedlać różnorodności ataków pojawiających się po wdrożeniu.
Równie ważny jest model zagrożeń przyjęty w ewaluacji. Atak przeglądarkowy mający zmienić zadanie zakupowe różni się od ataku na repozytorium, który ukrywa polecenia w komentarzach kodu źródłowego. Oba kwalifikują się jako pośredni prompt injection, ale wykorzystują inne narzędzia, uprawnienia i możliwości wyrządzenia szkody.
Niezależne badania wzmacniają tę ostrożność. Benchmark LivePI testuje agentów w przepływach pracy zbliżonych do produkcyjnych, obejmujących strony internetowe, pliki, repozytoria, e-maile i treści czatów grupowych. Jego autorzy zgłosili łączne wskaźniki powodzenia ataków od 10,7% do 29,6% w pięciu systemach frontierowych w testowanej konfiguracji.
Te realistyczne testy agentów nie zaprzeczają bezpośrednio wynikom Anthropic. Wykorzystują inne modele, mechanizmy uruchomieniowe, ataki, uprawnienia i kryteria oceny. Pokazują natomiast, jak bardzo zmierzone bezpieczeństwo może zmieniać się wraz z benchmarkiem.
NetInjectBench stanowi kolejne ostrzeżenie przed zbyt wąskimi wnioskami. Jego scenariusze operacji sieciowych oddzielają niezaufane artefakty od zaufanych metadanych polityk i mierzą niebezpieczne użycie narzędzi. Naiwne wykonanie doprowadziło do wskaźnika niebezpiecznych działań na poziomie 82,5% w 240 przypadkach ataku.
Benchmark agentów sieciowych dotyczy wyspecjalizowanego środowiska, a nie dokładnego stosu produkcyjnego Claude Code. Mimo to pokazuje, dlaczego agenci dysponujący narzędziami o istotnych konsekwencjach potrzebują kontroli na poziomie systemu, wykraczających poza zachowanie modelu polegające na odmowie.
Najmocniejsze dowody Anthropic mają więc charakter porównawczy. Opus 5 wydaje się znacznie bardziej odporny niż wcześniejsze modele Claude’a w ewaluacjach Anthropic. Firma informuje również, że jej sonda i klasyfikator działań dodatkowo ograniczają pozostałe przypadki niepowodzeń.
Wspiera to twierdzenie o znaczącym postępie. Nie uzasadnia jednak rezygnacji z izolacji, kontroli dostępu, dzienników audytowych ani ludzkiego nadzoru w procesach o dużym wpływie.
Obrona Claude przed prompt injection zaczyna się od treningu
Kluczowa zmiana techniczna polega na decyzji Anthropic, by traktować odporność na prompt injection jako trenowaną zdolność modelu, a nie wyłącznie problem bezpieczeństwa perymetrycznego.
Wczesne mechanizmy obronne często umieszczały filtry między agentem a konsumowaną przez niego treścią. Filtr wyszukiwał oczywiste frazy, zakodowane instrukcje, podejrzane formatowanie lub znane wzorce ataków.
Takie podejście przypomina filtr spamu w e-mailu. Dobrze działa przeciwko znanym atakom, ale może zawieść, gdy atakujący zmieniają sformułowania, rozkładają instrukcje na kilka stron lub ukrywają intencję wewnątrz legalnych danych.
OpenAI bezpośrednio wskazało na to ograniczenie. Jego badania dotyczące projektowania bezpiecznych agentów mówią, że zaawansowane ataki coraz bardziej przypominają inżynierię społeczną. Tworzą wiarygodne historie, które manipulują rozumowaniem agenta, zamiast przedstawiać oczywiste polecenie zignorowania wcześniejszych instrukcji.
Detektor musi rozstrzygnąć, czy tekst jest danymi, legalną procedurą czy atakiem. Kategorie te mogą się nakładać. Repozytorium może prawidłowo instruować programistę, by uruchomił polecenie konfiguracji, podczas gdy przejęta zależność może umieścić niemal identyczną instrukcję w złośliwym pliku.
Trening na poziomie modelu daje agentowi dodatkowe źródło kontekstu. Claude może ocenić, czy instrukcja wspiera deklarowany cel użytkownika, czy jej źródło ma uprawnienia oraz czy jej wykonanie wymagałoby niewyjaśnionej zmiany planu.
Anthropic określa tę pracę nad hierarchią instrukcji i alignmentem jako część obrony modelu. Model uczy się, że treść pobrana ze środowiska nie powinna automatycznie dziedziczyć autorytetu użytkownika ani systemu.
To ujęcie dotyczy powszechnego wyjaśnienia prompt injection: pomylenia ról. Modele językowe mogą rozumieć słowa w instrukcji, ale nie rozpoznawać, kto jest uprawniony do jej wydania.
Najnowsze badania testowały tę teorię, mierząc, jak modele reprezentują nadawcę stojącego za różnymi instrukcjami. Jedno badanie wykazało, że sfałszowane rozumowanie umieszczone w promptach użytkownika lub wynikach narzędzi może prowadzić do wysokich wskaźników ataków w kilku systemach.
Trening może zmniejszać to pomylenie, wystawiając model na przykłady adversarialne. Anthropic tworzy symulowaną treść łączącą użyteczne informacje ze złośliwymi dyrektywami, a następnie nagradza model za bezpieczne wykonanie zamierzonego zadania.
Zaletą jest generalizacja. Model może potencjalnie rozpoznać nowy atak na podstawie jego relacji z celem użytkownika, nawet jeśli żaden detektor nie widział wcześniej dokładnie takiego sformułowania.
Ograniczenie polega na tym, że dane treningowe nie mogą reprezentować każdego przyszłego środowiska. Atak może wykorzystywać nietypowe narzędzie, długi łańcuch indywidualnie nieszkodliwych żądań lub szczegóły kontekstowe, które sprawiają, że złośliwe zachowanie wygląda na uzasadnione.
Atakujący mogą też optymalizować działania pod kątem wdrożonego modelu. Gdy poznają wzorce wywołujące odmowę, mogą szukać danych wejściowych, które zachowują szkodliwą intencję, unikając jednocześnie tych wzorców.
Dlatego Anthropic nadal stosuje sondy i klasyfikatory mimo silniejszego modelu. Architektura firmy zakłada, że każda warstwa może zawieść.
Dla programistów jest to najłatwiejsza do przeniesienia lekcja z wyników Anthropic dotyczących prompt injection. Trening zapewnia silniejszy fundament, ale bezpieczne wdrożenie nadal zależy od otaczającego systemu.
Agent programistyczny powinien otrzymywać wyłącznie poświadczenia, dostęp do sieci i uprawnienia systemu plików wymagane do realizacji jego zadania. Zespoły powinny oddzielać niezaufane dane wejściowe od wykonywalnych instrukcji oraz rejestrować istotne wywołania narzędzi.
Ta zasada ma zastosowanie również wtedy, gdy agent przeszukuje firmową techniczną bazę wiedzy. Pobrana dokumentacja może poprawić pracę agenta, ale ścieżka pobierania rozszerza także zakres treści, na które atakujący może wpływać.
Tryb automatyczny zamienia deklarację bezpieczeństwa w zakład o produkt
Anthropic wykorzystuje ulepszone zabezpieczenia, aby usunąć tarcia związane z uprawnieniami i uczynić wynik bezpieczeństwa częścią podstawowego projektu produktu Claude Code.
Claude Code tradycyjnie pyta o zgodę przed wykonaniem wielu poleceń, edycją plików lub podjęciem działań o szerszych konsekwencjach. Takie monity utrzymują człowieka w pętli, ale przerywają też długotrwałą pracę.
Niektórzy deweloperzy reagują, przyznając szerokie uprawnienia lub korzystając z konfiguracji omijających powtarzające się zatwierdzenia. Wybór ten zwiększa produktywność, jednocześnie osłabiając granicę między zmanipulowanym agentem a otaczającym go systemem.
Tryb automatyczny jest proponowaną przez Anthropic drogą pośrednią. Kieruje działania przez klasyfikator, który decyduje, czy każde działanie może zostać wykonane bez ręcznej odpowiedzi.
Architektura trybu automatycznego Anthropic opisuje mechanizmy kontroli na wielu etapach. Sonda po stronie serwera analizuje wyniki narzędzi pod kątem prób wstrzyknięcia instrukcji. Osobny klasyfikator ocenia proponowane działania i blokuje te uznane za niebezpieczne.
Klasyfikator koncentruje się na intencji, a nie na stałej liście poleceń. Usunięcie jednego wygenerowanego pliku tymczasowego może być rozsądne, podczas gdy usunięcie dużego katalogu projektu powinno uruchomić blokadę. Wysyłanie danych do nieznanego punktu końcowego wiąże się z innym ryzykiem niż pobieranie publicznej dokumentacji.
Gdy system blokuje działanie, Claude może spróbować bezpieczniejszego podejścia. Powtarzające się próby lub niepewne przypadki mogą oddać kontrolę użytkownikowi.
Taka struktura ogranicza przerwy bez utożsamiania wygody z nieograniczonym dostępem. Tworzy też nową zależność: deweloperzy muszą zaufać interpretacji przez klasyfikator zarówno zadania, jak i polecenia.
Fałszywie negatywne wyniki są oczywistym zagrożeniem. Złośliwa instrukcja może wywołać działanie, które rozpatrywane osobno wygląda zwyczajnie, na przykład odczyt pliku konfiguracyjnego przed wysłaniem rutynowego żądania.
Fałszywie pozytywne wyniki tworzą mniej widoczny problem. Jeśli tryb automatyczny zbyt często blokuje uzasadnione działania, deweloperzy mogą wyłączyć zabezpieczenia, aby dokończyć pracę. Mechanizmy bezpieczeństwa, które regularnie utrudniają normalne zadania, mogą zachęcać do bardziej ryzykownych zachowań.
Decyzja Anthropic o domyślnym włączeniu trybu automatycznego zapewni znacznie większy test niż jakikolwiek benchmark przedpremierowy. Deweloperzy korzystają z nietypowych systemów budowania, wewnętrznych narzędzi wiersza poleceń, zdalnych usług i repozytoriów ze złożoną automatyzacją.
Ta różnorodność pokaże, czy klasyfikator zachowuje dokładność poza kuratorowanymi środowiskami Anthropic. Ujawni również, czy sonda wykrywająca wstrzyknięcia instrukcji radzi sobie z treściami z wtyczek, serwerów model context protocol, menedżerów pakietów, systemów śledzenia zgłoszeń i generowanych logów budowania.
Zakład produktowy wykracza poza Claude Code. Agenci przeglądarkowi, asystenci badawczy i narzędzia do obsługi przepływów pracy w przedsiębiorstwach stoją przed podobnym kompromisem między autonomią a zatwierdzaniem.
Agent, który prosi o zgodę na każdym kroku, nie może samodzielnie ukończyć istotnej pracy. Agent o szerokich, trwałych uprawnieniach może zaś zamienić jedno udane wstrzyknięcie w kradzież danych lub destrukcyjne działanie.
Tryb automatyczny próbuje przenieść ludzką kontrolę z każdej rutynowej operacji na mniejszy zbiór działań niosących istotne ryzyko. Jeśli zadziała na dużą skalę, inni dostawcy agentów znajdą się pod presją, by oferować porównywalną automatyzację.
Jeśli jego porażka będzie widoczna, częste monity o uprawnienia mogą powrócić jako niezbędna granica bezpieczeństwa.
Anthropic i OpenAI inaczej definiują obecnie ryzyko
Wyniki Anthropic podważają pesymistyczne spojrzenie na wstrzykiwanie instrukcji, ale stanowisko OpenAI lepiej oddaje niepewność wykraczającą poza każdy ustalony benchmark.
OpenAI porównuje wstrzykiwanie instrukcji do oszustw i socjotechniki. Jego publiczne wytyczne wskazują, że problem prawdopodobnie nigdy nie zostanie całkowicie rozwiązany, ponieważ przeciwnicy nieustannie dostosowują się do wdrożonych zabezpieczeń.
To stanowisko nie oznacza, że trening modeli jest nieskuteczny. OpenAI stosuje także wyspecjalizowany trening, automatyczne monitory, potwierdzenia użytkowników, ograniczenia sieciowe oraz nadzór w wrażliwych kontekstach.
Spór dotyczy tego, co powinno znaczyć „rozwiązane”. Anthropic podkreśla mierzoną odporność na ataki po połączeniu kilku mechanizmów obronnych. OpenAI podkreśla otwartą rywalizację między atakującymi a wdrożonymi agentami.
Oba stanowiska mogą być prawdziwe w zamierzonym zakresie. Anthropic może osiągnąć zero zaobserwowanych sukcesów w wymagającej ocenie, podczas gdy wstrzykiwanie instrukcji pozostaje nierozwiązaną kategorią zagrożeń.
To rozróżnienie przypomina tradycyjne bezpieczeństwo oprogramowania. Produkt może przejść testy penetracyjne, nie stając się niewrażliwy na ataki. Test dostarcza dowodów dotyczących znanych zagrożeń i badanej powierzchni ataku, a nie każdego przyszłego exploitu.
Wstrzykiwanie instrukcji jest szczególnie trudne, ponieważ legalna i złośliwa treść korzystają z tego samego interfejsu: języka naturalnego. Nie ma prostego odpowiednika oddzielenia kodu wykonywalnego od zwykłego tekstu, gdy agent musi interpretować tekst, by zdecydować, co zrobić.
Atakujący potrzebuje też tylko jednej ścieżki przez stos mechanizmów obronnych. Model, sonda, klasyfikator, system uprawnień, podłączona usługa i operator-człowiek wpływają na wynik.
Stos Anthropic oferuje kilka możliwości zatrzymania ataku. Tworzy również kilka komponentów, których interakcje muszą być testowane wspólnie.
Na przykład model może prawidłowo oznaczyć podejrzaną treść, lecz później podsumować ją w sposób zachowujący złośliwą instrukcję. Klasyfikator może zablokować bezpośredni transfer danych, ale dopuścić kilka pozornie nieszkodliwych kroków, które osiągają ten sam rezultat.
Atak może być też wymierzony w użytkownika, a nie w model. Przejęta strona może przekonać agenta do poproszenia o zatwierdzenie za pomocą wprowadzającego w błąd wyjaśnienia. Użytkownik staje się wtedy częścią ścieżki ataku.
Benchmarki rzadko obejmują wszystkie warunki organizacyjne. Wdrożenia korporacyjne obejmują współdzielone poświadczenia, niestandardowe narzędzia, stare repozytoria, wewnętrzne proxy, niespójne polityki uprawnień oraz użytkowników o różnym poziomie świadomości bezpieczeństwa.
Dlatego nagłówek powinien nadal brzmieć „niemal rozwiązane”, a nie „wyeliminowane”. Anthropic ujawnił dowody na znaczną redukcję w testowanych warunkach. Pewność w świecie rzeczywistym wymaga niezależnego odtworzenia wyników i bieżących danych z wdrożeń.
Wiarygodna obrona Claude przed wstrzykiwaniem instrukcji powinna również raportować użyteczność obok odporności na ataki. System, który odmawia realizacji nieznanych zadań, może uzyskać znakomity wynik bezpieczeństwa, jednocześnie zawodząc jako agent.
Publiczne badania Anthropic uznają tę równowagę, jednak szczegółowe porównania między obciążeniami roboczymi pozostają ważne. Kupujący muszą wiedzieć, jak często zabezpieczenia blokują bezpieczną pracę, a nie tylko jak często zatrzymują ataki.
Co obserwować, gdy Anthropic domyślnie wprowadza tryb automatyczny
Kolejne dowody będą pochodzić z wdrożeń, niezależnych testów oraz reakcji Anthropic na ataki zaprojektowane po upublicznieniu jego zabezpieczeń.
Pierwszym sygnałem jest domyślne wdrożenie trybu automatycznego. Warto obserwować, czy Anthropic ogranicza go według modelu, typu konta, środowiska lub polityki organizacyjnej. Ostrożne wdrożenie wskazywałoby, że firma nadal dostrzega istotne różnice między ustawieniami wdrożeń.
Warto też obserwować liczbę blokad widocznych dla użytkowników. Częste odmowy sugerowałyby, że klasyfikator utrzymuje bezpieczeństwo częściowo przez ograniczanie normalnej aktywności. Bardzo nieliczne odmowy mogą wskazywać na dobre skalibrowanie albo niewystarczającą ostrożność.
Drugim sygnałem są niezależne, adaptacyjne testy całego stosu Claude Code. Obecne publiczne benchmarki wyznaczają wartościowe punkty odniesienia, ale wiele z nich nie odtwarza dokładnej kombinacji Opus 5, sond, trybu automatycznego, narzędzi i uprawnień stosowanej przez Anthropic.
Najsilniejszy niezależny test wykorzystywałby ataki stworzone po zbadaniu przez badaczy udostępnionego systemu. Obejmowałby zatrute repozytoria, zwodnicze wyniki narzędzi, instrukcje oparte na obrazach, wieloetapową eksfiltrację oraz ataki rozłożone na długą sesję.
Badacze powinni raportować zarówno powodzenie ataków, jak i ukończenie zadań. Powinni dokumentować, jaki dostęp otrzymał agent, które zabezpieczenia były aktywne oraz czy ataki były znane podczas treningu.
Wynik zerowy w takich warunkach wzmocniłby twierdzenie Anthropic. Udane ataki adaptacyjne nie przekreśliłyby postępu, ale wyznaczyłyby granice obecnej obrony.
Trzecim sygnałem jest szybkość, z jaką firma radzi sobie z rzeczywistymi incydentami. Ochrona przed wstrzykiwaniem instrukcji nie jest jednorazową właściwością modelu. To proces operacyjny obejmujący wykrywanie, dochodzenie, aktualizowany trening i szybkie wdrażanie nowych zabezpieczeń.
Anthropic powinien ujawniać wystarczająco dużo informacji o incydentach, aby klienci mogli zrozumieć dotkniętą powierzchnię. Zespoły bezpieczeństwa muszą wiedzieć, czy awaria wynikała z modelu, sondy, klasyfikatora działań, reguły uprawnień czy podłączonego narzędzia.
Deweloperzy nie powinni czekać na te dowody przed wdrożeniem podstawowych środków ostrożności. Jeśli to możliwe, uruchamiajcie autonomicznych agentów programistycznych w izolowanych środowiskach. Ograniczajcie sekrety, docelowe adresy sieciowe i poświadczenia produkcyjne. Przeglądajcie zmiany przed wdrożeniem i dbajcie o możliwość odwrócenia destrukcyjnych operacji.
Traktujcie tekst z repozytoriów, wyniki narzędzi i pobrane pliki jako niezaufane, nawet gdy wyglądają znajomo. Zatruta zależność lub skopiowana odpowiedź wsparcia może zawierać instrukcje, których żaden deweloper świadomie nie zatwierdził.
Co najważniejsze, nie interpretujcie przybliżonego zera Anthropic jako zgody na przyznanie agentowi nieograniczonych uprawnień. Traktujcie je jako dowód, że warstwowe zabezpieczenia mogą ograniczyć poważne ryzyko bez wymuszania ciągłych ręcznych zatwierdzeń.
To istotna zmiana. Otwarte pozostaje pytanie, czy przetrwa kontakt z milionami repozytoriów, nowymi strategiami ataków i deweloperami oczekującymi, że tryb automatyczny będzie nadal działał bez nadzoru.
Anthropic ustanowił mierzalny standard dla tej debaty. Teraz niezależni badacze i użytkownicy w świecie rzeczywistym muszą go przetestować. Jeśli wyniki się utrzymają, wstrzykiwanie instrukcji będzie wyglądać mniej jak nieunikniona bariera, a bardziej jak problem bezpieczeństwa, którym można zarządzać. Jeśli nie, porażki pokażą, gdzie powinna znaleźć się kolejna warstwa.



