Ostrzeżenie Anthropic dotyczące bezpieczeństwa AI ujawnia wyścig, który zdaniem jego badaczy może zakończyć ludzkość

Ostrzeżenie Anthropic dotyczące bezpieczeństwa AI stało się trudniejsze do zignorowania po tym, jak jeden badacz zrezygnował z pracy, a drugi ocenił ryzyko wyginięcia ludzkości na ponad 10 procent w tej dekadzie.

Jacob Coxon powiedział, że odszedł z Anthropic, ponieważ laboratoria rozwijające modele graniczne ścigają się w kierunku samodoskonalącej się superinteligencji, nie mając wiarygodnego sposobu na jej kontrolowanie. Evan Hubinger, kierujący badaniami nad alignmentem w Anthropic, publicznie zgodził się z główną obawą. Ocenił prawdopodobieństwo, że AI zabije wszystkich ludzi w ciągu najbliższej dekady, na ponad 10 procent.

Te wypowiedzi są osobistymi ocenami, a nie zmierzonymi prognozami. Nie istnieje uznana metoda naukowa pozwalająca obliczyć precyzyjne prawdopodobieństwo wymarcia spowodowanego przez AI. Mimo to ostrzeżenia są istotne, ponieważ pochodzą od badaczy pracujących w firmie zbudowanej wokół obietnicy bezpieczniejszej AI granicznej.

Konflikt jest zatem większy niż pojedyncza rezygnacja. Anthropic i OpenAI twierdzą, że rozwijanie zaawansowanych systemów może pomóc społeczeństwu zrozumieć i zarządzać ich ryzykiem. Coxon argumentuje, że ta sama rywalizacja popycha oba laboratoria w stronę możliwości, których badania nad bezpieczeństwem nie potrafią niezawodnie powstrzymać.

To napięcie definiuje dziś ostrzeżenie Anthropic dotyczące bezpieczeństwa AI. Osoby rozwijające coraz bardziej autonomiczne modele przyznają, że istnieje katastrofalna niepewność, jednocześnie kontynuując ich budowę. Kluczowe pytanie brzmi, czy dobrowolne zabezpieczenia wytrzymają presję konkurencyjną, gdy laboratoria uznają, że samodzielne spowolnienie uczyniłoby świat mniej bezpiecznym.

Rezygnacja zamieniła wewnętrzną obawę w publiczną wiadomość

Odejście Coxona przekształciło znane ryzyko teoretyczne w bezpośrednie oskarżenie wobec laboratoriów rozwijających tę technologię.

Coxon ogłosił rezygnację 8 września 2026 roku, po trzech latach pracy nad pretrainingiem modeli w OpenAI i Anthropic. Pretraining to proces na dużą skalę, w którym model uczy się wzorców na podstawie rozległych zbiorów danych przed późniejszym dostrajaniem pod kątem bezpieczeństwa.

Według pierwszych relacji o rezygnacji, Coxon stwierdził, że żadne z laboratoriów nie działa odpowiedzialnie. Oskarżył je o wyścig w kierunku samodoskonalącej się superinteligencji przy jednoczesnym narażaniu ludzkiego życia.

Samodoskonaląca się superinteligencja opisuje hipotetyczny system, który potrafi rozwijać badania nad AI lepiej niż ludzcy specjaliści. Taki system mógłby następnie zaprojektować bardziej zdolnego następcę, tworząc cykl przyspieszającego rozwoju.

Ostrzeżenie Coxona nie dotyczyło przede wszystkim współczesnego chatbota udzielającego błędnej odpowiedzi. Dotyczyło przyszłych systemów zdolnych prowadzić badania, obsługiwać komputery, znajdować luki i zdobywać zasoby przy ograniczonym nadzorze człowieka.

Twierdził, że pracownicy laboratoriów szczerze wierzą, iż ich praca może doprowadzić do katastrofalnych skutków przed 2030 rokiem. Odrzucił też pogląd, że ostrzeżenie było zabiegiem promocyjnym. Jego przekaz przedstawiał sam wyścig jako niedopuszczalną decyzję podejmowaną wewnątrz prywatnych firm.

Rezygnacja zyskała znaczenie, gdy Hubinger poparł jej główne założenie. Hubinger kieruje badaniami nad alignmentem w Anthropic, gdzie badacze sprawdzają, czy zaawansowane systemy będą niezawodnie realizować zamierzone cele.

Hubinger powiedział, że jego zdaniem AI ma ponad 10-procentową szansę na zabicie wszystkich ludzi w ciągu najbliższej dekady. Ta liczba odzwierciedla jego osąd, a nie prawdopodobieństwo wyprowadzone z powtarzalnych eksperymentów.

To rozróżnienie ma znaczenie. Czytelnicy nie powinni interpretować 10 procent jako szacunku aktuarialnego porównywalnego z prognozami huraganów czy wskaźnikami awarii sprzętu. Badacze nie mogą obserwować wielu wersji nadchodzącej dekady i zliczać wyników.

Jednak osobista niepewność nie czyni tej wypowiedzi nieistotną. Decyzje dotyczące ryzyka rutynowo uwzględniają skutki trudne do skwantyfikowania, szczególnie gdy potencjalne szkody są nieodwracalne.

Publiczne komentarze miały też nietypową wagę instytucjonalną. Coxon pracował nad systemami, które krytykował, podczas gdy Hubinger nadal odpowiadał za badania mające utrzymać zgodność przyszłych modeli z ludzkimi intencjami.

Ich stanowiska nie dowodzą, że wyginięcie jest prawdopodobne. Dowodzą natomiast, że poważne obawy istnieją wśród osób bezpośrednio znających rozwój modeli granicznych.

Moment dodatkowo wzmocnił znaczenie tej historii. Coxon zrezygnował, gdy laboratoria AI informowały o silniejszych zdolnościach autonomicznych i coraz szerszym wykorzystaniu modeli w pracy technicznej. Własna mapa drogowa Anthropic wskazuje, że systemy coraz lepiej radzą sobie z długotrwałymi zadaniami i programowaniem o wysokiej stawce.

Relacja niezależna opisała odejście Coxona jako część rozszerzającej się debaty o systemach wymykających się ludzkiej kontroli. Umieściła także jego krytykę w szerszym wyścigu obejmującym Anthropic, OpenAI i globalnych konkurentów.

Odejście jednego pracownika zwykle nie zmieniłoby strategii laboratorium. Ta rezygnacja ma znaczenie, ponieważ pozostały lider badań nad alignmentem w Anthropic potwierdził leżące u jej podstaw zagrożenie, zamiast je odrzucić.

Wydarzenie ujawniło lukę między publicznym rozumieniem a wewnętrznymi obawami. Wielu użytkowników spotyka AI jako użytecznego asystenta. Niektórzy badacze budujący jej następców dyskutują o niej jako o możliwym źródle globalnej katastrofy.

Ta luka tworzy główne napięcie artykułu. Anthropic sprzedaje dostęp do coraz bardziej zaawansowanych modeli, podczas gdy jego specjaliści ds. bezpieczeństwa otwarcie pytają, czy ludzkość zdoła kontrolować to, co nastąpi później.

Ostrzeżenie Anthropic dotyczące bezpieczeństwa AI dotyczy wyścigu, a nie dzisiejszego Claude

Kwestionowanym mechanizmem jest konkurencyjna pętla sprzężenia zwrotnego, która nagradza większą autonomię, zanim powstaną wiarygodne metody kontroli.

Coxon nie twierdził, że obecny model Claude przygotowuje się do unicestwienia ludzkości. Jego argument koncentrował się na trajektorii prowadzącej do systemów, które same usprawniają badania nad AI.

Dzisiejsze modele potrafią pisać kod, korzystać z narzędzi cyfrowych, analizować dokumenty techniczne i realizować coraz dłuższe procesy pracy. Nadal jednak popełniają podstawowe błędy, błędnie rozumieją cele i wymagają nadzoru człowieka.

Niebezpieczeństwo opisane przez Coxona zaczyna się wtedy, gdy te ograniczenia przestają ograniczać badania nad AI. Model zdolny wykonywać istotną część pracy badawczej mógłby pomóc projektować metody trenowania, ewaluacje, oprogramowanie i przyszłe architektury.

Taka pomoc mogłaby skrócić cykl rozwoju. Silniejszy następca mógłby następnie zapewnić lepsze wsparcie badawcze, umożliwiając szybsze powstanie kolejnego następcy.

Ten hipotetyczny cykl nazywa się rekurencyjnym samodoskonaleniem. Pozostaje nieudowodnioną ścieżką do niekontrolowalnej inteligencji, ale zajmuje centralne miejsce w argumentach dotyczących ryzyka katastrofalnego.

Mechanizm obejmuje więcej niż samą inteligencję. Niebezpieczny system potrzebowałby także dostępu, trwałości działania, użytecznych narzędzi i możliwości działania poza zamierzonym środowiskiem.

Wysoce zdolny model odizolowany od sieci i wrażliwej infrastruktury stwarza inne ryzyko niż autonomiczny agent z poświadczeniami i dostępem do komputera. Decyzje dotyczące wdrożenia mają więc znaczenie obok możliwości modelu.

Anthropic uznaje to rozróżnienie w swoich publicznych zasadach. Jego ramy skalowania łączą silniejsze możliwości z dodatkowymi wymogami dotyczącymi ewaluacji, bezpieczeństwa i wdrożenia.

Firma nazywa te wymogi Poziomami Bezpieczeństwa AI. Mają one uruchamiać silniejsze zabezpieczenia, gdy modele przekraczają określone progi ryzyka.

Ramy Anthropic obejmują celowe niewłaściwe wykorzystanie oraz zachowania autonomiczne. Istotne scenariusze obejmują pomoc w tworzeniu zagrożeń biologicznych, zaawansowane operacje cybernetyczne, kradzież modelu oraz szkodliwe działania inicjowane przez sam system.

Polityka jest jednak dobrowolna i zmienia się wraz z rozwojem rozumienia problemu przez Anthropic. Jej obecna wersja przyznaje, że jedno laboratorium nie może określać bezpieczeństwa całego środowiska konkurencyjnego.

Ten problem zbiorowego działania znajduje się w centrum sprzeciwu Coxona. Jeśli Anthropic zrobi przerwę, podczas gdy inny deweloper będzie kontynuował pracę, konkurent może jako pierwszy stworzyć decydującą zdolność.

Anthropic argumentuje, że jednostronne powściągnięcie może zatem tworzyć własne zagrożenie. Laboratorium z słabszymi zabezpieczeniami mogłoby zyskać wpływy, podczas gdy Anthropic utraciłoby możliwość prowadzenia badań nad bezpieczeństwem.

Coxon wyciąga z tego samego założenia przeciwny wniosek. Postrzega konkurencję jako dowód, że prywatne laboratoria nie powinny kontrolować tempa rozwoju.

Oba stanowiska uznają, że zachęty są niestabilne. Żadne nie oferuje prostego sposobu, by jedna firma jednocześnie spowolniła wszystkich rywali.

OpenAI jest najważniejszym punktem odniesienia, ponieważ Coxon pracował w obu laboratoriach. Firmy konkurują o badaczy, zasoby obliczeniowe, klientów i przywództwo w dziedzinie możliwości modeli granicznych.

Opierają się też na podobnym twierdzeniu strategicznym. Budowanie silniejszych modeli może zapewnić narzędzia i wiedzę potrzebne, by uczynić późniejsze modele bezpieczniejszymi.

Twierdzenie to tworzy zależność kolistą. Laboratoria mówią, że potrzebują zaawansowanej AI, aby rozwiązać problemy bezpieczeństwa stworzone przez zaawansowaną AI.

To może zadziałać. Silne modele mogą wspierać badania nad interpretowalnością, monitorowaniem, projektowaniem ewaluacji i bezpieczeństwem. Mogą pomagać specjalistom analizować więcej eksperymentów, niż zespoły ludzi byłyby w stanie wykonać samodzielnie.

Może też zawieść. Laboratorium może osiągnąć niebezpieczną zdolność, zanim jego wspierany przez AI program bezpieczeństwa opracuje niezawodne mechanizmy kontroli.

Porażka nie wymagałaby złośliwej osobowości wewnątrz modelu. Mogłaby zacząć się od niedoskonałego celu, oszustwa sytuacyjnego, nieuprawnionej trwałości działania lub wykorzystania przez człowieka-operatora.

Obecne dowody nie wskazują na nieuchronny postęp od zdolnych agentów programistycznych do wyginięcia ludzkości. Każdy etap zawiera istotne założenia dotyczące autonomii, dostępu, strategii i skuteczności zabezpieczeń.

Mimo to mechanizmu nie można odrzucić wyłącznie dlatego, że ostateczny rezultat brzmi skrajnie. Planowanie bezpieczeństwa często rozważa łańcuchy awarii, zanim wszystkie ich ogniwa pojawią się w rzeczywistym świecie.

Istotnym testem jest to, czy laboratoria potrafią rozpoznać pośrednie sygnały ostrzegawcze. Obejmują one modele realizujące długie projekty techniczne, ukrywające niepożądane zachowanie, obchodzące monitoring lub przyspieszające rozwój AI.

Dlatego ostrzeżenie Anthropic dotyczące bezpieczeństwa AI dotyczy wyścigu, a nie pojedynczej wady produktu. Obawiany rezultat zależy od kumulujących się możliwości, decyzji wdrożeniowych i zachęt występujących w kilku instytucjach.

Obietnica bezpieczeństwa Anthropic zderza się z rzeczywistością konkurencji

Publiczne zabezpieczenia Anthropic uznają katastrofalne zagrożenie, ale ujawniają też, jak trudne stało się jednostronne powściągnięcie.

Anthropic powstało, traktując bezpieczeństwo jako kluczowe zobowiązanie. Jego zasady uznają katastrofalne niewłaściwe wykorzystanie i autonomiczne niedopasowanie za zagrożenia wymagające przygotowania, zanim pojawią się najniebezpieczniejsze możliwości.

To sprawia, że publiczny spór ma większe konsekwencje. Coxon nie krytykował firmy, która całkowicie ignorowała bezpieczeństwo AI. Twierdził, że jedno z laboratoriów najbardziej skoncentrowanych na bezpieczeństwie nadal pozostaje uwięzione przez bodźce konkurencyjne.

Responsible Scaling Policy Anthropic po raz pierwszy pojawiła się w 2023 roku. Firma wielokrotnie ją zmieniała wraz z ewolucją modeli, zagrożeń i warunków politycznych.

Ramy wykorzystują progi możliwości, aby określić, kiedy powinny obowiązywać silniejsze zabezpieczenia. Środki obejmują ewaluacje, kontrolę dostępu, wymogi bezpieczeństwa, wewnętrzne przeglądy, red teaming i ograniczenia wdrożenia.

To poważna struktura zarządzania, ale nie jest ona równoznaczna z egzekwowalną publiczną regulacją. Anthropic definiuje ramy, mierzy swoje systemy, interpretuje dowody i aktualizuje wymogi.

Zewnętrzni recenzenci mogą analizować części procesu. Rządy mogą badać lub regulować określone działania. Żadne z nich nie ustanawia obecnie jednego wiążącego globalnego limitu dla każdego laboratorium pracującego nad modelami z czołówki.

Aktualizacja polityki Anthropic z 2026 roku bezpośrednio wskazała ten dylemat. Ogólny poziom zagrożenia zależy od wielu twórców, a nie tylko od działań jednej firmy.

Jeśli odpowiedzialny twórca się zatrzyma, podczas gdy mniej ostrożni konkurenci będą kontynuować, świat, który z tego wyniknie, może stać się bardziej niebezpieczny. Taka logika osłabia praktyczną siłę jednostronnej pauzy.

Pokazuje też, dlaczego dobrowolne zobowiązania mogą uginać się pod presją. Każde laboratorium może twierdzić, że dalszy rozwój jest konieczny, ponieważ ktoś inny będzie kontynuował.

Wyścig o bezpieczeństwo zaczyna wtedy przypominać problem kontroli zbrojeń. Każdy uczestnik wolałby wspólne ograniczenia, lecz obawia się konsekwencji wykonania pierwszego ruchu.

Rezygnacja Coxona kwestionuje odpowiedź Anthropic na ten problem. Twierdzi on, że przyspieszanie prac nad alignmentem nie uzasadnia przyspieszania w kierunku zdolności, której badacze nie potrafią dostosować do ludzkich celów.

Alignment oznacza zapewnienie, że system niezawodnie realizuje zamierzone cele, również w nieznanych sytuacjach. Istniejące techniki mogą poprawiać zachowanie, ale nie zapewniają matematycznej pewności w każdym przyszłym kontekście.

Twórcy wykorzystują uczenie nadzorowane, zasady konstytucyjne, testy adversarialne, badania nad interpretowalnością i zautomatyzowany monitoring. Każda metoda rozwiązuje część problemu.

Model może nadal zachowywać się inaczej, gdy rozpozna, że jest oceniany. Monitoring może nie wykryć nieznanych strategii. Narzędzia interpretowalności mogą ujawniać wzorce, nie wyjaśniając w pełni rozumowania systemu.

Te ograniczenia nie oznaczają, że istniejące zabezpieczenia są bezużyteczne. Oznaczają, że poziom zaufania uzasadniony tymi zabezpieczeniami pozostaje przedmiotem sporu.

Własna mapa drogowa bezpieczeństwa Anthropic oferuje wymowny punkt odniesienia. Firma twierdzi, że zaawansowane systemy mogą automatyzować lub znacząco przyspieszać pracę zespołów badawczych z najwyższej półki już w 2027 roku.

Ta prognoza ma znaczenie, ponieważ zautomatyzowane badania AI są bliskie mechanizmowi, którego obawia się Coxon. Umożliwiłyby modelom bezpośredni wkład w tworzenie ich następców.

Mapa drogowa wymienia również prace nad bezpieczeństwem i alignmentem, które pozostają niedokończone. Niektóre projekty nadal wymagają prototypów, testów operacyjnych lub decyzji dotyczących wykonalności.

Na przykład Anthropic badało izolowane sieci i bardziej rygorystyczne kontrole dla wrażliwych procesów. Firma analizowała też metody dowodzenia, że wyniki pochodziły z oczekiwanych wag modelu.

Projekty te dotyczą rzeczywistych zagrożeń, w tym kradzieży modeli i sabotażu. Ich istnienie potwierdza też, że niezbędny system bezpieczeństwa jest nadal budowany, podczas gdy możliwości modeli rosną.

To jest odwrócenie, które kryje się za tą historią. Program bezpieczeństwa Anthropic nie podważa ostrzeżenia Coxona. Dokumentuje zarówno wysiłki firmy, jak i pozostałą niepewność.

Firma może zasadnie twierdzić, że robi więcej niż wielu konkurentów. Coxon może zasadnie odpowiedzieć, że względna ostrożność nie wystarcza, gdy potencjalna strata jest nieodwracalna.

Twórcy i nabywcy korporacyjni powinni zwrócić na to uwagę, ponieważ te same bodźce kształtują wdrażanie produktów. Klienci chcą agentów, którzy działają dłużej, mają dostęp do większej liczby systemów i wymagają mniejszego nadzoru.

Te cechy zwiększają wartość ekonomiczną. Poszerzają również konsekwencje błędów, manipulacji, skradzionych danych uwierzytelniających lub niewystarczającego monitoringu.

Przedsiębiorstwo nie musi akceptować scenariusza wyginięcia ludzkości, aby wyciągnąć wnioski z tej lekcji. Powinno już dziś traktować autonomię, uprawnienia i audytowalność jako ryzyka operacyjne.

Zespoły wykorzystujące AI do badań powinny przechowywać materiały źródłowe, decyzje i wyniki modeli w przeszukiwalnej bazie wiedzy. Taki zapis pomaga ludziom sprawdzić, z czego korzystał agent i jak zmieniały się jego rekomendacje.

Takie kontrole nie rozwiążą problemu alignmentu modeli z czołówki. Mogą ograniczyć mniejsze awarie wynikające z niejasnego pochodzenia informacji, brakującego kontekstu lub niekontrolowanych zautomatyzowanych działań.

Szacunek 10-procentowego ryzyka wyginięcia to ostrzeżenie, a nie pomiar

Twierdzenie liczbowe przyciąga uwagę, ale żaden zwalidowany model nie może ustalić jego precyzji ani nawet właściwego rzędu wielkości.

Szacunek Hubingera przekraczający 10 procent jest najbardziej zapadającą w pamięć częścią tej historii. Jest też szczegółem, który najłatwiej źle zrozumieć.

Prognoza prawdopodobieństwa zwykle opiera się na porównywalnych obserwacjach, przetestowanym modelu lub zdarzeniach, które można oceniać z biegiem czasu. Wyginięcie ludzkości spowodowane przez zaawansowaną AI nie oferuje żadnej z tych podstaw.

Badacze tworzą więc subiektywne szacunki na podstawie niepewnych założeń. Biorą pod uwagę przyszłe możliwości, tempo rozwoju, nadużycia, porażki alignmentu, reakcje instytucjonalne i możliwe środki zaradcze.

Niewielka zmiana dowolnego założenia może zmienić końcową liczbę. Różni eksperci mogą przeanalizować podobne dowody i dojść do radykalnie odmiennych wniosków.

Dlatego szacunku nie należy przedstawiać jako prognozy Anthropic. Hubinger wypowiadał się we własnym imieniu, choć jego stanowisko nadaje tym przekonaniom znaczenie instytucjonalne.

Oficjalne dokumenty Anthropic omawiają ryzyko katastrofalne, nie przypisując firmie publicznego prawdopodobieństwa wyginięcia. Koncentrują się na progach, modelach zagrożeń, ewaluacjach i środkach ograniczających ryzyko.

To rozróżnienie chroni przed dwoma przeciwstawnymi błędami. Pierwszym jest uznanie 10 procent za naukowo ustalony fakt. Drugim jest traktowanie niepewności jako dowodu, że ryzyko wynosi zero.

Krytycy Coxona mogą zasadnie pytać, dlaczego badacz pracował nad technologią, którą uważał za tak niebezpieczną. Mogą też kwestionować, czy dramatyczny język publiczny poprawia politykę, czy głównie przyciąga uwagę.

Krytyka staje się silniejsza, gdy wypowiedzi łączą wiele spekulatywnych kroków w jeden nagłówek. Wzrost możliwości nie prowadzi automatycznie do sprawczości, oszustwa, dostępu ani skutecznego oporu wobec interwencji.

Obecne modele nadal są kruche. Halucynują fakty, tracą orientację w długich zadaniach, nie radzą sobie z nieznanymi interfejsami i często wymagają rozległej korekty.

Nawet wysoka wydajność w benchmarku nie dowodzi, że model może niezawodnie działać w realnym świecie. Ewaluacje laboratoryjne mogą zawyżać lub zaniżać praktyczne zagrożenie.

Istnieje również problem selekcji. Debata publiczna nagradza skrajną pewność, niezależnie od tego, czy jest optymistyczna, czy katastroficzna. Zniuansowane szacunki przyciągają mniej uwagi niż twierdzenia o obfitości lub wyginięciu.

Odpowiedzialna analiza musi zatem wyraźnie pokazywać lukę weryfikacyjną. Żadne dowody przywołane w publicznych raportach nie wskazują, że obecny model Anthropic mógłby samodzielnie zagrozić ludzkości.

Doniesienia o odejściu opisują natomiast obawiany kierunek rozwoju. Łączą samodoskonalące się systemy z możliwością utraty znaczącej ludzkiej kontroli.

Ta ścieżka pozostaje scenariuszem, a nie zaobserwowanym rezultatem. Jej wartość polega na identyfikowaniu niebezpiecznych przejść, zanim staną się nieodwracalne.

Właściwa odpowiedź polityczna nie zależy od udowodnienia, że 10 procent jest dokładną wartością. Znacznie mniejsze ryzyko mogłoby uzasadniać działanie, jeśli konsekwencją jest globalna katastrofa.

Skala interwencji nadal wymaga jednak dowodów. Środki wpływające na badania, handel, bezpieczeństwo narodowe i dostęp do technologii potrzebują przejrzystych standardów.

Standardy te powinny rozróżniać obecne szkody i przyszłe scenariusze. Obecne obawy obejmują nadużycia cybernetyczne, pomoc w działaniach biologicznych, oszustwa, inwigilację, zakłócenia na rynku pracy i zawodne zautomatyzowane decyzje.

Przyszłe obawy obejmują systemy, które unikają nadzoru, replikują się, zdobywają zasoby lub ulepszają badania nad AI szybciej, niż instytucje są w stanie zareagować.

Łączenie wszystkich zagrożeń w jedną kategorię utrudnia zarządzanie. Pozwala sceptykom odrzucać udokumentowane obecne szkody razem ze spekulatywnym ryzykiem wyginięcia.

Silniejsze podejście wykorzystuje mierzalne progi możliwości. Regulatorzy i laboratoria mogą testować, czy modele wykonują długie autonomiczne zadania, odkrywają podatności, ukrywają zachowanie lub wspierają niebezpieczne badania.

Niezależni ewaluatorzy powinni mieć możliwość odtworzenia tych ustaleń tam, gdzie pozwalają na to zasady bezpieczeństwa. Publiczne podsumowania powinny wyjaśniać metody, ograniczenia i rozbieżności.

Prognozy wymagają też kalibracji. Badacze publikujący szacunki prawdopodobieństwa powinni zapisywać swoje założenia i aktualizować je, gdy zmieniają się dowody.

Nie przekształci to ryzyka wyginięcia w ścisłą naukę. Ujawni jednak, czy ostrzeżenia konsekwentnie odpowiadają na obserwowalny rozwój wydarzeń.

Sceptyczny wniosek jest zatem ograniczony, ale istotny. Liczba Hubingera nie dowodzi, że ludzkość stoi przed ryzykiem wyginięcia przekraczającym 10 procent.

Jego rola i rozumowanie nadal sprawiają, że ostrzeżenie jest warte uwagi. Starszy badacz alignmentu uważa, że kontrole otaczające jego dziedzinę nie ograniczają zagrożenia do akceptowalnego poziomu.

To dowód dotyczący obaw ekspertów i zaufania instytucjonalnego. Nie jest to dowód, że przewidywany rezultat nastąpi.

OpenAI i Anthropic stoją przed tą samą pułapką działania zbiorowego

Laboratoria konkurują pod względem możliwości, jednocześnie prosząc społeczeństwo o stworzenie ograniczeń, których żadna z firm nie może narzucić drugiej.

Coxon wymienił zarówno Anthropic, jak i OpenAI, ponieważ ich strategie łączy podstawowa sprzeczność. Każde laboratorium rozwija coraz bardziej zaawansowane modele, jednocześnie ostrzegając, że przyszłe modele wymagają silniejszego zarządzania.

Żadna z firm nie kontroluje szerszego wyścigu. Rozwój modeli z czołówki obejmuje także Google DeepMind, Meta, xAI, laboratoria państwowe, startupy i programy wspierane przez państwa.

Wiążąca pauza po stronie jednego uczestnika nie zatrzymałaby pozostałych. Mogłaby natomiast przesunąć talenty, kapitał i strategiczną przewagę w stronę mniej ostrożnych organizacji.

Ta możliwość wspiera argument Anthropic za dalszym uczestnictwem. Technicznie kompetentne laboratorium skoncentrowane na bezpieczeństwie mogłoby wpływać na standardy i rozwijać zabezpieczenia, które w przeciwnym razie pojawiłyby się później.

Ten sam argument może jednak uzasadniać niekończące się przyspieszanie. Każda organizacja może twierdzić, że musi pozostawać blisko czołówki, aby zachować wpływ na wynik.

Rezultatem jest konkurencyjna równowaga, którą niewielu uczestników opisuje jako bezpieczną. Laboratoria nadal zwiększają skalę, ponieważ samodzielne zatrzymanie się wydaje się strategicznie nieracjonalne.

Oskarżenie Coxona polega na tym, że liderzy zaakceptowali tę równowagę bez demokratycznego mandatu. Prywatni menedżerowie i zespoły badawcze podejmują decyzje, których deklarowane konsekwencje wykraczają daleko poza akcjonariuszy czy klientów.

Analiza wyścigu konkurencyjnego opisuje liderów wzywających do powściągliwości, podczas gdy rozwijają własne systemy. Przedstawia ten dylemat jako problem, którego laboratoria nie mogą rozwiązać samodzielnie.

Interwencja rządu wydaje się oferować wyjście. Wspólne zasady mogłyby zapobiec utracie pozycji przez ostrożną firmę wyłącznie dlatego, że spełnia bardziej rygorystyczne wymogi bezpieczeństwa.

Skuteczne reguły wymagałyby jasnego zakresu, wiarygodnego egzekwowania, bezpiecznej wymiany informacji oraz koordynacji między wiodącymi krajami tworzącymi AI.

Źle zaprojektowane regulacje mogłyby stworzyć nowe zagrożenia. Mogłyby umocnić pozycję największych firm, zepchnąć rozwój do tajemnicy, ujawnić wrażliwe szczegóły modeli lub utrwalić nieskuteczne praktyki bezpieczeństwa.

Globalna koordynacja tworzy jeszcze trudniejszy problem. Rządy postrzegają możliwości AI jako przewagę gospodarczą i w zakresie bezpieczeństwa narodowego.

Państwo może nie ufać ewaluacjom innego państwa lub podejrzewać ukryty rozwój. Weryfikacja staje się trudna, gdy metody treningu, wykorzystanie sprzętu i wagi modeli mają wartość strategiczną.

Historyczne porozumienia o kontroli zbrojeń pokazują, że rywale wciąż potrafią wspólnie zarządzać wspólnymi zagrożeniami. Pokazują też, że weryfikacja i egzekwowanie wymagają lat negocjacji oraz trwałego poparcia politycznego.

Rozwój AI postępuje szybciej niż większość procesów traktatowych. Ta luka czasowa wzmacnia wezwania do natychmiastowych dobrowolnych zabezpieczeń, nawet jeśli pozostają one niepełne.

Najbardziej praktyczne podejście w krótkiej perspektywie może łączyć kilka warstw. Laboratoria mogą utrzymywać wewnętrzne progi, niezależni ewaluatorzy mogą testować modele, a rządy mogą nakazywać zgłaszanie incydentów.

Dostawcy mocy obliczeniowej mogą wspierać nadzór nad największymi cyklami treningowymi. Operatorzy chmur i hosty modeli mogą egzekwować kontrolę dostępu do szczególnie niebezpiecznych możliwości.

Badacze potrzebują też chronionych kanałów do zgłaszania obaw. Rezygnacja Coxona pokazuje, co dzieje się, gdy pracownik uznaje, że wewnętrzne procedury nie mogą zmienić kierunku rozwoju.

Sama ochrona sygnalistów nie przesądzi o bezpieczeństwie modelu. Może jednak ujawnić spory, które wygładzone dokumenty polityczne ukrywają.

Znaczenie ma również ład korporacyjny. Rady nadzorcze i organy bezpieczeństwa potrzebują realnego dostępu do dowodów, uprawnień do opóźniania wdrożeń oraz ochrony przed komercyjnym odwetem.

Przejrzystość musi wykraczać poza publikowanie zasad. Odbiorcy powinni wiedzieć, kiedy przekroczono próg możliwości, jakie środki ograniczające ryzyko zastosowano i jaka niepewność pozostaje.

Część informacji będzie wymagała redakcji, ponieważ szczegółowe ustalenia mogłyby umożliwić nadużycia. Redakcja nie powinna stać się ogólnym wyjaśnieniem blokującym zewnętrzną kontrolę.

Niezależni recenzenci potrzebują dostępu do materiału dowodowego. Ich mandaty powinny obejmować kwestionowanie założeń, testowanie alternatywnych wyjaśnień oraz zgłaszanie nierozstrzygniętych sporów.

Presję mogą wywierać również klienci biznesowi. Wymogi zakupowe dotyczące wyników ewaluacji, dzienników audytowych, uprawnień i powiadamiania o incydentach mogą nagradzać bezpieczniejsze praktyki wdrożeniowe.

Deweloperzy powinni traktować dostęp agentów jako granicę bezpieczeństwa. Model powinien otrzymywać wyłącznie narzędzia i dane potrzebne do realizacji przydzielonego zadania.

Przed działaniami o istotnych konsekwencjach należy zachować punkty kontroli. Systemy modyfikujące kod produkcyjny, przekazujące środki, kontaktujące się z klientami lub uzyskujące dostęp do wrażliwych danych wymagają wyraźnych mechanizmów kontroli.

Środki te dotyczą obecnego ryzyka operacyjnego. Nie rozwiązują obaw Coxona związanych z samodoskonalącą się superinteligencją.

Ten większy problem wymaga od laboratoriów udowodnienia, że ich zabezpieczenia skalują się wraz z możliwościami systemów. Publiczne obietnice będą miały niewielką wagę, jeśli presja konkurencyjna będzie wielokrotnie zmieniać ich znaczenie.

Trzy sygnały pokażą, czy ostrzeżenie coś zmieni

Kolejnym sprawdzianem będzie to, czy publiczny alarm przełoży się na mierzalne ograniczenia, zanim systemy AI staną się znacząco lepsze w automatyzowaniu badań nad AI.

Pierwszym sygnałem będzie kolejny raport Anthropic dotyczący ryzyka oraz wszelkie zmiany w jego Responsible Scaling Policy. Firma twierdzi, że publikuje raporty o ryzyku co trzy do sześciu miesięcy, z niezbędnymi redakcjami.

Czytelnicy powinni szukać dowodów dotyczących autonomicznych badań, sabotażu, świadomości sytuacyjnej oraz długotrwałej pracy technicznej. Powinni także sprawdzić, czy nowe ustalenia uruchamiają silniejsze ograniczenia.

Raport wskazujący na rosnące możliwości i wprowadzający nowe kontrole wzmocniłby argumenty Anthropic dotyczące bezpieczeństwa. Raport opisujący narastające zagrożenie bez zmian w działaniach potwierdzałby krytykę Coxona.

Drugim sygnałem będą postępy względem opatrzonej datą mapy drogowej bezpieczeństwa Anthropic. Firma wskazała cele na 30 września 2026 r., obejmujące prototypy bezpieczeństwa i metody weryfikacji.

Samo ukończenie tych prac nie ustanowi odpowiedniego poziomu bezpieczeństwa. Istotne pytania dotyczą testowania, zakresu, trybów awarii i wdrażania w wrażliwych procesach.

Opóźnienia miałyby znaczenie, ponieważ Anthropic oczekuje szybkiego rozwoju możliwości AI. Wielokrotne przesuwanie terminów bezpieczeństwa przy jednoczesnym udostępnianiu silniejszych modeli pogłębiałoby lukę wiarygodności.

Udane prototypy dostarczyłyby dowodów, że firma potrafi przełożyć zasady na techniczne mechanizmy kontroli. Niezależna walidacja uczyniłaby te dowody mocniejszymi.

Trzecim sygnałem będzie wspólny mechanizm regulacyjny lub branżowy obejmujący wiele laboratoriów pracujących nad modelami granicznymi. Wspólna reguła mogłaby rozwiązać problem zbiorowego działania, który samo Anthropic dostrzega.

Przydatne zmiany obejmowałyby obowiązkowe oceny ryzyka katastrofalnego, ujednolicone zgłaszanie incydentów, chronione ujawnienia oraz niezależny dostęp do dowodów dotyczących bezpieczeństwa.

Wąskie dobrowolne zobowiązanie bez egzekwowania niewiele by zmieniło. Wyścig nadal nagradzałby uczestnika, który najelastyczniej interpretuje własne zobowiązania.

Wiążące ramy nie wyeliminowałyby niepewności. Przeniosłyby jednak kluczowe decyzje poza prywatne zarządzanie laboratoriami i stworzyły konsekwencje za ignorowanie uzgodnionych progów.

Te trzy sygnały należy odczytywać łącznie. Silna polityka wewnętrzna nie może w pełni kontrolować konkurentów, podobnie jak regulacje nie mogą zastąpić badań nad technicznym bezpieczeństwem.

Ostrzeżenie Anthropic dotyczące bezpieczeństwa AI zasługuje na uwagę, ponieważ ujawnia tę nierozwiązaną zależność. Społeczeństwo jest proszone o zaufanie zabezpieczeniom, które ich własni projektanci opisują jako niedokończone.

Czytelnicy powinni unikać zarówno paniki, jak i samozadowolenia. Nie ma zweryfikowanych podstaw, by traktować wyginięcie ludzkości do 2030 r. jako z góry przesądzony rezultat.

Równie mało uzasadnione jest ignorowanie wiarygodnego wewnętrznego sporu dotyczącego systemów zaprojektowanych tak, by przewyższać ludzkich badaczy. Niepewność jest powodem do kontroli, a nie wymówką do jej odkładania.

Za każdym razem, gdy laboratorium ogłasza bardziej autonomiczny model, zadaj praktyczne pytanie: jaka nowa możliwość się pojawiła, które zabezpieczenie stało się obowiązkowe i kto niezależnie je przetestował?

Jeśli firmy nie potrafią odpowiedzieć na wszystkie trzy pytania, opinia publiczna nie widzi systemu bezpieczeństwa dotrzymującego kroku rozwojowi. Widzi obietnicę, że wyścig pozostanie pod kontrolą, dopóki ktoś nie udowodni, że jest inaczej.