Anthropic Mythos i Fable otrzymują nowe wersje, a przyspieszenie badań nad AI budzi coraz większą uwagę

Anthropic wydał 9 listopada zaktualizowane modele Mythos i Fable, mimo rosnącej uwagi skupionej na roli AI w przyspieszaniu własnego rozwoju. Premiera Anthropic Mythos i Fable następuje po niezależnej ocenie sugerującej, że możliwości firmy rozwijają się szybciej, częściowo dlatego, że badacze coraz częściej korzystają z AI. To połączenie stawia za premierą konkretne pytanie: jak laboratorium może rozwijać użyteczne możliwości, kontrolując jednocześnie sprzężenie zwrotne wpływające na rozwój przyszłych modeli?

Produktami są Claude Fable 5.2 i Claude Mythos 5.2. Reuters niezależnie potwierdził premiery, umieszczając je w kontekście rywalizacji z udziałem OpenAI, Google i Meta. Dla deweloperów oraz klientów korporacyjnych najważniejsze pytanie brzmi, czy modele te wystarczająco usprawniają pracę, aby uzasadnić kolejny cykl oceny i wdrożenia.

Długofalowe napięcie dotyczy rekurencyjnego samodoskonalenia, czyli sytuacji, w której systemy AI autonomicznie projektują i rozwijają bardziej zaawansowanych następców. Szybsze badania wspomagane przez AI nie dowodzą, że proces ten już nadszedł. Sprawiają jednak, że rozróżnienie między pomocą kierowaną przez człowieka a autonomicznym rozwojem staje się coraz bardziej istotne. Najnowsza premiera Anthropic znajduje się dokładnie na styku tych dwóch pojęć.

Co zmienia premiera Anthropic Mythos i Fable

Premiera rozszerza możliwości techniczne, zachowując jednocześnie odmienne zasady dostępu do wrażliwych zastosowań.

Według szczegółów premiery modeli opublikowanych przez Anthropic, Fable 5.2 i Mythos 5.2 korzystają ze wspólnego modelu bazowego. Fable obejmuje dodatkowe zabezpieczenia w obszarach cyberbezpieczeństwa i biologii, natomiast Mythos jest przeznaczony dla zweryfikowanych organizacji pracujących w tych dziedzinach. Anthropic twierdzi, że aktualizacja poprawia programowanie, rozumowanie, analizę obrazu i komunikację.

Firma podaje również, że ograniczyła korzyści treningowe w obszarach badawczych najsilniej związanych z przyspieszaniem rozwoju AI. Obszary te obejmują optymalizację jąder akceleratorów, która usprawnia kod działający na wyspecjalizowanych układach, oraz zmiany architektur dużych modeli językowych.

To ujawnienie jest istotne, ponieważ komplikuje powszechne założenie dotyczące premier modeli. Nowszy model nie musi oznaczać nieograniczonego postępu w każdym zadaniu technicznym. Możliwości produktu i polityka rozwoju mogą kształtować różne części tego samego systemu.

Dla zespołu programistycznego praktyczna konsekwencja jest węższa niż szeroki język komunikatu o premierze. Lepsze generowanie kodu ma znaczenie wtedy, gdy proponowana zmiana przechodzi przegląd, integruje się z istniejącymi systemami i pozostaje łatwa w utrzymaniu. Imponująca odpowiedź w odizolowanej sesji stanowi jedynie część takich dowodów.

Rozważmy hipotetyczną migrację obejmującą starszą usługę z niepełną dokumentacją. Model może wywnioskować zależności, przygotować kod zastępczy i zaproponować testy. Trudne pytanie organizacyjne dotyczy tego, kto weryfikuje założenia, których nigdy nie udokumentowano w bazie kodu.

To pytanie łączy możliwości z odpowiedzialnością. Jeśli model wykonuje więcej pracy wdrożeniowej, inżynierowie potrzebują wystarczającej przejrzystości, by sprawdzić, dlaczego podjął istotne decyzje. W przeciwnym razie część pracy zaoszczędzonej podczas rozwoju może powrócić jako dochodzenie w trakcie incydentu.

Ta sama zasada dotyczy bardziej przejrzystej komunikacji. Zwięzłe wyjaśnienie może ułatwić wykorzystanie poprawnego wyniku. Może też ułatwić zaakceptowanie wyniku niepoprawnego. Kupujący powinni zatem odróżniać czytelność od dokładności podczas oceny potencjalnych systemów.

Są to kwestie do rozważenia podczas oceny, a nie niezależnie zmierzone wyniki nowych modeli. Premiera potwierdza, że dostępna jest kolejna opcja produktowa. Nie potwierdza wielkości jej przewagi w przepływie pracy każdego klienta.

Użyteczne porównanie powinno zachowywać stałość zadania, dostępnych dokumentów, uprawnień i kryteriów akceptacji. Zmiana tych warunków równolegle z modelem utrudnia ustalenie, co faktycznie się poprawiło. W przeciwnym razie zespół ryzykuje przypisanie modelowi zasług za lepszą konfigurację otoczenia.

Premiera tworzy zatem dla klientów zarówno natychmiastową pracę, jak i możliwości. Zespoły muszą zdecydować, które zadania warto przetestować ponownie, które uprawnienia nadal są właściwe oraz jakie błędy uniemożliwiłyby wdrożenie. Te wybory przekształcają komunikat o premierze w decyzję operacyjną.

Presja spada na kupujących i konkurencyjne laboratoria

Presja konkurencyjna dotyczy ukończonej pracy możliwej do sprawdzenia, a nie ogólnego twierdzenia o większej inteligencji.

Reuters opisuje Fable 5.2 jako model ukierunkowany na programowanie, rozumowanie i zadania agentów AI. Agent AI to system wykorzystujący narzędzia do realizacji pracy w wielu krokach. Według raportu Mythos 5.2 jest przeznaczony do zatwierdzonych zastosowań w cyberbezpieczeństwie i naukach przyrodniczych.

Takie pozycjonowanie stawia przed klientami korporacyjnymi konkretny problem porównawczy. Model dobrze radzący sobie z odizolowanymi pytaniami wymagającymi rozumowania może zachowywać się inaczej podczas przeszukiwania wewnętrznych dokumentów, edycji plików lub koordynowania narzędzi. Otaczająca aplikacja może decydować o tym, czy jego możliwości przełożą się na użyteczne wyniki.

OpenAI i Google stanowią punkty odniesienia dla konkurencji, ale odpowiedzialna decyzja zakupowa nie może opierać się wyłącznie na nazwach modeli. Klienci potrzebują dowodów odpowiadających ich własnemu rozkładowi zadań. Asystent programistyczny, analityk dokumentów i koordynator badań działają w odmiennych warunkach ryzyka błędu.

Dla dostawców przesuwa to uwagę na całe środowisko pracy. Uprawnienia narzędzi, odzyskiwanie sprawności po błędach, interfejsy przeglądu oraz rejestry działań wpływają na zaufanie klientów. Model może wygenerować obiecujący wynik, pozostawiając jednocześnie zbyt mało informacji, aby inna osoba mogła go zweryfikować.

Dla klientów zmiana systemu ma również konsekwencje wykraczające poza zastąpienie identyfikatora modelu. Istniejące prompty mogą kodować założenia dotyczące formatu odpowiedzi lub zachowania narzędzi. Recenzenci mogą wyrobić sobie nawyki związane ze znanymi słabościami. Nowy system może wymagać innych kontroli, nawet jeśli jego średnia wydajność się poprawia.

Tworzy to mniej widoczne źródło presji konkurencyjnej: przewidywalność. Zespoły muszą wiedzieć, kiedy system wymaga doprecyzowania, kiedy powinien się zatrzymać i jak zgłasza nieukończoną pracę. Takie zachowania mogą mieć równie duże znaczenie jak wyniki w trudnej demonstracji.

Presja dociera również do zespołów zakupowych i bezpieczeństwa. Muszą one rozumieć, do których możliwości ich organizacja ma dostęp oraz jakie kontrole dotyczą danej konfiguracji. Zatwierdzenie ogólnego asystenta nie powinno automatycznie upoważniać do każdego wyspecjalizowanego zastosowania powiązanego modelu.

To rozróżnienie ma historyczną ciągłość. Poprzednie konfiguracje modeli Anthropic również łączyły powszechnie dostępny model Fable z ograniczoną konfiguracją Mythos. Firma opisywała zabezpieczenia i wymogi dotyczące przetwarzania danych jako część wcześniejszego projektu produktu.

Istotne pytanie brzmi teraz, czy klienci mogą wystarczająco jasno zrozumieć te granice, aby planować w ich ramach. Niejednoznaczność może powodować opóźnienia, gdy zespół odkryje, że przewidywany przepływ pracy wymaga dodatkowej autoryzacji lub innej infrastruktury.

Dla deweloperów najsilniejszym argumentem za wdrożeniem byłaby mniejsza potrzeba interwencji w reprezentatywnej pracy, przy wynikach, które nadal łatwo sprawdzić. Dla klientów korporacyjnych obejmowałby on niezawodne zachowanie w warunkach ich rzeczywistych uprawnień i ograniczeń dotyczących danych.

Żaden z tych argumentów nie wymaga uniwersalnego zwycięzcy. Klient może rozsądnie wybierać różne systemy do różnych zadań. Obowiązkiem konkurencyjnych laboratoriów jest uczynienie tych wyborów możliwymi do obrony na podstawie dowodów, zamiast oczekiwać, że klienci zinterpretują szeroką etykietę wydajności.

Szybsze badania nad AI to coś innego niż autonomiczne samodoskonalenie

Niezależne dowody uzasadniają obawy dotyczące przyspieszenia, ale nie dowodzą, że AI przejęła własny rozwój.

5 listopada organizacja Model Evaluation and Threat Research, znana jako METR, opublikowała ocenę badań nad AI. Oszacowała ona, że możliwości Anthropic w dobrze zdefiniowanych zadaniach poprawiały się w tempie około dwukrotnie wyższym niż wcześniej.

METR uznał, że wykorzystanie AI prawdopodobnie wyjaśnia większość obecnego przyspieszenia. Podkreślił także znaczną niepewność. Anthropic zredagował dużą część dowodów, które METR uznał za najbardziej informacyjne, ograniczając zdolność opinii publicznej do oceny materiału źródłowego.

Ustalenia te zapewniają kontekst dla Anthropic Mythos i Fable, ale nie mierzą wkładu nowej wersji w przyszły postęp. Dotyczą one wewnętrznego procesu rozwoju. Traktowanie ich jako wyniku benchmarku dla nowo dostępnego produktu zacierałoby różne rodzaje dowodów.

Rozróżnienie między pomocą a autonomią jest kluczowe. Badacz może wybrać eksperyment, poprosić AI o jego wdrożenie i zinterpretować wynik. Taki układ może zwiększać produktywność, pozostawiając najistotniejsze decyzje naukowe po stronie badacza.

Bardziej autonomiczny układ pozwalałby systemowi wybierać eksperymenty, oceniać wyniki i decydować, czym zająć się dalej. Jeśli wybory te poprawiałyby zdolność systemu do prowadzenia przyszłych badań, sprzężenie zwrotne stałoby się bardziej bezpośrednie.

Układy te stawiają odmienne wymagania nadzorowi. Sprawdzanie wdrożenia wymaga osądu technicznego dotyczącego tego, czy przydzielone zadanie zostało wykonane poprawnie. Nadzór nad autonomicznymi badaniami wymaga również oceny, czy system wybrał odpowiedni cel i odpowiedzialnie zinterpretował niejednoznaczne dowody.

Przyspieszenie wdrażania nie pokazuje, jaka część postępu zależy od tych pozostałych decyzji. Nie dowodzi też, że korzyści będą kumulować się bez końca. Badania mogą napotkać ograniczenia niewidoczne podczas mierzenia udanego okresu pracy.

Dlatego szacunek produktywności nie powinien przeradzać się w odliczanie. Obserwacja, że praca postępuje szybciej, uzasadnia dokładniejsze pomiary. Nie dostarcza wiarygodnej daty pełnej autonomii ani nie ustala trajektorii poza zaobserwowanym okresem.

Własna analiza samodoskonalenia Anthropic wprowadza powiązane rozróżnienie. Firma twierdzi, że deleguje AI więcej pracy rozwojowej, jednocześnie uznając utrzymujące się braki w wyborze celów badawczych. Wyraźnie stwierdza, że w pełni autonomiczne rekurencyjne samodoskonalenie jeszcze nie nadeszło i nie jest nieuniknione.

Nierozstrzygniętą kwestią jest to, jak długo te luki pozostaną istotne. Jeśli systemy poprawiają się głównie w wykonywaniu przydzielonej pracy, ludzki osąd badawczy pozostaje kluczowym ograniczeniem. Jeśli poprawiają się również w wybieraniu wartościowych pytań, struktura nadzoru się zmienia.

Dla czytelników jest to mechanizm, który warto śledzić. Więcej kodu, więcej eksperymentów i więcej ukończonych zadań może sygnalizować postęp. Silniejsze twierdzenie wymaga dowodów, że system potrafi kierować istotnymi badaniami i przekształcać ich wyniki w lepszych następców.

Rozdzielenie tych twierdzeń sprawia, że debata staje się bardziej użyteczna. Umożliwia obawy dotyczące przyspieszenia bez zakładania, że niekontrolowany proces już istnieje. Zapobiega też temu, by brak pełnej autonomii stał się wymówką do ignorowania mierzalnych zmian.

Dowody dotyczące bezpieczeństwa muszą obejmować pracę, którą modele rzeczywiście wykonują

Uspokajający wynik testu ma wartość tylko w warunkach, które test rzeczywiście reprezentuje.

Ocena bezpieczeństwa wymaga czegoś więcej niż ustalenia, czy model potrafi odpowiedzieć na szkodliwy prompt. W przypadku systemów korzystających z narzędzi istotne pytania obejmują poszanowanie uprawnień, zgłaszanie awarii i zatrzymanie działania, gdy instrukcje są sprzeczne. Odpowiedzi mogą zależeć od kontekstu otaczającej aplikacji.

Hipotetyczny agent programistyczny ilustruje ten problem. Mógłby słusznie odmówić wyraźnej prośby o dostęp do chronionego pliku. Jednak podczas złożonego zadania debugowania może natrafić na poświadczenia lub odziedziczone uprawnienia, które sprawiają, że ten sam dostęp wydaje się rutynowy.

Ten przykład nie opisuje zaobserwowanego zachowania nowego wydania. Pokazuje, dlaczego dowody dotyczące bezpieczeństwa wymagają kontekstu. Instrukcja, dostępne narzędzia, presja zadania i proces przeglądu pomagają określić, co dany test faktycznie ustala.

Ten sam problem pojawia się, gdy system wykonuje pracę usprawniającą inne systemy AI. Błąd w zwykłym kodzie aplikacji może wpłynąć na tę aplikację. Błąd w procesie ewaluacji może również wpłynąć na to, które przyszłe modele laboratorium uzna za gotowe.

Ten drugi przypadek stanowi powód, by oddzielić wdrożenie od zatwierdzania. System może pomóc w budowie ewaluacji, nie stając się jedynym sędzią tego, czy jest ona wystarczająca. Niezależny przegląd może zachować odmienną perspektywę wobec założeń i brakujących przypadków.

Istnieje również różnica między zdolnością a skłonnością. Model może posiadać techniczną możliwość wykonania nieautoryzowanego działania, jednocześnie zwykle odmawiając jego wykonania. Ocena bezpieczeństwa potrzebuje dowodów zarówno na to, co jest możliwe, jak i na to, co dzieje się w istotnych warunkach.

Kontrole dostępu dotyczą kolejnej części problemu. Ograniczenie tego, kto może korzystać z konfiguracji, może zmniejszyć ekspozycję, ale nie odpowiada na wszystkie pytania dotyczące autoryzowanego użycia. Organizacje nadal potrzebują granic określających, co mogą robić ich zatwierdzeni użytkownicy i aplikacje.

Rozsądny przegląd powinien zatem pytać, które tryby awarii zostały zbadane, a które nadal trudno zaobserwować. Powinien również pytać, czy ocena odnosi się do dokładnie tej konfiguracji, która jest rozważana. Blisko powiązane produkty mogą działać z różnymi zabezpieczeniami i uprawnieniami.

Luka w publicznie dostępnych dowodach wskazana przez METR tworzy odrębne wyzwanie. Gdy istotne materiały pomocnicze pozostają poufne, zewnętrzni odbiorcy nie mogą niezależnie odtworzyć całej oceny. Muszą ocenić metody ewaluatora, deklarowaną niepewność i warunki dostępu.

Poufność może chronić uzasadnione informacje, jednocześnie ograniczając publiczną widoczność. Uznanie tego kompromisu jest bardziej informacyjne niż traktowanie ujawniania informacji jako albo pełnej przejrzystości, albo bezsensownych działań public relations. Pytanie brzmi, co zewnętrzni recenzenci mogą rzeczywiście zweryfikować.

Dla klientów korporacyjnych praktyczną odpowiedzią jest dokumentowanie założeń wdrożenia. Obejmują one dozwolone narzędzia, wrażliwe zasoby, warunki eskalacji i odpowiedzialność za ostateczne decyzje. Pozytywna ocena powinna odnosić się do tych założeń, zanim uzasadni szersze uprawnienia.

Pozwala to na wdrożenie przy zachowaniu proporcjonalności wniosków. Model może być użyteczny w ramach ograniczonego przepływu pracy, nie będąc odpowiedni do nienadzorowanych badań. Dowody wspierające pierwszą decyzję nie powinny po cichu stawać się autoryzacją dla drugiej.

Przykłady badań wymagają weryfikacji wykraczającej poza demonstrację

Przekonujące zastosowanie staje się silniejszym dowodem, gdy inny zespół może zbadać zarówno wynik, jak i proces, który do niego doprowadził.

Optymistyczna wizja zaawansowanych modeli opiera się na tym, że użyteczna praca staje się bardziej dostępna. Badacze chcą pomocy w badaniu opcji technicznych, łączeniu dowodów i wykonywaniu zadań pochłaniających ograniczoną uwagę ekspertów. Te cele zasługują na ocenę obok ryzyka przyspieszania rozwoju.

Jednak demonstracje badawcze różnią się pod względem tego, co ustanawiają. Udany wynik może pokazać, że określone podejście zadziałało w konkretnych warunkach. Nie ujawnia automatycznie przygotowania, nieudanych prób, poprawek wprowadzonych przez ludzi ani wymaganej infrastruktury wspierającej.

Te rozróżnienia mają znaczenie przy porównywaniu systemów. Model działający w starannie zaprojektowanym środowisku może przewyższać inny system dysponujący mniejszą liczbą narzędzi. Wynik nadal może być użyteczny, lecz czytelnicy potrzebują wystarczającej liczby szczegółów metodologicznych, aby zrozumieć porównanie.

Niezależne potwierdzenie również przyjmuje różne formy w zależności od dyscypliny. Wynik dotyczący oprogramowania może wymagać przeglądu, testów i obserwacji w realistycznym obciążeniu. Twierdzenie naukowe może wymagać sprawdzenia założeń, odtworzenia obliczeń lub przeprowadzenia eksperymentów fizycznych.

Weryfikacja komputerowa może rozstrzygać niektóre węższe kwestie. Dowód matematyczny zapisany w języku formalnym można sprawdzić względem jawnych reguł. Dostarcza to innego rodzaju dowodu niż wyjaśnienie, które jedynie brzmi przekonująco dla czytelnika.

Jednak nawet sprawdzony wynik pozostawia pytania kontekstowe. Badacze nadal muszą rozumieć, które założenia zostały zakodowane i czy formalne stwierdzenie odpowiada zamierzonemu twierdzeniu. Weryfikacja zmniejsza niepewność w określonym obszarze; nie usuwa każdej towarzyszącej oceny.

W przypadku pracowników umysłowych równoległy problem pojawia się w analizie dokumentów. Asystent może wskazać wiarygodne wyjaśnienie w wielu plikach. Jego użyteczność zależy od tego, czy recenzenci mogą prześledzić to wyjaśnienie do rzeczywistych dowodów i zobaczyć nierozwiązane sprzeczności.

Wyobraźmy sobie analityka przeglądającego dokumenty na potrzeby hipotetycznej oceny dostawcy. Płynne podsumowanie może przeoczyć fakt, że osobne raporty obejmują różne okresy. Mniej dopracowana odpowiedź, która wskaże tę niezgodność, może być cenniejsza dla ostatecznej decyzji.

W tym miejscu lepsza komunikacja nabiera praktycznego znaczenia. Użytecznym usprawnieniem byłby jaśniejszy opis tego, co potwierdzają dowody, co pozostaje niepewne i co wymaga ludzkiego osądu. Sama pewność siebie nie zapewnia takiego opisu.

Zespoły mogą wspierać ten proces, utrzymując przeszukiwalną bazę wiedzy zawierającą dokumenty techniczne i historię decyzji. Jej celem jest udostępnienie materiałów źródłowych i wcześniejszego rozumowania do przeglądu.

Taka infrastruktura nie waliduje automatycznie wniosków modelu. Daje ludziom lepszą możliwość ich sprawdzenia. Różnica ma znaczenie wszędzie tam, gdzie wynik systemu wpływa na ważną decyzję techniczną lub biznesową.

W przypadku Anthropic Mythos i Fable znacząca historia badawcza wyłoni się dzięki takiej analizie. Najsilniejsze dowody połączą użyteczne wyniki, widoczne metody i zewnętrzne potwierdzenie. Demonstracje mogą rozpocząć ten proces, ale trwała weryfikacja daje klientom mocniejsze podstawy do zaufania.

Kolejnymi sygnałami są odtwarzalność, autonomia badawcza i dowody operacyjne

Nadchodzące miesiące powinny wyjaśnić, gdzie wzrost zdolności przekłada się na niezawodną pracę, a gdzie ludzki osąd pozostaje niezbędny.

Pierwszym sygnałem jest odtwarzalność w reprezentatywnych zadaniach. Niezależni ewaluatorzy i klienci powinni sprawdzić, czy deklarowane ulepszenia utrzymują się, gdy dokumenty, narzędzia i trudność zadań przypominają rzeczywistą pracę. Porównywalne warunki mają większe znaczenie niż pojedynczy ranking.

Dowody na niezawodne korzyści wzmocniłyby komercyjne uzasadnienie wydania. Wyniki ograniczone do wyjątkowo sprzyjających konfiguracji zawęziłyby je. Każdy z tych rezultatów byłby bardziej informacyjny niż traktowanie każdego benchmarku jako pomiaru tej samej podstawowej zdolności.

Dla zespołów programistycznych użyteczne raportowanie obejmowałoby to, co recenzenci odrzucili, co wymagało naprawy i co wydarzyło się po integracji. Dla organizacji badawczych wyjaśniałoby, jak wybierano kandydackie pomysły i które wyniki przetrwały późniejszą weryfikację.

Drugim sygnałem jest większa precyzja dotycząca autonomii badawczej. Przyszłe oceny powinny rozróżniać wybieranie celów, projektowanie eksperymentów, ich wdrażanie, interpretowanie wyników i integrowanie ulepszeń. Łączenie tych działań w ogólne twierdzenie o produktywności ukrywa podział odpowiedzialności.

Dowody, że AI niezawodnie wybiera wartościowe eksperymenty, wzmocniłyby obawy dotyczące ściślejszego procesu informacji zwrotnej w rozwoju. Dowody, że interwencja ekspertów pozostaje konieczna na decydujących etapach, ograniczyłyby tę interpretację. Żadnego z tych ustaleń nie należy sprowadzać do binarnej deklaracji o inteligencji.

To rozróżnienie pomaga również klientom uniknąć nadinterpretacji technicznej kompetencji modelu. System może doskonale rozwiązywać określony problem, a jednocześnie pozostawać niewiarygodny w wyborze problemu zasługującego na uwagę. Są to odrębne zdolności o różnych konsekwencjach operacyjnych.

Trzecim sygnałem są dowody operacyjne z długotrwałego użycia. Nabywcy muszą wiedzieć, czy systemy respektują granice, zgłaszają niekompletną pracę i pozostają możliwe do zbadania, gdy zadania stają się bardziej złożone. Zarówno awarie, jak i udane odzyskiwanie sprawności składają się na ten obraz.

Silniejsze dowody na niezawodne zachowanie wspierałyby ostrożnie rozszerzone użycie. Powtarzająca się niepewność dotycząca działań lub nierozwiązane awarie przemawiałyby za ściślejszymi granicami. Istotnym standardem jest to, czy organizacja może rozumieć i zarządzać rolą systemu.

Te sygnały łączą premierę produktu z szerszą debatą rozwojową, nie udając, że rozstrzygają ją już dziś. Szybsza praca ma wartość komercyjną. Większa autonomia zmienia to, kto podejmuje decyzje. Wiarygodny nadzór wymaga dostatecznie jasnego dostrzegania obu tych kwestii, aby odróżnić korzyści od nowych obowiązków.

Przed zmianą procesu produkcyjnego wybierz reprezentatywne zadanie i zapisz jego obecne obciążenie związane z przeglądem. Porównaj nowy system przy tych samych uprawnieniach, a następnie zbadaj zarówno gotowy wynik, jak i decyzje stojące za nim. Czytaj deklaracje dotyczące wydania wraz z niezależnymi ocenami, zachowując ich odmienne zakresy i niepewności. W przypadku Anthropic Mythos i Fable zapytaj, czy pozorny zysk przetrwa sprawdzanie, integrację i dalsze prace. Zachowaj wyraźnie określoną odpowiedzialność za akceptację, zwłaszcza gdy wyniki wpływają na przyszły rozwój AI. Najbardziej użyteczne pytanie jest konkretne: czy to wydanie pomaga Twojemu zespołowi ukończyć pracę, którą potrafi zrozumieć, zweryfikować i utrzymać? Użyj tego pytania, aby pokierować następną oceną.