Test Anthropic Simon Pelican: Claude Fable 5.1 wypada lepiej, ale dopiero po znacznie dłuższym namyśle

Anthropic wydał Claude Fable 5.1 z deklarowanym wynikiem 52,6% w benchmarku naukowym, lecz test anthropic simon pelican pokazuje inną historię dotyczącą jego wydajności. Simon Willison poprosił model o wygenerowanie SVG pelikana jadącego na rowerze. Najbardziej przekonujący rezultat uzyskał dopiero po poświęceniu znacznie większej ilości czasu i tokenów wyjściowych przy maksymalnym wysiłku rozumowania.

Ten kontrast sprawia, że eksperyment jest bardziej użyteczny, niż sugeruje jego absurdalne założenie. Anthropic przedstawia Fable 5.1 jako model do programowania, pracy z wiedzą i długotrwałych problemów. Test pelikana Willisona sprawdza, co dzieje się, gdy te możliwości spotykają się z niewielkim, wizualnym zadaniem programistycznym o oczywistych ograniczeniach fizycznych.

Wynik nie zastępuje formalnych ocen Anthropic. Jest zwięzłą demonstracją kompromisu, który za nimi stoi. Fable 5.1 potrafi analizować, poprawiać i ulepszać własną pracę, lecz większe rozumowanie nie przynosi równomiernego zysku. Najlepszy wynik pojawił się przy znacznie wyższym nakładzie obliczeniowym, podczas gdy niższe ustawienia wykazywały niewiele widocznego namysłu.

Anthropic wydał model stworzony do kontynuowania pracy

Claude Fable 5.1 nie służy przede wszystkim do szybkiego odpowiadania na pojedynczy prompt, lecz do podtrzymywania pracy nad zadaniem, aż jego szczegóły zaczną tworzyć spójną całość.

Anthropic zaprezentował Claude Fable 5.1 i Claude Mythos 5.1 1 września 2026 roku. Firma opisuje je jako ten sam bazowy model z różnymi zabezpieczeniami. Fable jest ogólnie dostępny, natomiast Mythos ograniczono do zatwierdzonych programów badawczych.

Materiały premierowe firmy koncentrują się na programowaniu, badaniach i długotrwałej pracy z wiedzą. Anthropic twierdzi, że Fable 5.1 unika powierzchownych poprawek, sprawdza własną pracę i zachowuje skuteczność podczas projektów trwających wiele godzin lub obejmujących wiele aplikacji.

Te deklaracje są istotne, ponieważ wiele obecnych porażek AI następuje po obiecującym początku. Model może napisać wiarygodny plan, wygenerować działający kod, a mimo to zgubić ograniczenia podczas późniejszych poprawek. Długotrwała wydajność zależy od utrzymywania stanu, testowania wyników pośrednich i korygowania błędów bez naruszania wcześniejszej pracy.

Wyniki benchmarków Anthropic wskazują na umiarkowane wzrosty w kilku uznanych testach. Największy deklarowany skok pojawia się w Terminal-Bench-Science 0.1, ocenie zadań naukowych wykonywanych w środowisku terminalowym.

Fable 5.1 uzyskał 52,6% w konfiguracji Anthropic. Firma podała 24,7% dla Fable 5, 29,0% dla Opus 5 oraz 22,4% dla GPT-5.6 Sol w tym samym porównaniu. Anthropic ujawnia również błąd standardowy od 3,5 do 4,5 punktu procentowego dla każdego modelu.

Inne wyniki zmieniły się w mniejszym stopniu. Fable 5.1 osiągnął 55,8% w Terminal-Bench 4.0, wobec 42,0% dla Fable 5. Uzyskał 31,4% w AutomationBench, podczas gdy Fable 5 zdobył 17,1%.

Są to dane raportowane przez firmę, a nie uniwersalne miary jakości modelu. Anthropic zauważa też, że zabezpieczenia wpłynęły na część zadań ewaluacyjnych. Niektóre oznaczone żądania otrzymały zero, a inne skierowano do różnych modeli Claude.

To ujawnienie komplikuje bezpośrednie porównania. Benchmark może mierzyć model bazowy, wdrożony system bezpieczeństwa, środowisko agenta albo kombinację wszystkich trzech. Użytkownicy korporacyjni stykają się z połączonym produktem, więc te szczegóły operacyjne powinny być uwzględniane w każdej dyskusji o wydajności.

Wczesni klienci Anthropic dostarczyli przykłady wspierające te twierdzenia. MongoDB poinformowało, że model zbadał jego usługi i dokumentację przed zbudowaniem prototypu w ciągu kilku dni. Millennium przekazało, że Fable 5.1 prześledził rzadką awarię do zewnętrznej biblioteki po tym, jak wcześniejsze modele nie znalazły przyczyny.

Te relacje są użyteczne, ale pochodzą od wybranych partnerów premierowych. Pokazują, jak mogą wyglądać udane wdrożenia, a nie średni wynik we wszystkich bazach kodu czy przepływach pracy.

Pelikan Willisona zajmuje przeciwległy koniec spektrum ewaluacji. Nie ma tu systemu korporacyjnego, laboratorium badawczego ani dużego zbioru dokumentów. Jego wartość wynika z tego, że zachowanie modelu staje się widoczne.

Dlaczego Simon Willison wciąż każe modelom rysować pelikany

Prompt z pelikanem jest wartościowy, ponieważ powodzenie wymaga jednoczesnego działania wielu drobnych zależności, nawet gdy zadanie brzmi banalnie.

Willison wielokrotnie prosił modele językowe o wygenerowanie SVG pelikana jadącego na rowerze. SVG to tekstowy format obrazu, więc model językowy może stworzyć cały rysunek, zapisując uporządkowany znacznik i instrukcje rysowania.

Wiarygodny wynik wymaga rozpoznawalnych kół, ramy roweru, kierownicy, pedałów i pelikana. Dobry wynik musi też poprawnie je połączyć. Stopy ptaka powinny sięgać pedałów, skrzydło powinno łączyć się z kierownicą, a ciało powinno znajdować się nad ramą.

Te zależności tworzą zwięzły test planowania i spójności przestrzennej. Model może wygenerować poprawny kod SVG, nie realizując faktycznej sceny. Może narysować niepołączone nogi, źle umieszczone koła, niemożliwe połączenia albo zwierzę jedynie unoszące się nad rowerem.

Test zyskał popularność, ponieważ wczesne ulepszenia były łatwe do zauważenia. Lepsze modele zwykle tworzyły czystszy kod, bardziej spójną geometrię i lepiej trzymały się promptu. Jeden obraz mógł ujawnić błędy, które długi raport benchmarkowy mógł ukryć za zagregowanym wynikiem.

Willison z czasem stał się mniej pewny tego związku. W swojej lipcowej ponownej ocenie argumentował, że jakość pelikana przestała tak niezawodnie odzwierciedlać ogólną jakość modelu jak wcześniej. Na wynik coraz silniej wpływały styl tworzenia obrazów, preferencje treningowe i ustawienia rozumowania.

To ograniczenie zmienia cel benchmarku. Jest słabym dowodem na ogłoszenie, że jeden model jest uniwersalnie lepszy od drugiego. Nadal przydaje się do porównywania pokrewnych modeli, poziomów rozumowania i powtarzanych uruchomień w podobnych warunkach.

Eksperyment z Claude Fable 5.1 przyjmuje to węższe podejście. Willison przetestował pięć ustawień rozumowania: niskie, średnie, wysokie, bardzo wysokie i maksymalne. Fable 5.1 nie oferował ustawienia całkowicie wyłączającego rozumowanie.

Przy niskim wysiłku model stworzył czystą, rozpoznawalną ilustrację. Zapisany przez Willisona transkrypt nie zawierał podsumowanego rozumowania, chociaż odpowiedź obejmowała 1 998 tokenów wyjściowych i zajęła 23,8 sekundy.

Średni wysiłek zachował się podobnie. Wynik wykorzystał 1 977 tokenów, zajął 23 sekundy i ponownie nie wyświetlił podsumowania rozumowania. Końcowy obraz nie pokazał wyraźnej przewagi nad wynikiem przy niskim wysiłku.

Wysoki wysiłek wreszcie ujawnił niewielki ślad planowania. Model opisał zamierzoną scenę, w tym rower, pelikana, tło, koła i rozmieszczenie ciała. Wykorzystał 2 612 tokenów wyjściowych i zakończył pracę po 29,6 sekundy.

Widoczna poprawa pozostała skromna. Ten wynik ma znaczenie, ponieważ sterowanie rozumowaniem często przedstawia się jako prosty regulator jakości. W tym eksperymencie przejście z niskiego na wysoki poziom nie stworzyło proporcjonalnego zysku.

Bardzo wysoki poziom dramatycznie zmienił zachowanie. Model wygenerował 36 767 tokenów wyjściowych i pracował przez siedem minut i 51 sekund. Jego rozumowanie omawiało proporcje ptaka, stopy, pedały, pozycję skrzydła i charakter wizualny.

Maksymalny wysiłek jeszcze bardziej wydłużył ten proces. Wykorzystał 65 927 tokenów wyjściowych i trwał 13 minut i 54 sekundy. Willison nazwał rezultat najlepszym pelikanem, jaki widział z modelu Anthropic.

Obraz zawierał niebieski kask, koszyk z rybami, spójny rower i staranniej dopracowane punkty kontaktu między ptakiem a maszyną. Jego szczegóły wizualne odzwierciedlały powtarzaną kontrolę, a nie generowanie w jednym przebiegu.

Ta progresja jest właściwym eksperymentem. Prompt pozostawał stabilny, podczas gdy zmieniała się dostępna modelowi możliwość namysłu. Fable 5.1 nie po prostu rysował lepszego pelikana przy każdym wyższym ustawieniu. W pobliżu górnego zakresu przeszedł do innego trybu pracy.

Test Anthropic Simon ujawnia lukę wysiłku

Najlepszy pelikan pokazuje silniejszą samokorektę, ale ujawnia też, jak mocno jakość może zależeć od wysiłku inferencyjnego.

Test anthropic simon jest najbardziej miarodajny, gdy traktuje się go jako porównanie wewnątrz jednej rodziny modeli. Niskie, średnie i wysokie ustawienia stworzyły akceptowalne ilustracje z ograniczonymi widocznymi różnicami. Bardzo wysoki i maksymalny poziom uruchomiły znacznie dłuższe rozumowanie oraz bardziej celowe poprawki.

Przy maksymalnym wysiłku model zrobił więcej niż tylko wymienił obiekty, które miał narysować. Rozważył, jak te obiekty powinny ze sobą współdziałać. Ślad rozumowania analizował umieszczenie kasku, nakładanie się dzioba, kształty piór, szczegóły kierownicy oraz krzywiznę przedniego widelca roweru.

To zachowanie przypomina iteracyjny przegląd projektu. Model wygenerował strukturę, sprawdził prawdopodobne wady i dostosował poszczególne komponenty. Odrzucił też niepotrzebne dodatki, gdy zagrażały czytelności.

Jeden ze śladów pokazał, że model ponownie rozważył kask rowerowy, ponieważ mógł on zakłócić rozpoznawalny czub pelikana. Inny zidentyfikował nieprawidłową krzywiznę widelca i zmienił punkt kontrolny, aby poprawić jego kierunek.

Te decyzje są niewielkie, ale ilustrują większą zdolność. Użyteczni agenci działający długotrwale muszą wykrywać, kiedy ich pierwsza próba jest jedynie wiarygodna. Następnie muszą wyizolować słabość i poprawić ją bez destabilizowania całej reszty.

Ten mechanizm łączy pelikana z rzeczywistą pracą programistyczną. Agent programistyczny może stworzyć funkcję, która przechodzi podstawowy test, lecz narusza ograniczenie architektoniczne. Agent badawczy może ukończyć analizę, zanim zauważy, że jedno założenie zniekształca wniosek.

Trudniejszym problemem nie jest tworzenie większej ilości tekstu. Jest nim poświęcanie dodatkowych zasobów obliczeniowych na właściwe kontrole. Maksymalny ślad Fable 5.1 sugeruje postęp w tym zachowaniu, przynajmniej w ramach tego wizualnego zadania programistycznego.

Eksperyment ujawnia jednak również nierówną krzywą wysiłku. Średni poziom nie przewyższał niskiego w istotny sposób, mimo że był wyższym ustawieniem. Wysoki dodał nieco planowania, lecz nie przekształcił obrazu. Większość widocznego zysku pojawiła się znacznie później.

Deweloperzy nie powinni więc zakładać, że każdy krok rozumowania kupuje taką samą jakość. Obciążenie może znajdować się poniżej progu, przy którym dodatkowy wysiłek niewiele zmienia. Inne obciążenie może skorzystać dopiero wtedy, gdy model ma wystarczająco dużo przestrzeni na powtarzaną kontrolę.

Tworzy to wyzwanie ewaluacyjne. Jeśli zespół testuje wyłącznie ustawienie domyślne, może nie docenić możliwości modelu. Jeśli testuje wyłącznie maksymalny wysiłek, może mierzyć konfigurację zbyt wolną do zwykłego użycia.

Anthropic twierdzi, że Fable 5.1 domyślnie używa wysokiego wysiłku w Claude Code, podczas gdy inne interfejsy Claude używają średniego. Wyniki Willisona sugerują, że domyślne ustawienia interfejsu mogą kształtować całe wrażenie użytkownika na temat modelu.

Test rozdziela także jakość wyniku od efektywności działania. Maksymalny pelikan był lepszy, lecz wymagał znacznie większej liczby tokenów i więcej czasu niż wersje o niższym wysiłku. Ten kompromis ma znaczenie nawet wtedy, gdy artykuł unika omawiania konkretnych cen.

Długotrwale działający agenci zużywają zasoby obliczeniowe podczas planowania, sprawdzania plików, wywoływania narzędzi, uruchamiania testów i poprawiania swojej pracy. Udany rezultat może uzasadniać ten wysiłek w trudnym zadaniu. Ten sam proces byłby nadmierny w przypadku jednorazowej ilustracji lub rutynowej transformacji.

Praktyczne pytanie nie brzmi, czy maksymalne rozumowanie jest dobre. Chodzi o to, czy dodatkowa praca zmienia decyzję, ogranicza późniejszą weryfikację albo zapobiega kosztownemu błędowi.

To rozróżnienie wywiera presję na Anthropic i jego konkurentów. OpenAI, Google i inni dostawcy modeli coraz częściej udostępniają mechanizmy kontroli rozumowania lub automatycznie przydzielają zasoby obliczeniowe. Kupujący potrzebują dowodów, że te mechanizmy w jasny sposób przekładają się na wartość dla konkretnych obciążeń.

Pelikan sugeruje, że to przełożenie nadal jest nierówne. Wyższe ustawienie nie gwarantuje zauważalnie lepszego rezultatu, podczas gdy najwyższy poziom może zachowywać się jak zasadniczo inny produkt.

Benchmark naukowy podnosi stawkę

Wynik Anthropic w naukowym benchmarku czyni Fable 5.1 ważnym, ale pelikan wyjaśnia, dlaczego ten wynik wymaga kontekstu operacyjnego.

Terminal-Bench-Science 0.1 został zaprojektowany wokół naukowych przepływów pracy wykonywanych przez agentów w środowiskach terminalowych. Jego zadania obejmują dziedziny takie jak biologia, chemia, fizyka, nauki o Ziemi, matematyka i inżynieria.

Benchmark naukowy uruchomiono krótko przed Fable 5.1. Zawiera 70 zadań przygotowanych przez naukowców, których wyniki można sprawdzić w kontrolowanych środowiskach.

Taka struktura jest bardziej rygorystyczna niż ocenianie ilustracji. Zadania wymagają od agentów poruszania się po oprogramowaniu, manipulowania danymi, korzystania z narzędzi naukowych i osiągania weryfikowalnych rezultatów. Mają przypominać elementy rzeczywistej pracy badawczej.

Wynik Anthropic na poziomie 52,6% jest uderzający, ponieważ ponad dwukrotnie przewyższa wynik 24,7% raportowany dla Fable 5. Różnica nadal jest znacznie większa niż ujawniony błąd standardowy.

Porównanie nadal wymaga ostrożności. Anthropic odtworzył wcześniejsze wyniki modeli, korzystając z własnej konfiguracji ewaluacyjnej. Publiczna tabela wyników podała 30,0% dla Opus 5 i 21,4% dla Fable 5, podczas gdy Anthropic zmierzył odpowiednio 29,0% i 24,7%.

Firma twierdzi, że różnice te mieszczą się w granicach oczekiwanego szumu statystycznego. Mimo to czytelnicy powinni odróżniać uruchomienia z publicznej tabeli wyników od porównań prowadzonych przez dostawcę.

Nowy benchmark ma też ograniczoną historię. Badacze nie zaobserwowali jeszcze, jak szybko deweloperzy optymalizują prompty, harnessy i narzędzia pod kątem jego zadań. Brakuje im również długiego szeregu danych łączącego poprawę wyników benchmarkowych z mierzalnymi rezultatami naukowymi.

Nie czyni to wyniku nieistotnym. Oznacza natomiast, że jest on wczesnym sygnałem, a nie ostatecznym werdyktem.

Oficjalny benchmark i test z pelikanem mierzą różne rzeczy. Terminal-Bench-Science pyta, czy agent wykonuje zdefiniowany naukowy przepływ pracy. Pelikan pokazuje, jak model przydziela wysiłek podczas rozwiązywania widocznego problemu z ograniczeniami.

Łącznie prowadzą do węższego wniosku. Fable 5.1 wydaje się lepszy w długotrwałej pracy opartej na narzędziach, a jego najsilniejsze zachowanie ujawnia się, gdy ma wystarczająco dużo zasobów obliczeniowych, by sprawdzać wyniki pośrednie.

Anthropic przedstawia kilka naukowych przykładów wykraczających poza benchmark. Firma twierdzi, że jej modele pracowały nad białkami wiążącymi, mapowaniem planetarnym i optymalizacjami GPU dla modeli biologicznych. Twierdzenia te łączą wyniki modeli z zewnętrznymi narzędziami, a w niektórych przypadkach także z walidacją laboratoryjną.

Firma podaje również, że Fable 5.1 wytrenował sieć neuronową, która stworzyła mapę wysokościową obejmującą jedną trzecią Wenus w wyższej rozdzielczości. Według Anthropic mapa odwzorowuje szczegóły w skali dwóch do trzech kilometrów zamiast 10 do 20 kilometrów.

Takie przykłady zasługują na większą analizę niż pojedynczy prompt. Wynik naukowy zależy od doboru danych, konfiguracji narzędzi, metod walidacji i nadzoru człowieka. Model może wykonywać ważną pracę, nie będąc odpowiedzialnym za cały proces odkrycia.

To rozróżnienie ma znaczenie dla wdrożeń w przedsiębiorstwach. Kupujący nie wdraża wyniku benchmarku. Wdraża model w systemie z uprawnieniami, zastrzeżonymi danymi, recenzentami, budżetami, zabezpieczeniami i procedurami obsługi awarii.

Najmocniejsze dowody będą pochodzić z powtarzalnych przepływów pracy, w których zespoły mogą porównywać wskaźniki ukończenia, czas korekty i wymagania dotyczące kontroli przez człowieka. Model osiągający wyższy wynik, ale wymagający rozległej weryfikacji, może tworzyć mniejszą wartość, niż się oczekuje.

Odwrotnie, wolniejszy model może być opłacalny, gdy zapobiega trudnemu błędowi. Partnerzy Anthropic przy premierze podkreślają przykłady obejmujące rzadkie awarie, zmiany kodu w wielu usługach i badania prowadzone bez nadzoru. To właśnie przypadki, w których dodatkowe rozumowanie ma wiarygodny zwrot.

Benchmark naukowy zwiększa presję na OpenAI i Google, ponieważ ustanawia widoczną przewagę w nowej ewaluacji agentowej. Jednak większa rywalizacja nie dotyczy jednej tabeli wyników. Chodzi o to, czy modele potrafią przekuć rozszerzone rozumowanie w niezawodną, audytowalną pracę.

Czego pelikan nie dowodzi

Dopracowany SVG jest dowodem jednego udanego uruchomienia, a nie potwierdzeniem, że Claude Fable 5.1 będzie niezawodnie rozumował w niepowiązanych zadaniach.

Pierwszym ograniczeniem jest wielkość próby. Willison pokazał jedną sekwencję w pięciu ustawieniach wysiłku. Wyniki modelu mogą różnić się między uruchomieniami, nawet gdy prompt i konfiguracja pozostają bez zmian.

Mocniejsze porównanie wymagałoby powtórzenia każdego ustawienia kilka razy. Recenzenci mogliby następnie ocenić spójność fizyczną, poprawność kodu, jakość wizualną, czas wykonania i długość odpowiedzi. Ujawniłoby to, czy rezultat przy maksymalnym ustawieniu był typowy, czy wyjątkowo dobry.

Drugim ograniczeniem jest subiektywna ocena. Większość obserwatorów może zgodzić się, że pelikan przy maksymalnym ustawieniu wygląda na bardziej kompletny, ale atrakcyjność wizualna nie jest jedną mierzalną właściwością. Jedna osoba może preferować minimalistyczną ilustrację, podczas gdy inna nagradza dekoracyjne detale.

Trzecim ograniczeniem jest kontaminacja. Prompt z pelikanem od dawna krąży publicznie. Twórcy modeli mogą widzieć te przykłady, a powiązane obrazy mogą pojawiać się w danych treningowych lub ewaluacyjnych.

Nie ma dowodów, że Anthropic wyraźnie zoptymalizował Fable 5.1 pod ten prompt. Mimo to znany test staje się mniej użyteczny jako niezależna miara, gdy wiele wyników i dyskusji jest publicznych.

Willison już przyznaje, że związek benchmarku z ogólną jakością modelu osłabł. Jego najlepszym pozostałym zastosowaniem jest kontrolowane porównanie, szczególnie w obrębie rodziny modeli jednego dostawcy.

Czwarte ograniczenie dotyczy widocznego rozumowania. Brak podsumowania rozumowania nie dowodzi, że model nie przeprowadził wewnętrznego rozumowania. Produkty mogą ukrywać, kompresować lub wybiórczo wyświetlać ślady tego procesu.

Willison ostrożnie opisał niski i średni poziom jako sprawiające wrażenie pomijania rozumowania. To rozróżnienie reporterskie powinno zostać zachowane. Zarejestrowane zachowanie interfejsu jest obserwowalne, ale wewnętrzny proces modelu nie jest w pełni dostępny.

Piątym ograniczeniem jest to, że długie ślady mogą tworzyć fałszywe poczucie pewności. Model, który omawia wiele szczegółów, nadal może popełnić podstawowy błąd. Większe namyślanie się może poprawić wykrywanie błędów, ale może też prowadzić do niepotrzebnych poprawek lub racjonalizowania wadliwego podejścia.

Animowana kontynuacja uwidacznia to ryzyko. Prośba na Hacker News pytała, czy rozwiązany pelikan może zostać animowany. Willison ponownie przekazał maksymalny SVG do Fable 5.1 przy wysokim wysiłku, z poleceniem jego animacji.

Model stworzył animowaną wersję, używając 26 201 tokenów wyjściowych. Willison zauważył, że po konwersji do wideo koła zdawały się obracać w niewłaściwym kierunku, choć oryginalny SVG wyglądał na poprawny.

Ta kontynuacja to coś więcej niż żart. Sprawdza, czy model potrafi zachować działający artefakt podczas dodawania zachowania. Wzorzec ten przypomina utrzymanie oprogramowania, gdzie nowa funkcja może ujawnić problemy niewystępujące w pierwotnej implementacji.

Pełny eksperyment Willisona z pelikanem pokazuje również, dlaczego końcowe artefakty wymagają bezpośredniej kontroli. Poprawny SVG, spójny ślad rozumowania i udane polecenie animacji nie gwarantują, że każda relacja wizualna przetrwała eksport.

Szóste ograniczenie wynika z dopasowania do benchmarku. Pelikan bada głównie generowanie SVG, relacje przestrzenne i iteracyjne projektowanie. Mówi niewiele o wiarygodności faktów, decyzjach dotyczących bezpieczeństwa, osądzie naukowym czy wydajności na prywatnych danych przedsiębiorstwa.

Formalne ewaluacje Anthropic obejmują część tych obszarów, lecz wiele wyników nadal raportuje sam dostawca. Opinie partnerów premierowych opisują także wybrane sukcesy, a nie kontrolowane wskaźniki porażek.

Pozostawia to istotną lukę weryfikacyjną. Fable 5.1 wydaje się zdolny do bardziej długotrwałej pracy, jednak zespoły nadal potrzebują niezależnych testów zbudowanych na własnych zadaniach. Powinny mierzyć, jak często model prawidłowo kończy pracę, a nie jak imponująco wygląda jego najlepsza sesja.

Użyteczna ewaluacja powinna obejmować niejednoznaczne wymagania, awarie narzędzi, nieaktualne dokumenty i treści antagonistyczne. Działający przez dłuższy czas agenci muszą radzić sobie z tymi warunkami bez cichej zmiany celu.

Centralne napięcie pozostaje więc nierozstrzygnięte. Fable 5.1 może znacznie dłużej pracować nad poprawą wyniku, ale użytkownicy potrzebują wiarygodnych sposobów określenia, kiedy ten wysiłek jest uzasadniony, a kiedy model powinien się zatrzymać.

Trzy sygnały pokażą, czy Fable 5.1 spełnia obietnice

Kolejny test pokaże, czy zyski Fable 5.1 w benchmarkach i demonstracjach wytrzymują powtórzenia, rzeczywiste przepływy pracy i presję konkurencyjną.

Pierwszym sygnałem jest niezależne odtworzenie wyników Terminal-Bench-Science 0.1. Badacze powinni uruchomić Fable 5.1 w wielu próbach, używając udokumentowanych harnessów i porównywalnego dostępu do narzędzi.

Wyniki zbliżone do 52,6% podawanego przez Anthropic wzmocniłyby twierdzenie firmy. Istotnie niższy wynik publiczny sugerowałby, że konfiguracja ewaluacji, prompting lub prywatna konfiguracja miały większy udział, niż wskazuje nagłówek.

Znaczenie będzie mieć także zmienność między uruchomieniami. Model, który osiąga dobre średnie wyniki, ale zawodzi nieprzewidywalnie, przedstawia inny profil operacyjny niż model uzyskujący nieco niższe, lecz stabilniejsze rezultaty.

Drugim sygnałem będą dowody na poziomie konkretnych obciążeń, pochodzące od deweloperów i zespołów przedsiębiorstw. Najbardziej wymowne wskaźniki obejmą współczynniki pomyślnego ukończenia, czas przeglądu, poprawione defekty, przerwane uruchomienia oraz częstotliwość interwencji człowieka.

Zespoły powinny porównywać wysokie i maksymalne rozumowanie na tych samych wewnętrznych zadaniach. Powinny też rejestrować przypadki, w których dodatkowy wysiłek niczego nie zmienia lub pogarsza rezultat.

Takie dowody przekształciłyby lukę wysiłku anthropic simon w pytanie operacyjne. Jeśli maksymalne rozumowanie konsekwentnie zapobiega kosztownym awariom, dłuższy czas działania staje się uzasadniony. Jeśli korzyści pojawiają się tylko w wybranych demonstracjach, najwyższe ustawienie pozostanie trudne do uzasadnienia.

Trzecim sygnałem będzie reakcja konkurencyjnych modeli. GPT-5.6 Sol od OpenAI ustępuje Fable 5.1 w naukowym porównaniu Anthropic, podczas gdy modele Google pozostają silne w wizualnie ekspresyjnym generowaniu SVG.

Konkurent może odpowiedzieć na kilka sposobów. Może przewyższyć Fable w publicznej tabeli wyników naukowych, usprawnić automatyczne przydzielanie rozumowania, skrócić czas potrzebny do osiągnięcia porównywalnych rezultatów lub opublikować mocniejsze niezależne ewaluacje przepływów pracy.

Najbardziej znacząca odpowiedź połączy jakość z przewidywalnością. Deweloperzy nie potrzebują jedynie modelu zdolnego stworzyć niezwykły artefakt. Potrzebują mechanizmów kontroli, które komunikują, ile wysiłku otrzymało zadanie i dlaczego system się zatrzymał.

W przypadku pracowników wiedzy ta sama zasada dotyczy badań i analizy dokumentów. Dłuższa odpowiedź nie musi oznaczać lepszej odpowiedzi. Użyteczny system to taki, który sprawdza dowody, wychwytuje pominięte ograniczenia i jasno ujawnia niepewność.

Test anthropic simon z pelikanem daje Claude Fable 5.1 zapadającą w pamięć demonstrację, ale jego lekcja nie polega na tym, że benchmark został rozwiązany. Lekcja jest taka, że długotrwała samokontrola daje obecnie widocznie lepszą pracę, podczas gdy koszt tej kontroli pozostaje nierówny.

Deweloperzy powinni testować model na artefaktach, które mogą sprawdzić, oraz na awariach, które już rozumieją. Uruchamiajcie to samo zadanie na wielu poziomach wysiłku, porównujcie końcowe wyniki i zapisujcie, gdzie dodatkowe rozumowanie zmienia rezultat.

Kolejny przekonujący pokaz nie powinien przedstawiać kolejnego idealnego ptaka. Powinien pokazać, że Fable 5.1 potrafi zapewniać równie staranną korektę w powtarzalnej, istotnej pracy, nie wymagając za każdym razem maksymalnego wysiłku.