Modele Anthropic i Google przechodzą test pelicanmaxxingu, a teoria benchmarków się rozpada

Modele Anthropic i Google właśnie przeszły test obejmujący 1 008 obrazów, zaprojektowany tak, by wykryć, czy laboratoria AI potajemnie optymalizują modele pod jeden słynny prompt. Porównanie Anthropic i Google nie wykazało przekonujących dowodów na to, że Claude, Gemini ani pięć konkurencyjnych modeli otrzymały specjalny trening dotyczący pelikanów. Wynik rodzi jednak ważniejszy problem. Jeśli ukierunkowanej optymalizacji nie da się odróżnić od szerokiego wzrostu możliwości, popularne benchmarki AI nadal trudno uznać za wiarygodne.

Badacz Dylan Castillo przetestował siedem modeli, wykorzystując wariacje nieformalnego wyzwania Simona Willisona: „Wygeneruj SVG pelikana jadącego na rowerze”. Eksperyment łączył osiem zwierząt z sześcioma pojazdami, tworząc 48 promptów. Każdy model odpowiadał na każdy prompt trzy razy.

Badanie odrzuca najbardziej zabawne wyjaśnienie poprawy wyników. Laboratoria AI prawdopodobnie nie zapełniają procesów treningowych pelikanami jadącymi na rowerach. Pokazuje jednak również, dlaczego ocena Anthropic, Google, OpenAI i ich rywali wymaga czegoś więcej niż powtarzania rozpoznawalnego testu.

Żartobliwy benchmark stał się kontrolowanym eksperymentem

Castillo przekształcił internetowy żart w ustrukturyzowany test optymalizacji pod konkretny benchmark.

Willison od kilku lat używa promptu z pelikanem podczas oceny ważnych premier modeli językowych. SVG, czyli skalowalna grafika wektorowa, opisuje obraz za pomocą opartych na tekście kształtów i współrzędnych. Jej stworzenie wymaga w jednej odpowiedzi programowania, rozumowania przestrzennego, rozpoznawania obiektów i kompozycji wizualnej.

To połączenie uczyniło prompt zaskakująco użytecznym. Słaby model często tworzy nieprawidłowy znacznik, zepsute koła, źle umieszczone kończyny albo ptaka, który nie przypomina pelikana. Silniejszy model potrafi zwrócić obraz, który renderuje się poprawnie i zachowuje wymaganą relację.

Prompt stał się też wyjątkowo widoczny. Willison zgromadził ponad 100 wpisów pod tagiem pelican benchmark. Jego wyniki często pojawiają się w publicznych dyskusjach o nowych modelach.

Widoczność stwarza problem bodźców. Gdy twórcy wiedzą, że każdy nowy model zostanie przywitany rozpoznawalnym promptem, mogą go pod niego optymalizować. Benchmaxxing oznacza dostrajanie systemu tak, by dobrze wypadał w publicznym benchmarku bez równie szerokiej poprawy w innych obszarach.

Pelicanmaxxing jest komiczną wersją tej obawy. Laboratorium mogłoby umieścić przykłady pelikanów i rowerów w danych treningowych, dodać podobne zadania podczas post-treningu albo nagradzać wyniki odpowiadające znanym kompozycjom. Powstały obraz wyglądałby imponująco, niewiele jednak mówiłby o ogólnych możliwościach.

Castillo zaprojektował eksperyment, który mógł ujawnić taki wzorzec. Jego kontrolowane badanie obejmowało pelikany, flamingi, czaple, wydry, szopy, antylopy, wieloryby i koty. Pojazdy obejmowały rowery, monocykle, deskorolki, skutery, samoloty i łodzie.

Przetestował GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 i DeepSeek V4 Pro. Badanie wykorzystywało trzy generacje dla każdej kombinacji modelu i promptu przy temperaturze 1.0.

To daje 1 008 obrazów: 48 promptów pomnożonych przez trzy próbki i siedem modeli. Tylko 11 generacji wymagało ponownej próby, ponieważ pierwotna odpowiedź nie zawierała użytecznego SVG.

Proces oceny miał trzy etapy. Najpierw renderowano każde SVG jako obraz PNG. Następnie GPT-5.6 Luna oceniało spójność zwierzęcia, pojazdu i akcji w skali od jednego do pięciu.

Po trzecie, Gemini 3.1 Flash-Lite wyodrębniał widoczne cechy. Obejmowały one rozpoznane zwierzę, pojazd, kierunek zwrócenia oraz powtarzające się elementy sceny. Castillo wykorzystał następnie Claude Fable 5 do pomocy w analizie statystycznej.

Ta konfiguracja ma znaczenie, ponieważ pojedynczy atrakcyjny pelikan nie może dowodzić manipulowania benchmarkiem. Eksperyment pyta raczej, czy każdy model wypada nietypowo dobrze w promptach z pelikanami, rowerami lub ich dokładnym połączeniem.

To rozróżnienie zamienia anegdotę w sprawdzalną hipotezę. Gdyby doszło do ukierunkowanego treningu, słynny prompt powinien przewyższać ściśle powiązane prompty po uwzględnieniu różnic w ich poziomie trudności.

Wyniki Anthropic i Google nie pokazują przewagi pelikana

Ani Claude, ani Gemini nie wykazały szerokiego wzorca oczekiwanego przy celowym pelicanmaxxingu.

Najprostsze wyniki od razu przemawiały przeciwko tej teorii. Po połączeniu ocen ze wszystkich modeli pelikany zajęły szóste miejsce spośród ośmiu zwierząt. Koty, wieloryby, szopy, czaple i antylopy otrzymały wyższe oceny zwierząt.

Rowery wypadły jeszcze gorzej. Zajęły piąte miejsce spośród sześciu pojazdów, nieznacznie wyprzedzając samoloty. Sędzia wykrył brakujący lub odłączony element roweru w około dwóch trzecich obrazów z rowerami.

Same te rankingi nie mogą rozstrzygnąć sprawy. Pelikana trudniej przedstawić niż kota, a rower wymaga dwóch kół, połączonej ramy, kierownicy, pedałów i siodełka. Specjalny trening mógłby poprawić przedstawienie trudnego obiektu, nie wynosząc go na pierwsze miejsce.

Castillo dopasował więc regresję z efektami stałymi — model statystyczny oddzielający konsekwentne różnice między grupami od konkretnego badanego efektu. Model uwzględniał wrodzoną trudność każdej kombinacji zwierzęcia i pojazdu.

Następnie oszacował trzy efekty dla każdego laboratorium. Jeden mierzył wyniki we wszystkich promptach z pelikanami. Drugi mierzył wyniki we wszystkich promptach z rowerami. Ostatni wyodrębniał dokładną kombinację pelikana i roweru.

Oszacowanie dla pelikanów w każdym laboratorium mieściło się między minus 0,11 a plus 0,14 punktu oceny. Żadne nie zbliżyło się do istotności statystycznej, a najmniejsza zgłoszona wartość p wyniosła 0,25.

Żadne laboratorium nie uzyskało statystycznie istotnego wzrostu dla dokładnej kombinacji. GLM-5.2 odnotował największe dodatnie oszacowanie, wynoszące 0,35 punktu, lecz jego wartość p wyniosła 0,12. Wynik ten nadal jest zgodny z przypadkiem.

Słynna kombinacja zajęła 42. miejsce spośród wszystkich 48 kombinacji przed korektą trudności. Prompt, dla którego przeprowadzono szeroko zakrojone specjalne przygotowanie, nie powinien zwykle plasować się blisko dołu swojej siatki porównawczej.

Wyniki dotyczące rowerów dały jeden pozorny wyjątek. Gemini 3.5 Flash wykazał efekt rowerowy na poziomie 0,27 punktu przy wartości p równej 0,022. Rozpatrywana osobno wartość ta przekracza konwencjonalny próg 0,05.

Badanie przeprowadziło jednak 21 powiązanych testów statystycznych. Przy progu 0,05 przypadkowa zmienność dawałaby średnio około jednego pozornie dodatniego wyniku. Efekt Gemini był właśnie tym pojedynczym wynikiem.

Nie przeszedł też korekty Bonferroniego, która obniża próg istotności, gdy badacze testują wiele hipotez. Skorygowany próg wyniósł około 0,002, czyli znacznie mniej niż wynik Gemini 0,022.

To czyni kontrast między Anthropic a Google mniej dramatycznym, niż sugeruje jego przyjazne słowom kluczowym ujęcie. Claude nie ujawnił przewagi specyficznej dla pelikanów. Odosobniony wynik Gemini dotyczący rowerów nie przetrzymuje standardowej korekty dla wielokrotnych porównań.

OpenAI, xAI, Qwen, Z.ai i DeepSeek również nie wykazały oczekiwanego sygnału. Niektóre modele ogólnie rysowały lepsze obrazy, ale ogólna jakość nie dowodzi wąskiej optymalizacji.

To ustalenie powinno ostudzić twierdzenia oparte na ocenie wizualnej. Dopracowany wynik może odzwierciedlać lepsze programowanie, kompozycję lub stosowanie się do instrukcji. Nie ujawnia automatycznie zapamiętanego materiału benchmarkowego.

Castillo opublikował także repozytorium eksperymentu, umożliwiając czytelnikom wgląd w proces i leżące u jego podstaw wyniki. Ta przejrzystość nadaje badaniu większą wartość niż wyselekcjonowana galeria udanych generacji.

Wniosek pozostaje odpowiednio wąski. Eksperyment znalazł niewiele dowodów na oczywisty pelicanmaxxing wśród tych modeli w tych warunkach. Nie dowodził, że żadne laboratorium nigdy nie trenowało na powiązanych przykładach.

Znajome obrazy nie dowodzą zapamiętywania

Powtarzające się wzorce wizualne wyglądają podejrzanie, ale siatka porównawcza pokazuje, że wiele z nich wynika ze zwykłych konwencji rysunkowych.

Wszystkie 21 obrazów pelikana na rowerze było skierowanych w prawo. Żadna inna kombinacja nie osiągnęła pełnej zgodności kierunku. Rozpatrywany osobno wynik ten wygląda na silny sygnał zapamiętanej kompozycji.

Szerszy zbiór danych zmienia jego znaczenie. Sześćdziesiąt procent wszystkich 1 008 obrazów było skierowanych w prawo. Rowery były skierowane w prawo w 81 procentach próbek, a skutery osiągnęły 83 procent.

Pelikany także były skierowane w prawo na 78 procentach swoich obrazów. Antylopy osiągnęły ten sam wynik, a czaple 77 procent. Obiekty te naturalnie skłaniają do widoku z boku, ponieważ pozy frontalne zasłaniają cechy definiujące.

Rower łatwiej rozpoznać, gdy oba koła pozostają widoczne. Pelikan zyskuje na profilu z boku, który eksponuje jego długi dziób i worek gardłowy. Połączenie obu preferencji sprawia, że spójność kierunku nie jest zaskakująca.

Kilka innych kombinacji niemal osiągnęło jednomyślność. Antylopy na skuterach i pelikany na skuterach były skierowane w tę samą stronę w 20 z 21 próbek. Czaple na rowerach osiągnęły ten wynik w 19 z 21 próbek.

Powtarzające się rekwizyty opowiadają podobną historię. Każdy obraz flaminga na łodzi zawierał słońce. Szaliki pojawiły się na 38 procentach obrazów wydr w samolocie, a koszyki na 38 procentach obrazów kota na rowerze.

Sceny z pelikanem na rowerze zawierały powtarzające się elementy, lecz nie na wyjątkowo uderzającym poziomie. Modele zdają się czerpać ze wspólnych skojarzeń wizualnych w wielu promptach, a nie tylko w tym słynnym.

To rozróżnienie jest kluczowe dla debaty o benchmarkach Anthropic i Google. Modele generatywne mogą zbiegać się ku podobnym kompozycjom bez odtwarzania konkretnego przykładu treningowego. Ich wyuczone rozkłady faworyzują znajome układy, kolory, pozy i elementy dekoracyjne.

Dane treningowe nadal mają znaczenie. Niezliczone ilustracje przedstawiają poruszające się postacie z profilu, często podróżujące od lewej do prawej albo od prawej do lewej. Modele mogą przyswajać te regularności bez zapamiętywania jednego rozpoznawalnego obrazu.

Prawdziwe jest także odwrotne stwierdzenie. Model może odtwarzać wzorce pod wpływem danych treningowych, nie zwracając dokładnej kopii. Podobieństwo wyników istnieje na spektrum, a niewielka siatka obrazów nie pozwala umiejscowić każdego rezultatu na tym spektrum.

Ta niepewność wyjaśnia, dlaczego samo podobieństwo wizualne stanowi słaby dowód. Słońce, szalik, koszyk lub ptak skierowany w prawo mogą wskazywać na wyuczoną konwencję. Mogą też wskazywać na węższy zbiór powtarzanych przykładów.

Silniejsze twierdzenie wymagałoby dodatkowych testów. Badacze mogliby zmieniać sformułowanie, kompozycję, kierunek, styl artystyczny i format wyjściowy. Mogliby także porównać wewnętrzne prawdopodobieństwa modeli albo przeszukać znane korpusy treningowe pod kątem bliskich przykładów.

Zamknięte modele uniemożliwiają większości zewnętrznych badaczy analizę tych głębszych sygnałów. Opinia publiczna może testować zachowanie, ale nie może sprawdzić pełnych mieszanek danych treningowych i receptur post-treningowych Anthropic czy Google.

Ta luka informacyjna nadaje nieformalnym benchmarkom wyjątkową siłę oddziaływania. Użytkownicy mogą uruchomić ten sam prompt i natychmiast porównać widoczne wyniki. Nie mogą łatwo ustalić, dlaczego jeden system wypadł lepiej.

Eksperyment z pelikanem poprawia tę sytuację, rozszerzając zbiór porównań. Pokazuje, jak kontrolowane alternatywy mogą zakwestionować atrakcyjną narrację, zanim stanie się ona uznanym faktem.

Prawdziwą możliwością jest SVGmaxxing

Badanie osłabia wąską teorię pelikana, pozostawiając jednocześnie szeroką optymalizację SVG całkowicie prawdopodobną.

SVGmaxxing oznacza poprawę generowania grafiki wektorowej w wielu kategoriach, zamiast celowania w jeden słynny prompt. Model trenowany w ten sposób powinien radzić sobie lepiej w całej siatce Castillo. Taka poprawa wyglądałaby na rzeczywistą ogólną zdolność.

To najważniejszy martwy punkt tego eksperymentu. Jego projekt statystyczny wykrywa nietypowego pelikana, rower lub efekt łączony w obrębie każdego laboratorium. Nie potrafi jednak zidentyfikować treningu, który jednocześnie podnosi wszystkie 48 kombinacji.

Castillo zauważa, że Google DeepMind otwarcie mówiło o pracach nad poprawą generowania SVG. To sprawia, że wyjaśnienie oparte na ogólnej optymalizacji jest bardziej wiarygodne niż tajne magazyny pełne przykładów pelikanów.

Ogólny trening SVG nie jest automatycznie graniem pod benchmark. Grafika wektorowa ma praktyczne zastosowania w ikonach, diagramach, wykresach, zasobach interfejsu, materiałach edukacyjnych i edytowalnych ilustracjach. Lepsze wyniki mogą służyć wielu rzeczywistym zadaniom.

Granica zależy od generalizacji. Trenowanie modelu do tworzenia poprawnej, edytowalnej grafiki dla różnorodnych poleceń rozwija użyteczną zdolność. Trenowanie go na wąskiej rodzinie przewidywanych promptów ewaluacyjnych tworzy mylący wynik.

Zewnętrzni obserwatorzy rzadko wiedzą, gdzie laboratorium znajduje się między tymi dwoma podejściami. Publiczna dokumentacja modeli zwykle opisuje szerokie wyniki ewaluacji, podczas gdy szczegółowe mieszanki danych i sygnały uczenia ze wzmocnieniem pozostają prywatne.

Porównanie Anthropic i Google dobrze ilustruje tę niejednoznaczność. Claude i Gemini mogą różnić się ogólną jakością SVG, nawet jeśli żaden z nich nie otrzymał treningu specyficznego dla pelikanów. Różnice te mogą wynikać ze zdolności programistycznych, rozumowania przestrzennego lub ukierunkowanych prac nad grafiką.

Nawet ogólna poprawa może być optymalizowana pod demonstracje. Laboratoria wiedzą, które zdolności generują efektowne posty w mediach społecznościowych. Wyraźny SVG daje natychmiastowe porównanie „przed i po”, łatwiejsze do udostępnienia niż subtelna poprawa rozumowania.

Ta zachęta nie unieważnia samej zdolności. Oznacza jednak, że czytelnicy powinni odróżniać użyteczność produktu od spektaklu dnia premiery. Model może stworzyć imponujący rower, a jednocześnie zawodzić w mniej fotogenicznych zadaniach.

Dlatego deweloperzy powinni testować modele graficzne na rzeczywistych przepływach pracy. Zespół produktowy może potrzebować wielokrotnego użytku ikon o spójnych wymiarach. Badacz może potrzebować dokładnych diagramów z opisanymi relacjami.

Wymagania te różnią się od rysowania fantazyjnych zwierząt. Poprawny markup, edytowalność, dostępność, dokładność współrzędnych i spójność stylu mogą mieć większe znaczenie niż atrakcyjność wizualna.

Ta sama zasada obowiązuje poza generowaniem SVG. Agenci programistyczni mogą świetnie radzić sobie z publicznymi zadaniami software’owymi, a jednocześnie mieć trudności w prywatnym repozytorium firmy. Modele rozumujące mogą osiągać wysokie wyniki w pytaniach akademickich, lecz nie radzić sobie z niepełnymi dowodami w miejscu pracy.

Zespoły potrzebują ewaluacji opartych na reprezentatywnej pracy i ukrytych przypadkach testowych. Potrzebują także rejestrów pokazujących, które prompty, źródła i wyniki wpłynęły na decyzję.

Przeszukiwalna baza wiedzy AI może przechowywać te artefakty ewaluacyjne obok obserwacji ludzi. Taki zapis staje się cenny, gdy aktualizacja modelu zmienia jego zachowanie.

Szersza lekcja nie polega na tym, że publiczne benchmarki są bezużyteczne. Zapewniają wspólne punkty odniesienia i uwidaczniają regresje. Ich wartość jednak maleje, gdy laboratoria i użytkownicy optymalizują wokół nich swoje działania.

Słynny benchmark stopniowo staje się częścią środowiska, które mierzy. Badacze go omawiają, deweloperzy go widzą, a wygenerowane przykłady krążą w internecie. Przyszłe zbiory danych treningowych mogą następnie wchłonąć te dyskusje i wyniki.

Ta pętla sprzężenia zwrotnego sprawia, że kontaminacji trudno uniknąć. Nawet bez celowej manipulacji dobrze znany test może stać się statystycznie mniej niezależny od systemów, które ocenia.

Pelicanmaxxing jest zabawny, ponieważ stawka wydaje się błaha. Mechanizm stojący za nim taki nie jest. Podobna kontaminacja może wpływać na ewaluacje programowania, matematyki, bezpieczeństwa, faktyczności i agentów, wykorzystywane przy poważnych decyzjach zakupowych.

Jeden sędzia LLM nie może zamknąć sprawy

Wyniki są pouczające, ale wielkość próby i metoda oceny pozostawiają miejsce na mniejsze efekty oraz błędy pomiaru.

Każdy wynik pochodził od GPT-5.6 Luna, który oceniał po jednym obrazie naraz. Castillo nie zmierzył, jak konsekwentnie sędzia oceniałby wielokrotne prezentacje tego samego obrazu.

Niewiarygodny sędzia dodaje szum do każdego oszacowania. Preferencja stylistyczna mogłaby też faworyzować jedną rodzinę modeli. Luna należy do tej samej szerszej rodziny co GPT-5.6 Terra, jeden z testowanych systemów.

Porównania wewnątrzmodelowe w badaniu ograniczają ten problem. Jeśli Luna po prostu preferuje styl Terra, powinna podnieść wyniki całej siatki Terra. Analiza skupia się na tym, czy konkretne komórki osiągają wyniki wyższe niż zwykła skuteczność tego modelu.

Mimo to zachowanie sędziego może wchodzić w interakcję z treścią. Luna może rozpoznawać niektóre zwierzęta bardziej niezawodnie niż inne. Może nagradzać czystą prostotę wizualną, jednocześnie pomijając błędy anatomiczne.

Ocena przez ludzi zapewniłaby dodatkową kontrolę. Wielu niezależnych oceniających mogłoby ocenić tożsamość zwierzęcia, strukturę pojazdu, spójność działania i ogólną jakość. Wyniki zgodności pokazałyby, które osądy pozostają subiektywne.

Pomógłby także drugi niezależny model-sędzia. Różne rodziny sędziów mogłyby oceniać te same wyrenderowane obrazy według identycznych rubryk. Duże rozbieżności wskazałyby nietrwałe wnioski.

Budżet ograniczył eksperyment do trzech próbek na komórkę i jednego przebiegu oceniania. Castillo podaje, że cały eksperyment kosztował około 80 dolarów w kredytach API. Wynikowe przedziały ufności wynosiły średnio około plus lub minus 0,6 punktu sędziego.

Te przedziały są na tyle szerokie, że mogą ukryć niewielkie usprawnienia specyficzne dla benchmarku. Laboratorium mogłoby uzyskać małą przewagę, której ten eksperyment nie ma mocy statystycznej wykryć.

Badanie ponownie generowało nieprawidłowe wyniki, aż każdy prompt utworzył użyteczny SVG. Wystąpiło tylko 11 ponowień, więc decyzja ta prawdopodobnie miała ograniczony wpływ. Jednak zachowanie przy ponawianiu usuwa część różnic w niezawodności z końcowych wyników obrazów.

Ewaluacja produkcyjna mogłaby liczyć pierwszą odpowiedź. Użytkowników obchodzi, czy model stosuje żądany format bez korekty. Błędy renderowania mogą mieć w zautomatyzowanych przepływach pracy takie samo znaczenie jak jakość wizualna.

Użycie słowa „plane” stworzyło inny znany problem. Niektóre modele interpretowały je jako płaską powierzchnię geometryczną, a nie statek powietrzny. Ekstraktor cech nie wykrył pojazdu na 25 ze 168 obrazów samolotów.

Dwadzieścia procent obrazów samolotów otrzymało ocenę pojazdu na poziomie jeden lub dwa. W przypadku rowerów było to pięć procent, podczas gdy łodzie, skutery i deskorolki nie otrzymały tak niskich ocen.

Ten błąd sformułowania nie przekreśla głównego wyniku. Wszystkie modele otrzymały te same prompty, a regresja uwzględniała trudność kombinacji. Pokazuje jednak, jak jeden niejednoznaczny termin może zniekształcić benchmark.

Dostęp do modeli za pośrednictwem OpenRouter dodaje kolejną kwestię. Eksperyment odzwierciedla wersje modeli i zachowanie routingu dostępne podczas tego przebiegu. Dostawcy mogą aktualizować systemy, nie zapewniając zewnętrznym badaczom pełnej widoczności każdej zmiany.

Badanie należy więc traktować jako mocny test wstępny, a nie trwały werdykt. Jego staranny projekt sprawia, że brak dużego efektu ma znaczenie. Nie może jednak wykluczyć każdego mniejszego ani wcześniejszego wysiłku optymalizacyjnego.

To ostrożne ujęcie dotyczy również artykułu źródłowego, który spopularyzował wynik. Willison w swoim komentarzu z lipca nazwał pracę Castillo bardziej skrupulatną niż swoje wcześniejsze wyrywkowe sprawdzenia. Nie przedstawiał jej jako dowodu, że granie pod benchmarki nigdy nie występuje.

Czytelnicy powinni oprzeć się pokusie przekształcania „braku jasnych dowodów tutaj” w „laboratoria zostały oczyszczone z zarzutów”. Brak wykrycia zależy od promptów, próbek, sędziego, modelu statystycznego i dostępnej mocy.

Lepszy wniosek ma charakter metodologiczny. Twierdzenia o graniu pod benchmarki wymagają kontrolowanych porównań, otwartych danych, wielu ewaluatorów i jawnej niepewności. Same zrzuty ekranu nie mogą udźwignąć tego ciężaru.

Na co Anthropic, Google i kupujący modele powinni zwrócić uwagę dalej

Kolejne użyteczne dowody będą pochodzić z replikacji, szerszych testów SVG i zmian zachowania między kolejnymi wydaniami.

Po pierwsze, badacze powinni powtórzyć badanie z większą liczbą próbek i niezależnymi sędziami. Większy przebieg zawęziłby przedziały ufności i ujawnił, czy niewielkie efekty utrzymują się w powtarzanych ewaluacjach.

Ludzcy oceniający powinni przeanalizować reprezentatywny podzbiór według pisemnej rubryki. Co najmniej jeden sędzia z innej rodziny modeli powinien ocenić pełny zbiór danych. Zgodność między metodami wzmocniłaby wniosek.

Jeśli efekty pelikana, roweru i ich połączenia pozostaną bliskie zeru, wąska teoria pelicanmaxxingu stanie się słabsza. Jeśli efekt będzie wielokrotnie pojawiał się dla jednego laboratorium, badacze będą mieli wyraźniejszy cel.

Po drugie, przyszłe testy powinny rozszerzyć zadanie poza kreskówki przedstawiające zwierzęta i pojazdy. Modele mogłyby generować diagramy techniczne, ikony interfejsu, mapy, opisane procesy, figury geometryczne i spójne rodziny zasobów.

Takie prompty sprawdziłyby, czy lepsze wyniki SVG przenoszą się na użyteczną pracę. Pozwoliłyby też oddzielić ogólny trening grafiki od optymalizacji wokół wizualnie znajomej rodziny promptów.

Badacze powinni mierzyć więcej niż wygląd. Poprawność za pierwszym podejściem, edytowalność, etykiety dostępności, żądane wymiary, liczba obiektów i dokładność przestrzenna zasługują na niezależne oceny.

Wywarłoby to presję na Anthropic i Google, by wyjaśniały, co ich modele poprawiają między wydaniami. Model, który radzi sobie lepiej w wielu ukrytych zadaniach SVG, dostarcza mocniejszych dowodów ogólnej zdolności.

Po trzecie, obserwatorzy powinni śledzić nieciągłości wokół dużych premier. Nagłe zyski w słynnym prompcie zasługują na porównanie z sąsiednimi ukrytymi zadaniami wykonywanymi w tych samych warunkach.

Archiwum Simona Willisona zapewnia użyteczną publiczną historię, ale przyszłe ewaluacje potrzebują również nieopublikowanych zestawów promptów. Ukryte testy ograniczają bezpośrednią optymalizację i przypadkową kontaminację.

Kupujący modele mogą stosować to samo podejście bez tworzenia badania z tysiącem obrazów. Zacznij od publicznej demonstracji, która wygląda imponująco. Następnie stwórz kilka kontrolowanych wariantów zachowujących podstawową umiejętność.

Zmieniaj byty, formaty, ograniczenia i sformułowania. Uruchom wystarczająco wiele próbek, aby zobaczyć, czy wydajność utrzymuje się przy zwykłej zmienności. Zapisuj pierwsze próby, a także poprawione wyniki.

Przy decyzji zakupowej dotyczącej Anthropic i Google zwycięski model powinien dobrze radzić sobie z reprezentatywnymi prywatnymi zadaniami, a nie z jednym słynnym publicznym wyzwaniem. Kupujący powinni także ponownie testować modele po aktualizacjach.

Badanie z pelikanem oferuje praktyczny szablon. Zdefiniuj podejrzewany skrót, skonstruuj bliskie alternatywy, kontroluj trudność i publikuj porażki obok sukcesów. Następnie określ, czego projekt nie jest w stanie wykryć.

Ten standard ma znaczenie, ponieważ ewaluacje AI coraz częściej wpływają na plany inżynieryjne, wybór dostawców i automatyzację pracy. Wynik benchmarku może skompresować złożone zachowanie do jednej łatwej do sprzedania liczby.

Żadna pojedyncza liczba nie może w pełni opisać modelu. Kontrolowane eksperymenty mogą jednak ujawnić, kiedy przekonująca narracja wyprzedza dowody.

Bezpośrednia odpowiedź jest uspokajająca, ale niepełna. Castillo nie znalazł silnych oznak, że siedem czołowych modeli otrzymało szczególną przewagę w zadaniu z pelikanami jadącymi na rowerach. Izolowany wynik Google dotyczący rowerów znika po korekcie wielokrotnych testów.

Większe wyzwanie pozostaje nierozstrzygnięte. Szeroka optymalizacja, skażone testy, ukryte wybory treningowe i subiektywni sędziowie nadal mogą zacierać granicę między rzeczywistym postępem a strategią ewaluacyjną.

Zanim zaufasz następnej viralowej demonstracji modelu, przygotuj wokół niej niewielką siatkę porównań. Sprawdź, czy deklarowana umiejętność utrzymuje się przy zmianie tematów, formatów i ograniczeń. Test pelikana Anthropic Google pokazuje, że absurdalny prompt może ujawnić poważny problem z ewaluacją — pod warunkiem że ktoś sprawdzi tę historię, zamiast ją powtarzać.