Anthropic- und Google-Modelle bestehen den Pelicanmaxxing-Test – und die Benchmark-Theorie zerfällt

Anthropic- und Google-Modelle haben gerade einen Test mit 1.008 Bildern durchlaufen, der erkennen soll, ob KI-Labore heimlich auf einen berühmten Prompt hin optimieren. Der Vergleich von Anthropic und Google fand keine überzeugenden Belege dafür, dass Claude, Gemini oder fünf konkurrierende Modelle speziell auf Pelikane trainiert wurden. Das Ergebnis wirft jedoch ein folgenreicheres Problem auf. Wenn sich gezielte Optimierung nicht von allgemeinen Fähigkeitsgewinnen unterscheiden lässt, bleiben populäre KI-Benchmarks schwer vertrauenswürdig.

Der Forscher Dylan Castillo testete sieben Modelle mit Variationen von Simon Willisons informeller Herausforderung: „Erzeuge ein SVG eines Pelikans, der Fahrrad fährt.“ Das Experiment kombinierte acht Tiere mit sechs Fahrzeugen und ergab 48 Prompts. Jedes Modell beantwortete jeden Prompt dreimal.

Die daraus entstandene Studie verwirft die unterhaltsamste Erklärung für bessere Ergebnisse. KI-Labore füllen ihre Trainingsläufe vermutlich nicht mit radfahrenden Pelikanen. Sie zeigt jedoch auch, warum die Bewertung von Anthropic, Google, OpenAI und ihren Rivalen mehr erfordert als die Wiederholung eines bekannten Tests.

Aus einem scherzhaften Benchmark wurde ein kontrolliertes Experiment

Castillo machte aus einem wiederkehrenden Internetwitz einen strukturierten Test auf benchmark-spezifische Optimierung.

Willison verwendet den Pelikan-Prompt seit mehreren Jahren bei der Bewertung großer Veröffentlichungen von Sprachmodellen. Ein SVG, also eine skalierbare Vektorgrafik, beschreibt ein Bild mithilfe textbasierter Formen und Koordinaten. Seine Erstellung erfordert Programmierung, räumliches Denken, Objekterkennung und visuelle Komposition in einer einzigen Antwort.

Diese Kombination machte den Prompt unerwartet nützlich. Ein schwaches Modell erzeugt häufig ungültiges Markup, defekte Räder, falsch platzierte Gliedmaßen oder einen Vogel, der keinem Pelikan ähnelt. Ein stärkeres Modell kann ein Bild zurückgeben, das korrekt gerendert wird und die geforderte Beziehung bewahrt.

Der Prompt wurde zudem außergewöhnlich sichtbar. Willison hat unter seinem Tag pelican benchmark mehr als 100 Beiträge gesammelt. Seine Ergebnisse tauchen häufig in öffentlichen Diskussionen über neue Modelle auf.

Sichtbarkeit schafft ein Anreizproblem. Sobald Entwickler wissen, dass ein wiedererkennbarer Prompt jede Veröffentlichung begleiten wird, können sie darauf optimieren. Benchmaxxing bedeutet, ein System so abzustimmen, dass es bei einem öffentlichen Benchmark gut abschneidet, ohne an anderer Stelle gleich breite Verbesserungen zu erzielen.

Pelicanmaxxing ist die humorvolle Variante dieser Sorge. Ein Labor könnte Beispiele mit Pelikanen und Fahrrädern in Trainingsdaten aufnehmen, ähnliche Aufgaben während des Post-Trainings ergänzen oder Ausgaben belohnen, die vertrauten Kompositionen entsprechen. Das resultierende Bild sähe beeindruckend aus, würde aber wenig über allgemeine Fähigkeiten verraten.

Castillo entwickelte ein Experiment, das dieses Muster aufdecken könnte. Seine kontrollierte Studie umfasste Pelikane, Flamingos, Reiher, Otter, Waschbären, Antilopen, Wale und Katzen. Zu den Fahrzeugen gehörten Fahrräder, Einräder, Skateboards, Roller, Flugzeuge und Boote.

Er testete GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 und DeepSeek V4 Pro. Die Studie nutzte für jede Modell-Prompt-Kombination drei Generierungen bei einer Temperatur von 1,0.

Diese Rechnung ergibt 1.008 Bilder: 48 Prompts, multipliziert mit drei Samples, multipliziert mit sieben Modellen. Nur 11 Generierungen erforderten einen weiteren Versuch, weil die ursprüngliche Antwort kein nutzbares SVG enthielt.

Die Evaluierungspipeline bestand aus drei Stufen. Zunächst renderte sie jedes SVG als PNG-Bild. Anschließend bewertete GPT-5.6 Luna die Kohärenz von Tier, Fahrzeug und Handlung auf einer Skala von eins bis fünf.

Drittens extrahierte Gemini 3.1 Flash-Lite sichtbare Merkmale. Dazu gehörten das erkannte Tier, Fahrzeug, die Blickrichtung und wiederkehrende Szenenelemente. Castillo nutzte anschließend Claude Fable 5 zur Unterstützung bei der statistischen Analyse.

Dieser Aufbau ist wichtig, weil ein einzelner attraktiver Pelikan kein Benchmark-Gaming belegen kann. Das Experiment fragt stattdessen, ob jedes Modell bei Pelikanen, Fahrrädern oder ihrer exakten Kombination ungewöhnlich gut abschneidet.

Diese Unterscheidung verwandelt eine Anekdote in eine überprüfbare Hypothese. Wenn gezieltes Training stattgefunden hätte, sollte der berühmte Prompt nach Berücksichtigung seiner unterschiedlichen Schwierigkeit eng verwandte Prompts übertreffen.

Die Ergebnisse von Anthropic und Google zeigen keinen Pelikan-Vorteil

Weder Claude noch Gemini zeigten das breite Muster, das bei bewusstem Pelicanmaxxing zu erwarten wäre.

Die einfachsten Ergebnisse sprachen sofort gegen die Theorie. Pelikane belegten den sechsten Platz unter den acht Tieren, als die Bewertungen modellübergreifend zusammengefasst wurden. Katzen, Wale, Waschbären, Reiher und Antilopen erhielten höhere Tierbewertungen.

Fahrräder schnitten noch schlechter ab. Sie belegten den fünften Platz unter sechs Fahrzeugen und lagen nur knapp vor Flugzeugen. Der Bewerter erkannte bei rund zwei Dritteln der Fahrradbilder ein fehlendes oder nicht verbundenes Fahrradteil.

Diese Ranglisten allein können die Frage nicht klären. Einen Pelikan darzustellen ist schwieriger als eine Katze, während ein Fahrrad zwei Räder, einen verbundenen Rahmen, Lenker, Pedale und einen Sitz erfordert. Spezielles Training könnte ein schwieriges Motiv verbessern, ohne es auf den ersten Platz zu bringen.

Castillo passte deshalb eine Fixed-Effects-Regression an, ein statistisches Modell, das konsistente Gruppenunterschiede vom spezifisch untersuchten Effekt trennt. Das Modell berücksichtigte die inhärente Schwierigkeit jeder Tier-Fahrzeug-Kombination.

Anschließend schätzte es für jedes Labor drei Effekte. Einer maß die Leistung über alle Pelikan-Prompts hinweg. Ein weiterer maß die Leistung über alle Fahrrad-Prompts hinweg. Der letzte isolierte die exakte Pelikan-Fahrrad-Kombination.

Die Pelikan-Schätzung jedes Labors lag zwischen minus 0,11 und plus 0,14 Bewertungspunkten. Keine näherte sich statistischer Signifikanz; der kleinste berichtete p-Wert lag bei 0,25.

Kein Labor erzielte für die exakte Kombination einen statistisch signifikanten Schub. GLM-5.2 verzeichnete mit 0,35 Punkten die größte positive Schätzung, doch sein p-Wert lag bei 0,12. Dieses Ergebnis bleibt mit Zufall vereinbar.

Die berühmte Kombination belegte vor den Schwierigkeitsanpassungen Rang 42 unter allen 48 Kombinationen. Ein Prompt, der umfassend speziell vorbereitet wurde, sollte sich gewöhnlich nicht nahe dem unteren Ende seines Vergleichsraster einordnen.

Die Fahrrad-Ergebnisse lieferten eine scheinbare Ausnahme. Gemini 3.5 Flash zeigte einen Fahrrad-Effekt von 0,27 Punkten bei einem p-Wert von 0,022. Dieser Wert überschreitet die konventionelle Schwelle von 0,05, wenn er isoliert betrachtet wird.

Die Studie führte jedoch 21 verwandte statistische Tests durch. Bei einer Schwelle von 0,05 würde zufällige Variation im Durchschnitt etwa ein scheinbar positives Ergebnis erzeugen. Der Gemini-Effekt war genau dieses eine Ergebnis.

Er bestand auch keine Bonferroni-Korrektur, die die Signifikanzschwelle senkt, wenn Forschende viele Hypothesen testen. Die korrigierte Schwelle lag bei ungefähr 0,002 und damit weit unter Geminis Ergebnis von 0,022.

Damit fällt der Kontrast zwischen Anthropic und Google weniger dramatisch aus, als seine schlagwortfreundliche Rahmung vermuten lässt. Claude offenbarte keinen pelikan-spezifischen Vorteil. Geminis isoliertes Fahrradergebnis übersteht keine übliche Korrektur für multiple Vergleiche.

Auch OpenAI, xAI, Qwen, Z.ai und DeepSeek lieferten nicht die erwartete Signatur. Einige Modelle zeichneten insgesamt bessere Bilder, doch allgemeine Qualität belegt keine enge Optimierung.

Dieses Ergebnis sollte Behauptungen dämpfen, die auf visueller Inspektion beruhen. Eine ausgefeilte Ausgabe kann bessere Programmierung, Komposition oder Befolgung von Anweisungen widerspiegeln. Sie offenbart nicht automatisch auswendig gelerntes Benchmark-Material.

Castillo veröffentlichte außerdem das Experiment-Repository, sodass Leser die Pipeline und die zugrunde liegenden Ergebnisse prüfen können. Diese Transparenz verleiht der Studie mehr Wert als eine kuratierte Galerie erfolgreicher Generierungen.

Die Schlussfolgerung bleibt angemessen eng gefasst. Das Experiment fand unter diesen Bedingungen nur wenige Hinweise auf offensichtliches Pelicanmaxxing bei diesen Modellen. Es bewies nicht, dass kein Labor jemals mit verwandten Beispielen trainiert hat.

Vertraute Bilder beweisen keine Memorierung

Wiederkehrende visuelle Muster wirken verdächtig, doch das Vergleichsraster zeigt, dass viele aus gewöhnlichen Zeichnungskonventionen entstehen.

Alle 21 Pelikan-Fahrrad-Bilder blickten nach rechts. Keine andere Kombination erreichte vollständige Übereinstimmung in der Ausrichtung. Für sich betrachtet wirkt dieses Ergebnis wie ein starkes Zeichen einer auswendig gelernten Komposition.

Der breitere Datensatz verändert seine Bedeutung. Sechzig Prozent aller 1.008 Bilder blickten nach rechts. Fahrräder waren in 81 Prozent der Samples nach rechts ausgerichtet, Roller erreichten 83 Prozent.

Pelikane blickten ebenfalls in 78 Prozent ihrer Bilder nach rechts. Antilopen erreichten dieselbe Quote, und Reiher kamen auf 77 Prozent. Diese Motive fördern naturgemäß eine Seitenansicht, weil frontale Posen ihre charakteristischen Merkmale verdecken.

Ein Fahrrad ist leichter zu erkennen, wenn beide Räder sichtbar bleiben. Ein Pelikan profitiert von einem Seitenprofil, das seinen langen Schnabel und Kehlsack zeigt. Die Kombination beider Präferenzen macht die einheitliche Ausrichtung wenig überraschend.

Mehrere andere Kombinationen erreichten beinahe Einstimmigkeit. Antilopen auf Rollern und Pelikane auf Rollern blickten in 20 von 21 Samples in dieselbe Richtung. Reiher auf Fahrrädern taten dies in 19 von 21 Samples.

Wiederkehrende Requisiten erzählen eine ähnliche Geschichte. Jedes Flamingo-auf-Boot-Bild enthielt eine Sonne. Schals erschienen in 38 Prozent der Otter-auf-Flugzeug-Bilder, während Körbe in 38 Prozent der Katze-auf-Fahrrad-Bilder vorkamen.

Pelikan-Fahrrad-Szenen enthielten wiederkehrende Elemente, jedoch nicht auf einzigartig auffälligem Niveau. Modelle scheinen bei vielen Prompts auf gemeinsame visuelle Assoziationen zurückzugreifen, nicht nur beim berühmten Prompt.

Diese Unterscheidung ist zentral für die Benchmark-Debatte zwischen Anthropic und Google. Generative Modelle können auf ähnliche Kompositionen konvergieren, ohne ein spezifisches Trainingsbeispiel abzurufen. Ihre gelernten Verteilungen bevorzugen vertraute Anordnungen, Farben, Posen und dekorative Elemente.

Trainingsdaten sind weiterhin wichtig. Unzählige Illustrationen zeigen sich bewegende Figuren im Profil, oft von links nach rechts oder von rechts nach links unterwegs. Modelle können diese Regelmäßigkeiten aufnehmen, ohne ein einzelnes identifizierbares Bild auswendig zu lernen.

Auch das Gegenteil trifft zu. Ein Modell kann von Trainingsdaten beeinflusste Muster reproduzieren, ohne eine exakte Kopie auszugeben. Ausgabeähnlichkeit existiert auf einem Spektrum, und ein kleines Bildraster kann nicht jedes Ergebnis darauf einordnen.

Diese Unsicherheit erklärt, warum visuelle Ähnlichkeit allein schwache Belege liefert. Eine Sonne, ein Schal, ein Korb oder ein nach rechts blickender Vogel könnten auf eine gelernte Konvention hindeuten. Sie könnten ebenso auf einen engeren Cluster wiederholter Beispiele hinweisen.

Eine stärkere Behauptung würde zusätzliche Tests erfordern. Forschende könnten Formulierung, Komposition, Richtung, künstlerischen Stil und Ausgabeformat variieren. Sie könnten außerdem interne Modellwahrscheinlichkeiten vergleichen oder bekannte Trainingskorpora nach ähnlichen Beispielen durchsuchen.

Geschlossene Modelle hindern die meisten externen Forschenden daran, diese tieferen Signale zu untersuchen. Die Öffentlichkeit kann Verhalten testen, aber nicht die vollständigen Trainingsmischungen und Post-Training-Rezepte von Anthropic oder Google einsehen.

Diese Informationslücke verleiht informellen Benchmarks ungewöhnlichen Einfluss. Nutzer können denselben Prompt ausführen und sichtbare Ausgaben sofort vergleichen. Sie können jedoch nicht einfach feststellen, warum ein System besser abgeschnitten hat.

Das Pelikan-Experiment verbessert diese Situation, indem es die Vergleichsmenge erweitert. Es zeigt, wie kontrollierte Alternativen eine überzeugende Erzählung infrage stellen können, bevor sie als Tatsache akzeptiert wird.

Die eigentliche Möglichkeit ist SVGmaxxing

Die Studie schwächt die enge Pelikan-Theorie, lässt eine breite SVG-Optimierung jedoch vollständig plausibel.

SVGmaxxing bedeutet, die Generierung von Vektorgrafiken über viele Motive hinweg zu verbessern, statt auf einen berühmten einzelnen Prompt zu zielen. Ein so trainiertes Modell sollte im gesamten Raster von Castillo besser abschneiden. Eine solche Verbesserung würde auf echte allgemeine Fähigkeiten hindeuten.

Dies ist der wichtigste blinde Fleck des Experiments. Sein statistisches Design erkennt einen ungewöhnlichen Pelikan-, Fahrrad- oder Kombinationseffekt innerhalb jedes Labors. Es kann jedoch kein Training identifizieren, das alle 48 Kombinationen zugleich verbessert.

Castillo weist darauf hin, dass Google DeepMind offen über Arbeiten zur Verbesserung der SVG-Generierung gesprochen hat. Das macht eine Erklärung durch allgemeine Optimierung plausibler als geheime Datenlager voller Pelikan-Beispiele.

Allgemeines SVG-Training ist nicht automatisch Benchmark-Gaming. Vektorgrafiken haben praktische Anwendungen bei Icons, Diagrammen, Charts, Interface-Assets, Lehrmaterialien und editierbaren Illustrationen. Bessere Leistung kann vielen realen Aufgaben dienen.

Die Grenze hängt von der Generalisierung ab. Ein Modell darauf zu trainieren, über unterschiedliche Anfragen hinweg valide, editierbare Grafiken zu erzeugen, entwickelt eine nützliche Fähigkeit. Es auf eine enge Familie erwarteter Evaluierungs-Prompts zu trainieren, erzeugt hingegen eine irreführende Punktzahl.

Außenstehende wissen selten, wo ein Labor zwischen diesen Positionen steht. Öffentliche Modelldokumentationen beschreiben meist breite Evaluierungsergebnisse, während detaillierte Datenmischungen und Reinforcement-Signale privat bleiben.

Der Vergleich zwischen Anthropic und Google verdeutlicht diese Mehrdeutigkeit. Claude und Gemini können sich in der allgemeinen SVG-Qualität unterscheiden, ohne dass eines von beiden ein pelikan-spezifisches Training erhalten hat. Diese Unterschiede könnten auf Programmierfähigkeit, räumliches Denken oder gezielte Grafikarbeit zurückgehen.

Selbst eine allgemeine Verbesserung kann für Demonstrationen optimiert werden. Labore wissen, welche Fähigkeiten eindrucksvolle Social-Media-Posts erzeugen. Ein präzises SVG schafft einen unmittelbaren Vorher-Nachher-Vergleich, der sich leichter teilen lässt als eine subtile Verbesserung beim Schlussfolgern.

Dieser Anreiz entwertet die Fähigkeit nicht. Er bedeutet jedoch, dass Leser zwischen Produkttauglichkeit und dem Spektakel am Tag der Veröffentlichung unterscheiden sollten. Ein Modell kann ein beeindruckendes Fahrrad erzeugen und bei weniger fotogenen Aufgaben dennoch scheitern.

Entwickler sollten Grafikmodelle daher anhand ihrer tatsächlichen Workflows testen. Ein Produktteam benötigt möglicherweise wiederverwendbare Icons mit einheitlichen Abmessungen. Ein Forscher braucht womöglich präzise Diagramme mit beschrifteten Beziehungen.

Diese Anforderungen unterscheiden sich vom Zeichnen skurriler Tiere. Valides Markup, Editierbarkeit, Barrierefreiheit, Koordinatengenauigkeit und stilistische Konsistenz können wichtiger sein als visueller Charme.

Dasselbe Prinzip gilt über die SVG-Generierung hinaus. Coding-Agenten können bei öffentlichen Softwareaufgaben glänzen und dennoch im privaten Repository eines Unternehmens Schwierigkeiten haben. Reasoning-Modelle können bei akademischen Fragen gut abschneiden, während sie mit unvollständigen Belegen aus dem Arbeitsalltag schlecht umgehen.

Teams benötigen Evaluierungen, die auf repräsentativer Arbeit und verborgenen Testfällen beruhen. Außerdem brauchen sie Aufzeichnungen darüber, welche Prompts, Quellen und Ausgaben eine Entscheidung beeinflusst haben.

Eine durchsuchbare AI-Wissensdatenbank kann diese Evaluierungsartefakte zusammen mit menschlichen Beobachtungen bewahren. Diese Dokumentation wird wertvoll, wenn ein Modell-Update das Verhalten verändert.

Die übergeordnete Lehre lautet nicht, dass öffentliche Benchmarks nutzlos sind. Sie bieten gemeinsame Referenzpunkte und machen Regressionen sichtbar. Ihr Wert nimmt jedoch ab, wenn Labore und Nutzer sich auf sie hin optimieren.

Ein bekannter Benchmark wird allmählich Teil der Umgebung, die er misst. Forscher diskutieren ihn, Entwickler sehen ihn, und generierte Beispiele zirkulieren online. Künftige Trainingsdatensätze können diese Diskussionen und Ausgaben dann aufnehmen.

Diese Rückkopplungsschleife macht Kontamination schwer vermeidbar. Selbst ohne absichtliche Manipulation kann ein bekannter Test statistisch weniger unabhängig von den Systemen werden, die mit ihm konfrontiert werden.

Pelicanmaxxing ist lustig, weil die Einsätze trivial wirken. Der Mechanismus dahinter ist es nicht. Ähnliche Kontamination kann Coding-, Mathematik-, Sicherheits-, Faktentreue- und Agenten-Evaluierungen beeinflussen, die bei ernsthaften Kaufentscheidungen eingesetzt werden.

Ein einzelner LLM-Richter kann den Fall nicht abschließen

Die Ergebnisse sind aufschlussreich, doch Stichprobengröße und Evaluierungsmethode lassen Raum für kleinere Effekte und Messfehler.

Jede Bewertung stammte von GPT-5.6 Luna, das jeweils ein Bild beurteilte. Castillo maß nicht, wie konsistent der Richter wiederholte Präsentationen desselben Bildes bewerten würde.

Ein unzuverlässiger Richter fügt jeder Schätzung Rauschen hinzu. Eine stilistische Präferenz könnte zudem eine Modellfamilie begünstigen. Luna gehört derselben breiteren Familie an wie GPT-5.6 Terra, eines der getesteten Systeme.

Die modellinternen Vergleiche der Studie mindern diese Sorge. Wenn Luna schlicht Terras Stil bevorzugt, sollte es Terras gesamtes Raster anheben. Die Analyse konzentriert sich darauf, ob bestimmte Zellen über die übliche Leistung dieses Modells hinaussteigen.

Dennoch kann das Verhalten des Richters mit den Inhalten interagieren. Luna könnte einige Tiere zuverlässiger erkennen als andere. Es könnte klare visuelle Einfachheit belohnen und anatomische Fehler übersehen.

Eine menschliche Bewertung würde eine weitere Kontrollmöglichkeit bieten. Mehrere unabhängige Bewerter könnten Tieridentität, Fahrzeugstruktur, Kohärenz der Handlung und Gesamtqualität beurteilen. Übereinstimmungswerte würden zeigen, welche Urteile subjektiv bleiben.

Auch ein zweiter unabhängiger Modell-Richter wäre hilfreich. Unterschiedliche Richterfamilien könnten dieselben gerenderten Bilder anhand identischer Rubriken bewerten. Große Abweichungen würden fragile Schlussfolgerungen sichtbar machen.

Das Budget begrenzte das Experiment auf drei Samples pro Zelle und einen Bewertungsdurchlauf. Castillo berichtet, dass der gesamte Lauf etwa 80 Dollar an API-Guthaben kostete. Die daraus resultierenden Konfidenzintervalle lagen im Mittel bei etwa plus oder minus 0,6 Richterpunkten.

Diese Intervalle sind breit genug, um moderate benchmark-spezifische Verbesserungen zu verbergen. Ein Labor könnte einen kleinen Vorteil erhalten, den dieses Experiment aufgrund mangelnder statistischer Aussagekraft nicht erkennen kann.

Die Studie generierte ungültige Ausgaben zudem erneut, bis jeder Prompt ein nutzbares SVG erzeugte. Es gab nur 11 Wiederholungen, daher hatte diese Entscheidung wahrscheinlich begrenzten Einfluss. Allerdings entfernt das Wiederholungsverhalten einige Zuverlässigkeitsunterschiede aus den finalen Bildbewertungen.

Eine Produktionsbewertung könnte die erste Antwort zählen. Nutzer interessiert, ob ein Modell das gewünschte Format ohne Korrektur einhält. Rendering-Fehler können in automatisierten Workflows ebenso wichtig sein wie die visuelle Qualität.

Die Verwendung von „plane“ führte zu einem weiteren bekannten Problem. Einige Modelle interpretierten das Wort als flache geometrische Fläche statt als Flugzeug. Der Merkmalsextraktor fand in 25 von 168 Flugzeugbildern kein Fahrzeug.

Zwanzig Prozent der Flugzeugbilder erhielten einen Fahrzeugwert von eins oder zwei. Bei Fahrrädern waren es fünf Prozent, während Boote, Scooter und Skateboards keine so niedrigen Bewertungen erhielten.

Dieser Formulierungsfehler hebt das zentrale Ergebnis nicht auf. Jedes Modell erhielt dieselben Prompts, und die Regression berücksichtigte die Schwierigkeit der Kombinationen. Er zeigt jedoch, wie ein mehrdeutiger Begriff einen Benchmark verzerren kann.

Der Modellzugang über OpenRouter bringt einen weiteren Aspekt hinzu. Das Experiment spiegelt die Modellversionen und das Routing-Verhalten wider, die während dieses Laufs verfügbar waren. Anbieter können Systeme aktualisieren, ohne externen Forschern vollständige Transparenz über jede Änderung zu geben.

Die Forschung sollte daher als starker erster Test behandelt werden, nicht als dauerhaftes Urteil. Ihr sorgfältiges Design macht das Ausbleiben eines großen Effekts aussagekräftig. Es kann jedoch nicht jede kleinere oder frühere Optimierungsmaßnahme ausschließen.

Diese vorsichtige Einordnung gilt auch für den Quellartikel, der das Ergebnis bekannt gemacht hat. Willison nannte Castillos Arbeit in seinem Kommentar vom Juli sorgfältiger als seine früheren Stichprobenprüfungen. Er stellte sie nicht als Beweis dafür dar, dass Benchmark-Gaming nie vorkommt.

Leser sollten der Versuchung widerstehen, aus „hier keine klaren Belege“ zu folgern, „die Labore sind entlastet“. Das Ausbleiben einer Entdeckung hängt von den Prompts, Samples, dem Richter, dem statistischen Modell und der verfügbaren Aussagekraft ab.

Die bessere Schlussfolgerung ist methodischer Natur. Behauptungen über Benchmark-Gaming benötigen kontrollierte Vergleiche, offene Daten, mehrere Bewerter und explizite Unsicherheit. Screenshots allein können diese Last nicht tragen.

Worauf Anthropic, Google und Modellkäufer als Nächstes achten sollten

Die nächsten nützlichen Belege werden aus Replikationen, breiter angelegten SVG-Tests und Verhaltensänderungen von Release zu Release kommen.

Erstens sollten Forscher die Studie mit mehr Samples und unabhängigen Richtern replizieren. Ein größerer Durchlauf würde die Konfidenzintervalle einengen und zeigen, ob kleine Effekte über wiederholte Evaluierungen hinweg bestehen bleiben.

Menschliche Bewerter sollten eine repräsentative Teilmenge anhand einer schriftlichen Rubrik prüfen. Mindestens ein Richter aus einer anderen Modellfamilie sollte den vollständigen Datensatz bewerten. Übereinstimmung zwischen den Methoden würde das Ergebnis stärken.

Wenn die Pelikan-, Fahrrad- und Kombinationseffekte nahe null bleiben, wird die enge Pelicanmaxxing-Theorie schwächer. Wenn ein Effekt bei einem Labor wiederholt auftritt, hätten Untersucher ein klareres Ziel.

Zweitens sollten künftige Tests die Aufgabe über Tier-Fahrzeug-Cartoons hinaus erweitern. Modelle könnten technische Diagramme, Interface-Icons, Karten, beschriftete Prozesse, geometrische Figuren und konsistente Asset-Familien erzeugen.

Diese Prompts würden prüfen, ob sich bessere SVG-Ausgaben auf nützliche Arbeit übertragen lassen. Sie würden außerdem allgemeines Grafiktraining von Optimierung rund um eine visuell vertraute Prompt-Familie trennen.

Forscher sollten mehr als das Erscheinungsbild messen. Validität beim ersten Versuch, Editierbarkeit, Barrierefreiheitslabels, angeforderte Abmessungen, Objektanzahl und räumliche Genauigkeit verdienen allesamt unabhängige Bewertungen.

Dies würde Anthropic und Google unter Druck setzen, klarer darzulegen, was sich bei ihren Modellen zwischen den Releases verbessert. Ein Modell, das bei vielen verborgenen SVG-Aufgaben besser abschneidet, liefert stärkere Belege für allgemeine Fähigkeiten.

Drittens sollten Beobachter Diskontinuitäten rund um größere Launches verfolgen. Plötzliche Gewinne bei einem berühmten Prompt verdienen einen Vergleich mit benachbarten verborgenen Aufgaben unter denselben Bedingungen.

Das Simon-Willison-Archiv bietet eine nützliche öffentliche Historie, doch künftige Evaluierungen benötigen auch unveröffentlichte Prompt-Sets. Verborgene Tests reduzieren direkte Optimierung und versehentliche Kontamination.

Modellkäufer können denselben Ansatz anwenden, ohne eine Tausend-Bilder-Studie aufzubauen. Beginnen Sie mit einer öffentlichen Demonstration, die beeindruckend aussieht. Erstellen Sie dann mehrere kontrollierte Varianten, die die zugrunde liegende Fähigkeit bewahren.

Ändern Sie Entitäten, Formate, Einschränkungen und Formulierungen. Führen Sie genügend Samples aus, um zu sehen, ob die Leistung gewöhnliche Variation übersteht. Speichern Sie erste Versuche ebenso wie korrigierte Ausgaben.

Bei einer Beschaffungsentscheidung zwischen Anthropic und Google sollte das Gewinner-Modell bei repräsentativen privaten Aufgaben erfolgreich sein, nicht bei einer einzigen berühmten öffentlichen Herausforderung. Käufer sollten zudem nach Modell-Updates erneut testen.

Die Pelikan-Studie bietet eine praktische Vorlage. Definieren Sie die vermutete Abkürzung, konstruieren Sie nahe Alternativen, kontrollieren Sie die Schwierigkeit und veröffentlichen Sie Fehlschläge ebenso wie Erfolge. Benennen Sie anschließend, was das Design nicht erkennen kann.

Dieser Standard ist wichtig, weil KI-Evaluierungen zunehmend Einfluss auf Engineering-Pläne, Anbieterauswahl und Arbeitsplatzautomatisierung haben. Eine Benchmark-Punktzahl kann komplexes Verhalten in einer einzigen vermarktbaren Zahl verdichten.

Keine einzelne Zahl kann ein Modell vollständig beschreiben. Kontrollierte Experimente können dennoch aufdecken, wenn eine überzeugende Erzählung ihrer Evidenz davonläuft.

Die unmittelbare Antwort ist beruhigend und unvollständig. Castillo fand kein starkes Zeichen dafür, dass sieben führende Modelle einen besonderen Vorteil für Pelikane auf Fahrrädern erhielten. Googles isoliertes Fahrradergebnis verschwindet nach Korrektur für multiples Testen.

Die größere Herausforderung bleibt ungelöst. Breite Optimierung, kontaminierte Tests, verborgene Trainingsentscheidungen und subjektive Richter können echten Fortschritt weiterhin mit Evaluierungsstrategie vermischen.

Bevor Sie der nächsten viralen Modelldemonstration vertrauen, erstellen Sie eine kleine Vergleichsmatrix dazu. Fragen Sie sich, ob die behauptete Fähigkeit bei veränderten Themen, Formaten und Einschränkungen bestehen bleibt. Der Anthropic-Google-Pelikan-Test zeigt, dass ein alberner Prompt ein ernstes Evaluierungsproblem aufdecken kann – vorausgesetzt, jemand überprüft die Geschichte, statt sie nur zu wiederholen.