Teste Anthropic Simon Pelican: Claude Fable 5.1 Parece Melhor, mas Só Depois de Pensar por Muito Mais Tempo

A Anthropic lançou o Claude Fable 5.1 com uma pontuação de 52,6% em um benchmark científico, mas o teste anthropic simon pelican revela uma história de desempenho diferente. Simon Willison pediu ao modelo que gerasse um SVG de um pelicano andando de bicicleta. Ele produziu seu resultado mais convincente somente depois de gastar muito mais tempo e tokens de saída com esforço máximo de raciocínio.

Esse contraste torna o experimento mais útil do que sua premissa absurda sugere. A Anthropic apresenta o Fable 5.1 como um modelo para programação, trabalho do conhecimento e problemas de longa duração. O teste do pelicano de Willison avalia o que acontece quando essas capacidades encontram uma pequena tarefa de programação visual com restrições físicas evidentes.

O resultado não substitui as avaliações formais da Anthropic. É uma demonstração compacta do trade-off por trás delas. O Fable 5.1 consegue inspecionar, revisar e melhorar seu trabalho, mas mais raciocínio não proporciona um ganho uniforme. A melhor saída veio com esforço computacional muito maior, enquanto configurações inferiores mostraram pouca deliberação visível.

Anthropic Lançou um Modelo Feito para Continuar Trabalhando

O Claude Fable 5.1 se trata menos de responder rapidamente a um prompt e mais de sustentar uma tarefa até que os detalhes façam sentido.

A Anthropic apresentou o Claude Fable 5.1 e o Claude Mythos 5.1 em 1º de setembro de 2026. A empresa os descreve como o mesmo modelo subjacente, com diferentes proteções. O Fable está amplamente disponível, enquanto o Mythos é restrito a programas de pesquisa aprovados.

Os materiais de lançamento da empresa se concentram em programação, pesquisa e trabalho do conhecimento de longa duração. A Anthropic afirma que o Fable 5.1 evita correções superficiais, verifica seu próprio trabalho e permanece eficaz em projetos que se estendem por horas ou por vários aplicativos.

Essas afirmações importam porque muitas falhas atuais de IA ocorrem após um começo promissor. Um modelo pode escrever um plano plausível, gerar código funcional e ainda perder de vista restrições durante revisões posteriores. O desempenho de longa duração depende de manter o estado, testar resultados intermediários e corrigir erros sem prejudicar o trabalho anterior.

Os resultados de benchmark da Anthropic mostram ganhos moderados em vários testes estabelecidos. O maior salto relatado aparece no Terminal-Bench-Science 0.1, uma avaliação de tarefas científicas concluídas por meio de um ambiente de terminal.

O Fable 5.1 obteve 52,6% na configuração da Anthropic. A empresa relatou 24,7% para o Fable 5, 29,0% para o Opus 5 e 22,4% para o GPT-5.6 Sol na mesma comparação. A Anthropic também divulga um erro padrão entre 3,5 e 4,5 pontos percentuais para cada modelo.

Outros resultados avançaram por margens menores. O Fable 5.1 alcançou 55,8% no Terminal-Bench 4.0, em comparação com 42,0% para o Fable 5. Ele obteve 31,4% no AutomationBench, enquanto o Fable 5 marcou 17,1%.

Esses são números reportados pela empresa, não medidas universais de qualidade de modelo. A Anthropic também observa que as proteções afetaram algumas tarefas de avaliação. Certas solicitações sinalizadas receberam zero, enquanto outras foram encaminhadas para diferentes modelos Claude.

Essa divulgação complica comparações diretas. Um benchmark pode medir o modelo subjacente, o sistema de segurança implantado, o harness de agentes ou alguma combinação dos três. Usuários corporativos encontram o produto combinado, portanto esses detalhes operacionais devem fazer parte de qualquer discussão sobre desempenho.

Os primeiros clientes da Anthropic forneceram exemplos de apoio. A MongoDB disse que o modelo pesquisou seus serviços e documentação antes de construir um protótipo ao longo de vários dias. A Millennium afirmou que o Fable 5.1 rastreou uma falha rara até uma biblioteca externa depois que modelos anteriores não identificaram a causa.

Esses relatos são úteis, mas vêm de parceiros de lançamento selecionados. Eles mostram como implantações bem-sucedidas podem se parecer, não o resultado médio em todas as bases de código ou fluxos de trabalho.

O pelicano de Willison ocupa o extremo oposto do espectro de avaliação. Ele não tem um sistema corporativo, laboratório de pesquisa ou grande coleção de documentos. Seu valor vem de tornar visível o comportamento do modelo.

Por Que Simon Willison Ainda Faz Modelos Desenharem Pelicanos

O prompt do pelicano é valioso porque o sucesso exige que muitas pequenas relações funcionem ao mesmo tempo, mesmo quando a tarefa parece trivial.

Willison pediu repetidamente a modelos de linguagem que gerassem um SVG de um pelicano andando de bicicleta. SVG é um formato de imagem baseado em texto, portanto um modelo de linguagem pode criar a imagem inteira escrevendo marcação estruturada e instruções de desenho.

Um resultado plausível precisa de rodas reconhecíveis, um quadro de bicicleta, guidão, pedais e um pelicano. Um bom resultado também precisa conectá-los corretamente. Os pés da ave devem alcançar os pedais, sua asa deve tocar o guidão e seu corpo deve ficar acima do quadro.

Essas relações criam um teste compacto de planejamento e consistência espacial. Um modelo pode produzir código SVG válido e ainda falhar na cena propriamente dita. Ele pode desenhar pernas desconectadas, rodas mal posicionadas, junções impossíveis ou um animal que apenas flutua sobre uma bicicleta.

O teste se popularizou porque as primeiras melhorias eram fáceis de perceber. Modelos melhores tendiam a produzir código mais limpo, geometria mais coerente e maior aderência ao prompt. Uma imagem podia revelar erros que um longo relatório de benchmark ocultaria por trás de uma pontuação agregada.

Mais tarde, Willison passou a ter menos confiança nessa relação. Em sua reavaliação de julho, ele argumentou que a qualidade dos pelicanos já não acompanhava a qualidade geral dos modelos tão confiavelmente quanto antes. Estilo de criação de imagens, preferências de treinamento e configurações de raciocínio influenciavam cada vez mais o resultado.

Essa limitação muda o propósito do benchmark. Ele é uma evidência fraca para declarar que um modelo é universalmente melhor do que outro. Continua útil para comparar modelos relacionados, níveis de raciocínio e execuções repetidas em condições semelhantes.

O experimento com Claude Fable 5.1 segue essa abordagem mais restrita. Willison testou cinco configurações de raciocínio: baixa, média, alta, extra alta e máxima. O Fable 5.1 não oferecia uma configuração que desativasse completamente o raciocínio.

Com esforço baixo, o modelo produziu uma ilustração limpa e reconhecível. A transcrição registrada por Willison não mostrou raciocínio resumido, embora a resposta contivesse 1.998 tokens de saída e tivesse levado 23,8 segundos.

O esforço médio se comportou de forma semelhante. A saída usou 1.977 tokens, levou 23 segundos e novamente não exibiu resumo de raciocínio. A imagem final não mostrou uma vantagem evidente sobre o resultado de esforço baixo.

O esforço alto finalmente revelou um pequeno traço de planejamento. O modelo descreveu a cena pretendida, incluindo a bicicleta, o pelicano, o fundo, as rodas e o posicionamento do corpo. Ele usou 2.612 tokens de saída e terminou em 29,6 segundos.

A melhora visível permaneceu modesta. Esse resultado importa porque controles de raciocínio costumam ser apresentados como um simples seletor de qualidade. Neste experimento, passar de baixo para alto não criou um ganho proporcional.

O esforço extra alto mudou o comportamento de forma drástica. O modelo gerou 36.767 tokens de saída e trabalhou por sete minutos e 51 segundos. Seu raciocínio discutiu as proporções da ave, os pés, os pedais, a posição da asa e o caráter visual.

O esforço máximo ampliou ainda mais esse processo. Ele usou 65.927 tokens de saída e levou 13 minutos e 54 segundos. Willison chamou o resultado de o melhor pelicano que já tinha visto de um modelo da Anthropic.

A imagem incluía um capacete azul, uma cesta de peixes, uma bicicleta coerente e contatos mais cuidadosos entre a ave e a máquina. Seus detalhes visuais refletiam inspeção repetida, e não uma geração em uma única passagem.

Essa progressão é o verdadeiro experimento. O prompt permaneceu estável enquanto a deliberação disponível ao modelo mudava. O Fable 5.1 não simplesmente desenhou um pelicano melhor em cada configuração mais alta. Ele passou a operar em um modo de trabalho diferente perto do topo.

O Teste Anthropic Simon Expõe uma Lacuna de Esforço

O melhor pelicano demonstra autocorreção mais forte, mas também revela o quanto a qualidade pode depender do esforço de inferência.

O teste anthropic simon é mais informativo quando tratado como uma comparação dentro de uma família de modelos. Baixo, médio e alto produziram ilustrações aceitáveis, com pouca separação visível. Extra alto e máximo desencadearam um raciocínio muito mais longo e revisões mais deliberadas.

Com esforço máximo, o modelo fez mais do que listar os objetos que precisava desenhar. Ele considerou como esses objetos deveriam interagir. O traço de raciocínio examinou a posição do capacete, a sobreposição do bico, as formas das penas, os detalhes do guidão e a curva do garfo dianteiro da bicicleta.

Esse comportamento se assemelha a uma revisão iterativa de design. O modelo gerou uma estrutura, inspecionou defeitos prováveis e ajustou componentes individuais. Ele também rejeitou acréscimos desnecessários quando ameaçavam a clareza.

Um traço mostrou o modelo reconsiderando um capacete de bicicleta porque ele poderia interferir na crista reconhecível do pelicano. Outro identificou a curva incorreta do garfo e alterou um ponto de controle para melhorar sua direção.

Essas decisões são pequenas, mas ilustram uma capacidade maior. Agentes úteis de longa duração precisam detectar quando sua primeira tentativa é apenas plausível. Em seguida, precisam isolar uma fraqueza e revisá-la sem desestabilizar todo o resto.

Esse mecanismo conecta o pelicano ao trabalho real de programação. Um agente de software pode criar um recurso que passa em um teste básico, mas viola uma restrição arquitetural. Um agente de pesquisa pode concluir uma análise antes de perceber que uma suposição corrompe a conclusão.

O problema mais difícil não é produzir mais texto. É gastar computação adicional nas verificações certas. O traço máximo do Fable 5.1 sugere progresso nesse comportamento, pelo menos dentro dessa tarefa de programação visual.

No entanto, o experimento também expõe uma curva de esforço desigual. O nível médio não superou o baixo de forma significativa, apesar de ser uma configuração mais alta. O alto adicionou algum planejamento, mas não transformou a imagem. A maior parte do ganho visível chegou muito mais tarde.

Portanto, desenvolvedores devem evitar supor que cada etapa de raciocínio compra a mesma qualidade. Uma carga de trabalho pode ficar abaixo de um limiar em que o esforço adicional pouco muda. Outra pode se beneficiar apenas quando o modelo tem espaço suficiente para realizar inspeções repetidas.

Isso cria um desafio de avaliação. Se uma equipe testar apenas a configuração padrão, poderá subestimar o que o modelo é capaz de fazer. Se testar apenas o esforço máximo, poderá medir uma configuração lenta demais para o uso normal.

A Anthropic afirma que o Fable 5.1 usa esforço alto por padrão no Claude Code, enquanto outras interfaces Claude usam o nível médio. Os resultados de Willison sugerem que os padrões de interface podem moldar toda a impressão que um usuário tem do modelo.

O teste também separa a qualidade da saída da eficiência operacional. O pelicano máximo foi melhor, mas exigiu substancialmente mais tokens e tempo do que as versões de menor esforço. Esse trade-off importa mesmo quando um artigo evita discutir preços específicos.

Agentes de longa duração consomem computação enquanto planejam, inspecionam arquivos, chamam ferramentas, executam testes e revisam seu trabalho. Um resultado bem-sucedido pode justificar esse esforço em uma tarefa difícil. O mesmo processo seria excessivo para uma ilustração descartável ou uma transformação rotineira.

A questão prática não é se o raciocínio máximo é bom. É se o trabalho extra muda a decisão, reduz a revisão posterior ou evita um erro caro.

Essa distinção aumenta a pressão sobre a Anthropic e seus concorrentes. OpenAI, Google e outros provedores de modelos vêm expondo cada vez mais controles de raciocínio ou alocando computação automaticamente. Os compradores precisam de evidências de que esses controles se traduzem claramente em valor para as cargas de trabalho.

O pelicano sugere que essa relação continua irregular. Um nível mais alto não garante um resultado visivelmente melhor, enquanto a configuração máxima pode se comportar como um produto substancialmente diferente.

O Benchmark Científico Eleva a Aposta

A pontuação científica da Anthropic torna o Fable 5.1 importante, mas o pelicano explica por que essa pontuação exige contexto operacional.

O Terminal-Bench-Science 0.1 foi concebido em torno de fluxos de trabalho científicos executados por agentes em ambientes de terminal. Suas tarefas abrangem áreas como biologia, química, física, ciências da Terra, matemática e engenharia.

O benchmark científico foi lançado pouco antes do Fable 5.1. Ele contém 70 tarefas contribuídas por cientistas, com resultados que podem ser verificados em ambientes controlados.

Essa estrutura é mais rigorosa do que avaliar uma ilustração. As tarefas exigem que os agentes naveguem por softwares, manipulem dados, usem ferramentas científicas e alcancem resultados verificáveis. Elas pretendem se assemelhar a partes do trabalho de pesquisa real.

O resultado de 52,6% da Anthropic chama atenção porque mais do que dobra os 24,7% que ela reportou para o Fable 5. A diferença continua muito maior do que o erro-padrão divulgado.

A comparação ainda exige cautela. A Anthropic reproduziu os resultados do modelo anterior usando sua própria configuração de avaliação. O ranking público reportou 30,0% para o Opus 5 e 21,4% para o Fable 5, enquanto a Anthropic mediu 29,0% e 24,7%.

A empresa afirma que essas diferenças estão dentro do ruído estatístico esperado. Ainda assim, os leitores devem distinguir entre execuções do ranking público e comparações conduzidas pelo fornecedor.

Um novo benchmark também tem histórico limitado. Os pesquisadores ainda não observaram com que rapidez os desenvolvedores otimizam prompts, estruturas de execução e ferramentas em torno de suas tarefas. Também não dispõem de um longo histórico que conecte ganhos no benchmark a produção científica mensurável.

Isso não torna o resultado irrelevante. Significa que ele é um sinal inicial, e não um veredito definitivo.

O benchmark oficial e o teste do pelicano medem coisas diferentes. O Terminal-Bench-Science pergunta se um agente conclui um fluxo de trabalho científico definido. O pelicano revela como o modelo distribui esforço ao resolver um problema de restrições visíveis.

Juntos, eles sustentam uma conclusão mais restrita. O Fable 5.1 parece melhor em trabalho contínuo baseado em ferramentas, e seu comportamento mais forte surge quando dispõe de computação suficiente para inspecionar resultados intermediários.

A Anthropic apresenta diversos exemplos científicos além do benchmark. A empresa afirma que seus modelos trabalharam em ligantes de proteínas, mapeamento planetário e otimizações de GPU para modelos biológicos. Essas alegações combinam a saída do modelo com ferramentas externas e, em alguns casos, validação em laboratório.

A empresa também afirma que o Fable 5.1 treinou uma rede neural que produziu um mapa de elevação de maior resolução cobrindo um terço de Vênus. Segundo a Anthropic, o mapa resolve detalhes de dois a três quilômetros, em vez de 10 a 20 quilômetros.

Exemplos assim merecem mais escrutínio do que um prompt de execução única. Um resultado científico depende da seleção de dados, da configuração das ferramentas, dos métodos de validação e da supervisão humana. O modelo pode realizar trabalho importante sem ser responsável por todo o processo de descoberta.

Essa distinção importa para a adoção empresarial. Um comprador não implanta uma pontuação de benchmark. Ele implanta um modelo dentro de um sistema com permissões, dados proprietários, revisores, orçamentos, salvaguardas e procedimentos de falha.

A evidência mais forte virá de fluxos de trabalho repetidos nos quais as equipes possam comparar taxas de conclusão, tempo de correção e requisitos de revisão humana. Um modelo que pontua mais alto, mas exige verificação extensiva, pode gerar menos valor do que o esperado.

Por outro lado, um modelo mais lento pode valer a pena quando evita um erro difícil. Os parceiros de lançamento da Anthropic destacam exemplos envolvendo falhas raras, alterações de código em vários serviços e pesquisa sem supervisão. São precisamente os casos em que o raciocínio adicional tem um retorno plausível.

O benchmark científico aumenta a pressão sobre OpenAI e Google porque estabelece uma liderança visível em uma nova avaliação agêntica. No entanto, a competição maior não é um único ranking. É saber se os modelos conseguem transformar raciocínio prolongado em trabalho confiável e auditável.

O Que o Pelicano Não Comprova

Um SVG bem-acabado é evidência de uma execução bem-sucedida, não prova de que o Claude Fable 5.1 raciocinará de forma confiável em tarefas não relacionadas.

A primeira limitação é o tamanho da amostra. Willison mostrou uma sequência em cinco configurações de esforço. As saídas dos modelos podem variar entre execuções, mesmo quando o prompt e a configuração permanecem inalterados.

Uma comparação mais robusta repetiria cada configuração várias vezes. Os revisores poderiam então avaliar consistência física, validade do código, qualidade visual, tempo de execução e extensão da saída. Isso revelaria se o resultado máximo era típico ou excepcionalmente bom.

A segunda limitação é o julgamento subjetivo. A maioria dos observadores pode concordar que o pelicano máximo parece mais completo, mas o apelo visual não é uma propriedade única e mensurável. Uma pessoa pode preferir uma ilustração minimalista, enquanto outra valoriza detalhes decorativos.

A terceira limitação é a contaminação. O prompt do pelicano circula publicamente há bastante tempo. Os desenvolvedores de modelos podem ver os exemplos, e imagens relacionadas podem aparecer em dados de treinamento ou avaliação.

Não há evidência de que a Anthropic tenha otimizado explicitamente o Fable 5.1 para esse prompt. Ainda assim, um teste conhecido se torna menos útil como medida independente quando muitas saídas e discussões são públicas.

Willison já reconhece que a relação do benchmark com a qualidade geral dos modelos enfraqueceu. Seu melhor uso restante é a comparação controlada, especialmente dentro da família de modelos de um mesmo fornecedor.

A quarta limitação diz respeito ao raciocínio visível. A ausência de um resumo de raciocínio não estabelece que o modelo não tenha realizado nenhum raciocínio interno. Os produtos podem ocultar, comprimir ou exibir seletivamente rastros.

Willison descreveu cuidadosamente os níveis baixo e médio como aparentemente pulando o raciocínio. Essa distinção jornalística deve permanecer intacta. O comportamento registrado na interface é observável, mas o processo interno do modelo não está plenamente disponível.

A quinta limitação é que rastros longos podem criar falsa confiança. Um modelo que discute muitos detalhes ainda pode cometer um erro básico. Mais deliberação pode melhorar a detecção de erros, mas também pode produzir revisões desnecessárias ou racionalizar uma abordagem falha.

O acompanhamento animado torna esse risco visível. Um pedido no Hacker News perguntou se o pelicano resolvido poderia ser animado. Willison enviou o SVG máximo de volta ao Fable 5.1, em alto esforço, com a instrução de animá-lo.

O modelo produziu uma versão animada usando 26.201 tokens de saída. Willison observou que as rodas pareciam girar na direção errada após a conversão para vídeo, embora o SVG original parecesse correto.

Esse acompanhamento é mais do que uma piada. Ele testa se um modelo consegue preservar um artefato funcional enquanto adiciona comportamento. Esse padrão se assemelha à manutenção de software, em que um novo recurso pode revelar problemas ausentes na implementação original.

O experimento completo do pelicano de Willison também mostra por que os artefatos finais precisam de inspeção direta. Um SVG válido, um rastro de raciocínio coerente e um comando de animação bem-sucedido não garantem que todas as relações visuais tenham sobrevivido à exportação.

Uma sexta limitação vem do alinhamento com o benchmark. O pelicano testa principalmente geração de SVG, relações espaciais e design iterativo. Ele diz pouco sobre confiabilidade factual, decisões de segurança, julgamento científico ou desempenho em dados empresariais privados.

As avaliações formais da Anthropic abrangem algumas dessas áreas, mas muitos resultados continuam sendo reportados pelo fornecedor. Os depoimentos de parceiros de lançamento também descrevem sucessos selecionados, e não taxas de falha controladas.

Isso deixa uma lacuna importante de verificação. O Fable 5.1 parece capaz de trabalho mais contínuo, mas as equipes ainda precisam de testes independentes construídos a partir de suas próprias tarefas. Elas devem medir com que frequência o modelo termina corretamente, não quão impressionante parece sua melhor sessão.

Uma avaliação útil deve incluir requisitos ambíguos, falhas de ferramentas, documentos desatualizados e conteúdo adversarial. Agentes de longa execução precisam lidar com essas condições sem alterar silenciosamente o objetivo.

A tensão central, portanto, continua sem solução. O Fable 5.1 pode dedicar muito mais tempo a melhorar uma saída, mas os usuários precisam de maneiras confiáveis de decidir quando esse esforço se justifica e quando o modelo deve parar.

Três Sinais Mostrarão se o Fable 5.1 Cumpre o Prometido

O próximo teste é saber se os ganhos de benchmark e demonstração do Fable 5.1 resistem à repetição, aos fluxos de trabalho reais e à pressão competitiva.

O primeiro sinal é a reprodução independente do Terminal-Bench-Science 0.1. Pesquisadores devem executar o Fable 5.1 em múltiplos testes usando estruturas de execução documentadas e acesso comparável às ferramentas.

Resultados próximos dos 52,6% da Anthropic reforçariam a alegação da empresa. Uma pontuação pública materialmente menor sugeriria que a configuração de avaliação, o prompting ou uma configuração privada contribuíram mais do que a manchete indica.

A variação entre execuções também importará. Um modelo que tem boa média, mas falha de forma imprevisível, apresenta um perfil operacional diferente de outro que produz resultados um pouco mais baixos, porém mais estáveis.

O segundo sinal é a evidência no nível das cargas de trabalho vinda de desenvolvedores e equipes empresariais. As métricas mais reveladoras incluirão taxas de conclusão bem-sucedida, tempo de revisão, defeitos corrigidos, execuções interrompidas e frequência de intervenção humana.

As equipes devem comparar raciocínio alto e máximo nas mesmas tarefas internas. Também devem registrar casos em que o esforço adicional não muda nada ou piora o resultado.

Essa evidência transformaria a diferença de esforço entre anthropic e simon em uma questão operacional. Se o raciocínio máximo evitar consistentemente falhas caras, o tempo de execução mais longo se torna defensável. Se os ganhos aparecerem apenas em demonstrações selecionadas, a configuração superior continuará difícil de justificar.

O terceiro sinal é como os modelos concorrentes respondem. O GPT-5.6 Sol da OpenAI fica atrás do Fable 5.1 na comparação científica da Anthropic, enquanto os modelos do Google continuam fortes na geração de SVGs visualmente expressivos.

Um concorrente pode responder de várias formas. Pode superar o Fable no ranking científico público, melhorar a alocação automática de raciocínio, reduzir o tempo necessário para resultados comparáveis ou publicar avaliações independentes de fluxos de trabalho mais robustas.

A resposta mais significativa combinará qualidade e previsibilidade. Os desenvolvedores não precisam apenas de um modelo capaz de produzir um artefato notável. Precisam de controles que comuniquem quanto esforço uma tarefa recebeu e por que o sistema parou.

Para trabalhadores do conhecimento, o mesmo princípio se aplica à pesquisa e à análise de documentos. Uma resposta mais longa não é necessariamente uma resposta melhor. O sistema útil é aquele que verifica as evidências, identifica restrições ausentes e expõe claramente a incerteza.

O teste do pelicano de anthropic simon oferece ao Claude Fable 5.1 uma demonstração memorável, mas sua lição não é que o benchmark foi resolvido. A lição é que a autoavaliação contínua agora produz trabalho visivelmente melhor, enquanto o custo dessa revisão permanece irregular.

Os desenvolvedores devem testar o modelo com artefatos que possam inspecionar e falhas que já compreendam. Execute a mesma tarefa em vários níveis de esforço, compare os resultados finais e registre onde o raciocínio adicional altera o desfecho.

A próxima demonstração convincente não deve ser mais um pássaro perfeito. Ela deve mostrar que o Fable 5.1 consegue oferecer a mesma correção cuidadosa em trabalhos repetidos e relevantes, sem exigir esforço máximo todas as vezes.