top of page

Modelos da Anthropic e do Google enfrentam um teste de pelicanmaxxing, e a teoria dos benchmarks desmorona

27 de jul.
14 min de leitura

Modelos da Anthropic e do Google acabam de enfrentar um teste com 1.008 imagens, criado para detectar se laboratórios de IA otimizam secretamente para um prompt famoso. A comparação entre Anthropic e Google não encontrou evidências convincentes de que Claude, Gemini ou cinco modelos concorrentes tenham recebido treinamento especial sobre pelicanos. Ainda assim, o resultado cria um problema mais relevante. Se a otimização direcionada não pode ser distinguida de ganhos amplos de capacidade, continua difícil confiar em benchmarks populares de IA.

O pesquisador Dylan Castillo testou sete modelos usando variações do desafio informal de Simon Willison: “Generate an SVG of a pelican riding a bicycle.” O experimento combinou oito animais com seis veículos, produzindo 48 prompts. Cada modelo respondeu a cada prompt três vezes.

O estudo resultante rejeita a explicação mais engraçada para a melhoria dos resultados. Laboratórios de IA provavelmente não estão enchendo seus ciclos de treinamento com pelicanos andando de bicicleta. No entanto, ele também mostra por que avaliar Anthropic, Google, OpenAI e suas rivais exige mais do que repetir um teste reconhecível.

Um Benchmark de Piada Virou um Experimento Controlado

Castillo transformou uma piada recorrente da internet em um teste estruturado de otimização específica para benchmarks.

Willison usa o prompt do pelicano ao avaliar grandes lançamentos de modelos de linguagem há vários anos. Um SVG, ou gráfico vetorial escalável, descreve uma imagem por meio de formas e coordenadas baseadas em texto. Produzir um exige programação, raciocínio espacial, reconhecimento de objetos e composição visual em uma única resposta.

Essa combinação tornou o prompt inesperadamente útil. Um modelo fraco costuma produzir marcação inválida, rodas quebradas, membros mal posicionados ou uma ave que não se parece com um pelicano. Um modelo mais forte pode retornar uma imagem renderizada corretamente e preservar a relação solicitada.

O prompt também se tornou incomumente visível. Willison acumulou mais de 100 posts sob sua tag pelican benchmark. Seus resultados aparecem com frequência em discussões públicas sobre novos modelos.

A visibilidade cria um problema de incentivo. Quando desenvolvedores sabem que um prompt reconhecível estará presente em cada lançamento, podem otimizá-lo. Benchmaxxing significa ajustar um sistema para se sair bem em um benchmark público sem gerar melhorias igualmente amplas em outros contextos.

Pelicanmaxxing é a versão cômica dessa preocupação. Um laboratório poderia inserir exemplos de pelicanos e bicicletas nos dados de treinamento, adicionar tarefas semelhantes durante o pós-treinamento ou recompensar resultados que correspondam a composições conhecidas. A imagem resultante pareceria impressionante, mas revelaria pouco sobre a capacidade geral.

Castillo projetou um experimento capaz de expor esse padrão. Seu estudo controlado incluiu pelicanos, flamingos, garças, lontras, guaxinins, antílopes, baleias e gatos. Os veículos incluíram bicicletas, monociclos, skates, scooters, aviões e barcos.

Ele testou GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 e DeepSeek V4 Pro. O estudo usou três gerações para cada combinação de modelo e prompt, com temperatura de 1.0.

Esse cálculo produz 1.008 imagens: 48 prompts, multiplicados por três amostras, multiplicados por sete modelos. Apenas 11 gerações exigiram uma nova tentativa porque a resposta original não continha um SVG utilizável.

O processo de avaliação teve três etapas. Primeiro, renderizou cada SVG como uma imagem PNG. Em seguida, GPT-5.6 Luna avaliou a coerência entre animal, veículo e ação em uma escala de um a cinco.

Em terceiro lugar, Gemini 3.1 Flash-Lite extraiu características visíveis. Elas incluíam o animal, o veículo, a direção para a qual estava voltado e elementos recorrentes da cena. Castillo então usou Claude Fable 5 para auxiliar na análise estatística.

Essa configuração é importante porque um único pelicano atraente não pode comprovar manipulação de benchmark. Em vez disso, o experimento pergunta se cada modelo tem um desempenho incomumente bom em prompts com pelicanos, bicicletas ou sua combinação exata.

Essa distinção transforma uma anedota em uma hipótese testável. Se houve treinamento direcionado, o prompt famoso deveria superar prompts intimamente relacionados depois de considerados seus diferentes níveis de dificuldade.

Os Resultados da Anthropic e do Google Não Mostram Vantagem para Pelicanos

Nem Claude nem Gemini exibiram o padrão amplo esperado de um pelicanmaxxing deliberado.

Os resultados mais simples contrariaram a teoria de imediato. Pelicanos ficaram em sexto lugar entre os oito animais quando as pontuações foram agrupadas entre os modelos. Gatos, baleias, guaxinins, garças e antílopes receberam avaliações mais altas para o animal.

As bicicletas tiveram desempenho ainda pior. Ficaram em quinto lugar entre seis veículos, ligeiramente à frente dos aviões. O avaliador identificou um componente de bicicleta ausente ou desconectado em aproximadamente dois terços das imagens de bicicletas.

Essas classificações, por si só, não resolvem a questão. Um pelicano é mais difícil de representar do que um gato, enquanto uma bicicleta exige duas rodas, um quadro conectado, guidão, pedais e um assento. Um treinamento especial poderia melhorar um tema difícil sem levá-lo ao primeiro lugar.

Por isso, Castillo ajustou uma regressão de efeitos fixos, um modelo estatístico que separa diferenças consistentes entre grupos do efeito específico sob investigação. O modelo considerou a dificuldade inerente de cada combinação entre animal e veículo.

Em seguida, estimou três efeitos para cada laboratório. Um mediu o desempenho em todos os prompts com pelicanos. Outro mediu o desempenho em todos os prompts com bicicletas. O último isolou a combinação exata de pelicano e bicicleta.

A estimativa para pelicanos de todos os laboratórios ficou entre menos 0,11 e mais 0,14 pontos do avaliador. Nenhuma se aproximou de significância estatística, e o menor p-valor relatado foi 0,25.

Nenhum laboratório produziu um aumento estatisticamente significativo para a combinação exata. GLM-5.2 registrou a maior estimativa positiva, de 0,35 ponto, mas seu p-valor foi 0,12. Esse resultado continua compatível com o acaso.

A combinação famosa ficou em 42º lugar entre todas as 48 combinações antes dos ajustes de dificuldade. Um prompt que recebeu preparação especial extensa não deveria normalmente se situar perto do fim de sua grade comparativa.

Os resultados para bicicletas produziram uma aparente exceção. Gemini 3.5 Flash mostrou um efeito de bicicleta de 0,27 ponto, com p-valor de 0,022. Esse valor supera o limiar convencional de 0,05 quando considerado isoladamente.

No entanto, o estudo realizou 21 testes estatísticos relacionados. Com um limiar de 0,05, a variação aleatória produziria, em média, cerca de um resultado positivo aparente. O efeito do Gemini foi exatamente esse único resultado.

Ele também não passou por uma correção de Bonferroni, que reduz o limiar de significância quando pesquisadores testam muitas hipóteses. O limiar corrigido foi aproximadamente 0,002, muito abaixo do resultado de 0,022 do Gemini.

Isso torna o contraste entre Anthropic e Google menos dramático do que sua formulação favorável a palavras-chave sugere. Claude não revelou uma vantagem específica para pelicanos. O resultado isolado do Gemini para bicicletas não resiste a uma correção padrão para comparações múltiplas.

OpenAI, xAI, Qwen, Z.ai e DeepSeek também não produziram a assinatura esperada. Alguns modelos desenharam imagens melhores no geral, mas qualidade geral não comprova otimização estreita.

Essa constatação deve moderar alegações baseadas em inspeção visual. Um resultado polido pode refletir melhor programação, composição ou seguimento de instruções. Ele não revela automaticamente material de benchmark memorizado.

Castillo também publicou o repositório do experimento, permitindo que leitores inspecionem o processo e os resultados subjacentes. Essa transparência dá ao estudo mais valor do que uma galeria selecionada de gerações bem-sucedidas.

A conclusão permanece adequadamente limitada. O experimento encontrou poucas evidências de pelicanmaxxing evidente entre esses modelos nessas condições. Ele não provou que nenhum laboratório jamais treinou com exemplos relacionados.

Imagens Familiares Não Comprovam Memorização

Padrões visuais repetidos parecem suspeitos, mas a grade de comparação mostra que muitos surgem de convenções comuns de desenho.

Todas as 21 imagens de pelicanos em bicicletas estavam voltadas para a direita. Nenhuma outra combinação alcançou concordância direcional completa. Considerado isoladamente, esse resultado parece um forte sinal de composição memorizada.

O conjunto de dados mais amplo muda seu significado. Sessenta por cento de todas as 1.008 imagens estavam voltadas para a direita. Bicicletas estavam voltadas para a direita em 81% das amostras, enquanto scooters chegaram a 83%.

Os pelicanos também estavam voltados para a direita em 78% de suas imagens. Antílopes alcançaram a mesma taxa, e garças chegaram a 77%. Esses temas naturalmente favorecem uma vista lateral, pois poses frontais ocultam características definidoras.

Uma bicicleta é mais fácil de reconhecer quando ambas as rodas permanecem visíveis. Um pelicano se beneficia de um perfil lateral que expõe seu bico longo e sua bolsa gular. Combinar ambas as preferências torna a consistência direcional pouco surpreendente.

Várias outras combinações quase alcançaram unanimidade. Antílopes em scooters e pelicanos em scooters ficaram voltados para a mesma direção em 20 das 21 amostras. Garças em bicicletas fizeram o mesmo em 19 das 21 amostras.

Adereços recorrentes contam uma história semelhante. Todas as imagens de flamingos em barcos continham um sol. Cachecóis apareceram em 38% das imagens de lontras em aviões, enquanto cestas apareceram em 38% das imagens de gatos em bicicletas.

Cenas de pelicanos em bicicletas continham elementos recorrentes, mas não em níveis excepcionalmente marcantes. Os modelos parecem recorrer a associações visuais comuns em muitos prompts, e não apenas no famoso.

Essa distinção é central para o debate sobre benchmarks entre Anthropic e Google. Modelos generativos podem convergir para composições semelhantes sem recuperar um exemplo específico do treinamento. Suas distribuições aprendidas favorecem arranjos, cores, poses e elementos decorativos familiares.

Os dados de treinamento ainda importam. Incontáveis ilustrações posicionam personagens em movimento de perfil, frequentemente viajando da esquerda para a direita ou da direita para a esquerda. Os modelos podem absorver essas regularidades sem memorizar uma imagem identificável.

O inverso também é verdadeiro. Um modelo pode reproduzir padrões influenciados pelo treinamento sem retornar uma cópia exata. A similaridade dos resultados existe em um espectro, e uma pequena grade de imagens não pode localizar cada resultado nele.

Essa incerteza explica por que a semelhança visual fornece evidência fraca por si só. Um sol, cachecol, cesta ou pássaro voltado para a direita pode indicar uma convenção aprendida. Também pode indicar um agrupamento mais estreito de exemplos repetidos.

Uma alegação mais forte exigiria testes adicionais. Pesquisadores poderiam variar a formulação, a composição, a direção, o estilo artístico e o formato de saída. Também poderiam comparar probabilidades internas dos modelos ou buscar exemplos próximos em corpora de treinamento conhecidos.

Modelos fechados impedem a maioria dos pesquisadores externos de examinar esses sinais mais profundos. O público pode testar o comportamento, mas não pode inspecionar as misturas completas de treinamento e as receitas de pós-treinamento da Anthropic ou do Google.

Essa lacuna de informação dá influência incomum a benchmarks informais. Usuários podem executar o mesmo prompt e comparar imediatamente os resultados visíveis. Eles não conseguem determinar com facilidade por que um sistema teve desempenho melhor.

O experimento do pelicano melhora essa situação ao expandir o conjunto de comparação. Ele mostra como alternativas controladas podem desafiar uma narrativa atraente antes que essa narrativa se torne um fato aceito.

A Possibilidade Real é o SVGmaxxing

O estudo enfraquece a teoria estreita sobre pelicanos, mas deixa inteiramente plausível uma ampla otimização para SVGs.

SVGmaxxing significa melhorar a geração de gráficos vetoriais em muitos temas, em vez de mirar um único prompt famoso. Um modelo treinado dessa forma deve ter melhor desempenho em toda a grade de Castillo. Essa melhora pareceria uma capacidade geral genuína.

Este é o ponto cego mais importante do experimento. Seu desenho estatístico detecta um efeito incomum de pelicano, bicicleta ou combinação dentro de cada laboratório. Ele não consegue identificar um treinamento que eleve todas as 48 combinações ao mesmo tempo.

Castillo observa que o Google DeepMind discutiu abertamente trabalhos para melhorar a geração de SVG. Isso torna uma explicação de otimização geral mais plausível do que armazéns secretos cheios de exemplos de pelicanos.

O treinamento geral em SVG não é automaticamente manipulação de benchmark. Gráficos vetoriais têm usos práticos em ícones, diagramas, gráficos, ativos de interface, materiais educacionais e ilustrações editáveis. Um desempenho melhor pode atender a muitas tarefas reais.

O limite depende da generalização. Treinar um modelo para gerar gráficos válidos e editáveis para solicitações diversas desenvolve uma capacidade útil. Treiná-lo em uma família estreita de prompts de avaliação antecipados cria uma pontuação enganosa.

Observadores externos raramente sabem onde um laboratório se posiciona entre essas alternativas. A documentação pública dos modelos geralmente descreve resultados amplos de avaliação, enquanto misturas detalhadas de dados e sinais de reforço permanecem privados.

A comparação entre Anthropic e Google ilustra claramente essa ambiguidade. Claude e Gemini podem diferir na qualidade geral de SVG sem que nenhum deles tenha recebido treinamento específico para pelicanos. Essas diferenças podem refletir capacidade de programação, raciocínio espacial ou trabalho direcionado em gráficos.

Mesmo uma melhoria geral pode ser otimizada para demonstrações. Os laboratórios sabem quais capacidades geram posts impactantes nas redes sociais. Um SVG nítido cria uma comparação imediata de antes e depois, mais fácil de compartilhar do que uma melhoria sutil de raciocínio.

Esse incentivo não invalida a capacidade. Mas significa que os leitores devem distinguir a utilidade do produto do espetáculo do dia de lançamento. Um modelo pode produzir uma bicicleta impressionante e ainda falhar em tarefas menos fotogênicas.

Por isso, desenvolvedores devem testar modelos gráficos em relação aos seus fluxos de trabalho reais. Uma equipe de produto pode precisar de ícones reutilizáveis com dimensões consistentes. Um pesquisador pode precisar de diagramas precisos com relações rotuladas.

Esses requisitos diferem de desenhar animais extravagantes. Marcação válida, editabilidade, acessibilidade, precisão de coordenadas e consistência de estilo podem importar mais do que charme visual.

O mesmo princípio vale além da geração de SVG. Agentes de programação podem se destacar em tarefas públicas de software, mas ter dificuldades dentro do repositório privado de uma empresa. Modelos de raciocínio podem pontuar bem em questões acadêmicas enquanto lidam mal com evidências incompletas no ambiente de trabalho.

As equipes precisam de avaliações construídas em torno de trabalho representativo e casos de teste ocultos. Também precisam de registros que mostrem quais prompts, fontes e resultados fundamentaram uma decisão.

Uma base de conhecimento de IA pesquisável pode preservar esses artefatos de avaliação junto a observações humanas. Esse registro se torna valioso quando uma atualização de modelo muda o comportamento.

A lição mais ampla não é que benchmarks públicos sejam inúteis. Eles fornecem pontos de referência compartilhados e tornam regressões visíveis. No entanto, seu valor diminui à medida que laboratórios e usuários se otimizam em torno deles.

Um benchmark famoso gradualmente se torna parte do ambiente que mede. Pesquisadores o discutem, desenvolvedores o veem e exemplos gerados circulam online. Conjuntos de dados de treinamento futuros podem então absorver essas discussões e resultados.

Esse ciclo de feedback torna a contaminação difícil de evitar. Mesmo sem manipulação deliberada, um teste conhecido pode se tornar estatisticamente menos independente dos sistemas que o enfrentam.

Pelicanmaxxing é engraçado porque os riscos parecem triviais. O mecanismo por trás disso não é. Contaminação semelhante pode afetar avaliações de programação, matemática, segurança, factualidade e agentes usadas em decisões sérias de compra.

Um Único Juiz LLM Não Pode Encerrar o Caso

As conclusões são informativas, mas o tamanho da amostra e o método de avaliação deixam espaço para efeitos menores e erros de medição.

Todas as pontuações vieram do GPT-5.6 Luna, que avaliou uma imagem de cada vez. Castillo não mediu quão consistentemente o juiz pontuaria apresentações repetidas da mesma imagem.

Um juiz pouco confiável adiciona ruído a cada estimativa. Uma preferência estilística também poderia favorecer uma família de modelos. Luna pertence à mesma família mais ampla que GPT-5.6 Terra, um dos sistemas testados.

As comparações dentro de cada modelo no estudo reduzem essa preocupação. Se Luna simplesmente gostar do estilo de Terra, deveria elevar toda a grade de Terra. A análise se concentra em saber se células específicas superam o desempenho habitual daquele modelo.

Ainda assim, o comportamento do juiz pode interagir com o conteúdo. Luna pode reconhecer alguns animais com mais confiabilidade do que outros. Pode recompensar uma simplicidade visual limpa enquanto deixa passar erros anatômicos.

A avaliação humana forneceria outra verificação. Vários avaliadores independentes poderiam analisar identidade animal, estrutura do veículo, coerência da ação e qualidade geral. Pontuações de concordância revelariam quais julgamentos permanecem subjetivos.

Um segundo modelo independente como juiz também ajudaria. Famílias diferentes de juízes poderiam pontuar as mesmas imagens renderizadas sob rubricas idênticas. Grandes divergências identificariam conclusões frágeis.

O orçamento limitou o experimento a três amostras por célula e uma única rodada de avaliação. Castillo relata que toda a execução usou cerca de 80 dólares em créditos de API. Os intervalos de confiança resultantes tiveram média de aproximadamente mais ou menos 0,6 ponto do juiz.

Esses intervalos são amplos o bastante para ocultar melhorias modestas específicas de benchmark. Um laboratório poderia receber uma pequena vantagem que este experimento não tem poder estatístico para detectar.

O estudo também regenerou resultados inválidos até que cada prompt produzisse um SVG utilizável. Ocorreram apenas 11 tentativas adicionais, portanto essa escolha provavelmente teve influência limitada. No entanto, o comportamento de novas tentativas remove algumas diferenças de confiabilidade das pontuações finais das imagens.

Uma avaliação em produção poderia contar a primeira resposta. Usuários se importam se um modelo segue o formato solicitado sem correção. Falhas de renderização podem importar tanto quanto a qualidade visual em fluxos de trabalho automatizados.

O uso de “plane” criou outro problema conhecido. Alguns modelos interpretaram a palavra como uma superfície geométrica plana, em vez de uma aeronave. O extrator de características não encontrou veículo em 25 das 168 imagens de avião.

Vinte por cento das imagens de avião receberam pontuação de veículo um ou dois. Bicicletas chegaram a cinco por cento, enquanto barcos, scooters e skates não tiveram pontuações tão baixas.

Esse erro de formulação não elimina o resultado central. Todos os modelos receberam os mesmos prompts, e a regressão considerou a dificuldade da combinação. Mas ele mostra como um termo ambíguo pode distorcer um benchmark.

O acesso aos modelos pelo OpenRouter adiciona outra consideração. O experimento reflete as versões dos modelos e o comportamento de roteamento disponíveis durante aquela execução. Provedores podem atualizar sistemas sem dar a pesquisadores externos visibilidade completa sobre cada alteração.

Portanto, a pesquisa deve ser tratada como um teste inicial robusto, não como um veredito permanente. Seu desenho cuidadoso torna significativa a ausência de um grande efeito. Ele não pode excluir todo esforço de otimização menor ou anterior.

Esse enquadramento cauteloso também se aplica ao artigo de origem que popularizou o resultado. Willison chamou o trabalho de Castillo de mais diligente do que suas verificações pontuais anteriores em seu comentário de julho. Ele não o apresentou como prova de que a manipulação de benchmarks nunca ocorre.

Os leitores devem resistir a transformar “nenhuma evidência clara aqui” em “os laboratórios estão inocentados”. A ausência de detecção depende dos prompts, das amostras, do juiz, do modelo estatístico e do poder disponível.

A melhor conclusão é metodológica. Alegações sobre manipulação de benchmarks exigem comparações controladas, dados abertos, múltiplos avaliadores e incerteza explícita. Capturas de tela, por si só, não podem sustentar esse peso.

O Que Anthropic, Google e Compradores de Modelos Devem Observar a Seguir

As próximas evidências úteis virão de replicação, testes de SVG mais amplos e mudanças de comportamento de uma versão para outra.

Primeiro, pesquisadores devem replicar o estudo com mais amostras e juízes independentes. Uma execução maior estreitaria os intervalos de confiança e revelaria se pequenos efeitos persistem em avaliações repetidas.

Avaliadores humanos devem revisar um subconjunto representativo sob uma rubrica escrita. Pelo menos um juiz de outra família de modelos deve pontuar o conjunto de dados completo. A concordância entre métodos fortaleceria a conclusão.

Se os efeitos de pelicano, bicicleta e combinação permanecerem próximos de zero, a teoria estreita de pelicanmaxxing se enfraquece. Se um efeito aparecer repetidamente para um laboratório, investigadores terão um alvo mais claro.

Segundo, testes futuros devem ampliar a tarefa para além de cartoons de animais em veículos. Os modelos poderiam gerar diagramas técnicos, ícones de interface, mapas, processos rotulados, figuras geométricas e famílias consistentes de ativos.

Esses prompts testariam se uma saída SVG melhor se transfere para trabalho útil. Também separariam treinamento gráfico geral de otimização em torno de uma família de prompts visualmente familiar.

Pesquisadores devem medir mais do que aparência. Validade na primeira tentativa, editabilidade, rótulos de acessibilidade, dimensões solicitadas, contagens de objetos e precisão espacial merecem pontuações independentes.

Isso pressionaria Anthropic e Google a esclarecer o que seus modelos melhoram entre lançamentos. Um modelo que tem melhor desempenho em muitas tarefas ocultas de SVG oferece evidência mais forte de capacidade geral.

Terceiro, observadores devem acompanhar descontinuidades em torno de grandes lançamentos. Ganhos súbitos em um prompt famoso merecem comparação com tarefas ocultas adjacentes executadas sob as mesmas condições.

O arquivo de Simon Willison fornece um histórico público útil, mas avaliações futuras também precisam de conjuntos de prompts não publicados. Testes ocultos reduzem a otimização direta e a contaminação acidental.

Compradores de modelos podem aplicar a mesma abordagem sem criar um estudo de mil imagens. Comece com uma demonstração pública que pareça impressionante. Em seguida, crie várias variações controladas que preservem a habilidade subjacente.

Altere entidades, formatos, restrições e formulações. Execute amostras suficientes para verificar se o desempenho resiste a variações comuns. Salve as primeiras tentativas e também os resultados corrigidos.

Para uma decisão de aquisição entre Anthropic e Google, o modelo vencedor deve ter êxito em tarefas privadas representativas, não em um único desafio público famoso. Os compradores também devem repetir os testes após atualizações dos modelos.

O estudo do pelicano oferece um modelo prático. Defina o atalho suspeito, construa alternativas próximas, controle a dificuldade e publique falhas junto com sucessos. Depois, declare o que o desenho não consegue detectar.

Esse padrão importa porque avaliações de IA influenciam cada vez mais planos de engenharia, seleção de fornecedores e automação no ambiente de trabalho. Uma pontuação de benchmark pode comprimir um comportamento complexo em um único número comercializável.

Nenhum número isolado pode descrever plenamente um modelo. Experimentos controlados ainda podem expor quando uma narrativa convincente ultrapassa suas evidências.

A resposta imediata é tranquilizadora e incompleta. Castillo não encontrou sinal forte de que sete modelos líderes receberam uma vantagem especial para pelicanos andando de bicicleta. O resultado isolado do Google para bicicletas desaparece após a correção para múltiplos testes.

O desafio maior continua sem solução. Otimização ampla, testes contaminados, escolhas ocultas de treinamento e juízes subjetivos ainda podem confundir progresso genuíno com estratégia de avaliação.

Antes de confiar na próxima demonstração viral de um modelo, crie uma pequena matriz de comparação em torno dela. Pergunte se a habilidade alegada se mantém diante de temas, formatos e restrições diferentes. O teste do pelicano da Anthropic e do Google mostra que um prompt aparentemente bobo pode revelar um problema sério de avaliação, desde que alguém teste a história em vez de simplesmente repeti-la.

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page