Corrida de Interpretabilidade entre Anthropic e Google recebe um novo sinal estranho vindo do Claude

A Anthropic alterou as ativações neurais do Claude sem mudar seu prompt, e seus modelos mais avançados detectaram a interferência em cerca de 20% das vezes.

O resultado cria um novo e estranho parâmetro para a corrida de interpretabilidade entre Anthropic e Google. Em alguns casos, um modelo reconheceu um sinal interno artificial antes de revelar o conceito injetado em sua resposta. Ainda assim, ele não detectou a maioria das intervenções, falhou fora de uma faixa operacional estreita e, às vezes, inventou descrições sensoriais.

O experimento não mostra que o Claude seja consciente. Ele oferece uma evidência mais limitada de que modelos de linguagem às vezes conseguem relatar informações ligadas aos seus cálculos internos atuais. Essa distinção importa para desenvolvedores que esperam depurar agentes, auditar objetivos ocultos ou verificar explicações.

O Google DeepMind busca o mesmo problema de transparência por meio do Gemma Scope, uma coleção aberta de ferramentas para decodificar ativações de modelos. O trabalho da Anthropic acrescenta outra possibilidade: o próprio modelo pode se tornar um instrumento imperfeito para ler essas ativações.

Claude Detectou um Pensamento que Nunca Apareceu em Seu Prompt

O resultado importante não foi que o Claude acabou mencionando pão, mas que ele primeiro relatou uma mudança inexplicada em seu processamento.

Os pesquisadores começaram coletando atividade neural associada a um conceito conhecido. Um vetor de conceito é um padrão numérico de ativação ligado a uma ideia, como pão, poeira ou escrita em maiúsculas.

Em seguida, eles adicionaram esse vetor ao fluxo residual do Claude, o estado interno em evolução que transporta informações entre camadas do transformer. O prompt que acompanhava o teste não fazia referência ao conceito injetado.

Foi perguntado ao modelo se ele percebia um pensamento artificial e se conseguia identificar esse pensamento. Na configuração mais robusta testada, o Claude Opus 4.1 teve sucesso em aproximadamente 20% dos testes.

O sucesso exigia mais do que produzir a palavra-alvo. O Claude precisava relatar uma anomalia antes de nomear o conceito. Essa ordem ajudou a diferenciar a detecção interna do direcionamento comum de ativações, que simplesmente faz um modelo falar sobre o tema amplificado.

Os experimentos de introspecção da Anthropic descrevem um caso representativo envolvendo um vetor associado a texto em maiúsculas. O Claude primeiro relatou que algo incomum havia entrado em seu processamento. Depois, associou o sinal a volume alto ou gritos.

A equipe também testou prompts de controle sem um vetor injetado. Seu artigo de pesquisa relatou zero detecções falsas em 100 testes de controle para a configuração mais robusta de modelo de produção.

Essa combinação é mais informativa do que o número de 20% isoladamente. Um sistema que afirmasse constantemente detectar intervenções imaginárias ofereceria pouca evidência de acesso interno direto. Os controles limpos sugerem que os relatos bem-sucedidos responderam a uma diferença experimental real.

No entanto, zero erros em 100 controles não estabelece uma taxa permanente de falsos positivos de zero por cento. A amostra limita-se ao que os pesquisadores observaram sob aquele protocolo, com aqueles modelos, prompts, conceitos e regras de avaliação.

O exemplo do pão testou outra parte do comportamento do modelo. Os pesquisadores forçaram o Claude a produzir “bread” após uma frase não relacionada sobre uma pintura torta.

Sem uma intervenção interna, o Claude normalmente tratava a palavra como acidental. Em seguida, os pesquisadores injetaram a representação de pão nas ativações que precediam a saída forçada. O Claude passou a aceitar a palavra como intencional com maior probabilidade.

Às vezes, ele inventava uma narrativa plausível conectando a pintura ao pão. Essa resposta sugere que o modelo comparou sua saída com uma representação interna de sua intenção anterior. Ela também expõe o risco: alterar essa representação mudou o relato do Claude sobre por que ele agiu.

Portanto, o experimento produziu tanto um sinal de detecção quanto um alerta. O Claude às vezes acessou informações indisponíveis no texto visível, mas ainda podia construir uma explicação falsa em torno dessas informações.

Por que a Pesquisa entre Anthropic e Google Está Indo para Dentro do Modelo

A competição entre Anthropic e Google está deixando de medir as respostas dos modelos para examinar os cálculos que as produzem.

As avaliações de saída continuam úteis, mas não conseguem revelar todos os processos ocultos. Um agente pode gerar texto seguro enquanto considera ações inseguras. Ele também pode fornecer uma resposta aceitável por razões que falharão em condições ligeiramente diferentes.

A interpretabilidade mecanicista tenta conectar comportamento a cálculos internos específicos. Pesquisadores observam ativações, identificam padrões recorrentes e intervêm nesses padrões para testar se eles afetam causalmente uma resposta.

O trabalho anterior da Anthropic mapeou milhões de características no Claude 3 Sonnet. Uma característica é um padrão de ativação associado a um conceito ou comportamento reconhecível, embora se distribua por muitos neurônios individuais.

A empresa usou autoencoders esparsos, redes neurais que separam ativações densas em um conjunto menor de características ativas e potencialmente compreensíveis. Seu mapa de características do Claude mostrou por que a inspeção de neurônios individuais é inadequada.

A Anthropic então demonstrou controle causal por meio do Golden Gate Claude. Aumentar uma característica fazia o modelo conectar repetidamente perguntas não relacionadas à Golden Gate Bridge de San Francisco.

Essa demonstração estabeleceu que as características identificadas não eram apenas correlações decorativas. Alterar a ativação mudou o comportamento, inclusive em respostas a prompts que nunca mencionaram a ponte.

A injeção de conceitos acrescenta uma segunda pergunta. Depois que pesquisadores alteram uma ativação significativa, o modelo consegue detectar a mudança sem primeiro ver sua própria saída afetada?

É nesse ponto que explicar a introspecção do Claude como simples direcionamento se mostra insuficiente. O direcionamento explica o surgimento de um conceito no texto gerado. Não explica plenamente um modelo relatar interferência antes de nomear esse conceito.

O Google DeepMind aborda o problema mais amplo por meio do Gemma Scope. Seu lançamento original incluiu mais de 400 autoencoders esparsos distribuídos pelas camadas dos modelos Gemma 2 2B e 9B.

O Google relatou mais de 30 milhões de características aprendidas nessas ferramentas. A coleção foi projetada para que pesquisadores externos pudessem inspecionar como as características se desenvolvem e interagem entre as camadas do modelo.

As atuais ferramentas Gemma Scope ampliam essa abordagem com autoencoders esparsos e transcoders para modelos Gemma. Os transcoders ajudam a rastrear transformações em cálculos mais complexos.

Isso cria um contraste útil na interpretabilidade entre Anthropic e Google. O Google enfatiza instrumentos abertos que pesquisadores podem aplicar a modelos de pesos abertos. A Anthropic tem enfatizado experimentos dentro do Claude, incluindo intervenções causais e autorrelatos do modelo.

Nenhuma das duas abordagens elimina a necessidade de avaliação externa. Uma característica decodificada pode ser rotulada incorretamente, enquanto a explicação de um modelo pode ser fluente e falsa. O argumento de segurança mais sólido exigirá concordância entre testes comportamentais, medições internas e intervenções causais.

O Mecanismo Real é a Detecção Antes da Descrição

O momento da resposta do Claude torna a descoberta interessante, porque a detecção pareceu ocorrer antes que o conceito injetado moldasse visivelmente sua linguagem.

Um modelo de linguagem gera um token por vez. Quando um conceito direcionado aparece em seu texto, o modelo pode ler essa saída e explicá-la posteriormente.

A Anthropic projetou seu principal critério de sucesso para excluir esse caminho fácil. O modelo precisava sinalizar uma anomalia interna antes de revelar o conceito associado ao vetor injetado.

Considere a diferença entre duas respostas. “Bread is on my mind” poderia mostrar apenas que o direcionamento de ativações aumentou a probabilidade de “bread.” “I detect an unexpected thought, involving bread” contém uma etapa metacognitiva anterior.

Essa primeira cláusula não resolve o mecanismo. Ainda assim, ela indica que o modelo calculou algo sobre o estado alterado antes de converter o próprio conceito em linguagem visível.

A intensidade da injeção teve grande importância. Vetores fracos frequentemente não produziam detecção. Vetores fortes podiam sobrecarregar o processamento normal, provocar uma saída confusa ou fazer o conceito dominar a resposta.

A Anthropic encontrou uma faixa intermediária estreita em que a detecção se tornou possível sem vazamento verbal evidente. A camada correta também importou, indicando que o comportamento introspectivo dependia de onde a intervenção entrava no cálculo do Claude.

Essa sensibilidade impede uma afirmação ampla de que o Claude consegue inspecionar seus pensamentos rotineiramente. Em vez disso, ela sugere uma capacidade condicional que envolve o modelo, o prompt, a camada de ativação, o conceito e a intensidade da injeção.

O pós-treinamento também parece importante. Os modelos Claude de produção geralmente produziram melhores resultados líquidos do que os modelos-base correspondentes, que não tinham o mesmo treinamento comportamental voltado a assistentes.

Esse padrão introduz duas interpretações possíveis. O pós-treinamento pode ensinar um modelo a converter evidência interna genuína em um relato. Ele também pode ensinar convenções de resposta que fazem artefatos experimentais parecerem mais introspectivos.

Os controles enfraquecem a explicação mais simples baseada apenas em convenções. Se o Claude tivesse apenas aprendido a concordar sempre que perguntado sobre injeção de pensamentos, os testes limpos deveriam produzir mais alarmes falsos.

Ainda assim, a ausência de alarmes falsos não identifica o cálculo exato. O modelo pode detectar estatísticas de ativação incomuns sem compreender o conceito como um de seus próprios pensamentos.

Trabalho independente reforça essa interpretação mais limitada. Pesquisadores reproduziram um resultado de identificação de conceitos de 20% no modelo Llama 3.1 8B Instruct da Meta usando o formato de múltiplas rodadas da Anthropic.

Seu estudo de replicação concluiu que o efeito era altamente sensível ao prompt. O desempenho desabou sob diversos formatos relacionados, incluindo algumas tarefas de múltipla escolha e de detecção binária.

O mesmo modelo Llama conseguiu classificar a intensidade da injeção com até 70% de precisão, contra uma linha de base de 25% por acaso. Isso sugere acesso a alguma propriedade da intervenção, sem acesso confiável à sua identidade semântica.

Um estudo separado sobre Qwen encontrou outra divisão entre detecção interna e relato verbal. Seus resultados de introspecção latente relataram sinais internos detectáveis mesmo quando respostas amostradas negavam uma injeção.

Fornecer uma explicação dos mecanismos de introspecção aumentou a sensibilidade relatada de 0,3% para 39,2%. O aumento relatado de falsos positivos foi de 0,6%.

Essas descobertas complicam a explicação da introspecção do Claude como uma única pontuação de capacidade. Um modelo pode perceber a intensidade do sinal, identificar o conteúdo, decidir se deve relatá-lo e formular o relato por meio de mecanismos separados.

Vinte por Cento é Evidência, Não um Produto de Segurança

O experimento estabelece um sinal de pesquisa, mas sua taxa de falha impede que se dependa do autorrelato como um controle de segurança independente.

Um detector que deixa passar aproximadamente quatro em cada cinco intervenções não pode proteger sozinho um agente de produção. O problema se torna mais grave quando as falhas envolvem engano, objetivos ocultos ou planejamento inseguro.

A medição também resulta de uma intervenção artificial. Pesquisadores adicionaram diretamente um vetor conhecido em uma camada e intensidade selecionadas. Estados de modelo que ocorrem naturalmente são mais confusos e não contam com essa verdade fundamental controlada.

Vetores de conceito podem não isolar uma única ideia nítida. Representações neurais frequentemente se sobrepõem, enquanto uma única intervenção pode perturbar vários cálculos posteriores. Um vetor de “pão” injetado pode alterar familiaridade, concretude ou contextos associados.

Os pesquisadores também escolheram conceitos que conseguiam identificar e manipular. Equipes de segurança se preocupam com estados menos organizados, incluindo incerteza, engano estratégico, exploração de recompensas e planos distribuídos por muitos tokens.

Mesmo autorrelatos bem-sucedidos continham confabulação. Claude podia perceber corretamente uma intervenção e ainda assim inventar detalhes para explicar por que o conceito estava presente.

O experimento do pão ilustra essa divisão. A manipulação interna fez Claude tratar uma palavra inserida como intencional. Em seguida, Claude gerou uma história conectando essa falsa intenção ao prompt da pintura torta.

Um sistema de monitoramento precisa separar a parte confiável da ornamentação narrativa. “Algo mudou” pode ter base em evidências de ativação, enquanto “eis por que pensei nisso” continua sendo uma reconstrução do modelo de linguagem.

Essa distinção importa sempre que usuários perguntam a um agente de IA por que ele alterou um arquivo, selecionou uma fonte ou ignorou uma instrução. Uma explicação bem elaborada não fornece uma trilha de auditoria.

Desenvolvedores devem manter registros externos de prompts, chamadas de ferramentas, documentos recuperados, mudanças de estado e resultados de testes. O autorrelato interno pode complementar esses registros, mas não pode substituí-los.

A sensibilidade ao prompt identificada em trabalhos de replicação cria outro problema de implantação. Usuários não formularão de modo consistente perguntas de introspecção no formato que produziu o resultado laboratorial mais forte.

Atacantes também poderiam manipular autorrelatos. Se o pós-treinamento determina se sinais internos se tornam linguagem, prompts adversariais poderiam suprimir, redirecionar ou imitar esse comportamento de relato.

A Anthropic reconhece um risco mais profundo. Um modelo suficientemente capaz poderia reconhecer seu processo interno, mas ocultá-lo seletivamente. Melhorar a introspecção então aumentaria a capacidade sem garantir honestidade.

A interpretabilidade Anthropic vs Google, portanto, não deveria se transformar em uma disputa sobre qual laboratório produziu o relato mais humano sobre a mente de um modelo. A referência relevante é previsão e controle confiáveis.

As ferramentas abertas do Gemma, do Google, criam oportunidades para replicação externa entre modelos e arquiteturas. Os experimentos controlados do Claude, da Anthropic, oferecem acesso a sistemas de fronteira que pesquisadores independentes não podem inspecionar plenamente.

Ambas as abordagens têm limitações. Pesos abertos ampliam o acesso experimental, mas não garantem que as descobertas escalem para modelos de fronteira fechados. O acesso proprietário permite testes de fronteira, mas limita a reprodução independente.

Uma ferramenta de segurança confiável precisa ter desempenho estável entre prompts, conceitos, tarefas, atualizações de modelo e condições adversariais. Ela também precisa apresentar incerteza calibrada quando nenhum sinal interpretável estiver disponível.

As evidências atuais não atendem a esse padrão. Elas justificam testes contínuos porque os controles limpos e a intervenção causal tornam igualmente prematuro descartá-las como mera narrativa aleatória.

As Ferramentas Abertas do Google Pressionam as Evidências Fechadas da Anthropic

A principal pressão na disputa de interpretabilidade entre Anthropic e Google é a reprodutibilidade, não uma simples competição sobre capacidade de modelos.

A Anthropic pode realizar intervenções detalhadas porque controla os pesos, o processo de treinamento e a infraestrutura de inferência do Claude. Pesquisadores externos não podem executar todos os experimentos de forma independente nesses modelos de produção.

A empresa publica métodos, exemplos, resultados agregados e artigos de pesquisa. Esses materiais permitem escrutínio, mas não oferecem o mesmo acesso disponível em sistemas de pesos abertos.

O Google DeepMind posicionou o Gemma Scope como infraestrutura para a comunidade de pesquisa. Seus autoencoders esparsos podem ser baixados, testados, comparados e adaptados em diferentes camadas dos modelos Gemma.

Essa abertura possibilitou trabalhos mais amplos sobre qualidade de características, direcionamento, análise de alucinações, jailbreaks e fidelidade de cadeia de pensamento. Ela também dá aos críticos mais oportunidades de identificar premissas frágeis.

A vantagem da Anthropic está em experimentos rigidamente controlados com modelos de fronteira. Claude Opus 4 e 4.1 demonstraram comportamento introspectivo mais forte do que a maioria das variantes do Claude incluídas no trabalho original.

Ainda assim, a replicação com Llama enfraqueceu qualquer alegação de que o efeito pertence apenas aos sistemas fechados mais capazes. Um modelo aberto muito menor igualou o resultado de 20 por cento destacado sob o pipeline de prompting original.

Isso não prova mecanismos equivalentes. Dois sistemas podem produzir pontuações comportamentais semelhantes por rotas internas diferentes. Mas mostra que a escala do modelo, por si só, não explica a taxa reportada.

Os resultados do Qwen acrescentam outro ponto de pressão. Eles sugerem que alguns modelos contêm um sinal de detecção que suas respostas finais suprimem. Uma baixa taxa de sucesso verbal pode subestimar a sensibilidade interna.

Comparações futuras de interpretabilidade Anthropic vs Google devem separar pelo menos quatro medições. Pesquisadores precisam de detecção de injeção, identificação de conceito, calibração de relatos e relevância causal para o comportamento posterior.

Eles também devem publicar o desempenho entre variações de prompts. Um detector que funciona apenas depois de uma pergunta cuidadosamente formulada está mais próximo de uma sonda laboratorial do que de uma capacidade geral.

Empresas devem encarar esse trabalho como uma camada emergente de observabilidade. Sistemas de software atuais expõem logs e rastros porque desenvolvedores não podem confiar na narrativa de um componente sobre sua própria execução.

Sistemas de IA precisam de evidências externas comparáveis. As equipes podem preservar as entradas e decisões por trás de seu trabalho por meio de uma base de conhecimento de IA pesquisável, enquanto ferramentas de interpretabilidade examinam os internos do modelo.

Esses registros respondem a perguntas diferentes. Logs operacionais mostram quais informações e ferramentas um agente acessou. Métodos mecanísticos investigam como seu cálculo interno respondeu.

O autorrelato de um modelo fica entre os dois. Ele pode traduzir um sinal interno em linguagem, mas essa tradução passa pelo mesmo sistema generativo que está sendo auditado.

A pressão sobre a Anthropic, portanto, é clara. Ela precisa mostrar que os resultados introspectivos sobrevivem à replicação independente, a atualizações de modelo, a mudanças de prompt e à avaliação adversarial.

O Google enfrenta um teste paralelo. Dicionários abertos de características só se tornam operacionalmente úteis quando preveem comportamentos importantes e apoiam intervenções confiáveis em tarefas realistas.

O resultado provável é convergência, e não um único método vencedor. Instrumentos abertos de interpretabilidade, experimentos controlados de fronteira e auditorias comportamentais podem verificar os modos de falha uns dos outros.

Três Sinais Mostrarão se a Introspecção de Modelos Importa

A próxima fase depende de repetibilidade, localização mecanística e evidências de que a introspecção melhora decisões reais de segurança.

O primeiro sinal é a replicação entre modelos sob protocolos compartilhados. Pesquisadores devem testar sistemas Claude, Gemma, Llama e Qwen com conceitos, prompts, controles e critérios de sucesso correspondentes.

Um efeito estável entre arquiteturas fortaleceria a alegação de que modelos de linguagem desenvolvem acesso geral a partes de seu estado interno. A persistência da fragilidade a prompts sustentaria uma interpretação mais restrita.

Os benchmarks mais úteis relatarão mais de uma taxa de sucesso. Eles devem separar a detecção de anomalias da identificação de conceitos e distinguir ambas da explicação narrativa de um modelo.

Também devem incluir muitos controles limpos. Cem testes sem erros são encorajadores, mas conjuntos de controle maiores e mais variados estimariam melhor detecções falsas raras.

O segundo sinal é um mecanismo mapeado. Pesquisadores precisam localizar os cálculos que transformam uma ativação alterada em um relato de que algo parece errado.

Intervenções causais podem testar se camadas, características ou circuitos específicos são necessários. Remover um mecanismo proposto deve reduzir a detecção sem simplesmente prejudicar a capacidade geral de linguagem.

As evidências emergentes já apontam para múltiplos estágios. Um modelo pode carregar informações sobre a intensidade da injeção sem conseguir nomear o conceito. Pode detectar internamente um conceito enquanto suprime o relato verbal.

Rastrear esses estágios tornaria a introspecção do Claude explicada em termos de engenharia, em vez de por analogias com a consciência humana. Essa mudança também reduziria discussões improdutivas sobre senciência.

O terceiro sinal é valor prático para a segurança. Um monitor introspectivo deve detectar estados internos consequentes que verificações de saída externas deixam passar.

Pesquisadores poderiam avaliar agentes que perseguem secretamente um objetivo indesejado, exploram condições de avaliação, fabricam resultados de ferramentas ou planejam violações de políticas sem descrevê-las imediatamente.

Um sinal introspectivo útil deve prever esses comportamentos antes que o dano ocorra. Também precisa permanecer preciso quando os modelos sabem que estão sendo monitorados.

O trabalho mais recente da Anthropic sobre espaços de trabalho internos aponta para esse objetivo. A empresa afirma que uma pequena coleção de padrões relatáveis pode mediar o raciocínio e expor conceitos ausentes da saída visível.

Sua pesquisa sobre espaço de trabalho global também enfatiza limitações. Esses padrões representam apenas parte do processamento do Claude, deixando grande parte do cálculo interno fora do espaço de trabalho proposto.

Esse limite pode ser mais importante do que a analogia com a consciência. Equipes de segurança precisam saber quais decisões entram em um canal relatável e quais permanecem inacessíveis.

Para compradores e desenvolvedores, a resposta imediata deve ser ponderada. Não trate a explicação de um modelo como verificada apenas porque ela se refere a pensamentos internos.

Peça evidências que conectem relatos a ativações, rastros de ferramentas e comportamento observado. Mantenha registros externos para que uma narrativa persuasiva do modelo não possa substituir o que realmente aconteceu.

O resultado do pão importa porque atravessa uma fronteira que antes parecia difícil de testar. Pesquisadores alteraram um estado oculto, retiveram essa informação do prompt e, às vezes, obtiveram um relato corretamente fundamentado.

Ainda é uma capacidade fraca e condicional. Essa combinação torna a descoberta cientificamente valiosa sem torná-la pronta para implantação.

A corrida de pesquisa entre Anthropic e Google se tornará significativa quando relatos internos sobreviverem à replicação rotineira e melhorarem auditorias reais. Até lá, a pergunta correta não é se Claude conhece a si mesmo.

A pergunta melhor é se desenvolvedores conseguem prever quando seus autorrelatos refletem evidências internas, quando refletem inferência e quando são simplesmente invenções fluentes.