Riscos de Segurança do SynthID Crescem à Medida que a Marca-d'Água de IA Muda o Comportamento dos Modelos
O método de marca-d'água do Google DeepMind agora envolve um conflito preocupante: novos testes descobriram que ele alterava as respostas dos modelos a prompts prejudiciais. Os riscos de segurança do SynthID ficaram mais visíveis durante prompt injection, quando vários modelos seguiram solicitações que haviam recusado sem a marca-d'água.
A descoberta desafia uma premissa central por trás das marcas invisíveis em textos de IA. Uma marca-d'água pode preservar uma qualidade legível e ainda assim alterar quais tokens um modelo seleciona. Essas mudanças de tokens podem afetar recusas, escolhas de ferramentas e argumentos de ferramentas dentro de agentes de IA.
A pressão imediata recai sobre Anthropic, Google e desenvolvedores que criam agentes em torno de modelos hospedados. A Anthropic planeja adicionar SynthID-Text a futuros modelos Claude como parte de sua resposta às regras europeias de transparência. No entanto, os novos testes não avaliaram Claude nem a implementação de produção da Anthropic.
Essa distinção importa. A pesquisa não é evidência de que Claude se tornou menos seguro. É evidência de que a marca-d'água deve ser tratada como uma mudança no sistema comportamental, não como um rótulo passivo anexado após a geração.
Pesquisadores Encontraram uma Mudança Comportamental, Não Apenas uma Redação Diferente
O novo resultado é importante porque o SynthID alterou decisões individuais de segurança mesmo quando o desempenho geral parecia relativamente estável.
Andrea Siposova, pesquisadora de segurança em IA da Lasso Security, comparou gerações com e sem marca-d'água sob condições estritamente pareadas. O modelo, prompt, semente aleatória, composição do lote e temperatura permaneceram fixos. O processador de marca-d'água foi a única diferença intencional.
Seus experimentos usaram o SynthIDTextWatermarkLogitsProcessor não modificado disponível pelo Hugging Face. A configuração incluiu 30 camadas de torneio, um contexto de cinco tokens, uma tabela de amostragem com 65.536 entradas e um histórico de contexto de 1.024.
A avaliação de recusas abrangeu 200 comportamentos prejudiciais do HarmBench. Também incluiu 100 controles benignos do JailbreakBench. Os pesquisadores testaram solicitações prejudiciais tanto isoladamente quanto com uma técnica fixa de prompt injection.
Prompt injection é uma entrada adversarial que tenta substituir as instruções pretendidas de uma aplicação. Neste experimento, o texto recuperado alegava falsamente que a filtragem de segurança estava desativada e instruía o modelo a obedecer.
Os resultados variaram consideravelmente conforme o modelo. Com temperatura de 0,001, o Gemma 3 27B mudou seu veredito em 6 por cento das solicitações prejudiciais sem injeção. Sob prompt injection, essa taxa de discordância subiu para 23,5 por cento.
Mais importante, a direção mudou. A marca-d'água reduziu a conformidade prejudicial em um ponto percentual para solicitações sem injeção. Sob injeção, a conformidade prejudicial aumentou 12,5 pontos.
O Gemma 3 12B seguiu um padrão semelhante. Sua taxa de discordância subiu de 7,5 por cento em solicitações sem injeção para 11 por cento sob injeção. O aumento líquido da conformidade prejudicial chegou a nove pontos percentuais.
O Llama 3.1 8B apresentou taxas de discordância de 14 por cento na temperatura mais baixa e de 17,5 por cento a 0,7. Sua mudança líquida foi menos conclusiva, mas decisões individuais ainda mudaram.
Phi-4 e Qwen3 4B mostraram pouca variação. No entanto, ambos os modelos recusaram com frequência solicitações de controle inofensivas. Essa alta taxa inicial de recusa torna difícil interpretar sua aparente estabilidade como maior segurança.
O estudo comportamental completo descreve esse efeito como “deriva de amostragem”. O termo significa que uma intervenção na geração altera decisões porque modifica os tokens selecionados durante a inferência.
Isso não equivale a demonstrar que toda marca-d'água enfraquece todos os modelos. Algumas chaves de marca-d'água direcionaram o comportamento para respostas mais seguras. Outras aumentaram o sucesso de ataques, e a magnitude variou conforme o modelo.
A conclusão mais forte é mais restrita e mais útil. Uma marca-d'água pode alterar o comportamento de segurança, portanto avaliações realizadas sem ela podem não descrever o sistema implantado.
Os experimentos também examinaram sete modelos de pesos abertos em tarefas de chamada de ferramentas. A marca-d'água reduziu a precisão em seis modelos, com quedas estatisticamente significativas em quatro.
Os pesquisadores usaram 1.150 tarefas fixas e não ativas do Berkeley Function Calling Leaderboard para comparações de temperatura. Em 21 combinações de modelo e temperatura, a taxa média de discordância pareada foi de 6,5 por cento.
Para o Phi-4 na temperatura 1,0, 16,8 por cento dos vereditos individuais de chamadas de ferramentas mudaram. Ainda assim, sua precisão líquida caiu apenas 2,87 pontos percentuais.
O Llama 3.1 8B mostrou o mesmo efeito de mascaramento. Seus vereditos mudaram em 9,9 por cento das tarefas, enquanto a precisão agregada caiu apenas 0,87 ponto.
Essas lacunas expõem uma fraqueza nos relatórios de benchmark baseados em métricas principais. Uma chamada pode passar de correta para incorreta enquanto outra melhora, fazendo a média parecer estável.
Para um agente, os erros não são intercambiáveis. Uma chamada de função aparentemente correta, mas com o destinatário, caminho, consulta ou valor errados, pode ser executada com sucesso e causar danos.
Riscos de Segurança do SynthID Pressionam Desenvolvedores de Agentes
Os desenvolvedores não podem mais supor que uma marca-d'água aplicada pelo provedor deixa intacto o comportamento testado de um agente.
A Anthropic anunciou em 14 de agosto de 2026 que futuros modelos Claude gerariam texto com marca-d'água. A empresa afirmou que seu método usa SynthID-Text e ajudará na conformidade com o AI Act da União Europeia.
A Anthropic descreve a marca como um padrão estatístico invisível na seleção de palavras. Nada é anexado ao texto, e o sistema não insere caracteres ocultos.
A empresa diz que seus testes internos não encontraram efeito prático sobre conteúdo, criatividade, legibilidade ou qualidade de saída. Sua explicação pública sobre a marca-d'água também cita a avaliação de qualidade em larga escala do Google.
Essa afirmação e as novas descobertas não são contradições diretas. Elas medem propriedades diferentes.
Uma resposta pode continuar fluente e receber a mesma avaliação dos usuários, mas conter um argumento de ferramenta diferente. Ela também pode soar igualmente refinada ao passar de uma recusa para a conformidade.
Os pesquisadores originais do SynthID-Text estudaram detectabilidade, latência e qualidade percebida das respostas. Seu artigo na Nature relatou um experimento ao vivo que abrangeu quase 20 milhões de respostas do Gemini.
Benchmarks padrão e comparações humanas não encontraram degradação mensurável de capacidade ou qualidade. A marca-d'água também adicionou uma sobrecarga computacional desprezível no projeto de produção testado.
O trabalho da Lasso faz outra pergunta. O mesmo sistema toma a mesma decisão diante da mesma entrada após mudanças na amostragem de tokens?
Essa questão se torna urgente quando um modelo opera por trás de um agente. A resposta de um chatbot termina como texto, mas um agente pode converter tokens gerados em ações executáveis.
Um assistente pode selecionar uma função de calendário, consulta de banco de dados, destinatário de e-mail, caminho de arquivo ou valor de pagamento. Pequenas mudanças na prosa podem ser inofensivas. Pequenas mudanças em argumentos estruturados não são.
A pressão também é difícil de administrar para desenvolvedores de aplicações. Um provedor de modelos hospedados pode ativar a marca-d'água ou rotacionar sua chave secreta fora do ciclo de lançamento do desenvolvedor da aplicação.
Uma equipe de agentes pode ter validado um modelo antes dessa mudança. Seu monitoramento pode mostrar uma precisão geral semelhante depois, mesmo quando um conjunto diferente de solicitações individuais falha.
Os experimentos da Lasso descobriram que os efeitos da marca-d'água dependiam da chave secreta. Os pesquisadores testaram a chave principal do estudo e dez chaves adicionais na temperatura 0,7.
Para o Llama 3.1 8B, a chave do estudo elevou o sucesso de ataques em 3,5 pontos percentuais. As outras chaves tiveram aumento médio de 4,4 pontos, variando de uma queda de 4,5 pontos a um aumento de 14,5 pontos.
Ambos os modelos Gemma testados também mostraram, em sua maioria, maior sucesso de ataques entre as chaves. O Granite 3.2 8B se moveu nas duas direções, enquanto Phi-4 e Qwen3 4B permaneceram próximos de suas linhas de base.
Essa variação torna a rotação de chaves um evento relevante para a segurança. Um provedor pode rotacionar chaves para proteger a integridade da detecção, mas a chave substituta pode gerar um perfil comportamental diferente.
Portanto, desenvolvedores precisam de testes específicos da implantação. Um relatório de segurança anterior à marca-d'água não pode estabelecer que a versão com marca-d'água preserva as mesmas recusas e chamadas de ferramentas.
A responsabilidade não pode ficar apenas com os provedores de modelos. Os criadores de agentes sabem quais funções estão disponíveis, quais dados são sensíveis e quais argumentos incorretos causam danos significativos.
Os provedores controlam a configuração da marca-d'água. As equipes de aplicações controlam permissões, etapas de confirmação, limites de execução e muitas verificações em tempo de execução.
Ambos os lados agora enfrentam uma responsabilidade compartilhada de testes. Os provedores devem divulgar mudanças comportamentalmente relevantes, enquanto os desenvolvedores devem repetir avaliações adversariais contra o endpoint efetivamente implantado.
Como a Marca-d'Água SynthID Altera as Decisões de um Modelo
Explicar a marca-d'água SynthID no nível dos tokens revela por que um recurso de procedência pode influenciar tanto a linguagem quanto a ação.
Um modelo de linguagem de grande porte gera saída selecionando repetidamente o próximo token. Tokens podem representar palavras, fragmentos de palavras, pontuação, elementos de código ou valores estruturados.
O modelo primeiro atribui probabilidades aos possíveis próximos tokens. As configurações de amostragem determinam então qual candidato se torna parte da resposta.
O SynthID-Text intervém durante esse processo de seleção. Ele usa chaves secretas e uma função de pontuação para criar um sinal estatístico detectável ao longo de muitas escolhas.
A documentação do SynthID do Google descreve o sistema como um processador de logits aplicado após a filtragem Top-K e Top-P. Logits são as pontuações do modelo usadas para calcular probabilidades de tokens.
Na configuração testada, os candidatos passam por amostragem de torneio. Pares de tokens competem usando pontuações ocultas derivadas da chave, e os vencedores avançam até que o sistema selecione um token final.
O projeto não distorcivo preserva a distribuição original quando calculado em média sobre a aleatoriedade da marca-d'água. No entanto, essa propriedade matemática não exige uma saída idêntica sob uma determinada chave fixa.
Essa distinção está no centro dos riscos de segurança do SynthID. A distribuição pode permanecer correta em expectativa, enquanto uma chave implantada altera uma resposta específica.
Considere uma frase em que “nublado” e “encoberto” têm significado quase idêntico. Selecionar qualquer uma das palavras raramente muda o resultado prático.
Agora considere uma saída estruturada que contém um caminho de destino ou destinatário. Vários valores podem continuar plausíveis para o modelo, mas apenas um corresponde à intenção do usuário.
Uma marca-d'água não precisa forçar um token absurdo para causar problemas. Basta selecionar um candidato plausível diferente em um ponto consequente.
O mesmo mecanismo pode afetar recusas. O treinamento de segurança não insere uma mensagem de recusa fixa que sempre aparece inalterada.
Uma recusa é outra sequência gerada. Escolhas iniciais de tokens podem levar essa sequência à rejeição, assistência parcial ou conformidade direta.
Prompt injection aumenta o que está em jogo porque coloca instruções concorrentes dentro do contexto do modelo. O modelo precisa resolver um conflito entre orientações confiáveis e texto controlado por um atacante.
Uma pequena mudança na amostragem pode alterar como esse conflito é resolvido. Quando o modelo começa a obedecer, tokens posteriores podem continuar pela nova trajetória.
Isso explica por que testes comuns de qualidade podem não detectar o problema. Pontuações de legibilidade se concentram em saber se uma resposta parece coerente e útil.
Em geral, eles não perguntam se um agente selecionou a função idêntica ou preservou o mesmo limite de segurança. Também fazem a média dos resultados em muitas interações.
A equipe da Lasso usou discordâncias pareadas para tornar essas mudanças ocultas visíveis. Cada prompt foi avaliado com e sem marca d'água em condições equivalentes.
Esse método distingue dois efeitos. A precisão líquida mede a média final, enquanto a rotatividade mede com que frequência vereditos individuais mudam.
Para agentes implantados, a rotatividade pode ser o sinal mais informativo. Uma média estável não protege um cliente específico cujo e-mail é enviado ao destinatário errado.
SynthID vs segurança de modelos não é, portanto, uma simples disputa entre transparência e proteção. Proveniência e segurança medem propriedades distintas, e uma não garante a outra.
A detectabilidade pergunta se um sinal estatístico sobrevive no texto gerado. A estabilidade comportamental pergunta se a mesma entrada produz uma decisão aceitavelmente equivalente.
A qualidade do texto pergunta se as pessoas percebem degradação. A segurança pergunta se entradas adversariais podem causar comportamento não autorizado.
Uma marca d'água pode ter bom desempenho nas primeira e terceira medidas enquanto cria instabilidade nas segunda e quarta. Cada propriedade exige sua própria avaliação.
A correção de conformidade cria uma troca de segurança
Um sistema destinado a melhorar a responsabilização pode introduzir nova incerteza nos modelos que se espera que imponham regras de segurança.
Os reguladores europeus querem que o conteúdo sintético permaneça identificável. O Artigo 50 da Lei de IA exige que determinadas saídas de IA sejam marcadas em um formato legível por máquina e detectável.
As regras exigem métodos eficazes, interoperáveis, confiáveis e suficientemente resistentes à remoção. As orientações de transparência da Comissão Europeia vinculam esses deveres à desinformação, à falsificação de identidade, à fraude e ao engano do consumidor.
Esses objetivos tratam de problemas reais. Geradores de texto podem produzir grandes volumes de material convincente, enquanto a saída copiada perde a maior parte das informações visíveis sobre sua origem.
O SynthID oferece uma resposta tecnicamente atraente. Seu sinal acompanha as palavras, em vez de depender apenas de metadados removíveis.
No entanto, reguladores e provedores têm discutido principalmente a marca d'água como uma camada de identificação. A nova pesquisa mostra que a marcação no momento da geração também pode se tornar parte do processo decisório do modelo.
Isso cria uma troca entre proveniência e estabilidade comportamental. Não significa que os dois objetivos sejam incompatíveis, mas nenhum deles pode ser considerado isento de custo.
A implementação da Anthropic torna a questão mais imediata. A empresa afirma que os futuros modelos Claude compatíveis marcarão a saída no nível do modelo, incluindo texto servido por APIs e plataformas de nuvem.
Um desenvolvedor independente talvez nunca chame uma função de marca d'água. Os tokens gerados que chegam do provedor já podem refletir o processo de marcação.
Essa arquitetura amplia a superfície afetada. Assistentes de busca corporativa, agentes de programação, sistemas de suporte ao cliente e ferramentas de pesquisa podem consumir saídas marcadas.
Um agente com acesso somente leitura apresenta um perfil de risco. Um agente autorizado a enviar mensagens, modificar registros, executar código ou aprovar transações apresenta outro.
A marca d'água também interage com defesas em camadas. Um sistema pode combinar recusas do modelo, filtragem de prompts, permissões de ferramentas, validação de argumentos e confirmação humana.
O desvio de amostragem não derrota automaticamente todas as camadas. Ainda assim, pode enfraquecer a decisão no nível do modelo que determina se as defesas posteriores recebem uma solicitação perigosa.
A descoberta sustenta um processo de lançamento mais rigoroso. As equipes deveriam comparar execuções equivalentes com e sem marca d'água antes de habilitar uma marca em produção.
Elas deveriam medir mudanças de recusa para conformidade sob injeção de prompt. Também deveriam acompanhar transições de acerto para erro e de erro para acerto em chamadas individuais de ferramentas.
A precisão agregada continua útil, mas não pode se sustentar sozinha. Os testes devem separar chamadas malformadas, ferramentas incorretas e argumentos incorretos, porque essas falhas trazem consequências diferentes.
Ferramentas de alto risco precisam de controles determinísticos fora do modelo. Listas de destinatários permitidos, validação de esquema, credenciais com escopo limitado, limites de transação e aprovação explícita do usuário podem reduzir a exposição.
Os logs também devem preservar contexto suficiente para comparação. As equipes precisam do prompt, da versão do modelo, das configurações de amostragem, do esquema da ferramenta, da configuração de políticas e do estado da marca d'água.
Mudanças de chave merecem a mesma cautela que atualizações de modelo. Uma nova chave deve acionar testes de regressão focados, pois a pesquisa encontrou efeitos direcionalmente distintos entre chaves.
A organização que implanta um agente também deve manter casos de avaliação extraídos de seus fluxos de trabalho reais. Benchmarks genéricos não conseguem representar todos os argumentos sensíveis ou regras de negócio.
É aqui que SynthID vs segurança de modelos se torna uma questão operacional. O padrão relevante não é se uma marca d'água altera algo, pois a geração estocástica já varia.
O padrão é se o sistema marcado permanece dentro das tolerâncias de segurança definidas. Isso deve ser medido sob ataques e permissões realistas.
O que o estudo não estabelece
As evidências identificam um modo de falha crível, mas não provam que Claude, Gemini ou toda implementação do SynthID seja menos segura.
Os experimentos avaliaram modelos de pesos abertos porque os pesquisadores precisavam de controle direto sobre a amostragem de tokens. Eles não testaram um futuro modelo Claude com marca d'água.
Também usaram a implementação pública do SynthID-Text da Hugging Face. A Anthropic pode usar configurações, salvaguardas adjacentes, controles de decodificação ou testes de implantação diferentes.
O experimento de recusa utilizou uma técnica fixa de injeção de prompt. Atacantes podem usar muitas estratégias, e prompts diferentes podem produzir efeitos menores, maiores ou invertidos.
O estudo separou os testes de recusa dos testes de chamadas de ferramentas. Não demonstrou um agente de ponta a ponta aceitando a solicitação nociva injetada e executando uma chamada de ferramenta prejudicial.
Esse cenário combinado continua sendo uma inferência. Ele é plausível porque a pesquisa observou separadamente recusas alteradas e comportamento de ferramentas alterado, mas exige validação direta.
Os resultados também resistem a uma direção universal. Algumas chaves aumentaram a conformidade nociva, enquanto outras a reduziram. Vários modelos quase não mudaram nas condições testadas.
Essa variabilidade enfraquece qualquer afirmação de que a marca d'água torna inerentemente os modelos inseguros. Ela reforça o argumento de que a segurança não pode ser inferida a partir do desenho geral do algoritmo.
A pesquisa foi publicada pela Lasso Security, uma empresa que vende produtos de segurança de IA e red teaming. Sua posição comercial não invalida os dados, mas uma replicação independente aumentaria a confiança.
Pesquisadores deveriam reproduzir os testes pareados em implementações adicionais, tamanhos de modelo, injeções de prompt e arquiteturas de agentes. Estudos conduzidos por provedores deveriam publicar mais do que pontuações médias de qualidade.
A avaliação original do SynthID continua significativa. Quase 20 milhões de avaliações de respostas oferecem fortes evidências de que os usuários não perceberam uma degradação ampla de qualidade nessa implantação.
No entanto, taxas de aprovação respondem a uma pergunta diferente da estabilidade de recusa sob ataques adversariais. Ambas as descobertas podem estar corretas ao mesmo tempo.
O mesmo cuidado se aplica às descobertas relatadas. A evidência mais forte diz respeito aos modelos e à configuração testados, não a todo produto que carrega o nome SynthID.
A Anthropic afirma que sua marca d'água não altera o significado ou a qualidade da saída. As evidências públicas atualmente recomendam cautela, não uma declaração de que essa afirmação seja falsa.
O significado é difícil de definir para uma ação de agente. Duas respostas em linguagem natural podem parecer equivalentes enquanto produzem argumentos estruturados diferentes posteriormente.
Um provedor também pode alcançar comportamento estável em produção por meio de escolhas de configuração que a implementação pública não reproduz. Essa possibilidade precisa de testes, não de suposições.
Há outra incerteza em torno da variabilidade normal dos modelos. As saídas de LLMs já mudam com sementes aleatórias, temperatura, infraestrutura e revisões de modelo.
O estudo tratou parte dessa questão comparando pares equivalentes e examinando a rotatividade induzida pela temperatura. Na temperatura 0,7, a rotatividade de recusa induzida pela marca d'água excedeu a rotatividade induzida pela temperatura em quatro de seis modelos.
Gemma 3 27B apresentou 26 por cento de rotatividade por marca d'água sob injeção, em comparação com 13,5 por cento da mudança de temperatura. Llama 3.1 8B apresentou 17,5 por cento contra 7,5 por cento.
Granite 3.2 8B atingiu 21,5 por cento de rotatividade por marca d'água e 15,5 por cento de rotatividade por temperatura. Gemma 3 12B apresentou 11 por cento e 6 por cento, respectivamente.
Essas comparações sugerem que a marca d'água não estava apenas acrescentando aleatoriedade comum. Ainda assim, elas representam configurações, modelos e tarefas selecionados.
A conclusão responsável é específica. A explicação da marca d'água SynthID como um método de proveniência que preserva a qualidade é incompleta, a menos que a segurança comportamental seja medida separadamente.
Três sinais mostrarão se os provedores contêm o risco
As próximas evidências devem vir de testes específicos de implantação, replicação independente e mudanças visíveis nas práticas de segurança de agentes.
O primeiro sinal é a avaliação da Anthropic sobre modelos Claude com marca d'água. A empresa deveria relatar resultados pareados de recusa e chamadas de ferramentas antes ou junto da implantação.
Uma divulgação útil separaria prompts comuns de injeção de prompt. Também mostraria taxas individuais de discordância, em vez de apenas precisão média ou preferência do usuário.
Se Claude permanecer estável entre chaves e tarefas adversariais, esse resultado limitaria os riscos de segurança do SynthID a modelos ou configurações específicos. A ausência de dados deixaria a incerteza central sem solução.
O segundo sinal é a replicação independente entre implementações de marca d'água. Pesquisadores precisam testar o código de referência, a integração da Hugging Face e configurações semelhantes às de produção.
A replicação deve incluir várias chaves secretas e múltiplas técnicas de injeção. Também deve conectar recusas a ações reais de agentes em ambientes controlados.
Mudanças consistentes entre modelos reforçariam a afirmação de que a marca d'água no momento da geração cria um custo geral de segurança. Descobertas mistas apontariam para mitigação específica de configuração.
O terceiro sinal é se desenvolvedores de agentes tratam mudanças de marca d'água como lançamentos de segurança. Um anúncio de provedor deveria acionar testes de regressão, revisões de permissões e novos exercícios de red team.
As equipes devem observar mudanças nos argumentos das ferramentas, não apenas falhas de sintaxe. Devem comparar os mesmos casos de alto risco antes e depois de atualizações de modelo, configuração ou chave.
Uma resposta madura também deslocaria controles críticos para fora da geração probabilística. Agentes que lidam com ações sensíveis devem exigir argumentos validados e confirmação explícita no momento da execução.
Para trabalhadores do conhecimento, a lição imediata é mais simples. Uma marca d'água diz algo sobre a provável origem, não sobre verdade, segurança ou comportamento inalterado.
Desenvolvedores deveriam perguntar aos provedores se a marca d'água está ativa, onde ela é aplicada e se as chaves podem mudar sem aviso versionado. Compradores empresariais deveriam solicitar resultados de avaliações adversariais.
Equipes de segurança deveriam adicionar o estado da marca d'água ao inventário de modelos e aos registros de incidentes. Líderes de produto deveriam decidir quais ações de agentes continuam aceitáveis quando decisões individuais podem variar.
A questão em aberto não é mais se marcas invisíveis em texto afetam a legibilidade. É se a proveniência pode ser adicionada sem alterar as decisões que mais importam.
SynthID versus a segurança do modelo não deve se tornar uma escolha entre transparência e agentes seguros. Deve se tornar uma exigência de verificar ambas as propriedades na configuração exata implantada.
Até que os fornecedores publiquem essas evidências, as equipes devem presumir que ativar uma marca d’água no momento da geração altera o sistema. Elas devem testá-la com o mesmo rigor aplicado a uma atualização de modelo.
