top of page

think-graft testa saída antecipada com uma linha de pesos

há 7 minutos
14 min de leitura
Illustrative photograph. Photo: Bibek ghosh / Pexels.

A saída antecipada do think-graft altera uma linha da camada de saída e relata 54% menos tokens gerados em oito problemas de matemática mantidos fora do ajuste. Ambas as versões do modelo responderam corretamente aos oito. O resultado levanta uma questão prática: de quanto raciocínio um modelo precisa depois de já ter encontrado a resposta?

O desenvolvedor Vaibhav publicou o experimento em 15 de novembro de 2026, usando Qwen3.5-4B e DeepSeek V4.1 Flash. A mudança proposta aumenta a probabilidade de encerrar o rascunho de raciocínio de um modelo quando seu estado interno se parece com trabalho concluído. Seu atrativo é a simplicidade de implantação: o mecanismo de parada passa a fazer parte do arquivo de pesos.

A disputa central é entre parada adaptativa e limites fixos de raciocínio. Um orçamento fixo pode interromper trabalho útil ou permitir verificações repetitivas. Pesquisas anteriores, incluindo Thinkless e trabalhos sobre verificação de estados ocultos, já abordam esse problema. Este experimento explora se um sinal de parada pode operar dentro do próprio modelo, sem um componente adicional executado ao seu lado.

A saída antecipada do think-graft mira a decisão de parar

A mudança relatada diz respeito a quando o raciocínio termina, e não a como o modelo executa cada etapa de raciocínio. Essa distinção explica tanto a promessa do experimento quanto seu escopo limitado.

Modelos de raciocínio geram um rascunho, uma sequência de texto intermediária usada antes de produzir a resposta final. Nas configurações testadas, o token especial </think> marca a transição para fora desse rascunho. O experimento altera os pesos responsáveis por pontuar esse token.

O experimento de uma linha de Vaibhav descreve um padrão recorrente em respostas matemáticas registradas. O modelo apresenta uma resposta correta e depois continua verificando-a por meio de derivações alternativas e validações repetidas. Às vezes, essa checagem consome o orçamento de geração restante antes que uma resposta final apareça.

A intervenção proposta usa uma sonda linear, um cálculo ponderado que identifica um padrão na representação numérica interna do modelo. Aqui, esse padrão representa finais de parágrafo após o surgimento de uma resposta correta. O comportamento pretendido é seletivo: preservar a busca e depois encurtar a cauda repetitiva.

Esta é uma qualificação importante para a expressão “saída antecipada”. O modelo não ignora suas camadas computacionais internas ao gerar cada token. Em vez disso, ele gera menos tokens de raciocínio antes de passar à fase de resposta. Cada token restante ainda exige a computação habitual do modelo.

O experimento original com Qwen usou Qwen3.5-4B em Q8_0, um formato de pesos de oito bits, executado em uma GPU RTX 4060 Laptop com 8 GB de memória. Vaibhav relata ter usado um mecanismo de inferência llama.cpp sem modificações, o software que executa o modelo. O ajuste de parada foi incorporado ao arquivo de modelo resultante.

Preparar esse arquivo ainda exigiu trabalho experimental substancial. O autor gerou rastros de raciocínio, registrou estados internos, atribuiu rótulos, ajustou a sonda e calibraram sua intensidade. De 24 problemas de ajuste, 22 produziram rastros utilizáveis nos quais a resposta correta apareceu durante o raciocínio.

Portanto, chamar o método de livre de treinamento exige um significado preciso. O autor não realizou treinamento de modelo baseado em gradiente, que atualiza pesos por etapas repetidas de otimização. No entanto, o método ainda aprende uma distinção estatística a partir de exemplos rotulados. Ele não é livre de dados nem de calibração.

Essa distinção importa para desenvolvedores que comparam custos de implementação. Um arquivo editado reutilizável pode simplificar a implantação após a preparação. Ele não elimina o trabalho necessário para estabelecer que a edição se comporta corretamente em um modelo específico.

O lançamento também é um experimento de um desenvolvedor individual, e não um anúncio da Qwen ou da DeepSeek. Seus números de desempenho continuam sendo relatados pelo autor. Os materiais disponíveis permitem examinar o mecanismo e tentar replicá-lo, mas não estabelecem confiabilidade geral entre tarefas.

Orçamentos fixos deixam respostas úteis inacabadas

A alegação prática mais clara é uma melhor conclusão dentro de um orçamento fixo, e não um aumento geral na capacidade de raciocínio. Os resultados selecionados de matemática competitiva tornam essa distinção especialmente importante.

Em três problemas da AIME 2025 com um orçamento de 32.000 tokens, a configuração original do Qwen não produziu respostas finais bem-sucedidas. A versão editada respondeu corretamente a dois. Segundo Vaibhav, os rastros originais já continham as respostas corretas antes que verificações repetidas esgotassem seus orçamentos.

Isso cria um modo de falha específico. Um modelo pode ter um resultado intermediário útil e ainda assim não entregar uma resposta concluída. Sob um limite rígido de geração, verificações adicionais podem reduzir o sucesso medido se o modelo nunca alcançar sua fase de resposta.

O resultado não deve ser interpretado como prova de que o modelo original jamais poderia resolver esses problemas. Um orçamento maior muda a comparação. O autor enquadra explicitamente o experimento como uma melhoria na forma como um orçamento existente se traduz em respostas concluídas.

Para desenvolvedores que operam assistentes locais, essa distinção tem consequências práticas. Os usuários recebem a resposta final, não crédito por uma resposta escondida dentro de um rascunho inacabado. Um mecanismo de parada precisa, portanto, preservar o raciocínio útil ao mesmo tempo que permite ao modelo concluir sua resposta.

Limites fixos oferecem fronteiras previsíveis de recursos, mas não reconhecem o que está acontecendo dentro de uma resposta específica. O mesmo limite se aplica quando um modelo está descobrindo uma solução e quando está reafirmando uma. Reduzir esse limite aborda o consumo sem distinguir essas situações.

Desativar o pensamento cria outra alternativa grosseira. Isso remove o rascunho durante toda a resposta, inclusive em situações nas quais o raciocínio deliberado ajudaria. Um mecanismo adaptativo, em vez disso, tenta reconhecer quando uma geração adicional de rascunho deixou de contribuir com valor suficiente.

O contexto competitivo inclui abordagens que aprendem essa escolha durante o treinamento do modelo. A seleção adaptativa de raciocínio, descrita no Thinkless, treina um modelo para escolher entre respostas mais curtas e raciocínio estendido. Seus autores usam aprendizagem por reforço, um processo de otimização orientado por feedback baseado em resultados.

Essa abordagem e o think-graft buscam objetivos de eficiência relacionados por meio de intervenções diferentes. O Thinkless muda o comportamento por um procedimento de treinamento dedicado. O experimento de uma linha ajusta uma leitura de informações internas existentes e a insere na decisão de parada do modelo.

Estas não são vitórias comparáveis em benchmarks. Elas usam modelos, condições de avaliação e definições de eficiência diferentes. A comparação útil diz respeito a onde reside o controle e qual preparação cada abordagem exige.

A pressão imediata recai sobre desenvolvedores que escolhem controles de raciocínio para modelos de pesos abertos. Se uma pequena edição de saída resistir a testes mais amplos, eles ganham outra opção além de limites fixos e variantes treinadas separadamente. Até lá, configurações de orçamento previsíveis mantêm uma vantagem operacional importante.

Para compradores empresariais, a questão relevante continua sendo a qualidade da tarefa concluída sob restrições de recursos. Um rascunho mais curto ajuda apenas quando a resposta final permanece precisa, completa e útil. A redução de tokens, por si só, não pode responder a essa questão.

Um sinal ajustado torna-se parte dos pesos

A ideia de implantação é incorporar um detector a uma operação que o modelo já executa. Isso elimina uma decisão separada em tempo de execução, ao mesmo tempo que mantém a qualidade do detector dependente de sua preparação.

Um estado oculto é a representação numérica que o modelo calcula a partir do texto processado até então. A camada de saída converte essa representação em pontuações de tokens. Cada token do vocabulário tem uma linha de pesos correspondente que contribui para sua pontuação.

Um logit é a pontuação de um token antes da conversão em probabilidade. No experimento, o logit de </think> recebe uma contribuição adicional da sonda ajustada. Um sinal de conclusão mais forte aumenta a probabilidade de o modelo encerrar seu rascunho.

A álgebra é direta. Adicionar o vetor da sonda à linha de pesos do token de fechamento incorpora seu cálculo à multiplicação já existente da camada de saída. O mecanismo de inferência não precisa chamar um segundo classificador nem inspecionar parágrafos gerados por meio de código adicional da aplicação.

O autor ajusta esse vetor usando análise discriminante linear com encolhimento, um método estatístico que separa grupos rotulados enquanto estabiliza suas estimativas. Exemplos positivos são finais de parágrafo selecionados após o primeiro aparecimento da resposta correta. Exemplos negativos incluem posições anteriores de resolução e outras posições dentro dos parágrafos.

Esses exemplos negativos carregam grande parte do peso prático do método. Um detector que apenas reconhece confiança matemática poderia ser acionado antes de uma correção necessária. A distinção desejada é mais estreita: trabalho concluído em um ponto de parada adequado versus tudo o que deveria continuar.

Uma configuração de intensidade controla o peso da influência do sinal ajustado sobre o token de fechamento. Vaibhav usou o valor 14 nos experimentos relatados. Os resultados de calibração mostram um risco crescente de parada prematura à medida que essa configuração se torna mais agressiva.

Isso faz da parada antecipada um problema de controle, e não uma redução gratuita de computação. Uma intervenção mais forte remove mais verificações, mas também aumenta a chance de interromper trabalho útil. A configuração escolhida reflete um julgamento sobre esse equilíbrio dentro dos rastros disponíveis.

Há também um detalhe de empacotamento por trás da descrição de uma linha. O Qwen3.5-4B compartilha pesos entre suas incorporações de entrada e sua cabeça de saída. O arquivo editado adiciona uma cabeça de saída separada para que a representação de entrada do token de fechamento permaneça inalterada.

Consequentemente, “uma linha” descreve a modificação comportamental direcionada. Isso não significa que todo arquivo de modelo possa receber um patch idêntico no nível de bytes. O compartilhamento de pesos e a representação do arquivo afetam como a edição deve ser empacotada.

A premissa científica mais ampla antecede este lançamento. Pesquisas sobre autoverificação de estados ocultos investigaram se representações internas revelam a correção de respostas intermediárias. Elas também examinaram o uso desses sinais para encerrar o raciocínio mais cedo.

Trabalhos separados sobre planejamento da intensidade do raciocínio conectam direções internas ao comprimento do raciocínio e à pontuação do token de fechamento. Esses estudos fornecem contexto relevante para o mecanismo. Eles não validam de forma independente a sonda específica de Vaibhav nem os resultados relatados.

A alegação de exatidão também exige cuidado. Em um estado oculto registrado e fixo, a pontuação alterada do token de fechamento decorre diretamente da edição de pesos. Essa relação matemática não estabelece a reprodução exata de respostas inteiras geradas.

Em 17 de novembro, o autor esclareceu essa distinção para métodos de amostragem que restringem tokens candidatos. Essas mudanças de amostragem podem alterar qual continuação é selecionada. Quando o texto gerado diverge, estados ocultos posteriores também podem divergir.

Portanto, entender como o think-graft funciona exige separar uma equação local de uma previsão comportamental completa. A equação descreve uma mudança específica de pontuação. Uma implantação confiável ainda requer testes de geração ao vivo que capturem as consequências dessa mudança.

As economias do título vêm de comparações restritas

As medições iniciais justificam investigação adicional, mas seus denominadores impedem alegações amplas de desempenho. Cada resultado relatado responde a uma pergunta menor do que uma porcentagem de manchete pode sugerir.

Para o Qwen3.5-4B, a comparação principal abrange oito problemas reservados extraídos do MATH-500, uma coleção de problemas de avaliação matemática. Ela não cobre o benchmark completo. Cada configuração de modelo gerou uma amostra por problema.

Ambas as configurações responderam corretamente aos oito. O total de tokens gerados caiu de 34.955 para 16.080, a redução relatada de 54%. Os tokens de raciocínio caíram de 30.452 para 12.263, uma redução separada de aproximadamente 60%.

Essa separação importa porque encerrar o rascunho de raciocínio pode transferir trabalho para a resposta visível. Medir apenas os tokens de raciocínio corre o risco de superestimar a redução na geração total. A comparação com Qwen relata ambas as categorias, permitindo que os leitores as distingam.

O experimento com DeepSeek apresenta uma situação de hardware diferente. Vaibhav relata executar o DeepSeek V4.1 Flash, um modelo de 763 bilhões de parâmetros, em um formato de dois bits que ocupa 243GB. Os especialistas do modelo foram transmitidos de armazenamento em estado sólido usando um mecanismo modificado.

O laptop tinha 30GB de memória do sistema e uma GPU de 8GB. Isso não significa que o modelo completo coube em 8GB de memória da GPU. A transmissão a partir do armazenamento é central para a configuração e para a motivação prática de evitar tokens desnecessários.

Entre sete problemas matemáticos destacados, a configuração original de esforço máximo respondeu corretamente a seis, enquanto a versão editada respondeu corretamente a sete. No entanto, dois problemas reservados adicionais esgotaram seus orçamentos em ambas as configurações. Incluí-los produz seis respostas bem-sucedidas contra sete em nove problemas.

A redução relatada de 40% em tokens usa outro denominador: os seis problemas que ambas as configurações resolveram. Seus totais caíram de 41.559 para 25.112 tokens. Essa comparação isola os sucessos compartilhados, em vez de relatar uma redução uniforme em todos os problemas tentados.

O experimento com agente é ainda mais restrito. Um agente é um sistema orientado por modelo que realiza ações por meio de ferramentas. Aqui, a tarefa principal envolvia construir um site de padaria por meio de um fluxo de trabalho de programação no terminal.

A execução editada do DeepSeek usou 2.062 tokens de raciocínio, em comparação com 13.106 na execução original de esforço médio. Isso sustenta a redução relatada de 84% no raciocínio para esta tarefa. Não é uma redução de 84% no tempo total de execução.

A avaliação de qualidade também precisa de atribuição. O ChatGPT avaliou capturas de tela sem rótulos de modelo, atribuindo à saída editada 9,5 de 10 e à original 8,2. Trata-se de um julgamento automatizado de preferência, não de um estudo independente de usabilidade com humanos.

O autor descreve a elaboração repetida dentro do rascunho de raciocínio como uma fonte de trabalho desperdiçado. Um limite por etapa interrompeu esses rascunhos, após o que o modelo às vezes recomeçava. A edição teria reduzido esse comportamento na tarefa selecionada.

Essas observações são úteis porque identificam comportamentos concretos a investigar. Elas continuam sendo resultados de execução única, obtidos com um modelo, mecanismo e configuração de tarefa específicos. Não podem estabelecer que a mesma edição melhora agentes de programação de modo geral.

Em conjunto, os resultados sugerem uma oportunidade de eficiência com vários limites de medição. Respostas concluídas, tokens totais, tokens de raciocínio, tempo de execução e qualidade da saída descrevem resultados diferentes. Uma avaliação confiável deve preservar essas distinções, em vez de combiná-las em uma única alegação de melhoria.

A interrupção mais cedo pode expor falhas diferentes

Um modelo que encerra seu rascunho de raciocínio mais cedo ainda pode continuar verificando, repetir tokens especiais ou fazer alegações sem sustentação. A resposta visível deve continuar fazendo parte da avaliação.

Vaibhav relata tokens extras </think> em algumas respostas matemáticas editadas do DeepSeek. A explicação proposta decorre diretamente do mecanismo. Se a verificação na fase de resposta se assemelha à verificação no rascunho de raciocínio, o mesmo sinal ajustado pode ser ativado após a transição pretendida.

Essa é uma limitação relevante para uma intervenção apenas nos pesos. A linha de saída alterada permanece presente durante toda a geração. Sua influência não desaparece automaticamente quando o modelo entra em uma fase diferente.

O autor relata que adicionar texto de resposta como exemplos negativos remove essas tags dispersas em uma variante adicional. A descoberta sugere uma possível correção, mas também reforça a importância da rotulagem. O comportamento depende do que o processo de ajuste ensina a sonda a ignorar.

Parte da verificação também foi transferida para a resposta visível. Em um exemplo relatado do DeepSeek, a própria resposta continha 3.611 tokens. A resposta geral permaneceu mais curta, mas a redução do rascunho de raciocínio não eliminou toda a verificação subsequente.

Isso cria uma troca perceptível para o usuário. Uma fase oculta de raciocínio mais curta pode produzir uma resposta visível mais longa ou menos polida. As aplicações precisam avaliar se a saída se torna mais fácil de usar, em vez de presumir que todo token de fechamento antecipado melhora a experiência.

A tarefa de análise de dados oferece outra advertência. A configuração editada identificou ligeiramente mais dos achados inseridos, segundo a pontuação do autor. Ela também fez duas alegações falsas, em comparação com uma na execução original usada como comparação.

Essa comparação usou configurações de esforço diferentes, acrescentando outra limitação. Ela não isola a edição dos pesos como a única diferença relevante. Ainda assim, mostra por que um resultado de economia de tokens não pode substituir a revisão da qualidade factual.

O experimento também enfrenta incerteza devido à repetição limitada. Uma execução por célula não consegue caracterizar a variabilidade de respostas amostradas. Algumas medições de linha de base do DeepSeek usaram uma versão mais antiga do mecanismo, o que complica ainda mais a atribuição.

Os dados de ajuste criam uma preocupação separada. Os rótulos de correção vieram de rastros matemáticos nos quais uma resposta podia ser identificada. Pesquisa aberta, análise de documentos e planejamento raramente oferecem um limite de interrupção tão claro.

Um detector ajustado para conclusão matemática pode reconhecer padrões úteis em outros contextos, como sugerem os exemplos com agentes. No entanto, a transferência para algumas tarefas não estabelece um comportamento confiável em domínios desconhecidos. Um sinal de interrupção confiante ainda pode acompanhar uma conclusão incorreta.

Pesquisas anteriores sobre sondagem antecipada oferecem contexto para essa preocupação. Seus resultados incluem limites de generalização entre domínios de tarefas. Isso apoia testar o detector em novas categorias, em vez de presumir que um sinal de conclusão seja universal.

O acompanhamento de 17 de novembro também exige tratamento separado. O repositório do projeto descreve um experimento com Qwen3.5-0.8B que altera três linhas de saída e avalia todos os 500 problemas do MATH-500. Ele relata 276 respostas corretas, contra 261 em uma amostra de referência externa selecionada.

Esses números pertencem a um modelo e uma intervenção diferentes. Eles não podem ampliar o resultado original de oito problemas para uma validação de benchmark completo do método de uma linha. A referência externa também requer escrutínio antes que os leitores a tratem como uma linha de base controlada.

O acompanhamento relata explicitamente looping substancial na fase de resposta e tags de fechamento repetidas. Portanto, sua avaliação mais ampla acrescenta evidências sobre modos de falha, além de capacidade. Maior cobertura de benchmark não elimina diferenças no desenho experimental.

O status atual é, consequentemente, específico: um mecanismo inspecionável, comparações pequenas encorajadoras e problemas comportamentais documentados. Os resultados não foram reproduzidos de forma independente para este artigo. Uma alegação geral de precisão preservada excederia as evidências disponíveis.

O próximo teste é a conclusão confiável de tarefas

O próximo marco útil é uma melhoria repetível em tarefas concluídas, com a resposta final e as condições de implantação plenamente consideradas. Três desenvolvimentos esclareceriam se isso se torna uma opção confiável.

Primeiro, uma replicação independente em execução real deve testar a configuração original de uma linha do Qwen em mais problemas e amostras repetidas. Corresponder arquivos de modelo, prompts, orçamentos e versões de mecanismo tornaria a comparação mais fácil de interpretar. Relatar todas as falhas seria tão importante quanto relatar a redução média de tokens.

Uma redução repetida nos tokens totais sem perda significativa de precisão fortaleceria a alegação original. Interrupções prematuras frequentes ou resultados instáveis a enfraqueceriam. Qualquer um dos resultados seria mais informativo do que outro exemplo isolado com grande economia percentual.

Segundo, as avaliações devem acompanhar fluxos de trabalho completos de agentes e o comportamento da fase de resposta. As medidas relevantes incluem sucesso da tarefa, declarações sem sustentação, tokens repetidos, chamadas de ferramentas e tempo decorrido. Apenas as contagens de tokens de raciocínio deixam uma parte grande demais da experiência do usuário sem medição.

Isso é particularmente importante quando o modelo lê informações em mudança ou responde a erros. O mecanismo de interrupção deve preservar o trabalho deliberado quando uma tarefa se torna mais difícil. Também deve evitar empurrar raciocínio inacabado para a resposta ou aumentar o uso corretivo de ferramentas.

Para desenvolvedores que criam assistentes em torno de documentos técnicos, preservar evidências de avaliação torna as comparações mais úteis. Uma base de conhecimento pesquisável pode manter prompts, casos de falha e decisões disponíveis para revisão posterior. Essa documentação apoia a avaliação sem fornecer evidências sobre a qualidade do modelo em si.

Terceiro, testes mais amplos devem estabelecer o quanto a edição é sensível ao empacotamento do modelo e às condições de execução. As diferenças relatadas no caminho de captura já mostram que os detalhes de implementação podem importar. Um artefato reutilizável precisa de verificações além do carregamento bem-sucedido em um único mecanismo.

Evidências de comportamento estável em configurações compatíveis fortaleceriam o argumento de implantação. A recalibração repetida para cada configuração reduziria essa vantagem. O experimento mais recente de três linhas deve permanecer identificado separadamente durante todas essas comparações.

Para compradores, esses sinais se traduzem em uma exigência direta: solicite evidências de tarefas concluídas em condições semelhantes ao uso real. Pergunte se as economias incluem respostas visíveis e novas tentativas. Pergunte se a comparação usa o mesmo mecanismo e se saídas incorretas recebem o mesmo escrutínio.

A ideia original continua valendo a pena acompanhar porque torna a interrupção adaptativa excepcionalmente fácil de distribuir. Depois de preparado, o detector acompanha os pesos. O desafio restante é estabelecer quando essa conveniência produz economias confiáveis.

Antes de adotar a saída antecipada do think-graft, leia as falhas registradas junto com os rastros bem-sucedidos. Compare os modelos original e editado em tarefas que você já entende, incluindo casos que exigem correção após uma primeira resposta plausível. Mantenha geração total, qualidade de conclusão e tempo decorrido visíveis na mesma revisão. Trate o artefato de uma linha e o acompanhamento de três linhas como experimentos separados, com evidências separadas. A pergunta útil é se um encerramento mais cedo ajuda o modelo a entregar um resultado correto e utilizável dentro das suas restrições. Acompanhe a próxima replicação independente para obter essa resposta e avalie o método pelo trabalho que ele conclui.

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page