think-graft prueba la salida temprana con una fila de pesos
La salida temprana de think-graft cambia una fila de la capa de salida y reporta un 54 % menos de tokens generados en ocho problemas de matemáticas reservados para evaluación. Ambas versiones del modelo respondieron correctamente los ocho. El resultado plantea una pregunta práctica: ¿cuánto razonamiento necesita un modelo después de haber encontrado ya la respuesta?
El desarrollador Vaibhav publicó el experimento el 15 de noviembre de 2026, usando Qwen3.5-4B y DeepSeek V4.1 Flash. El cambio propuesto aumenta la probabilidad de terminar el borrador de razonamiento de un modelo cuando su estado interno se parece a un trabajo completado. Su atractivo reside en la simplicidad de despliegue: el mecanismo de detención pasa a formar parte del archivo de pesos.
La cuestión central enfrenta la detención adaptativa con los límites fijos de razonamiento. Un presupuesto fijo puede interrumpir trabajo útil o permitir comprobaciones repetitivas. Investigaciones anteriores, incluidas Thinkless y trabajos sobre verificación de estados ocultos, ya abordan ese problema. Este experimento explora si una señal de detención puede incorporarse al propio modelo, sin un componente adicional ejecutándose en paralelo.
La salida temprana de think-graft apunta a la decisión de detenerse
El cambio reportado se refiere al momento en que termina el razonamiento, no a cómo el modelo realiza cada paso de razonamiento. Esa distinción explica tanto la promesa del experimento como su alcance limitado.
Los modelos de razonamiento generan un borrador, una secuencia de texto intermedia utilizada antes de producir su respuesta final. En las configuraciones probadas, el token especial </think> marca la transición fuera de ese borrador. El experimento modifica los pesos responsables de puntuar ese token.
El experimento de una fila de Vaibhav describe un patrón recurrente en respuestas matemáticas registradas. El modelo formula una respuesta correcta y luego sigue comprobándola mediante derivaciones alternativas y verificaciones repetidas. A veces, esas comprobaciones consumen el presupuesto de generación restante antes de que aparezca una respuesta final.
La intervención propuesta utiliza una sonda lineal, un cálculo ponderado que identifica un patrón en la representación numérica interna del modelo. Aquí, ese patrón representa finales de párrafo después de que haya aparecido una respuesta correcta. El comportamiento previsto es selectivo: conservar la búsqueda y luego acortar la cola repetitiva.
Esta es una precisión importante sobre la expresión «salida temprana». El modelo no omite sus capas computacionales internas al generar cada token. En cambio, genera menos tokens de razonamiento antes de pasar a su fase de respuesta. Cada token restante sigue requiriendo el cálculo habitual del modelo.
El experimento original con Qwen utilizó Qwen3.5-4B en Q8_0, un formato de pesos de ocho bits, ejecutándose en una GPU RTX 4060 Laptop con 8 GB de memoria. Vaibhav informa que utilizó un motor de inferencia llama.cpp sin modificar, el software que ejecuta el modelo. El ajuste de detención se integró en el archivo de modelo resultante.
Preparar ese archivo aún requirió un trabajo experimental considerable. El autor generó trazas de razonamiento, registró estados internos, asignó etiquetas, ajustó la sonda y calibró su intensidad. De 24 problemas de ajuste, 22 produjeron trazas utilizables en las que la respuesta correcta apareció durante el razonamiento.
Por tanto, describir el método como libre de entrenamiento requiere un significado preciso. El autor no realizó entrenamiento del modelo basado en gradientes, que actualiza los pesos mediante pasos repetidos de optimización. Sin embargo, el método sigue aprendiendo una distinción estadística a partir de ejemplos etiquetados. No está libre de datos ni de calibración.
Esta distinción importa a los desarrolladores que comparan costes de implementación. Un archivo editado reutilizable puede simplificar el despliegue después de la preparación. No elimina el trabajo necesario para establecer que la edición se comporta correctamente en un modelo concreto.
El lanzamiento es además un experimento de un desarrollador individual, no un anuncio de Qwen ni de DeepSeek. Sus cifras de rendimiento siguen siendo reportadas por el autor. Los materiales disponibles permiten examinar el mecanismo e intentar reproducirlo, pero no establecen una fiabilidad general en distintas tareas.
Los presupuestos fijos dejan respuestas útiles sin terminar
La afirmación práctica más clara es una mejor finalización dentro de un presupuesto fijo, no un aumento general de la capacidad de razonamiento. Los resultados seleccionados de matemáticas competitivas hacen que esta distinción sea especialmente importante.
En tres problemas de AIME 2025 con un presupuesto de 32.000 tokens, la configuración original de Qwen no produjo respuestas finales correctas. La versión editada respondió correctamente dos. Según Vaibhav, las trazas originales ya contenían las respuestas correctas antes de que las comprobaciones repetidas agotaran sus presupuestos.
Esto crea un modo de fallo específico. Un modelo puede tener un resultado intermedio útil y, aun así, no entregar una respuesta completada. Bajo un límite estricto de generación, comprobaciones adicionales pueden reducir el éxito medido si el modelo nunca alcanza su fase de respuesta.
El resultado no debe interpretarse como prueba de que el modelo original nunca podría resolver esos problemas. Un presupuesto mayor cambia la comparación. El autor presenta explícitamente el experimento como una mejora de cómo un presupuesto existente se traduce en respuestas completadas.
Para los desarrolladores que operan asistentes locales, esta distinción tiene consecuencias prácticas. Los usuarios reciben la respuesta final, no crédito por una respuesta enterrada en un borrador inacabado. Por lo tanto, un mecanismo de detención debe preservar el razonamiento útil y permitir al modelo terminar su respuesta.
Los límites fijos ofrecen fronteras de recursos predecibles, pero no reconocen lo que sucede dentro de una respuesta concreta. El mismo límite se aplica cuando un modelo está descubriendo una solución y cuando está reformulando una. Reducir ese límite aborda el consumo sin distinguir esas situaciones.
Desactivar el razonamiento crea otra alternativa poco precisa. Elimina el borrador durante toda la respuesta, incluso en situaciones en las que el razonamiento deliberado ayudaría. En cambio, un mecanismo adaptativo intenta reconocer cuándo una mayor generación del borrador ha dejado de aportar suficiente valor.
El contexto competitivo incluye enfoques que aprenden esta elección durante el entrenamiento del modelo. La selección adaptativa de razonamiento, descrita en Thinkless, entrena un modelo para elegir entre respuestas más cortas y razonamiento extendido. Sus autores utilizan aprendizaje por refuerzo, un proceso de optimización impulsado por comentarios basados en resultados.
Ese enfoque y think-graft persiguen objetivos de eficiencia relacionados mediante intervenciones distintas. Thinkless cambia el comportamiento a través de un procedimiento de entrenamiento dedicado. El experimento de una fila ajusta una lectura de información interna existente y la inserta en la decisión de detención del modelo.
No se trata de victorias comparables en benchmarks. Utilizan modelos, condiciones de evaluación y definiciones de eficiencia diferentes. La comparación útil se refiere a dónde reside el control y qué preparación requiere cada enfoque.
La presión inmediata recae en los desarrolladores que eligen controles de razonamiento para modelos de pesos abiertos. Si una pequeña edición de salida resiste pruebas más amplias, obtendrán otra opción además de los límites fijos y las variantes entrenadas por separado. Hasta entonces, los ajustes de presupuesto predecibles conservan una importante ventaja operativa.
Para los compradores empresariales, la pregunta relevante sigue siendo la calidad de las tareas completadas bajo restricciones de recursos. Un borrador más corto ayuda solo cuando la respuesta final sigue siendo precisa, completa y útil. La reducción de tokens por sí sola no puede responder a esa pregunta.
Una señal ajustada pasa a formar parte de los pesos
La idea de despliegue consiste en integrar un detector en una operación que el modelo ya realiza. Esto elimina una decisión separada en tiempo de ejecución, aunque la calidad del detector sigue dependiendo de su preparación.
Un estado oculto es la representación numérica que el modelo calcula a partir del texto procesado hasta el momento. La capa de salida convierte esa representación en puntuaciones de tokens. Cada token del vocabulario tiene una fila de pesos correspondiente que contribuye a su puntuación.
Un logit es la puntuación de un token antes de convertirse en una probabilidad. En el experimento, el logit de </think> recibe una contribución adicional de la sonda ajustada. Una señal de finalización más fuerte aumenta la probabilidad de que el modelo termine su borrador.
El álgebra es sencilla. Añadir el vector de la sonda a la fila de pesos del token de cierre incorpora su cálculo a la multiplicación ya existente de la capa de salida. El motor de inferencia no necesita llamar a un segundo clasificador ni inspeccionar los párrafos generados mediante código adicional de aplicación.
El autor ajusta ese vector mediante análisis discriminante lineal con contracción, un método estadístico que separa grupos etiquetados mientras estabiliza sus estimaciones. Los ejemplos positivos se seleccionan entre finales de párrafo posteriores a la primera aparición de la respuesta correcta. Los ejemplos negativos incluyen posiciones de resolución anteriores y otras posiciones dentro de los párrafos.
Esos ejemplos negativos soportan buena parte de la carga práctica del método. Un detector que simplemente reconociera confianza matemática podría activarse antes de una corrección necesaria. La distinción deseada es más estrecha: trabajo completado en un punto adecuado para detenerse frente a todo aquello que debería continuar.
Un ajuste de intensidad controla cuánto influye la señal ajustada en el token de cierre. Vaibhav utilizó un valor de 14 en los experimentos reportados. Los resultados de calibración muestran un riesgo creciente de detención prematura a medida que ese ajuste se vuelve más agresivo.
Esto convierte la detención temprana en un problema de control, no en una reducción gratuita de computación. Una intervención más fuerte elimina más comprobaciones, pero también aumenta la probabilidad de interrumpir trabajo útil. El ajuste seleccionado refleja un juicio sobre ese equilibrio dentro de las trazas disponibles.
También hay un detalle de empaquetado detrás de la descripción de una fila. Qwen3.5-4B comparte pesos entre sus embeddings de entrada y su cabeza de salida. El archivo editado añade una cabeza de salida separada para que la representación de entrada del token de cierre permanezca sin cambios.
En consecuencia, «una fila» describe la modificación conductual dirigida. No significa que todos los archivos de modelo puedan recibir un parche idéntico a nivel de bytes. El uso compartido de pesos y la representación del archivo afectan a cómo debe empaquetarse la edición.
La premisa científica más amplia es anterior a este lanzamiento. La investigación sobre autoverificación de estados ocultos investigó si las representaciones internas revelan la corrección de respuestas intermedias. También examinó el uso de esas señales para terminar el razonamiento antes.
Trabajos separados sobre planificación de la intensidad del razonamiento vinculan direcciones internas con la longitud del razonamiento y la puntuación del token de cierre. Estos estudios aportan un contexto relevante para el mecanismo. No validan de forma independiente la sonda concreta de Vaibhav ni los resultados reportados.
La afirmación de exactitud también requiere cautela. En un estado oculto registrado y fijo, la puntuación modificada del token de cierre se deriva directamente de la edición de pesos. Esa relación matemática no establece una reproducción exacta de respuestas generadas completas.
El 17 de noviembre, el autor aclaró esta distinción para métodos de muestreo que restringen los tokens candidatos. Tales cambios de muestreo pueden alterar qué continuación se selecciona. Una vez que el texto generado diverge, los estados ocultos posteriores también pueden divergir.
Por tanto, entender cómo funciona think-graft requiere separar una ecuación local de una predicción completa del comportamiento. La ecuación describe un cambio específico de puntuación. Un despliegue fiable aún requiere pruebas de generación en vivo que capturen las consecuencias de ese cambio.
Los ahorros destacados provienen de comparaciones acotadas
Las mediciones iniciales justifican una investigación adicional, pero sus denominadores impiden hacer afirmaciones amplias sobre el rendimiento. Cada resultado comunicado responde a una pregunta más acotada de lo que podría sugerir un porcentaje destacado.
Para Qwen3.5-4B, la comparación principal cubre ocho problemas reservados extraídos de MATH-500, una colección de problemas de evaluación matemática. No cubre el benchmark completo. Cada configuración del modelo generó una muestra por problema.
Ambas configuraciones respondieron correctamente los ocho. El total de tokens generados cayó de 34.955 a 16.080, la reducción reportada del 54%. Los tokens de razonamiento cayeron de 30.452 a 12.263, una reducción independiente de aproximadamente el 60%.
Esta distinción importa porque finalizar el borrador de razonamiento puede trasladar trabajo a la respuesta visible. Medir solo los tokens de razonamiento corre el riesgo de exagerar la reducción en la generación total. La comparación de Qwen informa ambas categorías, lo que permite a los lectores distinguirlas.
El experimento de DeepSeek presenta una situación de hardware distinta. Vaibhav informa que ejecutó DeepSeek V4.1 Flash, un modelo de 763.000 millones de parámetros, en un formato de dos bits que ocupa 243GB. Los expertos del modelo se transmitían desde almacenamiento de estado sólido mediante un motor modificado.
El portátil tenía 30GB de memoria del sistema y una GPU de 8GB. Esto no significa que el modelo completo cupiera dentro de 8GB de memoria de GPU. La transmisión desde almacenamiento es central en la configuración y en la motivación práctica para evitar tokens innecesarios.
Entre siete problemas matemáticos destacados, la configuración original de esfuerzo máximo respondió correctamente seis, mientras que la versión editada respondió siete. Sin embargo, dos problemas reservados adicionales agotaron sus presupuestos en ambas configuraciones. Al incluirlos, se obtienen seis respuestas exitosas frente a siete en nueve problemas.
La reducción de tokens reportada del 40% utiliza otro denominador: los seis problemas que ambas configuraciones resolvieron. Sus totales bajaron de 41.559 a 25.112 tokens. Esa comparación aísla los éxitos compartidos, en lugar de informar una reducción uniforme en todos los problemas intentados.
El experimento con agentes es aún más limitado. Un agente es un sistema impulsado por un modelo que realiza acciones mediante herramientas. Aquí, la tarea principal consistía en crear el sitio web de una panadería mediante un flujo de programación en terminal.
La ejecución editada de DeepSeek utilizó 2.062 tokens de razonamiento, frente a 13.106 de la ejecución original de esfuerzo medio. Esto respalda la reducción reportada del 84% en razonamiento para esta tarea. No es una reducción del 84% en el tiempo total de ejecución.
La calificación de calidad también necesita atribución. ChatGPT calificó capturas de pantalla sin etiquetas de modelo, otorgando a la salida editada 9,5 sobre 10 y a la original 8,2. Es un juicio automatizado de preferencia, no un estudio independiente de usabilidad con personas.
El autor describe la redacción repetida dentro del borrador de razonamiento como una fuente de trabajo desperdiciado. Un límite por paso interrumpió esos borradores, tras lo cual el modelo a veces volvía a empezar. Según se informa, la edición redujo este comportamiento en la tarea seleccionada.
Estas observaciones son útiles porque identifican comportamientos concretos que investigar. Siguen siendo resultados de una sola ejecución con una configuración específica de modelo, motor y tarea. No pueden establecer que la misma edición mejore los agentes de programación en general.
En conjunto, los resultados sugieren una oportunidad de eficiencia con varios límites de medición. Las respuestas completadas, los tokens totales, los tokens de razonamiento, el tiempo de ejecución y la calidad de salida describen resultados distintos. Una evaluación creíble debe preservar esas distinciones en lugar de combinarlas en una sola afirmación de mejora.
Detenerse antes puede exponer fallos distintos
Un modelo que termina antes su borrador de razonamiento aún puede seguir verificando, repetir tokens especiales o hacer afirmaciones sin respaldo. La respuesta visible debe seguir formando parte de la evaluación.
Vaibhav informa tokens </think> adicionales en algunas respuestas matemáticas editadas de DeepSeek. La explicación propuesta se deriva directamente del mecanismo. Si la verificación en la fase de respuesta se parece a la verificación del borrador de razonamiento, la misma señal ajustada puede activarse después de la transición prevista.
Esa es una limitación relevante para una intervención basada solo en pesos. La fila de salida modificada permanece presente durante toda la generación. Su influencia no desaparece automáticamente cuando el modelo entra en una fase diferente.
El autor informa que añadir texto de respuesta como ejemplos negativos elimina estas etiquetas sueltas en una variante adicional. Ese hallazgo sugiere una posible corrección, pero también refuerza la importancia del etiquetado. El comportamiento depende de lo que el proceso de ajuste enseñe a la sonda a ignorar.
Parte de la verificación también se trasladó a la respuesta visible. En un ejemplo reportado de DeepSeek, la propia respuesta contenía 3.611 tokens. La respuesta general seguía siendo más corta, pero la reducción del borrador de razonamiento no eliminó toda la verificación posterior.
Esto crea una disyuntiva para el usuario. Una fase de razonamiento oculta más corta puede producir una respuesta visible más larga o menos pulida. Las aplicaciones deben evaluar si la salida se vuelve más fácil de usar, en lugar de asumir que cada token de cierre anticipado mejora la experiencia.
La tarea de análisis de datos ofrece otra advertencia. La configuración editada identificó ligeramente más de los hallazgos introducidos, según la puntuación del autor. También hizo dos afirmaciones falsas, frente a una de la ejecución de comparación original.
Esa comparación utilizó distintos niveles de esfuerzo, lo que añade otra limitación. No aísla la edición de pesos como la única diferencia relevante. Aun así, muestra por qué un resultado de ahorro de tokens no puede sustituir la revisión de calidad factual.
El experimento también afronta incertidumbre por la repetición limitada. Una ejecución por celda no puede caracterizar la variabilidad de las respuestas muestreadas. Algunas mediciones de referencia de DeepSeek usaron una compilación anterior del motor, lo que complica aún más la atribución.
Los datos de ajuste plantean una preocupación independiente. Las etiquetas de corrección procedían de trazas matemáticas en las que podía identificarse una respuesta. La investigación abierta, el análisis de documentos y la planificación rara vez ofrecen un límite de detención tan claro.
Un detector ajustado a la finalización matemática podría reconocer patrones útiles en otros contextos, como sugieren los ejemplos de agentes. Sin embargo, la transferencia a unas pocas tareas no establece un comportamiento fiable en dominios desconocidos. Una señal de detención confiada aún puede acompañar una conclusión incorrecta.
La investigación previa sobre sondeo temprano aporta contexto a esta preocupación. Sus hallazgos incluyen límites a la generalización entre dominios de tareas. Esto respalda probar el detector en nuevas categorías, en lugar de asumir que una señal de finalización es universal.
El seguimiento del 17 de noviembre también necesita un tratamiento independiente. El repositorio del proyecto describe un experimento con Qwen3.5-0.8B que modifica tres filas de salida y evalúa los 500 problemas de MATH-500. Informa 276 respuestas correctas, frente a 261 en una muestra de referencia externa seleccionada.
Estas cifras pertenecen a un modelo y una intervención distintos. No pueden ampliar el resultado original de ocho problemas hasta convertirlo en una validación de benchmark completo del método de una fila. La referencia externa también requiere escrutinio antes de que los lectores la consideren una línea de base controlada.
El seguimiento informa explícitamente de bucles sustanciales en la fase de respuesta y etiquetas de cierre repetidas. Por tanto, su evaluación más amplia añade evidencia sobre modos de fallo además de capacidad. Una mayor cobertura del benchmark no elimina las diferencias en el diseño experimental.
En consecuencia, el estado actual es específico: un mecanismo inspeccionable, comparaciones pequeñas alentadoras y problemas de comportamiento documentados. Los resultados no se han reproducido de forma independiente para este artículo. Una afirmación general de precisión preservada excedería la evidencia disponible.
La siguiente prueba es la finalización fiable de tareas
El siguiente hito útil es una mejora repetible en tareas completadas, con la respuesta final y las condiciones de despliegue plenamente consideradas. Tres avances aclararían si esto se convierte en una opción fiable.
En primer lugar, una replicación independiente en producción debería probar la configuración original de Qwen de una fila en más problemas y muestras repetidas. Igualar los archivos del modelo, los prompts, los presupuestos y las versiones del motor facilitaría interpretar la comparación. Informar de cada fallo importaría tanto como informar de la reducción media de tokens.
Una reducción repetida en los tokens totales sin una pérdida significativa de precisión reforzaría la afirmación original. Las detenciones prematuras frecuentes o los resultados inestables la debilitarían. Cualquiera de los dos resultados sería más informativo que otro ejemplo aislado con un gran ahorro porcentual.
En segundo lugar, las evaluaciones deberían seguir flujos de trabajo completos de agentes y el comportamiento en la fase de respuesta. Las medidas relevantes incluyen éxito de la tarea, afirmaciones sin respaldo, tokens repetidos, llamadas a herramientas y tiempo transcurrido. Los recuentos de tokens de razonamiento por sí solos dejan demasiada experiencia del usuario sin medir.
Esto es particularmente importante cuando el modelo lee información cambiante o responde a errores. El mecanismo de detención debe preservar el trabajo deliberado cuando una tarea se vuelve más difícil. También debe evitar trasladar razonamiento incompleto a la respuesta o aumentar el uso de herramientas correctivas.
Para los desarrolladores que crean asistentes en torno a documentos técnicos, preservar la evidencia de evaluación hace que las comparaciones sean más útiles. Una base de conocimiento con búsqueda puede mantener disponibles los prompts, los casos de fallo y las decisiones para su revisión posterior. Esa documentación respalda la evaluación sin aportar evidencia sobre la calidad del modelo en sí misma.
En tercer lugar, pruebas más amplias deberían establecer cuán sensible es la edición al empaquetado del modelo y a las condiciones de ejecución. Las diferencias reportadas en la ruta de captura ya muestran que los detalles de implementación pueden importar. Un artefacto reutilizable necesita comprobaciones que vayan más allá de una carga exitosa en un motor.
La evidencia de un comportamiento estable en las configuraciones compatibles reforzaría el argumento de despliegue. La recalibración repetida para cada configuración reduciría esa ventaja. El experimento más reciente de tres filas debe seguir identificándose por separado en todas esas comparaciones.
Para los compradores, estas señales se traducen en un requisito sencillo: solicitar evidencia de tareas completadas en condiciones similares al uso real. Pregunte si los ahorros incluyen respuestas visibles y reintentos. Pregunte si la comparación utiliza el mismo motor y si las salidas incorrectas reciben el mismo escrutinio.
La idea original sigue mereciendo atención porque hace que la detención adaptativa sea inusualmente fácil de distribuir. Una vez preparado, el detector viaja con los pesos. El desafío pendiente es establecer cuándo esa comodidad produce ahorros fiables.
Antes de adoptar la salida anticipada de think-graft, lea los fallos registrados junto con las trazas exitosas. Compare los modelos originales y editados en tareas que ya comprende, incluidos casos que requieran corrección después de una primera respuesta plausible. Mantenga visibles en la misma revisión la generación total, la calidad de finalización y el tiempo transcurrido. Trate el artefacto de una fila y el seguimiento de tres filas como experimentos separados con evidencia separada. La pregunta útil es si una finalización más temprana ayuda al modelo a ofrecer un resultado correcto y utilizable dentro de sus restricciones. Siga la próxima replicación independiente para obtener esa respuesta y juzgue el método por el trabajo que completa.



