think-graft 以一行權重測試提早退出
think-graft 的提早退出功能會修改輸出層其中一行,並報告在八道保留數學題中,生成 token 數量減少 54%。兩個模型版本均正確回答全部八題。這項結果引出一個實際問題:模型在已找到答案後,還需要多少推理?
開發者 Vaibhav 於 2026 年 11 月 15 日發表這項實驗,使用 Qwen3.5-4B 和 DeepSeek V4.1 Flash。這項改動旨在令模型內部狀態看似已完成工作時,更有可能結束其推理草稿。其吸引力在於部署簡單:停止機制會成為權重檔案的一部分。
核心比較在於自適應停止與固定推理上限。固定預算可能中斷有用的工作,亦可能容許重複檢查持續進行。包括 Thinkless 及隱藏狀態驗證研究在內的早期研究,已探討這個問題。此實驗則探索停止訊號能否直接存在於模型內部,而毋須額外元件同步運行。
think-graft 的提早退出針對停止決策
報告中的改動關乎何時結束推理,而非模型如何進行每一步推理。 這個分別同時解釋了實驗的潛力及其有限範圍。
推理模型會生成草稿,即在產生最終答案前使用的中間文字序列。在測試配置中,特殊 token </think> 標示離開該草稿的轉換點。實驗修改負責評估該 token 的權重。
Vaibhav 的一行實驗描述了記錄數學回答中反覆出現的模式。模型先陳述正確答案,然後透過替代推導及重複驗證繼續檢查。有時,這些檢查會在最終答案出現前耗盡餘下生成預算。
擬議干預採用線性探針,即用於辨識模型內部數值表示中某種模式的加權計算。這裡的模式代表正確答案出現後的段落結尾。預期行為具選擇性:保留搜尋過程,然後縮短重複的尾段。
這是「提早退出」一詞的重要限定。模型在生成每個 token 時,並不會跳過其內部計算層。相反,它會在轉入答案階段前生成較少推理 token。每個餘下 token 仍需要模型進行一般計算。
原始 Qwen 實驗使用 Q8_0 格式的 Qwen3.5-4B,即八位元權重格式,於配備 8GB 記憶體的 RTX 4060 Laptop GPU 上運行。Vaibhav 表示使用未經修改的 llama.cpp 推論引擎,即執行模型的軟件。停止調整已嵌入所得模型檔案。
不過,準備該檔案仍需要大量實驗工作。作者生成推理軌跡、記錄內部狀態、分配標籤、擬合探針,並校準其強度。在 24 道擬合題中,22 道產生可用軌跡,即正確答案在推理期間出現。
因此,稱這種方法為免訓練需要精確定義。作者並未進行基於梯度的模型訓練,亦即透過反覆最佳化步驟更新權重。然而,此方法仍從帶標籤例子中學習統計區別。它既不是免數據,亦不是免校準。
這項分別對比較實施成本的開發者尤其重要。可重用的已編輯檔案可在準備後簡化部署,但並不會免除為特定模型確認編輯行為正確所需的工作。
這次發表亦只是個別開發者實驗,而非 Qwen 或 DeepSeek 的公告。其效能數字仍屬作者報告。現有材料有助檢視機制及嘗試複現,但不足以證明其跨任務的一般可靠性。
固定預算令有用答案無法完成
最明確的實際主張,是在固定預算內提升完成率,而不是全面提升推理能力。 所選的競賽數學結果令這個分別尤其重要。
在三道設有 32,000-token 預算的 AIME 2025 題目中,原始 Qwen 配置未能產生任何成功的最終答案。已編輯版本則正確回答兩題。根據 Vaibhav 的說法,原始軌跡在重複檢查耗盡預算前,已包含正確答案。
這形成一種特定失敗模式。模型可以擁有有用的中間結果,卻未能交付完整回答。在嚴格生成上限下,若模型從未進入答案階段,額外檢查反而可能降低量度到的成功率。
結果不應被解讀為證明原始模型永遠無法解決這些題目。較大的預算會改變比較結果。作者明確將實驗定位為改善既有預算如何轉化為完整答案。
對運行本地助理的開發者而言,這項分別有實際影響。使用者收到的是最終回應,而不是埋藏在未完成草稿中的答案。因此,停止機制必須保留有用推理,同時讓模型完成回應。
固定上限提供可預測的資源邊界,但無法辨識某個特定回應內正在發生的事。同一上限同時適用於模型正在發現解法,以及正在重述解法的情況。降低上限可處理消耗,卻無法區分這些情況。
關閉思考功能則是另一個粗糙替代方案。它會在整個回應中移除草稿,包括審慎推理有助益的情況。自適應機制則嘗試辨識何時繼續生成草稿已不再帶來足夠價值。
競爭背景包括在模型訓練期間學習這項選擇的方法。自適應推理選擇於 Thinkless 中提出,訓練模型在較短回應與延長推理之間作出選擇。其作者採用強化學習,即由結果導向回饋驅動的最佳化過程。
該方法與 think-graft 透過不同干預方式追求相關的效率目標。Thinkless 透過專門訓練程序改變行為。一行實驗則擬合既有內部資訊的讀出方式,並將其置入模型的停止決策中。
這些不是可直接比較的基準勝利。它們使用不同模型、評估條件及效率定義。較有價值的比較在於控制位於何處,以及每種方法需要甚麼準備工作。
即時壓力落在為開放權重模型選擇推理控制方式的開發者身上。若小型輸出編輯可經受更廣泛測試,他們便多了一個固定上限及獨立訓練變體以外的選項。在此之前,可預測的預算設定仍具重要操作優勢。
對企業買家而言,相關問題仍是在資源限制下完成任務的質素。較短草稿只有在最終回應仍然準確、完整及有用時才有幫助。單靠減少 token 無法回答這個問題。
擬合訊號成為權重的一部分
部署構想是將偵測器整合到模型本已執行的運算中。 這可移除獨立的執行時決策,但偵測器品質仍取決於其準備工作。
隱藏狀態是模型根據至今處理的文字計算出的數值表示。輸出層會將該表示轉換為 token 分數。詞彙表中的每個 token 都有對應權重行,為其分數作出貢獻。
logit 是 token 在轉換為機率前的分數。在實驗中,</think> logit 會獲得擬合探針的額外貢獻。較強的完成訊號會提高模型結束草稿的可能性。
代數關係相當直接。將探針向量加入結束 token 的權重行,便可將其計算整合到既有輸出層乘法中。推論引擎毋須呼叫第二個分類器,亦毋須透過額外應用程式碼檢查生成段落。
作者使用收縮線性判別分析來擬合該向量,這是一種在穩定估計的同時分隔帶標籤群組的統計方法。正例為正確答案首次出現後所選取的段落結尾。負例包括較早的解題位置,以及段落內其他位置。
這些負例承擔了方法的大部分實際重任。只辨識數學信心的偵測器,可能在必要修正前觸發。所需的區別較為狹窄:在合適停止點完成的工作,與所有應繼續的內容之間的分別。
強度設定控制擬合訊號對結束 token 的影響程度。Vaibhav 在報告實驗中使用數值 14。校準結果顯示,隨著設定變得更進取,過早停止風險會增加。
這令提早停止成為控制問題,而不是免費減少運算。較強干預可減少更多檢查,卻亦提高中斷有用工作的機會。所選設定反映了根據現有軌跡,就該平衡所作的判斷。
「一行」的描述背後亦有封裝細節。Qwen3.5-4B 在輸入嵌入與輸出頭之間共享權重。已編輯檔案加入獨立輸出頭,令結束 token 的輸入表示保持不變。
因此,「一行」描述的是目標行為修改。它不表示每個模型檔案都能接受完全相同的位元層級修補。權重共享及檔案表示會影響編輯必須如何封裝。
更廣泛的科學前提早於這次發表。隱藏狀態自我驗證研究探討內部表示能否揭示中間答案的正確性,亦檢視如何利用這些訊號提早終止推理。
另一項關於推理強度規劃的研究,將內部方向與推理長度及結束 token 的分數連結起來。這些研究為該機制提供相關背景,但並未獨立驗證 Vaibhav 的特定探針或報告結果。
精確性的主張同樣需要謹慎處理。在固定記錄的隱藏狀態下,經修改的結束 token 分數會直接遵循權重編輯。這個數學關係並不能證明整段生成回應能被精確重播。
作者於 11 月 17 日就限制候選 token 的採樣方法澄清了這項分別。這類採樣改動可能改變所選的後續內容。一旦生成文字出現分歧,後續隱藏狀態亦可能隨之分歧。
因此,要理解 think-graft 的運作,必須區分局部方程與完整行為預測。該方程描述特定分數改動。可靠部署仍需要即時生成測試,以捕捉該改動帶來的後果。
標題所述的節省來自狹窄比較
初步量度結果值得進一步研究,但其分母不足以支持廣泛的效能主張。 每個報告結果所回答的問題,都比標題中的百分比所暗示的範圍更小。
就 Qwen3.5-4B 而言,主要比較涵蓋從 MATH-500(一道數學評估題目集合)抽出的八道保留題目,並未涵蓋整個基準測試。每個模型配置均為每道題目生成一個樣本。
兩個配置均正確回答全部八題。生成 token 總數由 34,955 降至 16,080,即報告所稱的 54% 減幅。思考 token 則由 30,452 降至 12,263,另有約 60% 的減幅。
這個區分相當重要,因為結束 scratchpad 可能會將工作轉移至可見答案。只量度思考 token,可能誇大整體生成量的減幅。Qwen 的比較同時報告兩個類別,讓讀者可分辨兩者。
DeepSeek 實驗則引入不同的硬件情況。Vaibhav 表示,他以經修改的引擎執行 DeepSeek V4.1 Flash,這是一個 7,630 億參數模型,採用佔用 243GB 的兩位元格式。模型專家模組透過固態儲存裝置串流載入。
該手提電腦有 30GB 系統記憶體及 8GB GPU。這並不代表完整模型可放入 8GB GPU 記憶體。儲存裝置串流是此設定的核心,也是避免產生不必要 token 的實際動機。
在七道被重點列出的數學題目中,原始最高努力配置答對六題,經修改版本則答對七題。然而,另外兩道保留題目在兩個配置中均耗盡預算。將它們納入計算後,九道題目中分別有六個與七個成功答案。
報告所稱的 40% token 減幅使用另一個分母:兩個配置均能解答的六道題目。它們的總數由 41,559 token 降至 25,112 token。此比較聚焦於共同成功的案例,而非聲稱每道嘗試題目均有一致減幅。
代理實驗的範圍更窄。代理是透過工具採取行動、由模型驅動的系統。這裏的主要任務是在終端機編碼流程中建立一個麵包店網站。
經修改的 DeepSeek 運行使用了 2,062 個思考 token,而原始中等努力運行使用了 13,106 個。這支持該任務思考量減少 84% 的報告,但不代表總運行時間減少 84%。
質素評分亦需要註明來源。ChatGPT 在沒有模型標籤的情況下評估截圖,給予修改後輸出 10 分中 9.5 分,原始輸出則為 8.2 分。這是自動化偏好判斷,並非獨立的人類可用性研究。
作者將 scratchpad 內反覆草擬描述為浪費工作的來源。每步上限打斷這些草稿後,模型有時會重新開始。據報,該修改減少了所選任務中的這種行為。
這些觀察具有價值,因為它們指出了可供研究的具體行為。它們仍是特定模型、引擎及任務設定下的單次結果,不能證明同一修改一般都能改善編碼代理。
綜合而言,結果顯示存在效率改善的機會,但亦有多個量度界線。完成答案、總 token、思考 token、運行時間及輸出質素描述的是不同結果。可信的評估必須保留這些區分,而非將它們合併成單一的改善主張。
提早停止可能揭示不同失敗模式
模型即使更早結束 scratchpad,仍可能繼續檢查、重複特殊 token,或作出缺乏支持的主張。 可見答案必須仍是評估的一部分。
Vaibhav 報告指出,部分經修改的 DeepSeek 數學答案出現額外的 </think> token。所提出的解釋直接源於該機制:若答案階段的檢查與 scratchpad 檢查相似,同一個擬合訊號便可能在預期轉換後啟動。
這是僅修改權重列介入方式的一項重要限制。經改動的輸出列在整個生成過程中仍然存在;模型進入另一階段時,其影響不會自動消失。
作者報告指出,在另一個變體中,加入答案文字作為負面例子可移除這些游離標籤。這項發現提出了一種可能的修復方法,但亦再次突顯標註的重要性。行為取決於擬合程序教會探針忽略甚麼。
部分檢查亦移至可見答案之中。在一個報告的 DeepSeek 例子中,答案本身包含 3,611 個 token。整體回應仍較短,但 scratchpad 的減少並未消除後續所有驗證工作。
這造成面向使用者的取捨。較短的隱藏推理階段,可能產生較長或較不精煉的可見回應。應用程式必須評估輸出是否更易使用,而非假設每個更早的結束 token 都會改善體驗。
數據分析任務提供另一項警示。根據作者的評分,經修改配置識別出的植入發現稍多,但它亦作出兩項錯誤主張,原始比較運行則只有一項。
該比較使用不同努力設定,增加另一項限制:它無法將權重修改隔離為唯一具意義的差異。不過,這仍顯示節省 token 的結果不能取代對事實質素的審核。
實驗亦受限於重複次數不足所帶來的不確定性。每個組合只運行一次,無法描述抽樣回應的變異性。部分 DeepSeek 基線量度使用較舊的引擎版本,亦令歸因更為複雜。
擬合數據帶來另一項疑慮。正確性標籤來自可識別答案的數學推理軌跡。開放式研究、文件分析及規劃,很少有如此清晰的停止邊界。
正如代理例子所示,在數學完成情況下擬合的偵測器,或許可在其他地方辨識有用模式。然而,轉移至少數任務並不能證明其可在陌生領域中可靠運作。自信的停止訊號仍可能伴隨錯誤結論。
較早的 probing 研究為這項疑慮提供背景。其發現包括跨任務領域泛化能力的限制。這支持在新類別上測試偵測器,而非假定完成訊號具有普遍性。
11 月 17 日的後續結果亦需要分開處理。project repository 描述了一項 Qwen3.5-0.8B 實驗,修改三個輸出列,並評估全部 500 道 MATH-500 題目。它報告答對 276 題,而選定的外部參考樣本答對 261 題。
這些數字屬於不同模型及不同介入方式,不能將原本八題的結果擴展為對單列方法的完整基準驗證。在讀者將外部參考視為受控基線前,它亦需要接受審視。
後續研究明確報告大量答案階段迴圈,以及重複的結束標籤。因此,其較廣泛評估既增加了有關能力的證據,亦增加了失敗模式的證據。更多基準覆蓋不會消除實驗設計上的差異。
因此,目前狀況相當具體:有一個可檢視的機制、令人鼓舞的小規模比較,以及已有記錄的行為問題。本文結果尚未獲獨立重現。聲稱準確度得以普遍保留,將超出現有證據所能支持的範圍。
下一項測試是可靠完成任務
下一個有用里程碑,是在完整計入最終答案及部署條件後,看到可重複的任務完成改善。 三項發展可釐清這會否成為可靠選項。
首先,獨立的實際重現應在更多題目及重複樣本上測試原始單列 Qwen 配置。配對模型檔案、提示、預算及引擎版本,會令比較更易解讀。報告每一宗失敗的重要性,與報告平均 token 減幅同樣高。
若總 token 持續減少而準確度沒有顯著損失,將會強化原始主張。若經常過早停止或結果不穩定,則會削弱主張。無論哪種結果,都會比另一個節省幅度很大的孤立例子更具資訊價值。
其次,評估應追蹤完整的代理工作流程及答案階段行為。相關量度包括任務成功、缺乏支持的陳述、重複 token、工具呼叫及經過時間。單靠思考 token 計數,仍有太多使用者體驗未被量度。
當模型讀取持續變動的資訊或回應錯誤時,這一點尤其重要。當任務變得更困難,停止機制必須保留審慎工作;它亦必須避免將未完成的推理推入答案,或增加修正性工具使用。
對於圍繞技術文件建立助理的開發者而言,保存評估證據能使比較更有用。可搜尋知識庫 可保留提示、失敗案例及決策,以供日後檢閱。這類文件記錄可支援評估,但本身並不構成模型質素的證據。
第三,較廣泛測試應釐清這項修改對模型封裝及執行條件的敏感程度。已報告的擷取路徑差異已顯示,實作細節可能很重要。可重用的成品需要的檢查,不應僅限於能否在一個引擎中成功載入。
在受支援配置中有穩定行為的證據,會強化部署論點。若每個配置均需重複校準,該優勢便會收窄。較新的三列實驗應在整個比較過程中保持獨立標識。
對買方而言,這些訊號可轉化為直接要求:索取在近似實際使用條件下的完整任務證據。詢問節省是否包括可見答案及重試;詢問比較是否使用同一引擎,以及錯誤輸出是否獲同等審視。
原始構想仍值得追蹤,因為它令自適應停止方式異常容易分發。偵測器一旦準備好,便可隨權重一同流通。餘下挑戰是確立何時這種便利能帶來可靠節省。
在採用 think-graft 早期退出前,應連同成功推理軌跡一併閱讀已記錄的失敗。應在你已了解的任務上比較原始及經修改模型,包括在看似合理的首個答案後仍需修正的案例。於同一審視中保留總生成量、完成質素及經過時間。將單列成品與三列後續研究視為具有各自證據的獨立實驗。真正有用的問題,是較早結束能否協助模型在你的限制內交付正確、可用的結果。請留意下一次獨立重現以取得答案,並按其完成的工作來評價這種方法。



