Library of Layers 架構讓 Transformer 自行選擇層級順序
Library of Layers 架構挑戰固定的 Transformer 執行方式，讓模型在推理期間選擇下一個要運行的運算區塊。推理是訓練完成的模型產生答案的過程。LoL 不會為每個輸入遵循相同的內部序列，而是在可重用區塊之間選擇路徑。
這項研究提出一個具體問題：語言模型是否應同時學習運算的順序及其內容？對每個輸入都啟用主要運算區塊的密集型 Transformer，提供了熟悉的參考點。LoL 則令序列本身變得可自適應。
作者報告了具競爭力的文字建模表現，以及將執行路徑與解難策略連結的實驗。這些發現支持一個架構研究方向。但它們並未證明自適應模型會更準確地回答工作場所問題、在現有硬件上運行得更快，或表現得更安全。
Library of Layers 架構將執行順序變成可學習的選擇
LoL 將層級順序視為模型自行選擇的事物，而非其設計者在訓練前完全固定的設定。
Abdellah Rahmani、Sean McLeish、Ang Li、Sanae Lotfi、Pascal Frossard 及 Micah Goldblum 於 2026 年 11 月 2 日提交論文。他們提出的自適應層級排序方案，以一組共享的 Transformer 區塊為核心；這些可重用元件會處理模型的內部表徵。
新聞焦點在於這些元件之間所建議的關係。一個區塊可以參與不同的執行序列，使其位置取決於輸入。作者亦將資料庫規模與參數重用及稀疏性聯繫起來。稀疏性指在特定運算中只啟用可用模型容量的一部分。
這個分別相當重要，因為儲存某種能力和使用它是兩個不同的決定。模型可以包含許多專門元件，同時只啟用相對少數的元件；或者，它也可能重複使用一組較小的元件。LoL 將這些選擇置於一個共同的架構框架中。
可考慮一個說明性的軟件比較。程式可以先篩選記錄再排序，也可以先排序記錄再套用另一項操作。可用功能維持不變，但其組合方式會影響結果及所需工作量。
神經網絡不會自動取得那些軟件功能清晰的語義。其區塊包含學習得來的數值轉換，而非帶有明確契約、由人類編寫的程序。程式設計的類比說明其動機；它並不能證明每個區塊都實作了一個可辨識的演算法。
這正是論文前提的有用界線。自適應組合帶來另一個自由度。這種自由度是否能產生可重用技能、高效的專門化，或難以詮釋的相依關係，仍需實驗驗證。
直接受眾是正在決定如何組織模型容量的研究人員。對他們而言，這項方案改變了一項值得測試的架構假設。固定序列成為可用來評估自適應執行的基準。
對應用程式開發者而言，其影響仍屬間接。模型內部的改變不會自動改變應用程式的介面、檢索流程或權限系統。這些周邊元件仍然決定哪些資訊會傳到模型，以及模型輸出可觸發哪些操作。
因此，Library of Layers 架構作為一項建議中的運算設計，值得關注。其重要性取決於學習得來的執行順序能否帶來可量度的效益，而不只是另一種分配參數的方法。
這個問題亦構成故事的核心張力。靈活性引入額外選擇，而可靠部署則要求可預測的行為。研究必須顯示這些選擇何時改善運算，以及何時只會令事情更複雜。
固定執行面對更具體的效率問題
壓力落在架構假設上，而非某個具名聊天機械人或商業產品類別。
對模型設計者而言，效率涉及多種可能朝不同方向變化的資源。參數是模型儲存的學習得來數值。運算量衡量其執行的操作。記憶體用量和耗時則帶來額外限制。
減少一種資源未必會減少其他資源。重用區塊可以限制儲存的參數，卻仍可能需要重複運算。在許多區塊之中作出選擇，可以限制活躍運算量，同時保留可觀的儲存需求。
這令論文統合不同概念的企圖變得相關。研究人員不必把重用和選擇性啟用視為完全獨立的設計決定，而可以在一個共同的架構家族中研究兩者的關係。其實際價值會體現於不同配置之間更清晰的比較。
既有研究提供了有用的參考點。於 Switch Transformers 中發展的稀疏專家路由，會在替代元件之間作出選擇，同時限制活躍運算量。其作者亦指出通訊成本及訓練不穩定性是工程挑戰。
這段歷史說明，吸引人的運算圖表不能夠定論效率主張。元件必須接收資料、執行操作並傳回結果。這些工作的組織方式會影響理論節省是否有實際效用。
另一個參考是遞迴深度推理，它會反覆套用一個運算區塊，以增加內部處理。其作者研究在模型內投入額外運算，而非把每一步額外處理都表述成生成文字。
LoL 進入了一場已經關注選擇性執行和重複處理的研究討論。它的獨特方案關乎下一個應使用哪個可重用區塊。因此，比較時應檢視自適應排序在既有選擇以外帶來甚麼貢獻。
對模型訓練團隊而言，這種貢獻需要有具體表現。架構是否在相同資源預算下改善答案質素？它是否能在使用較少資源時維持質素？它是否提供較簡單設計所沒有的實用控制方式？
不同答案會支持不同的採用決定。研究團隊可能會接受額外的實作複雜度，以研究內部行為。生產團隊則可能要求先看到運作上的改善，才會改變其服務基礎設施。
企業買家面對的決定更為遙遠。他們很少直接選擇 Transformer 區塊的內部排序。他們會根據可觀察的特質選擇服務，包括準確度、回應速度、可靠性和管治。
當架構結果改變這些可觀察特質時，它才會具備商業關聯性。在此之前，買家應把它視為未來設計選項的證據，而非修改採購計劃的理由。
因此，對固定執行施加的壓力相當精確。其支持者毋須證明自適應不可能實現。自適應設計必須證明，與適當的比較基準相比，選擇執行路徑所帶來的效益足以抵銷其額外複雜度。
這是一場具建設性的研究競賽，因為無論結果如何都能帶來啟示。持續的收益將支持進一步投資自適應組合；持續的持平結果，則會把注意力引向可控性、可解釋性或實作簡易性，作為更相關的差異因素。
自適應層級排序在模型內加入一項決定
這個機制在「區塊計算甚麼」之外，加入第二個問題：此刻應執行哪一個區塊？
作者描述了一個固定開端和固定結尾包圍自適應中段的設計。路由器，即選擇區塊的元件，會為 token 視窗作出選擇。Token 是模型處理的文字單位。改變視窗邊界可容許資訊交換，同時保留因果處理，從而防止存取未來文字。
這項設計細節說明，自適應執行不只是隨意重排一份清單。語言模型必須利用其生成答案時可取得的資訊作出決定。否則，訓練可能獎勵在真實生成條件下無法運作的行為。
更廣泛的工程啟示關乎相依關係。每項運算選擇都會影響後續選擇可使用的內部表徵。因此，路由決定同時影響即時轉換，以及後續轉換所運作的條件。
這令自適應層級排序不同於選擇應用程式工具。軟件代理可透過可見介面選擇計算機或搜尋服務。內部路由則作用於使用者一般無法直接檢視的表徵。
這個類比仍有助識別一項評估要求。工具選擇在能夠持續選取合適操作時才有用。內部選擇亦應面對類似問題：模型所選的運算路徑是否改善任務結果？
僅有路徑多樣性無法回答這個問題。模型可以採取不同路徑，卻不會變得更準確。相反，有用的路徑或會共享大量結構，因為不同任務需要重疊的運算。
因此，研究人員需要介入，即刻意改變內部流程，然後量度其影響。觀察到關係只會提出假設；改變流程並量度結果，則可就其作用提供更有力的證據。
其他自適應運算研究突顯了界定確切決定的重要性。Mixture-of-Depths 的動態運算分配，會在受限的運算預算下，決定哪些 token 在特定層級獲得處理。這關乎 token 位置之間的分配。
對 LoL 而言，相關問題是可重用區塊的組合方式。這些方法可以同樣關注條件式運算，卻不代表作出相同的架構改變。評估應保留這個分別。
對開發者而言，一個有用的假設應用情境，是單一文件內存在不同需求。一份技術報告可能包含說明性文字、方程式和結構化記錄。可評估自適應模型的內部選擇，是否有助處理這些不斷變化的需求。
這個例子是建議中的評估情境，而非已報告的 LoL 部署。其價值在於把架構特徵與可觀察的要求連結起來。模型需要在正確處理各種內容類型的同時，保留整份文件中的事實關係。
同一個例子也揭示可能的複雜情況。局部運算選擇可能改善某一段落，卻削弱相隔甚遠段落之間的一致性。可信的評估應檢視完整答案，而非只獎勵孤立的成功。
Library of Layers 架構以新形式令這種互動變得可供實驗檢驗。它的實際價值將取決於研究人員能否把內部選擇與輸出層面的可靠改善連結起來。
路由實驗將路徑與解題策略連結起來
最值得關注的控制問題，是改變執行路徑會否改變模型解決問題的方式。
簡報的核心主張超越了可比較的語言模型表現。作者指出，LoL 為合成數獨與迷宮策略發展出不同路徑。他們報告指，強制選用特定路徑可以誘發相應策略。
這是一項有用的實驗，因為它區分了觀察模式與嘗試控制行為。與某項任務相關的路徑，可能只反映其輸入特徵。強制使用該路徑，則是在檢驗它會否有助決定後續運算。
不過，「策略」需要審慎詮釋。在受控謎題中，研究人員可界定可接受的步驟，並檢查軌跡是否遵循指定程序。開放式職場推理很少具備同樣完整的規則。
迷宮提供了一個有界環境。可行動作及目的地均可明確指定，亦可區分合法與不合法的軌跡。因此，較容易評估某項改變是否影響程序本身。
商業分析則呈現不同問題。多個結論都可能站得住腳，相關證據可能不完整，而合適方法亦可能取決於未明言的假設。僅符合可辨識的輸出模式，只能較弱地證明推理正確。
因此，遷移問題具有實質意義。在受限環境中發現的內部控制，當任務邊界變得模糊時，能否仍然有用？已報告的謎題結果提出了這個問題，但尚未作答。
多語言路由帶來相關議題。作者報告不同語言及文字系統之間存在不同排序模式。這些模式值得研究，但與語言相關的路線並不自動證明存在語言特定能力。
評估者會想知道，這些路線是否支援準確翻譯、保留原意，或處理混合語言段落。當獨特的內部行為與讀者在意的結果相連時，才具有實際價值。
與安全相關的路由更需要克制。作者報告指，路由特徵包含有助區分文字標籤的資訊。偵測某種特性與控制生成行為，仍是不同目標。
例如，系統或可辨識敏感主題，卻仍作出不恰當回應。它也可能避開明顯不安全的請求，卻錯誤處理討論相同詞彙的良性請求。單靠分類表現無法解決這些可能性。
作者的路由實驗報告序列層級安全探針的 AUROC 為 0.95。AUROC 衡量分類閾值範圍內，已標記類別之間的區分能力，並不衡量生成答案安全的機率。
這個分別應指引後續報道。高分類指標值得以其精確名稱及評估背景呈現。將其轉化為一般安全主張，便會抹去讀取訊號與成功改變行為之間的差異。
對整理技術證據的團隊而言，可搜尋知識庫可讓結果與其實驗條件保持連結。有用的記錄應包括改變了甚麼、量度了甚麼，以及所聲稱的效果在何處停止。
LoL 的控制實驗為研究人員提供了建立這類記錄的具體起點。若類似介入在使初步驗證成為可能的嚴格指定任務以外仍然有效，其意義將會增加。
競爭性結果仍留下多項部署問題
可比較的實驗表現足以支持進一步研究某種架構；部署則需要更廣泛的證據。
作者報告了 3.6 億及 10 億參數的實驗。這些是有意義的研究設定，但並不能獨立證明模型在其他規模下的行為。其稀疏專家比較亦令基準模型在訓練損失方面稍佔優勢。
訓練損失衡量模型配合訓練目標的程度。它有助比較學習行為，但未能涵蓋應用程式所需的所有品質。答案可以在統計上合理，卻未能滿足事實或程序要求。
當研究人員在不同實驗中使用「具競爭力」一詞時，便會產生量度問題。讀者應問：哪些因素保持不變、量度了甚麼，以及出現多少變異。某一指標相近，並不代表在所有指標上等同。
具參考價值的比較應區分架構彈性與周邊設計選擇。若模型在存取上下文的方式上不同，觀察到的部分差異可能源於這種存取方式。若其訓練程序不同，程序本身亦可能解釋另一部分差異。
這是一項評估原則，並非指 LoL 的結果無效。新架構往往需要協調的設計改動。分析工作的任務，是確定哪些改動促成哪些結果。
硬件效能提出另一個獨立問題。FLOPs，即浮點運算次數，計算算術工作量，卻不直接量度用戶等待答案的時間。資料搬移、排程及硬件利用率同樣影響這種體驗。
自適應模型可能減少部分算術運算，同時引入協調工作。相反，合適的實作也可能高效執行其選擇。這些可能性需要在實際服務系統上量度。
批次處理，即一併處理請求，尤其值得注意。當工作能夠有效分組時，服務系統便會受益。若請求遵循不同的內部路徑，實作必須在不犧牲預期效益下管理這些差異。
這項觀察提出了一項測試要求，並不證明 LoL 存在批次處理問題。相關證據應比較具代表性的工作負載，包括請求長度及運算需求的變化。
可靠性增加了另一個維度。平均表現良好的模型，對罕見輸入仍可能產生不穩定結果。自適應決策在研究這些失敗時，帶來額外的內部行為需要檢視。
嚴謹的評估應把失敗同時連結到輸入特徵及執行路徑。特定路徑是否反覆在同類任務上失敗？改變路徑會否在保留其他要求下提升準確度？這些改變能否重現？
控制亦需要與偵測分開評估。辨識某條路線與有害性相關，並不顯示封鎖該路線可產生恰當答案。介入可能移除有用能力，或將模型導向另一個同樣有問題的選項。
企業應用的證據要求超越模型本身。文件助理仍需要適當的來源存取權限，工作流程代理仍需要權限邊界。自適應內部路徑無法取代這些應用程式控制。
因此，Library of Layers 架構應透過一系列具有不同舉證要求的主張來判斷。自適應執行、有用介入、資源效率及可靠應用程式，各自需要其專屬證據。
把這些主張分開，可讓已報告結果保留其價值，亦能避免一篇有前景的架構論文變成對下一代商業助理缺乏支持的預測。
下一步證據應測試重現、效率及控制
下一個有用訊號將是獨立重現、量度所得的服務效能，以及能超越受控謎題而普遍適用的介入。
獨立重現應放在首位。在未來數月，有意義的結果應在清楚記錄的訓練及評估條件下，重建核心比較。結果一致將增強人們對自適應排序可作為可重複設計選項的信心。
重現亦應檢視變異。只在狹窄條件下出現的結果，與在合理實驗選擇中持續存在的結果，具有不同實際意義。兩種結果都能幫助研究人員決定後續工作的焦點。
特別具參考價值的比較，會盡可能保持周邊元件相似。這有助分離選擇執行次序所帶來的貢獻。若自適應選擇仍保有其優勢，主要架構論點便會更強。
若較簡單的替代方案能達到相同結果，研究仍會提供有用資訊。其價值主張屆時可能轉向實驗控制或內部分析。這些都是正當研究目標，但應直接評估。
服務效能接著而來。相關發表應在明確界定的工作負載下，量度答案品質，以及回應時間、吞吐量和記憶體消耗。吞吐量是系統在一段時間內完成的工作量。
可信的改善，應在保留用戶所需品質的同時，改善交付結果所需的資源或時間。只報告有利的算術計數，將令營運問題仍未解決。
量度亦應包括工作負載變異。短請求、長文件及混合批次，均可能對實作提出不同要求。僅限於狹窄基準測試的增益，應配以相應狹窄的主張。
第三個訊號關乎可泛化控制。研究人員應測試，在某一設定中學得的路由介入，在措辭、難度或任務分布改變時是否仍有用。成功遷移將加強可重用內部控制的理據。
失敗同樣具有資訊價值。它可能顯示某條路線捕捉的是任務特定關聯，而非廣泛有用的程序。這會收窄詮釋，卻不會抹去原有實驗。
對安全研究而言，標準應由辨識已標記文字延伸至量度生成行為。介入應改善目標行為，同時保留對良性請求的恰當回應。
對推理研究而言，評估者應區分遵循程序與得出正確結果。模型可一直套用不合適的方法。有用的控制需要證據證明所選程序適合該問題。
對開發者及買家而言，這些訊號提供了實際的閱讀策略。應追蹤已量度能力的變化，而非把每個新架構選項都視為即時的產品轉變。
核心想法仍值得持續關注：模型可以學會如何組合其運算元件的選擇。尚待解答的問題，是這些選擇在日益嚴苛的條件下是否可靠且有用。
先從原始的 Library of Layers 架構論文入手，找出與你工作最相關的主張。若你訓練模型，請檢視那些將層級排序與其他設計改動分開比較的實驗。若你開發應用程式，請尋找在與自身工作負載相近任務上有量化改善的結果。若你研究安全性，請分辨易於解讀的內部訊號與已獲驗證的介入措施。分享每項結果時，請保留其實驗條件。下一次的重現或服務研究，應讓人更容易判斷自適應執行是否值得投入工程資源。請追問：輸出有何改變、這項改變需要哪些資源，以及其他團隊能否取得相同結果。
