top of page

Transformers 發布 v5.24.0 統一快取名稱

27 分鐘前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Bibek ghosh / Pexels.

Hugging Face 的 Transformers v5.24.0 新增模型架構支援,並開始遷移至全程式庫共用的單一快取參數。這次更新於 2026 年 11 月 21 日發布,結合更廣泛的模型使用權限,以及影響既有應用程式的相容性變更。

新增項目包括 Thinking Machines Lab 的 Inkling 2 Mini 與 NVIDIA 的 Dory;兩者均會在生成期間重複使用內部層。它們的加入讓開發者可透過熟悉的介面評估更多架構,也突顯共用基礎設施必須容納愈來愈不同的模型設計。

核心張力在於擴大模型支援與維持應用程式程式碼穩定之間。Transformers 正在簡化開發者已倚賴的介面,同時在過渡期間保留舊有名稱。維護自訂模型、生成封裝器及評估系統的團隊,將面對最直接的工作。對這些讀者而言,這次發布的重要性不止於支援模型清單。

Transformers v5.24.0 有何變更

這次更新擴大 Transformers 可載入的模型,同時改變應用程式如何在多次呼叫之間傳遞生成狀態。

官方 v5.24.0 release 列出新增整合功能、破壞性變更及相容性安排。這些類別值得分開留意。新增支援的架構帶來評估機會;共用介面變更則帶來維護工作。

原生支援意即程式庫包含某種模型架構的實作,並不代表與其相關的每個 checkpoint(即一組已儲存的模型權重)都在這次發布時推出。若把整合日期視為原始模型發布日期,便會混淆兩件不同的事。

這項區分會改變新聞判斷。眼前的發展是 Hugging Face 把更多架構帶入共用的軟件環境。個別模型是否能改善某個特定應用程式,仍是需要評估的另一個問題。

快取遷移提供了更廣泛的營運脈絡。快取會儲存中間模型狀態,讓生成程序可重用先前的運算。Transformers 正在為歷來使用不同術語的架構,統一其公開名稱。

只使用高階生成呼叫的開發者,可能會覺得過渡期相當平靜,因為舊參數名稱暫時仍獲接受。但對直接處理狀態的維護人員而言,這項變更會更深入地觸及其應用程式邊界。

這讓同一組織內出現不同的升級優先次序。評估新支援模型的研究團隊,有理由盡快採用這個版本;為既有模型提供服務的平台團隊,則有理由先檢查相容性。

兩種優先次序並非必然孰重孰輕。重要問題在於,新整合是否解決當前需求,以及共用基礎設施能否可預期地吸收這項改變。

發布公告無法回答某個特定部署的這個問題。它描述可用功能及預期相容性行為,卻不能證明模型、擴充功能與應用程式程式碼的每一種下游組合都已測試。

實際結果是評估工作需要分流。模型團隊應評估自己真正需要的新架構;基礎設施團隊則應評估其應用程式實際採用的共用合約。

這正是快取重新命名值得與新增模型功能一併關注的原因。它影響程式庫與既有程式碼之間的關係,包括那些從不載入 Inkling 2 Mini 或 Dory 的應用程式。

因此,這次更新的維護影響範圍,比其最新功能所暗示的更廣。它的價值部分取決於開發者能否採用這些功能,同時不失去對既有工作負載的信心。

更多模型選擇令整合團隊承受壓力

負責共用模型基礎設施的團隊,必須承擔更廣泛目錄背後的相容性工作。

共用程式庫為應用程式開發者提供一致的起點。然而,入口點的一致性並不會消除底層架構差異。這些差異仍會影響記憶體使用量、生成行為、支援的輸入,以及評估設計。

設想一個假設情境:某團隊維護一個回答技術截圖問題的內部助理。原生支援另一個具備圖像能力的模型,會為測試提供候選項目,卻不能證明它能提供更佳答案、更低營運成本或可接受的回應時間。

團隊需要以具代表性的截圖及問題,將候選模型與現有系統比較。尤其應重視困難案例,包括含糊的圖表、細小文字,以及證據不足以支持有把握答案的圖像。

這是說明性的評估情境,而非已報道的客戶部署案例。其目的在於展示程式庫支援的終點,以及應用程式證據的起點。這項區分可避免開發者和讀者把可用性當作驗證。

對平台維護人員而言,壓力來自既要支援實驗,又不能令應用程式專屬例外情況不斷增加。每個例外都可能在底層程式庫變更時,成為另一種必須保留的行為。

當模型家族共用生成介面、但以不同方式管理內部狀態時,這個負擔會更明顯。單一公開參數有助整理這些差異,卻不會消除除錯時理解它們的需要。

組織層面的應對應遵循責任歸屬。必須有人負責應用程式的生成封裝器,即把程式庫呼叫調整為產品用途的程式碼;也必須有人負責評估,以判斷升級後的表現是否仍可接受。

若缺乏清楚的責任歸屬,警告訊息便可能累積,而每個團隊都以為其他團隊會處理。暫時相容性於是會成為延後工作的理由,而非完成工作的期間。

企業買家亦面對相關區分。供應商表示支援某個模型,對買家而言未必能說明已測試的部署行為。更有用的問題,是所支援的軟件組合,以及背後的證據。

例如,買家可詢問供應商是否在升級後測試對話延續,也可詢問評估結果是否來自與部署相同的設定。

這些問題並不表示這次發布異常高風險。它們反映程式庫功能與應用程式承諾之間的常見落差。更廣泛的支援會增加值得調查的組合數量。

團隊可將測試決策與相關文件一併保存,以減少重複工作。可供搜尋的知識庫有助在不同工程團隊之間保留遷移發現。

這些文件應記錄已測試內容、失敗項目,以及哪些結論仍屬暫定。一次通過的示範是有用證據,但不應變成對每項相關工作負載作出的未記錄承諾。

因此,壓力相當具體:在整合更多選項的同時,保持既有行為可理解。下一個挑戰是,一些新選項令熟悉的模型規模衡量方式變得較不具參考價值。

Inkling 2 Mini 與 Dory 以不同方式重用層

重複使用的層令架構標籤不足以完整說明執行期間的行為。

根據 Inkling 2 Mini 文件,Thinking Machines Lab 的模型可接收文字及圖像,並輸出文字。其 decoder(即生成輸出 token 的元件)有 24 層,相較 Inkling 2 Small 的 48 層為少。

第 6 至第 17 層會運行三次,並有一套經學習的機制在這些迴圈之間傳遞資訊。因此,較少的層數並不代表模型只是進行一半的處理步驟。

文件亦描述一個研究 checkpoint,其迴圈次數可設定。Hugging Face 將這個設定描述為速度與品質之間的取捨。這是有來源歸屬的說法,並非已獨立證實對每項任務均有改善。

這為評估者帶來一個具體問題:多一次迴圈究竟會為實際所需工作帶來甚麼貢獻?有用答案需要同時具備任務結果及執行時間測量。

NVIDIA 的 Dory loop controls 展示相關做法。Dory 會重複套用一組共用層,並可在 inference(即執行已訓練模型的過程)期間設定迴圈次數。

這是架構比較,而非排名。Thinking Machines Lab 與 NVIDIA 均呈現重複運算,但不應把它們的實作視為可互換。共用術語並不能證明行為等同。

對應用程式開發者而言,這會把焦點移向完整的運作設定。單憑模型名稱,無法呈現生成期間實際進行多少運算的設定。

這在解讀效能聲稱時尤其重要。若評估採用不同迴圈設定,所得比較便混合了架構選擇與運算資源分配。讀者需要兩項資訊,才能判斷結果。

這亦令「較小」的含義更複雜。儲存空間較小的模型,在回答請求時仍可能進行重複運算。模型儲存與請求執行描述的是相關但不同的資源需求。

相同審慎態度亦適用於回應品質。為投入更多運算而設計的架構,並不保證每次額外迴圈都能改善每個問題。獨立任務評估仍然必要。

對截圖助理而言,評估者可檢視額外運算是否改善對困難視覺問題中、以證據為基礎的回答;亦應檢查簡單問題是否變慢,卻沒有帶來有用提升。

對互動式寫作工具而言,取捨可能不同。相較於罕見任務上的小幅改善,等候日常回應更久可能更重要。應用程式決定哪種取捨可接受。

這些都是評估判斷,而非發布公告已證實的結論。Transformers 讓這些架構變得可用,卻不會為每種產品選擇正確的運作點。

更廣泛的含義是,熟悉的介面如今呈現更多樣化的運算行為。共用軟件可以簡化存取,同時讓重要部署決策仍有待解決。

這種差異有助解釋為何要推動共用基礎設施。隨著模型內部設計分歧,統一名稱會更有用,前提是遷移過程不會掩蓋開發者仍需理解的差異。

單一快取名稱建立過渡性合約

快取重新命名簡化目標介面,同時要求應用程式管理混合慣例並存的時期。

這次遷移以 cache 取代 past_key_values 及 cache_params。過去,這些名稱反映不同模型家族。共用名稱為開發者提供更一致的合約。

快取遷移討論亦顯示維護者正就過渡安排進行討論。貢獻者考慮了警告訊息、別名,以及合適的移除界線。這項討論反映的是實際的維護取捨,而非純粹的表面改名。

根據發布說明,模型的 forward 及 prepare_inputs_for_generation 呼叫在 v5.40.0 前仍接受舊名稱。較高層的 generate 入口則在 v6.0.0 前接受這些名稱。

同時傳入舊名稱及 cache 會引發 ValueError。現有輸出別名仍可使用。覆寫 update 的自訂快取子類別亦須接受新增的 kwargs 參數。

這些細節之所以重要,是因為應用程式各層未必會同步升級。某個包裝層可能引入新參數,而上游呼叫者仍繼續提供舊參數。因此,個別看似合理的變更可能在兩者交界處發生衝突。

正確的做法是檢查參數如何在應用程式中傳遞。只搜尋最終的模型呼叫,可能會漏掉在其他地方組裝的字典;只搜尋直接呼叫,則可能漏掉共用輔助函式。

相容性警告是程式碼仍依賴舊慣例的證據。出現警告不一定表示應用程式已失敗;沒有警告亦不能證明所有相關執行路徑均已運行。

這對具有選用功能的應用程式尤其相關。較少使用的延續路徑可能避過日常示範。主要互動看似正常,但較不常見的有狀態操作仍可能未經測試。

快取延續測試要問的是,應用程式能否使用先前回傳的狀態恢復生成。這與全新提示是否能產生答案是不同問題。兩者都可能影響產品行為。

這些期限亦應準確理解:它們是版本界線,而非日曆上的承諾。團隊不應在沒有官方時間表的情況下,將其解讀為移除日期。

相依套件對齊亦增加另一重界線。用於參數高效率模型調適的函式庫 PEFT,必須為 0.22.0 或更新版本,才符合已公布的相容性變更。只更新 Transformers,並不代表周邊環境已對齊。

其他變更亦會觸及不同的應用程式假設。生成式多模態模型正轉向共用輸出類別。因此,即使所使用的資訊在概念上仍然相似,檢查確切模型專屬類別的程式碼也需要審視。

此版本亦移除了已棄用的 modeling_attn_mask_utils.py 模組,改用 transformers.masking_utils。注意力遮罩控制模型可關注哪些輸入位置。從已移除模組作自訂匯入的程式碼需要留意。

這些變更不應被合併為一次單純的搜尋及取代工作。參數名稱、輸出類型、相依套件及匯入項目代表不同的契約;每一項都可能透過不同的應用程式路徑失效。

因此,Transformers Release v5.24.0 提供的是暫時相容性,而非無限期保證。當團隊藉此有意識地移除既有假設,並記錄已驗證的行為時,這次過渡才最具價值。

原生支援並不能解決能力或存取問題

透過 Transformers 載入模型後,能力限制、存取條件及應用程式適用性仍是各自獨立的問題。

Apertus 1.5 架構說明了方向性能力的重要。它可接受文字、圖像及音訊,但只會生成文字。多模態輸入並不代表能輸出圖像或音訊。

這項界線會改變產品規劃。尋求回答某段錄音內容的團隊,與尋求生成語音的團隊,需求並不相同。若兩者都描述為「支援音訊」,便會掩蓋這項分別。

此版本亦整合 WavTokenizer,這是一種把音訊轉換為離散表徵並由此重建音訊的編解碼器。Transformers 的整合支援運行該編解碼器,但不支援訓練它。

再次說明,「支援」一詞需要明確的對象。運行既有元件與訓練替代元件是不同能力。受支援的推論路徑不應被描述為完整的開發生命週期。

存取條件亦帶來另一項分別。Lara Mini 的文件指出,其權重受到非商業授權及受限存取條件規管。它被納入函式庫,並不會移除這些條件,亦不代表適合商業用途。

這不是要否定這項整合。研究用途的存取與商業部署服務不同目的。編輯責任是描述界線,而非將技術可用性延伸為更廣泛的許可。

效能問題同樣獨立。原生整合可減少實作阻力,但發布說明並未證實普遍的速度或品質提升。這些說法需要與明確工作負載掛鈎的量度。

即使設計審慎的基準測試亦有局限。短提示的結果不會自動反映長篇對話;單次請求的結果亦不會自動反映繁忙服務。

有用的比較應披露足夠設定細節,讓人能夠理解結果。硬件、模型設定、輸入組成及輸出期望均可影響結果。缺乏這些背景時,標題中的改善可能難以重現。

這在比較迴圈式架構時尤其重要。以較多重複運算取得的結果,回答的是與較嚴格回應預算下不同的問題。兩者都不應在沒有說明下互相替代。

因此,審慎的解讀應狹義而務實:整合證實了更廣泛的架構覆蓋;更佳的應用程式成果仍是需要測試的主張,而部分能力在測試開始前已存在明確限制。

亦沒有必要虛構更廣泛的業界反應。維護者討論提供了遷移疑慮的證據,卻不能證實開發者一致認同、普遍反對,或市場層面的轉向。

對使用這些模型所建產品的知識工作者而言,同一項分別會在更下游出現。新近獲支援的模型,並不會自動改善產品的答案、可靠性或私隱資料處理方式。

這些結果取決於產品的實作及評估。發布版本擴展了開發者的選擇,同時把產品主張的責任留給提出主張的團隊。

這才是面對此更新的合適標準:承認新增的存取途徑、描述具體限制,並把效能結論留待證據支持。

三個訊號將顯示升級是否值得

下一批有用證據將涉及遷移品質、可重現評估,以及在真實使用情境下的應用程式行為。

第一個訊號,是下游對新快取契約的採用。在未來數月,維護者的發布版本及相容性報告將顯示,共用包裝層及擴充功能是否正與 cache 對齊。

順利的遷移將強化以下觀點:共通名稱可降低長期維護複雜度。在包裝層界線反覆出現的失敗,則會顯示過渡介面值得獲得更多關注。

重要的證據必須具體。報告應列明受影響版本及執行路徑。泛稱某應用程式「支援最新 Transformers」所透露的資訊少得多。

第二個訊號,是對新整合的迴圈式模型進行可重現評估。報告應連同答案品質及執行時間行為,列明迴圈設定;否則,讀者無法區分架構效應與額外運算。

若結果顯示,這些設定能在應用程式的回應預算內帶來有用的品質提升,便會強化其實際價值。若結果顯示收益甚微,則會縮小重複運算值得付出成本的工作負載範圍。

兩種結果都不會否定整個架構。它們會令部署決策更精確。此版本創造了收集這些證據的機會,而非自行提供普遍答案。

第三個訊號,是採用後真實應用程式的行為。團隊應檢查生成延續、自訂擴充功能,以及那些功能與其產品相關的混合輸入工作負載。

這些路徑上的穩定運作將提高人們對升級的信心;退化問題則會顯示,成功的模型示範與可靠的應用程式發布之間仍有多大距離。

這些訊號應一併解讀。沒有實用模型收益的順利遷移,仍可改善可維護性;具有潛力的模型結果若仍有未解決的相容性問題,則可支持進一步評估,但不足以支持立即部署。

因此,對工程領導者而言,決策應把發布版本連結至具體需求。為評估所需架構而採用,與因模型清單變長而升級,並不相同。

對開發者而言,最有力的證據將來自與既有應用程式基準的比較。保留先前行為,記錄變更後的設定,並區分觀察所得結果與預期。

對關注模型業界的讀者而言,重要發展在於架構多樣性與共用軟件之間的關係。更多樣的模型提高了共通介面的價值,同時令其界線更值得仔細檢視。

在採用 Transformers Release v5.24.0 前,選擇能令升級值得進行的工作負載,並保留基準作比較。確認你所需的模型能力,然後檢查應用程式實際跨越的相容性界線。把模型評估與遷移驗收分開,因為一個有潛力的答案並不能證實延續或擴充行為可靠。記錄警告及未解決問題,讓下一位維護者可以找到。如團隊測試迴圈式模型,請連同結果報告其運行設定。此版本為開發者提供更多選擇及更清晰的命名方向。請利用這個機會收集證據:新設定是否改善應用程式必須完成的工作,同時讓其行為保持可理解及可維護?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page