top of page

OpenClaw 本地 LLM 測試發現 70 秒冷啟動

1 日前
讀畢需時 12 分鐘

在開發者 Talha Anwar 的單一 GPU 實驗中,OpenClaw 花了 70 秒才作出首個回覆,儘管其後的來回對話回應快得多。這項 OpenClaw 本地 LLM 測試揭示一項實際矛盾:文字生成速度快,並不保證助理反應靈敏。本地 LLM,即在操作者硬件上運行的語言模型,仍需要記憶體、指令,以及可靠地存取工具。

Anwar 在 2026 年 11 月 13 日發表的 SitePoint 文章中介紹這項實驗。他的設定結合 OpenClaw(一個將模型與工具及訊息渠道連接起來的助理框架)和 Ollama(用於提供語言模型服務的軟件)。私人的 Discord 介面則提供對話渠道。

這些發現對一種常見的採購捷徑提出質疑:主要按生成速度及硬件配合度選擇代理模型。另一項同樣重要的要求,是在整個工作階段中有效完成任務。Anwar 的觀察提供了一個具體案例,說明為何應檢視兩者的差異;不過,這並未建立本地與託管助理的整體排名。

OpenClaw 本地 LLM 測試實際測量了甚麼

這是一名個別開發者的部署報告,測量來自一部機器及有限的一組任務。

Anwar 在配備 24 GB 圖像記憶體的 NVIDIA RTX 3090 上運行助理。聊天模型為透過 Ollama 提供服務的 qwen3.5:9b。這裡的 9B 標籤表示模型約有 90 億個參數,即塑造其回應的已學習數值。

他的單一 GPU 代理實驗報告顯示,首次與後續回覆之間存在顯著差異。首個回應耗時 70 秒,其中載入模型用了 59 秒,處理輸入約用了 10 秒。其後使用快取的交流則需時 1.9 至 5 秒。

同一份報告記錄的輸出生成速度為每秒 91 至 96 個 token。Token 是模型處理及生成的文字單位。這些數字描述的是其他工作完成後的生成速度,因此不應視為完整回應時間。

這項區別改變了讀者應如何理解該實驗。模型準備就緒後可以很快寫出文字,但在開始生成前,使用者仍可能需要等待。因此,助理的感知速度取決於通往生成的流程,以及生成本身。

Anwar 亦測試了普通對話以外的行為,包括工作區檔案任務。助理完成了部分請求,但有時會在未透過工具檢查可用資訊的情況下作答。一項明確要求使用讀取工具的指令,修正了一宗已報告的失敗情況。

這項觀察為時間結果增添第二個維度。關鍵結果在於助理能否以可接受的等候時間,正確完成所要求的工作。若代理需要再獲得一次指令才會查核證據,即使回應時間很短,價值亦有限。

這份報告亦應與產品發布或正式基準公告分開看待。它記錄的是一名操作者在特定條件下的既有設定,並不能證明每個 OpenClaw 部署都具有相同的提示詞大小、延遲或失敗模式。

其直接貢獻更具體:當有人聲稱消費級 GPU 可以支援實用代理時,它指出值得要求的測量項目。硬件相容性回答的是模型能否運行;工作階段測量才開始回答最終助理是否適合某人的工作。

這項區別對現時評估類似部署的開發者尤其重要。該實驗為關於準備狀態、重複請求及任務驗證的提問提供具體起點;至於更廣泛的效能主張,仍有待以配對工作負載進行受控比較。

一個簡短問題仍會帶上代理的指令

使用者訊息只是代理傳送給模型的工作其中一部分。

Anwar 報告指,一條簡短問題產生了包含 18,415 個 token 的輸入,之後只輸出 33 個 token。這種不平衡說明 OpenClaw 提示詞開銷:周邊指令可能比可見請求更龐大。

代理需要掌握其職責、可用工具及工作環境的資訊。這些材料有助其在不同任務中保持一致的行為,但同時亦會消耗上下文,即模型在特定請求期間可用的資訊。

OpenClaw 的上下文計算文件說明,系統指令、對話紀錄、工具結果及其他提供的材料,都會計入該上下文。這支持 Anwar 觀察背後的一般機制,但不代表他的特定輸入大小無可避免。

壓力部分落在框架開發者身上。每項預設包含的指令,都需要證明其所消耗的處理資源及上下文合理。加入另一項能力,可以擴大助理所知道的可執行工作,即使目前請求根本不需要該能力。

這形成一項實際設計取捨。廣泛指令可令能力更容易被發現,而選擇性指令則可令個別請求保持較小。這項實驗不足以對任何一方作出一概而論的判斷,因為任何輸入大小比較都必須伴隨任務成功率。

對整合助理的開發者而言,啟示在於測量邊界。小型使用者訊息不應被視為模型請求也很小的證據。應用程式會組裝實際工作負載,而這個工作負載值得檢視。

報告中的 token 計數器亦需要審慎處理。Anwar 描述 OpenClaw 估計為 24,608 個 token,相對於 24,576 個 token 的提示詞預算;Ollama 則報告其處理輸入的不同計數。

這些數字不應被當作同一儀器的讀數般合併。應用程式估計與模型伺服器計數,可能描述不同的計算階段。若未能對照這些階段,該差異便不能確定究竟有哪些內容送達模型,或哪些內容被省略。

對企業買家而言,影響是營運層面的,而非抽象討論。透過簡短示範評估的助理,一旦指令、工作文件及對話紀錄累積,其表現可能有所不同。評估應保留日常工作中預期的上下文條件。

知識工作者亦面對相關問題:助理作答時,是否具備相關證據?大型輸入並不自動代表證據是最新、完整,或被正確參考。上下文容量與證據品質需要分開審視。

探索可搜尋技術知識的讀者,會遇到儲存資訊與檢索正確材料之間的同一區別。代理還多一項責任:決定何時應在採取行動前檢查這些材料。

因此,OpenClaw 提示詞開銷的重要性不止於速度影響。它決定了實際任務還剩下多少空間。有用的比較,應在完整指令及證據均被納入的前提下,衡量能完成等效工作的設定。

冷啟動與快取回覆描述的是不同體驗

實驗中最大的時間差異,出現在持續文字生成之前。

當請求到達時,如所需模型尚未載入並必須載入記憶體,便會出現 Ollama 冷啟動。這個狀態解釋了 Anwar 最初等候時間的大部分,亦令後續回應時間成為另一種獨立運作狀態。

Ollama 的效能指標區分模型載入、提示詞評估及輸出生成。這些類別有助說明,為何單一速度數字可能錯誤呈現助理的行為。每個類別衡量的是請求的不同部分。

提示詞評估通常稱為 prefill,是指在生成回應前處理輸入的工作。Anwar 的大型初始輸入在該階段帶來工作負擔。根據他的報告,後續交流受惠於先前處理材料的重用。

快取是指保留先前運算結果,讓相容請求可重用。其好處取決於哪些內容仍可重用及可供使用。因此,讀者不應把一次表現理想的快取交流,解讀為對每次未來互動的承諾。

這項區別亦見於競爭的服務軟件。vLLM 專案的前綴快取文件描述如何重用共享輸入開頭的運算。它明確區分減少輸入處理,與另一項獨立的輸出生成工作。

這項比較提供技術背景,並非效能競賽。Anwar 並未在此實驗中發布配對的 vLLM 比較。因此,沒有依據可宣稱某一服務系統在他的工作負載上更快。

商業問題是,哪種運作狀態更接近實際使用情況。進行長時間對話的人,大多可能遇到已準備好的模型及可重用輸入;偶爾發送請求的人則可能面對不同條件,因此啟動行為更為相關。

兩種模式均非天生就是正確基準。問題在於將其中一種模式的結果用來推銷另一種模式。有用的評估會連同回應時間,一併列明請求間隔、模型準備狀態及重用條件。

Ollama 的記憶體保留設定文件指出,模型預設會保持載入五分鐘。操作者可透過保留控制項更改此行為。Anwar 表示,他在實驗期間沒有更改該設定。

讓模型保持可用,會帶來資源取捨。操作者為換取反應速度而保留記憶體,而非立即將該記憶體騰作其他用途。這種安排是否適合工作站,取決於其其他工作及助理的預期用途。

這令 Ollama 冷啟動不僅與基礎設施有關,也與產品設計有關。若所要求的模型仍在載入,介面需要準確呈現等候狀態;否則,使用者無法分辨是預期的準備工作,還是助理沒有反應。

OpenClaw 本地 LLM 測試亦提醒人們,應審慎看待平均回應時間。平均值可以掩蓋啟動及持續對話之間的不同體驗。將這些條件分開報告,會令未來結果更易理解及比較。

對買家而言,合理要求很直接:在真實使用情況下展示完整請求路徑。生成速度仍是有用資訊,但使用者體驗的是準備、處理、工具工作及交付所累積的等候時間。

模型記憶體並不能描述整個助理

部署的資源預算必須包括支援聊天模型的組件。

Anwar 報告指,聊天模型使用 6.3 GB,而獨立嵌入模型使用 5.1 GB,合共 11.4 GB。嵌入模型會將內容轉換為數值表示,以支援相似度搜尋。在這項設定中,它構成助理與記憶體相關工作的其中一部分。

這些數字描述的是報告中提及的模型配置。它們並不能確定在加入上下文儲存及其他執行時開銷後的完整記憶體需求。把總和視為確切的部署最低要求,會誇大報告實際量度的內容。

這一點很重要,因為硬件討論往往只從聊天模型本身開始。一個助理可能涉及額外的檢索、儲存和處理元件。模型單獨運行得輕鬆,並不代表周邊應用程式也同樣運行自如。

這對採購的啟示是需要針對工作負載的證據。買家應詢問示範期間有哪些項目與模型一同運行,以及有哪些項目被排除在外。當同一部機器還要支援其他應用程式時,這個問題就更為關鍵。

開發者亦需要區分已安裝的功能與實際的資源消耗。某個元件的存在,並不能說明它何時運行或保留資源多久。活動追蹤比軟件清單提供更好的證據。

Anwar 的報告指出,有一項排程心跳每 30 分鐘運行一次。心跳是會定期進行的背景檢查,即使沒有新的用戶訊息,也可能啟動助理。它的存在意味著,可見的對話並非模型請求的唯一可能來源。

不過,Anwar 並未量度這些排程檢查之間的冷載入影響。心跳間隔與 Ollama 已記錄的預設保留期,提出了一個合理問題,但並不能證明每次背景事件的實際持續時間或資源消耗。

這個界線對公平報道十分重要。一個合理的機制可以引導下一項實驗,卻不應被當作觀察所得的結果。若要聲稱反覆出現啟動延遲,便需要量度結果顯示這些事件發生期間的模型就緒狀態及請求時間。

壓力落在應用程式營運者和框架維護者身上。背景行為需要有足夠可見度,讓人能夠解釋助理何時運行。否則,看似閒置的服務可能會變得難以理解。

本地部署亦需要精確描述私隱情況。在本地硬件上運行語言模型,說明的是產生回應的推論運算在哪裏進行;單憑這一點,並不能說明工作流程中參與的每項服務。

Anwar 使用 Discord 作為互動渠道。因此,這項實驗不應被描述為完全離線通訊路徑的證明。模型服務的位置與訊息渠道,是架構中不同的部分。

對處理內部資訊的機構而言,這個區分應納入部署審視。相關問題是每一類資料會流向何處,以及在哪裏留存。本地模型可以支援機構的要求,但完整工作流程才決定這些要求是否得到滿足。

資源與私隱問題最終都指向同一種採購紀律:評估已部署的助理,包括支援模型、排程工作及已連接服務。聊天模型的規格只提供局部視角。

快速回答仍需要工作空間的證據

報告中最關鍵的限制,在於代理是否會在回答前查核資訊。

Anwar 描述了一些情況:小型模型依賴已提供的上下文,而沒有使用工具檢查其工作空間。其中一次,明確點名讀取工具後,它成功檢查了一個檔案。這區分了工具可用性與可靠的工具選擇。

工具呼叫是指要求軟件執行某項操作,例如讀取文件,然後使用其返回結果。模型可以支援這種機制,卻仍可能不一致地選擇使用它。因此,整合成功並不能證明任務行為可靠。

這個分別很重要,因為自然語言可能掩蓋未完成的工作。即使助理從未檢查決定正確性的來源,其回應仍可能聽起來合理。對用戶而言,缺少的操作可能比錯誤訊息更不明顯。

這正是 OpenClaw 提示詞開銷碰上更棘手評估問題的地方。更多指令可以說明何時應使用工具,但指令數量本身並不能證明有遵從。結果仍需根據任務要求來核實。

明確的工具指令提供了一種有用的診斷方法。它可以顯示在直接要求時,該操作能夠運作。不過,它無法證明助理會在措辭不同的請求中辨識出同樣的需要。

這限制了對成功修正可作出的廣泛解讀。Anwar 的觀察支持較狹窄的說法:在被指示時,助理可以讀取相關檔案。它並不能證明助理能在與檔案相關的任務中可靠地作出獨立判斷。

OpenClaw 的本地模型指引同樣把本地部署視為涉及模型能力與營運限制的選擇。文件提供框架的觀點,而 Anwar 的記述則提供某位用戶的特定體驗。兩者都不能取代重複的任務評估。

對開發者而言,壓力在於提供足夠證據,以區分「已回答的請求」與「已完成的操作」。與檔案相關的回應,應可根據實際檔案狀態作出評估。當代理可以作出修改時,這個標準尤其重要。

企業買家應詢問示範如何受監督。如果操作員反覆補上缺失的工具指令,評估就包含人為協助。這種協助可以接受,但應納入工作如何完成的說明之中。

知識工作者面對同一問題,只是技術可見度較低。即使助理回應迅速,若它根據舊有上下文作答,仍可能產生額外核實工作。用於檢查與修正的時間,應計入任何對實用性的評估。

該報告並未顯示所有小型模型都有相同的失敗率,也未證明託管模型能正確完成這些任務。公平的比較應保持任務、工具、權限及核實標準一致。

核心張力依然是本地回應速度與整個工作流程中可靠完成任務之間的取捨。更快的生成速度只處理了這項張力的一部分;可靠地收集證據則處理另一部分,兩者都不應替代對方。

下一步證據需要涵蓋閒置時間、完成情況與上下文

下一批有用結果,應測試這份報告尚未解決的條件。

首先,後續量度應檢視閒置期後的請求,包括排程背景活動。相關證據包括模型是否仍然保持載入,以及每個請求花了多少時間準備。這將確定首次延遲是否會在日常使用中再次出現。

若模型在具代表性的閒置期內維持就緒,將強化其適合偶爾使用且反應迅速的論點。若反覆出現載入延遲,除非操作員接受不同的記憶體保留政策,否則這個論點便會被削弱。無論哪種結果,都比只從配置推斷行為更好。

排程心跳值得特別注意,因為它會在沒有主動對話時引入請求。其實際行為應被觀察,而非從排程反推。這包括確定它是否影響下一個用戶請求的就緒狀態。

第二,未來評估應報告在不同措辭下經核實的任務完成情況。工作空間問題是合適的候選項目,因為預期證據可以直接檢查。結果應區分獨立選擇工具,與在明確修正指令後才成功之間的差異。

在沒有修正提示下仍持續完成任務,會強化可進行更廣泛委派的論點。持續依賴監督,則支持配合人手檢查的較狹窄角色。只要評估說明工作內容及限制,兩種結果都很有用。

這項量度應保留失敗與成功案例。只展示最終修正後的答案,會隱藏取得該答案所需的互動。讀者需要足夠上下文,以理解報告中的結果反映的是助理的初始行為,還是受監督後的修復。

第三,減少不必要上下文的框架改動,應在相同任務上進行對照比較。若輸入減少而任務質素保持穩定,會是令人鼓舞的結果。較小提示詞若伴隨更多遺漏指令,則會顯示另一種取捨。

這個訊號很重要,因為上下文管理介乎模型能力與應用程式設計之間。當中的改進可以改變工作負載,而無需使用不同的 GPU。不過,其實際價值仍取決於能否保留作出正確決定所需的資訊。

這些觀察結合起來,能把一份有用的個人部署報告,轉化為對部署選擇更有力的證據。它們亦能令不同本地服務系統之間的比較更有意義。目標是工作負載等效、假設清晰可見、結果可核實。

OpenClaw 本地 LLM 測試已讓讀者有理由在模型標籤以外審視助理。它最強的貢獻,是具體說明等待和錯誤出現的位置。它的限制則阻止這份記述成為普遍性的結論。

在選擇本地助理前,應要求與預期工作相符的證據。要求提供在真實閒置期後的啟動量度,檢查依賴工具的答案是否使用了相關證據,並計入支援元件。評估時保留修正提示,而非只判斷最終回應。對文件工作流程而言,在接受答案前,核實助理是否查閱了最新材料。這些檢查將效能聲稱與可檢視的工作連結起來,也讓人更容易比較不同配置,而不會把快取的對話誤當作偶爾使用。當模型從未載入狀態啟動、對話逐漸增長,而所要求的任務需要檢查檔案時,這項部署仍能滿足你的需要嗎?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page