OpenClaw 本地 LLM 测试发现冷启动需 70 秒
在开发者 Talha Anwar 的单 GPU 实验中,OpenClaw 用了 70 秒才给出首次回复,尽管后续对话的回答快得多。这项 OpenClaw 本地 LLM 测试揭示了一个实际矛盾:文本生成快,并不等于助手响应迅速。本地 LLM,即运行在操作者硬件上的语言模型,仍然需要内存、指令以及对工具的可靠访问。
Anwar 在 2026 年 11 月 13 日发表的一篇 SitePoint 文章中介绍了这项实验。他的配置将 OpenClaw——一个连接模型、工具和消息渠道的助手框架——与用于提供语言模型服务的软件 Ollama 搭配使用。私有 Discord 界面则承担了对话渠道的角色。
这些发现对一种常见的采购捷径提出了挑战:主要依据生成速度和硬件适配度来选择智能体模型。与之竞争的要求是,在完整会话中有效完成任务。Anwar 的观察为检视这种差异提供了具体案例,但并未建立本地与托管助手的普遍排名。
OpenClaw 本地 LLM 测试实际测量了什么
这是一份单个开发者的部署报告,测量来自一台机器和有限的一组任务。
Anwar 在配备 24 GB 显存的 NVIDIA RTX 3090 上运行该助手。聊天模型为通过 Ollama 提供服务的 qwen3.5:9b。其中,9B 标签表示该模型大约拥有 90 亿个参数,即塑造其回复的已学习数值。
他的单 GPU 智能体实验报告了首次回复与后续回复之间的显著差异。首次回复耗时 70 秒,其中包括 59 秒的模型加载时间,以及约 10 秒的输入处理时间。之后的缓存对话耗时为 1.9 至 5 秒。
同一报告记录的输出生成速度为每秒 91 至 96 个 token。Token 是模型处理和生成的文本单元。这些数字描述的是其他工作完成后的生成过程,因此不应被解读为完整响应时间。
这种区别改变了读者应如何理解这项实验。模型准备就绪后可以快速写作,但在生成开始前,用户仍可能需要等待。因此,助手的体感速度既取决于通向生成的路径,也取决于生成本身。
Anwar 还测试了普通对话之外的行为,包括工作区文件任务。该助手完成了一些请求,但有时没有通过工具检查可用信息便直接作答。明确要求其使用读取工具后,修正了一起报告中的失败情况。
这一观察为计时结果增加了第二个维度。相关的结果在于,助手是否能以可接受的等待时间正确完成所请求的工作。当智能体需要再得到一条指令,才会检查其证据时,短响应时间的价值有限。
该报告也应与产品发布或正式基准公告区分开来。它记录的是一名操作者条件下的现有配置。它并不能证明每个 OpenClaw 部署都具有相同的提示词大小、延迟或失败模式。
其直接贡献更为具体:它指出了当有人声称消费级 GPU 能支持实用智能体时,值得要求提供的测量指标。硬件兼容性回答的是模型能否运行。会话测量则开始回答由此形成的助手是否适合某人的工作。
这一差异对于当前评估类似部署的开发者很重要。该实验为有关就绪状态、重复请求和任务验证的问题提供了具体起点。更广泛的性能主张仍有待在匹配工作负载下进行受控比较。
一个简短问题仍携带着智能体的指令
用户消息仅代表智能体发送给其模型的工作的一部分。
Anwar 报告称,一个简短问题产生了包含 18,415 个 token 的输入,随后仅生成 33 个输出 token。这种不平衡说明了 OpenClaw 的提示词开销:周围的指令可能远多于可见的请求。
智能体需要了解其职责、可用工具和工作环境的信息。这些材料有助于它在不同任务中保持一致行为,但也会消耗上下文,即模型在特定请求中可获得的信息。
OpenClaw 的上下文核算文档说明,系统指令、对话历史、工具结果及其他提供的材料都会计入上下文。这支持了 Anwar 观察背后的普遍机制,但并不能证明他所遇到的特定输入大小不可避免。
压力部分落在框架开发者身上。默认包含的每条指令,都需要证明其所消耗的处理资源和上下文是合理的。即使当前请求根本不需要某项能力,增加另一项能力也可能扩展助手对如何执行工作的认识。
这形成了一个实际的设计权衡。广泛的指令可以让能力更易被发现,而选择性的指令可以让单个请求更小。由于任务成功必须伴随任何输入大小的比较,这项实验不能为任一方法给出一概而论的结论。
对于集成助手的开发者而言,教训在于测量边界。小的用户消息不应被视为小模型请求的证据。应用程序会组装实际工作负载,而这一工作负载值得检查。
报告中的 token 计数器也需要谨慎处理。Anwar 描述,OpenClaw 估计为 24,608 个 token,而提示词预算为 24,576 个 token。Ollama 对其处理的输入报告了不同的计数。
这些数字不应被合并,好像它们来自同一台仪器。应用程序的估计与模型服务器的计数可能描述不同的核算阶段。在未协调这些阶段的情况下,这一差异无法确切说明哪些内容到达了模型,或哪些内容被省略。
对企业买家而言,其含义是运营层面的,而非抽象层面的。通过简短演示评估的助手,在指令、工作文档和对话历史不断累积后,可能表现不同。评估应保留日常工作中预期的上下文条件。
知识工作者面临一个相关问题:助手回答时,是否具备相关证据?大的输入并不自动意味着证据是最新、完整或被正确查阅的。上下文规模与证据质量需要分别审查。
阅读有关可搜索技术知识的内容时,人们会遇到同样的区别:存储信息与检索正确材料并非一回事。智能体还增加了一项职责:在行动前决定何时查阅这些材料。
因此,OpenClaw 提示词开销的重要性不止在于其对速度的影响。它会决定为实际任务保留多少空间。有意义的比较应在包含完整指令和证据的前提下,对完成等效工作的配置进行比较。
冷启动和缓存回复描述的是不同体验
实验中最大的时间差异发生在持续文本生成之前。
当请求到达时,若所需模型尚未加载、必须载入内存,就会发生 Ollama 冷启动。这种情况解释了 Anwar 首次等待的大部分时间,也使后续响应时间成为另一种独立的运行状态。
Ollama 的性能指标区分模型加载、提示词评估和输出生成。这些类别有助于解释为何单一速度指标可能误导对助手行为的理解。每个类别衡量的是请求的不同部分。
提示词评估通常被称为 prefill,是在生成回复之前处理输入的工作。Anwar 的大量初始输入在这一阶段产生了工作量。根据他的报告,后续对话受益于对先前处理材料的复用。
缓存意味着保留先前的计算结果,以便兼容请求能够复用。其收益取决于哪些内容仍可复用并且仍然可用。因此,读者应避免将一次表现良好的缓存对话,转化为对未来每次交互的承诺。
这种区别也出现在竞争性的服务软件中。vLLM 项目的前缀缓存文档描述了对共享输入开头部分的计算复用。它明确区分了减少输入处理与独立的输出生成工作。
这一比较提供的是技术背景,而非性能竞赛。Anwar 没有在此实验中发布匹配的 vLLM 对比。因此,没有依据可据此断言某一服务系统在其工作负载上更快。
业务问题在于,哪一种运行状态更接近实际使用。进行长时间对话的人,可能主要会遇到准备就绪的模型和可复用输入。偶尔发送请求的人则可能遇到不同条件,使启动行为更具相关性。
两种模式本身都不是唯一正确的基准。当一种模式的结果被用于推销另一种模式时,问题便出现了。有效的评估会在响应时间之外说明请求间隔、模型就绪状态和复用条件。
Ollama 的内存保留设置文档称,默认情况下模型会保持加载五分钟。操作者可以通过保留控制项改变这一行为。Anwar 表示,他在实验期间没有修改该设置。
让模型保持可用会带来资源选择。操作者为了响应性而预留内存,而不是让这些内存立刻可供其他用途使用。这种安排是否适合工作站,取决于其其他工作以及助手的预期使用方式。
这使 Ollama 冷启动不仅与基础设施有关,也与产品设计有关。如果请求的模型仍在加载,界面需要准确地呈现等待状态。否则,用户无法区分预期的准备过程与无响应的助手。
OpenClaw 本地 LLM 测试还表明,应谨慎看待平均响应时间。平均值可能掩盖启动阶段与持续对话之间的不同体验。分别报告这些条件,将使未来结果更易于理解和比较。
对于买家而言,合适的要求很直接:展示真实使用情况下的完整请求路径。生成速度仍是有用信息,但用户体验的是准备、处理、工具工作和交付所累积的等待时间。
模型内存并不能描述整个助手
部署的资源预算必须包括支持聊天模型的组件。
Anwar 报告称,聊天模型占用 6.3 GB,独立的嵌入模型占用 5.1 GB,合计 11.4 GB。嵌入模型会将内容转换为支持相似性搜索的数值表示。在此配置中,它为助手的内存相关工作作出了贡献。
这些数字描述的是报告中所称的模型分配量。它们并不能说明上下文存储及其他运行时开销加入后的完整内存需求。将其总和视为精确的部署最低要求,会夸大报告实际测量到的内容。
这很重要,因为硬件讨论往往只从聊天模型本身开始。一套助手还可能涉及额外的检索、存储与处理组件。单独来看能够轻松运行的模型,并不意味着周边应用也同样能够轻松运行。
这对采购的启示是,需要获得针对具体工作负载的证据。买方应询问演示期间有哪些内容与模型同时运行,又有哪些内容被排除在外。当同一台机器还要服务其他应用时,这个问题就更为关键。
开发者还需要区分已安装的能力与实际活跃的资源消耗。某个组件的存在,并不能说明它何时运行,或会持续占用资源多久。活动轨迹比软件清单更能提供有力证据。
Anwar 的报告发现,每 30 分钟会运行一次定时心跳。心跳是一种周期性的后台检查,可能在没有新用户消息时激活助手。它的存在意味着,可见对话并非模型请求的唯一可能来源。
不过,Anwar 并未测量这些定时检查之间的冷加载影响。心跳间隔与 Ollama 记录的默认保留期限共同提出了一个合理问题,但并不能证明每次后台事件的实际持续时间或资源消耗。
这一界限对公平报道至关重要。合理的机制推断可以引导下一轮实验,但不能被当作已经观察到的结果。若要声称反复出现启动延迟,就需要测量结果来显示这些事件中的模型就绪状态和请求时机。
这里的压力落在应用运营者和框架维护者身上。后台行为需要足够透明,让人能够解释助手何时运行。否则,一个看似空闲的服务可能变得难以理解和判断。
本地部署也需要准确描述隐私边界。在本地硬件上运行语言模型,说明的是推理——即生成回答的计算过程——发生在哪里。它本身并不能说明工作流中参与的每一项服务。
Anwar 使用 Discord 作为交互渠道。因此,这项实验不应被表述为完全离线通信路径的证明。模型服务所在的位置与消息传递渠道,是架构中彼此独立的部分。
对于处理内部信息的组织而言,这一区分应纳入部署审查。相关问题是每一类数据会流向何处,并在哪里留存。本地模型可以支持组织的要求,但是否满足这些要求,取决于完整工作流。
资源与隐私问题最终指向同一种采购纪律:应评估实际部署的助手,包括支持模型、定时任务和连接的服务。聊天模型的规格只能提供局部视图。
快速回答仍需来自工作区的证据
报告中最具影响力的限制,在于该代理是否会在回答前核查信息。
Anwar 描述了一些情况:小型模型依赖提供给它的上下文,而没有使用工具检查其工作区。在一个案例中,明确点名读取工具后,它成功检查了文件。这说明工具可用性与可靠的工具选择是两回事。
工具调用是指请求软件执行某项操作,例如读取文档,然后使用返回的结果。模型可以支持这一机制,却仍可能不一致地选择使用它。因此,成功集成并不能证明任务行为可靠。
这一区分很重要,因为自然语言可能掩盖未完成的工作。即使助手从未检查决定正确性的来源,其回答也可能听起来合理。对用户而言,缺失的操作可能比错误消息更不明显。
这正是 OpenClaw 提示词开销遇到更棘手评估问题的地方。更多指令可以说明何时应使用工具,但单凭指令量无法证明模型会遵从。结果仍需依据任务要求进行核查。
明确的工具指令提供了一个有用的诊断方式。它可以表明在被直接要求时,该操作能够正常完成。然而,它不能证明助手会在措辞不同的请求中识别出同样的需求。
这限制了对这次成功修正应作出的广泛解读。Anwar 的观察支持一个更窄的结论:在被指示时,助手能够读取相关文件。它并不能证明助手能够在各类文件相关任务中作出可靠的独立判断。
OpenClaw 的本地模型指南同样将本地部署视为涉及模型能力与运营约束的选择。文档提供的是框架视角,而 Anwar 的叙述则提供了一种具体的用户体验。两者都不能替代重复的任务评估。
对开发者而言,压力在于提供足够的证据,以区分“已回答的请求”和“已完成的操作”。与文件相关的回答应能根据实际文件状态进行评估。当代理能够作出更改时,这一标准尤为重要。
企业买家应询问演示是如何被监督的。如果运营人员反复补充缺失的工具指令,那么评估中就包含了人工协助。这种协助可以接受,但应被纳入对工作如何完成的说明。
知识工作者也面临同样的问题,只是技术可见性较低。即便助手响应很快,如果它依据的是旧上下文,仍可能带来额外的核查工作。检查和纠正所花的时间,也应计入对实用性的评估。
该报告并未表明所有小型模型都有相同的失败率,也没有证明托管模型能够正确完成这些任务。公平的比较应保持任务、工具、权限和验证标准一致。
核心张力仍然存在:一边是本地响应速度,另一边是整个工作流中的可靠完成能力。更快的生成速度只能解决其中一部分问题;可靠的信息收集解决的是另一部分,二者都不应替代对方。
下一步证据需要覆盖空闲时间、完成情况与上下文
下一批有价值的结果,应测试本报告尚未解决的条件。
首先,后续测量应考察空闲期后的请求,包括定时后台活动。相关证据包括模型是否仍保持加载状态,以及每个请求花在准备上的时间。这将确定初始延迟是否会在日常使用中重现。
如果模型在具有代表性的空闲期内始终处于就绪状态,将加强其适合偶尔使用且响应迅速的论据。如果反复出现加载延迟,除非运营者接受不同的内存保留策略,否则这一论据就会被削弱。无论结果如何,都比仅从配置推断行为更有价值。
定时心跳值得特别关注,因为它会在没有活跃对话时引入请求。其实际行为应通过观察得出,而非从时间表反推。这包括确定它是否会影响下一次用户请求的就绪状态。
其次,未来评估应报告在不同措辞下经过验证的任务完成情况。工作区问题是合适的候选,因为预期证据可以直接检查。结果应区分独立选择工具与收到明确纠正指令后的成功。
在无需纠正提示的情况下持续完成任务,将加强其可承担更广泛委派工作的论据。若仍持续依赖监督,则支持其承担范围更窄、并需人工核查的角色。只要评估说明了工作内容及其限制,这两种结果都具有价值。
这种测量应保留失败案例,也应保留成功案例。只展示最终纠正后的答案,会掩盖为获得该答案所需的交互。读者需要足够的背景,才能理解报告中的结果反映的是助手的初始行为,还是受监督后的恢复。
第三,减少不必要上下文的框架改动,应在相同任务上进行配套比较。如果任务质量保持稳定,较小的输入将是令人鼓舞的结果。更短的提示词若伴随着更多遗漏指令,则会揭示另一种权衡。
这一信号很重要,因为上下文管理处于模型能力与应用设计之间。这里的改进可以改变工作负载,而无需更换 GPU。但其实际价值仍取决于是否保留了作出正确决策所需的信息。
这些观察结合起来,可以将一份有用的个人部署报告转化为更有力的部署选择证据。它们也会让不同本地服务系统之间的比较更具意义。目标是实现等效的工作负载,并使假设清晰可见、结果可验证。
OpenClaw 的本地 LLM 测试已经让读者有理由在模型标签之外审视助手。其最强的贡献在于具体说明了等待和错误出现的位置。其局限性则阻止这份叙述成为普遍性的结论。
在选择本地助手前,应要求与预期工作相匹配的证据。请求在真实空闲期后的启动测量,检查依赖工具的答案是否使用了相关证据,并将支持组件纳入考量。应在评估中保留纠正提示,而不是只根据最终回答作判断。对于文档工作流,在接受答案前,应确认助手查阅了当前材料。这些检查将性能主张与可核查的工作联系起来。它们也使比较不同配置变得更容易,避免将缓存中的对话与偶尔使用混为一谈。当模型处于未加载状态、对话不断增长、且请求的任务需要检查文件时,该部署是否仍能满足你的需求?



