top of page

OpenClawのローカルLLMテストで70秒のコールドスタートを確認

1 日前
読了時間: 19分

開発者Talha AnwarによるシングルGPU実験では、OpenClawが最初の応答を返すまでに70秒を要した一方、その後のやり取りでは大幅に速く応答した。このOpenClawローカルLLMテストは、実用上の緊張関係を浮き彫りにしている。テキスト生成が高速であっても、応答性の高いアシスタントが保証されるわけではない。ローカルLLM、すなわち運用者のハードウェア上で動作する言語モデルにも、メモリ、指示、そしてツールへの信頼できるアクセスが必要となる。

Anwarは、2026年11月13日に公開されたSitePointの記事でこの実験を説明した。彼の構成では、モデルをツールやメッセージングチャネルに接続するアシスタントフレームワークであるOpenClawと、言語モデルを提供するためのソフトウェアであるOllamaを組み合わせた。会話チャネルにはプライベートなDiscordインターフェースを使用した。

この結果は、エージェント用モデルを主に生成速度とハードウェア適合性で選ぶという一般的な購入判断に再考を促す。これに対抗する要件は、セッション全体を通じて有用なタスクを完了できることだ。Anwarの観察はこの違いを検討する具体例となるが、ローカルおよびホスト型アシスタントの一般的な順位付けを確立するものではない。

OpenClawローカルLLMテストで実際に測定されたもの

これは、1台のマシンと限られたタスク群から得られた、個人開発者による導入レポートである。

Anwarは、24 GBのグラフィックスメモリを搭載したNVIDIA RTX 3090でアシスタントを動作させた。チャットモデルには、Ollama経由で提供されるqwen3.5:9bを使用した。ここでの9Bは、およそ90億個のパラメータ、すなわち応答の形を決める学習済みの値を持つモデルであることを示す。

彼のシングルGPUエージェント実験では、初回応答と以降の応答に顕著な差が報告された。最初の応答には70秒かかり、その内訳はモデルの読み込みが59秒、入力処理がおよそ10秒だった。その後のキャッシュ済みのやり取りは1.9〜5秒で完了した。

同じレポートでは、出力生成速度も毎秒91〜96トークンと記録されている。トークンとは、モデルが処理・生成するテキスト単位である。これらの数値は他の処理後の生成速度を表すため、完全な応答時間として読むべきではない。

この違いは、読者が実験をどう解釈すべきかを変える。モデルは準備が整えば高速に文章を書ける一方、書き始めるまでユーザーを待たせることがある。したがって、アシスタントの体感速度は、生成そのものだけでなく、生成に至るまでの経路にも左右される。

Anwarは通常の会話以外にも、ワークスペース内のファイルを扱うタスクなどの挙動を試験した。アシスタントはいくつかの依頼を完了したが、ツールを通じて利用可能な情報を確認せずに回答することもあった。読み取りツールを使う明示的な指示により、報告された失敗の1件は修正された。

この観察は、時間測定結果に第2の側面を加える。重要なのは、アシスタントが許容可能な待ち時間で、依頼された仕事を正しく完了するかどうかだ。エージェントが証拠を確認する前に追加指示を必要とするなら、短い応答時間の価値は限定的である。

このレポートは、製品発表や正式なベンチマーク発表と切り分けて考える必要もある。これは1人の運用者の条件下で既存構成を記録したものだ。すべてのOpenClaw導入環境で同じプロンプトサイズ、遅延、失敗パターンが生じることを示すものではない。

その直接的な貢献はより具体的である。コンシューマー向けGPUが有用なエージェントを支えられると主張する際に、求めるべき測定値を示している。ハードウェア互換性はモデルが動くかどうかに答える。セッション測定は、出来上がったアシスタントが誰かの仕事に適合するかどうかを答え始める。

この区別は、現在同様の導入を評価している開発者にとって重要である。この実験は、準備完了までの時間、繰り返しの依頼、タスク検証について問うための具体的な出発点となる。一方で、より広範な性能主張については、条件を揃えたワークロードによる統制比較に委ねている。

短い質問にもエージェントの指示が含まれる

ユーザーのメッセージは、エージェントがモデルに送る処理の一部にすぎない。

Anwarによると、短い質問が18,415トークンの入力を生み、その後に出力されたのはわずか33トークンだった。この不均衡はOpenClawのプロンプトオーバーヘッドを示している。周辺の指示が、画面上で見える依頼を上回ることがある。

エージェントには、その責務、利用可能なツール、作業環境に関する情報が必要となる。こうした情報は、タスクをまたいで一貫した振る舞いを支え得る。一方で、特定の依頼の際にモデルが利用できる情報であるコンテキストも消費する。

OpenClawのコンテキスト計算に関するドキュメントでは、システム指示、会話履歴、ツール結果、その他の提供資料がこのコンテキストに含まれると説明している。これはAnwarの観察の背後にある一般的な仕組みを裏付ける。ただし、彼の特定の入力サイズが避けられないことを示すものではない。

この負担の一部はフレームワーク開発者にかかる。デフォルトで含める各指示は、それが消費する処理量とコンテキストを正当化する必要がある。新たな機能を加えると、現在の依頼でその機能がまったく必要なくても、アシスタントが実行方法について把握すべき内容が増える場合がある。

ここには実用的な設計上のトレードオフがある。幅広い指示は機能を見つけやすくする一方、選択的な指示は個々の依頼を小さく保てる。この実験だけでは、入力サイズの比較にはタスク成功も伴う必要があるため、どちらの手法にも一律の評価を下すことはできない。

アシスタントを統合する開発者にとって、教訓は測定範囲に関するものだ。小さなユーザーメッセージを、小さなモデルリクエストの証拠と見なすべきではない。アプリケーションが実際のワークロードを組み立てるため、そのワークロード自体を検証する価値がある。

報告されたトークンカウンターも慎重に扱う必要がある。Anwarは、24,576トークンのプロンプト予算に対して、OpenClawが24,608トークンと見積もったと説明した。Ollamaは、処理した入力について異なるカウントを報告した。

これらの数値を、同じ計測器から得た読み取り値のように組み合わせるべきではない。アプリケーションによる推定値とモデルサーバーによるカウントは、異なる計算段階を示している可能性がある。これらの段階を照合しない限り、この差からモデルにどのコンテンツが正確に到達したのか、あるいは何が省かれたのかを確定することはできない。

企業の購入担当者にとって、示唆は抽象的なものではなく運用上のものだ。短いデモで評価されたアシスタントは、指示、作業文書、会話履歴が蓄積した後には異なる振る舞いをする可能性がある。評価では、通常業務で想定されるコンテキスト条件を維持すべきである。

ナレッジワーカーには関連する別の問いがある。アシスタントは回答時に、関連する証拠を利用できる状態にしているだろうか。大きな入力があっても、その証拠が最新で、完全で、正しく参照されていることを自動的には意味しない。コンテキスト量と証拠の品質は別々に検証する必要がある。

検索可能な技術ナレッジを調べる読者も、情報を保存することと、適切な資料を取得することの違いに直面する。エージェントには、行動する前にその資料をいつ確認すべきか判断するという、もう1つの責任が加わる。

したがって、OpenClawのプロンプトオーバーヘッドは速度への影響を超えて重要である。それは実際のタスクにどれだけの余地が残るかを左右する。有用な比較とは、完全な指示と証拠を含め、同等の仕事を完了する構成同士を比べることである。

コールドスタートとキャッシュ済み応答は異なる体験を表す

実験における最大の時間差は、継続的なテキスト生成が始まる前に生じた。

Ollamaのコールドスタートは、必要なモデルがアンロードされた状態でリクエストが到着し、メモリへ読み込む必要があるときに発生する。この状態が、Anwarの初回待ち時間の大部分を説明する。また、後続の応答時間が別の動作状態を表すことも意味する。

Ollamaのパフォーマンス指標は、モデル読み込み、プロンプト評価、出力生成を区別している。これらの区分は、単一の速度指標がアシスタントの挙動を誤って伝え得る理由を説明するのに役立つ。各区分はリクエストの異なる部分を測定する。

プロンプト評価はしばしばprefillと呼ばれ、応答を生成する前に入力を処理する作業である。Anwarの大きな初期入力は、この段階で処理を生んだ。彼のレポートによれば、後続のやり取りでは、以前に処理された資料の再利用による恩恵を受けた。

キャッシュとは、互換性のあるリクエストで再利用できるよう、以前の計算結果を保持することを意味する。その恩恵は、何が再利用可能か、また何が利用可能な状態で残るかに左右される。したがって読者は、良好なキャッシュ済みのやり取りを、将来のすべての対話に関する約束へと置き換えないよう注意すべきである。

この区別は、競合する提供ソフトウェアにも見られる。vLLMプロジェクトのプレフィックスキャッシュに関するドキュメントは、共有された入力の先頭部分について計算を再利用する仕組みを説明している。入力処理の削減と、独立した出力生成作業を明確に区別している。

この比較は技術的な文脈を提供するものであり、性能競争ではない。Anwarはこの実験で、条件を揃えたvLLM比較を公開していない。このワークロードにおいて、どちらかの提供システムが速いと宣言する根拠はここにはない。

事業上の問いは、どの動作状態が実際の利用に近いかである。長時間の会話を行う人は、主として準備済みのモデルと再利用可能な入力に接するかもしれない。時折リクエストを送る人は異なる条件に直面する可能性があり、起動時の挙動がより重要になる。

どちらのパターンも、本質的に正しいベンチマークというわけではない。問題は、一方のパターンからの結果を使ってもう一方を売り込むときに生じる。有用な評価では、応答時間とともに、リクエスト間隔、モデルの準備状態、再利用条件を示す。

Ollamaのメモリ保持設定に関するドキュメントでは、モデルはデフォルトで5分間読み込まれたままになるとしている。運用者は保持制御を通じてこの挙動を変更できる。Anwarは、実験中にこの設定を変更しなかったと述べている。

モデルを利用可能な状態に保つことは、リソース上の選択を伴う。運用者は、即時の応答性のためにメモリを確保し、そのメモリを他の用途へすぐに使えなくする。この構成がワークステーションに適するかどうかは、他の作業とアシスタントの想定利用に依存する。

このため、Ollamaのコールドスタートはインフラだけでなく、製品設計にも関係する。要求されたモデルがまだ読み込み中であれば、インターフェースは待機状態を正確に表現する必要がある。そうしなければ、ユーザーは想定内の準備と応答しないアシスタントを区別できない。

OpenClawのローカルLLMテストは、平均応答時間をめぐる注意も促している。平均値は、起動時と会話継続中の異なる体験を隠し得る。こうした条件を分けて報告すれば、今後の結果は解釈・比較しやすくなるだろう。

購入者にとって適切な要求は明快だ。現実的な利用状況における完全なリクエスト経路を示すべきである。生成速度は依然として有用な情報だが、ユーザーが体験するのは、準備、処理、ツール作業、配信にわたる累積待ち時間である。

モデルメモリだけではアシスタント全体を表せない

導入環境のリソース予算には、チャットモデルを支えるコンポーネントも含める必要がある。

Anwarは、チャットモデルが6.3 GB、別個の埋め込みモデルが5.1 GBで、合計11.4 GBだったと報告した。埋め込みモデルは、類似性検索を支える数値表現へコンテンツを変換する。この構成では、アシスタントのメモリ関連処理に寄与していた。

これらの数値は、報告されたモデル割り当てを示しています。コンテキスト保存やその他の実行時オーバーヘッドを含めた完全なメモリ要件を確定するものではありません。この合計を正確な導入時の最低要件として扱うと、レポートが測定した内容を過大に解釈することになります。

これは重要です。ハードウェアに関する議論は、チャットモデル単体から始まることが多いためです。アシスタントには、追加の検索、保存、処理コンポーネントが関与する場合があります。モデル単体が十分に収まるとしても、周辺アプリケーションも同様に余裕を持って稼働するかどうかは決まりません。

購入判断においては、ワークロード固有の証拠が必要になります。購入者は、デモ中にモデルと並行して何が動作していたのか、何が除外されていたのかを尋ねるべきです。同じマシンが他のアプリケーションにも使われる場合、この問いはさらに重要になります。

開発者も、インストール済みの機能と実際のリソース消費を区別する必要があります。コンポーネントが存在するだけでは、いつ動作するのか、どの程度の時間リソースを保持するのかは分かりません。ソフトウェアの一覧よりも、アクティビティトレースの方が有用な証拠となります。

Anwarのレポートでは、30分ごとに実行されるスケジュール済みのハートビートが確認されました。ハートビートとは、新しいユーザーメッセージがなくてもアシスタントを起動し得る、定期的なバックグラウンドチェックです。その存在は、モデルリクエストの発生源が可視化された会話だけではなかった可能性を意味します。

ただし、Anwarはこうしたスケジュール済みチェックの間に発生するコールドロードの影響を測定していません。ハートビートの間隔と、Ollamaで文書化されているデフォルトの保持期間は、もっともな疑問を生じさせます。しかし、それらは各バックグラウンドイベントの実際の継続時間やリソース消費を確定するものではありません。

この境界は、公正な報道にとって重要です。もっともらしい仕組みは、観測結果そのものにはならずとも、次の実験の指針にはなります。起動遅延が繰り返されると主張するには、それらのイベント中のモデル準備完了状態とリクエストのタイミングを示す測定値が必要です。

ここで責任を負うのは、アプリケーション運用者とフレームワーク保守者です。アシスタントがいつ実行されるのかを説明できる程度に、バックグラウンドの挙動を可視化する必要があります。そうでなければ、一見アイドル状態に見えるサービスの挙動を理解することが難しくなります。

ローカル導入には、正確なプライバシー説明も必要です。言語モデルをローカルハードウェアで実行することは、応答を生成する計算である推論がどこで行われるかを示します。しかし、それだけではワークフローに参加するすべてのサービスを説明できません。

Anwarは、対話チャネルとしてDiscordを使用しました。したがって、この実験を完全にオフラインの通信経路を証明するものとして提示すべきではありません。モデルを提供する場所とメッセージングチャネルは、アーキテクチャ上の別個の要素です。

社内情報を扱う組織にとって、この区別は導入レビューに含めるべきです。重要なのは、データの各カテゴリがどこを通り、どこに保持されるかです。ローカルモデルは組織の要件を支援できますが、それらの要件が満たされるかどうかはワークフロー全体によって決まります。

リソースとプライバシーの問題は、同じ購入判断の規律に収束します。支援モデル、スケジュールされた処理、接続されたサービスを含め、導入された状態のアシスタントを評価してください。チャットモデルの仕様は、部分的な見取り図にすぎません。

迅速な回答にもワークスペースからの証拠が必要

レポートにおける最も重大な制約は、エージェントが回答前に情報を確認するかどうかに関する点です。

Anwarは、小規模モデルがワークスペースを調べるツールを使わず、提供されたコンテキストに依存した事例を説明しました。あるケースでは、読み取りツールを明示的に指定すると、ファイルの確認に成功しました。これは、ツールの利用可能性と、信頼できるツール選択を区別するものです。

ツール呼び出しとは、文書の読み取りなどの操作をソフトウェアに依頼し、その返された結果を利用することです。モデルがこの仕組みをサポートしていても、それを一貫して選択するとは限りません。したがって、統合の成功は、信頼できるタスク遂行を証明するものではありません。

この区別が重要なのは、自然言語が不完全な作業を隠し得るからです。正しさを左右する情報源をアシスタントが確認していなくても、回答はもっともらしく聞こえる場合があります。ユーザーにとって、欠けている操作はエラーメッセージよりも気付きにくいことがあります。

ここで、OpenClawのプロンプトオーバーヘッドは、より難しい評価上の問題に直面します。ツールをいつ使うべきかは、より多くの指示で説明できますが、指示量だけでは遵守を証明できません。それでも結果は、タスクが要求した内容に照らして検証する必要があります。

明示的なツール指示は、有用な診断手段となります。直接要求された場合に操作が機能することを示せます。しかし、異なる表現の依頼でもアシスタントが同じ必要性を認識することまでは証明しません。

このため、成功した修正をどこまで広く解釈できるかには限界があります。Anwarの観察が裏付けるのは、より限定的な主張です。つまり、指示された場合には、アシスタントは関連ファイルを読めたということです。ファイル関連のタスク全般で、信頼できる独立した判断ができることを証明するものではありません。

OpenClawのローカルモデルに関するガイダンスも、ローカル導入を、モデル能力と運用上の制約を伴う選択として扱っています。ドキュメントはフレームワークの視点を示し、Anwarの記録は特定のユーザー体験を示します。どちらも、反復的なタスク評価の代わりにはなりません。

開発者に求められるのは、回答済みの依頼と完了した操作を区別できるだけの証拠を示すことです。ファイルに関する回答は、実際のファイル状態と照らして評価可能であるべきです。この基準は、エージェントが変更を加えられる場合に特に重要になります。

企業の購入者は、デモがどのように監督されていたかを尋ねるべきです。運用者が欠けているツール指示を繰り返し与えているなら、その評価には人の支援が含まれています。その支援自体は許容され得ますが、作業がどのように完遂されるかという説明に含める必要があります。

ナレッジワーカーも、技術的な可視性は低いながら同じ問題に直面します。古いコンテキストから回答するアシスタントは、迅速に応答しても、追加の検証作業を生む可能性があります。確認と修正に要する時間は、実用性を評価する際に含めるべきです。

このレポートは、すべての小規模モデルが同じ失敗率を持つことを示していません。また、ホスト型モデルがこれらのタスクを正しく完了することも証明していません。公正な比較では、タスク、ツール、権限、検証基準を一定に保つ必要があります。

中心にある緊張関係は、ローカルでの応答性と、ワークフロー全体における信頼できる完了の間に残ります。生成速度の改善は、その緊張関係の一部に対処します。信頼できる証拠収集は別の部分に対処するものであり、どちらの結果ももう一方の代替にはなりません。

次の証拠はアイドル時間、完了、コンテキストを対象にする必要がある

次に有用な結果は、このレポートが未解決のまま残した条件を検証するものです。

まず、後続の測定では、スケジュールされたバックグラウンド活動を含め、アイドル期間後のリクエストを調べるべきです。関連する証拠には、モデルがロードされたままだったかどうか、各リクエストが準備に費やした時間がどの程度かが含まれます。これにより、通常の利用時にも初期遅延が繰り返されるかどうかを確定できます。

代表的なアイドル期間をまたいでモデルが準備済みであれば、応答性の高い断続的利用を支持する根拠が強まります。繰り返されるロード遅延は、運用者が異なるメモリ保持ポリシーを受け入れない限り、その根拠を弱めます。いずれの結果も、設定だけから挙動を推測するより優れています。

スケジュール済みのハートビートは、アクティブな会話以外のリクエストを導入するため、特に注意に値します。その実際の挙動は、スケジュールから再構築するのではなく観測すべきです。これには、次のユーザーリクエストへの準備状態に影響するかどうかの判断も含まれます。

次に、将来の評価では、さまざまな表現における検証済みのタスク完了を報告すべきです。期待される証拠を直接検査できるため、ワークスペースに関する質問は有用な候補となります。結果では、独立したツール選択と、明示的な修正指示後の成功を区別する必要があります。

修正を促すことなく一貫して完了できれば、より広範な委任の根拠が強まります。監督への依存が続くなら、人による確認を伴う、より限定的な役割を支持することになります。評価が作業内容とその限界を説明する限り、どちらの結果も有用です。

その測定では、成功だけでなく失敗も残すべきです。最終的に修正された回答だけを示すと、それを得るために必要だったやり取りが隠れます。読者には、報告された結果がアシスタントの初期挙動を反映しているのか、それとも監督下での回復を反映しているのかを理解するための十分な文脈が必要です。

第三に、不要なコンテキストを削減するフレームワークの変更は、同じタスクで対応する比較を行うべきです。タスク品質が安定していれば、より小さな入力は有望です。より小さなプロンプトと指示の見落とし増加が組み合わされる場合は、異なるトレードオフが明らかになります。

この指標が重要なのは、コンテキスト管理がモデル能力とアプリケーション設計の間に位置するからです。この領域の改善は、異なるGPUを必要とせずにワークロードを変え得ます。その実用的な価値は、正しい判断に必要な情報が維持されるかどうかに依然として左右されます。

これらの観察を合わせれば、有用な個人導入レポートを、導入選択のためのより強固な証拠へと変えられます。また、ローカル提供システム間の比較も、より意味のあるものになります。目標は、前提が可視化され、結果が検証可能な、同等のワークロードです。

OpenClawのローカルLLMテストはすでに、モデル名だけでなくアシスタントを検討する理由を読者に与えています。その最大の貢献は、待ち時間とミスがどこで現れたのかを具体的に記録した点です。その限界により、この記録を普遍的な結論にすることはできません。

ローカルアシスタントを選ぶ前に、想定する作業に合った証拠を求めてください。現実的なアイドル期間後の起動測定を要求し、ツール依存の回答が関連する証拠を用いたかを確認し、支援コンポーネントも考慮してください。最終回答だけで判断せず、評価には修正プロンプトを残してください。文書ワークフローでは、回答を受け入れる前に、アシスタントが最新の資料を参照していることを確認してください。これらの確認は、性能に関する主張を検査可能な作業と結び付けます。また、キャッシュされた会話と断続的な利用を混同せずに構成を比較しやすくします。モデルがアンロードされた状態で起動し、会話が長くなり、要求されたタスクにファイルの確認が必要な場合でも、その導入はニーズを満たすでしょうか?

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page