Il test di OpenClaw con LLM locale rileva un avvio a freddo di 70 secondi
OpenClaw ha impiegato 70 secondi per fornire la prima risposta nell'esperimento a GPU singola dello sviluppatore Talha Anwar, pur rispondendo molto più rapidamente negli scambi successivi. Il test di OpenClaw con LLM locale evidenzia una tensione pratica: una generazione di testo rapida non garantisce un assistente reattivo. Un LLM locale, un modello linguistico eseguito sull'hardware dell'operatore, necessita comunque di memoria, istruzioni e accesso affidabile agli strumenti.
Anwar ha descritto l'esperimento in un articolo di SitePoint pubblicato il 13 novembre 2026. La sua configurazione abbinava OpenClaw, un framework per assistenti che collega modelli a strumenti e canali di messaggistica, a Ollama, software per servire modelli linguistici. Un'interfaccia Discord privata forniva il canale di conversazione.
I risultati mettono in discussione una scorciatoia d'acquisto diffusa: scegliere il modello di un agente principalmente in base alla velocità di generazione e alla compatibilità hardware. Il requisito concorrente è il completamento utile delle attività nell'intera sessione. Le osservazioni di Anwar offrono un caso concreto per esaminare questa differenza, pur non stabilendo una classifica generale tra assistenti locali e ospitati.
Cosa ha effettivamente misurato il test di OpenClaw con LLM locale
Si è trattato di un resoconto di implementazione di un singolo sviluppatore, con misurazioni da una macchina e un insieme limitato di attività.
Anwar ha eseguito l'assistente su una NVIDIA RTX 3090 con 24 GB di memoria grafica. Il modello di chat era qwen3.5:9b, servito tramite Ollama. Qui l'etichetta 9B indica un modello con circa nove miliardi di parametri, i valori appresi che ne modellano le risposte.
Il suo esperimento con agente a GPU singola ha segnalato una differenza marcata tra le risposte iniziali e quelle successive. La prima risposta ha richiesto 70 secondi, inclusi 59 secondi per caricare il modello e circa 10 secondi per elaborare l'input. Gli scambi successivi memorizzati nella cache hanno richiesto da 1,9 a 5 secondi.
Lo stesso resoconto ha registrato una generazione dell'output da 91 a 96 token al secondo. I token sono le unità di testo che un modello elabora e genera. Queste cifre descrivono la generazione successiva ad altre operazioni, quindi non vanno interpretate come tempi di risposta completi.
La distinzione cambia il modo in cui i lettori dovrebbero interpretare l'esperimento. Un modello può scrivere rapidamente una volta pronto, pur facendo attendere l'utente prima che la scrittura inizi. La velocità percepita di un assistente dipende quindi sia dal percorso che conduce alla generazione sia dalla generazione stessa.
Anwar ha anche testato comportamenti oltre la normale conversazione, incluse attività sui file dell'area di lavoro. L'assistente ha completato alcune richieste, ma talvolta ha risposto senza verificare le informazioni disponibili tramite i suoi strumenti. Un'istruzione esplicita di utilizzare uno strumento di lettura ha corretto un errore segnalato.
Questa osservazione aggiunge una seconda dimensione ai risultati sui tempi. L'esito rilevante è se l'assistente completa correttamente il lavoro richiesto, con un'attesa accettabile. Un tempo di risposta breve ha valore limitato quando la risposta richiede un'ulteriore istruzione prima che l'agente verifichi le proprie evidenze.
Il resoconto va inoltre tenuto distinto da un lancio di prodotto o da un annuncio formale di benchmark. Documenta una configurazione esistente nelle condizioni di un singolo operatore. Non dimostra che ogni implementazione di OpenClaw presenti le stesse dimensioni del prompt, gli stessi ritardi o gli stessi schemi di errore.
Il suo contributo immediato è più specifico: individua le misurazioni che vale la pena richiedere quando qualcuno afferma che una GPU consumer può supportare un agente utile. La compatibilità hardware risponde alla domanda se un modello possa essere eseguito. Le misurazioni della sessione iniziano a rispondere alla domanda se l'assistente risultante sia adatto al lavoro di qualcuno.
Questa distinzione è importante per gli sviluppatori che valutano implementazioni simili oggi. L'esperimento offre un punto di partenza concreto per domande su prontezza, richieste ricorrenti e verifica delle attività. Lascia le affermazioni più ampie sulle prestazioni a confronti controllati con carichi di lavoro equivalenti.
Anche una domanda breve include le istruzioni dell'agente
Il messaggio dell'utente rappresenta solo una parte del lavoro che un agente invia al proprio modello.
Anwar ha riferito che una domanda breve ha prodotto un input contenente 18.415 token, seguito da appena 33 token di output. Lo squilibrio illustra l'overhead dei prompt di OpenClaw: le istruzioni circostanti possono superare la richiesta visibile.
Un agente necessita di informazioni sulle proprie responsabilità, sugli strumenti disponibili e sull'ambiente di lavoro. Questo materiale può aiutarlo a comportarsi in modo coerente nelle diverse attività. Consuma però anche contesto, ossia le informazioni disponibili al modello durante una particolare richiesta.
La documentazione di OpenClaw sulla contabilizzazione del contesto spiega che istruzioni di sistema, cronologia delle conversazioni, risultati degli strumenti e altro materiale fornito rientrano in quel contesto. Ciò supporta il meccanismo generale alla base dell'osservazione di Anwar. Non dimostra che la sua particolare dimensione di input sia inevitabile.
La pressione ricade in parte sugli sviluppatori del framework. Ogni istruzione inclusa per impostazione predefinita deve giustificare l'elaborazione e il contesto che consuma. L'aggiunta di un'altra capacità può ampliare ciò che l'assistente sa di poter fare, anche quando la richiesta corrente non necessita mai di quella capacità.
Questo crea un compromesso progettuale pratico. Istruzioni ampie possono rendere le capacità individuabili, mentre istruzioni selettive possono mantenere più piccole le singole richieste. Nessuno dei due approcci merita un verdetto assoluto basato su questo esperimento, poiché il successo dell'attività deve accompagnare qualsiasi confronto sulle dimensioni dell'input.
Per gli sviluppatori che integrano un assistente, la lezione riguarda i confini della misurazione. Un messaggio utente breve non dovrebbe essere trattato come prova di una richiesta al modello altrettanto piccola. L'applicazione compone il carico di lavoro effettivo, e tale carico merita un esame.
Anche i contatori di token riportati richiedono una gestione attenta. Anwar ha descritto una stima di OpenClaw pari a 24.608 token rispetto a un budget di prompt di 24.576 token. Ollama ha riportato un conteggio diverso per l'input elaborato.
Queste cifre non dovrebbero essere combinate come se fossero letture dello stesso strumento. La stima di un'applicazione e il conteggio di un server di modelli possono descrivere fasi di contabilizzazione diverse. Senza riconciliare tali fasi, la differenza non può stabilire con precisione quale contenuto sia giunto al modello o quale sia stato omesso.
Per gli acquirenti enterprise, l'implicazione è operativa anziché astratta. Un assistente valutato tramite dimostrazioni brevi potrebbe comportarsi diversamente quando si accumulano istruzioni, documenti di lavoro e cronologia delle conversazioni. Le valutazioni dovrebbero preservare le condizioni di contesto previste durante il normale lavoro.
I knowledge worker affrontano una domanda correlata: l'assistente dispone delle evidenze rilevanti quando risponde? Un input ampio non significa automaticamente che tali evidenze siano aggiornate, complete o consultate correttamente. Il volume del contesto e la qualità delle evidenze richiedono un esame distinto.
I lettori che esplorano la conoscenza tecnica ricercabile incontrano la stessa distinzione tra archiviare informazioni e recuperare il materiale giusto. Un agente aggiunge un'altra responsabilità: decidere quando verificare quel materiale prima di agire.
L'overhead dei prompt di OpenClaw conta quindi oltre il suo effetto sulla velocità. Determina quanto spazio rimane per l'attività effettiva. Il confronto utile è tra configurazioni che completano un lavoro equivalente, includendo tutte le istruzioni e le evidenze.
Avvii a freddo e risposte in cache descrivono esperienze diverse
La maggiore differenza nei tempi dell'esperimento si è verificata prima della generazione sostenuta del testo.
Un avvio a freddo di Ollama si verifica quando arriva una richiesta mentre il modello necessario non è caricato e deve essere portato in memoria. Questa condizione spiega gran parte dell'attesa iniziale di Anwar. Rende inoltre i tempi di risposta successivi uno stato operativo distinto.
Le metriche delle prestazioni di Ollama distinguono il caricamento del modello, la valutazione del prompt e la generazione dell'output. Queste categorie aiutano a spiegare perché un'unica cifra sulla velocità possa rappresentare in modo errato il comportamento di un assistente. Ogni categoria misura una parte diversa della richiesta.
La valutazione del prompt, spesso chiamata prefill, è il lavoro di elaborazione dell'input prima di generare una risposta. Il grande input iniziale di Anwar ha creato lavoro durante questa fase. Secondo il suo resoconto, gli scambi successivi hanno beneficiato del riutilizzo di materiale elaborato in precedenza.
Il caching consiste nel mantenere calcoli precedenti affinché richieste compatibili possano riutilizzarli. I suoi vantaggi dipendono da ciò che resta riutilizzabile e disponibile. I lettori dovrebbero quindi evitare di tradurre uno scambio favorevole in cache in una promessa su ogni futura interazione.
La distinzione compare anche nei software di serving concorrenti. La documentazione sul prefix caching del progetto vLLM descrive il riutilizzo del calcolo per inizi condivisi dell'input. Distingue esplicitamente la riduzione dell'elaborazione dell'input dal lavoro separato di generazione dell'output.
Questo confronto offre contesto tecnico, non una gara di prestazioni. Anwar non ha pubblicato un confronto vLLM equivalente in questo esperimento. Non esiste qui alcuna base per dichiarare un sistema di serving più veloce sull'attività da lui svolta.
La domanda commerciale è quale stato operativo assomigli all'uso reale. Chi conduce una conversazione prolungata potrebbe incontrare soprattutto un modello pronto e input riutilizzabile. Chi invia richieste occasionali potrebbe incontrare condizioni diverse, rendendo più rilevante il comportamento all'avvio.
Nessuno dei due modelli d'uso è intrinsecamente il benchmark corretto. Il problema sorge quando i risultati di uno schema vengono utilizzati per vendere l'altro. Una valutazione utile indica l'intervallo tra le richieste, lo stato di prontezza del modello e le condizioni di riutilizzo insieme al tempo di risposta.
La documentazione sulle impostazioni di conservazione della memoria di Ollama afferma che i modelli rimangono caricati per cinque minuti per impostazione predefinita. Gli operatori possono modificare questo comportamento attraverso controlli di conservazione. Anwar ha dichiarato di non aver modificato l'impostazione durante il suo esperimento.
Mantenere un modello disponibile comporta una scelta di risorse. L'operatore riserva memoria per la reattività invece di renderla immediatamente disponibile altrove. L'idoneità di questa disposizione per una workstation dipende dagli altri carichi di lavoro e dall'uso previsto dell'assistente.
Questo rende l'avvio a freddo di Ollama rilevante tanto per la progettazione del prodotto quanto per l'infrastruttura. Un'interfaccia deve rappresentare accuratamente l'attesa se il modello richiesto è ancora in caricamento. Altrimenti, gli utenti non possono distinguere una preparazione prevista da un assistente che non risponde.
Il test di OpenClaw con LLM locale suggerisce inoltre cautela rispetto ai tempi medi di risposta. Una media può nascondere esperienze diverse tra avvio e conversazione continuata. Riportare separatamente queste condizioni renderebbe i risultati futuri più facili da interpretare e confrontare.
Per gli acquirenti, la richiesta appropriata è semplice: mostrare il percorso completo della richiesta in condizioni d'uso realistiche. La velocità di generazione resta un'informazione utile, ma l'utente sperimenta l'attesa cumulativa tra preparazione, elaborazione, lavoro degli strumenti e consegna.
La memoria del modello non descrive l'intero assistente
Il budget di risorse di un'implementazione deve includere i componenti che supportano il modello di chat.
Anwar ha riportato 6,3 GB per il modello di chat e 5,1 GB per un modello di embedding separato, per un totale di 11,4 GB. Un modello di embedding converte i contenuti in rappresentazioni numeriche che supportano la ricerca per somiglianza. In questa configurazione, contribuiva al lavoro dell'assistente legato alla memoria.
Questi dati descrivono le allocazioni di modello riportate. Non stabiliscono il fabbisogno completo di memoria dopo l’archiviazione del contesto e altri overhead di runtime. Considerare la somma come un minimo esatto per il deployment sovrastimerebbe ciò che il report ha misurato.
Questo è importante perché le discussioni sull’hardware spesso iniziano dal solo modello conversazionale. Un assistente può coinvolgere componenti aggiuntivi di recupero delle informazioni, archiviazione ed elaborazione. Il fatto che un modello si adatti comodamente da solo non determina se anche l’applicazione circostante si adatti con la stessa facilità.
L’implicazione per l’acquisto è la necessità di evidenze specifiche per il carico di lavoro. Gli acquirenti dovrebbero chiedere cosa fosse in esecuzione accanto al modello durante una dimostrazione e cosa fosse escluso. Questa domanda diventa più rilevante quando la stessa macchina serve altre applicazioni.
Gli sviluppatori devono inoltre distinguere tra funzionalità installate e consumo attivo di risorse. La presenza di un componente non rivela quando viene eseguito né per quanto tempo mantiene le risorse. Le tracce di attività forniscono prove migliori di un inventario del software.
Il report di Anwar ha identificato un heartbeat pianificato in esecuzione ogni 30 minuti. Un heartbeat è un controllo ricorrente in background che può attivare un assistente senza un nuovo messaggio dell’utente. La sua presenza significa che la conversazione visibile non era l’unica possibile fonte di richieste al modello.
Tuttavia, Anwar non ha misurato l’effetto di caricamento a freddo tra questi controlli pianificati. L’intervallo del heartbeat e il periodo di conservazione predefinito documentato di Ollama sollevano una domanda ragionevole. Non stabiliscono la durata effettiva né il consumo di risorse di ogni evento in background.
Questo confine è importante per una rendicontazione corretta. Un meccanismo plausibile può guidare il prossimo esperimento senza diventare un risultato osservato. Affermare ritardi di avvio ripetuti richiederebbe misurazioni che mostrino la prontezza del modello e la tempistica delle richieste durante quegli eventi.
La pressione qui ricade sugli operatori delle applicazioni e sui manutentori dei framework. Il comportamento in background deve essere sufficientemente visibile da permettere di spiegare quando l’assistente viene eseguito. Altrimenti, un servizio apparentemente inattivo può diventare difficile da comprendere.
Il deployment locale necessita inoltre di una descrizione precisa della privacy. Eseguire il modello linguistico su hardware locale descrive dove avviene l’inferenza, ossia il calcolo che produce le risposte. Non descrive di per sé ogni servizio che partecipa al flusso di lavoro.
Anwar ha usato Discord come canale di interazione. Di conseguenza, l’esperimento non dovrebbe essere presentato come prova di un percorso di comunicazione completamente offline. La posizione del servizio del modello e il canale di messaggistica sono parti distinte dell’architettura.
Per un’organizzazione che gestisce informazioni interne, questa distinzione deve rientrare nella revisione del deployment. La domanda rilevante è dove viaggiano e persistono le singole categorie di dati. Un modello locale può supportare i requisiti di un’organizzazione, ma è il flusso di lavoro completo a determinare se tali requisiti siano soddisfatti.
Le questioni relative a risorse e privacy convergono sulla stessa disciplina d’acquisto. Valutate l’assistente così come viene distribuito, inclusi modelli di supporto, attività pianificate e servizi connessi. La specifica del modello conversazionale offre soltanto una visione parziale.
Una risposta rapida richiede comunque prove dall’area di lavoro
La limitazione più rilevante del report riguarda il fatto che l’agente verifichi o meno le informazioni prima di rispondere.
Anwar ha descritto casi in cui il piccolo modello si affidava al contesto fornito invece di usare strumenti per ispezionare la propria area di lavoro. In un caso, nominare esplicitamente lo strumento di lettura lo ha portato a controllare correttamente un file. Ciò separa la disponibilità degli strumenti dalla selezione affidabile degli strumenti.
La chiamata di strumenti significa chiedere al software di eseguire un’operazione, come leggere un documento, e poi utilizzare il risultato restituito. Un modello può supportare questo meccanismo pur scegliendolo in modo incoerente. Un’integrazione riuscita non dimostra quindi un comportamento affidabile nell’esecuzione dei compiti.
La distinzione è importante perché il linguaggio naturale può nascondere un lavoro incompleto. Una risposta può sembrare ragionevole anche quando l’assistente non ha mai controllato la fonte che determina la correttezza. Per un utente, l’operazione mancante può essere meno evidente di un messaggio di errore.
È qui che l’overhead dei prompt di OpenClaw incontra un problema di valutazione più difficile. Più istruzioni possono descrivere quando utilizzare gli strumenti, ma il solo volume delle istruzioni non può dimostrarne il rispetto. Il risultato deve comunque essere verificato rispetto a ciò che il compito richiedeva.
Un’istruzione esplicita sull’uso di uno strumento offre una diagnosi utile. Può mostrare che l’operazione funziona quando viene richiesta direttamente. Tuttavia, non dimostra che l’assistente riconoscerà la stessa necessità durante una richiesta formulata diversamente.
Ciò limita l’ampiezza dell’interpretazione della correzione riuscita. L’osservazione di Anwar supporta un’affermazione più circoscritta: l’assistente poteva leggere il file pertinente quando veniva indirizzato a farlo. Non dimostra un giudizio indipendente affidabile nei compiti relativi ai file.
Anche la guida ai modelli locali di OpenClaw tratta il deployment locale come una scelta che coinvolge la capacità del modello e i vincoli operativi. La documentazione offre la prospettiva del framework, mentre il resoconto di Anwar fornisce una particolare esperienza utente. Nessuno dei due sostituisce una valutazione ripetuta dei compiti.
Per gli sviluppatori, la pressione consiste nell’esporre prove sufficienti per distinguere una richiesta a cui è stata data risposta da un’operazione completata. Una risposta relativa a un file dovrebbe poter essere valutata rispetto allo stato effettivo del file. Questo standard diventa particolarmente importante quando un agente può apportare modifiche.
Gli acquirenti enterprise dovrebbero chiedere come siano state supervisionate le dimostrazioni. Se un operatore fornisce ripetutamente l’istruzione mancante sullo strumento, la valutazione include assistenza umana. Tale assistenza può essere accettabile, ma deve rientrare nella descrizione di come viene svolto il lavoro.
I knowledge worker affrontano lo stesso problema con minore visibilità tecnica. Un assistente che risponde basandosi su un contesto obsoleto può creare lavoro aggiuntivo di verifica anche quando risponde rapidamente. Il tempo speso per controllare e correggere deve rientrare in qualsiasi valutazione pratica dell’utilità.
Il report non dimostra che tutti i piccoli modelli condividano lo stesso tasso di fallimento. Non stabilisce nemmeno che i modelli ospitati completerebbero correttamente questi compiti. Un confronto equo dovrebbe mantenere costanti il compito, gli strumenti, le autorizzazioni e lo standard di verifica.
Rimane la tensione centrale tra reattività locale e completamento affidabile nell’intero flusso di lavoro. Una migliore velocità di generazione affronta una parte di tale tensione. La raccolta affidabile delle prove ne affronta un’altra, e nessuno dei due risultati dovrebbe sostituire l’altro.
Le prossime prove devono coprire inattività, completamento e contesto
I prossimi risultati utili dovrebbero testare le condizioni che questo report lascia irrisolte.
In primo luogo, le misurazioni di follow-up dovrebbero esaminare le richieste dopo periodi di inattività, compresa l’attività pianificata in background. Le prove rilevanti includono se il modello sia rimasto caricato e quanto tempo ogni richiesta abbia trascorso nella preparazione. Ciò stabilirebbe se il ritardo iniziale ricorra durante l’uso ordinario.
Un modello pronto durante periodi di inattività rappresentativi rafforzerebbe il caso d’uso per un utilizzo occasionale reattivo. Ritardi di caricamento ripetuti restringerebbero tale caso, a meno che l’operatore non accetti una diversa politica di conservazione della memoria. Entrambi i risultati migliorerebbero rispetto all’inferire il comportamento dalla sola configurazione.
Il heartbeat pianificato merita particolare attenzione perché introduce richieste al di fuori della conversazione attiva. Il suo comportamento effettivo dovrebbe essere osservato anziché ricostruito a partire dalla pianificazione. Ciò include determinare se influisca sulla prontezza per la richiesta successiva dell’utente.
In secondo luogo, le valutazioni future dovrebbero riportare il completamento verificato dei compiti con formulazioni diverse. Le domande sull’area di lavoro sono candidati utili perché le prove attese possono essere ispezionate direttamente. I risultati dovrebbero distinguere la selezione indipendente dello strumento dal successo ottenuto dopo un’istruzione correttiva esplicita.
Un completamento coerente senza sollecitazioni correttive rafforzerebbe il caso per una delega più ampia. La continua dipendenza dalla supervisione supporterebbe un ruolo più circoscritto con controlli umani. Entrambi gli esiti sarebbero utili, a condizione che la valutazione descriva il lavoro e i suoi limiti.
Questa misurazione dovrebbe preservare i fallimenti oltre ai successi. Mostrare soltanto la risposta finale corretta nasconde l’interazione necessaria per ottenerla. I lettori hanno bisogno di contesto sufficiente per comprendere se un risultato riportato rifletta il comportamento iniziale dell’assistente o un recupero supervisionato.
In terzo luogo, le modifiche al framework che riducono il contesto non necessario meritano confronti corrispondenti sugli stessi compiti. Un input più piccolo sarebbe incoraggiante se la qualità del compito rimanesse stabile. Prompt più brevi accompagnati da un maggior numero di istruzioni mancate rivelerebbero un compromesso diverso.
Questo segnale è importante perché la gestione del contesto si colloca tra la capacità del modello e la progettazione dell’applicazione. I miglioramenti in quest’area possono cambiare il carico di lavoro senza richiedere una GPU diversa. Il loro valore pratico dipende comunque dalla conservazione delle informazioni necessarie per decisioni corrette.
Insieme, queste osservazioni trasformerebbero un utile report personale di deployment in prove più solide per le scelte di distribuzione. Renderebbero inoltre più significativi i confronti tra sistemi locali di servizio dei modelli. L’obiettivo è un carico di lavoro equivalente, con ipotesi visibili e risultati verificabili.
Il test OpenClaw LLM locale offre già ai lettori una ragione per esaminare l’assistente oltre la sua etichetta di modello. Il suo contributo più forte è un resoconto concreto di dove sono emersi attese ed errori. I suoi limiti impediscono che quel resoconto diventi un verdetto universale.
Prima di scegliere un assistente locale, chiedete prove che corrispondano al lavoro previsto. Richiedete misurazioni dell’avvio dopo periodi realistici di inattività, controllate se le risposte dipendenti dagli strumenti abbiano usato le prove pertinenti e considerate i componenti di supporto. Conservate i prompt correttivi nella valutazione invece di giudicare soltanto la risposta finale. Per i flussi di lavoro documentali, verificate che l’assistente consulti il materiale corrente prima di accettarne la risposta. Questi controlli collegano le affermazioni sulle prestazioni a un lavoro che potete ispezionare. Rendono inoltre più semplice confrontare le configurazioni senza confondere una conversazione in cache con un utilizzo occasionale. Il deployment soddisferebbe ancora le vostre esigenze quando il modello si avvia scaricato, la conversazione cresce e il compito richiesto richiede di controllare un file?



