top of page

Teste de LLM local do OpenClaw encontra uma inicialização a frio de 70 segundos

há 1 dia
13 min de leitura

O OpenClaw levou 70 segundos para entregar sua primeira resposta no experimento de GPU única do desenvolvedor Talha Anwar, apesar de responder muito mais rápido nas interações seguintes. O teste de LLM local do OpenClaw expõe uma tensão prática: a geração rápida de texto não garante um assistente responsivo. Um LLM local, um modelo de linguagem executado no hardware do operador, ainda precisa de memória, instruções e acesso confiável a ferramentas.

Anwar descreveu o experimento em um artigo da SitePoint publicado em 13 de novembro de 2026. Sua configuração combinava o OpenClaw, um framework de assistente que conecta modelos a ferramentas e canais de mensagens, com o Ollama, software para servir modelos de linguagem. Uma interface privada do Discord forneceu o canal de conversa.

As descobertas pressionam um atalho conhecido nas decisões de compra: escolher o modelo de um agente principalmente pela velocidade de geração e compatibilidade com o hardware. A exigência concorrente é concluir tarefas úteis ao longo de toda uma sessão. As observações de Anwar oferecem um caso concreto para examinar essa diferença, embora não estabeleçam uma classificação geral de assistentes locais e hospedados.

O que o teste de LLM local do OpenClaw realmente mediu

Este foi o relato de implantação de um desenvolvedor individual, com medições de uma máquina e um conjunto limitado de tarefas.

Anwar executou o assistente em uma NVIDIA RTX 3090 com 24 GB de memória gráfica. O modelo de chat era qwen3.5:9b, servido pelo Ollama. Aqui, o rótulo 9B indica um modelo com aproximadamente nove bilhões de parâmetros, os valores aprendidos que moldam suas respostas.

Seu experimento de agente em uma única GPU relatou uma diferença marcante entre as respostas iniciais e as posteriores. A primeira resposta levou 70 segundos, incluindo 59 segundos para carregar o modelo e aproximadamente 10 segundos para processar sua entrada. Interações posteriores em cache levaram de 1,9 a 5 segundos.

O mesmo relato registrou geração de saída de 91 a 96 tokens por segundo. Tokens são as unidades de texto que um modelo processa e gera. Esses números descrevem a geração após outros trabalhos, portanto não devem ser interpretados como tempos de resposta completos.

A distinção muda como os leitores devem interpretar o experimento. Um modelo pode escrever rapidamente quando está pronto, enquanto deixa o usuário esperando antes de essa escrita começar. A velocidade percebida de um assistente, portanto, depende tanto do caminho até a geração quanto da própria geração.

Anwar também testou comportamentos além da conversa comum, incluindo tarefas com arquivos do espaço de trabalho. O assistente concluiu alguns pedidos, mas por vezes respondeu sem verificar informações disponíveis por meio de suas ferramentas. Uma instrução explícita para usar uma ferramenta de leitura corrigiu uma falha relatada.

Essa observação acrescenta uma segunda dimensão aos resultados de tempo. O resultado relevante é se o assistente conclui corretamente o trabalho solicitado, com uma espera aceitável. Um tempo de resposta curto tem valor limitado quando a resposta exige outra instrução antes que o agente verifique suas evidências.

O relato também deve permanecer separado de um lançamento de produto ou anúncio formal de benchmark. Ele documenta uma configuração existente nas condições de um operador. Não estabelece que toda implantação do OpenClaw tenha o mesmo tamanho de prompt, atraso ou padrão de falha.

Sua contribuição imediata é mais específica: identifica medições que vale a pena exigir quando alguém afirma que uma GPU de consumo pode suportar um agente útil. A compatibilidade de hardware responde se um modelo executa. As medições de sessão começam a responder se o assistente resultante se adequa ao trabalho de alguém.

Essa distinção importa para desenvolvedores que avaliam implantações semelhantes agora. O experimento fornece um ponto de partida concreto para perguntas sobre prontidão, pedidos recorrentes e verificação de tarefas. Ele deixa alegações mais amplas de desempenho para comparações controladas com cargas de trabalho equivalentes.

Uma pergunta curta ainda carrega as instruções do agente

A mensagem do usuário representa apenas uma parte do trabalho que um agente envia ao seu modelo.

Anwar relatou que uma pergunta breve produziu uma entrada com 18.415 tokens, seguida de apenas 33 tokens de saída. O desequilíbrio ilustra a sobrecarga de prompt do OpenClaw: as instruções ao redor podem superar o pedido visível.

Um agente precisa de informações sobre suas responsabilidades, ferramentas disponíveis e ambiente de trabalho. Esse material pode ajudá-lo a se comportar de modo consistente entre tarefas. Ele também consome contexto, as informações disponíveis ao modelo durante um pedido específico.

A documentação de contabilização de contexto do OpenClaw explica que instruções do sistema, histórico de conversa, resultados de ferramentas e outros materiais fornecidos contam para esse contexto. Isso sustenta o mecanismo geral por trás da observação de Anwar. Não estabelece que seu tamanho de entrada específico seja inevitável.

A pressão recai em parte sobre os desenvolvedores de frameworks. Cada instrução incluída por padrão precisa justificar o processamento e o contexto que consome. Adicionar outra capacidade pode ampliar o que o assistente sabe fazer, mesmo quando o pedido atual nunca precisa dessa capacidade.

Isso cria uma troca prática de design. Instruções amplas podem tornar recursos descobríveis, enquanto instruções seletivas podem manter pedidos individuais menores. Nenhuma das abordagens merece um veredito geral a partir deste experimento, pois o sucesso da tarefa deve acompanhar qualquer comparação de tamanho de entrada.

Para desenvolvedores que integram um assistente, a lição diz respeito aos limites da medição. Uma mensagem pequena do usuário não deve ser tratada como evidência de um pedido pequeno ao modelo. A aplicação monta a carga de trabalho real, e essa carga merece inspeção.

Os contadores de tokens relatados também exigem tratamento cuidadoso. Anwar descreveu uma estimativa do OpenClaw de 24.608 tokens contra um orçamento de prompt de 24.576 tokens. O Ollama relatou uma contagem diferente para a entrada que processou.

Esses números não devem ser combinados como se fossem leituras do mesmo instrumento. A estimativa de uma aplicação e a contagem de um servidor de modelos podem descrever estágios diferentes de contabilização. Sem reconciliar esses estágios, a diferença não pode estabelecer exatamente qual conteúdo chegou ao modelo ou foi omitido.

Para compradores corporativos, a implicação é operacional, não abstrata. Um assistente avaliado por meio de demonstrações breves pode comportar-se de modo diferente quando instruções, documentos de trabalho e histórico de conversa se acumulam. As avaliações devem preservar as condições de contexto esperadas durante o trabalho comum.

Profissionais do conhecimento enfrentam uma questão relacionada: o assistente tem as evidências relevantes disponíveis quando responde? Uma entrada grande não significa automaticamente que a evidência seja atual, completa ou corretamente consultada. Volume de contexto e qualidade da evidência precisam de escrutínio separado.

Leitores que exploram conhecimento técnico pesquisável encontram a mesma distinção entre armazenar informações e recuperar o material correto. Um agente acrescenta outra responsabilidade: decidir quando verificar esse material antes de agir.

A sobrecarga de prompt do OpenClaw, portanto, importa além de seu efeito sobre a velocidade. Ela molda quanto espaço resta para a tarefa real. A comparação útil é entre configurações que concluem trabalho equivalente, com suas instruções completas e evidências incluídas.

Inicializações a frio e respostas em cache descrevem experiências diferentes

A maior diferença de tempo do experimento ocorreu antes da geração sustentada de texto.

Uma inicialização a frio do Ollama ocorre quando um pedido chega enquanto o modelo necessário está descarregado e precisa ser levado à memória. Essa condição explica grande parte da espera inicial de Anwar. Ela também torna os tempos posteriores de resposta um estado operacional separado.

As métricas de desempenho do Ollama distinguem carregamento do modelo, avaliação do prompt e geração de saída. Essas categorias ajudam a explicar por que um único número de velocidade pode representar mal o comportamento de um assistente. Cada categoria mede uma parte diferente do pedido.

A avaliação de prompt, frequentemente chamada de prefill, é o trabalho de processar a entrada antes de gerar uma resposta. A grande entrada inicial de Anwar criou trabalho nessa etapa. As interações posteriores se beneficiaram da reutilização de material previamente processado, segundo seu relato.

Cache significa reter computação anterior para que pedidos compatíveis possam reutilizá-la. Seus benefícios dependem do que permanece reutilizável e disponível. Os leitores devem, portanto, evitar transformar uma interação favorável em cache em uma promessa sobre toda interação futura.

A distinção também aparece em softwares concorrentes de serving. A documentação de cache de prefixo do projeto vLLM descreve a reutilização de computação para inícios de entrada compartilhados. Ela distingue explicitamente a redução do processamento de entrada do trabalho separado de gerar a saída.

Essa comparação fornece contexto técnico, não uma disputa de desempenho. Anwar não publicou uma comparação equivalente com vLLM neste experimento. Não há base aqui para declarar um sistema de serving mais rápido em sua carga de trabalho.

A questão de negócio é qual estado operacional se parece com o uso real. Alguém que mantém uma conversa longa talvez encontre principalmente um modelo pronto e entrada reutilizável. Alguém que envia pedidos ocasionais pode encontrar condições diferentes, tornando o comportamento de inicialização mais relevante.

Nenhum dos padrões é inerentemente o benchmark correto. O problema surge quando resultados de um padrão são usados para vender o outro. Uma avaliação útil informa o espaçamento entre pedidos, a prontidão do modelo e as condições de reutilização juntamente com o tempo de resposta.

A documentação de configurações de retenção de memória do Ollama diz que os modelos permanecem carregados por cinco minutos por padrão. Os operadores podem mudar esse comportamento por meio de controles de retenção. Anwar afirmou que não alterou a configuração durante seu experimento.

Manter um modelo disponível introduz uma escolha de recursos. O operador reserva memória para responsividade, em vez de tornar essa memória imediatamente disponível em outro lugar. Se esse arranjo convém a uma estação de trabalho depende de suas outras tarefas e do uso esperado do assistente.

Isso torna a inicialização a frio do Ollama relevante tanto para o design de produto quanto para a infraestrutura. Uma interface precisa representar a espera com precisão se um modelo solicitado ainda estiver carregando. Caso contrário, os usuários não conseguem distinguir uma preparação esperada de um assistente que não responde.

O teste de LLM local do OpenClaw também sugere cautela com tempos médios de resposta. Uma média pode ocultar experiências diferentes entre a inicialização e uma conversa contínua. Relatar essas condições separadamente tornaria resultados futuros mais fáceis de interpretar e comparar.

Para compradores, a exigência apropriada é direta: mostre o caminho completo do pedido sob uso realista. A velocidade de geração continua sendo informação útil, mas o usuário vivencia a espera acumulada entre preparação, processamento, trabalho com ferramentas e entrega.

A memória do modelo não descreve todo o assistente

O orçamento de recursos de uma implantação precisa incluir os componentes que sustentam o modelo de chat.

Anwar relatou 6,3 GB para o modelo de chat e 5,1 GB para um modelo de embeddings separado, totalizando 11,4 GB. Um modelo de embeddings converte conteúdo em representações numéricas que sustentam a busca por similaridade. Nessa configuração, ele contribuiu para o trabalho relacionado à memória do assistente.

Esses números descrevem as alocações de modelo relatadas. Eles não estabelecem o requisito completo de memória após o armazenamento de contexto e outros custos de execução. Tratar a soma como um mínimo exato de implantação exageraria o que o relatório mediu.

Isso importa porque as discussões sobre hardware frequentemente começam apenas pelo modelo de chat. Um assistente pode envolver componentes adicionais de recuperação, armazenamento e processamento. Um modelo que cabe confortavelmente por si só não determina se a aplicação ao redor cabe com a mesma folga.

A implicação para a compra é a necessidade de evidências específicas da carga de trabalho. Compradores devem perguntar o que foi executado junto ao modelo durante uma demonstração e o que foi excluído. Essa pergunta se torna mais relevante quando a mesma máquina atende a outras aplicações.

Desenvolvedores também precisam distinguir capacidades instaladas de consumo ativo de recursos. A presença de um componente não revela quando ele é executado nem por quanto tempo retém recursos. Rastros de atividade oferecem evidências melhores do que um inventário de software.

O relatório de Anwar identificou uma pulsação programada executada a cada 30 minutos. Uma pulsação é uma verificação recorrente em segundo plano que pode ativar um assistente sem uma nova mensagem do usuário. Sua presença significa que a conversa visível não era a única fonte possível de solicitações ao modelo.

No entanto, Anwar não mediu o efeito de carregamento a frio entre essas verificações programadas. O intervalo da pulsação e o período de retenção padrão documentado do Ollama levantam uma questão razoável. Eles não estabelecem a duração real nem o consumo de recursos de cada evento em segundo plano.

Esse limite importa para uma cobertura justa. Um mecanismo plausível pode orientar o próximo experimento sem se tornar um resultado observado. Afirmar atrasos repetidos de inicialização exigiria medições que mostrassem a prontidão do modelo e o momento das solicitações durante esses eventos.

A responsabilidade aqui recai sobre operadores de aplicações e mantenedores de frameworks. O comportamento em segundo plano precisa ser visível o suficiente para que alguém possa explicar quando o assistente é executado. Caso contrário, um serviço supostamente ocioso pode se tornar difícil de compreender.

A implantação local também exige uma descrição precisa de privacidade. Executar o modelo de linguagem em hardware local descreve onde ocorre a inferência, o cálculo que produz respostas. Isso não descreve, por si só, todos os serviços que participam do fluxo de trabalho.

Anwar usou Discord como canal de interação. Assim, o experimento não deve ser apresentado como prova de um caminho de comunicação totalmente offline. O local de hospedagem do modelo e o canal de mensagens são partes distintas da arquitetura.

Para uma organização que lida com informações internas, essa distinção deve fazer parte da revisão de implantação. A questão relevante é por onde cada categoria de dados transita e persiste. Um modelo local pode atender aos requisitos de uma organização, mas o fluxo de trabalho completo determina se esses requisitos são cumpridos.

As questões de recursos e privacidade convergem para a mesma disciplina de compra. Avalie o assistente como ele é implantado, incluindo modelos de apoio, trabalho programado e serviços conectados. A especificação do modelo de chat oferece apenas uma visão parcial.

Uma resposta rápida ainda precisa de evidências do espaço de trabalho

A limitação mais relevante do relatório diz respeito a se o agente verifica informações antes de responder.

Anwar descreveu casos em que o modelo pequeno se baseou no contexto fornecido em vez de usar ferramentas para inspecionar seu espaço de trabalho. Em um caso, nomear explicitamente a ferramenta de leitura fez com que ele verificasse um arquivo com sucesso. Isso separa a disponibilidade da ferramenta da seleção confiável da ferramenta.

Chamar ferramentas significa pedir a um software que execute uma operação, como ler um documento, e então usar o resultado retornado. Um modelo pode oferecer suporte a esse mecanismo e ainda assim escolhê-lo de forma inconsistente. Portanto, uma integração bem-sucedida não estabelece um comportamento confiável na execução de tarefas.

A distinção importa porque a linguagem natural pode ocultar trabalho incompleto. Uma resposta pode parecer razoável mesmo quando o assistente nunca verificou a fonte que determina a correção. Para um usuário, a operação ausente pode ser menos evidente do que uma mensagem de erro.

É aqui que a sobrecarga de prompt do OpenClaw encontra um problema de avaliação mais difícil. Mais instruções podem descrever quando as ferramentas devem ser usadas, mas o volume de instruções por si só não pode estabelecer conformidade. O resultado ainda precisa ser verificado em relação ao que a tarefa exigia.

Uma instrução explícita de ferramenta oferece um diagnóstico útil. Ela pode mostrar que a operação funciona quando solicitada diretamente. No entanto, não estabelece que o assistente reconhecerá a mesma necessidade durante uma solicitação formulada de outra maneira.

Isso limita a amplitude com que a correção bem-sucedida deve ser interpretada. A observação de Anwar sustenta uma afirmação mais restrita: o assistente conseguia ler o arquivo relevante quando orientado. Ela não estabelece julgamento independente confiável em tarefas relacionadas a arquivos.

A orientação para modelos locais do OpenClaw também trata a implantação local como uma escolha que envolve capacidade do modelo e restrições operacionais. A documentação fornece a perspectiva do framework, enquanto o relato de Anwar apresenta uma experiência específica de usuário. Nenhum dos dois substitui a avaliação repetida de tarefas.

Para desenvolvedores, a responsabilidade é expor evidências suficientes para distinguir uma solicitação respondida de uma operação concluída. Uma resposta relacionada a arquivo deve poder ser avaliada em relação ao estado real do arquivo. Esse padrão se torna especialmente importante quando um agente pode fazer alterações.

Compradores empresariais devem perguntar como as demonstrações foram supervisionadas. Se um operador fornece repetidamente a instrução de ferramenta que faltava, a avaliação inclui assistência humana. Essa assistência pode ser aceitável, mas deve constar no relato de como o trabalho é realizado.

Trabalhadores do conhecimento enfrentam a mesma questão com menor visibilidade técnica. Um assistente que responde com base em contexto antigo pode criar trabalho adicional de verificação mesmo quando responde rapidamente. O tempo gasto verificando e corrigindo deve fazer parte de qualquer avaliação prática de utilidade.

O relatório não mostra que todos os modelos pequenos compartilham a mesma taxa de falha. Também não estabelece que modelos hospedados concluiriam essas tarefas corretamente. Uma comparação justa manteria constantes a tarefa, as ferramentas, as permissões e o padrão de verificação.

A tensão central continua sendo entre responsividade local e conclusão confiável em todo o fluxo de trabalho. Melhor velocidade de geração resolve uma parte dessa tensão. Coleta confiável de evidências resolve outra, e nenhum resultado deve substituir o outro.

As próximas evidências precisam cobrir tempo ocioso, conclusão e contexto

Os próximos resultados úteis devem testar as condições que este relatório deixa em aberto.

Primeiro, medições de acompanhamento devem examinar solicitações após períodos de inatividade, incluindo atividade programada em segundo plano. As evidências relevantes incluem se o modelo permaneceu carregado e quanto tempo cada solicitação passou se preparando. Isso estabeleceria se o atraso inicial se repete durante o uso normal.

Um modelo pronto durante períodos representativos de inatividade fortaleceria o argumento para um uso ocasional responsivo. Atrasos repetidos de carregamento restringiriam esse argumento, a menos que o operador aceite uma política diferente de retenção de memória. Qualquer um dos resultados melhoraria a inferência de comportamento apenas a partir da configuração.

A pulsação programada merece atenção especial porque introduz solicitações fora da conversa ativa. Seu comportamento real deve ser observado, não reconstruído a partir da programação. Isso inclui determinar se ela afeta a prontidão para a próxima solicitação do usuário.

Segundo, avaliações futuras devem relatar conclusão verificada de tarefas sob diferentes formulações. Perguntas sobre o espaço de trabalho são candidatas úteis porque as evidências esperadas podem ser inspecionadas diretamente. Os resultados devem distinguir a seleção independente de ferramentas do sucesso após uma instrução corretiva explícita.

Conclusão consistente sem prompts corretivos fortaleceria o argumento para uma delegação mais ampla. A dependência contínua de supervisão sustentaria um papel mais restrito, com verificações humanas. Ambos os resultados seriam úteis, desde que a avaliação descreva o trabalho e seus limites.

Essa medição deve preservar falhas assim como sucessos. Mostrar apenas a resposta final corrigida oculta a interação necessária para obtê-la. Os leitores precisam de contexto suficiente para entender se um resultado relatado reflete o comportamento inicial do assistente ou uma recuperação supervisionada.

Terceiro, mudanças no framework que reduzam contexto desnecessário merecem comparações equivalentes nas mesmas tarefas. Uma entrada menor seria encorajadora se a qualidade da tarefa permanecesse estável. Prompts menores acompanhados de mais instruções ignoradas revelariam uma troca diferente.

Esse sinal importa porque a gestão de contexto fica entre a capacidade do modelo e o design da aplicação. Melhorias nessa área podem mudar a carga de trabalho sem exigir uma GPU diferente. Seu valor prático ainda depende de preservar as informações necessárias para decisões corretas.

Juntas, essas observações transformariam um útil relatório pessoal de implantação em evidências mais fortes para escolhas de implantação. Elas também tornariam comparações entre sistemas locais de serviço de modelos mais significativas. O objetivo é uma carga de trabalho equivalente, com premissas visíveis e resultados verificáveis.

O teste de LLM local do OpenClaw já dá aos leitores um motivo para examinar o assistente além de seu rótulo de modelo. Sua contribuição mais forte é um relato concreto de onde surgiram espera e erros. Seus limites impedem que esse relato se torne um veredito universal.

Antes de escolher um assistente local, peça evidências que correspondam ao trabalho que você espera realizar. Solicite medições de inicialização após períodos realistas de inatividade, inspecione se respostas dependentes de ferramentas usaram as evidências relevantes e considere os componentes de apoio. Preserve prompts corretivos na avaliação, em vez de julgar apenas a resposta final. Para fluxos de trabalho com documentos, verifique se o assistente consulta o material atual antes de aceitar sua resposta. Essas verificações conectam alegações de desempenho ao trabalho que você pode inspecionar. Elas também facilitam a comparação entre configurações sem confundir conversa em cache com uso ocasional. A implantação ainda atenderia às suas necessidades quando o modelo inicia descarregado, a conversa cresce e a tarefa solicitada exige verificar um arquivo?

 
 

Comece grátis

Um assistente de IA local-first com gestão de conhecimento pessoal

Para oferecer uma experiência de IA melhor,

atualmente, o remio é compatível apenas com Windows 10+ (x64) e M-Chip Macs.

Seu parceiro de IA no trabalho
Faça mais com o remio

Planeje. Crie. Entregue.
Tudo em um só lugar.

bottom of page