Prueba de LLM local de OpenClaw detecta un arranque en frío de 70 segundos
OpenClaw tardó 70 segundos en ofrecer su primera respuesta en el experimento de una sola GPU del desarrollador Talha Anwar, pese a responder mucho más rápido en intercambios posteriores. La prueba de LLM local de OpenClaw revela una tensión práctica: una generación de texto rápida no garantiza un asistente ágil. Un LLM local, un modelo de lenguaje que se ejecuta en el hardware del operador, aún necesita memoria, instrucciones y acceso fiable a herramientas.
Anwar describió el experimento en un artículo de SitePoint publicado el 13 de noviembre de 2026. Su configuración combinaba OpenClaw, un marco de asistentes que conecta modelos con herramientas y canales de mensajería, con Ollama, software para servir modelos de lenguaje. Una interfaz privada de Discord proporcionaba el canal de conversación.
Los hallazgos ponen en duda un atajo habitual de compra: elegir el modelo de un agente principalmente por su velocidad de generación y compatibilidad con el hardware. El requisito rival es completar tareas útiles durante toda una sesión. Las observaciones de Anwar ofrecen un caso concreto para examinar esa diferencia, aunque no establecen una clasificación general de asistentes locales y alojados.
Lo que realmente midió la prueba de LLM local de OpenClaw
Se trató de un informe de implementación de un desarrollador individual, con mediciones de una máquina y un conjunto limitado de tareas.
Anwar ejecutó el asistente en una NVIDIA RTX 3090 con 24 GB de memoria gráfica. El modelo de chat era qwen3.5:9b, servido mediante Ollama. En este caso, la etiqueta 9B indica un modelo con aproximadamente nueve mil millones de parámetros, los valores aprendidos que moldean sus respuestas.
Su experimento de agente con una sola GPU informó de una diferencia notable entre las respuestas iniciales y las posteriores. La primera respuesta tardó 70 segundos, incluidos 59 segundos para cargar el modelo y aproximadamente 10 segundos para procesar su entrada. Los intercambios posteriores en caché tardaron de 1,9 a 5 segundos.
El mismo informe registró una generación de salida de 91 a 96 tokens por segundo. Los tokens son las unidades de texto que un modelo procesa y genera. Estas cifras describen la generación después de otros trabajos, por lo que no deben interpretarse como tiempos de respuesta completos.
La distinción cambia cómo deben interpretar los lectores el experimento. Un modelo puede escribir rápido una vez que está listo, mientras deja al usuario esperando antes de que esa escritura comience. Por tanto, la velocidad percibida de un asistente depende tanto del camino previo a la generación como de la generación misma.
Anwar también probó comportamientos más allá de la conversación ordinaria, incluidas tareas con archivos del espacio de trabajo. El asistente completó algunas solicitudes, pero en ocasiones respondió sin comprobar la información disponible mediante sus herramientas. Una instrucción explícita para usar una herramienta de lectura corrigió un fallo reportado.
Esa observación añade una segunda dimensión a los resultados de tiempo. El resultado relevante es si el asistente termina correctamente el trabajo solicitado, con una espera aceptable. Un tiempo de respuesta corto ofrece un valor limitado cuando la respuesta requiere otra instrucción antes de que el agente compruebe sus pruebas.
El informe también debe mantenerse separado de un lanzamiento de producto o un anuncio formal de benchmark. Documenta una configuración existente bajo las condiciones de un operador. No establece que todas las implementaciones de OpenClaw tengan el mismo tamaño de prompt, demora o patrón de fallo.
Su aportación inmediata es más específica: identifica mediciones que conviene exigir cuando alguien afirma que una GPU de consumo puede sostener un agente útil. La compatibilidad de hardware responde si un modelo funciona. Las mediciones de sesión empiezan a responder si el asistente resultante se adapta al trabajo de alguien.
Esa distinción importa a los desarrolladores que evalúan implementaciones similares ahora. El experimento ofrece un punto de partida concreto para preguntas sobre disponibilidad, solicitudes recurrentes y verificación de tareas. Deja las afirmaciones de rendimiento más amplias para comparaciones controladas con cargas de trabajo equivalentes.
Una pregunta breve todavía contiene las instrucciones del agente
El mensaje del usuario representa solo una parte del trabajo que un agente envía a su modelo.
Anwar informó de que una pregunta breve produjo una entrada de 18.415 tokens, seguida de apenas 33 tokens de salida. El desequilibrio ilustra la sobrecarga de prompts de OpenClaw: las instrucciones circundantes pueden superar a la solicitud visible.
Un agente necesita información sobre sus responsabilidades, herramientas disponibles y entorno de trabajo. Ese material puede ayudarle a comportarse de forma coherente entre tareas. También consume contexto, la información disponible para el modelo durante una solicitud determinada.
La documentación de contabilidad de contexto de OpenClaw explica que las instrucciones del sistema, el historial de conversación, los resultados de herramientas y otros materiales proporcionados cuentan dentro de ese contexto. Esto respalda el mecanismo general detrás de la observación de Anwar. No establece que su tamaño de entrada concreto sea inevitable.
La presión recae en parte sobre los desarrolladores de frameworks. Cada instrucción incluida de forma predeterminada debe justificar el procesamiento y el contexto que consume. Añadir otra capacidad puede ampliar lo que el asistente sabe hacer, incluso cuando la solicitud actual nunca necesita esa capacidad.
Eso crea una disyuntiva práctica de diseño. Las instrucciones amplias pueden hacer que las capacidades sean detectables, mientras que las instrucciones selectivas pueden reducir las solicitudes individuales. Ningún enfoque merece un veredicto general a partir de este experimento, porque el éxito de las tareas debe acompañar cualquier comparación del tamaño de entrada.
Para los desarrolladores que integran un asistente, la lección se refiere a los límites de medición. Un mensaje corto del usuario no debe tratarse como prueba de una solicitud pequeña al modelo. La aplicación reúne la carga de trabajo real, y esa carga merece inspección.
Los contadores de tokens reportados también requieren un manejo cuidadoso. Anwar describió una estimación de OpenClaw de 24.608 tokens frente a un presupuesto de prompt de 24.576 tokens. Ollama informó de un recuento distinto para la entrada que procesó.
Esas cifras no deben combinarse como si fueran lecturas del mismo instrumento. La estimación de una aplicación y el recuento de un servidor de modelos pueden describir diferentes etapas de contabilización. Sin reconciliar esas etapas, la diferencia no puede establecer exactamente qué contenido llegó al modelo o qué se omitió.
Para compradores empresariales, la implicación es operativa y no abstracta. Un asistente evaluado mediante demostraciones breves puede comportarse de forma diferente cuando se acumulan instrucciones, documentos de trabajo e historial de conversación. Las evaluaciones deberían conservar las condiciones de contexto previstas durante el trabajo ordinario.
Los trabajadores del conocimiento afrontan una pregunta relacionada: ¿tiene el asistente disponibles las pruebas pertinentes cuando responde? Una entrada grande no significa automáticamente que esas pruebas estén actualizadas, completas o correctamente consultadas. El volumen de contexto y la calidad de las pruebas requieren un examen independiente.
Los lectores que exploran el conocimiento técnico consultable encuentran la misma distinción entre almacenar información y recuperar el material adecuado. Un agente añade otra responsabilidad: decidir cuándo comprobar ese material antes de actuar.
La sobrecarga de prompts de OpenClaw, por tanto, importa más allá de su efecto sobre la velocidad. Determina cuánto espacio queda para la tarea real. La comparación útil es entre configuraciones que completan trabajo equivalente, con todas sus instrucciones y pruebas incluidas.
Los arranques en frío y las respuestas en caché describen experiencias diferentes
La mayor diferencia de tiempo del experimento se produjo antes de la generación sostenida de texto.
Un arranque en frío de Ollama ocurre cuando llega una solicitud mientras el modelo necesario está descargado y debe llevarse a memoria. Esa condición explica gran parte de la espera inicial de Anwar. También convierte los tiempos de respuesta posteriores en un estado operativo distinto.
Las métricas de rendimiento de Ollama distinguen entre carga del modelo, evaluación del prompt y generación de salida. Estas categorías ayudan a explicar por qué una sola cifra de velocidad puede representar erróneamente el comportamiento de un asistente. Cada categoría mide una parte diferente de la solicitud.
La evaluación del prompt, a menudo denominada prefill, es el trabajo de procesar la entrada antes de generar una respuesta. La gran entrada inicial de Anwar generó trabajo durante esa etapa. Los intercambios posteriores se beneficiaron de la reutilización de material procesado previamente, según su informe.
El almacenamiento en caché consiste en conservar cálculos previos para que solicitudes compatibles puedan reutilizarlos. Sus beneficios dependen de qué permanece reutilizable y disponible. Por tanto, los lectores deben evitar convertir un intercambio favorable en caché en una promesa sobre cada interacción futura.
La distinción también aparece en software de serving competidor. La documentación de caché de prefijos del proyecto vLLM describe la reutilización de cálculos para comienzos de entrada compartidos. Distingue explícitamente la reducción del procesamiento de entrada del trabajo separado de generar salida.
Esa comparación aporta contexto técnico, no una competencia de rendimiento. Anwar no publicó una comparación equivalente con vLLM en este experimento. No hay base aquí para declarar que un sistema de serving sea más rápido en su carga de trabajo.
La cuestión empresarial es qué estado operativo se parece al uso real. Alguien que mantiene una conversación prolongada podría encontrarse sobre todo con un modelo listo y una entrada reutilizable. Alguien que envía solicitudes ocasionales podría encontrarse con condiciones diferentes, lo que hace más relevante el comportamiento de inicio.
Ningún patrón es intrínsecamente el benchmark correcto. El problema surge cuando los resultados de un patrón se usan para vender el otro. Una evaluación útil indica el intervalo entre solicitudes, la disponibilidad del modelo y las condiciones de reutilización junto al tiempo de respuesta.
La documentación de configuración de retención de memoria de Ollama indica que los modelos permanecen cargados durante cinco minutos de forma predeterminada. Los operadores pueden cambiar ese comportamiento mediante controles de retención. Anwar dijo que no modificó la configuración durante su experimento.
Mantener un modelo disponible implica una decisión sobre recursos. El operador reserva memoria para lograr capacidad de respuesta, en lugar de dejar esa memoria inmediatamente disponible para otros fines. Que esta disposición resulte adecuada para una estación de trabajo depende de sus demás cargas y del uso esperado del asistente.
Esto hace que el arranque en frío de Ollama sea relevante para el diseño de producto además de la infraestructura. Una interfaz debe representar con precisión la espera si el modelo solicitado todavía se está cargando. De lo contrario, los usuarios no pueden distinguir la preparación esperada de un asistente que no responde.
La prueba de LLM local de OpenClaw también sugiere cautela con los tiempos de respuesta promedio. Un promedio puede ocultar experiencias diferentes entre el inicio y la conversación continuada. Informar de esas condiciones por separado facilitaría interpretar y comparar resultados futuros.
Para los compradores, la exigencia adecuada es sencilla: mostrar la ruta completa de la solicitud bajo un uso realista. La velocidad de generación sigue siendo información útil, pero el usuario experimenta la espera acumulada entre preparación, procesamiento, trabajo de herramientas y entrega.
La memoria del modelo no describe todo el asistente
El presupuesto de recursos de una implementación debe incluir los componentes que respaldan el modelo de chat.
Anwar informó de 6,3 GB para el modelo de chat y 5,1 GB para un modelo de embeddings independiente, para un total de 11,4 GB. Un modelo de embeddings convierte contenido en representaciones numéricas que respaldan la búsqueda por similitud. En esta configuración, contribuyó al trabajo del asistente relacionado con la memoria.
Esas cifras describen las asignaciones de modelo reportadas. No establecen el requisito completo de memoria tras el almacenamiento de contexto y otros gastos generales de ejecución. Tratar la suma como un mínimo exacto de despliegue exageraría lo que midió el informe.
Esto importa porque las discusiones sobre hardware a menudo comienzan solo con el modelo de chat. Un asistente puede implicar componentes adicionales de recuperación, almacenamiento y procesamiento. Que un modelo funcione cómodamente por sí solo no determina si la aplicación circundante también lo hace.
La implicación para la compra es la necesidad de pruebas específicas para cada carga de trabajo. Los compradores deberían preguntar qué se ejecutó junto al modelo durante una demostración y qué se excluyó. Esa pregunta cobra más importancia cuando la misma máquina presta servicio a otras aplicaciones.
Los desarrolladores también deben distinguir las capacidades instaladas del consumo activo de recursos. La presencia de un componente no revela cuándo se ejecuta ni durante cuánto tiempo retiene recursos. Los rastros de actividad aportan mejores pruebas que un inventario de software.
El informe de Anwar identificó una señal de actividad programada que se ejecutaba cada 30 minutos. Una señal de actividad es una comprobación periódica en segundo plano que puede activar un asistente sin un nuevo mensaje del usuario. Su presencia significa que la conversación visible no era la única fuente posible de solicitudes al modelo.
Sin embargo, Anwar no midió el efecto de carga en frío entre esas comprobaciones programadas. El intervalo de la señal de actividad y el período de retención predeterminado documentado de Ollama plantean una pregunta razonable. No establecen la duración real ni el consumo de recursos de cada evento en segundo plano.
Ese límite importa para una información rigurosa. Un mecanismo plausible puede orientar el siguiente experimento sin convertirse en un resultado observado. Afirmar retrasos de inicio repetidos requeriría mediciones que muestren la disponibilidad del modelo y el momento de las solicitudes durante esos eventos.
La presión recae aquí sobre los operadores de aplicaciones y los responsables de mantenimiento de frameworks. El comportamiento en segundo plano debe ser lo bastante visible como para que alguien pueda explicar cuándo se ejecuta el asistente. De lo contrario, un servicio supuestamente inactivo puede volverse difícil de interpretar.
El despliegue local también necesita una descripción precisa de la privacidad. Ejecutar el modelo de lenguaje en hardware local describe dónde ocurre la inferencia, el cálculo que produce las respuestas. Por sí solo, no describe todos los servicios que participan en el flujo de trabajo.
Anwar usó Discord como canal de interacción. Por tanto, el experimento no debería presentarse como prueba de una ruta de comunicación completamente sin conexión. La ubicación que sirve el modelo y el canal de mensajería son partes distintas de la arquitectura.
Para una organización que maneja información interna, esa distinción debe formar parte de la revisión del despliegue. La pregunta relevante es por dónde viaja y dónde persiste cada categoría de datos. Un modelo local puede respaldar los requisitos de una organización, pero el flujo de trabajo completo determina si esos requisitos se cumplen.
Las cuestiones de recursos y privacidad convergen en la misma disciplina de compra. Evalúe el asistente tal como se despliega, incluidos los modelos de apoyo, el trabajo programado y los servicios conectados. La especificación del modelo de chat ofrece solo una visión parcial.
Una respuesta rápida aún necesita pruebas del espacio de trabajo
La limitación más importante del informe se refiere a si el agente comprueba la información antes de responder.
Anwar describió casos en los que el modelo pequeño se basó en el contexto proporcionado en lugar de usar herramientas para inspeccionar su espacio de trabajo. En un caso, nombrar explícitamente la herramienta de lectura hizo que comprobara un archivo con éxito. Eso separa la disponibilidad de herramientas de una selección fiable de herramientas.
La llamada a herramientas consiste en pedir al software que realice una operación, como leer un documento, y luego usar el resultado devuelto. Un modelo puede admitir ese mecanismo y aun así elegirlo de forma inconsistente. Por tanto, una integración exitosa no establece un comportamiento fiable en las tareas.
La distinción importa porque el lenguaje natural puede ocultar trabajo incompleto. Una respuesta puede sonar razonable incluso cuando el asistente nunca comprobó la fuente que determina su corrección. Para un usuario, la operación ausente puede ser menos evidente que un mensaje de error.
Aquí es donde la sobrecarga de prompts de OpenClaw se encuentra con un problema de evaluación más difícil. Más instrucciones pueden describir cuándo deben usarse las herramientas, pero el volumen de instrucciones por sí solo no puede establecer su cumplimiento. El resultado aún debe comprobarse frente a lo que requería la tarea.
Una instrucción explícita para usar una herramienta ofrece un diagnóstico útil. Puede mostrar que la operación funciona cuando se solicita directamente. Sin embargo, no establece que el asistente reconocerá la misma necesidad ante una solicitud formulada de otra manera.
Esto limita la amplitud con la que debe interpretarse la corrección exitosa. La observación de Anwar respalda una afirmación más limitada: el asistente podía leer el archivo pertinente cuando se le indicaba. No establece un juicio independiente fiable en tareas relacionadas con archivos.
La guía sobre modelos locales de OpenClaw también trata el despliegue local como una elección que implica capacidad del modelo y restricciones operativas. La documentación aporta la perspectiva del framework, mientras que el relato de Anwar ofrece una experiencia concreta de usuario. Ninguno sustituye una evaluación repetida de tareas.
Para los desarrolladores, la exigencia es exponer pruebas suficientes para distinguir una solicitud respondida de una operación completada. Una respuesta relacionada con un archivo debería poder evaluarse frente al estado real del archivo. Ese estándar cobra especial importancia cuando un agente puede realizar cambios.
Los compradores empresariales deberían preguntar cómo se supervisaron las demostraciones. Si un operador proporciona repetidamente la instrucción de herramienta que falta, la evaluación incluye asistencia humana. Esa asistencia puede ser aceptable, pero debe figurar en la explicación de cómo se realiza el trabajo.
Los trabajadores del conocimiento afrontan el mismo problema con menor visibilidad técnica. Un asistente que responde desde un contexto antiguo puede generar trabajo adicional de verificación incluso cuando responde con rapidez. El tiempo dedicado a comprobar y corregir debe formar parte de cualquier evaluación práctica de utilidad.
El informe no muestra que todos los modelos pequeños compartan la misma tasa de fallos. Tampoco establece que los modelos alojados completarían estas tareas correctamente. Una comparación justa mantendría constantes la tarea, las herramientas, los permisos y el estándar de verificación.
La tensión central sigue siendo la capacidad de respuesta local frente a una finalización fiable en todo el flujo de trabajo. Una mayor velocidad de generación aborda una parte de esa tensión. La recopilación fiable de pruebas aborda otra, y ninguno de los dos resultados debe sustituir al otro.
Las próximas pruebas deben abarcar el tiempo inactivo, la finalización y el contexto
Los próximos resultados útiles deberían probar las condiciones que este informe deja sin resolver.
En primer lugar, las mediciones de seguimiento deberían examinar solicitudes después de períodos de inactividad, incluida la actividad programada en segundo plano. Las pruebas relevantes incluyen si el modelo permaneció cargado y cuánto tiempo dedicó cada solicitud a prepararse. Eso establecería si el retraso inicial se repite durante el uso normal.
Un modelo listo durante períodos de inactividad representativos reforzaría el argumento a favor de un uso ocasional con buena capacidad de respuesta. Los retrasos de carga repetidos limitarían ese argumento, salvo que el operador aceptara una política distinta de retención de memoria. Cualquiera de los dos resultados mejoraría la inferencia de comportamiento basada solo en la configuración.
La señal de actividad programada merece especial atención porque introduce solicitudes fuera de la conversación activa. Su comportamiento real debería observarse en lugar de reconstruirse a partir del calendario. Eso incluye determinar si afecta a la disponibilidad para la siguiente solicitud del usuario.
En segundo lugar, las futuras evaluaciones deberían informar de la finalización verificada de tareas con formulaciones variadas. Las preguntas sobre el espacio de trabajo son buenas candidatas porque las pruebas esperadas pueden inspeccionarse directamente. Los resultados deberían distinguir la selección independiente de herramientas del éxito tras una instrucción correctiva explícita.
Una finalización coherente sin prompts correctivos reforzaría el argumento para una delegación más amplia. La dependencia continua de supervisión respaldaría una función más limitada con comprobaciones humanas. Ambos resultados serían útiles, siempre que la evaluación describa el trabajo y sus límites.
Esa medición debería preservar tanto los fallos como los éxitos. Mostrar solo la respuesta final corregida oculta la interacción necesaria para obtenerla. Los lectores necesitan suficiente contexto para entender si un resultado reportado refleja el comportamiento inicial del asistente o una recuperación supervisada.
En tercer lugar, los cambios en el framework que reducen el contexto innecesario merecen comparaciones equivalentes en las mismas tareas. Una entrada menor sería alentadora si la calidad de la tarea se mantuviera estable. Prompts más pequeños acompañados de más instrucciones incumplidas revelarían una compensación diferente.
Esta señal importa porque la gestión del contexto se sitúa entre la capacidad del modelo y el diseño de la aplicación. Las mejoras en ese ámbito pueden cambiar la carga de trabajo sin requerir una GPU diferente. Su valor práctico sigue dependiendo de conservar la información necesaria para tomar decisiones correctas.
En conjunto, estas observaciones convertirían un útil informe personal de despliegue en pruebas más sólidas para las decisiones de despliegue. También harían más significativas las comparaciones entre sistemas locales de servicio de modelos. El objetivo es una carga de trabajo equivalente con supuestos visibles y resultados verificables.
La prueba de LLM local de OpenClaw ya da a los lectores una razón para examinar el asistente más allá de la etiqueta de su modelo. Su contribución más sólida es un relato concreto de dónde aparecieron las esperas y los errores. Sus límites impiden que ese relato se convierta en un veredicto universal.
Antes de elegir un asistente local, pida pruebas que se correspondan con el trabajo que espera realizar. Solicite mediciones de inicio tras períodos de inactividad realistas, compruebe si las respuestas que dependen de herramientas utilizaron las pruebas pertinentes y tenga en cuenta los componentes de apoyo. Conserve los prompts correctivos en la evaluación en lugar de juzgar solo la respuesta final. En los flujos de trabajo de documentos, verifique que el asistente consulta el material actual antes de aceptar su respuesta. Estas comprobaciones conectan las afirmaciones de rendimiento con un trabajo que puede inspeccionar. También facilitan la comparación de configuraciones sin confundir una conversación en caché con un uso ocasional. ¿Seguiría satisfaciendo el despliegue sus necesidades cuando el modelo se inicia sin cargar, la conversación crece y la tarea solicitada requiere comprobar un archivo?



