top of page

El servidor DeepSeek V100 sacrifica velocidad por precisión

hace 3 días
13 min de lectura
Illustrative photograph. Photo: panumas nikhomkhai / Pexels.

El servidor DeepSeek V100 de un abogado ha sacrificado parte de la velocidad de generación para lograr una mayor precisión numérica en las partes más utilizadas de su modelo. La máquina sigue usando ocho procesadores gráficos Nvidia V100, pero su constructor informa que ha acercado la mayor parte de la actividad medida de enrutamiento de expertos a una referencia NVFP4. NVFP4 es el formato de punto flotante de cuatro bits de Nvidia, que almacena los números del modelo de forma compacta con información de escalado compartida. La matización importa: que abarque la mayor parte de la actividad de enrutamiento no significa que la mayoría de los componentes del modelo se hayan trasladado a ese formato.

El proyecto pertenece a Nick Mermiges, quien utiliza IA local para el trabajo inicial con expedientes judiciales. Su actualización aborda una tensión práctica: preservar una mayor parte del comportamiento numérico de un modelo mientras sus componentes de trabajo se mantienen dentro de una memoria gráfica limitada. La versión anterior favorecía una compresión agresiva y una salida más rápida. La configuración más reciente dedica más memoria a los componentes seleccionados con frecuencia, aceptando una generación más lenta a cambio de resultados más próximos a la referencia.

Esto sitúa el experimento entre alternativas conocidas: asistentes alojados como Claude, hardware local más reciente y modelos muy comprimidos que se ejecutan en equipos antiguos. No demuestra que un servidor improvisado iguale a un servicio de IA jurídica gestionado. Sí ofrece un ejemplo documentado de un propietario que prioriza la fidelidad numérica sobre la velocidad de titulares. Las preguntas importantes se refieren a qué mejoró, qué mediciones deben interpretarse juntas y si esos cambios resisten una jornada completa de trabajo.

Qué cambió en el servidor DeepSeek V100

La actualización cambia dónde invierte la máquina su limitada memoria gráfica, en lugar de sustituir sus ocho procesadores principales.

Tom's Hardware informó sobre la actualización el 14 de noviembre de 2026. Su cobertura describió un aumento de la memoria del sistema de 256 GB a 1 TB y la incorporación de una RTX 3090 a la máquina. También informó que la generación de código cayó de los anteriores 160–215 tokens por segundo a 150–180. Los tokens son los fragmentos de texto que un modelo procesa y produce. Estas cifras describen cargas de trabajo de programación reportadas, no todas las tareas que maneja el servidor. La cobertura de la actualización del servidor de la publicación vincula los cambios con la cuenta pública del constructor.

El servidor ejecuta DeepSeek V4.1 Flash con un arnés jurídico, es decir, los flujos de trabajo y controles circundantes que organizan el trabajo del modelo. Esta distinción separa al modelo de la aplicación que Mermiges utiliza realmente. Un modelo genera respuestas; el sistema circundante decide qué material entra, qué tarea sigue y qué requiere revisión. Cambiar la representación numérica subyacente afecta solo a una parte de ese proceso más amplio.

Las incorporaciones de hardware también requieren un tratamiento separado. Más memoria del sistema no se convierte automáticamente en más memoria gráfica. La RTX 3090 añadida no contribuye automáticamente a todos los resultados de velocidad publicados. Tratar toda la lista de componentes como una explicación del rendimiento pasaría por alto las decisiones reales de configuración y software.

Para los lectores que siguen el proyecto, el desarrollo sustancial es un cambio de prioridades. El enfoque anterior comprimía los componentes enrutados del modelo de forma lo bastante agresiva como para mantenerlos disponibles en las tarjetas. La actualización conserva esa disponibilidad mientras asigna espacio adicional a componentes seleccionados con mayor precisión.

Ese es un objetivo distinto de maximizar los tokens por segundo. Una respuesta rápida solo es útil cuando su contenido respalda la tarea. A la inversa, una coincidencia numérica más cercana ofrece un valor práctico limitado si el sistema se vuelve demasiado lento o poco fiable para utilizarse.

Por tanto, la actualización pertenece a un debate sobre el diseño de cargas de trabajo, más que a una competición entre generaciones de procesadores. Su relevancia surge de una combinación concreta de modelo, presupuesto de memoria, software y trabajo jurídico. Los compradores deberían evitar convertir esa combinación en una regla general de compra.

Las incorporaciones visibles hacen que la máquina sea más compleja. El cambio menos visible —decidir qué componentes merecen memoria escasa— explica por qué esta actualización importa.

La mayor parte del tráfico de expertos no es la mayor parte del modelo

El porcentaje destacado mide la actividad a través de componentes seleccionados del modelo, no la proporción de todo el modelo que funciona a máxima precisión.

DeepSeek utiliza un diseño de mezcla de expertos, que dirige el cálculo a través de componentes seleccionados del modelo llamados expertos. Durante la decodificación, la etapa que genera tokens posteriores, distintos expertos reciben distintas cantidades de tráfico. Un componente seleccionado con frecuencia puede representar más actividad de la que sugiere su proporción del total de componentes.

Según la actualización sobre el enrutamiento de expertos del constructor, la configuración predeterminada anterior elevaba 5,949 de 15,360 expertos enrutados a NVFP4. La cobertura medida de una sola ranura alcanzó aproximadamente el 80–86% de las rutas de decodificación. La cobertura indicada del 78–85% para la configuración predeterminada de dos ranuras fue prevista, no medida directamente. La publicación también afirma que la selección de expertos utilizó conjuntos públicos de prompts junto con tráfico jurídico privado.

Estas afirmaciones respaldan una conclusión más limitada que “el 80% de DeepSeek funciona a máxima precisión”. Describen una distribución de actividad dependiente de la carga de trabajo. No establecen que la misma proporción se aplique a los documentos, idiomas o solicitudes de un usuario desconocido.

Considérese el problema de asignación subyacente. Si algunos expertos reciben tráfico frecuente, preservar sus pesos de referencia puede afectar muchas decisiones de enrutamiento. Dar el mismo tratamiento a todos los expertos consumiría la memoria de otra manera. El enfoque del proyecto favorece, en cambio, los componentes que sus mediciones identifican como útiles.

Esto convierte la precisión mixta de DeepSeek en una forma de especialización de la carga de trabajo. Aquí, precisión mixta significa almacenar distintos componentes del modelo con diferentes representaciones numéricas. El beneficio depende en parte de si las solicitudes futuras se parecen al tráfico utilizado para elegir esos componentes.

La distinción importa al evaluar cargas de trabajo jurídicas. La revisión de contratos, la cronología de hechos, la redacción de correspondencia y la comparación de fuentes pueden exigir comportamientos diferentes. Una selección ajustada a una combinación de solicitudes necesita pruebas antes de que su cobertura medida se convierta en una afirmación sobre otra.

La explicación del formato NVFP4 de Nvidia también ayuda a separar la precisión de almacenamiento de la aceleración por hardware. El formato combina valores de cuatro bits con escalado compartido para limitar el error de representación. Nvidia introdujo aceleración nativa para ese formato con Blackwell. Mantener pesos en formato de referencia en un procesador antiguo no le proporciona el hardware de ejecución de Blackwell.

Por consiguiente, “casi NVFP4” necesita una referencia identificada y una medición definida. No debería utilizarse como sinónimo de aritmética sin comprimir, corrección garantizada o rendimiento de hardware más reciente.

El resultado interesante es la estrategia de asignación. La máquina intenta preservar una fidelidad mayor a lo largo de rutas computacionales transitadas con frecuencia, manteniendo una cobertura comprimida en otros lugares. Si esto sigue siendo eficaz fuera del tráfico medido es una cuestión para pruebas adicionales.

Una mayor concordancia con la referencia no demuestra mejores respuestas jurídicas

Un comportamiento numérico más cercano es evidencia sobre la implementación, mientras que la utilidad jurídica requiere una evaluación independiente.

La ficha pública del modelo del proyecto informa una concordancia de tokens siguientes del 95.1% con su referencia NVFP4, frente al 92.2% de la versión comprimida anterior. Esto mide si ambas implementaciones seleccionan el mismo fragmento de texto siguiente bajo las condiciones de comparación. No significa que ninguno de los dos sistemas responda correctamente a preguntas jurídicas a esas tasas.

La documentación también contiene una corrección de configuración posterior. Una actualización del 13 de noviembre redujo la configuración predeterminada de dos ranuras de 5,949 a 5,936 expertos NVFP4 tras aumentar la memoria reservada. El mismo paquete de precisión mixta distingue las pruebas de concordancia anteriores de opciones de servicio posteriores cuya calidad no se había establecido. El límite de contexto documentado es de 524,288 tokens, es decir, la capacidad máxima configurada de entrada y salida para una solicitud.

Estos detalles evitan varios atajos tentadores. La concordancia con una referencia no es concordancia con los documentos subyacentes. Un modelo de referencia puede cometer un error factual, y una implementación más fiel puede reproducir ese error.

Del mismo modo, una discrepancia no produce necesariamente una respuesta peor. Una redacción diferente puede preservar el mismo significado. Una pequeña diferencia numérica también puede cambiar una matización crítica. La consecuencia depende de la tarea y del resultado, no simplemente del número de tokens coincidentes.

Para un flujo de trabajo jurídico de DeepSeek, la evaluación debería empezar por productos de trabajo terminados. ¿El resultado preservó la distinción entre una alegación y un hecho establecido? ¿Vinculó una conclusión con el documento correcto? ¿Mantuvo la incertidumbre cuando la evidencia seguía siendo incompleta?

Estos son ejemplos de preguntas pertinentes, no conclusiones de una evaluación independiente de este servidor. Ilustran por qué una comparación numérica no puede sustituir la revisión de tareas.

Un contexto configurado de gran tamaño también necesita una interpretación cuidadosa. La capacidad indica cuánto material acepta el sistema con sus ajustes. No certifica que cada detalle relevante siga siendo accesible o esté correctamente conectado a lo largo de la respuesta.

Imagine una cronología preliminar elaborada a partir de un expediente. El resultado valioso es una secuencia utilizable con material de apoyo rastreable. Un servidor puede procesar el expediente correctamente y, aun así, omitir un acontecimiento importante. También puede generar texto fluido que requiera correcciones sustanciales.

La presión práctica recae en quien mantiene el flujo de trabajo. Una mayor fidelidad numérica crea un motivo para volver a probar la aplicación, no un motivo para eliminar la revisión. El seguimiento más útil compararía los resultados antes y después de la actualización utilizando los mismos documentos y criterios de evaluación.

Esa comparación conectaría el cambio de ingeniería con la razón de ser de la máquina. Hasta entonces, la evidencia respalda un comportamiento más cercano a la referencia dentro de las pruebas publicadas. No respalda una mejora cuantificada de la precisión jurídica.

La velocidad depende de qué versión y carga de trabajo se midan

Los resultados públicos describen varias configuraciones, por lo que combinar sus mejores cifras crearía un servidor que nunca se probó realmente.

El repositorio posterior del proyecto documenta una versión final del 13 de noviembre con una salida de código de aproximadamente 143–175 tokens por segundo. Indica 176.2 tokens por segundo en conjunto con tres solicitudes simultáneas, frente a los 192.3 informados anteriormente. Su prueba posterior también alcanzó el primer token tras un prompt de 256K en 86.7 segundos, frente a 108.4 en la ejecución anterior.

Los detalles de configuración del benchmark revelan distintos ajustes de potencia entre esas ejecuciones. También advierten que no se estableció la calidad para todos los perfiles de slots. Un slot es la capacidad de servicio reservada para el estado de una solicitud. Estas siguen siendo mediciones comunicadas por el desarrollador, y no benchmarks reproducidos de forma independiente.

Esta divulgación cambia la manera en que debe describirse la actualización. Las cifras principales anteriores siguen siendo útiles como resultados fechados. No deberían convertirse en especificaciones permanentes para cada revisión posterior.

El rendimiento agregado también necesita un denominador explícito. Cuenta la salida total entre solicitudes durante el intervalo medido. No indica a un usuario individual que su propia respuesta llegará a ese ritmo combinado.

Para una oficina, la distinción es práctica. Varias tareas en segundo plano podrían beneficiarse de una mayor salida combinada. Un abogado que espera una respuesta concreta se preocupa por el tiempo de finalización de esa solicitud. Una configuración puede mejorar la utilización compartida mientras hace más lenta cada sesión activa.

El procesamiento de prompts introduce otra distinción. El prefill es la etapa inicial que procesa la entrada antes de que comience la generación. Un documento largo puede generar una espera perceptible antes de la primera respuesta visible, incluso cuando la salida posterior llega rápidamente.

Esto importa en el trabajo interactivo. Un usuario podría tolerar una espera más larga para un análisis exhaustivo de documentos que para una breve pregunta de seguimiento. Una evaluación que combina ambos en una sola cifra de velocidad oculta la diferencia.

Las comparaciones con Claude u otro asistente alojado necesitan la misma disciplina. Mermiges describe cómo trasladó trabajo de un entorno basado en Claude a su sistema local. Ese relato establece su motivación y experiencia, en lugar de una comparación controlada entre servicios.

Una evaluación justa mantendría constantes la tarea, el material fuente, la salida esperada y el estándar de revisión. También incluiría el tiempo de espera y las correcciones. De lo contrario, la comparación corre el riesgo de medir flujos de trabajo diferentes bajo una etiqueta compartida.

La generación más lenta del servidor DeepSeek V100 es, por tanto, una contrapartida real, pero necesita el marco adecuado. La cuestión central es si una mayor fidelidad reduce suficiente trabajo de corrección como para justificar la espera y el mantenimiento adicionales.

Las tasas de salida publicadas no pueden responder por sí solas a eso. Ayudan a identificar el límite entre una implementación viable y una aplicación cuyo valor completo aún necesita medirse.

La fiabilidad y el control local conllevan su propia carga de trabajo

La mejora de estabilidad del constructor es alentadora, pero la causa sospechada en el hardware sigue siendo un diagnóstico, no un hallazgo probado.

Mermiges informa que los fallos se detuvieron tras cambios en la alimentación eléctrica. Su relato describe nueve chats largos exitosos después e identifica una fuente de alimentación posiblemente defectuosa como la causa sospechada. Los errores anteriores lo habían llevado hacia PCIe, el sistema de conexión que enlaza componentes de hardware. Debe mantenerse visible la distinción entre esas observaciones y una causa raíz confirmada.

El mismo relato dice que la RTX 3090 se instaló físicamente, mientras que trasladar a ella el pequeño modelo de borrador seguía sin terminar. Un modelo de borrador propone texto candidato que otro modelo verifica, un método conocido como decodificación especulativa. Su ubicación prevista es un cambio futuro de software, no una explicación establecida de los resultados existentes.

En conjunto, estos detalles muestran por qué un sistema local funcional implica más que ajustar los pesos del modelo a la memoria. El diagnóstico de hardware, la gestión de configuración y la integración de software consumen esfuerzo incluso cuando la velocidad de generación parece adecuada.

Una serie de sesiones exitosas respalda la afirmación de que el comportamiento observado mejoró. No aísla el componente que falló. Varios cambios realizados en el mismo periodo pueden complicar la atribución.

Esa incertidumbre es normal en un proyecto personal en evolución. Se vuelve más relevante cuando alguien trata el proyecto como una plantilla para una infraestructura de oficina fiable. Otro constructor necesita suficiente documentación para distinguir una corrección transferible de una mejora específica de una máquina.

El control local plantea una distinción relacionada. Mermiges afirma que los documentos de sus casos permanecen en su oficina. Eso describe su operación prevista y la práctica que comunica. No constituye una auditoría independiente del manejo de datos del sistema.

Una organización que evalúe un enfoque similar aún necesitaría entender dónde residen los documentos, los registros, las copias de seguridad y el acceso administrativo. Son cuestiones de despliegue, no evidencia de un defecto en esta máquina concreta. El relato disponible no establece una respuesta completa.

Por tanto, la comparación con servicios alojados se refiere tanto a la responsabilidad como a la ubicación. Ejecutar el hardware localmente otorga a su propietario control directo sobre muchas decisiones. También sitúa más trabajo de mantenimiento y resolución de problemas en manos de ese propietario.

Un servicio gestionado distribuye esas responsabilidades de otra forma. Ninguna de las dos opciones establece automáticamente una mejor calidad de salida, un acceso adecuado o un menor esfuerzo total. Esos juicios requieren evidencia sobre el sistema real y su uso.

El flujo de trabajo de conocimiento circundante sigue siendo relevante, independientemente de qué despliegue prevalezca. Una base de conocimiento con búsqueda aborda la tarea relacionada de organizar el material fuente para su recuperación. No puede sustituir la evaluación del modelo ni verificar las afirmaciones de privacidad de una instalación independiente.

Para el flujo de trabajo jurídico de DeepSeek, la pregunta exigente es si el control local produce un acceso fiable a trabajo útil. Eso requiere un proceso operativo repetible junto con el trabajo de optimización. Una demostración exitosa y un servicio diario mantenible son logros relacionados, pero requieren evidencia diferente.

Tres seguimientos determinarán hasta dónde llega esto

La próxima actualización útil debería conectar las mejoras de ingeniería con un comportamiento reproducible, en lugar de añadir otra velocidad máxima aislada.

Primero, observe si surge una evaluación unificada de la configuración de servicio actual. La evidencia más sólida combinaría cobertura de enrutamiento medida, concordancia de referencia, latencia y calidad de tareas completadas en la misma compilación. Eso reduciría la necesidad de conciliar cifras recogidas bajo ajustes distintos.

Esta señal reforzaría la afirmación central del proyecto si el valor predeterminado actual conservara un comportamiento más cercano a la referencia durante un uso representativo. Debilitaría el alcance práctico de la afirmación si la fidelidad cayera con fuerza ante tráfico desconocido o solicitudes adicionales. Cualquiera de los dos resultados sería más informativo que otra tasa máxima de salida.

Las comparaciones de tareas más valiosas conservarían los documentos de entrada y los criterios de puntuación. Los ejemplos públicos pueden respaldar la reproducibilidad sin exponer archivos privados de casos. También permitirían a otros usuarios examinar si las pruebas elegidas se parecen a su propio trabajo.

Segundo, observe si se completa el traslado del modelo de borrador a la RTX 3090, seguido de una medición controlada antes y después. Instalar un procesador establece su disponibilidad. Demostrar su contribución exige mostrar qué cambió en el sistema en ejecución.

Un resultado útil explicaría si el traslado liberó memoria, modificó el tiempo de espera, afectó a las solicitudes simultáneas o introdujo nueva inestabilidad. La comparación necesita la misma carga de trabajo y una configuración claramente identificada. Sin esos controles, una mejora podría proceder de otra revisión de software.

Esta señal reforzaría la estrategia de asignación si el procesador añadido creara margen útil mientras preserva el comportamiento de salida. Debilitaría el beneficio esperado si la sobrecarga de integración eliminara las ganancias. El resultado importa porque el papel propuesto sigue siendo parte del trabajo inacabado del proyecto.

Tercero, observe una operación sostenida y una reproducción fuera de la propia máquina del constructor. Un intento independiente comprobaría si la configuración documentada se transfiere a otra instalación. Una operación más prolongada también aportaría mejor evidencia sobre la mejora de estabilidad.

La reproducción no necesita igualar exactamente cada cifra para ser útil. Las diferencias de hardware y ajustes pueden explicar parte de la variación. La cuestión importante es si otro operador puede comprender esas diferencias y obtener un resultado fiable.

Esta señal reforzaría el argumento para una adopción más amplia si las instrucciones produjeran un comportamiento comparable sin una intervención extensa no documentada. Acotaría el argumento si el éxito siguiera dependiendo de conocimiento específico de la máquina. Eso seguiría dejando un experimento valioso, pero una solución de oficina menos transferible.

La cuestión más profunda es quién puede permitirse la atención necesaria para operar este enfoque. Los desarrolladores obtienen un ejemplo concreto de optimización. Los compradores empresariales obtienen preguntas que formular sobre evaluación y mantenimiento. Los trabajadores del conocimiento reciben un recordatorio de que la ejecución local, la fidelidad numérica y las respuestas útiles requieren evidencia independiente.

El servidor DeepSeek V100 merece atención porque su constructor documentó un compromiso deliberado y expuso varias limitaciones en el camino. Ofrece a los lectores algo más útil que la afirmación de que el hardware antiguo puede ejecutar un modelo grande. Muestra cómo elegir una carga de trabajo cambia lo que cabe, lo que funciona más rápido y lo que sigue siendo incierto.

Antes de tratar esta configuración como modelo para su propio trabajo, examine las mediciones asociadas a la configuración que realmente usaría. Separe la concordancia de referencia de la precisión de tareas, el rendimiento combinado del tiempo de espera personal y las actualizaciones previstas de los cambios completados. Pida ejemplos con material fuente rastreable y requisitos de revisión visibles. Compare todo el flujo de trabajo con su proceso actual, incluido el esfuerzo dedicado a corregirlo y mantenerlo. La siguiente pregunta útil no es simplemente si este servidor puede generar texto localmente. ¿Qué evidencia demostraría que su mayor precisión le ayuda a terminar un trabajo fiable?

 
 

Empieza gratis

Un asistente de IA local-first con gestión del conocimiento personal

Para ofrecer una mejor experiencia con la IA,

actualmente remio solo es compatible con Windows 10+ (x64) y M-Chip Macs.

Tu aliado de IA para el trabajo
Haz más con remio

Planifica. Crea. Entrega.
Todo en un solo lugar.

bottom of page