Cloudflare Clef-omni amplía las decisiones multimodales, pero la precisión sigue marcando el límite

Cloudflare Clef-omni llegó el 9 de octubre con procesamiento nativo de audio, vídeo, imágenes y texto en un único canal de decisión. La empresa también redujo el precio de Clef-flash e incrementó hasta 2,0 veces la velocidad de inferencia alojada de Clef. En conjunto, estos cambios convierten a una familia de modelos de apenas una semana en un desafío más amplio para los sistemas multietapa que los desarrolladores utilizan actualmente para decisiones automatizadas.

El cambio importante no es que otro modelo acepte contenidos multimedia. Los modelos de propósito general ya lo hacen. Cloudflare está empaquetando la comprensión multimodal como un servicio de decisión acotado que devuelve probabilidades para respuestas permitidas, en lugar de generar texto abierto.

Esta distinción sitúa a Cloudflare frente a Jev de TypeSafe y ante un patrón arquitectónico más establecido: conectar componentes separados de transcripción, visión, lenguaje y clasificación. Clef-omni pide a los desarrolladores sustituir esa cadena por una sola llamada al modelo. El enfoque promete menos orquestación, pero los propios resultados de referencia de Cloudflare muestran por qué menos componentes no implican automáticamente mejores decisiones.

Cloudflare Clef-omni convierte cuatro tipos de entrada en una decisión

Cloudflare Clef-omni está diseñado para evaluar directamente medios combinados, sin convertir antes cada entrada en texto.

El modelo acepta texto, imágenes, audio WAV o MP3, y vídeo MP4 o WebM. Una solicitud puede combinar varias de esas entradas con un esquema que describa las preguntas que el modelo debe responder. La respuesta asigna confianza a las opciones permitidas, en lugar de redactar una respuesta narrativa.

Cloudflare ilustra el patrón con una inspección de equipos. Un desarrollador puede enviar una fotografía de una etiqueta, una grabación de audio de una máquina y un vídeo de su ventilador. El modelo puede entonces determinar si la etiqueta es visible, si la máquina suena con normalidad y si el ventilador está girando.

Este flujo de trabajo suele requerir varias etapas. Un modelo transcribe el audio, otro toma muestras o genera subtítulos del vídeo, y el código de la aplicación combina esos resultados. Después, un clasificador final o un modelo de lenguaje convierte la evidencia acumulada en una decisión.

En cambio, Clef-omni asigna los medios a una única secuencia unificada. Cloudflare afirma que el audio sincronizado y los fotogramas visuales siguen disponibles para procesamiento conjunto. El modelo puntúa cada respuesta válida a partir de esa representación combinada sin generar una transcripción o subtítulo intermedio.

Esta es una diferencia relevante para señales que pierden contexto durante la conversión. Una transcripción puede preservar las palabras pronunciadas mientras descarta el tono, el ruido de fondo, el momento en que ocurre algo y la relación entre el sonido y el movimiento. Un conjunto de subtítulos de vídeo puede describir objetos visibles sin detectar si un sonido se produjo al mismo tiempo que un fallo mecánico.

Cloudflare construyó el modelo sobre Qwen3-Omni-30B-A3B-Instruct, una base de mezcla de expertos. Un modelo de mezcla de expertos dirige diferentes entradas a grupos de parámetros seleccionados, en lugar de activar toda la red para cada cálculo. Cloudflare mantuvo la base de comprensión del modelo fundacional, pero eliminó sus componentes de salida de texto a voz.

La empresa congeló después la base de Qwen3 y entrenó adaptadores de bajo rango, o módulos LoRA. LoRA actualiza un conjunto más pequeño de parámetros añadidos mientras deja sin cambios la mayor parte del modelo fundacional. Cloudflare también aplicó entrenamiento de entropía cruzada con suavizado de etiquetas y calibración de puntuación de Brier, que mide hasta qué punto las probabilidades predichas coinciden con los resultados observados.

Sus pesos de modelo abiertos permiten a los investigadores inspeccionar o alojar el modelo por su cuenta. La documentación del modelo alojada proporciona la estructura de las solicitudes para Workers AI.

Esta arquitectura hace que el modelo multimodal Clef sea más que un chatbot capaz de procesar medios. Es un evaluador vinculado a un esquema, diseñado para aplicaciones que ya saben qué preguntas necesitan responder. Ese enfoque también crea su limitación central: el sistema solo puede tomar decisiones útiles cuando el esquema, la evidencia y las opciones permitidas reflejan el problema real.

El modelo multimodal Clef apunta a la complejidad de los canales de procesamiento

Cloudflare compite con el coste y la fragilidad de los canales conectados de modelos, no solo con otro proveedor de modelos.

Un flujo de trabajo multimedia de varias etapas crea dependencias operativas. El reconocimiento de voz puede fallar con acentos o grabaciones ruidosas. El muestreo de vídeo puede omitir un fotograma relevante. Un modelo de subtitulado puede dejar fuera un detalle que más tarde resulte importante. El sistema final de decisión solo ve las salidas transformadas, incluidos todos los errores introducidos previamente.

Cada etapa también tiene su propia latencia, observabilidad, comportamiento de escalado y respuesta ante fallos. Los desarrolladores deben decidir si reintentan una transcripción fallida, continúan con evidencia parcial o detienen toda la solicitud. Deben conservar vínculos entre marcas de tiempo, fotogramas de vídeo y texto derivado si la decisión final depende del momento en que sucedieron los hechos.

El procesamiento directo de Clef-omni reduce esos traspasos. Cloudflare afirma que el modelo alojado toma decisiones solo de texto con una latencia mediana de aproximadamente 130 milisegundos. Las solicitudes de imágenes tardan unos 150 milisegundos, mientras que las entradas de audio tardan varios cientos de milisegundos.

En el ejemplo de la empresa, un vídeo de 21 segundos que contiene sonido recibe una puntuación en aproximadamente 1,5 segundos. Estas son mediciones de Cloudflare, no garantías independientes. La latencia real dependerá del tamaño de la carga útil, la distancia de red, la concurrencia y la manera en que una aplicación estructura sus preguntas.

Aun así, el beneficio potencial es claro. Una plataforma de soporte podría evaluar en una sola solicitud la descripción escrita de un cliente, la fotografía de un producto y una grabación de voz. Un flujo de trabajo de seguridad podría combinar una captura de pantalla, narración hablada y datos estructurados de incidentes. Una aplicación de control de calidad podría comparar el movimiento visible con el sonido mecánico.

El formato de salida importa tanto como el formato de entrada. Los modelos Clef producen probabilidades limitadas por esquema, por lo que una aplicación puede consumir la respuesta sin analizar prosa conversacional. Un sistema de moderación puede solicitar una categoría permitida, mientras que un sistema de enrutamiento puede puntuar varios destinos.

Esto no elimina la lógica de aplicación. Los equipos aún necesitan umbrales de confianza, reglas de escalado, registros de auditoría y revisión humana para los casos importantes. También necesitan una política para los resultados inciertos, porque una distribución de probabilidades no es una garantía de corrección.

El cambio se entiende mejor como una consolidación. En lugar de mantener etapas separadas de percepción y clasificación, los desarrolladores pueden comprobar si un único endpoint cubre una parte suficiente del flujo de trabajo. Esto puede reducir el trabajo de infraestructura incluso cuando el modelo no es el mejor en todas las evaluaciones.

El mismo principio se aplica a los flujos de trabajo con información personal. Un sistema que combina reuniones, documentos y medios capturados aún necesita recuperación fiable y gestión de contexto. Las herramientas basadas en la combinación de conocimientos ilustran la demanda más amplia de conectar información heterogénea sin obligar a los usuarios a reconstruir el contexto manualmente.

La apuesta de Cloudflare es que los desarrolladores quieren una consolidación comparable dentro de las rutas de decisión automatizadas. Si el modelo multimodal Clef conserva evidencia útil entre distintos medios, una arquitectura más simple se convierte en una ventaja competitiva. Si pasa por alto señales específicas del dominio, los equipos volverán a los componentes especializados pese a la complejidad adicional.

Una inferencia Clef más rápida cambia la ecuación de despliegue

La actualización de Clef es en parte una historia de infraestructura de servicio, con la mayor mejora mediana de velocidad reportada de hasta 2,0 veces.

Cloudflare no lanzó nuevos pesos para la versión más rápida de su modelo Clef original. La empresa afirma que las mejoras provinieron principalmente de su capa de servicio alojada. Esto significa que los usuarios que alojan el modelo por su cuenta no reciben automáticamente las mismas mejoras al descargar de nuevo el modelo existente.

Para entradas cercanas a 800 tokens, Cloudflare informa de que la latencia mediana cayó de 262 milisegundos a 152 milisegundos. La latencia reportada en el percentil 95 pasó de 438 milisegundos a 351 milisegundos. Esto representa una mejora de 1,7 veces en la mediana.

Con aproximadamente 3.400 tokens, la latencia mediana habría bajado de 616 milisegundos a 305 milisegundos. El percentil 95 descendió de 777 milisegundos a 531 milisegundos. Esta es la carga de trabajo en la que Cloudflare informa de la mejora mediana máxima de 2,0 veces.

Para entradas cercanas a 16.000 tokens, la empresa informa de una reducción mediana de 2.721 milisegundos a 1.635 milisegundos. Su cifra del percentil 95 bajó de 3.250 milisegundos a 1.805 milisegundos. La mejora mediana a ese tamaño es de 1,7 veces.

Estas mediciones importan porque los modelos de decisión suelen formar parte de otra operación. Una decisión de enrutamiento puede producirse antes de que un agente elija una herramienta. Una puntuación de seguridad puede bloquear una publicación. Una clasificación de seguridad puede determinar si un evento recibe atención inmediata.

La latencia en esas posiciones se acumula. Una aplicación que invoca el modelo repetidamente dentro de un bucle de agentes puede convertir unos pocos cientos de milisegundos en un retraso perceptible. La latencia de cola también importa, porque los usuarios experimentan las solicitudes lentas, no solo la solicitud mediana.

Cloudflare atribuye parte de la mejora en la velocidad de inferencia de Clef a su migración a SGLang, un marco de servicio de código abierto para modelos de lenguaje y multimodales. Cloudflare trabajó con el proyecto para añadir compatibilidad con Clef mediante una contribución a SGLang.

Esa colaboración importa más allá del servicio alojado. Ofrece a quienes alojan el modelo por su cuenta una ruta de servicio compatible, aunque sus resultados variarán según el hardware y la configuración. También sugiere que el rendimiento de un modelo no puede evaluarse por separado del software de inferencia.

El modelo alojado más rápido refuerza el argumento de plataforma de Cloudflare. Los desarrolladores que usan Workers AI pueden combinar ejecución de modelos, código de aplicación y controles de AI Gateway dentro del mismo proveedor. Una latencia menor reduce la penalización de insertar un paso de decisión en un Worker existente.

Sin embargo, la optimización de infraestructura no mejora el criterio del modelo. Una respuesta incorrecta devuelta en la mitad de tiempo sigue siendo incorrecta. Por tanto, los desarrolladores deberían separar dos preguntas de evaluación: si Clef satisface sus necesidades de precisión y calibración, y si la capa de servicio de Cloudflare cumple su objetivo de latencia.

Esa distinción evita que las mejoras de velocidad de los titulares oculten el riesgo de aplicación. Un modelo de moderación rápido puede procesar más contenido, pero también puede escalar los falsos positivos. Un modelo de enrutamiento rápido puede acelerar a los agentes, pero estimaciones de confianza deficientes pueden enviar más solicitudes hacia las herramientas equivocadas.

Un Clef-flash más económico llega con un contexto alojado menor

Cloudflare redujo el coste de Clef-flash al aceptar una contrapartida visible del producto: su ventana de contexto alojada ahora es mucho más corta.

La empresa afirma que Clef-flash es ahora más económico que Jev, su comparación más directa de modelos de decisión. Las cifras comerciales exactas pueden cambiar, por lo que los compradores deberían consultar la documentación actual en lugar de considerar un anuncio de lanzamiento como una tabla de precios permanente.

El hecho más duradero es la reducción de contexto. Clef-flash alojado anunciaba anteriormente una ventana de 64.000 tokens. Ahora acepta hasta 24.000 tokens a través de Workers AI.

Cloudflare afirma que solo el 0,24 por ciento de las solicitudes observadas de Clef-flash superaban el nuevo límite. Basándose en ese uso, la empresa decidió reducir el límite alojado y disminuir el coste del servicio. El modelo Clef más grande conserva su contexto alojado de 64.000 tokens.

Los pesos descargables de Clef-flash no han cambiado. Cloudflare afirma que esos pesos fueron entrenados para admitir un contexto de 256.000 tokens en implementaciones autoalojadas. Esto crea una diferencia clara entre la capacidad teórica del modelo y el límite configurado del producto gestionado.

Para muchas tareas de clasificación, 24.000 tokens siguen siendo suficientes. Un ticket de cliente, un extracto de política, un resumen de incidente o un rastro breve de un agente pueden encajar cómodamente. Los equipos que procesan documentos largos, rastros extensos o grandes colecciones de evidencia deben planificar en torno al nuevo límite.

Pueden truncar la entrada, resumirla, recuperar solo los pasajes pertinentes, utilizar el servicio Clef de mayor capacidad o autoalojar Clef-flash. Cada opción modifica el sistema. El truncamiento corre el riesgo de eliminar evidencia decisiva, mientras que la resumición puede introducir otro modelo y otra fuente de error.

La recuperación puede controlar el tamaño de la entrada, pero hace que el resultado dependa de lo que seleccione la capa de recuperación. El autoalojamiento preserva más contexto, aunque añade planificación de capacidad, actualizaciones, trabajo de seguridad e ingeniería de inferencia.

Por eso, la historia de Clef-flash más económico no es simplemente un recorte de precio. Cloudflare está optimizando para la inmensa mayoría de las solicitudes que observa actualmente. Los clientes con entradas excepcionalmente largas asumen el coste mediante migraciones o cambios de arquitectura.

La decisión también aclara el posicionamiento de la familia. Clef-flash se orienta a decisiones frecuentes y sensibles a la latencia, con un contexto relativamente acotado. Clef completo gestiona casos más grandes o exigentes. Clef-omni aborda flujos de trabajo en los que la información decisiva abarca texto, audio, imágenes y vídeo.

De ello se desprende naturalmente un patrón de enrutamiento por niveles. Una aplicación puede comenzar con Clef-flash y escalar los casos largos o inciertos a otro modelo. Sin embargo, ese patrón requiere una calibración cuidadosa. Un umbral de confianza que parece razonable en un benchmark genérico puede comportarse de forma diferente con los datos propios de una empresa.

Los desarrolladores deberían probar los límites de contexto utilizando ejemplos completos de producción, no la longitud media de las entradas. La solicitud poco frecuente que supera los 24.000 tokens también puede ser la solicitud compleja en la que la falta de contexto causa el mayor daño.

Cloudflare Clef-omni Aún Enfrenta una Prueba de Precisión

Los resultados publicados por Cloudflare muestran un modelo capaz, pero no demuestran un ganador universal en todas las tareas o modalidades.

En el conjunto de benchmarks de Cloudflare, Clef-omni obtiene resultados sólidos en varias evaluaciones orientadas al texto. Alcanza 98,2 en coincidencia exacta de casos BFCL y 97,7 de macro-F1 en CLINC150 con ejemplos fuera de alcance. También registra 94,8 de macro-F1 en BANKING77.

Sin embargo, el modelo queda por detrás de otro miembro de la familia Clef en varias pruebas. Clef completo obtiene puntuaciones más altas en ToolRet, decisiones sobre electrodomésticos, When2Call, BRIGHT y PhishNChips. Clef-flash lidera en BFCL, API-Bank y la evaluación de electrodomésticos.

Jev también conserva ventajas. La tabla de Cloudflare sitúa a Jev por delante en When2Call y BRIGHT. Los resultados desaconsejan tratar una mayor amplitud de entrada como una superioridad automática.

La misma imagen mixta aparece en las evaluaciones de flujos de trabajo. En las evaluaciones de modelos de decisión publicadas, Clef-omni queda por detrás de Clef completo en procesamiento de facturas. También queda por detrás de Clef-flash en acciones exactas de atención al cliente y acciones principales en rastros de agentes.

Para incidentes de seguridad, Clef-omni iguala a Clef-flash y Jev en acciones exactas, mientras se sitúa por debajo de Clef completo. Estas diferencias importan porque los flujos de trabajo empresariales suelen combinar varias decisiones correctas. Un modelo puede seleccionar correctamente la acción principal y, aun así, omitir una acción secundaria que afecte al cumplimiento o al seguimiento.

Los benchmarks también aportan evidencia limitada sobre las nuevas modalidades. Muchas de las evaluaciones enumeradas se centran en clasificación de texto, recuperación, uso de herramientas o flujos de trabajo estructurados. No establecen con qué fiabilidad Clef-omni razona a través de voz sincronizada, sonido, movimiento e imágenes en entornos de producción variados.

Cloudflare informa de la latencia multimodal, pero el material de lanzamiento no proporciona un desglose público de precisión de audio y vídeo con un nivel de detalle similar. Persisten preguntas sobre grabaciones ruidosas, varios interlocutores, movimiento de cámara, vídeo comprimido, sonidos superpuestos y evidencia que entra en conflicto entre modalidades.

Esa brecha de verificación debería orientar la adopción. Un equipo que evalúe inspecciones de fábrica debería crear ejemplos que contengan sonidos normales y anómalos bajo ruido de fondo realista. Una organización de soporte debería probar acentos variados, micrófonos de dispositivos y grabaciones de clientes incompletas.

Los equipos de seguridad deberían medir por separado los falsos positivos y los falsos negativos. Una única puntuación de precisión puede ocultar un sistema que funciona bien al favorecer la clase más común. La calibración también merece pruebas, porque la automatización posterior suele depender de que los valores de confianza se correspondan con tasas reales de error.

El rápido calendario de desarrollo de Cloudflare incrementa la necesidad de una evaluación independiente. La empresa afirma que el esfuerzo original de Clef pasó de una decisión interna al lanzamiento en menos de una semana. La velocidad de iteración es impresionante, pero no sustituye unas pruebas externas amplias.

Los pesos abiertos ayudan. Los investigadores pueden reproducir pruebas, inspeccionar el comportamiento y comparar los resultados autoalojados con Workers AI. Sin embargo, la disponibilidad abierta no hace que un benchmark sea neutral. Las cifras comunicadas siguen dependiendo de la selección de modelos, prompts, infraestructura y métricas de Cloudflare.

La conclusión más defendible es más acotada que el encuadre del lanzamiento. Cloudflare Clef-omni ofrece una arquitectura creíble de llamada única para decisiones multimodales. Que mejore un flujo de trabajo real depende de evidencia del dominio que los benchmarks de lanzamiento todavía no aportan.

Qué Deberían Vigilar los Desarrolladores a Continuación

La próxima fase estará determinada por pruebas multimodales independientes, adopción en producción y respuestas competitivas, más que por listas de funciones.

La primera señal es la cobertura de evaluación. Los desarrolladores deberían buscar pruebas públicas que requieran evidencia conjunta de audio y vídeo, especialmente cuando esas señales discrepan. Un benchmark útil probaría si el modelo detecta una máquina visiblemente operando con normalidad mientras su audio revela un fallo intermitente.

Estos resultados reforzarían la afirmación de Cloudflare de que una canalización unificada preserva información que se pierde con la transcripción y el subtitulado. Los resultados débiles sugerirían que la ingesta nativa es conveniente, pero no necesariamente más precisa que los componentes especializados.

La segunda señal es el comportamiento en producción. Cloudflare ya describe implementaciones internas de Clef para cerrar incidencias de spam, moderar bibliotecas de plugins en busca de phishing, identificar posible información personal y detectar dominios maliciosos. Estos ejemplos implican clasificaciones importantes, pero principalmente demuestran uso, no fiabilidad medida.

Los desarrolladores necesitan tasas de error, resultados de calibración, patrones de escalamiento y latencia de cola bajo tráfico sostenido. También deberían observar si los equipos adoptan Clef-omni para decisiones realmente multimodales o si lo utilizan principalmente como otro evaluador de texto e imágenes.

La tercera señal es la respuesta de los competidores. Jev sigue siendo la comparación directa más clara porque Clef admite la forma de su API y Cloudflare lo compara repetidamente en benchmarks. La compatibilidad reduce la fricción de cambio, por lo que TypeSafe debe defender su posición mediante precisión, economía, latencia o herramientas especializadas.

Los proveedores de modelos multimodales de propósito general también importan, aunque no presenten sus sistemas como modelos de decisión. La salida estructurada, la decodificación restringida y los endpoints de clasificación dedicados pueden reducir las diferencias operativas. Los sistemas especializados de audio y visión seguirán siendo atractivos cuando la precisión en el dominio pese más que la simplicidad de la canalización.

Para los desarrolladores, el siguiente paso práctico es una evaluación controlada con ejemplos reales. Comparen el modelo unificado con la canalización existente y, después, midan la precisión de la acción completa, la calibración, la latencia y la gestión de fallos. Incluyan entradas largas poco frecuentes y medios de baja calidad, porque los promedios a menudo ocultan los casos que determinan el riesgo operativo.

No empiecen preguntando si el modelo comprende cuatro modalidades. Pregunten si toma la decisión acotada correcta a partir de esas modalidades con una tasa de error aceptable. Después, prueben qué ocurre cuando tiene incertidumbre, recibe evidencia contradictoria o supera el límite de contexto alojado.

Cloudflare ha facilitado la ejecución del experimento. No ha eliminado la necesidad de llevarlo a cabo. El valor de Cloudflare Clef-omni dependerá en última instancia de si una arquitectura más simple resiste el contacto con datos de producción desordenados, no de si un endpoint puede aceptar técnicamente todos los tipos de archivo.