La capacidad de inferencia de IA de Meta convierte la computación inactiva en una ventaja para los anuncios

Meta ha puesto en producción dos nuevos mecanismos de elasticidad que convierten la capacidad de cómputo inactiva en trabajo adicional de clasificación de anuncios, sin adquirir más capacidad. El sistema de capacidad de inferencia de IA de Meta se expande cuando hay procesadores disponibles y elimina trabajo opcional cuando esa capacidad desaparece. El conflicto es claro: Meta busca mejores predicciones a partir de recursos volátiles, pero su servicio básico de anuncios no puede volverse más lento ni menos fiable.

El sistema cambia la forma en que la infraestructura sobrante contribuye a las operaciones publicitarias de la empresa. Los procesadores inactivos ya no necesitan una carga de trabajo permanente para generar valor. Meta puede evaluar temporalmente más candidatos de anuncios o dirigir determinadas solicitudes a un modelo más capaz. Ambas vías buscan mejorar las recomendaciones, pero imponen exigencias distintas sobre las CPU y los aceleradores de IA.

Esto es más que un proyecto convencional de utilización. El gestor de clústeres Borg de Google estableció cómo la infraestructura compartida puede elevar la utilización mediante planificación, sobreasignación y aislamiento de cargas de trabajo. Meta está aplicando ese principio general a la inferencia de recomendaciones sensible a la latencia, donde cada cambio temporal de capacidad puede afectar una decisión publicitaria en tiempo real.

La capacidad de inferencia de IA de Meta se convierte en un recurso para la clasificación de anuncios

Meta ha convertido la capacidad de cómputo fragmentada y temporalmente disponible en un recurso compartido para las recomendaciones de anuncios en tiempo real.

Las flotas de inferencia deben reservar suficiente capacidad para gestionar los picos de demanda y, al mismo tiempo, cumplir los objetivos de latencia y fiabilidad. La demanda real varía según la hora, la temporada, la región y la configuración del hardware. Esto deja bolsas locales de capacidad inactiva incluso cuando la flota general sigue estando limitada.

Meta identifica varias causas de este desajuste. La capacidad provisionada para el tráfico pico permanece infrautilizada fuera de los períodos de máxima demanda. El hardware puede llegar antes de que estén listos los modelos previstos para utilizarlo. Una región puede tener aceleradores libres, pero una capacidad de CPU de apoyo insuficiente.

La diversidad del hardware añade otra complicación. Meta opera aceleradores de distintas generaciones y proveedores, además de su propio silicio especializado. Una carga de trabajo diseñada para una configuración no puede utilizar automáticamente todos los dispositivos disponibles. Por ello, la capacidad puede permanecer varada junto a un servicio sobrecargado.

El sistema de capacidad de Meta agrupa fragmentos utilizables en un conjunto oportunista. “Oportunista” significa que los recursos no tienen garantía de permanencia y pueden ser reclamados por sus propietarios originales. Meta no trata este conjunto como capacidad base fiable.

En cambio, la empresa le asigna trabajo que puede expandirse o contraerse sin modificar la promesa básica del servicio. La clasificación de anuncios cumple ese requisito porque el sistema ya reduce millones de candidatos a través de varias etapas. Más cómputo puede profundizar esa búsqueda, mientras que menos cómputo puede devolver el proceso a su nivel operativo normal.

El conjunto también debe admitir mejoras sostenidas en una amplia gama de capacidades. Una carga de trabajo que alcance rápidamente su techo de calidad desperdiciaría ráfagas mayores de cómputo disponible. Meta afirma que las recomendaciones de anuncios siguen beneficiándose cuando el sistema evalúa más candidatos o aplica selectivamente un modelo más potente.

Meta no ha revelado el tamaño del conjunto, su utilización media ni el valor financiero que se le atribuye. Por tanto, el anuncio establece la arquitectura, no un resultado económico completo. Las afirmaciones sobre el valor para los anunciantes siguen siendo propias de Meta, salvo que la empresa publique mediciones controladas.

Aun así, el cambio operativo es concreto. La capacidad sobrante ahora tiene una ruta definida hacia la inferencia vinculada a los ingresos. Eso convierte el margen temporal de capacidad en parte del proceso de decisión del sistema de anuncios, en lugar de ser simplemente una métrica de infraestructura que los ingenieros intentan reducir.

Dos mecanismos se adaptan a distintos tipos de cómputo inactivo

La principal decisión de diseño de Meta no consiste simplemente en consumir capacidad sobrante, sino en asociar cada combinación de recursos con trabajo opcional adecuado.

El primer mecanismo es Rank More Ads, o RMA. Aumenta el número de candidatos evaluados durante la clasificación cuando existe suficiente capacidad. Más candidatos ofrecen al sistema otra oportunidad de encontrar un anuncio que encaje mejor con un usuario y el contexto actual.

El embudo de recomendaciones de Meta parte de millones de anuncios potenciales y los reduce progresivamente. Las primeras etapas recuperan y procesan un conjunto amplio. Las posteriores aplican modelos más exigentes desde el punto de vista computacional a un grupo menor antes de que el sistema seleccione qué mostrar.

RMA amplía partes de ese embudo. Los candidatos adicionales generan trabajo en la recuperación, el procesamiento de características y la inferencia de modelos. Esto significa que RMA generalmente necesita recursos de CPU sobrantes y capacidad de aceleradores disponible al mismo tiempo.

Este requisito limita dónde puede operar RMA. Una región con aceleradores sin utilizar pero CPU saturadas no puede ampliar de forma segura toda la ruta de clasificación. Aumentar allí el volumen de candidatos trasladaría el cuello de botella a etapas anteriores y pondría en riesgo la latencia.

El segundo mecanismo, Serve Better Models, o SBM, resuelve un problema de recursos diferente. Mantiene estable el número de candidatos, pero dirige una parte de las solicitudes elegibles a un modelo computacionalmente más capaz. Esto permite a Meta consumir capacidad sobrante de aceleradores sin generar una cantidad comparable de trabajo adicional de CPU.

SBM no mejora todas las solicitudes indiscriminadamente. Un enrutador de modelos utiliza señales de valor de las solicitudes para decidir cuáles se espera que se beneficien más. Meta agrupa las solicitudes en segmentos, mide el resultado incremental del modelo más potente y ajusta la asignación mediante exploración y explotación.

La exploración importa porque la solicitud de mayor valor no es necesariamente la que más gana con modelado adicional. Un modelo base puede ya gestionar bien un segmento valioso. Otro segmento, con una interacción inicial menor, podría mostrar una mejora más grande al evaluarse con el modelo más potente.

Meta mantiene parte del tráfico exploratorio en todos los segmentos para evitar que el enrutador quede fijado en una decisión obsoleta. Un ciclo de calibración también mantiene el tráfico real cerca de la cobertura prevista por el controlador a medida que cambia la mezcla regional.

Este enfoque amplía ideas ya visibles en el Adaptive Ranking Model de Meta. Ese sistema enruta solicitudes entre modelos con distintas exigencias computacionales, en lugar de aplicar un modelo de manera uniforme. El sistema oportunista añade la capacidad volátil como otra restricción de enrutamiento.

Los dos mecanismos son complementarios porque los recursos inactivos rara vez aparecen en paquetes equilibrados. RMA puede consumir excedentes combinados de CPU y aceleradores. SBM puede absorber capacidad sobrante solo de aceleradores que RMA no puede utilizar de forma segura.

Meta compara periódicamente el valor medido y los requisitos de recursos de ambas rutas. La siguiente unidad de cómputo disponible puede respaldar entonces una búsqueda de candidatos más amplia o un modelo de predicción mejor. Esa decisión depende del tráfico, la cobertura de los modelos y la combinación actual de recursos.

Este es el mecanismo central detrás del sistema de recomendaciones de anuncios de Meta. El cómputo sobrante no se asigna a una tarea fija. La plataforma mantiene múltiples formas de trabajo opcional y luego expande la que mejor se ajusta a los recursos disponibles y al rendimiento esperado.

El verdadero desafío es devolver la capacidad

El sistema solo tiene éxito si el trabajo oportunista desaparece antes de perjudicar al servicio propietario de la capacidad.

La capacidad inactiva es temporal por definición. Un aumento del tráfico regional, un lanzamiento programado o el despliegue de un modelo pueden hacer que procesadores antes libres vuelvan a ser necesarios. Meta debe devolver esos recursos sin permitir que el trabajo adicional de clasificación invada la asignación base.

SBM protege el tráfico base mediante separación física. El modelo base y el modelo más potente utilizan destinos de enrutamiento separados. Las réplicas dedicadas siguen dimensionadas para las solicitudes normales, mientras que las réplicas oportunistas gestionan la ruta seleccionada del modelo más potente.

Cuando desaparecen los aceleradores sobrantes, el controlador reduce la cobertura del modelo más potente. Las solicitudes retiradas de esa ruta vuelven al modelo base. Esas solicitudes ya estaban incluidas cuando Meta aprovisionó sus réplicas base dedicadas.

RMA depende en mayor medida del aislamiento lógico. Sus réplicas pueden recibir una combinación de trabajo base y trabajo adicional de clasificación de candidatos. Un presupuesto global limita el trabajo incremental a lo que pueden admitir las réplicas con capacidad oportunista.

A medida que el conjunto se contrae, RMA reduce su volumen objetivo de candidatos. El sistema elimina la búsqueda ampliada en lugar de trasladar ese trabajo a la capacidad base dedicada. Los usuarios siguen recibiendo una selección de anuncios, pero el proceso de clasificación evalúa menos candidatos opcionales.

Ambos mecanismos operan mediante ciclos de retroalimentación. RMA utiliza un controlador central proporcional-integral-derivativo, conocido comúnmente como controlador PID. Este controlador ajusta una salida comparando el rendimiento observado con un objetivo y respondiendo al error actual y acumulado.

El controlador RMA de Meta vigila la latencia de cola y calcula un objetivo sostenible de candidatos. Los clientes aplican ese objetivo a las nuevas solicitudes. Cuando la latencia se mantiene por debajo del umbral, el volumen de candidatos puede aumentar. Cuando la latencia aumenta, el controlador lo reduce.

SBM utiliza una ruta de control comparable para la cobertura del modelo más potente. Su controlador selecciona una proporción objetivo, mientras que el enrutamiento del lado del cliente determina qué solicitudes elegibles entran en esa ruta. El mecanismo de calibración corrige las diferencias entre el objetivo y el tráfico real.

El control central por sí solo es demasiado lento ante una apropiación abrupta de recursos. Meta afirma que estos ciclos operan en el orden de minutos, mientras que la capacidad puede desaparecer antes de que los objetivos actualizados lleguen a todos los clientes. Ese retraso crea el período más peligroso para el servicio base.

Por ello, la plataforma añade descarte de carga del lado del servidor y del cliente. El descarte de carga significa eliminar intencionadamente trabajo opcional cuando un sistema se aproxima a la sobrecarga. Meta aplica señales de valor para que desaparezca primero el trabajo incremental menos valioso.

Los servidores reaccionan cerca del cuello de botella. Para RMA, pueden procesar menos candidatos adicionales dentro de una solicitud individual. Los servidores de SBM aplican una política equivalente a las solicitudes enviadas hacia el modelo más potente.

Los clientes también observan la salud del servidor en lugar de depender únicamente del objetivo central más reciente. Un servidor sobrecargado hace que los clientes de RMA soliciten menos candidatos añadidos. Los clientes de SBM desvían menos solicitudes del modelo base.

Meta afirma que estas defensas locales reaccionan en pocos milisegundos. Cubren el intervalo más largo antes de que los controladores centrales calculen nuevos objetivos y los distribuyan por toda la flota.

La respuesta por capas es importante porque los sistemas distribuidos rara vez comparten una visión perfectamente actualizada. Un controlador central puede optimizar globalmente, pero responde lentamente. Un servidor local percibe la presión de inmediato, pero no puede coordinar toda la flota. Meta utiliza ambas escalas temporales en lugar de esperar que un único mecanismo resuelva todos los modos de fallo.

Este patrón también se apoya en el anterior trabajo de utilización de cola de Meta. Según Meta, ese proyecto aumentó la producción de trabajo en un 35 por ciento sin recursos adicionales. También redujo los errores de tiempo de espera en dos tercios y redujo a la mitad la latencia p99.

El diseño más reciente cambia el objetivo. Las mejoras en el aprovechamiento residual buscaban una producción más predecible a partir de los recursos existentes. La inferencia oportunista introduce deliberadamente una oferta volátil y luego restringe la demanda opcional resultante.

Los mejores anuncios dependen de una mayor clasificación, no simplemente de más cómputo

El cómputo adicional crea valor solo cuando Meta lo asigna a decisiones que mejoran de forma sustancial una recomendación publicitaria.

RMA se basa en un principio conocido de búsqueda. Un sistema de clasificación no puede seleccionar un candidato valioso que las etapas anteriores eliminaron. Evaluar un conjunto más amplio aumenta la probabilidad de que los modelos posteriores vean un anuncio relevante, especialmente cuando las puntuaciones de recuperación inicial son imperfectas.

Sin embargo, más candidatos no garantizan resultados proporcionalmente mejores. Los elementos adicionales se vuelven menos prometedores a medida que se amplía el embudo. Cada expansión también consume tiempo de CPU para la recuperación y el procesamiento de características antes de que comience la inferencia en aceleradores.

Por tanto, Meta debe encontrar un punto variable en el que la ganancia esperada de añadir otro candidato supere su coste de recursos. Ese punto cambia según el usuario, los anuncios disponibles, la infraestructura regional y los modelos desplegados en ese momento.

SBM se enfrenta a un problema relacionado. Un modelo más potente consume más capacidad de aceleradores, pero su beneficio incremental varía entre solicitudes. Enviar todas las solicitudes a través de él convertiría una capacidad opcional en un requisito permanente.

En su lugar, el enrutador intenta reservar la inferencia costosa para los casos en los que modifica las predicciones. Esto hace que la estrategia de selección de modelos de Meta sea tan importante como el propio modelo más grande. Un enrutamiento deficiente podría gastar aceleradores escasos en solicitudes en las que la decisión de referencia permanecería sin cambios.

Meta ha aplicado una elasticidad similar dentro de su motor de recuperación Andromeda. La empresa informó de que la elasticidad de modelos, combinada con una red neuronal jerárquica, mejoró diez veces la eficiencia de inferencia. También informó de más de tres veces el rendimiento de inferencia de extremo a extremo.

Esas cifras describen Andromeda, no el nuevo grupo oportunista anunciado. No deben tratarse como mediciones de rendimiento de RMA o SBM. Meta no ha publicado una mejora comparable para el nuevo sistema.

Esta omisión es importante porque la utilización de cómputo y el valor publicitario son mediciones diferentes. Un procesador puede realizar más trabajo sin producir mejores recomendaciones. Una recomendación puede mejorar una puntuación fuera de línea sin aumentar los resultados de los anunciantes ni la satisfacción de los usuarios.

La asignación del sistema basada en el valor intenta conectar esas capas. RMA pregunta si una búsqueda más amplia revela un candidato mejor. SBM pregunta si una complejidad adicional del modelo mejora la predicción para un segmento concreto. Después, el proceso de asignación compara sus retornos incrementales.

Esto crea un problema de retroalimentación que va más allá de la salud de la infraestructura. Meta necesita experimentos estables que estimen qué habría ocurrido sin el trabajo adicional. La composición del tráfico, las condiciones de subasta, los cambios en campañas y el comportamiento estacional pueden afectar el resultado observado.

La exploración ayuda a mantener actualizadas esas estimaciones. Al preservar tráfico en distintos segmentos, el sistema continúa comprobando dónde ayuda el modelo más potente. Sin exploración, las primeras decisiones de enrutamiento podrían privar a algunos segmentos de datos y reforzarse a sí mismas.

La misma lógica debería regir finalmente la elección entre RMA y SBM. Meta afirma que está desarrollando un sistema de optimización que asignará capacidad automáticamente entre las palancas de elasticidad. El objetivo es maximizar los beneficios para usuarios y anunciantes dentro de las limitaciones regionales, de hardware y de duración.

Ese futuro controlador convertiría el grupo oportunista en un mercado interno para la inferencia. Diferentes cargas de trabajo competirían por la siguiente unidad disponible según su valor marginal medido. La dificultad reside en comparar beneficios que surgen mediante mecanismos y escalas temporales diferentes.

Una búsqueda de candidatos más amplia puede mejorar el descubrimiento de inmediato. Un modelo mejor puede afinar las estimaciones de conversión o las decisiones de subasta. Las características precomputadas podrían crear valor más tarde, fuera de la ruta de solicitudes en vivo. Una sola puntuación debe hacer comparables esos retornos sin ocultar el riesgo operativo.

Lo que las afirmaciones de Meta todavía no demuestran

Meta explica cómo protege el servicio de referencia, pero no proporciona datos suficientes para evaluar el impacto total del sistema en el negocio.

El anuncio describe un “valor significativo para los anunciantes” sin publicar un porcentaje, la duración del experimento ni un intervalo de confianza. También omite la cantidad media de capacidad inactiva capturada. Los lectores no pueden calcular la mejora de utilización del sistema ni su retorno con la información divulgada.

Meta no identifica qué plataformas, regiones o segmentos de anunciantes reciben la ruta de clasificación ampliada. La empresa tampoco revela con qué frecuencia se recupera la capacidad oportunista ni con qué frecuencia se activa la reducción local de carga.

Esos detalles faltantes no invalidan la arquitectura. Los anuncios de ingeniería suelen centrarse en mecanismos, más que en informes comerciales. Sin embargo, limitan las comparaciones con otros sistemas de recomendación e impiden una verificación independiente de las afirmaciones de valor de Meta.

La protección de referencia también merece una interpretación cuidadosa. Meta afirma que el aislamiento físico y lógico evita que el trabajo opcional comprometa la latencia y fiabilidad habituales. El diseño es creíble, pero la publicación no presenta distribuciones de latencia antes y después de este despliegue.

Milisegundos de reacción local no eliminan todos los riesgos de transición. Un aumento regional puede afectar de forma distinta a la CPU, los aceleradores, la red y los servicios dependientes. Un recurso puede verse limitado mientras otro permanece disponible, dejando a los controladores la tarea de identificar el verdadero cuello de botella.

El aislamiento lógico es especialmente sensible a la precisión de la contabilidad. RMA mezcla trabajo de referencia y opcional en algunas réplicas. Su presupuesto global debe reflejar cuánto trabajo incremental pueden soportar realmente las réplicas oportunistas bajo condiciones cambiantes de tráfico.

La reducción de carga basada en el valor plantea otra cuestión. Una señal de valor de solicitud determina qué trabajo opcional sobrevive a la presión. Meta describe el proceso adaptativo, pero no revela las características, las pruebas de equidad ni las salvaguardas asociadas a esa señal.

Un sistema optimizado en torno a la interacción prevista puede favorecer solicitudes con respuestas fáciles de medir. Eso no significa automáticamente que los usuarios vean publicidad más útil. La interacción, la conversión, el retorno para el anunciante y la experiencia de usuario a largo plazo son objetivos relacionados, pero distintos.

El propio modelo más potente también permanece en gran medida sin especificar en el anuncio. Meta no proporciona su tamaño, coste computacional ni mejora respecto al modelo de referencia. Los lectores no pueden determinar cuánto excedente de aceleradores necesita SBM antes de que el enrutamiento resulte rentable.

La competencia añade otra presión. Las grandes plataformas publicitarias están invirtiendo en recuperación, clasificación, creatividad automatizada e infraestructura propia de inferencia. La ventaja de Meta dependerá de la rapidez con que pueda conectar estos componentes, no simplemente de poseer aceleradores de sobra.

La experiencia de Google con el escalado automático de cargas de trabajo muestra la oportunidad más amplia. La investigación de Autopilot informó de un 23 por ciento de holgura de recursos para trabajos gestionados automáticamente, frente al 46 por ciento para trabajos gestionados manualmente. También redujo los efectos graves de falta de memoria por un factor de diez.

Autopilot abordó la configuración de recursos entre trabajos, mientras que el sistema de Meta controla trabajo opcional dentro de una ruta de recomendación. La comparación sigue mostrando por qué importa la elasticidad automatizada. Las grandes flotas pueden recuperar una capacidad considerable, pero solo cuando los mecanismos de seguridad animan a los equipos de producción a confiar en la automatización.

El sistema de Meta debe ganarse esa misma confianza internamente. Los equipos de anuncios necesitan confiar en que la capacidad prestada desaparecerá limpiamente. Los responsables de infraestructura necesitan confiar en que compartir recursos inactivos no debilitará su propio servicio durante picos de demanda.

El anuncio proporciona una arquitectura para esa confianza, no una prueba definitiva. Sus capas de aislamiento, retroalimentación y reducción de carga definen cómo debería comportarse el sistema. Las mediciones de producción deben demostrar con qué consistencia funcionan esas defensas entre hardware, regiones y ciclos de tráfico.

Tres señales mostrarán si la estrategia escala

La siguiente etapa no consiste simplemente en encontrar más cómputo inactivo; consiste en demostrar que Meta puede asignar capacidad volátil de forma automática y rentable.

La primera señal es un resultado de producción cuantificado. Meta debería revelar la fracción de capacidad recuperada, la frecuencia de las interrupciones y la mejora medida en los resultados de los anunciantes. Un resultado controlado reforzaría el argumento de que la capacidad de inferencia de Meta AI produce algo más que una mayor utilización de procesadores.

Una divulgación útil separaría RMA y SBM. Esa distinción mostraría si una evaluación más amplia de candidatos o el enrutamiento hacia modelos más potentes genera el mejor retorno marginal. También revelaría con qué frecuencia la flota ha equilibrado el margen de CPU y aceleradores.

La segunda señal es una elasticidad más amplia de las cargas de trabajo. Meta afirma que planea aumentar los volúmenes de candidatos, utilizar modelos más capaces y desarrollar elasticidad de precomputación. La precomputación realiza trabajo antes de una solicitud en vivo, reduciendo la dependencia de dónde y cuándo llega el tráfico.

La precomputación podría absorber capacidad demasiado remota o inestable para la clasificación sincrónica. También genera nuevos problemas de corrección, ya que los resultados almacenados pueden quedar obsoletos. Meta necesitará reglas de expiración y estimaciones de valor que tengan en cuenta cuándo se utiliza realmente la salida precomputada.

La portabilidad de modelos formará parte de la misma señal. El hardware sobrante tiene poco valor cuando los modelos compatibles no pueden ejecutarse en él. Meta está trabajando entre regiones y tipos de aceleradores para que más fragmentos puedan entrar en el grupo utilizable.

Una gama más amplia de hardware confirmaría que la plataforma puede convertir la heterogeneidad en flexibilidad. No ampliar esa gama dejaría gran parte del grupo teórico varado detrás de formatos de modelo, límites de memoria o recursos de apoyo ausentes.

La tercera señal es el asignador automático que Meta afirma estar construyendo. Hoy, la empresa ajusta periódicamente la capacidad entre RMA y SBM según el rendimiento medido y las necesidades de recursos. Un optimizador de producción tomaría esa decisión continuamente entre más palancas.

Ese optimizador debe considerar el beneficio esperado, la compatibilidad de hardware, las restricciones regionales y la duración de la capacidad disponible. Los picos breves pueden ser adecuados para una expansión inmediata de candidatos. Las ventanas más largas pueden justificar cargar un modelo más grande o realizar cómputo anticipado.

Un asignador creíble también debería exponer sus límites de fallo. Los ingenieros necesitan saber cuándo el sistema recurre a un modo alternativo, cómo maneja estimaciones de valor inciertas y qué impide que una carga de trabajo con alta puntuación monopolice todos los aceleradores sobrantes.

El éxito daría a Meta un patrón reutilizable para otros productos de inferencia. Los feeds de recomendación, los sistemas de integridad y las funciones generativas también contienen trabajo opcional con distintos requisitos de latencia. La empresa no ha anunciado esos despliegues, por lo que siguen siendo posibilidades y no capacidades actuales.

La lección estratégica ya es visible. La competencia en infraestructura de IA no es solo una carrera por adquirir más chips. También es una competición por extraer decisiones más útiles del hardware ya instalado.

El enfoque de Meta convierte la planificación de capacidad en una variable de producto en tiempo real. La profundidad de clasificación y la potencia del modelo ahora varían con los recursos disponibles de la flota. El servicio de referencia sigue siendo el compromiso fijo, mientras que la calidad de las recomendaciones se vuelve elástica por encima de ese umbral.

La siguiente pregunta es medible: ¿publicará Meta pruebas de que esas mejoras temporales generan un valor duradero para los anunciantes y los usuarios? Esté atento a resultados independientes de RMA y SBM, un soporte de hardware más amplio y un asignador de producción que pueda justificar cada unidad de capacidad de cómputo prestada.