A Capacidade de Inferência de IA da Meta Transforma Computação Ociosa em uma Vantagem para Anúncios

A Meta colocou em produção duas novas alavancas de elasticidade, transformando capacidade computacional ociosa em trabalho adicional de classificação de anúncios sem contratar mais capacidade. O sistema de capacidade de inferência de IA da Meta se expande quando há processadores disponíveis e, em seguida, remove trabalho opcional quando essa capacidade desaparece. O conflito é direto: a Meta quer melhores previsões a partir de recursos voláteis, mas seu serviço básico de anúncios não pode se tornar mais lento ou menos confiável.

O sistema muda a forma como a infraestrutura excedente contribui para a operação publicitária da empresa. Processadores ociosos não precisam mais de uma carga de trabalho permanente para gerar valor. A Meta pode avaliar temporariamente mais candidatos a anúncios ou direcionar solicitações selecionadas para um modelo mais capaz. Ambos os caminhos buscam melhores recomendações, mas impõem exigências diferentes a CPUs e aceleradores de IA.

Isso vai além de um projeto convencional de utilização. O gerenciador de clusters Borg do Google estabeleceu como uma infraestrutura compartilhada pode elevar a utilização por meio de agendamento, sobrecomprometimento e isolamento de cargas de trabalho. A Meta está aplicando esse princípio amplo à inferência de recomendações sensível à latência, em que cada mudança temporária de capacidade pode afetar uma decisão publicitária em tempo real.

A Capacidade de Inferência de IA da Meta se Torna um Recurso de Classificação de Anúncios

A Meta converteu a margem fragmentada e temporária de capacidade computacional em um recurso compartilhado para recomendações de anúncios em tempo real.

Frotas de inferência precisam manter capacidade suficiente para lidar com picos de demanda enquanto cumprem metas de latência e confiabilidade. A demanda real varia conforme horário, estação, região e configuração de hardware. Isso deixa bolsões locais de capacidade ociosa mesmo quando a frota como um todo permanece limitada.

A Meta identifica várias causas para esse descompasso. A capacidade provisionada para tráfego de pico fica subutilizada fora desses períodos. O hardware pode chegar antes de os modelos projetados para ele estarem prontos. Uma região pode ter aceleradores livres, mas capacidade de CPU de suporte insuficiente.

A diversidade de hardware acrescenta outra complicação. A Meta opera aceleradores de diferentes gerações e fornecedores, além de seu próprio silício especializado. Uma carga de trabalho projetada para uma configuração não pode usar automaticamente todos os dispositivos disponíveis. Assim, a capacidade pode permanecer isolada ao lado de um serviço sobrecarregado.

O sistema de capacidade da Meta agrega fragmentos utilizáveis em um pool oportunista. “Oportunista” significa que os recursos não têm garantia de permanência e podem ser retomados por seus proprietários originais. A Meta não trata esse pool como capacidade básica confiável.

Em vez disso, a empresa atribui a ele trabalho que pode expandir ou se contrair sem alterar a promessa básica do serviço. A classificação de anúncios atende a esse requisito porque o sistema já reduz milhões de candidatos em várias etapas. Mais computação pode aprofundar essa busca, enquanto menos computação pode devolver o processo ao seu nível operacional normal.

O pool também precisa oferecer ganhos sustentados em uma ampla variedade de níveis de capacidade. Uma carga de trabalho que atinge rapidamente seu teto de qualidade desperdiçaria grandes picos de computação disponível. A Meta afirma que as recomendações de anúncios continuam se beneficiando quando o sistema avalia mais candidatos ou aplica seletivamente um modelo mais robusto.

A Meta não divulgou o tamanho do pool, sua utilização média nem o valor financeiro atribuído a ele. Portanto, o anúncio estabelece a arquitetura, e não um resultado econômico completo. Alegações sobre valor para anunciantes continuam sendo da própria Meta, a menos que a empresa publique medições controladas.

Ainda assim, a mudança operacional é concreta. A capacidade excedente agora tem um caminho definido para a inferência relacionada à receita. Isso torna a margem temporária de capacidade parte do processo decisório do sistema de anúncios, em vez de apenas uma métrica de infraestrutura que os engenheiros tentam reduzir.

Duas Alavancas se Ajustam a Diferentes Tipos de Computação Ociosa

A principal escolha de projeto da Meta não é simplesmente consumir capacidade excedente, mas combinar cada conjunto de recursos com um trabalho opcional adequado.

A primeira alavanca é Rank More Ads, ou RMA. Ela aumenta o número de candidatos avaliados durante a classificação quando há capacidade suficiente. Mais candidatos dão ao sistema outra oportunidade de encontrar um anúncio que corresponda melhor a um usuário e ao contexto atual.

O funil de recomendação da Meta começa com milhões de anúncios potenciais e os reduz progressivamente. As etapas iniciais recuperam e processam um conjunto amplo. As etapas posteriores aplicam modelos computacionalmente mais exigentes a um grupo menor antes de o sistema selecionar o que exibir.

O RMA amplia partes desse funil. Os candidatos adicionais geram trabalho em recuperação, processamento de atributos e inferência de modelos. Isso significa que o RMA geralmente precisa de recursos excedentes de CPU e de capacidade excedente de aceleradores ao mesmo tempo.

Esse requisito limita onde o RMA pode operar. Uma região com aceleradores não utilizados, mas CPUs saturadas, não pode expandir com segurança todo o caminho de classificação. Aumentar o volume de candidatos nesse caso deslocaria o gargalo para etapas anteriores e ameaçaria a latência.

A segunda alavanca, Serve Better Models, ou SBM, resolve um problema diferente de recursos. Ela mantém estável a contagem de candidatos, mas direciona uma parcela das solicitações elegíveis para um modelo computacionalmente mais capaz. Isso permite à Meta consumir capacidade excedente de aceleradores sem gerar trabalho adicional comparável nas CPUs.

O SBM não atualiza indiscriminadamente todas as solicitações. Um roteador de modelos usa sinais de valor da solicitação para decidir quais delas devem obter maior benefício. A Meta agrupa as solicitações em segmentos, mede o resultado incremental do modelo mais robusto e ajusta a alocação por meio de exploração e aproveitamento.

A exploração importa porque a solicitação de maior valor não é necessariamente aquela que mais ganha com modelagem adicional. Um modelo básico já pode lidar bem com um segmento valioso. Outro segmento, com menor engajamento inicial, pode apresentar uma melhoria maior quando avaliado pelo modelo mais robusto.

A Meta mantém parte do tráfego exploratório entre os segmentos para impedir que o roteador congele em uma decisão desatualizada. Um ciclo de calibração também mantém o tráfego realizado próximo à cobertura pretendida pelo controlador à medida que a composição regional muda.

Essa abordagem amplia ideias já visíveis no Adaptive Ranking Model da Meta. Esse sistema direciona solicitações entre modelos com diferentes exigências computacionais, em vez de aplicar um modelo uniformemente. O sistema oportunista adiciona a capacidade volátil como outra restrição de roteamento.

As duas alavancas são complementares porque recursos ociosos raramente aparecem em pacotes equilibrados. O RMA pode consumir excedentes combinados de CPU e aceleradores. O SBM pode absorver capacidade excedente apenas de aceleradores que o RMA não consegue usar com segurança.

A Meta compara periodicamente o valor medido e os requisitos de recursos dos dois caminhos. A próxima unidade disponível de computação pode então apoiar uma busca mais ampla por candidatos ou um modelo de previsão melhor. Essa decisão depende do tráfego, da cobertura dos modelos e da atual combinação de recursos.

Esse é o mecanismo central por trás do sistema de recomendação de anúncios da Meta. A computação excedente não é atribuída a uma única tarefa fixa. A plataforma mantém múltiplas formas de trabalho opcional e expande aquela que se ajusta aos recursos disponíveis e ao retorno esperado.

O Verdadeiro Desafio é Devolver a Capacidade

O sistema só é bem-sucedido se o trabalho oportunista desaparecer antes de prejudicar o serviço que detém a capacidade.

A capacidade ociosa é temporária por definição. Um aumento de tráfego regional, um lançamento programado ou uma implantação de modelo pode tornar necessários novamente processadores antes livres. A Meta precisa devolver esses recursos sem permitir que o trabalho adicional de classificação invada a alocação básica.

O SBM protege o tráfego básico por meio de separação física. O modelo básico e o modelo mais robusto usam destinos de roteamento separados. Réplicas dedicadas continuam dimensionadas para solicitações comuns, enquanto réplicas oportunistas processam o caminho selecionado do modelo mais robusto.

Quando os aceleradores excedentes desaparecem, o controlador reduz a cobertura do modelo mais robusto. As solicitações removidas desse caminho retornam ao modelo básico. Essas solicitações já eram consideradas quando a Meta provisionou suas réplicas básicas dedicadas.

O RMA depende mais do isolamento lógico. Suas réplicas podem receber uma combinação de trabalho básico e trabalho adicional de classificação de candidatos. Um orçamento global limita o trabalho incremental ao que as réplicas em capacidade oportunista conseguem suportar.

À medida que o pool se contrai, o RMA reduz seu volume-alvo de candidatos. O sistema remove a busca ampliada em vez de transferir esse trabalho para a capacidade básica dedicada. Os usuários ainda recebem uma seleção de anúncios, mas o processo de classificação avalia menos candidatos opcionais.

Ambas as alavancas operam por meio de ciclos de feedback. O RMA usa um controlador central proporcional-integral-derivativo, geralmente chamado de controlador PID. Esse controlador ajusta uma saída comparando o desempenho observado com uma meta e respondendo ao erro atual e acumulado.

O controlador RMA da Meta monitora a latência de cauda e calcula uma meta sustentável de candidatos. Os clientes aplicam essa meta a novas solicitações. Quando a latência permanece abaixo do limite, o volume de candidatos pode aumentar. Quando a latência aumenta, o controlador o reduz.

O SBM usa um caminho de controle comparável para a cobertura do modelo mais robusto. Seu controlador seleciona uma parcela-alvo, enquanto o roteamento do lado do cliente determina quais solicitações elegíveis entram nesse caminho. O mecanismo de calibração corrige diferenças entre o tráfego-alvo e o tráfego real.

O controle central por si só é lento demais para preempções abruptas. A Meta afirma que esses ciclos operam na escala de minutos, enquanto a capacidade pode desaparecer antes que metas atualizadas cheguem a todos os clientes. Esse atraso cria o período mais perigoso para o serviço básico.

Por isso, a plataforma adiciona descarte de carga no lado do servidor e do cliente. Descarte de carga significa abandonar intencionalmente trabalho opcional quando um sistema se aproxima da sobrecarga. A Meta aplica sinais de valor para que o trabalho incremental menos valioso desapareça primeiro.

Os servidores reagem perto do gargalo. Para o RMA, eles podem processar menos candidatos extras em uma solicitação individual. Os servidores SBM aplicam uma política equivalente às solicitações enviadas em direção ao modelo mais robusto.

Os clientes também observam a saúde do servidor em vez de depender apenas da meta central mais recente. Um servidor sobrecarregado leva os clientes RMA a solicitar menos candidatos adicionais. Os clientes SBM direcionam menos solicitações para fora do modelo básico.

A Meta afirma que essas defesas locais reagem em poucos milissegundos. Elas cobrem o intervalo mais longo antes que os controladores centrais calculem novas metas e as distribuam pela frota.

A resposta em camadas importa porque sistemas distribuídos raramente compartilham uma visão única e perfeitamente atualizada. Um controlador central pode otimizar globalmente, mas responde lentamente. Um servidor local vê a pressão imediatamente, mas não consegue coordenar toda a frota. A Meta usa ambas as escalas de tempo, em vez de esperar que um mecanismo resolva todos os modos de falha.

Esse padrão também se baseia no trabalho anterior da Meta sobre utilização de cauda. Segundo a Meta, esse projeto aumentou a produção de trabalho em 35 por cento sem recursos adicionais. Também reduziu os erros de tempo limite em dois terços e cortou pela metade a latência p99.

O design mais recente muda o objetivo. As melhorias na utilização de cauda buscavam resultados mais previsíveis a partir dos recursos existentes. A inferência oportunista introduz deliberadamente uma oferta volátil e, em seguida, restringe a demanda opcional resultante.

Anúncios Melhores Dependem de Mais Ranqueamento, Não Apenas de Mais Computação

Capacidade computacional extra só cria valor quando a Meta a direciona para decisões que melhoram materialmente uma recomendação de anúncio.

A RMA se baseia em um princípio conhecido de busca. Um sistema de ranqueamento não pode selecionar um candidato valioso que etapas anteriores removeram. Avaliar um conjunto mais amplo aumenta a probabilidade de que os modelos posteriores vejam um anúncio relevante, especialmente quando as pontuações iniciais de recuperação são imperfeitas.

No entanto, mais candidatos não garantem resultados proporcionalmente melhores. Os itens adicionais se tornam menos promissores à medida que o funil se amplia. Cada expansão também consome tempo de CPU para recuperação e processamento de atributos antes do início da inferência em aceleradores.

A Meta precisa, portanto, encontrar um ponto variável em que o ganho esperado de mais um candidato supere seu custo em recursos. Esse ponto muda conforme o usuário, os anúncios disponíveis, a infraestrutura regional e os modelos atualmente implantados.

A SBM enfrenta um problema relacionado. Um modelo mais forte consome mais capacidade de aceleradores, mas seu benefício incremental varia entre as solicitações. Enviar todas as solicitações por ele transformaria capacidade opcional em uma exigência permanente.

Em vez disso, o roteador tenta reservar a inferência cara para casos em que ela altera as previsões. Isso torna a estratégia de seleção de modelos da Meta tão importante quanto o próprio modelo maior. Um roteamento inadequado poderia consumir aceleradores escassos em solicitações nas quais a decisão de referência permaneceria inalterada.

A Meta aplicou elasticidade semelhante dentro de seu mecanismo de recuperação Andromeda. A empresa informou que a elasticidade de modelos, combinada a uma rede neural hierárquica, melhorou em dez vezes a eficiência de inferência. Também relatou mais de três vezes a capacidade de processamento de inferência de ponta a ponta.

Esses números descrevem o Andromeda, não o recém-anunciado pool oportunista. Eles não devem ser tratados como medições de desempenho da RMA ou da SBM. A Meta não publicou um ganho comparável para o novo sistema.

Essa omissão é importante porque utilização de computação e valor publicitário são métricas diferentes. Um processador pode realizar mais trabalho sem produzir recomendações melhores. Uma recomendação pode melhorar uma pontuação offline sem aumentar os resultados dos anunciantes ou a satisfação dos usuários.

A alocação do sistema orientada por valor tenta conectar essas camadas. A RMA pergunta se uma busca mais ampla revela um candidato melhor. A SBM pergunta se uma complexidade adicional do modelo melhora a previsão para um segmento específico. O processo de alocação então compara seus retornos incrementais.

Isso cria um problema de feedback que vai além da saúde da infraestrutura. A Meta precisa de experimentos estáveis que estimem o que teria acontecido sem o trabalho extra. A composição do tráfego, as condições de leilão, as mudanças nas campanhas e o comportamento sazonal podem afetar o resultado observado.

A exploração ajuda a manter essas estimativas atualizadas. Ao preservar tráfego entre segmentos, o sistema continua testando onde o modelo mais forte ajuda. Sem exploração, escolhas iniciais de roteamento poderiam privar alguns segmentos de dados e se reforçar.

A mesma lógica deve, no fim, reger a escolha entre RMA e SBM. A Meta afirma estar desenvolvendo um sistema de otimização que alocará capacidade automaticamente entre alavancas de elasticidade. O objetivo é maximizar os benefícios para usuários e anunciantes dentro de restrições regionais, de hardware e de durabilidade.

Esse futuro controlador transformaria o pool oportunista em um mercado interno para inferência. Diferentes cargas de trabalho competiriam pela próxima unidade disponível com base no valor marginal medido. A dificuldade está em comparar benefícios que surgem por mecanismos e em horizontes temporais distintos.

Uma busca por candidatos mais ampla pode melhorar a descoberta imediatamente. Um modelo melhor pode aperfeiçoar estimativas de conversão ou decisões de leilão. Atributos pré-computados podem criar valor mais tarde, fora do caminho de solicitações em tempo real. Uma única pontuação precisa tornar esses retornos comparáveis sem ocultar o risco operacional.

O Que as Alegações da Meta Ainda Não Mostram

A Meta explica como protege o serviço de referência, mas não fornece dados suficientes para avaliar o impacto total do sistema nos negócios.

O anúncio descreve “valor significativo para anunciantes” sem publicar uma porcentagem, duração do experimento ou intervalo de confiança. Também omite a quantidade média de capacidade ociosa capturada. Os leitores não podem calcular o ganho de utilização ou o retorno do sistema com as informações divulgadas.

A Meta não identifica quais plataformas, regiões ou segmentos de anunciantes recebem o caminho de ranqueamento expandido. A empresa também não divulga com que frequência a capacidade oportunista é recuperada nem com que frequência o descarte local de carga é ativado.

Esses detalhes ausentes não invalidam a arquitetura. Anúncios de engenharia frequentemente se concentram em mecanismos, e não em relatórios comerciais. Ainda assim, limitam comparações com outros sistemas de recomendação e impedem a verificação independente das alegações de valor da Meta.

A proteção do serviço de referência também merece interpretação cuidadosa. A Meta afirma que o isolamento físico e lógico impede que o trabalho opcional comprometa a latência e a confiabilidade normais. O design é plausível, mas a publicação não apresenta distribuições de latência antes e depois dessa implantação.

Milissegundos de reação local não eliminam todos os riscos de transição. Um pico regional pode afetar CPU, aceleradores, rede e serviços dependentes de formas diferentes. Um recurso pode se tornar restrito enquanto outro permanece disponível, deixando os controladores encarregados de identificar o verdadeiro gargalo.

O isolamento lógico é especialmente sensível à precisão da contabilização. A RMA mistura trabalho de referência e opcional em algumas réplicas. Seu orçamento global precisa refletir quanto trabalho incremental as réplicas oportunistas realmente conseguem suportar em condições de tráfego variáveis.

O descarte orientado por valor introduz outra questão. Um sinal de valor da solicitação determina qual trabalho opcional sobrevive à pressão. A Meta descreve o processo adaptativo, mas não revela os atributos, testes de equidade ou salvaguardas associados a esse sinal.

Um sistema otimizado em torno do engajamento previsto pode favorecer solicitações com respostas facilmente mensuráveis. Isso não significa automaticamente que os usuários verão publicidade mais útil. Engajamento, conversão, retorno para o anunciante e experiência do usuário no longo prazo são objetivos relacionados, mas distintos.

O modelo mais forte em si também permanece amplamente não especificado no anúncio. A Meta não informa seu tamanho, custo computacional ou melhoria em relação ao modelo de referência. Os leitores não podem determinar quanto excedente de aceleradores a SBM precisa antes que o roteamento se torne vantajoso.

A concorrência acrescenta outra pressão. Grandes plataformas de publicidade estão investindo em recuperação, ranqueamento, criação automatizada e infraestrutura proprietária de inferência. A vantagem da Meta dependerá da rapidez com que consegue conectar esses componentes, e não apenas de possuir aceleradores ociosos.

A experiência do Google com escalonamento automático de cargas de trabalho mostra a oportunidade mais ampla. A pesquisa Autopilot relatou 23 por cento de folga de recursos para trabalhos gerenciados automaticamente, em comparação com 46 por cento para trabalhos gerenciados manualmente. Também reduziu os efeitos graves de falta de memória por um fator de dez.

O Autopilot tratou da configuração de recursos entre trabalhos, enquanto o sistema da Meta controla trabalho opcional dentro de um caminho de recomendação. A comparação ainda mostra por que a elasticidade automatizada importa. Grandes frotas podem recuperar capacidade substancial, mas apenas quando os mecanismos de segurança incentivam as equipes de produção a confiar na automação.

O sistema da Meta precisa conquistar a mesma confiança internamente. As equipes de anúncios precisam ter confiança de que a capacidade emprestada desaparecerá de forma limpa. Os responsáveis pela infraestrutura precisam ter confiança de que compartilhar recursos ociosos não enfraquecerá seu próprio serviço durante picos de demanda.

O anúncio fornece uma arquitetura para essa confiança, não uma prova final. Suas camadas de isolamento, feedback e descarte de carga definem como o sistema deve se comportar. As medições em produção precisam mostrar com que consistência essas defesas funcionam entre hardwares, regiões e ciclos de tráfego.

Três Sinais Mostrarão se a Estratégia Escala

A próxima etapa não é simplesmente encontrar mais computação ociosa; é provar que a Meta consegue alocar capacidade volátil de forma automática e rentável.

O primeiro sinal é um resultado quantificado em produção. A Meta deveria divulgar a fração de capacidade recuperada, a frequência de preempção e a melhoria medida nos resultados dos anunciantes. Um resultado controlado fortaleceria o argumento de que a capacidade de inferência de IA da Meta produz mais do que maior utilização de processadores.

Uma divulgação útil separaria RMA e SBM. Essa distinção mostraria se a avaliação mais ampla de candidatos ou o roteamento para modelos mais fortes produz o melhor retorno marginal. Também revelaria com que frequência a frota equilibrou a capacidade disponível de CPU e aceleradores.

O segundo sinal é uma elasticidade mais ampla das cargas de trabalho. A Meta afirma que planeja aumentar os volumes de candidatos, usar modelos mais capazes e desenvolver elasticidade de pré-computação. A pré-computação realiza trabalho antes de uma solicitação em tempo real, reduzindo a dependência de onde e quando o tráfego chega.

A pré-computação poderia absorver capacidade remota ou instável demais para o ranqueamento síncrono. Ela também cria novos problemas de correção, pois os resultados armazenados podem ficar desatualizados. A Meta precisará de regras de expiração e estimativas de valor que considerem quando a saída pré-computada é efetivamente usada.

A portabilidade de modelos fará parte do mesmo sinal. O hardware ocioso tem pouco valor quando modelos compatíveis não podem ser executados nele. A Meta está trabalhando entre regiões e tipos de aceleradores para que mais fragmentos possam entrar no pool utilizável.

Uma gama mais ampla de hardware confirmaria que a plataforma consegue transformar heterogeneidade em flexibilidade. A incapacidade de ampliar essa gama deixaria grande parte do pool teórico isolada por formatos de modelo, limites de memória ou recursos de suporte ausentes.

O terceiro sinal é o alocador automático que a Meta afirma estar desenvolvendo. Hoje, a empresa ajusta periodicamente a capacidade entre RMA e SBM de acordo com o desempenho medido e as necessidades de recursos. Um otimizador em produção tomaria essa decisão continuamente entre mais alavancas.

Esse otimizador precisa considerar benefício esperado, compatibilidade de hardware, restrições regionais e a durabilidade da capacidade disponível. Picos curtos podem servir à expansão imediata de candidatos. Janelas mais longas podem justificar o carregamento de um modelo maior ou a realização de computação antecipada.

Um alocador confiável também deve expor seus limites de falha. Os engenheiros precisam saber quando o sistema recua, como lida com estimativas incertas de valor e o que impede que uma carga de trabalho com alta pontuação monopolize todos os aceleradores ociosos.

O sucesso daria à Meta um padrão reutilizável para outros produtos de inferência. Feeds de recomendação, sistemas de integridade e recursos generativos também contêm trabalho opcional com diferentes requisitos de latência. A empresa não anunciou essas implantações, portanto elas continuam sendo possibilidades, e não capacidades atuais.

A lição estratégica já é visível. A competição em infraestrutura de IA não é apenas uma disputa para adquirir mais chips. É também uma disputa para extrair decisões mais úteis do hardware que já foi instalado.

A abordagem da Meta transforma o planejamento de capacidade em uma variável de produto em tempo real. A profundidade do ranqueamento e a força do modelo agora acompanham os recursos disponíveis da frota. O serviço de referência permanece como o compromisso fixo, enquanto a qualidade das recomendações se torna elástica acima desse patamar.

A próxima pergunta é mensurável: a Meta publicará evidências de que essas melhorias temporárias geram valor duradouro para anunciantes e usuários? Fique atento a resultados distintos de RMA e SBM, suporte mais amplo de hardware e um alocador de produção capaz de justificar cada unidade de computação emprestada.