Zdolność inferencyjna Meta AI przekształca niewykorzystane zasoby obliczeniowe w przewagę reklamową
Meta wdrożyła do produkcji dwa nowe mechanizmy elastyczności, które przekształcają niewykorzystane zasoby obliczeniowe w dodatkową pracę nad rankingiem reklam, bez konieczności zamawiania większej mocy. System zdolności inferencyjnej Meta AI rozszerza się, gdy procesory są dostępne, a następnie usuwa opcjonalne zadania, gdy ta pojemność znika. Konflikt jest prosty: Meta chce uzyskiwać lepsze prognozy z niestabilnych zasobów, ale jej podstawowa usługa reklamowa nie może stać się wolniejsza ani mniej niezawodna.
System zmienia sposób, w jaki wolna infrastruktura wspiera działalność reklamową firmy. Bezczynne procesory nie potrzebują już stałego obciążenia, by tworzyć wartość. Meta może tymczasowo oceniać więcej kandydatów reklamowych albo kierować wybrane żądania do bardziej zaawansowanego modelu. Obie ścieżki mają poprawić rekomendacje, ale stawiają odmienne wymagania procesorom CPU i akceleratorom AI.
To więcej niż tradycyjny projekt zwiększania wykorzystania zasobów. Menedżer klastrów Google Borg pokazał, jak współdzielona infrastruktura może zwiększać wykorzystanie dzięki harmonogramowaniu, nadmiernej alokacji i izolacji obciążeń. Meta stosuje tę ogólną zasadę do inferencji rekomendacji wrażliwej na opóźnienia, gdzie każda tymczasowa zmiana dostępnej mocy może wpłynąć na aktywną decyzję reklamową.
Zdolność inferencyjna Meta AI staje się zasobem do rankingu reklam
Meta przekształciła rozproszone, tymczasowe rezerwy mocy obliczeniowej we współdzielony zasób dla aktywnych rekomendacji reklamowych.
Floty obsługujące inferencję muszą utrzymywać wystarczającą moc, by obsłużyć szczytowe zapotrzebowanie przy jednoczesnym spełnianiu celów dotyczących opóźnień i niezawodności. Rzeczywiste zapotrzebowanie zmienia się w zależności od pory dnia, sezonu, regionu i konfiguracji sprzętowej. Pozostawia to lokalne obszary niewykorzystanej mocy, nawet gdy cała flota pozostaje ograniczona.
Meta wskazuje kilka przyczyn tej rozbieżności. Moc udostępniona na potrzeby szczytowego ruchu pozostaje niewykorzystana poza okresami największego obciążenia. Sprzęt może pojawić się, zanim gotowe będą modele, dla których był przeznaczony. Region może dysponować wolnymi akceleratorami, ale niewystarczającą obsługującą mocą CPU.
Różnorodność sprzętu dodatkowo komplikuje sytuację. Meta korzysta z akceleratorów różnych generacji i dostawców, a także z własnego wyspecjalizowanego krzemu. Obciążenie zaprojektowane dla jednej konfiguracji nie może automatycznie wykorzystać każdego dostępnego urządzenia. Zasoby mogą więc pozostawać niewykorzystane obok przeciążonej usługi.
System capacity system firmy Meta łączy użyteczne fragmenty w oportunistyczną pulę. „Oportunistyczna” oznacza, że zasoby te nie mają gwarancji trwałej dostępności i mogą zostać odzyskane przez ich pierwotnych właścicieli. Meta nie traktuje tej puli jako niezawodnej bazowej mocy.
Zamiast tego firma przydziela jej pracę, którą można rozszerzać lub ograniczać bez zmiany podstawowej obietnicy usługi. Ranking reklam spełnia ten warunek, ponieważ system już teraz zawęża miliony kandydatów w kilku etapach. Większa moc obliczeniowa może pogłębić to wyszukiwanie, a mniejsza przywrócić proces do normalnego poziomu działania.
Pula musi także wspierać trwałe zyski w szerokim zakresie dostępnej mocy. Obciążenie, które szybko osiąga sufit jakościowy, marnowałoby większe skoki dostępnych zasobów. Meta twierdzi, że rekomendacje reklam nadal zyskują, gdy system ocenia więcej kandydatów lub selektywnie stosuje silniejszy model.
Meta nie ujawniła wielkości puli, jej średniego wykorzystania ani przypisywanej jej wartości finansowej. Ogłoszenie przedstawia więc architekturę, a nie kompletny wynik ekonomiczny. Twierdzenia o wartości dla reklamodawców pozostają stanowiskiem Meta, dopóki firma nie opublikuje kontrolowanych pomiarów.
Mimo to zmiana operacyjna jest konkretna. Wolna moc ma teraz zdefiniowaną ścieżkę do inferencji związanej z przychodami. Dzięki temu tymczasowa rezerwa staje się częścią procesu decyzyjnego systemu reklamowego, a nie jedynie wskaźnikiem infrastruktury, który inżynierowie próbują ograniczać.
Dwa mechanizmy odpowiadają różnym rodzajom niewykorzystanej mocy
Główny wybór projektowy Meta nie polega po prostu na wykorzystaniu wolnych zasobów, lecz na dopasowaniu każdej kombinacji zasobów do odpowiedniej opcjonalnej pracy.
Pierwszym mechanizmem jest Rank More Ads, czyli RMA. Zwiększa on liczbę kandydatów ocenianych podczas rankingu, gdy dostępna jest wystarczająca moc. Większa liczba kandydatów daje systemowi kolejną szansę na znalezienie reklamy lepiej dopasowanej do użytkownika i bieżącego kontekstu.
Lejek rekomendacyjny Meta zaczyna się od milionów potencjalnych reklam i stopniowo je zawęża. Wczesne etapy pobierają i przetwarzają szeroki zestaw. Późniejsze etapy stosują bardziej wymagające obliczeniowo modele do mniejszej grupy, zanim system wybierze, co wyświetlić.
RMA poszerza części tego lejka. Dodatkowi kandydaci generują pracę w zakresie pobierania, przetwarzania cech i inferencji modelu. Oznacza to, że RMA zazwyczaj potrzebuje jednocześnie wolnych zasobów CPU i wolnej mocy akceleratorów.
Wymóg ten ogranicza miejsca, w których RMA może działać. Region z niewykorzystanymi akceleratorami, lecz nasyconymi procesorami CPU, nie może bezpiecznie rozszerzyć pełnej ścieżki rankingu. Zwiększenie liczby kandydatów przeniosłoby tam wąskie gardło na wcześniejszy etap i zagroziło opóźnieniom.
Drugi mechanizm, Serve Better Models, czyli SBM, rozwiązuje inny problem zasobowy. Utrzymuje stałą liczbę kandydatów, ale kieruje część kwalifikujących się żądań do modelu o większych możliwościach obliczeniowych. Pozwala to Meta wykorzystywać rezerwę akceleratorów bez generowania porównywalnej dodatkowej pracy CPU.
SBM nie ulepsza bez rozróżnienia każdego żądania. Router modeli wykorzystuje sygnały wartości żądania, aby zdecydować, które żądania mają odnieść największą korzyść. Meta grupuje żądania w segmenty, mierzy dodatkowy efekt silniejszego modelu i dostosowuje alokację poprzez eksplorację i eksploatację.
Eksploracja ma znaczenie, ponieważ żądanie o najwyższej wartości niekoniecznie zyskuje najwięcej dzięki dodatkowemu modelowaniu. Model bazowy może już dobrze obsługiwać jeden wartościowy segment. Inny segment, o niższym początkowym zaangażowaniu, może wykazać większą poprawę po ocenie przez silniejszy model.
Meta utrzymuje część ruchu eksploracyjnego we wszystkich segmentach, aby router nie utrwalił nieaktualnej decyzji. Pętla kalibracji utrzymuje również rzeczywisty ruch blisko pokrycia zamierzonego przez kontroler, gdy zmienia się miks regionalny.
Podejście to rozwija idee widoczne już w Adaptive Ranking Model firmy Meta. System ten kieruje żądania między modelami o różnych wymaganiach obliczeniowych, zamiast jednolicie stosować jeden model. System oportunistyczny dodaje niestabilną dostępność zasobów jako kolejne ograniczenie routingu.
Oba mechanizmy się uzupełniają, ponieważ wolne zasoby rzadko pojawiają się w zrównoważonych pakietach. RMA może wykorzystać łączne nadwyżki CPU i akceleratorów. SBM może pochłonąć rezerwę samych akceleratorów, której RMA nie jest w stanie bezpiecznie wykorzystać.
Meta okresowo porównuje zmierzoną wartość i wymagania zasobowe obu ścieżek. Kolejna dostępna jednostka mocy obliczeniowej może więc wspierać szersze wyszukiwanie kandydatów albo lepszy model predykcyjny. Decyzja zależy od ruchu, pokrycia przez modele i bieżącej mieszanki zasobów.
To centralny mechanizm systemu rekomendacji reklam Meta. Wolna moc obliczeniowa nie jest przydzielana do jednego stałego zadania. Platforma utrzymuje wiele form opcjonalnej pracy, a następnie rozszerza tę, która odpowiada dostępnym zasobom i oczekiwanemu zwrotowi.
Prawdziwym wyzwaniem jest oddanie mocy
System odnosi sukces tylko wtedy, gdy opcjonalna praca znika, zanim zaszkodzi usłudze będącej właścicielem zasobów.
Wolna moc z definicji jest tymczasowa. Wzrost ruchu w regionie, zaplanowane uruchomienie lub wdrożenie modelu może sprawić, że wcześniej wolne procesory znów staną się potrzebne. Meta musi zwrócić te zasoby, nie dopuszczając do tego, by dodatkowa praca rankingowa przeniknęła do bazowej alokacji.
SBM chroni ruch bazowy poprzez fizyczną separację. Model bazowy i silniejszy model korzystają z oddzielnych celów routingu. Dedykowane repliki pozostają dobrane pod zwykłe żądania, podczas gdy repliki oportunistyczne obsługują wybraną ścieżkę silniejszego modelu.
Gdy wolne akceleratory znikają, kontroler ogranicza pokrycie silniejszym modelem. Żądania usunięte z tej ścieżki wracają do modelu bazowego. Żądania te były już uwzględnione, gdy Meta udostępniała dedykowane repliki bazowe.
RMA w większym stopniu opiera się na izolacji logicznej. Jego repliki mogą otrzymywać mieszankę pracy bazowej i dodatkowej pracy rankingu kandydatów. Globalny budżet ogranicza dodatkową pracę do poziomu, który mogą obsłużyć repliki działające na oportunistycznych zasobach.
W miarę kurczenia się puli RMA zmniejsza docelową liczbę kandydatów. System usuwa szersze wyszukiwanie, zamiast przenosić tę pracę na dedykowaną moc bazową. Użytkownicy nadal otrzymują wybór reklamy, ale proces rankingu ocenia mniej opcjonalnych kandydatów.
Oba mechanizmy działają przez pętle sprzężenia zwrotnego. RMA wykorzystuje centralny kontroler proporcjonalno-całkująco-różniczkujący, powszechnie nazywany kontrolerem PID. Kontroler ten dostosowuje wyjście, porównując obserwowaną wydajność z celem i reagując na bieżący oraz skumulowany błąd.
Kontroler RMA Meta monitoruje opóźnienia skrajne i oblicza możliwy do utrzymania cel dotyczący liczby kandydatów. Klienci stosują ten cel do nowych żądań. Gdy opóźnienie pozostaje poniżej progu, liczba kandydatów może rosnąć. Gdy opóźnienie wzrasta, kontroler ją obniża.
SBM wykorzystuje porównywalną ścieżkę kontroli dla pokrycia silniejszym modelem. Jego kontroler wybiera docelowy udział, a routing po stronie klienta określa, które kwalifikujące się żądania trafiają na tę ścieżkę. Mechanizm kalibracji koryguje różnice między celem a rzeczywistym ruchem.
Sama centralna kontrola jest zbyt wolna w przypadku nagłego odebrania zasobów. Meta twierdzi, że pętle te działają w skali minut, podczas gdy pojemność może zniknąć, zanim zaktualizowane cele dotrą do każdego klienta. To opóźnienie tworzy najbardziej niebezpieczny okres dla usługi bazowej.
Platforma dodaje więc odrzucanie obciążenia po stronie serwera i klienta. Odrzucanie obciążenia oznacza celowe pomijanie opcjonalnej pracy, gdy system zbliża się do przeciążenia. Meta stosuje sygnały wartości, dzięki czemu jako pierwsza znika najmniej wartościowa dodatkowa praca.
Serwery reagują blisko wąskiego gardła. W przypadku RMA mogą przetwarzać mniej dodatkowych kandydatów w ramach pojedynczego żądania. Serwery SBM stosują równoważną politykę wobec żądań kierowanych do silniejszego modelu.
Klienci obserwują również kondycję serwerów, zamiast polegać wyłącznie na najnowszym celu centralnym. Przeciążony serwer skłania klientów RMA do żądania mniejszej liczby dodatkowych kandydatów. Klienci SBM kierują mniej żądań poza model bazowy.
Meta twierdzi, że te lokalne mechanizmy obronne reagują w ciągu kilku milisekund. Wypełniają one dłuższy okres, zanim centralne kontrolery obliczą nowe cele i rozprowadzą je po całej flocie.
Wielowarstwowa reakcja ma znaczenie, ponieważ systemy rozproszone rzadko współdzielą jeden idealnie aktualny obraz sytuacji. Centralny kontroler może optymalizować globalnie, ale reaguje wolno. Lokalny serwer natychmiast widzi presję, lecz nie może koordynować całej floty. Meta wykorzystuje obie skale czasowe, zamiast oczekiwać, że jeden mechanizm rozwiąże każdy tryb awarii.
Ten wzorzec rozwija również wcześniejsze prace Meta nad wykorzystaniem na krańcach rozkładu. Według Meta projekt ten zwiększył wydajność pracy o 35 procent bez dodatkowych zasobów. Zmniejszył także liczbę błędów przekroczenia limitu czasu o dwie trzecie i skrócił opóźnienie p99 o połowę.
Nowszy projekt zmienia cel. Ulepszenia wykorzystania zasobów miały zapewnić bardziej przewidywalne wyniki z istniejącej infrastruktury. Wnioskowanie oportunistyczne celowo wprowadza zmienną podaż, a następnie ogranicza wynikający z niej opcjonalny popyt.
Lepsze reklamy zależą od szerszego rankingu, a nie wyłącznie od większej mocy obliczeniowej
Dodatkowa moc obliczeniowa tworzy wartość tylko wtedy, gdy Meta przeznacza ją na decyzje, które istotnie poprawiają rekomendację reklamy.
RMA opiera się na znanej zasadzie wyszukiwania. System rankingowy nie może wybrać wartościowego kandydata, jeśli wcześniejsze etapy go odrzuciły. Ocena szerszego zbioru zwiększa szansę, że późniejsze modele zobaczą trafną reklamę, szczególnie gdy początkowe wyniki wyszukiwania nie są idealne.
Większa liczba kandydatów nie gwarantuje jednak proporcjonalnie lepszych rezultatów. W miarę rozszerzania lejka dodatkowe pozycje stają się mniej obiecujące. Każde rozszerzenie zużywa też czas CPU na wyszukiwanie i przetwarzanie cech, zanim rozpocznie się wnioskowanie na akceleratorach.
Meta musi więc znaleźć zmienny punkt, w którym oczekiwana korzyść z kolejnego kandydata przewyższa koszt zasobowy. Punkt ten zmienia się zależnie od użytkownika, dostępnych reklam, infrastruktury regionalnej i aktualnie wdrożonych modeli.
SBM mierzy się z pokrewnym problemem. Silniejszy model zużywa więcej zasobów akceleratorów, ale jego dodatkowa korzyść różni się między żądaniami. Kierowanie przez niego każdego żądania zamieniłoby opcjonalną pojemność w stałe wymaganie.
Router próbuje więc zachować kosztowne wnioskowanie dla przypadków, w których zmienia ono predykcje. To sprawia, że strategia doboru modeli przez Meta jest równie istotna jak sam większy model. Słabe routowanie mogłoby zużywać rzadkie akceleratory na żądania, w których decyzja bazowa pozostałaby bez zmian.
Meta zastosowała podobną elastyczność w swoim silniku wyszukiwania Andromeda. Firma podała, że elastyczność modeli, połączona z hierarchiczną siecią neuronową, zwiększyła wydajność wnioskowania dziesięciokrotnie. Poinformowała również o ponad trzykrotnym wzroście kompleksowej przepustowości wnioskowania.
Liczby te dotyczą Andromedy, a nie nowo ogłoszonej puli oportunistycznej. Nie należy traktować ich jako pomiarów wydajności RMA ani SBM. Meta nie opublikowała porównywalnej poprawy dla nowego systemu.
To pominięcie ma znaczenie, ponieważ wykorzystanie mocy obliczeniowej i wartość reklamowa to różne miary. Procesor może wykonywać więcej pracy bez tworzenia lepszych rekomendacji. Rekomendacja może poprawić wynik offline bez zwiększania efektów dla reklamodawców lub satysfakcji użytkowników.
Alokacja uwzględniająca wartość próbuje połączyć te warstwy. RMA pyta, czy szersze wyszukiwanie ujawnia lepszego kandydata. SBM pyta, czy dodatkowa złożoność modelu poprawia predykcję dla konkretnego segmentu. Proces alokacji porównuje następnie ich krańcowe zwroty.
Tworzy to problem sprzężenia zwrotnego wykraczający poza kondycję infrastruktury. Meta potrzebuje stabilnych eksperymentów, które oszacują, co wydarzyłoby się bez dodatkowej pracy. Skład ruchu, warunki aukcji, zmiany w kampaniach i zachowania sezonowe mogą wpływać na obserwowany wynik.
Eksploracja pomaga utrzymywać te oszacowania aktualne. Zachowując ruch w różnych segmentach, system nadal sprawdza, gdzie silniejszy model pomaga. Bez eksploracji początkowe decyzje routowania mogłyby pozbawić niektóre segmenty danych i same się wzmacniać.
Ta sama logika powinna ostatecznie decydować o wyborze między RMA a SBM. Meta twierdzi, że rozwija system optymalizacji, który automatycznie rozdzieli zasoby między mechanizmy elastyczności. Celem jest maksymalizacja korzyści dla użytkowników i reklamodawców w granicach ograniczeń regionalnych, sprzętowych i dotyczących trwałości zasobów.
Przyszły kontroler przekształciłby pulę oportunistyczną w wewnętrzny rynek wnioskowania. Różne obciążenia konkurowałyby o kolejną dostępną jednostkę na podstawie zmierzonej wartości krańcowej. Trudność polega na porównywaniu korzyści powstających za pośrednictwem różnych mechanizmów i w różnych horyzontach czasowych.
Szersze wyszukiwanie kandydatów może natychmiast poprawić odkrywanie. Lepszy model może doprecyzować szacunki konwersji lub decyzje aukcyjne. Wstępnie obliczone cechy mogą tworzyć wartość później, poza ścieżką obsługi bieżącego żądania. Jeden wynik musi uczynić te zwroty porównywalnymi, nie ukrywając ryzyka operacyjnego.
Czego twierdzenia Meta nadal nie pokazują
Meta wyjaśnia, jak chroni usługę bazową, ale nie dostarcza wystarczających danych, by ocenić całkowity wpływ systemu na działalność biznesową.
Ogłoszenie mówi o „znaczącej wartości dla reklamodawców”, nie publikując procentowego wyniku, czasu trwania eksperymentu ani przedziału ufności. Pomija również średnią ilość przechwyconej niewykorzystanej pojemności. Czytelnicy nie mogą obliczyć wzrostu wykorzystania systemu ani zwrotu na podstawie ujawnionych informacji.
Meta nie wskazuje, które platformy, regiony ani segmenty reklamodawców otrzymują rozszerzoną ścieżkę rankingu. Firma nie ujawnia także, jak często odzyskiwana jest pojemność oportunistyczna ani jak często aktywuje się lokalne ograniczanie obciążenia.
Brak tych szczegółów nie podważa architektury. Ogłoszenia inżynieryjne często skupiają się na mechanizmach, a nie na raportowaniu komercyjnym. Ograniczają jednak porównania z innymi systemami rekomendacyjnymi i uniemożliwiają niezależną weryfikację twierdzeń Meta dotyczących wartości.
Ochrona warstwy bazowej również wymaga ostrożnej interpretacji. Meta twierdzi, że izolacja fizyczna i logiczna zapobiega pogorszeniu zwykłych opóźnień i niezawodności przez opcjonalną pracę. Projekt jest wiarygodny, ale wpis nie publikuje rozkładów opóźnień przed i po wdrożeniu.
Milisekundowa lokalna reakcja nie eliminuje każdego ryzyka związanego z przejściem między stanami. Nagły wzrost obciążenia regionalnego może inaczej wpływać na CPU, akceleratory, sieć i usługi zależne. Jeden zasób może stać się ograniczeniem, podczas gdy inny pozostaje dostępny, pozostawiając kontrolerom zadanie zidentyfikowania rzeczywistego wąskiego gardła.
Izolacja logiczna jest szczególnie wrażliwa na dokładność rozliczeń. RMA łączy pracę bazową i opcjonalną na części replik. Jego globalny budżet musi odzwierciedlać, ile dodatkowej pracy repliki oportunistyczne mogą faktycznie obsłużyć przy zmieniających się warunkach ruchu.
Ograniczanie obciążenia uwzględniające wartość rodzi kolejne pytanie. Sygnał wartości żądania określa, która opcjonalna praca przetrwa presję. Meta opisuje proces adaptacyjny, lecz nie ujawnia cech, testów uczciwości ani zabezpieczeń związanych z tym sygnałem.
System zoptymalizowany pod kątem przewidywanego zaangażowania może faworyzować żądania o łatwo mierzalnych reakcjach. Nie oznacza to automatycznie, że użytkownicy zobaczą bardziej użyteczne reklamy. Zaangażowanie, konwersja, zwrot reklamodawcy i długoterminowe doświadczenie użytkownika są powiązanymi, lecz odrębnymi celami.
Sam silniejszy model również pozostaje w dużej mierze niesprecyzowany w ogłoszeniu. Meta nie podaje jego wielkości, kosztu obliczeniowego ani poprawy względem modelu bazowego. Czytelnicy nie mogą ustalić, jakiej nadwyżki akceleratorów potrzebuje SBM, zanim routowanie stanie się opłacalne.
Konkurencja dokłada kolejną presję. Duże platformy reklamowe inwestują w wyszukiwanie, ranking, zautomatyzowaną kreację i własną infrastrukturę wnioskowania. Przewaga Meta będzie zależeć od tego, jak szybko potrafi połączyć te komponenty, a nie wyłącznie od posiadania wolnych akceleratorów.
Doświadczenia Google z automatycznym skalowaniem obciążeń pokazują szerszą szansę. Badanie Autopilot wykazało 23-procentowy zapas zasobów dla automatycznie zarządzanych zadań, wobec 46 procent dla zadań zarządzanych ręcznie. Ograniczyło także poważne skutki braku pamięci dziesięciokrotnie.
Autopilot zajmował się konfiguracją zasobów między zadaniami, podczas gdy system Meta kontroluje opcjonalną pracę wewnątrz ścieżki rekomendacyjnej. Porównanie nadal pokazuje, dlaczego zautomatyzowana elastyczność ma znaczenie. Duże floty mogą odzyskiwać znaczną pojemność, ale tylko wtedy, gdy mechanizmy bezpieczeństwa zachęcają zespoły produkcyjne do zaufania automatyzacji.
System Meta musi zdobyć takie samo wewnętrzne zaufanie. Zespoły reklamowe potrzebują pewności, że pożyczona pojemność zniknie bezproblemowo. Właściciele infrastruktury potrzebują pewności, że współdzielenie niewykorzystanych zasobów nie osłabi ich własnej usługi podczas skoków popytu.
Ogłoszenie przedstawia architekturę takiego zaufania, a nie ostateczny dowód. Jego warstwy izolacji, sprzężenia zwrotnego i ograniczania obciążenia definiują, jak system powinien działać. Pomiary produkcyjne muszą pokazać, jak konsekwentnie te mechanizmy ochronne działają na różnych typach sprzętu, w regionach i cyklach ruchu.
Trzy sygnały pokażą, czy strategia można skalować
Kolejny etap nie polega wyłącznie na znajdowaniu większej ilości niewykorzystanej mocy obliczeniowej; chodzi o udowodnienie, że Meta może automatycznie i rentownie alokować zmienną pojemność.
Pierwszym sygnałem będzie skwantyfikowany wynik produkcyjny. Meta powinna ujawnić udział odzyskanej pojemności, częstotliwość wywłaszczeń oraz zmierzoną poprawę wyników reklamodawców. Kontrolowany wynik wzmocniłby argument, że pojemność wnioskowania AI Meta zapewnia coś więcej niż wyższe wykorzystanie procesorów.
Użyteczne ujawnienie danych rozdzielałoby RMA i SBM. To rozróżnienie pokazałoby, czy lepszy krańcowy zwrot zapewnia szersza ocena kandydatów, czy routowanie do silniejszego modelu. Ujawniłoby też, jak często flota równoważyła zapas mocy CPU i akceleratorów.
Drugim sygnałem jest szersza elastyczność obciążeń. Meta twierdzi, że planuje zwiększać liczbę kandydatów, wykorzystywać bardziej zaawansowane modele i rozwijać elastyczność wstępnych obliczeń. Wstępne obliczenia wykonują pracę przed bieżącym żądaniem, zmniejszając zależność od miejsca i czasu nadejścia ruchu.
Wstępne obliczenia mogłyby wykorzystać pojemność zbyt odległą lub niestabilną dla synchronicznego rankingu. Tworzą jednak również nowe problemy z poprawnością, ponieważ zapisane wyniki mogą się zestarzeć. Meta będzie potrzebować zasad wygasania i szacunków wartości uwzględniających moment faktycznego wykorzystania wstępnie obliczonego wyniku.
Przenośność modeli będzie częścią tego samego sygnału. Wolny sprzęt ma niewielką wartość, gdy nie można na nim uruchomić kompatybilnych modeli. Meta pracuje nad obsługą różnych regionów i typów akceleratorów, aby więcej fragmentów mogło wejść do użytecznej puli.
Szerszy zakres sprzętu potwierdziłby, że platforma potrafi zamieniać heterogeniczność w elastyczność. Niepowodzenie w rozszerzeniu tego zakresu pozostawiłoby dużą część teoretycznej puli niedostępną z powodu formatów modeli, limitów pamięci lub braku zasobów wspierających.
Trzecim sygnałem jest automatyczny alokator, który Meta, jak twierdzi, buduje. Obecnie firma okresowo dostosowuje pojemność między RMA i SBM zgodnie ze zmierzoną wydajnością i potrzebami zasobowymi. Optymalizator produkcyjny podejmowałby tę decyzję nieustannie, z uwzględnieniem większej liczby mechanizmów.
Optymalizator musi uwzględniać oczekiwaną korzyść, kompatybilność sprzętową, ograniczenia regionalne i trwałość dostępnej pojemności. Krótkie okresy dostępności mogą nadawać się do natychmiastowego rozszerzenia liczby kandydatów. Dłuższe okna mogą uzasadniać załadowanie większego modelu lub wykonanie obliczeń z wyprzedzeniem.
Wiarygodny alokator powinien też ujawniać granice swoich awarii. Inżynierowie muszą wiedzieć, kiedy system przechodzi w tryb awaryjny, jak radzi sobie z niepewnymi szacunkami wartości oraz co zapobiega monopolizowaniu każdego wolnego akceleratora przez jedno wysoko oceniane obciążenie.
Sukces zapewniłby Meta wzorzec możliwy do ponownego wykorzystania w innych produktach wnioskowania. Kanały rekomendacji, systemy integralności i funkcje generatywne również zawierają opcjonalną pracę o różnych wymaganiach dotyczących opóźnień. Firma nie ogłosiła takich wdrożeń, więc pozostają one możliwościami, a nie obecnymi zdolnościami.
Wniosek strategiczny jest już widoczny. Konkurencja w infrastrukturze AI nie jest wyłącznie rywalizacją o pozyskanie większej liczby chipów. Jest także rywalizacją o wydobycie większej liczby użytecznych decyzji ze sprzętu, który został już zainstalowany.
Podejście Meta przekształca planowanie pojemności w bieżącą zmienną produktu. Głębokość rankingu i siła modelu zmieniają się teraz wraz z dostępnymi zasobami floty. Usługa bazowa pozostaje stałym zobowiązaniem, podczas gdy jakość rekomendacji staje się elastyczna powyżej tego poziomu.
Kolejne pytanie jest mierzalne: czy Meta opublikuje dowody, że te tymczasowe usprawnienia przynoszą trwałą wartość reklamodawcom i użytkownikom? Warto obserwować odrębne wyniki RMA i SBM, szersze wsparcie sprzętowe oraz produkcyjny alokator zdolny uzasadnić każdą pożyczoną jednostkę mocy obliczeniowej.
