Pokrycie benchmarków Mercor AI pozostawia 90% godzin pracy w USA w ciemności

Według nowej mapy gospodarczej firmy Mercor, pokrycie benchmarków Mercor AI pozostawia około 90% amerykańskich godzin pracy z niewielką lub żadną istotną reprezentacją. Ustalenie to podważa kluczowe założenie stojące za wieloma twierdzeniami dotyczącymi sztucznej inteligencji i zatrudnienia. Wyniki modeli mogą wyglądać imponująco, a jednocześnie mówić zaskakująco niewiele o większości pracy wykonywanej w całym kraju.

Mercor zestawił 29 benchmarków agentowych z 18 797 zadaniami obejmującymi 923 zawody na amerykańskim rynku pracy. Jedynie 924 zadania spełniły próg pokrycia. Zaledwie 208 zawodów miało przynajmniej jedno zadanie reprezentowane przez pięć lub więcej promptów benchmarkowych.

Ta luka nie dowodzi, że AI nie potrafi wykonać pozostałej pracy. Pokazuje, że badacze nie zmierzyli jeszcze odpowiednio, czy jest w stanie to zrobić. To rozróżnienie ma znaczenie dla pracodawców podejmujących decyzje o automatyzacji, pracowników oceniających ryzyko zawodowe oraz decydentów prognozujących zakłócenia na rynku pracy.

Reakcja w internecie szybko uchwyciła ten spór. Niektórzy czytelnicy uznali mapę za dowód, że gospodarczy zasięg AI pozostaje wąski. Inni argumentowali, że brakujące benchmarki ujawniają zaległości w pomiarach, a nie ograniczenie możliwości.

Prawdziwa rywalizacja nie toczy się więc między AI a ludzką pracą. Chodzi o pewność wynikającą z benchmarków kontra chaotyczną rzeczywistość pracy. Mapa Mercor sugeruje, że dowody wspierające prognozy automatyzacji w całej gospodarce są znacznie skromniejsze, niż wskazuje wiele pewnych siebie przewidywań.

Pokrycie benchmarków Mercor AI mierzy test, a nie granice AI

Główna liczba opisuje lukę pomiarową, a nie odsetek pracy, której AI nie potrafi wykonać.

Mercor stworzył to, co nazywa Mapą Benchmarków gospodarki USA. Projekt łączy prompty z 29 ewaluacji AI z opisami zadań w klasyfikacji zawodów Departamentu Pracy.

Ewaluacje te kładą nacisk na zadania agentowe. Zadanie agentowe wymaga od modelu ukończenia konkretnego rezultatu lub procesu roboczego, zamiast udzielenia odpowiedzi na pytanie faktograficzne. Przykłady obejmują edycję arkusza kalkulacyjnego, rozwiązanie problemu z oprogramowaniem lub przygotowanie profesjonalnej analizy.

Mapa benchmarków podaje, że 924 z 18 797 zadań zawodowych ma wystarczającą reprezentację. Mercor uznaje zadanie za objęte pokryciem, gdy sędzia AI powiąże je z co najmniej pięcioma promptami z wybranych benchmarków.

Ta zasada prowadzi do wyraźnego rezultatu. Tylko 208 z 923 zawodów obejmuje choć jedno zadanie przekraczające próg pięciu promptów. Sześć z 22 grup zawodowych nie zawiera żadnego kwalifikującego się zawodu.

Pokrycie znacząco różni się też między dziedzinami. W zawodach informatycznych i matematycznych reprezentowanych jest 29 z 36 zawodów. W obszarze biznesu i operacji finansowych jest to 33 z 48, a w zawodach prawniczych pięć z siedmiu.

Inne części gospodarki pozostają znacznie słabiej pokryte. Wśród pracowników ochrony zdrowia reprezentowanych jest 12 z 89 zawodów. Edukacja i praca w bibliotekach obejmują dziewięć z 62 zawodów, a architektura i inżynieria — 19 z 56.

Tych danych nie należy interpretować jako wyników wydajności modeli. Zawód może być objęty pokryciem, nawet gdy oceniane modele radzą sobie słabo. Z kolei zadanie może wyglądać na nieobjęte, choć system komercyjny już wspiera ludzi przy jego wykonywaniu.

Pokrycie wskazuje raczej, czy uwzględniony benchmark oferuje wystarczającą liczbę promptów, aby przeprowadzić ograniczoną ocenę. Jest to spis dostępnych testów, a nie spis wszystkiego, co potrafi obecna AI.

To rozróżnienie odpowiada na jedną z krytycznych uwag podniesionych w publicznej dyskusji. Automatyzacja restauracji, zamawianie głosowe czy robotyka magazynowa mogą istnieć, nie pojawiając się w wybranym przez Mercor zbiorze benchmarków. Ich brak nie unieważnia wdrożonych systemów.

Ta sama ostrożność działa w przeciwną stronę. Model, który zalicza prompty związane z jednym zadaniem, nie dowodzi, że może zastąpić odpowiadającego za nie pracownika. Zawody łączą osąd, koordynację, działania fizyczne, obsługę wyjątków i odpowiedzialność instytucjonalną.

Benchmark prawniczy może oceniać sporządzanie umów, ale pomijać doradztwo dla klientów, negocjacje, nadzór czy pracę na sali sądowej. Pomiar jednego widocznego rezultatu nie oddaje pełnego zestawu usług, za który pracodawcy płacą, zatrudniając prawnika.

Mercor wyraźnie przedstawia swoją początkową listę jako tymczasową. Firma twierdzi, że mapa będzie rozszerzana wraz z dostępnością kolejnych ewaluacji istotnych gospodarczo. Ograniczenie to czyni wynik mniej rozstrzygającym, ale jednocześnie wzmacnia główne ustalenie.

Nawet po latach szybkiego powstawania benchmarków ekosystem ewaluacji nadal obserwuje jedynie wąski wycinek gospodarki. Twierdzenia o szerokim zastępowaniu pracy ludzkiej wykraczają więc daleko poza dostępne testy.

Dlaczego ewaluacje AI skupiają się na wartościowej pracy cyfrowej

Benchmarki koncentrują się tam, gdzie praca jest cyfrowa, kosztowna, powtarzalna i stosunkowo łatwa do oceny.

Ślepe plamki mapy nie są rozmieszczone losowo. Mercor ustalił, że zadania sklasyfikowane jako podatne na wpływ modeli językowych pojawiały się w jego zbiorze benchmarków około sześć razy częściej.

Ten wzorzec jest zrozumiały. Badacze chcą ewaluacji, które mogą ujawniać różnice między zaawansowanymi modelami. Cyfrowa praca oparta na wiedzy oferuje dostępne dane wejściowe, odtwarzalne środowiska i wyniki, które może sprawdzić oprogramowanie lub eksperci.

Inżynieria oprogramowania stała się wczesnym celem, ponieważ program często można przetestować automatycznie. Kod albo się kompiluje, przechodzi testy, albo tworzy określony wynik. Te pętle informacji zwrotnej ułatwiają ewaluację i ulepszanie modeli.

Analiza finansowa również tworzy znane artefakty cyfrowe. Benchmark może dostarczyć dokumenty źródłowe, określić założenia i zażądać arkusza kalkulacyjnego lub prezentacji. Recenzenci mogą następnie porównać obliczenia, strukturę i wnioski.

Praca fizyczna i interpersonalna stwarza trudniejsze problemy pomiarowe. Prompt nie może w pełni odtworzyć zatłoczonej klasy, nieprzewidywalnego miejsca prac konserwacyjnych ani delikatnej rozmowy z rodziną.

Oficjalna baza danych O*NET pomaga badaczom opisywać taką pracę, ale jej opisy zadań nie są środowiskami benchmarkowymi. Wskazują obowiązki, nie tworząc automatycznie realistycznych danych wejściowych, narzędzi, ograniczeń ani zasad oceniania.

Analiza Mercor wykazuje również, że zadania z zawodów o większej łącznej masie wynagrodzeń otrzymują większe pokrycie. Ta zależność utrzymuje się po uwzględnieniu szacowanej ekspozycji na AI.

Taka zachęta jest ekonomicznie racjonalna. Automatyzacja części kosztownego zawodu oferuje wyraźniejszy potencjalny zwrot niż stworzenie ewaluacji dla mniejszego rynku pracy. Klienci mają też silniejsze powody, by finansować testy powiązane z wysokim wynagrodzeniem.

Znaczenie zadania tworzy kolejny efekt selekcji. W obrębie zawodu zadania oceniane jako najważniejsze miały około sześć do dziesięciu razy większą szansę na objęcie benchmarkiem niż zadania najmniej istotne.

Priorytetowe traktowanie ważnej pracy brzmi rozsądnie. Jednak zawód często zależy od wielu drobnych czynności, które umożliwiają realizację jego głównych rezultatów. Obejmują one zbieranie kontekstu, potwierdzanie wymagań, koordynowanie zatwierdzeń, wykrywanie wyjątków i naprawianie nieporozumień.

Benchmark może uchwycić dokument pojawiający się na końcu procesu. Rzadko obejmuje jednak pracę organizacyjną, która decyduje o tym, czy dokument jest poprawny, terminowy, wiarygodny i użyteczny.

Przypomina to problem odźwiernego poruszony podczas dyskusji na Hacker News. Otwieranie drzwi wydaje się głównym zadaniem, dopóki automatyzacja nie ujawni, że pracownik zapewniał również wskazówki, świadomość bezpieczeństwa i nieformalną pomoc.

Praca oparta na wiedzy obejmuje podobne ukryte funkcje. Menedżer produktu nie tylko pisze dokument wymagań. Rola obejmuje godzenie sprzecznych oczekiwań, pamiętanie wcześniejszych decyzji, zauważanie brakujących dowodów i uzyskiwanie zaangażowania.

AI może przyspieszać tworzenie widocznego artefaktu, pozostawiając te otaczające ograniczenia bez zmian. W niektórych przypadkach szybsze generowanie tworzy dodatkową pracę weryfikacyjną, ponieważ zespoły muszą sprawdzać większą liczbę wiarygodnie wyglądających wyników.

Dlatego osobista lub zespołowa baza wiedzy może mieć większe znaczenie niż kolejne odizolowane narzędzie do generowania. Wąskim gardłem często jest odzyskiwanie kontekstu i weryfikacja decyzji, a nie tworzenie kolejnego szkicu.

Koncentracja benchmarków odzwierciedla więc zarówno wykonalność techniczną, jak i zachęty rynkowe. Pokazuje, gdzie twórcy ewaluacji mogą dziś tworzyć wiarygodne testy, a nie gdzie transformacja gospodarcza musi zatrzymać się jutro.

Ustalenie o 90% wynika z kilku warstw szacowania

Wynik Mercor łączy oficjalne dane o pracy z mapowaniami generowanymi przez modele, dlatego każda warstwa wnosi użyteczną strukturę i dodatkową niepewność.

Projekt rozpoczyna się od O*NET, federalnej bazy danych opisującej zawody, cechy pracowników i zadania zawodowe. Mercor wykorzystuje 923 zawody i 18 797 powiązanych z nimi opisów zadań.

Następnie badacze łączą prompty benchmarkowe z tymi zadaniami. Mercor twierdzi, że sędzia LLM może przypisać jeden prompt do kilku zadań zawodowych, gdy działania się pokrywają.

Firma zweryfikowała ten proces względem etykiet nadanych przez ekspertów dla własnych benchmarków APEX. Walidacja ta dotyczy jednak podzbioru 29 ewaluacji, a niekoniecznie każdego uwzględnionego promptu.

Mercor definiuje pokrycie na poziomie pięciu zmapowanych promptów. Próg ten pozwala uniknąć uznania jednego przykładu za wystarczającą reprezentację, lecz pięć pozycji nadal daje ograniczone dowody w przypadku złożonego zadania.

Jeden z uczestników dyskusji zwrócił uwagę na ten problem, używając przykładu pracy socjalnej. Trzynaście promptów może technicznie obejmować obowiązek doradczy, lecz nie mogą one reprezentować każdego klienta, ograniczenia prawnego, dynamiki emocjonalnej ani niekorzystnego wyniku.

Szacunek 90% wymaga kolejnego kroku. O*NET rejestruje znaczenie i częstotliwość zadań, ale nie zapewnia bezpośrednio pełnego podziału godzin każdego pracownika między wszystkie zadania.

Mercor wykorzystuje więc badania szacujące udział czasu pracy na poziomie zadań za pomocą modeli językowych. Łączy te udziały z danymi o zatrudnieniu i wynagrodzeniach, aby przybliżyć rozkład amerykańskich godzin pracy.

Łączne fundusze płac dla zawodów obliczane są na podstawie szacowanego zatrudnienia i średnich wynagrodzeń. Model zakłada 40-godzinny tydzień pracy przy przeliczaniu tych wartości na miary pracy.

Tworzy to spójną mapę gospodarczą, ale nie bezpośrednie krajowe badanie wykorzystania czasu. Ostateczny odsetek zależy od definicji zadań, szacowanych udziałów czasu, wyboru benchmarków, mapowania promptów oraz zasady pięciu promptów.

Mercor przyznaje, że istnieje kilka ograniczeń. Jego lista jest niekompletna, a wszelkie brakujące benchmarki obniżą pozorne pokrycie. Firma ograniczyła również reprezentację silnie badanych rodzin zawodów, aby inżynieria oprogramowania nie zdominowała zbioru.

Ta decyzja poprawia szerokość zakresu, jednocześnie zmniejszając mierzoną głębokość w popularnych kategoriach. Wykluczanie nasyconych benchmarków może również ukrywać zadania, które modele już wykonują dobrze.

Uwzględnienie tych benchmarków stworzyłoby inny problem. Łatwe lub nierealistyczne ewaluacje mogłyby zawyżać pozorne pokrycie gospodarcze, nie dostarczając użytecznych dowodów dotyczących wdrożenia.

Kryteria selekcji również wprowadzają element oceny. „Realizm ekonomiczny” brzmi obiektywnie, ale badacze wciąż muszą decydować, czy prompt przypomina pracę wykonywaną wewnątrz przedsiębiorstwa.

Liczbę 90% należy zatem traktować jako szacunek wygenerowany przez jasno określoną metodologię. Nie jest to wynik spisu powszechnego ani stała właściwość gospodarki.

Jednak te niepewności nie czynią projektu bez znaczenia. Nawet istotna rewizja pozostawiłaby krajobraz ewaluacji nierównomierny. Przejście z 10% pokrycia do 15% lub 20% nie zapewniłoby widoczności w skali całej gospodarki.

Uzasadniony wniosek jest węższy, ale ma większe konsekwencje. Obecne benchmarki agentowe nie pozwalają na pewne osądy dotyczące większości czasu pracy w USA.

Ten wniosek powinien zmienić sposób interpretowania wzrostów wyników w rankingach. Rosnący wynik może dowodzić postępu w testowanej dziedzinie, pozostawiając tysiące innych zadań bez analizy.

Lepsze benchmarki rzeczywistego świata nadal nie obejmują całej pracy

Nowe ewaluacje stają się bardziej realistyczne, lecz realizm w obrębie wybranych zawodów nie jest tym samym co reprezentatywne pokrycie gospodarki.

Obszar benchmarków już wykroczył poza pytania sprawdzające wiedzę ogólną i egzaminy akademickie. Nowsze testy wymagają od modeli tworzenia raportów, obsługi oprogramowania, analizowania profesjonalnych materiałów i realizacji wieloetapowych zadań.

Ewaluacja GDPval firmy OpenAI ilustruje tę zmianę. Obejmuje 44 zawody z dziewięciu branż i prosi modele o tworzenie rezultatów pracy ocenianych względem profesjonalnych wyników.

Pełny zbiór GDPval zawiera 1 320 zadań. OpenAI wybrało zawody z sektorów istotnych gospodarczo, koncentrując się na pracy umysłowej związanej z dużymi pulami wynagrodzeń.

To podejście oferuje większą istotność ekonomiczną niż mierzenie pojedynczych pytań dotyczących rozumowania. Dzieli też koncentrację wskazaną przez Mercor. Pierwsza wersja faworyzuje wartościową pracę, którą można wyrazić cyfrowo.

Testy oprogramowania pokazują ten sam wzorzec na węższym poziomie. Mogą mierzyć, czy agent naprawia problem w repozytorium, ale wynik nie obejmuje wszystkich obowiązków pracującego inżyniera.

Inżynierowie badają niejednoznaczne incydenty, negocjują dług technologiczny, przeglądają zmiany, wspierają współpracowników i podejmują decyzje przy niepełnych informacjach. Duża część tej pracy zależy od zgromadzonego kontekstu organizacyjnego.

Badania METR dotyczące horyzontów czasowych dodają kolejną użyteczną miarę. Szacują czas trwania zadania, przy którym agent ma określone prawdopodobieństwo powodzenia.

METR ostrzega również, że wyników tych nie należy interpretować jako równoważnych zwykłym godzinom zatrudnienia. Zadania ewaluacyjne zazwyczaj zawierają informacje potrzebne do rozpoczęcia pracy, podczas gdy pracownicy korzystają z wcześniejszych rozmów i wiedzy ukrytej.

Ta różnica jest kluczowa dla historii Mercor. Benchmarki izolują pracę, aby badacze mogli ją ocenić. Rzeczywiste organizacje integrują pracę między ludźmi, systemami, historią i zmieniającymi się priorytetami.

Model może ukończyć dobrze sprecyzowane zadanie, a mimo to zawieść, gdy wymagania pozostają domyślne. Może wygenerować wiarygodny arkusz kalkulacyjny, pomijając zasadę biznesową znaną wyłącznie doświadczonemu analitykowi.

Wdrożenie wiąże się z kosztami, które wyniki benchmarków często pomijają. Pracownicy muszą przygotować dane wejściowe, przyznać dostęp do systemów, przeglądać wyniki, obsługiwać awarie, dokumentować odpowiedzialność i decydować, kiedy potrzebna jest eskalacja do człowieka.

Wynik modelu może też zmieniać dalszą pracę. Szybsze generowanie kodu zwiększa ilość materiału trafiającego do przeglądu i testów. Szybsze generowanie treści tworzy więcej materiału wymagającego weryfikacji faktów i zatwierdzenia.

To jeden z powodów, dla których mierzone zyski nie zawsze bezpośrednio przekładają się na produktywność organizacji. Automatyzacja jednego etapu przenosi uwagę na najwolniejsze pozostałe ograniczenie.

Zadania fizyczne jeszcze bardziej powiększają tę lukę. Badanie dotyczące szacunku pracy zdalnej wykazało, że 37% miejsc pracy w USA można wykonywać w całości z domu. Pozostałe zawody obejmują elementy fizyczne, które konwencjonalnym benchmarkom modeli językowych trudno odtworzyć.

Robotyka może ostatecznie ułatwić ocenę tych działań. Jednak benchmark pracy fizycznej musi reprezentować percepcję, manipulację, bezpieczeństwo, zmienność środowiska i odzyskiwanie sprawności po nieoczekiwanych sytuacjach.

Sukces w symulacji nie dowodzi automatycznie bezpiecznego działania w szpitalu, fabryce, kuchni czy na drodze publicznej. Koszt porażki może też znacznie różnić się od błędnej odpowiedzi w cyfrowym środowisku testowym.

Droga naprzód jest zatem szersza niż dodawanie kolejnych promptów. Projektanci benchmarków potrzebują bogatszych środowisk, dłuższych przepływów pracy, miar współpracy z ludźmi i wyraźniejszych powiązań między realizacją zadań a wartością ekonomiczną.

Co mapa zmienia dla pracodawców i pracowników

Mapa osłabia pewne prognozy automatyzacji, a jednocześnie wzmacnia argument za węższą, specyficzną dla przepływu pracy ewaluacją.

Pracodawca nie powinien zaczynać od zbiorczej pozycji modelu granicznego w rankingu. Użyteczne pytanie brzmi: czy dany model wykonuje rzeczywiste zadania organizacji w realistycznych warunkach?

Taka ocena zaczyna się od rozłożenia przepływów pracy na części. Zespoły muszą zidentyfikować dane wejściowe, narzędzia, zależności, wymagania dotyczące zatwierdzania, typowe wyjątki oraz konsekwencje nieprawidłowego wyniku.

Na przykład osoba przetwarzająca roszczenia może analizować dokumenty przypominające dane wejściowe benchmarku. Rzeczywisty przepływ pracy obejmuje również brakujące dokumenty, warianty polis, terminy regulacyjne, sygnały oszustwa, komunikację z klientem i eskalację.

Wynik w jednym czystym zadaniu niewiele mówi o niezawodności systemu w całym tym łańcuchu. Pracodawca musi testować każde istotne przejście, zwłaszcza tam, gdzie błędy stają się kosztowne lub nieodwracalne.

Dane Mercor przemawiają również przeciw traktowaniu zawodów jako niepodzielnych jednostek. Wdrożenie AI zazwyczaj zmienia skład zadań, zanim wyeliminuje całe stanowisko.

Pracownik może poświęcać mniej czasu na tworzenie pierwszej wersji dokumentu, a więcej na weryfikowanie dowodów. Inna rola może przesunąć się w stronę komunikacji z klientem, obsługi wyjątków lub koordynacji między zautomatyzowanymi systemami.

Taka redystrybucja nadal może wpływać na zatrudnienie. Jeśli jedna osoba wykonuje więcej pracy, organizacja może ograniczyć rekrutację lub przenieść pracowników do innych zadań. Efekt zależy jednak od popytu, ograniczeń procesowych i kosztu nadzoru.

Pracownicy powinni stosować to samo myślenie na poziomie zadań do ryzyka zawodowego. Zawód o intensywnym pokryciu benchmarkami nie znika automatycznie. Staje się natomiast obszarem szybszych eksperymentów, ponieważ dostawcy mogą mierzyć i rozwijać istotne możliwości.

Programiści, analitycy finansowi i prawnicy znajdują się w tej intensywnie obserwowanej strefie. Ich praca tworzy cyfrowe artefakty, przyciąga inwestycje w benchmarki i zapewnia informacje zwrotne wspierające szybkie iteracje.

Zawody słabiej objęte testami nie są trwale chronione. Ich bezpośrednia niepewność jest po prostu większa. Niedobór benchmarków uniemożliwia stanowcze wnioski w obu kierunkach.

Mapa kwestionuje również powszechną interpretację niskiego pokrycia. Brak testów nie dowodzi, że zadanie jest wyjątkowo ludzkie. Może wskazywać, że zadanie jest trudne do zdefiniowania, oceny, cyfryzacji lub sfinansowania.

Te przeszkody nadal mają znaczenie komercyjne. Możliwość, której nie da się niezawodnie ocenić, trudno kupić, nadzorować, ubezpieczyć i wdrożyć na dużą skalę.

Dla nabywców korporacyjnych najlepszą odpowiedzią jest kontrolowana ewaluacja z wykorzystaniem wewnętrznych przykładów. Zespoły powinny porównywać wyniki modelu z obecną pracą, mierzyć czas przeglądu, rejestrować rodzaje błędów i śledzić, czy korzyści utrzymują się w pełnych procesach.

Powinny też oddzielnie testować wspomaganie od autonomii. Model, który pomaga ekspertowi szybciej zakończyć pracę, może dostarczać wartość nawet wtedy, gdy nie jest w stanie samodzielnie prowadzić przepływu pracy.

Odwrotnie, model dobrze działający samodzielnie w benchmarku może wnosić niewiele w firmie. Pracownicy mogą spędzać więcej czasu na przygotowywaniu promptów, sprawdzaniu wyników i naprawianiu błędów integracji, niż oszczędzają.

Dla decydentów mapa Mercor uwypukla problem dowodowy. Regulacje, inwestycje w szkolenia i prognozy dotyczące rynku pracy wymagają czegoś więcej niż twierdzeń o szerokiej inteligencji modeli.

Instytucje publiczne potrzebują przejrzystych ewaluacji obejmujących reprezentatywne zawody. Testy te powinny uwzględniać pracę fizyczną, usługi skierowane do społeczeństwa, role o niższych wynagrodzeniach oraz zadania, w których odpowiedzialność jest ważniejsza od dopracowanego wyniku.

Najbardziej użyteczne przesłanie mapy nie jest więc ani uspokojeniem, ani alarmem. Jest żądaniem lepszego pomiaru, zanim instytucje podejmą nieodwracalne decyzje.

Trzy sygnały pokażą, czy martwy punkt się zmniejsza

Kolejny etap badań nad wpływem AI na pracę będzie oceniany przez szerokość pokrycia, dowody z wdrożeń i wiarygodne testy kompletnych przepływów pracy.

Pierwszym sygnałem jest rozszerzenie własnej mapy Mercor. Firma opisuje obecny indeks 29 benchmarków jako punkt wyjścia i zaprasza badaczy do zgłaszania dodatkowych ewaluacji.

Warto obserwować, czy nowe dodatki istotnie rozszerzają pokrycie zawodów. Kolejny zestaw testów programistycznych może pogłębić dowody w znanym obszarze, nie zmniejszając niepewności w szerszej gospodarce.

Silniejsza aktualizacja dodałaby wiarygodne benchmarki dla edukacji, wsparcia opieki zdrowotnej, administracji, wykwalifikowanych zawodów rzemieślniczych, transportu i pracy usługowej. Powinna również informować, czy szacunek 90% zmienia się przy alternatywnych progach pokrycia.

Jeśli rozszerzone zbiory pozostawią ten wskaźnik blisko obecnego poziomu, problem pomiarowy ma charakter strukturalny. Badacze mogą mieć trudności z przełożeniem znacznej części ludzkiej pracy na powtarzalne, możliwe do oceny zadania dla agentów.

Gwałtowny spadek osłabiłby główną tezę, jednocześnie poprawiając bazę dowodową. Pokazałby, że pierwotny wynik odzwierciedlał selekcję benchmarków bardziej niż trwałą barierę ewaluacyjną.

Drugim sygnałem jest niezależna walidacja w miejscu pracy. Twórcy modeli i autorzy benchmarków coraz częściej deklarują profesjonalny poziom działania w wybranych zadaniach.

Te twierdzenia wymagają porównania z wynikami wdrożeń. Użyteczne dowody obejmują całkowity czas realizacji, wysiłek ludzki potrzebny do przeglądu, wskaźniki korekt, częstotliwość wyjątków i jakość dalszych rezultatów.

Kluczową jednostką jest kompletny przepływ pracy, a nie wygenerowany artefakt. Jeśli AI szybciej kończy tworzenie wersji roboczej, ale wydłuża przegląd i zatwierdzanie, organizacja przesunęła pracę, zamiast ją wyeliminować.

Stałe wzrosty produktywności w kilku organizacjach wzmocniłyby twierdzenia, że testowane możliwości przenoszą się do rzeczywistych operacji. Wyniki ograniczone do ściśle kontrolowanych pilotaży utrzymałyby lukę między sukcesem benchmarkowym a wpływem ekonomicznym.

Trzecim sygnałem jest postęp w ewaluacji poza czysto cyfrową pracą umysłową. Modele językowe mogą sterować narzędziami, a systemy robotyczne mogą łączyć planowanie z działaniem fizycznym.

Istotne dowody wymagałyby zróżnicowanych środowisk i przejrzystego raportowania awarii. Robot odnoszący sukces w jednym przygotowanym otoczeniu nie dowodzi niezawodnego działania w domach, szpitalach, magazynach czy przestrzeni publicznej.

Badacze powinni również mierzyć współpracę z ludźmi. Większość systemów w najbliższym okresie będzie działać obok pracowników, dlatego jakość wspomagania jest równie ważna jak autonomiczne wykonanie.

Użyteczny benchmark sprawdzałby, czy AI pomaga ludziom podejmować lepsze decyzje, a nie tylko czy generuje odpowiedź. Obejmowałby wyszukiwanie kontekstu, komunikowanie niepewności, korektę i eskalację.

Te sygnały są ważne, ponieważ luka w pokryciu benchmarków AI Mercor nie zamknie się wyłącznie dzięki wyższym wynikom modeli. Zamknie się, gdy ewaluacje będą reprezentować większą część gospodarki i przewidywać rzeczywiste wyniki w miejscach pracy.

Czytelnicy zastanawiający się, ile zaufania pokładać w kolejnej prognozie automatyzacji, powinni zadać trzy pytania. Które zadania zawodowe testowano, jakiego wsparcia ludzkiego wymagano i czy mierzona korzyść utrzymała się w rzeczywistym wdrożeniu?

Dopóki odpowiedzi te nie staną się standardem, szerokie twierdzenia o AI i zatrudnieniu będą wyprzedzać dowody. Śledź rozszerzanie mapy, domagaj się wyników na poziomie przepływów pracy i traktuj każdy ranking jako widok przez jedno wąskie okno.