Aktualizacja METR ujawnia lukę między programowaniem z AI a osądem
METR rozszerzył 20 listopada 2026 r. swoje oceny możliwości AI, stwierdzając dalszy wykładniczy postęp przy jednocześnie słabszych wynikach w zadaniach wymagających osądu. Aktualizacja horyzontu czasowego METR określa czas podwojenia mierzonego horyzontu zadań na około 3,6 miesiąca. Trend ten nie przesądza jednak, jak długo AI może bezpiecznie pracować bez nadzoru ani czy potrafi samodzielnie prowadzić użyteczne badania.
To rozróżnienie ma znaczenie, ponieważ ukończenie jasno określonego zadania programistycznego i wybór wartościowego eksperymentu wymagają innych dowodów sukcesu. Program może przejść testy, choć jego szerszy cel został źle dobrany. Rozszerzony zestaw ewaluacyjny METR bada obie strony tej różnicy, wykazując lepsze wyniki tam, gdzie agenci otrzymują wyraźną informację zwrotną.
Wyniki wywierają presję na twierdzenia, że postępy w programowaniu bezpośrednio przekładają się na autonomiczne badania AI. Podważają też przeciwne założenie, że słabości w osądzie gwarantują długą przerwę w automatyzacji badań. METR dostrzega istotne możliwości, znaczące ograniczenia oraz rosnącą trudność w mierzeniu relacji między nimi.
Co faktycznie mierzy aktualizacja horyzontu czasowego METR
Wykres śledzi trudność zadań przez czas ich wykonania przez człowieka, a nie niezawodne godziny pracy agenta.
Horyzont czasowy to czas potrzebny człowiekowi na wykonanie zadania powiązany z określonym wskaźnikiem sukcesu modelu w zestawie ewaluacyjnym. Przy często omawianym progu 50% przewiduje się, że model ukończy zadania o takim stopniu trudności mniej więcej w połowie przypadków. Liczba godzin opisuje referencyjny nakład pracy człowieka, a nie czas działania modelu.
Dlatego horyzonty ukończenia zadań METR wymagają ostrożniejszej interpretacji niż nagłówek o agentach pracujących przez całą zmianę. Dłuższy horyzont oznacza lepsze wyniki w mierzonej dystrybucji zadań. Nie poświadcza niezawodnego działania przy każdym zadaniu, którego wykonanie zajęłoby człowiekowi tyle czasu.
Listopadowy raport rozszerza wcześniejsze oceny organizacji, skoncentrowane na oprogramowaniu, o zadania dotyczące możliwości istotnych dla badań i rozwoju AI. Wyniki obejmują publicznie dostępne modele, aż po Opus 5.5 Anthropic i GPT-6 Astra OpenAI. Modele te działają jako agenci, co oznacza, że korzystają z narzędzi i podejmują kolejne działania, by osiągnąć przydzielony cel.
Raport obejmuje trzy odrębne zestawy. Time Horizon 1.1 zawiera 222 zadania, MirrorCode — 75 zadań odtwarzania oprogramowania, a TH2 — 36 zadań w 12 rodzinach. Te liczby są istotne, ponieważ opisują różne kolekcje, a nie wymienne wersje tego samego benchmarku.
TH2 obejmuje osiem rodzin z weryfikowalnymi wynikami i cztery dotyczące trudniejszych do zweryfikowania badań lub osądu. Zadania weryfikowalne mają rezultaty, które ewaluatorzy mogą sprawdzić względem zdefiniowanego celu. Zadania wymagające osądu wymagają użytecznych wyborów, gdy nie ma dostępnej jasnej i szybkiej informacji zwrotnej.
W połączonych zestawach Time Horizon 1.1 i TH2 METR szacuje, że horyzonty czasowe przy 50% sukcesów podwajają się mniej więcej co 3,6 miesiąca. Jest to trend wykładniczy w tej konkretnej mierze. Nie oznacza to, że każda zdolność AI poprawia się w tym samym tempie.
Dodanie trudniejszych zadań zmienia także interpretację wykresu. METR podaje niższe horyzonty w połączonym zestawie niż w samym Time Horizon 1.1 dla danego modelu. Niższy pomiar po rozszerzeniu testu nie oznacza, że model utracił zdolności.
Rozszerzenie jest odpowiedzią na praktyczny problem: wcześniejsze zadania stawały się mniej informacyjne wraz z poprawą modeli. METR twierdzi, że starszy zestaw osiągnął nasycenie, ograniczając możliwość odróżniania silniejszych systemów. Zaktualizowane testy mają obejmować trudniejszą pracę i szerszy profil możliwości.
To sprawia, że aktualizacja jest czymś więcej niż kolejnym punktem na znajomej rosnącej linii. Zmienia pytania, które ewaluatorzy mogą zadać na temat tej linii. Główną kwestią staje się to, czy poprawa w jasno określonych zadaniach rozciąga się na pracę, w której samo zidentyfikowanie sukcesu jest częścią zadania.
Twierdzenia o autonomicznych badaniach przechodzą inny test
Bezpośrednia presja dotyczy twierdzeń o autonomii badawczej, gdzie stworzenie artefaktu jest tylko częścią dostarczania użytecznej pracy.
Badania AI obejmują implementację, eksperymentowanie, interpretację oraz decyzje o tym, co zasługuje na dalszy wysiłek. Postęp w jednej aktywności może przyspieszyć pracę zespołu, nie zastępując pozostałych. Listopadowe wyniki utrudniają ignorowanie tego rozróżnienia.
METR podaje, że obecne modele z czołówki często dorównują lub przewyższają wykwalifikowanych uczestników rekrutowanych do zadań programistycznych i optymalizacyjnych. Optymalizacja oznacza poprawę określonego wyniku lub celu w ramach danych ograniczeń. Takie środowiska często dają agentom bezpośredni sposób porównywania prób i dalszego doskonalenia.
Ta mocna strona ma praktyczne znaczenie nawet wtedy, gdy agent nie wybiera szerszej agendy badawczej. Badacze mogą delegować implementację, zachowując odpowiedzialność za priorytety eksperymentalne. Lepsze możliwości implementacyjne mogą zwiększyć ilość pracy wykonywanej przez zespół.
Porównanie z ludzkimi ekspertami pozostaje węższe niż uniwersalne twierdzenie o wyższości. METR przyznaje, że nie ma pewności, czy zrekrutowani uczestnicy odpowiadają pracownikom laboratoriów z czołówki w ich własnych specjalizacjach. Rekrutacja osób mających niezbędną wiedzę i dostępność staje się trudniejsza wraz z wydłużaniem się zadań.
Tam, gdzie dostępne są większe historyczne grupy porównawcze, wyniki zachowują również miejsce dla wyjątkowych osiągnięć ludzi. METR stwierdza wysokie pozycje modeli w konkursach optymalizacji programowania, choć najlepsi ludzcy uczestnicy zazwyczaj nadal pozostają przed nimi. W optymalizacji skryptów treningowych czołowi autorzy także osiągali ulepszenia wykraczające poza najsilniejsze uruchomienia agentów.
Opis przyspieszenia badań opublikowany przez OpenAI 18 listopada oferuje powiązany, przedstawiony przez firmę obraz z wnętrza laboratorium. Informuje o rosnącym sukcesie w delegowanych zadaniach badawczych, przy znacznych różnicach między aktywnościami. Ludzie pozostają centralni w jego opisie procesu rozwoju.
Dowody te wspierają obraz nierównomiernej automatyzacji procesów badawczych. Nie stanowią wymiennego potwierdzenia wyników METR. Wewnętrzne zadania w miejscu pracy, zadania benchmarkowe i retrospektywne oceny sukcesu korzystają z różnych metod i ujmują odmienne warunki.
Dla Anthropic, OpenAI i innych twórców trudniejsze pytanie dotyczy tego, co dzieje się po ułatwieniu implementacji. Czy agenci potrafią rozpoznać, który eksperyment znacząco zmniejszyłby niepewność? Czy potrafią zauważyć, że pozytywny wynik wynika ze słabego testu?
Nabywcy korporacyjni stają przed podobnym rozróżnieniem przy ocenie agentów do pracy technicznej. Udana demonstracja z jasnym testem akceptacyjnym wspiera ten konkretny przypadek użycia. Dostarcza mniej dowodów dotyczących zadań o niejednoznacznych celach, zmiennych wymaganiach lub opóźnionych konsekwencjach.
Aktualizacja horyzontu czasowego METR podnosi poprzeczkę dla tych twierdzeń, nie odrzucając podstawowych postępów. Przekonująca analiza autonomicznych badań wymaga dowodów na kierunek i ocenę obok wykonania. Wyniki w programowaniu są istotną częścią tej analizy, ale raport nie ustala, że dopełniają cały obraz.
Mocne programowanie nie rozstrzyga kwestii osądu
Najbardziej wymowne niepowodzenia METR pojawiły się wtedy, gdy modele musiały zdecydować, co czyni ewaluację użyteczną.
Jedno zadanie TH2 prosiło agentów o stworzenie ewaluacji, która wsparłaby ocenę możliwości modeli przez METR. Wymagało to więcej niż napisania działającego oprogramowania. Proponowany test musiał również odpowiedzieć na pytanie, które METR uznawał za wartościowe.
Według wyników oceny możliwości żadne z zadań stworzonych przez agentów nie zasługiwało na włączenie do raportu jako użyteczna nowa ewaluacja. Niektóre wyniki zbliżały się do użyteczności, wskazując na postęp względem słabszych modeli. Jednak poprawa w systemie punktacji nie przełożyła się na pracę, którą METR zdecydował się przyjąć.
Agenci zazwyczaj preferowali zadania optymalizacyjne oceniane automatycznie. Kontynuowali to w eksperymentach uzupełniających, które wyraźnie wymagały zadań obejmujących decyzje ze słabą krótkoterminową informacją zwrotną. To zachowanie ujawniło niedopasowanie między tworzeniem mierzalnego wyzwania a identyfikowaniem informatywnego pytania badawczego.
METR podaje również, że agenci nie badali samodzielnie, jakie rodzaje zadań organizacja uznałaby za najcenniejsze, mimo dostępu do internetu. Badacze nie zaobserwowali nowatorskiego modelowania zagrożeń ani szczególnie wnikliwych hipotez stojących za proponowanymi ewaluacjami. Są to obserwacje z testowanej konfiguracji, a nie dowód trwałej niezdolności.
To rozróżnienie jest konkretne. Ewaluacja może działać poprawnie, a mimo to przekazywać badaczom niewiele z tego, co muszą wiedzieć. Jakość jej implementacji i wartość badawcza są odrębnymi właściwościami, choć obie wpływają na końcowy wynik.
Drugi eksperyment badał, czy modele potrafią oceniać ewaluacje stworzone przez inne modele. Silniejsi sędziowie byli bardziej zgodni z ludzkimi ocenami podczas oceny słabszych twórców. Gdy twórcy byli równie silni lub silniejsi, sędziowie mieli skłonność przyznawać zbyt hojne oceny.
To ustalenie komplikuje często proponowane rozwiązanie słabego nadzoru: poproszenie innej AI o zrecenzowanie pracy. Recenzent może wykryć oczywiste wady, jednocześnie przeoczając bardziej przekonujące błędy. Zgodność autora i recenzenta nie ustanawia więc niezależnie jakości.
METR oferuje więcej niż jedno wyjaśnienie tego wzorca. Modelom może brakować osądu potrzebnego do oceny tych zadań albo silniejsi twórcy mogą generować wyniki wprowadzające w błąd słabszych sędziów. Eksperymenty nie rozdzielają tych możliwości w sposób rozstrzygający.
Szerszy mechanizm dotyczy informacji zwrotnej. Uczenie ze wzmocnieniem, czyli trening nagradzający wyniki w systemie punktacji, korzysta z użytecznych sygnałów wskazujących, które próby zadziałały. Programowanie i optymalizacja często dostarczają takich sygnałów przez testy lub mierzoną wydajność.
Otwarte badania mogą opóźniać tę informację zwrotną albo czynić jej uzyskanie kosztownym. Obiecująca propozycja może zawieść dopiero po znaczącym eksperymentowaniu. Kierunek, który pozornie nie przynosi rezultatów, może okazać się użyteczny, gdy badacz rozpozna pominięte założenie.
Raport nie dowodzi, że osąd i programowanie są zasadniczo odrębnymi zdolnościami. METR obserwuje dowody użytecznego osądu modeli w niektórych zadaniach optymalizacji uczenia maszynowego. Te sukcesy pozostawiają otwartą możliwość, że zdolności przenoszą się dalej, niż sugerują słabsze wyniki dotyczące osądu.
Odwrócenie jest zatem konkretne: imponujące wykonanie nie potwierdza automatycznie oceny własnej pracy przez system. Modele mogą się poprawiać, podczas gdy ta ocena pozostaje zawodna. W autonomicznych badaniach relacja między tymi zdolnościami ma takie samo znaczenie jak każdy z wyników osobno.
Lepsze testy stają się trudniejsze do stworzenia
Rozszerzone ewaluacje ujawniają problem pomiaru: realistyczna informacja zwrotna jest często kosztowna, powolna lub zależna od ekspertów.
METR wprowadza koszt cyklu życia jako przybliżone oszacowanie wysiłku potrzebnego do wielokrotnego stworzenia, przeprowadzenia i ocenienia ewaluacji. Miara obejmuje opracowanie i zapewnienie jakości obok wykonania i oceny. Ma uchwycić ograniczenia, których sam czas trwania zadania dla człowieka nie uwzględnia.
Dwa zadania mogą wymagać podobnego nakładu ludzkiej pracy, a jednocześnie stawiać odmienne wymagania ocenie. Jedno może kończyć się odpowiedzią sprawdzaną automatycznie. Inne może wymagać od eksperta przeanalizowania toku rozumowania, oceny brakującego kontekstu lub osądzenia, czy wkład badawczy ma znaczenie.
Inne obciążenia obejmują złożone środowiska, wymagania obliczeniowe, monitorowanie i długie cykle informacji zwrotnej. Testy wymagają również zabezpieczeń przed reward hackingiem, czyli zachowaniem wykorzystującym regułę punktacji bez realizowania jej zamierzonego celu. Silniejsze modele mogą ujawniać skróty, których wcześniejsze ewaluacje nie przewidywały.
W zbiorze danych METR zadania o wyższych szacowanych kosztach cyklu życia są zwykle trudniejsze dla modeli po uwzględnieniu czasu trwania zadania dla człowieka. Zależność ta sugeruje, że tanie ewaluacje mogą pomijać istotne wymiary trudności. Nie dowodzi jednak, że sam koszt powoduje słabsze wyniki.
METR szacuje koszty cyklu życia za pomocą sędziego opartego na modelu, skalibrowanego względem ocen swoich badaczy. Te szacunki odzwierciedlają doświadczenie i ograniczenia organizacji. Laboratorium pracujące nad modelami frontierowymi może ponosić inne koszty, a zmieniające się możliwości modeli mogą zmieniać ekonomię ewaluacji.
Raport stwierdza również podobne tempo poprawy w podzbiorach zadań o wyższych i niższych kosztach. To istotne zastrzeżenie. Gorsze obecne wyniki w kosztownych ewaluacjach nie pokazują, że postęp w tych ewaluacjach utknął w miejscu.
Pomiary referencyjne dla ludzi wprowadzają kolejne ograniczenie. Bezpośrednie ludzkie wartości bazowe wspierają jedynie 9% szacunków czasu pracy ludzi w raporcie. Pozostałe szacunki opierają się na ocenach ekspertów, dowodach publicznych i ekstrapolacji.
Zmienia to pewność, z jaką czytelnicy powinni interpretować liczbę godzin przypisaną trudnym zadaniom. Szacowany czas trwania nadal może dostarczać użytecznych informacji, ale nie ma takiej samej podstawy dowodowej jak zaobserwowane ukończenie. Systematyczne błędy szacowania mogą wpływać na porównania między grupami zadań.
Porównanie z ludźmi obejmuje również pomoc AI. METR zezwolił uczestnikom na używanie Sonnet 5 do implementacji, częściowo aby ułatwić rekrutację i uwzględnić utrwalone nawyki pracy. Powstałej wartości bazowej nie należy opisywać jako wyników ludzi bez wsparcia.
Zadania trudne do zweryfikowania wprowadzają dodatkową subiektywność. To, czy proponowana ewaluacja jest wartościowa, zależy częściowo od priorytetów badawczych METR i jego przekonań dotyczących istotnych ryzyk. Organizacja przyznaje, że te osądy mogą być błędne.
Zadanie dotyczące krytyki filozoficznej rodzi powiązaną kwestię: czyj osąd staje się punktem odniesienia. Modele są oceniane względem ocen ekspertów, podczas gdy zgodność może zależeć od samych ekspertów i czasu, którym dysponują. Czyni to wynik informacyjnym, ale nie przekształca go w kompleksową miarę ludzkiego osądu.
Te zastrzeżenia wzmacniają wcześniejsze ograniczenia horyzontu czasowego METR: wynik benchmarku wymaga kontekstu, zanim stanie się twierdzeniem dotyczącym miejsca pracy lub bezpieczeństwa. Zaktualizowany zestaw poszerza zakres dowodów, jednocześnie zwiększając niepewność. Lepsze pokrycie i czystszy pomiar nie zawsze pojawiają się razem.
Wykres nie może wyznaczyć daty przełomu badawczego
Dalsza wykładnicza poprawa nie ustala, kiedy systemy AI samodzielnie przyspieszą własny rozwój.
Kusząca ekstrapolacja zaczyna się od zmierzonego czasu podwojenia i przedłuża krzywą w stronę coraz dłuższych zadań. Takie prognozy mogą ilustrować konsekwencje niezmienionego trendu. Nie mogą ustalić, że te same zadania, metody i relacje pozostaną reprezentatywne.
Dobór zadań wpływa już na dopasowany trend w listopadowym raporcie. METR uzyskuje odmienne wyniki podczas analizy podzbiorów rozszerzonego zestawu. Badacze omawiają kilka możliwych wyjaśnień, w tym zmiany profilu trudności, które pojawiają się, gdy modele zaczynają rozwiązywać nowsze zadania.
METR wprowadza również METR Capability Index, złożoną miarę zbudowaną przy użyciu teorii odpowiedzi na pozycję, metody statystycznej łączącej zdolności modelu z trudnością zadania. Oferuje to kolejny sposób śledzenia wyników w testowanych systemach. Nie eliminuje jednak zależności od wyborów modelowania.
W tym indeksie METR nie stwierdza silnego przyspieszenia ani spowolnienia wśród testowanej publicznej czołówki. W pewnych warunkach obserwuje niepewne, zależne od dewelopera zmiany. Ustalenia te są wrażliwe na decyzje metodologiczne, co ogranicza mocne twierdzenia o zmieniającym się tempie wzrostu.
Rozróżnienie między postępem wykładniczym a postępem przyspieszającym ma tutaj znaczenie. Miara może podwajać się w stałym odstępie, nie skracając tego odstępu. Sama rosnąca krzywa nie dowodzi nowo nasilającej się pętli sprzężenia zwrotnego.
Automatyzacja badań dodaje pytanie o przyczynowość. Obserwowanie lepszych modeli, gdy laboratoria korzystają z AI, nie ujawnia, jak postęp przebiegałby bez tej pomocy. METR wyraźnie zaznacza, że brakujące porównanie uniemożliwia jednoznaczne przypisanie trendu.
Istnieją też ograniczenia dotyczące tego, co ujawniają publiczne wydania. Publiczne modele niekoniecznie reprezentują najzdolniejsze systemy dostępne wewnątrz laboratoriów. Różnice w czasie wydań mogą komplikować próby wykrycia zmian w bazowym tempie rozwoju.
Wyniki dotyczące osądu również wspierają konkurencyjne interpretacje. Zmysł badawczy, czyli zdolność wybierania obiecujących pytań i eksperymentów, może ograniczać autonomiczne badania. Alternatywnie, wystarczająco silne wyniki w pracy łatwiejszej do zweryfikowania mogłyby przyspieszać rozwój, podczas gdy ludzie nadal wybieraliby kierunki.
Analiza luki w osądzie MIT Technology Review opisuje tę niezgodę wśród badaczy. Sayash Kapoor postrzega zmysł badawczy jako potencjalnie istotne wąskie gardło. Najoung Kim podkreśla niepewność związaną z ekstrapolowaniem zaobserwowanych ulepszeń.
Te perspektywy nie rozstrzygają sprawy, lecz wskazują, co pozostawiają otwarte obecne dowody. Obecne słabości osądu są istotnymi obserwacjami. Traktowanie ich jako trwałych barier wymaga dodatkowego argumentu, którego raport nie przedstawia.
Własne stanowisko METR pozostaje ostrożne zarówno wobec uspokojenia, jak i alarmu. Organizacja twierdzi, że publiczne dowody nie mogą wykluczyć drastycznego przyspieszenia badań AI w ciągu najbliższych kilku lat. To stwierdzenie o nierozstrzygniętych możliwościach, a nie prognoza przypisująca datę lub prawdopodobieństwo.
Aktualizacja horyzontu czasowego METR nie wspiera zatem ani odliczania do w pełni autonomicznych badań, ani gwarancji długotrwałej ludzkiej kontroli. Dokumentuje znaczący postęp w zmieniających się ramach ewaluacji. Kolejny wniosek wymaga dowodów dotyczących samego procesu badawczego.
Trzy sygnały mają większe znaczenie niż kolejna wiralowa krzywa
Kolejne użyteczne dowody powinny sprawdzać, czy silniejsze wykonanie prowadzi do lepszych wyborów badawczych, wiarygodnej weryfikacji i trwałych rezultatów.
Pierwszym sygnałem jest wdrażanie ewaluacji lub propozycji badawczych zaprojektowanych przez agentów po niezależnym przeglądzie ekspertów. Zadanie METR dotyczące tworzenia ewaluacji stanowi konkretny punkt odniesienia. Przyszłe wyniki stają się bardziej przekonujące, jeśli eksperci wykorzystują rezultaty, ponieważ odpowiadają one na wartościowe pytania.
Ocena powinna odróżniać technicznie poprawny artefakt od wkładu, który zmienia decyzje badawcze. Dodatkowi recenzenci i szerszy zakres zadań pomogłyby sprawdzić, czy użyteczność wykracza poza preferencje jednej organizacji. Powtarzalny sukces osłabiłby argument, że zmysł badawczy pozostaje głównym ograniczeniem.
Dalsza poprawa bez wdrożenia wspierałaby bardziej ograniczoną interpretację. Agenci mogliby lepiej tworzyć wiarygodnie wyglądające ewaluacje, pozostając słabi w identyfikowaniu informacyjnych. Zachowałoby to lukę między dopracowanym wykonaniem a użytecznym kierunkiem.
Drugim sygnałem jest to, czy recenzenci AI stają się lepiej skalibrowani podczas oceny pracy równie silnych lub silniejszych modeli. Kalibracja oznacza, że oceny recenzenta niezawodnie odpowiadają rzeczywistej jakości. Listopadowe ustalenia zapewniają temu zagadnieniu konkretną podstawę eksperymentalną.
Użyteczne badanie uzupełniające porównałoby oceny modeli z niezależnymi ocenami ekspertów w szerszym zakresie artefaktów. Lepsza zgodność w przypadku trudnych wyników wzmocniłaby argument za delegowaniem większej części recenzji. Utrzymujące się zawyżanie ocen osłabiłoby twierdzenia, że silniejszych autorów AI można nadzorować po prostu przez dodanie sędziów AI.
To pytanie ma znaczenie nawet wtedy, gdy agenci nigdy nie przeprowadzą całego projektu badawczego niezależnie. Zespoły już teraz muszą decydować, które wyniki zasługują na uwagę, a które wymagają poprawy. Recenzja, która brzmi pewnie, lecz pomija wady, może przesuwać, a nie usuwać ludzki nakład pracy.
Trzecim sygnałem jest szersza ewaluacja z silniejszymi punktami odniesienia dla ludzi i opóźnionymi kontrolami wyników. Więcej bezpośrednich wartości bazowych zwiększyłoby zaufanie do szacowanych czasów trwania zadań. Ocena tego, co wydarzyło się po wykorzystaniu wyniku, sprawdziłaby, czy krótkoterminowe wyniki uchwyciły trwałą wartość.
W przypadku raportów laboratoryjnych istotne rozróżnienie dotyczy wykonywania większej liczby działań i tworzenia lepszych badań. Dodatkowy kod lub eksperymenty mogą wspierać postęp, lecz ich wartość zależy od pytań, na które odpowiadają. Dowody łączące wkład agentów ze zweryfikowanymi wynikami wzmocniłyby argument za autonomicznymi badaniami.
Są to priorytety obserwacyjne na nadchodzące miesiące, a nie ogłoszone zobowiązania publikacyjne. Samo wydanie nowego modelu ich nie rozstrzygnie. Istotną zmianą byłyby silniejsze dowody łączące pomiary zdolności z decyzjami i wynikami, które te pomiary reprezentują.
Dla zespołów wykorzystujących AI w pracy technicznej praktyczną odpowiedzią jest zachowanie tego połączenia. Przechowujcie razem oryginalne zadanie, kryteria akceptacji, wynik i ocenę eksperta. Przeszukiwalna baza wiedzy może wspierać późniejsze porównanie, gdy pozornie udany rezultat napotka nowe wymagania.
Czytajcie aktualizację horyzontu czasowego METR wraz z zadaniami i ograniczeniami stojącymi za jej krzywą. Przed zastosowaniem jej trajektorii do własnej pracy określcie, co oznacza sukces i kto może go zweryfikować. Oddzielcie zadania z natychmiastowymi testami od decyzji, których konsekwencje ujawniają się później. Następnie zapytajcie, czy wasze dowody mierzą ukończoną pracę, użyteczną pracę, czy jedynie przekonujący wynik. Te rozróżnienia pozostaną wartościowe nawet w miarę poprawy modeli. Kolejny wynik godny nagłówków zasługuje na uwagę, lecz równie ważny jest cichszy rezultat: agent wybierający wartościowe pytanie, tworzący trafną odpowiedź i przechodzący niezależną recenzję. Która część tego łańcucha została faktycznie przetestowana przez waszą obecną ewaluację?



