Benchmark modeli AI Merlin: dziewięć razy wyższy koszt, bez zysku na dokładności
Merlin Search Technologies przetestował siedem modeli AI i stwierdził wyraźne odwrócenie tendencji: najdroższy model zużywał na raport ponad dziewięć razy więcej środków, nie zapewniając przy tym wyższej dokładności cytowań.
W benchmarku modeli AI Merlin każdy system otrzymał te same dokumenty dotyczące sporów sądowych związanych z opioidami, dwa pytania badawcze oraz jedno zadanie polegające na przygotowaniu raportu. Najtańszy i najszybszy model zajął pierwsze miejsce według stosowanej przez dostawcę miary wierności. Najdroższy uplasował się na czwartym.
Wynik ten podważa popularne uproszczenie zakupowe. Nowszy lub droższy model graniczny nie jest automatycznie najlepszym modelem dla każdego zadania profesjonalnego. Merlin nie ujawnił jednak, która z anonimowych etykiet odpowiadała któremu produktowi, a sześć modeli było statystycznie remisowych.
Badanie mierzyło także wąsko zdefiniowaną jakość. Sprawdzało, czy stwierdzenia można było prześledzić do dostarczonych dokumentów. Nie ustalało, który raport oferował najlepsze rozumowanie prawnicze, wskazywał najważniejsze dowody ani wykazywał się najlepszym osądem.
Te zastrzeżenia czynią wynik bardziej, a nie mniej użytecznym. Test Merlin pokazuje, dlaczego przedsiębiorstwa potrzebują ocen dopasowanych do konkretnych zadań, przedziałów ufności i możliwych do audytu cytowań, zanim skierują każde zlecenie do modelu premium.
Co faktycznie testował benchmark modeli AI Merlin
Merlin porównał siedem modeli w jednym kontrolowanym przepływie pracy prawniczego dochodzenia, a następnie ocenił ich cytowania i wierność źródłom.
Firma testowała modele OpenAI, Anthropic i Google za pośrednictwem Alchemy, swojej platformy dochodzeniowej i discovery. W zestawieniu znalazły się GPT-6 Astra, GPT-5.6 Sol, GPT-5.6 Terra, Claude Fable 5.1, Claude Opus 5, Claude Sonnet 5 oraz Gemini 3.1 Pro.
Każdy model otrzymał ten sam zbiór publicznie dostępnych dokumentów dotyczących sporów związanych z opioidami. Materiały dotyczyły Mallinckrodt, a także odnosiły się do McKesson, Insys i Valeant.
Merlin unikał danych klientów. Wybór ten ograniczył obawy dotyczące poufności i sprawił, że zbiór można było bezpieczniej wykorzystywać ponownie, chociaż bazowy raport nie został przedstawiony jako publiczny, niezależnie odtwarzalny pakiet benchmarkowy.
Modele odpowiadały na dwa pytania. Jedno dotyczyło problemów związanych z produktami firmy do leczenia bólu. Drugie pytało, co wewnętrzne notatki i komentarze analityków ujawniały na temat trudności finansowych i problemów kredytowych.
Drugie pytanie zawierało celową pułapkę. Część komentarzy kredytowych dotyczyła innych firm, podczas gdy fragmenty dokumentacji Mallinckrodt opisywały zwykłe spory rozliczeniowe. Nieostrożny system mógł połączyć te wątki i zasugerować kryzys finansowy niepoparty dowodami.
Każdy model przygotował następnie pełny raport dochodzeniowy z cytowaniami. Według opublikowanej metodologii w siedmiu raportach systemy wygenerowały 777 cytowań i 454 zdania z cytowaniami.
Merlin zanonimizował wyniki jako Modele A–G przed oceną. Oceny nie otrzymały więc nazw dostawców, choć firma zachowała zapisane losowe ziarno, aby mogła odtworzyć przypisanie etykiet.
Publiczna tabela wyników utrzymała to maskowanie. Czytelnicy mogą porównać rezultaty, ale nie mogą niezależnie ustalić, czy Model D był produktem OpenAI, Anthropic czy Google.
Model D prowadził z wynikiem wierności 3,3, gdzie niższy wynik był lepszy. Każdy raport kończył średnio w 37 sekund i w przedstawionych wynikach nie odnotowano żadnych uszkodzonych ani błędnie skierowanych cytowań.
Model C otrzymał wynik wierności 4,1 i potrzebował średnio 110 sekund. Był najdroższym systemem w teście, zużywając ponad dziewięć razy więcej na raport niż Model D.
Model E zajął ostatnie miejsce z wynikiem wierności 4,9. Pozostałe sześć modeli miało nakładające się zakresy ufności, dlatego Merlin uznał je za statystycznie remisowe, zamiast przedstawiać fałszywie precyzyjny ranking.
To rozróżnienie ma znaczenie. Opisane w nagłówku odwrócenie jest realne w ramach badania, ale nie dowodzi, że Model D ma uniwersalną przewagę w dokładności. Pokazuje, że znacznie wyższa cena nie przyniosła wykrywalnej poprawy wierności w tym konkretnym teście.
Najtańszy model wygrał w wąskim, ale istotnym teście
Benchmark podważa cenę jako wskaźnik dokładności, ale nie wskazuje jednego modelu jako uniwersalnego zwycięzcy.
Model D miał najczystszy rejestr cytowań, najkrótszy średni czas ukończenia oraz najniższy koszt operacyjny w porównaniu. Model C kosztował ponad dziewięć razy więcej i zajął czwarte miejsce w przedstawionej tabeli wyników.
Żadna z dwóch najnowszych premier, GPT-6 Astra i Claude Fable 5.1, nie zajęła pierwszego miejsca. Ponieważ Merlin nie ujawnił klucza etykiet, opinia publiczna nie może dokładnie stwierdzić, które miejsca zajęły te modele.
Ta tajność ogranicza wartość badania dla zakupów. Zespół prawny nie może przeczytać artykułu i z przekonaniem wybrać konkretnego dostawcy. Może jednak odrzucić założenie, że najnowsza opcja premium domyślnie zasługuje na każde obciążenie pracą.
Wyniki ujawniły też różnice, których nie oddaje pojedyncza pozycja w rankingu. Model A objął najszerszy zakres odrębnych zagadnień, osiągając wynik szerokości 24,9. Nie stworzył żadnych uszkodzonych cytowań, ale miał dwa cytowania wskazujące niewłaściwy fragment wspierający.
Model G osiągnął niemal równie dużą szerokość, z wynikiem 23,6. Jednak dziewięć z jego 93 sprawdzonych twierdzeń kierowało czytelników do niewłaściwego akapitu. Merlin podał, że podstawowe fakty znajdowały się w innych miejscach, lecz prawnik podążający za tymi odwołaniami musiałby ich szukać.
Model D był bardziej precyzyjny, ale węższy. Jego wynik szerokości osiągnął 15,9, znacznie poniżej Modeli A i G. Staranny raport, który pomija rozstrzygający temat, nadal może być mniej użyteczny niż szerszy raport zawierający kilka możliwych do naprawienia błędów cytowań.
To jest główne odwrócenie. Najtańszy model prowadził w rankingu wierności, lecz jego zwycięstwo nie wyeliminowało wartości zasięgu, syntezy ani osądu prawniczego.
Badanie nie wykryło sfabrykowanych faktów w żadnym z siedmiu raportów. Każde konkretne nazwisko, liczba, data i cytat dały się prześledzić do zbioru dokumentów w systemie oceny Merlin.
To ustalenie jest zachęcające, choć powinno pozostać ograniczone do tego zadania. Modele pracowały na kontrolowanym zbiorze dowodów i tworzyły raporty z cytowaniami w Alchemy. Nie proszono ich o prowadzenie prawniczego researchu w otwartym internecie ani o wyszukiwanie źródeł w nieograniczonej bazie danych.
Model, który pozostaje zakotwiczony w wyselekcjonowanym zbiorze, mierzy się z innym problemem niż chatbot odpowiadający na pytania z pamięci. Kontrole wyszukiwania, struktury cytowań i otaczająca aplikacja mogą istotnie zmieniać wskaźniki błędów.
Wcześniejsze badania akademickie ilustrują ten kontekst. Badacze ze Stanford, oceniający komercyjne produkty do prawniczego researchu, zdefiniowali halucynację jako odpowiedź nieprawidłową lub niewłaściwie ugruntowaną. Ich badanie legal AI wykazało, że samo wyszukiwanie nie wyeliminowało odpowiedzi pozbawionych uzasadnienia.
Wynik Merlin odnosi się więc do całego systemu, nie tylko modeli bazowych. Alchemy dostarczało podsumowania dokumentów, znaczniki cytowań, prompty, strukturę raportu i proces weryfikacji. Zwycięski rezultat wyłonił się z tego połączonego środowiska.
Właściwy wniosek nie brzmi, że tańsze modele są zawsze dokładniejsze. Jest nim to, że sama cena modelu daje niewiele dowodów na jego wydajność w określonym przepływie pracy przedsiębiorstwa.
Jak ośmioprzebiegowa ocena sprawdziła każde cytowanie
Największym wkładem Merlin jest proces oceny, który stosuje deterministyczne kontrole wszędzie tam, gdzie obliczenia mogą zastąpić osąd modelu.
Proces rozpoczął się od ukrycia tożsamości modeli i usunięcia przypadkowych wzmianek z raportów. Kolejne etapy widziały wyłącznie stałe anonimowe etykiety.
Drugi przebieg kontrolował własne podsumowania źródeł Alchemy. Każde podsumowanie zawierało znaczniki łączące je z akapitami w oryginalnych dokumentach, lecz część znaczników była wadliwa.
Audyt wykrył 24 wadliwe sekcje podsumowań. Merlin usprawiedliwiał cytowania, które zawiodły wyłącznie dlatego, że platforma dostarczyła błędny znacznik. Zapobiegło to karaniu modelu przez benchmark za błąd danych na wcześniejszym etapie.
Ten krok łatwo przeoczyć. Oceny często przypisują każdą widoczną porażkę modelowi językowemu, nawet gdy problem spowodowało wyszukiwanie, parsowanie lub przygotowanie dokumentu.
Trzeci przebieg rozstrzygał cytowania mechanicznie. Kod sprawdzał, czy każdy cytowany dokument i sekcja istnieją oraz czy cytowany akapit mieści się w zidentyfikowanym zakresie.
Proste odwołanie do dokumentu bez sekcji lub akapitu traktowano jako prozę, a nie jako nieudane cytowanie. Reguła ta zapobiegła zawyżaniu liczby błędów przez system sprawdzający wskutek nadmiernie agresywnego parsowania.
Czwarty przebieg oceniał, czy zdania z cytowaniami były ugruntowane w dostarczonych podsumowaniach. Był to pierwszy etap wykorzystujący sędziego AI.
Merlin podał, że wcześniejsza wersja traktowała każdy fakt nieobecny w wymienionych cytowaniach jako wymyślony. Podejście to karało syntezę, gdy model cytował tylko część dowodów stojących za zdaniem opartym na wielu źródłach.
Zmieniony system wykorzystywał dwa etapy. Najpierw oceniający identyfikował informacje, których nie mógł znaleźć w cytowanym materiale. Drugi etap przeszukiwał następnie szerszy zbiór przed przypisaniem werdyktu.
Możliwe wyniki obejmowały: poparte, niecytowane źródło, nadinterpretację lub fabrykację. Niecytowane źródło oznaczało, że fakt istniał w innym miejscu zbioru. Nadinterpretacja oznaczała, że wniosek wykraczał poza dowody bez wymyślania możliwego do sprawdzenia faktu.
Fabrykacja obejmowała konkretne nazwisko, liczbę, datę lub cytat, których nie znaleziono nigdzie w zbiorze. Merlin przypisał tej kategorii trzykrotnie większą wagę, ponieważ wymyślony szczegół może trafić do pisma procesowego lub memorandum dla klienta.
Piąty przebieg mierzył szerokość i powtarzalność. System przekształcał zdania w wektory semantyczne, czyli matematyczne reprezentacje znaczenia, i szacował, ile niezależnych idei zawierał każdy raport.
Projekt ten miał zapobiec nagradzaniu długości dla niej samej. Dłuższy raport nie otrzymywał automatycznej korzyści, jeśli dodatkowe zdania powtarzały te same punkty.
Szósty przebieg obliczał wyniki i zakresy niepewności. Koszt i szybkość pojawiały się w tabeli wyników, ale nie wpływały na ranking dokładności.
Merlin zastosował resampling w odniesieniu do dwóch pytań, aby oszacować przedziały ufności. Gdy przedziały się nakładały, uznawał modele za remisowe. Dlatego sześć z siedmiu systemów należało do wiodącej grupy statystycznej mimo uporządkowanego wyświetlenia.
Siódmy przebieg oceniał oceniającego. Dwóch dodatkowych sędziów AI od różnych dostawców przeanalizowało każde oznaczone twierdzenie oraz próbkę twierdzeń uznanych za poprawne.
Rozbieżności rozstrzygano większością głosów. Trzy z 33 początkowych oznaczeń zostały cofnięte, co dało zgłoszony wskaźnik fałszywych alarmów na poziomie dziewięciu procent. Recenzenci sprawdzili także wyrywkowo 37 twierdzeń uznanych za poprawne i nie oznaczyli żadnego z nich.
Wszystkie trzy systemy oceniające w pełni zgodziły się co do 58 z 70 przeanalizowanych twierdzeń. Pozostawia to istotną przestrzeń na rozbieżności, ale ujawnienie tych danych daje czytelnikom wyraźniejszy obraz niepewności pomiaru.
Ósmy przebieg wygenerował pisemne memorandum. System AI przygotował tekst, podczas gdy obliczone metryki dostarczyły każdą liczbę, a kod wygenerował tabelę wyników.
Merlin wymagał również, aby każda krytyka wskazywała model porównawczy o lepszych wynikach. Jego pełny raport z oceny zawiera definicje, metryki i aneksy na poziomie poszczególnych ustaleń.
To połączenie deterministycznych kontroli i ograniczonej oceny AI opiera się na rozsądnej, ogólnej zasadzie. Stosuj kod do testów istnienia, zakresów, liczności i powtarzalnych obliczeń. Oceny probabilistyczne rezerwuj dla pytań semantycznych, na które arytmetyka nie potrafi odpowiedzieć.
Przypomina to również zalecenie NIST, aby organizacje dokumentowały zestawy testowe, metryki, niepewności i warunki wdrożenia. AI RMF Core również wzywa do powtarzalnej ewaluacji i ciągłego monitorowania po wdrożeniu.
Dla zespołów budujących przeszukiwalną bazę wiedzy wniosek wykracza poza postępowania sądowe. Sprawdzanie cytowań powinno testować zarówno wyszukiwanie, jak i generowanie, ponieważ każda z tych warstw może przerwać łańcuch dowodowy.
Dlaczego wynik wywiera presję na nabywców AI w przedsiębiorstwach
Benchmark wywiera presję na nabywców, którzy standaryzują jeden model premium przed zmierzeniem rzeczywistych obciążeń roboczych.
Zakupy korporacyjne często traktują modele jak edycje oprogramowania. Droższa lub nowsza opcja wydaje się bezpieczniejsza, ponieważ obiecuje lepsze rozumowanie, większe okno kontekstowe lub wyższe wyniki w ogólnych benchmarkach.
Test Merlina pokazuje słabość tej logiki. Przewaga w ogólnych możliwościach nie gwarantuje lepszych wyników w procesie badawczym opartym na dokumentach.
Podstawowe zadanie wymagało kilku odrębnych umiejętności. Modele musiały czytać podsumowania, oddzielać dowody dotyczące różnych firm, unikać wyolbrzymiania rutynowych sporów, syntetyzować kwestie produktowe i dołączać użyteczne cytowania.
Jeden model poprawnie obsłużył cytowania, ale objął mniej kwestii. Inne modele znalazły więcej odrębnych wątków, generując przy tym więcej problemów z cytowaniami. Właściwy wybór zależy od tego, który błąd stwarza większe ryzyko zawodowe.
Wstępny przegląd dużego zbioru może premiować szybkość i szerokie wyszukiwanie. Końcowy raport przygotowywany dla pełnomocnika może większą wagę przypisywać precyzyjnym cytowaniom, kompletnej syntezie i zdyscyplinowanym wnioskom.
Ta różnica przemawia za routingiem modeli, który przypisuje każde zadanie do modelu wybranego pod kątem zmierzonych wymagań. Nie uzasadnia automatycznego wyboru najtańszego systemu.
Uzasadniona polityka routingu powinna zaczynać się od ryzyka. Zespoły powinny określić, czy zadanie wymaga ekstrakcji faktów, identyfikacji kwestii, długiej syntezy, oceny prawnej czy finalnej komunikacji z klientem.
Następnie powinny testować reprezentatywne przykłady przy tych samych promptach, ustawieniach wyszukiwania i warunkach dokumentowych, które są stosowane w środowisku produkcyjnym. Publiczny ranking nie jest w stanie odtworzyć tych warunków.
Wybór modelu wpływa również na koszty weryfikacji. Szybki system, który tworzy węższe raporty, może przenieść pracę z powrotem na prawników, którzy muszą odnajdywać pominięte wątki. Szeroki system o słabej precyzji cytowań może tworzyć inne obciążenie, ponieważ recenzenci muszą ręcznie śledzić twierdzenia.
Metryka kosztu operacyjnego benchmarku nie obejmowała tej dalszej pracy. Mierzyła wykorzystanie modeli do tworzenia raportów, a nie całkowity koszt ich przeglądu, korekty i zatwierdzenia.
Dla nabywców usług prawnych to rozróżnienie jest szczególnie ważne. Opinia etyczna AI American Bar Association wskazuje, że prawnicy muszą uwzględniać obowiązki dotyczące kompetencji, poufności, komunikacji, nadzoru, rzetelności i rozsądnych honorariów.
Płynny wynik modelu nie przenosi odpowiedzialności poza pełnomocnika. Prawnicy nadal potrzebują procedur weryfikacyjnych proporcjonalnych do zlecenia i ryzyk wynikających z nieprawidłowych lub niepopartych dowodami stwierdzeń.
Ta sama zasada obowiązuje poza prawem. Analitycy finansowi, zespoły compliance, badacze i menedżerowie produktu wszyscy opierają się na wynikach, które kondensują duże zbiory dowodów do decyzji.
Model może cytować rzeczywiste dokumenty, a mimo to pominąć rozstrzygającą kwestię. Może także dojść do sensownego wniosku, wskazując niewłaściwy fragment. Są to odrębne tryby awarii i zasługują na odrębne metryki.
Nabywcy powinni zatem opierać się pojedynczemu złożonemu wynikowi „jakości”. Potrzebują karty wyników odzwierciedlającej pracę: poprawność cytowań, oparcie twierdzeń na źródłach, zakres pokrycia, obsługę sprzeczności, opóźnienia i czas korekty przez człowieka.
Merlin argumentuje także za możliwością wyboru między dostawcami modeli. Stanowisko to służy komercyjnej konstrukcji firmy, ponieważ Alchemy oferuje wiele rodzin modeli.
Mimo to dowody wspierają węższy wniosek. Gdy sześć modeli jest statystycznie zbliżonych pod względem wierności, lecz różni się szybkością, zakresem i kosztem działania, przypisanie każdego zadania jednemu dostawcy pozostawia niewykorzystane wymierne kompromisy.
Czego benchmark nie dowodzi
Była to ocena prowadzona przez dostawcę, dotycząca jednego procesu roboczego, z ukrytymi tożsamościami modeli i celowo ograniczoną definicją dokładności.
Merlin stworzył Alchemy, przeprowadził benchmark, zaprojektował proces punktacji i opublikował interpretację. EDRM przedrukował artykuł z adnotacją, że przedstawione poglądy należały do autorów.
Nie unieważnia to tej pracy. Oznacza jednak, że czytelnicy powinni traktować ustalenia jako udokumentowaną ocenę dostawcy, a nie niezależne badanie porównawcze.
Ukryty klucz odpowiedzi tworzy kolejne ograniczenie. Anonimizacja chroniła oceniających przed uprzedzeniami wobec marek, lecz utrzymanie tajemnicy uniemożliwia publiczną analizę modeli na poziomie konkretnych modeli.
Czytelnicy nie mogą porównać zgłoszonych pozycji z innymi benchmarkami. Nie mogą też sprawdzić, czy znane zachowanie modelu wyjaśnia określony wzorzec dotyczący zakresu, szybkości lub błędów cytowania.
Benchmark wykorzystał dwa pytania zaczerpnięte z jednego zbioru spraw sądowych. Dwa pytania mogą ujawnić istotne tryby awarii, ale nie mogą reprezentować każdego zadania discovery ani każdej dziedziny prawa.
Zgłoszone przedziały ufności próbują uwzględnić tę niepewność. Jednak ponowne próbkowanie dwóch pytań nie może stworzyć różnorodności większego zestawu testowego obejmującego umowy, kwestie regulacyjne, przegląd uprzywilejowania, budowanie chronologii czy sprzeczne relacje świadków.
Modele najwyraźniej wykonały jeden oceniany przebieg w jednej konfiguracji. Powtarzane próby mogłyby ujawnić zmienność wyników, zwłaszcza gdy ustawienia generowania dopuszczają różne sformułowania lub wybór dowodów.
Materiały publiczne nie dostarczają również wystarczających informacji, aby niezależnie obliczyć łączny wpływ promptów, jakości podsumowań, ograniczeń wyszukiwania i konfiguracji modelu. Inny mechanizm aplikacji mógłby zmienić kolejność.
Co najważniejsze, wierność nie była synonimem poprawności prawnej. Test mierzył, czy stwierdzenia dało się prześledzić do źródeł oraz czy cytowania wskazywały właściwy materiał.
Nie oceniał jakości rozumowania prawnego. Nie ustalał, czy model zidentyfikował najważniejsze dowody, przekonująco pogodził sprzeczności lub przewidział argument przeciwnika.
Merlin bezpośrednio przyznał to ograniczenie. Model mógł uzyskać wysoką pozycję, wymieniając starannie poparte fakty i unikając trudnych wniosków, które czynią raport dochodzeniowy użytecznym.
Brak wykrytych konfabulacji również wymaga ostrożności. Oznacza, że proces ewaluacyjny nie znalazł żadnego konkretnego wymyślonego faktu w tych siedmiu raportach. Nie ustanawia zerowego wskaźnika halucynacji dla modeli, Alchemy ani prawnej AI w ogóle.
Wskaźnik awarii systemu zmienia się wraz z zadaniem. Otwarte badania, niekompletne zbiory, niejednoznaczne pytania i dokumenty o charakterze adversarialnym stwarzają inne presje niż kontrolowane ćwiczenie syntetyzujące.
Automatyczna ocena wprowadza własną niepewność. Dodatkowi sędziowie Merlina odwrócili trzy początkowe oznaczenia, pokazując, dlaczego pojedynczy model nie powinien pełnić roli niekwestionowanego ewaluatora.
Oceniający byli jednomyślni w sprawie 58 z 70 przeanalizowanych twierdzeń. To znaczna zgodność, ale pokazuje również, że klasyfikacja semantyczna pozostawała dyskusyjna.
Niezależny przegląd przeprowadzony przez prawników wzmocniłby dowody. Eksperci dziedzinowi mogliby ocenić, czy kategorie ewaluacyjne odpowiadały oczekiwaniom zawodowym oraz czy rzekomo poparte twierdzenie zachowało znaczenie źródła.
Profil generatywnej AI NIST podkreśla testowanie przed wdrożeniem, jednocześnie uznając, że ryzyka różnią się na poziomie modelu, aplikacji i ekosystemu. Benchmark Merlina ocenia wszystkie trzy warstwy łącznie, ale nie może ich w pełni odizolować.
Wynik powinien zatem zmienić zachowania zakupowe, nie kończąc jednak badania. Jest dowodem przeciwko selekcji opartej na cenie, a nie dowodem, że jeden anonimowy ekonomiczny model powinien zastąpić systemy frontier.
Trzy sygnały, które sprawdzą odwrócenie relacji kosztu do dokładności
Kolejnym testem będzie to, czy odwrócenie zaobserwowane przez Merlina przetrwa szersze zadania, niezależny przegląd i kolejne aktualizacje modeli.
Pierwszym sygnałem jest większy benchmark oceny. Merlin twierdzi, że tworzy inną ewaluację dla sprzecznych dowodów, rozumowania przyczynowego, istotności kwestii i przeciwstawnych argumentów.
Test ten ma znaczenie, ponieważ modele premium często uzasadniają wyższy koszt działania rozumowaniem, a nie mechaniką cytowań. Jeśli ekonomiczne modele pozostaną tam konkurencyjne, argument za domyślnym routingiem do modeli frontier znacząco osłabnie.
Jeśli systemy premium uzyskają wyraźną przewagę, obecny wynik będzie wyglądał bardziej jak specjalizacja zadań. Zespoły mogłyby wówczas rezerwować modele frontier dla złożonej syntezy, używając ekonomicznych systemów do raportowania opartego na dowodach.
Drugim sygnałem jest niezależna replikacja. Wiarygodne badanie kontynuacyjne powinno ujawnić prompty, ustawienia, wersje modeli, powtarzane przebiegi, kod punktacji i pakiet dokumentów do ponownego użycia tam, gdzie pozwalają na to licencje.
Powinno również obejmować prawników-recenzentów, którzy nie pracują dla dostawcy platformy. Zgodność między kontrolami deterministycznymi, automatycznymi sędziami i ekspertami dziedzinowymi wzmocniłaby metodę.
Replikacja mogłaby zachować anonimowość podczas oceniania, a następnie opublikować klucz etykiet. Taka konstrukcja zachowałaby ochronę przed uprzedzeniami wobec marek i dałaby nabywcom praktyczne dowody na poziomie modeli.
Trzecim sygnałem jest dryf wydajności po aktualizacjach modeli i platformy. Dostawcy często zmieniają snapshoty modeli, systemy inferencyjne i struktury cenowe. Zmieniają się również pipeline’y wyszukiwania i prompty do tworzenia podsumowań.
Merlin twierdzi, że nowe modele otrzymują ten sam test. Publikowanie stabilnego szeregu czasowego pokazałoby, czy rankingi się utrzymują, czy jedynie uchwyciły jeden korzystny snapshot.
Zespoły powinny obserwować więcej niż zwycięzcę. Zmiany w uszkodzonych cytowaniach, błędnie ukierunkowanych odwołaniach, zakresie, niezgodności ocen, opóźnieniach i czasie korekty ujawniłyby, czy proces roboczy się poprawia.
Benchmark modeli AI Merlina pozostawia nabywcom praktyczne wyzwanie. Przestań pytać, który model jest najlepszy w abstrakcji. Zdefiniuj pracę, zidentyfikuj kosztowne błędy i przeprowadź kontrolowaną ewaluację względem własnych dowodów.
Dla zespołów prawnych oznacza to sprawdzenie, czy cytowania istnieją, czy fragmenty wspierają twierdzenia oraz czy raport obejmuje kwestie, które mają znaczenie. Oznacza to również utrzymanie odpowiedzialności prawników za ostateczną ocenę.
Dla innych zespołów intensywnie korzystających z wiedzy pytanie jest podobne: czy system pomaga ludziom podjąć uzasadnioną decyzję, czy jedynie tworzy płynny tekst?
Dziewięciokrotna różnica kosztów stanowi zapadający w pamięć nagłówek. Trwała lekcja jest bardziej wymagająca. Mierz zadanie, audytuj łańcuch dowodowy, uwzględniaj niepewność i przeprowadzaj ponowne testy za każdym razem, gdy zmieniają się modele lub proces roboczy.
