DGrid sprawdza, czy agenci onchain mogą poprawić wybór modeli AI

DGrid zamienił wybór modeli w konkurs na żywo, mimo jednego nierozwiązanego konfliktu: jego automatyczni sędziowie to modele AI oceniające inne modele AI. Eksperyment ujawnił się za pośrednictwem relacji w google news powiązanej z CertiK, co poddało system agentów onchain DGrid szerszej analizie. DGrid twierdzi, że agenci porównują anonimowe odpowiedzi, rejestrują weryfikowalne tożsamości na BNB Chain i pomagają usprawniać decyzje dotyczące routingu.

To podejście dotyczy realnego problemu. Deweloperzy wybierają dziś spośród setek modeli o różnych mocnych stronach, profilach opóźnień, limitach kontekstu i kosztach działania. Router może dokonywać tego wyboru automatycznie, ale potrzebuje dowodów, który model najlepiej radzi sobie z każdym rodzajem zapytania.

DGrid chce, aby jego AI Arena dostarczała takich dowodów. Uczestnicy będący ludźmi oraz agenci skonfigurowani przez użytkowników otrzymują dwie anonimowe odpowiedzi na ten sam prompt, a następnie wybierają lepszą. Preferencje te mogą wpływać na rankingi modeli i, według DGrid, ostatecznie kierować zapytania do odpowiedniego modelu.

Główny konkurs nie toczy się między DGrid a jednym rywalem. Chodzi o automatyczną, nagradzaną ekonomicznie ocenę w zestawieniu z wolniejszym testowaniem preferencji ludzi. Głosy ludzi oferują kontekst i wyczucie, lecz ich zebranie jest kosztowne. Głosy agentów napływają na dużą skalę, ale mogą powielać te same uprzedzenia, które już wpływają na wyniki modeli.

To napięcie ma znaczenie wykraczające poza jeden projekt Web3. OpenRouter już oferuje automatyczny wybór modeli, podczas gdy LMArena wykorzystuje porównania dokonywane przez społeczność do ich rankingu. DGrid sprawdza, czy tożsamość onchain, nagrody i agenci-sędziowie mogą połączyć oba podejścia bez zniekształcania sygnału preferencji.

Google News zwróciło szerszą uwagę na eksperyment DGrid z routingiem

Ważna zmiana nie polega na tym, że DGrid zarejestrował agentów w blockchainie. Chodzi o to, że ich oceny stają się danymi wejściowymi dla odkrywania modeli i routingu.

DGrid uruchomił Arena for Agent jako rozszerzenie istniejącej platformy ślepych porównań. Uczestnik konfiguruje agenta, podając dostawcę API, klucz API i obsługiwany model. DGrid następnie wysyła temu agentowi zadania oceniające obejmujące dwie anonimowe odpowiedzi modeli.

Agent zwraca preferencję, a nie generuje pierwotne odpowiedzi. DGrid rozdziela zadanie, rejestruje wynik i aktualizuje saldo nagród agenta. Jego system oceny agentów obsługuje modele dostępne przez DGrid, OpenRouter, OpenAI, Google, Anthropic oraz innych wymienionych dostawców.

DGrid opisuje zamkniętą pętlę. Jeden system AI generuje pytanie, dwa modele na nie odpowiadają, a inny model AI wybiera lepszą odpowiedź. Wynikowa ocena trafia do danych o wydajności platformy.

W tym miejscu ujęcie google news wymaga ostrożności. Google News jest kanałem odkrywania dla przywołanego materiału CertiK, a nie deweloperem, operatorem ani standardem technicznym stojącym za eksperymentem. Podstawowymi tematami są Arena DGrid, tożsamości jego agentów oraz ambicje związane z routingiem modeli.

Każdy skonfigurowany ewaluator otrzymuje tożsamość zarejestrowaną przez ERC-8004 na BNB Chain. ERC-8004 to proponowany standard agentów definiujący rejestry tożsamości, reputacji i walidacji. Rekord tożsamości może sprawić, że agent będzie możliwy do odnalezienia, oraz połączyć go z publiczną opinią zwrotną.

Standard nie czyni agenta inteligentnym ani trafnym. Rejestruje, który agent wykonał działanie, i tworzy miejsce na dane dotyczące reputacji. Oficjalna specyfikacja ERC-8004 rozdziela tożsamość, reputację i walidację, ponieważ funkcje te rozwiązują różne problemy zaufania.

DGrid łączy także nagrody ekonomiczne z ukończonymi ocenami. Jego opublikowany opis wskazuje, że jakość zadania wpływa na przyznawane punkty i nakłada na każdego agenta dzienny limit zarobków. Taki układ zachęca właścicieli do utrzymywania dostępności agentów i konsekwentnego przesyłania ocen.

Jednak zapis transakcji dowodzi jedynie, że zarejestrowany uczestnik przesłał wynik. Nie dowodzi, że preferencja była poprawna, niezależna ani zgodna z potrzebami użytkownika będącego człowiekiem. Ta luka ustanawia główne pytanie eksperymentu DGrid.

Publiczna strona Arena DGrid przedstawia obecnie wskaźniki uczestnictwa dotyczące głosów, sędziów, modeli i aktywnych agentów. Są to liczniki pochodzące od samej firmy i nie zostały niezależnie zweryfikowane. Wskazują skalę deklarowaną przez DGrid, ale nie powinny być traktowane jako potwierdzone dowody jakości routingu.

Eksperyment zmienia zatem bardziej proces oceny niż same modele. DGrid próbuje przekształcić ciągłe oceny parami w sygnał routingu, który można wykorzystywać ponownie. To, czy sygnał ten poprawi wybór modeli, zależy od tego, jak platforma filtruje uprzedzenia, zmowę, powtarzalność i udział niskiej jakości.

Automatyczna ocena wywiera presję na testowanie preferencji ludzi

Agenci DGrid mogą tworzyć preferencje szybciej niż ludzie, ale szybkość ma znaczenie tylko wtedy, gdy uzyskane etykiety odzwierciedlają to, co użytkownicy rzeczywiście cenią.

Ślepe porównanie stało się wpływową metodą oceny modeli konwersacyjnych. Dwa systemy odpowiadają na ten sam prompt bez ujawniania swojej tożsamości. Głosujący wybiera preferowaną odpowiedź, co ogranicza wpływ reputacji marki.

LMArena pomogła ustanowić tę metodę z udziałem ludzi. Opublikowane badanie arena opisywało ponad 240 000 głosów w pierwotnym zbiorze danych artykułu. Badacze stwierdzili, że preferencje pozyskiwane od społeczności wykazywały istotną zgodność z ocenami ekspertów.

DGrid przejmuje anonimową strukturę porównań parami, ale zmienia to, kto oddaje wiele głosów. Agent może nieprzerwanie przetwarzać zadania i wielokrotnie stosować ten sam prompt oceniający. Taka spójność jest atrakcyjna, gdy platforma obejmuje liczne modele i każdego dnia otrzymuje nowe wyniki.

Wymuszoną odpowiedzią platform oceny prowadzonych przez ludzi nie musi być umieszczanie każdego głosu onchain. Muszą one pokazać, dlaczego oceny ludzi dostarczają informacji, których syntetyczni sędziowie nie potrafią odtworzyć. Mogą także potrzebować szybszych systemów hybrydowych, które rezerwują udział ludzi dla niejednoznacznych lub istotnych przypadków.

Scentralizowane routery odczuwają presję z innej strony. Usługi takie jak OpenRouter już analizują prompty i wybierają spośród wyselekcjonowanej puli modeli. Jego automatyczny router uwzględnia czynniki takie jak rodzaj zadania, złożoność promptu i możliwości modeli.

Proponowane przez DGrid rozróżnienie polega na pętli informacji zwrotnej. Zamiast opierać się wyłącznie na wewnętrznych benchmarkach lub centralnie zarządzanej polityce routingu, chce ono wykorzystywać preferencje sieci identyfikowalnych uczestników. Wśród nich mogą znajdować się ludzie i niezależnie skonfigurowani agenci.

Teoretycznie rozszerza to zasięg. Sędzia skoncentrowany na programowaniu mógłby ujawnić, który kandydat dobrze radzi sobie z pytaniami dotyczącymi repozytoriów. Inny agent mógłby specjalizować się w wielojęzycznym pisaniu lub ekstrakcji danych strukturalnych. Router mógłby uczyć się preferencji specyficznych dla zadań, zamiast polegać na jednej globalnej tabeli liderów.

W praktyce specjalizację należy wykazać, a nie wywnioskować na podstawie rejestracji agenta. DGrid potrzebuje wystarczającej liczby powtarzalnych, kontrolowanych ocen, aby ustalić, czy sędzia działa niezawodnie w danej kategorii. Model, który dobrze ocenia krótkie odpowiedzi faktograficzne, może zawodzić przy analizie prawnej, humorze lub długiej syntezie.

Liczy się również źródło promptów. Router trenowany głównie na prostych pytaniach może wydawać się trafny, a jednocześnie zawodzić przy pracy, którą deweloperzy rzeczywiście mu powierzają. DGrid twierdzi, że jego system korzysta z agentów układających pytania, co wprowadza kolejną zautomatyzowaną warstwę do potoku danych.

Syntetyczne prompty mogą szybko rozszerzyć testowanie, lecz mogą odzwierciedlać nawyki modeli, które je generują. Podobne sformułowania, znajome wzorce benchmarków lub wąski zakres tematów mogą sprawiać, że modele-kandydaci wyglądają na bardziej zdolne, niż są w środowisku produkcyjnym.

Prompty ludzi zawierają niepełny kontekst, nietypowe ograniczenia, literówki, zmieniające się intencje i wiedzę lokalną. Te niedoskonałości nie są szumem, który należy usunąć. Stanowią część środowiska, z którym użyteczny router musi sobie radzić.

Najsilniejsza wersja podejścia DGrid jest zatem hybrydowa. Agenci zapewniają szeroki, powtarzalny zasięg, podczas gdy ludzie kalibrują system w przypadkach subiektywnych i trudnych. Własna Arena DGrid obejmuje oba tryby uczestnictwa, co daje jej możliwą drogę do takiej równowagi.

Dla deweloperów korzyść byłaby konkretna. Aplikacja mogłaby wysłać rutynowe żądanie klasyfikacji do małego modelu, skierować złożone zadanie planowania gdzie indziej i zachować rozwiązanie awaryjne na wypadek awarii dostawcy. Zespoły poświęcałyby mniej czasu na utrzymywanie reguł specyficznych dla modeli.

Mimo to wybór modelu nie może zależeć wyłącznie od jakości odpowiedzi. Systemy produkcyjne uwzględniają także opóźnienia, dostępność, długość kontekstu, polityki dotyczące danych, obsługę narzędzi i przewidywalne zachowanie. Sygnał routingu DGrid musi połączyć dane o preferencjach z tymi ograniczeniami operacyjnymi.

Tożsamość onchain nie może zweryfikować rozumowania sędziego AI

DGrid może zapewnić możliwość prześledzenia ewaluatora, nie czyniąc jego oceny godną zaufania, co stanowi definiujący kompromis tego eksperymentu.

ERC-8004 zapewnia DGrid ustrukturyzowany sposób identyfikacji agentów. Standard wykorzystuje rejestr tożsamości i obsługuje powiązane rekordy reputacji lub walidacji. Może to pomóc odróżnić trwałych uczestników od jednorazowych, anonimowych kont.

Jest to przydatne dla rozliczalności. Jeśli agent wielokrotnie nie zgadza się z zaufanymi ocenami referencyjnymi, system może zmniejszyć jego wpływ. Jeśli dobrze radzi sobie w kontrolowanych zadaniach, jego reputacja może stać się cenniejsza.

Tożsamość jest jednak tylko pierwszą warstwą. Właściciel może zarejestrować agenta, a następnie zmienić model, prompt, konfigurację API lub otaczającą go logikę. Własny opis DGrid pozwala użytkownikom aktualizować ustawienia API po utworzeniu agenta, podczas gdy tożsamość onchain pozostaje na miejscu.

Tworzy to problem ciągłości. Wynik reputacji może opisywać kilka różnych konfiguracji ewaluatora działających pod jedną nazwą. Jeśli każda istotna zmiana konfiguracji nie zostanie zarejestrowana i uwzględniona w punktacji, użytkownicy nie mogą wiedzieć, która wersja zdobyła reputację.

Istnieje także granica weryfikacji między łańcuchem a dostawcą modelu. Większość komercyjnych wywołań modeli odbywa się offchain za pośrednictwem prywatnych API. Zapis blockchain nie może niezależnie ustalić, który model przetworzył zadanie, jaki prompt systemowy otrzymał ani czy zwrócona ocena została zmieniona przed przesłaniem.

Metody walidacji mogą zmniejszyć tę lukę. Zaufane środowiska wykonawcze, dowody kryptograficzne, podpisane potwierdzenia dostawców lub odtwarzalne wnioskowanie z otwartych modeli mogą zapewnić silniejsze dowody. Każda z metod zwiększa koszt, złożoność lub wymagania sprzętowe.

Szersze materiały techniczne DGrid opisują Proof of Quality, czyli PoQ, jako ramy oceny wyników wnioskowania pod względem zgodności z trafnością, spójności odpowiedzi, zgodności formatu i powiązanych sygnałów. Jego litepaper sieci opisuje także przesyłanie logów i wyników jakości w celu tworzenia audytowalnych rekordów.

Są to deklaracje projektowe DGrid, a nie niezależne potwierdzenie, że każda ocena Arena otrzymuje pełną weryfikację kryptograficzną. Publiczna dokumentacja nie zawiera jeszcze wystarczających szczegółów, aby odtworzyć pełną metodę punktacji lub zmierzyć jej wskaźnik błędów dla różnych modeli sędziowskich.

To rozróżnienie ma znaczenie, ponieważ sędzia AI może przedstawić błąd, który da się idealnie prześledzić. Może faworyzować dłuższą odpowiedź, powielać stylistyczne preferencje dostawcy, przeoczyć subtelny błąd rzeczowy lub wybrać niebezpieczną odpowiedź, która brzmi pewnie.

Bodźce ekonomiczne mogą pogłębiać ten problem, jeśli platforma zbyt bezpośrednio nagradza zgodność. Właściciel agenta może optymalizować pod kątem odpowiedzi zgodnej z konsensusem, a nie najlepszej odpowiedzi. Gdy uczestnicy nauczą się, które style zwykle wygrywają, mogą generować przewidywalne głosy bez przeprowadzania starannej oceny.

Przypomina to problem, z którym mierzą się internetowe systemy reputacji. Publiczne rejestry zniechęcają do części nadużyć, ale uczestnicy nadal mogą koordynować działania, naśladować skuteczne zachowania lub tworzyć wiele tożsamości, gdy oczekiwane nagrody przewyższają koszty rejestracji.

Projekt onchain DGrid może pomóc badaczom dostrzec wzorce, które prywatna baza danych mogłaby ukryć. Analitycy mogliby badać powtarzające się relacje głosowania, koncentrację nagród lub podejrzane klastry. Przejrzystość wspiera audyt, ale nie przeprowadza go automatycznie.

Prywatność rodzi kolejną obawę. Zapytania do modeli często zawierają zastrzeżony kod, dane osobowe, dokumenty biznesowe lub wewnętrzne instrukcje. Rejestrowanie pełnych promptów i wyników w publicznym łańcuchu byłoby nieodpowiednie dla wielu zastosowań korporacyjnych.

Praktyczny system powinien rejestrować zobowiązania, hashe, potwierdzenia płatności lub ograniczone metadane, pozostawiając wrażliwe treści poza łańcuchem. Potrzebuje także jasnych zasad retencji danych ewaluacyjnych przechowywanych offchain. Trwałość onchain nie usuwa tradycyjnych obowiązków związanych z bezpieczeństwem.

Dla kupujących pytanie nie brzmi, czy blockchain występuje w architekturze. Chodzi o to, czy system potrafi pokazać wiarygodny łańcuch od klasyfikacji zadania przez wybór kandydatów i ocenę po decyzję o routingu oraz zaobserwowany wynik produkcyjny.

Te dowody muszą pozostawać zrozumiałe dla operatorów. Zespół diagnozujący słabą odpowiedź musi wiedzieć, dlaczego router wybrał dany model. Niezmienny identyfikator agenta niewiele pomaga, jeśli polityka decyzyjna pozostaje nieprzejrzysta.

Rzeczywistym ryzykiem jest wzmacnianie uprzedzeń AI przez sędziów AI

Eksperyment poniesie porażkę, jeśli głosy agentów staną się samopotwierdzającym sygnałem nagradzającym znane zachowania modeli zamiast wyników dla użytkowników.

Ocena LLM-as-a-judge jest użyteczna, ponieważ zdolne modele mogą porównywać odpowiedzi przy ułamku nakładu wymaganego od ekspertów. Badacze wiedzą jednak również, że tacy sędziowie wykazują systematyczne preferencje.

Jednym z udokumentowanych problemów jest uprzedzenie pozycyjne. Sędzia może faworyzować odpowiedź wyświetlaną jako pierwsza lub druga, nawet gdy jej treść pozostaje bez zmian. Badacze analizujący 12 modeli sędziowskich w ponad 100 000 przypadków ewaluacyjnych stwierdzili, że efekty pozycji różniły się zależnie od zadania i sędziego.

Te same badania wykazały, że różnica jakości między odpowiedziami wpływała na skalę tego efektu. Wyraźne niedopasowania są łatwiejsze do oceny. Wyrównane pojedynki pozostawiają więcej miejsca, by na wynik wpływały nieistotne cechy prezentacji.

Kolejnym problemem jest uprzedzenie stylistyczne. Sędzia może nagradzać pewny język, sztywne formatowanie, długość lub szczegółowość wyjaśnień, nawet gdy te cechy nie poprawiają trafności faktograficznej. Modele kandydujące mogą wtedy optymalizować pod widoczne preferencje ewaluatorów.

Szczególnie istotne dla DGrid ryzyko stanowi preferowanie własnego stylu. Agent oparty na jednej rodzinie modeli może faworyzować odpowiedzi przypominające styl lub schemat rozumowania tej rodziny. Jeśli wielu uczestników skonfiguruje tego samego popularnego sędziego, powstałe rankingi mogą odziedziczyć skoncentrowaną perspektywę.

DGrid może ograniczać te efekty przez losowanie kolejności odpowiedzi i ocenianie zamienionych par. Może korzystać z wielu rodzin sędziów, mierzyć niezgodność między oceniającymi, wstawiać zweryfikowane zadania kontrolne oraz oddzielać kategorie obiektywne od subiektywnych.

Platforma musi również ujawnić, jak rozstrzyga konflikty. Głosowanie większościowe jest łatwe do zrozumienia, ale większość skorelowanych sędziów nie jest równoważna niezależnym dowodom. Dziesięciu agentów korzystających z tego samego bazowego modelu może wnosić mniej informacji niż trzech rzeczywiście różnych ewaluatorów.

Projekt nagród wymaga podobnej kontroli. DGrid twierdzi, że punkty powiązane z jakością zachęcają do lepszego osądu, lecz jakość potrzebuje zewnętrznego punktu odniesienia. Jeśli platforma definiuje jakość głównie jako zgodność z innymi, skoordynowane lub jednorodne agenty mogą zdominować sygnał.

Takim punktem odniesienia może być kalibracja z udziałem ludzi. Eksperci mogą przeglądać próbkę spornych porównań, podczas gdy zwykli użytkownicy mogą wnosić preferencje dotyczące użyteczności konwersacyjnej. Te etykiety mogą ujawnić, gdzie zautomatyzowany konsensus odbiega od ludzkich oczekiwań.

Jednak głosy ludzi również zawierają uprzedzenia i niespójne standardy. Użyteczny system ewaluacji nie powinien idealizować żadnej ze stron. Powinien mierzyć niezgodność i dopasowywać populację sędziów do zastosowania.

Router do streszczania treści medycznych potrzebuje na przykład oceny faktograficznej i bezpieczeństwa od wykwalifikowanych recenzentów. Router do kreatywnego pisania potrzebuje preferencji odbiorców, a nie jednej rzekomo poprawnej odpowiedzi. Router do kodowania potrzebuje wykonywalnych testów obok oceny stylistycznej.

Dlatego jeden globalny ranking modeli nie może rozwiązać problemu automatycznego wyboru. Routing wymaga warunkowych dowodów: który model sprawdza się w tym zadaniu, przy tych ograniczeniach, dla tej populacji użytkowników? Arena DGrid może dostarczać danych, ale tylko jeśli zachowuje te rozróżnienia.

Publiczny interfejs platformy podkreśla zagregowane głosy i rankingi. Zagregowana aktywność może przyciągać uczestników, lecz niewiele mówi o przedziałach ufności, pokryciu kategorii, różnorodności sędziów czy odporności na manipulację.

Deweloperzy oceniający usługę powinni poprosić o te szczegóły, zanim zaczną polegać na automatycznym routingu. Powinni także zachować listy dozwolonych modeli, kontrolę wydatków, rejestrowanie zdarzeń i deterministyczne mechanizmy awaryjne. Router powinien pozostać komponentem polityki, a nie niezweryfikowanym autorytetem.

Zespoły gromadzące własne ewaluacje potrzebują porównywalnej dyscypliny. Przeszukiwalna baza wiedzy AI może pomóc zachować prompty, decyzje i notatki recenzentów, ale kryteria oceny nadal wymagają świadomego zaprojektowania.

Najcenniejszym rezultatem DGrid może nie być uniwersalna tabela liderów. Może nim być przejrzysty zbiór danych pokazujący, kiedy agenci się nie zgadzają, którzy sędziowie pozostają wiarygodni i jak preferencje zmieniają się między zadaniami.

Taki rezultat uczyniłby system bardziej użytecznym, nawet gdyby w pełni autonomiczne ocenianie okazało się nierealistyczne. Niezgodność jest informacją. Ukrywanie jej za jednym wynikiem routingu zmarnowałoby najsilniejszy potencjalny wkład eksperymentu.

Trzy sygnały pokażą, czy DGrid poprawia wybór modeli

DGrid potrzebuje teraz powtarzalnych dowodów, zróżnicowanego rzeczywistego użycia i mierzalnych zysków z routingu, a nie większych liczników uczestnictwa.

Pierwszym sygnałem jest publiczna metodologia ewaluacji zawierająca wystarczająco dużo szczegółów do niezależnego testowania. DGrid powinien zdefiniować dobór promptów, losowanie odpowiedzi, ważenie sędziów, zadania kontrolne, obsługę niezgodności oraz odporność na zduplikowane agenty.

Powtarzalny benchmark wzmocniłby główną tezę. Niezależni badacze mogliby porównać rankingi DGrid wyprowadzone z danych agentów z etykietami ekspertów i ludzkimi głosami w Arena. Silna zgodność w kilku kategoriach zadań wspierałaby zautomatyzowane podejście.

Duża niezgodność nie zdyskredytowałaby go automatycznie. Istotne byłoby pytanie, czy DGrid identyfikuje tę niepewność i zapobiega kontrolowaniu routingu produkcyjnego przez słabe sygnały. Wstrzymanie się uwzględniające pewność może być bardziej użyteczne niż wymuszona odpowiedź.

Eksperyment straciłby wiarygodność, gdyby metodologia pozostała nieprzejrzysta, podczas gdy liczniki aktywności własnej nadal rosły. Więcej głosów nie rozwiązuje problemu skorelowanych uprzedzeń. Może go wzmacniać.

Drugim sygnałem jest skład uczestników Arena. DGrid powinien ujawnić rozkład modeli sędziowskich, dostawców, kategorii zadań, regionów i powracających uczestników, bez ujawniania prywatnych informacji.

Zróżnicowana pula sędziów wzmocniłaby argument, że agenci onchain wnoszą niezależne perspektywy. Koncentracja wokół jednego dostawcy lub jednej strategii nagradzania by go osłabiła. To samo dotyczy promptów generowanych przez wąską rodzinę modeli tworzących pytania.

Udział ludzi pozostaje tu istotny. Publiczna AI Arena DGrid pozwala ludziom porównywać anonimowe odpowiedzi obok ewaluatorów-agentów. Relacja między tymi dwoma strumieniami głosów ma większe znaczenie niż ich łączna liczba.

Platforma powinna raportować, gdzie ludzie i agenci są zgodni, gdzie się różnią oraz która strona przewiduje późniejszą satysfakcję użytkowników. To przekształciłoby jej hybrydowy projekt w empiryczną przewagę.

Trzecim sygnałem jest wydajność routingu produkcyjnego. DGrid musi pokazać, że dane o preferencjach poprawiają wyniki rzeczywistych zapytań w porównaniu z prostszymi punktami odniesienia. Powinny one obejmować ręczny wybór modeli, statyczne reguły, losowy wybór spośród kwalifikujących się modeli i scentralizowany automatyczny router.

Użyteczne miary obejmują powodzenie zadania, wskaźnik korekt, opóźnienie, częstotliwość użycia mechanizmów awaryjnych i nadpisania przez użytkowników. Koszt może być częścią porównania, nie sprowadzając jakości do najtańszej dostępnej odpowiedzi.

Kontrolowane badanie mogłoby kierować podobne zapytania przez różne polityki, a następnie oceniać wyniki zarówno za pomocą obiektywnych testów, jak i zaślepionych recenzentów. Rezultat powinien wskazywać, które obciążenia zyskują, zamiast prezentować jedną uniwersalną liczbę poprawy.

W tym miejscu brama DGrid i Arena albo się łączą, albo pozostają oddzielnymi produktami. Brama reklamuje dostęp do ponad 200 modeli i inteligentny routing. Arena twierdzi, że głosy uczą mądrzejszych decyzji routingowych.

DGrid nie opublikował jeszcze wystarczającej ilości niezależnych dowodów, aby ustalić, w jakim stopniu te głosy poprawiają wybór na żywo. Brakującym ogniwem jest zmierzone porównanie przed i po, wykorzystujące ujawnione obciążenia.

Widoczność CertiK może zwiększać kontrolę, ale nie należy mylić jej z audytem metody ewaluacji. Profil DGrid w CertiK zawiera informacje o bezpieczeństwie i dojrzałości, wskazując jednocześnie, że audyt kodu CertiK nie był dostępny w indeksowanym profilu. Monitorowanie bezpieczeństwa i walidacja jakości modeli to odrębne oceny.

Szerszy rynek również dostarczy testu. Scentralizowane usługi routingu mogą szybko się aktualizować, korzystać z prywatnych danych produkcyjnych i unikać narzutu blockchaina. DGrid musi wykazać, że otwarte uczestnictwo i możliwa do prześledzenia tożsamość tworzą informacje, których te systemy nie potrafią gromadzić równie skutecznie.

Jeśli DGrid opublikuje powtarzalne zyski, zademonstruje różnorodność sędziów i połączy preferencje Arena z lepszymi wynikami produkcyjnymi, jego eksperyment wesprze nowy model routingu. Agenci onchain będą wtedy pełnić rolę rozliczalnych współtwórców, a nie dekoracyjnych blockchainowych tożsamości.

Jeśli te sygnały się nie pojawią, projekt może nadal prowadzić aktywną platformę nagród. Nie wykaże jednak, że głosy agentów wybierają lepsze modele.

Czytelnicy trafiający tu przez google news powinni śledzić łańcuch dowodów, a nie nagłówek o uczestnictwie. Czy DGrid potrafi pokazać, kto oceniał, jak kontrolowano uprzedzenia i czy aplikacje otrzymały lepsze odpowiedzi? Te trzy pytania zdecydują, czy stanie się to użyteczną infrastrukturą AI, czy kolejną samoodnoszącą się pętlą ewaluacyjną.