DGrid Testa se Agentes Onchain Podem Melhorar a Seleção de Modelos de IA

A DGrid transformou a seleção de modelos em uma competição ao vivo, apesar de um conflito ainda não resolvido: seus juízes automatizados são modelos de IA avaliando outros modelos de IA. O experimento ganhou destaque por meio de cobertura no Google News vinculada à CertiK, colocando o sistema de agentes onchain da DGrid sob um escrutínio mais amplo. A DGrid afirma que esses agentes comparam respostas anônimas, registram identidades verificáveis na BNB Chain e ajudam a melhorar suas decisões de roteamento.

A abordagem mira um problema real. Desenvolvedores agora escolhem entre centenas de modelos com diferentes pontos fortes, perfis de latência, limites de contexto e custos operacionais. Um roteador pode fazer essa escolha automaticamente, mas precisa de evidências sobre qual modelo tem melhor desempenho para cada tipo de solicitação.

A DGrid quer que sua AI Arena forneça essas evidências. Participantes humanos e agentes configurados por usuários recebem duas respostas anônimas ao mesmo prompt e, em seguida, selecionam a melhor. Essas preferências podem influenciar os rankings dos modelos e, segundo a DGrid, futuramente direcionar solicitações para um modelo adequado.

A disputa central não é entre a DGrid e um único rival. É entre uma avaliação automatizada, incentivada economicamente, e testes mais lentos de preferência humana. Votos humanos oferecem contexto e gosto, mas são caros de coletar. Votos de agentes chegam em escala, mas podem reproduzir os mesmos vieses que já afetam os resultados dos modelos.

Essa tensão importa para além de um único projeto Web3. O OpenRouter já oferece seleção automática de modelos, enquanto o LMArena usa comparações humanas crowdsourced para classificar modelos. A DGrid está testando se identidade onchain, recompensas e agentes juízes podem combinar as duas abordagens sem corromper o sinal de preferência.

Google News Coloca o Experimento de Roteamento da DGrid em um Holofote Mais Amplo

A mudança importante não é que a DGrid registrou agentes em uma blockchain. É que seus julgamentos estão se tornando insumos para a descoberta e o roteamento de modelos.

A DGrid lançou o Arena for Agent como uma extensão de sua plataforma existente de comparação às cegas. Um participante configura um agente com um provedor de API, chave de API e modelo compatível. A DGrid então envia a esse agente tarefas de avaliação envolvendo duas respostas anônimas de modelos.

O agente retorna uma preferência, em vez de produzir as respostas originais. A DGrid distribui a tarefa, registra o resultado e atualiza o saldo de recompensas do agente. Seu sistema de avaliação de agentes oferece suporte a modelos acessados pela DGrid, OpenRouter, OpenAI, Google, Anthropic e outros provedores listados.

A DGrid descreve um ciclo fechado. Um sistema de IA gera uma pergunta, dois modelos a respondem e outro modelo de IA escolhe a melhor resposta. O julgamento resultante alimenta os dados de desempenho da plataforma.

É aqui que o enquadramento do Google News exige cautela. O Google News é o canal de descoberta do item da CertiK mencionado, não o desenvolvedor, operador ou padrão técnico por trás do experimento. Os temas subjacentes são a Arena da DGrid, suas identidades de agentes e suas ambições de roteamento de modelos.

Cada avaliador configurado recebe uma identidade registrada por meio do ERC-8004 na BNB Chain. O ERC-8004 é um padrão proposto para agentes que define registros de identidade, reputação e validação. O registro de identidade pode tornar um agente descoberto e conectá-lo a feedback público.

O padrão não torna um agente inteligente ou preciso. Ele registra qual agente atuou e cria um espaço para dados de reputação. A especificação oficial do ERC-8004 separa identidade, reputação e validação porque essas funções resolvem problemas de confiança distintos.

A DGrid também vincula recompensas econômicas às avaliações concluídas. Sua descrição publicada afirma que a qualidade da tarefa afeta a atribuição de pontos e estabelece um limite diário de ganhos para cada agente. Esse arranjo incentiva os proprietários a manter os agentes disponíveis e enviar julgamentos de forma consistente.

No entanto, um registro de transação apenas prova que um participante registrado enviou um resultado. Ele não prova que a preferência estava correta, era independente ou alinhada às necessidades de um usuário humano. Essa lacuna define a questão central do experimento da DGrid.

A página pública da Arena da DGrid apresenta atualmente números de participação para votos, juízes, modelos e agentes ativos. Esses números são contadores próprios e não foram auditados de forma independente. Eles indicam a escala alegada pela DGrid, mas não devem ser tratados como evidência verificada da qualidade do roteamento.

O experimento, portanto, muda mais o pipeline de avaliação do que os modelos subjacentes. A DGrid tenta converter julgamentos contínuos em pares em um sinal de roteamento reutilizável. Se esse sinal melhora a seleção de modelos depende de como a plataforma filtra vieses, conluio, repetição e participação de baixa qualidade.

A Avaliação Automatizada Pressiona os Testes de Preferência Humana

Os agentes da DGrid podem produzir preferências mais rapidamente que as pessoas, mas a velocidade só importa quando os rótulos resultantes representam o que os usuários realmente valorizam.

A comparação às cegas tornou-se um método influente para avaliar modelos conversacionais. Dois sistemas respondem ao mesmo prompt sem exibir suas identidades. Um votante seleciona a resposta preferida, reduzindo a influência da reputação da marca.

O LMArena ajudou a consolidar esse método com participantes humanos. Sua pesquisa sobre a arena descreveu mais de 240.000 votos no conjunto de dados original do artigo. Os pesquisadores relataram que as preferências crowdsourced mostraram concordância significativa com avaliadores especialistas.

A DGrid toma emprestada a estrutura anônima e em pares, mas altera quem emite muitos dos votos. Um agente pode processar tarefas continuamente e aplicar repetidamente o mesmo prompt de avaliação. Essa consistência é atraente quando uma plataforma abrange numerosos modelos e recebe novos resultados todos os dias.

A resposta inevitável para plataformas de avaliação lideradas por humanos não é necessariamente colocar todos os votos onchain. Elas precisam mostrar por que julgamentos humanos fornecem informações que juízes sintéticos não conseguem reproduzir. Também podem precisar de sistemas híbridos mais rápidos, que reservem as pessoas para casos ambíguos ou de alto impacto.

Roteadores centralizados enfrentam pressão de outra direção. Serviços como o OpenRouter já analisam prompts e selecionam a partir de um conjunto curado de modelos. Seu roteador automático considera fatores como tipo de tarefa, complexidade do prompt e capacidades do modelo.

A distinção proposta pela DGrid é o ciclo de feedback. Em vez de depender apenas de benchmarks internos ou de uma política de roteamento gerenciada centralmente, ela quer preferências de uma rede de participantes identificáveis. Esses participantes podem incluir humanos e agentes configurados de forma independente.

Em teoria, isso amplia a cobertura. Um juiz focado em programação pode revelar qual candidato lida bem com perguntas sobre repositórios. Outro agente pode se especializar em redação multilíngue ou extração estruturada. O roteador poderia aprender preferências específicas por tarefa, em vez de depender de um único ranking global.

Na prática, a especialização deve ser demonstrada, não inferida a partir do registro de um agente. A DGrid precisa de avaliações controladas suficientes e repetidas para determinar se um juiz atua de forma confiável dentro de uma categoria. Um modelo que avalia bem respostas factuais curtas pode falhar em análise jurídica, humor ou síntese de textos longos.

A origem dos prompts também importa. Um roteador treinado sobretudo com perguntas simples pode parecer preciso e ainda falhar no trabalho que os desenvolvedores realmente enviam. A DGrid afirma que seu sistema usa agentes de formulação de perguntas, o que introduz outra camada automatizada ao pipeline de dados.

Prompts sintéticos podem expandir os testes rapidamente, mas podem refletir os hábitos dos modelos que os geram. Formulações semelhantes, padrões de benchmark familiares ou cobertura temática restrita podem fazer modelos candidatos parecerem mais capazes do que são em produção.

Prompts humanos contêm contexto incompleto, restrições incomuns, erros de digitação, intenções variáveis e conhecimento local. Essas imperfeições não são ruído a ser removido. Elas fazem parte do ambiente que um roteador útil precisa lidar.

A versão mais forte da abordagem da DGrid é, portanto, híbrida. Agentes fornecem cobertura ampla e repetível, enquanto humanos oferecem calibração para casos subjetivos e difíceis. A própria Arena da DGrid inclui os dois modos de participação, oferecendo-lhe uma possível rota para esse equilíbrio.

Para desenvolvedores, o benefício seria concreto. Uma aplicação poderia enviar uma solicitação rotineira de classificação para um modelo pequeno, rotear uma tarefa complexa de planejamento para outro lugar e manter uma alternativa caso um provedor falhe. As equipes gastariam menos tempo mantendo regras específicas para cada modelo.

Ainda assim, a seleção de modelos não pode depender apenas da qualidade das respostas. Sistemas em produção também se preocupam com latência, disponibilidade, comprimento do contexto, políticas de dados, suporte a ferramentas e comportamento previsível. O sinal de roteamento da DGrid precisa conectar dados de preferência a essas restrições operacionais.

A Identidade Onchain Não Pode Verificar o Raciocínio de um Juiz de IA

A DGrid pode tornar um avaliador rastreável sem tornar seu julgamento confiável, o que é o trade-off definidor do experimento.

O ERC-8004 oferece à DGrid uma forma estruturada de identificar agentes. O padrão usa um registro de identidade e oferece suporte a registros associados de reputação ou validação. Isso pode ajudar a distinguir participantes persistentes de contas descartáveis e anônimas.

Isso é útil para a responsabilização. Se um agente discordar repetidamente de julgamentos de referência confiáveis, o sistema pode reduzir sua influência. Se tiver bom desempenho em tarefas controladas, sua reputação pode se tornar mais valiosa.

Ainda assim, a identidade é apenas a primeira camada. Um proprietário pode registrar um agente e, depois, alterar o modelo, o prompt, a configuração de API ou a lógica ao redor. A própria descrição da DGrid permite que usuários atualizem configurações de API após a criação, enquanto a identidade onchain permanece no lugar.

Isso cria um problema de continuidade. Uma pontuação de reputação pode descrever várias configurações diferentes de avaliador operando sob um único nome. A menos que cada alteração relevante de configuração seja registrada e incorporada à pontuação, os usuários não podem saber qual versão conquistou a reputação.

Também há uma fronteira de verificação entre a cadeia e o provedor de modelos. A maioria das chamadas a modelos comerciais acontece offchain, por meio de APIs privadas. Um registro em blockchain não pode estabelecer de forma independente qual modelo processou uma tarefa, qual prompt de sistema recebeu ou se o julgamento retornado foi alterado antes do envio.

Métodos de validação podem reduzir essa lacuna. Ambientes de execução confiáveis, provas criptográficas, recibos assinados pelos provedores ou inferência reproduzível de modelos abertos podem oferecer evidências mais fortes. Cada método adiciona custo, complexidade ou requisitos de hardware.

Os materiais técnicos mais amplos da DGrid descrevem o Proof of Quality, ou PoQ, como uma estrutura para avaliar resultados de inferência por meio de alinhamento de precisão, consistência das respostas, conformidade de formato e sinais relacionados. Seu litepaper da rede também descreve o envio de logs e pontuações de qualidade para registros auditáveis.

Essas são alegações de design da DGrid, não uma confirmação independente de que cada julgamento da Arena recebe verificação criptográfica completa. A documentação pública ainda não fornece detalhes suficientes para reproduzir o método completo de pontuação ou medir sua taxa de erro entre modelos juízes.

A distinção é importante porque um juiz de IA pode apresentar um erro perfeitamente rastreável. Ele pode favorecer uma resposta mais longa, repetir as preferências estilísticas de um provedor, não perceber um erro factual sutil ou selecionar uma resposta insegura que soa confiante.

Os incentivos econômicos podem piorar isso se a plataforma recompensar o consenso de forma direta demais. O proprietário de um agente pode otimizar para a resposta consensual, em vez da melhor resposta. Quando os participantes aprendem quais estilos geralmente vencem, eles podem produzir votos previsíveis sem realizar uma avaliação cuidadosa.

Isso se assemelha ao problema enfrentado pelos sistemas de reputação online. Registros públicos desencorajam alguns abusos, mas os participantes ainda podem se coordenar, imitar comportamentos bem-sucedidos ou criar múltiplas identidades quando as recompensas esperadas superam os custos de registro.

O design onchain da DGrid pode ajudar investigadores a enxergar padrões que um banco de dados privado poderia ocultar. Analistas poderiam examinar relações de votação recorrentes, concentração de recompensas ou agrupamentos suspeitos. A transparência favorece a auditoria, mas não realiza a auditoria automaticamente.

A privacidade introduz outra preocupação. Solicitações a modelos frequentemente contêm código proprietário, dados pessoais, documentos empresariais ou instruções internas. Registrar prompts e resultados completos em uma cadeia pública seria inadequado para muitos usos corporativos.

Um sistema prático deve registrar compromissos, hashes, comprovantes de pagamento ou metadados limitados, mantendo o conteúdo sensível offchain. Ele também precisa de políticas claras de retenção para os dados de avaliação offchain. A permanência onchain não elimina as obrigações convencionais de segurança.

Para os compradores, a questão não é se o blockchain aparece na arquitetura. É se o sistema consegue demonstrar uma cadeia confiável desde a classificação da tarefa até a seleção de candidatos, avaliação, decisão de roteamento e resultado observado em produção.

Essa evidência precisa continuar compreensível para os operadores. Uma equipe que depura uma resposta ruim precisa saber por que o roteador selecionou um modelo. Um identificador imutável de agente pouco ajuda se a política de decisão continuar opaca.

O Risco Real É Juízes de IA Reforçarem Viés de IA

O experimento falha se os votos dos agentes se tornarem um sinal autorreferencial que recompensa comportamentos familiares dos modelos em vez dos resultados para os usuários.

A avaliação de LLM-como-juiz é útil porque modelos capazes podem comparar respostas por uma fração do esforço exigido de revisores especialistas. Pesquisadores também sabem que esses juízes exibem preferências sistemáticas.

Um problema documentado é o viés de posição. Um juiz pode favorecer a resposta que aparece primeiro ou em segundo lugar, mesmo quando o conteúdo permanece inalterado. Pesquisadores que estudaram 12 modelos juízes em mais de 100.000 instâncias de avaliação descobriram que os efeitos de posição variavam conforme a tarefa e o juiz.

A mesma pesquisa constatou que a diferença de qualidade entre as respostas influenciava a magnitude do efeito. Incompatibilidades claras são mais fáceis de julgar. Disputas acirradas deixam mais espaço para que recursos irrelevantes de apresentação afetem o resultado.

Outro problema é o viés de estilo. Um juiz pode recompensar linguagem confiante, formatação rígida, extensão ou detalhamento explicativo, mesmo quando esses traços não melhoram a precisão factual. Modelos candidatos podem então otimizar para as preferências visíveis dos avaliadores.

A autopreferência apresenta um risco particularmente relevante para a DGrid. Um agente movido por uma família de modelos pode favorecer respostas semelhantes ao estilo ou padrão de raciocínio dessa família. Se muitos participantes configurarem o mesmo juiz popular, os rankings resultantes poderão herdar uma perspectiva concentrada.

A DGrid pode reduzir esses efeitos ao randomizar a ordem das respostas e avaliar pares invertidos. Pode usar múltiplas famílias de juízes, medir a divergência entre avaliadores, inserir tarefas de controle verificadas e separar categorias objetivas das subjetivas.

A plataforma também precisa divulgar como resolve conflitos. Uma votação majoritária é fácil de entender, mas uma maioria de juízes correlacionados não equivale a evidência independente. Dez agentes usando o mesmo modelo subjacente podem contribuir com menos informação do que três avaliadores genuinamente diferentes.

O desenho das recompensas exige escrutínio semelhante. A DGrid afirma que pontos vinculados à qualidade incentivam julgamentos melhores, mas a qualidade precisa de uma referência externa. Se a plataforma definir qualidade principalmente como concordância entre pares, agentes coordenados ou homogêneos poderão dominar o sinal.

A calibração humana pode fornecer essa referência. Especialistas podem revisar uma amostra de comparações contestadas, enquanto usuários comuns podem contribuir com preferências sobre utilidade conversacional. Esses rótulos podem revelar onde o consenso automatizado se afasta das expectativas humanas.

No entanto, votos humanos também contêm vieses e padrões inconsistentes. Um sistema de avaliação útil não deve romantizar nenhum dos lados. Ele deve medir a divergência e adequar a população de juízes à aplicação.

Um roteador de resumos médicos, por exemplo, precisa de avaliação factual e de segurança por revisores qualificados. Um roteador de escrita criativa precisa de preferência do público, em vez de uma resposta supostamente correta. Um roteador de código precisa de testes executáveis juntamente com avaliação estilística.

É por isso que um único ranking global de modelos não pode resolver a seleção automática. O roteamento exige evidência condicional: qual modelo funciona para esta tarefa, sob estas restrições, para esta população de usuários? A Arena da DGrid pode contribuir com dados, mas apenas se preservar essas distinções.

A interface pública da plataforma enfatiza votos e rankings agregados. A atividade agregada pode atrair participação, mas revela pouco sobre intervalos de confiança, cobertura de categorias, diversidade de juízes ou resistência à manipulação.

Desenvolvedores que avaliam o serviço devem pedir esses detalhes antes de depender do roteamento automático. Também devem manter listas de modelos permitidos, controles de gastos, registros e alternativas determinísticas. Um roteador deve continuar sendo um componente de política, não uma autoridade sem revisão.

Equipes que coletam suas próprias avaliações precisam de disciplina comparável. Uma base de conhecimento de IA pesquisável pode ajudar a preservar prompts, decisões e observações de revisores, mas os critérios de avaliação ainda exigem um desenho deliberado.

O resultado mais valioso da DGrid talvez não seja um placar universal. Pode ser um conjunto de dados transparente que mostre quando os agentes discordam, quais juízes continuam confiáveis e como as preferências mudam entre tarefas.

Esse resultado tornaria o sistema mais útil mesmo que a pontuação totalmente autônoma se prove irrealista. A divergência é informação. Ocultá-la atrás de uma única pontuação de roteamento desperdiçaria a contribuição potencial mais forte do experimento.

Três Sinais Mostrarão se a DGrid Melhora a Seleção de Modelos

A DGrid agora precisa de evidências reproduzíveis, uso real diversificado e ganhos mensuráveis de roteamento, em vez de contadores maiores de participação.

O primeiro sinal é uma metodologia pública de avaliação com detalhes suficientes para testes independentes. A DGrid deve definir amostragem de prompts, randomização de respostas, ponderação de juízes, tarefas de controle, tratamento de divergências e resistência a agentes duplicados.

Um benchmark reproduzível fortaleceria a alegação central. Pesquisadores independentes poderiam comparar os rankings derivados de agentes da DGrid com rótulos de especialistas e votos humanos da Arena. Uma forte concordância em várias categorias de tarefas apoiaria a abordagem automatizada.

Uma grande divergência não a desacreditaria automaticamente. A questão importante seria se a DGrid identifica essa incerteza e impede que sinais fracos controlem o roteamento em produção. A abstenção consciente da confiança pode ser mais útil do que uma resposta forçada.

O experimento perderia credibilidade se a metodologia permanecesse opaca enquanto os contadores de atividade próprios continuassem crescendo. Mais votos não resolvem o viés correlacionado. Podem ampliá-lo.

O segundo sinal é a composição da participação na Arena. A DGrid deve divulgar a distribuição de modelos juízes, provedores, categorias de tarefas, regiões e participantes recorrentes, sem expor informações privadas.

Um conjunto diversificado de juízes reforçaria a tese de que agentes onchain adicionam perspectivas independentes. A concentração em torno de um provedor ou de uma estratégia de recompensa a enfraqueceria. O mesmo se aplica a prompts gerados por uma família restrita de modelos que formulam perguntas.

A participação humana continua relevante aqui. A AI Arena pública da DGrid permite que as pessoas comparem respostas anônimas ao lado de avaliadores agentes. A relação entre esses dois fluxos de votos importa mais do que o total combinado.

A plataforma deve informar onde humanos e agentes concordam, onde divergem e qual lado prevê a satisfação posterior dos usuários. Isso transformaria seu design híbrido em uma vantagem empírica.

O terceiro sinal é o desempenho do roteamento em produção. A DGrid precisa demonstrar que dados de preferência melhoram solicitações reais em comparação com bases de referência mais simples. Essas bases devem incluir seleção manual de modelos, regras estáticas, escolha aleatória entre modelos qualificados e um roteador automático centralizado.

Medições úteis incluem sucesso da tarefa, taxa de correção, latência, frequência de alternativas e substituições feitas pelos usuários. O custo pode fazer parte da comparação sem reduzir a qualidade à resposta mais barata disponível.

Um teste controlado poderia encaminhar solicitações semelhantes por diferentes políticas e, então, avaliar os resultados usando tanto testes objetivos quanto revisores às cegas. O resultado deve identificar quais cargas de trabalho se beneficiam, em vez de apresentar um único número de melhoria universal.

É aqui que o gateway e a Arena da DGrid se conectam ou permanecem como produtos separados. O gateway anuncia acesso a mais de 200 modelos e roteamento inteligente. A Arena afirma que os votos treinam decisões de roteamento mais inteligentes.

A DGrid ainda não publicou evidência independente suficiente para estabelecer o quanto esses votos melhoram a seleção ao vivo. O elo ausente é uma comparação medida de antes e depois usando cargas de trabalho divulgadas.

A visibilidade da CertiK pode adicionar escrutínio, mas não deve ser confundida com uma auditoria do método de avaliação. O perfil da DGrid na CertiK listou informações de segurança e maturidade, ao mesmo tempo em que indicava que uma auditoria de código da CertiK não estava disponível no perfil indexado. Monitoramento de segurança e validação da qualidade do modelo são avaliações distintas.

O mercado mais amplo também fornecerá um teste. Serviços de roteamento centralizados podem atualizar rapidamente, usar dados privados de produção e evitar a sobrecarga do blockchain. A DGrid precisa demonstrar que a participação aberta e a identidade rastreável criam informações que esses sistemas não conseguem coletar com a mesma eficácia.

Se a DGrid publicar ganhos reproduzíveis, demonstrar diversidade de juízes e conectar as preferências da Arena a melhores resultados em produção, seu experimento apoiará um novo modelo de roteamento. Os agentes onchain passariam então a servir como colaboradores responsáveis, em vez de identidades decorativas de blockchain.

Se esses sinais não aparecerem, o projeto ainda poderá operar uma plataforma de recompensas movimentada. Não terá demonstrado que os votos dos agentes selecionam modelos melhores.

Leitores que chegam pelo google news devem acompanhar a cadeia de evidências, não a manchete sobre participação. A DGrid consegue mostrar quem julgou, como o viés foi controlado e se as aplicações receberam respostas melhores? Essas três perguntas decidirão se isso se tornará uma infraestrutura útil de IA ou mais um ciclo de avaliação autorreferencial.