Sakana AI Relata Ganhos de Autoaperfeiçoamento Recursivo, mas a Supervisão Continua Sendo uma Restrição

A Sakana AI concluiu dois ciclos de treinamento de autoaperfeiçoamento recursivo por meio de inteligência coletiva, relatando um desempenho de pesquisa mais forte apesar de depender de um único modelo compartilhado. Seu novo método de Auto-Supervisão Multiagente, chamado MASS, transforma o trabalho coordenado de agentes em dados de treinamento para esse mesmo modelo. O resultado não é uma explosão autônoma de inteligência. É um experimento controlado sobre se equipes de IA conseguem criar lições úteis para seu modelo subjacente compartilhado.

O conflito central está dentro do ciclo. O MASS pede a um modelo que resolva tarefas, organize seus agentes, avalie seu trabalho e aprenda com os resultados selecionados. Esse desenho reduz a dependência de supervisores externos mais capazes. Também permite que um ponto cego influencie todas as etapas.

O experimento começa com o Qwen3.6-27B e se concentra em tarefas de pesquisa abertas envolvendo finanças, robótica e farmácia. Após duas rodadas, o modelo resultante melhora em vários benchmarks de pesquisa relacionados. No entanto, o desempenho cai ligeiramente em dois benchmarks de engenharia de software, revelando um limite importante para os resultados.

Esse desfecho misto separa o MASS de alegações mais amplas sobre IA autoaperfeiçoável. A Sakana AI produziu evidências de que trajetórias coletivas podem treinar um modelo com mais eficiência em um contexto de pesquisa definido. Ela não demonstrou que a melhoria recursiva continue indefinidamente, seja transferida para todos os contextos ou permaneça segura sem supervisão independente.

MASS Transforma Trabalho em Equipe em um Sinal de Treinamento

A mudança importante é que a coordenação multiagente não termina quando uma resposta é produzida.

A maioria dos sistemas multiagente usa várias instâncias de modelo durante a inferência. Um orquestrador divide uma tarefa, atribui funções, coleta resultados e monta uma resposta final. A coordenação adicional pode melhorar uma resposta, mas os pesos do modelo subjacente permanecem inalterados.

O MASS leva esse trabalho para o pós-treinamento. Seus agentes geram trajetórias completas contendo mensagens, chamadas de ferramentas, artefatos intermediários e resultados. O sistema classifica essas trajetórias, seleciona os exemplos mais fortes e ajusta o modelo compartilhado com base neles.

Os pesquisadores chamam isso de auto-supervisão multiagente. O mesmo modelo de linguagem atua como executor, otimizador de fluxo de trabalho e avaliador. Cada função usa os mesmos pesos subjacentes, embora instâncias separadas do modelo possam lidar com diferentes partes de uma execução.

Essa distinção importa. O sistema não combina vários modelos treinados de forma independente, com conhecimentos ou objetivos distintos. Ele pede que cópias de um único modelo se organizem e, então, destila seu comportamento selecionado de volta para seus pesos comuns.

O processo contém dois ciclos conectados. O ciclo interno procura um fluxo de trabalho melhor enquanto mantém os pesos do modelo fixos. O ciclo externo treina o modelo com trajetórias produzidas pelo fluxo de trabalho selecionado.

Um fluxo de trabalho é um plano baseado em prompts para organizar a equipe. Ele especifica as funções dos agentes, instruções, entregas exigidas e a ordem de comunicação. O MASS pode revisar esse plano sem modificar o modelo durante a busca.

Para cada tarefa de treinamento, o sistema mantém um fluxo de trabalho campeão. Uma equipe candidata executa a tarefa, e o modelo compara seu espaço de trabalho com a saída do campeão. O otimizador então usa esse julgamento para revisar o fluxo de trabalho.

Quando o sistema encontra um fluxo de trabalho preferido, executa esse fluxo 18 vezes para cada tarefa. O modelo classifica os espaços de trabalho resultantes por meio de comparações em pares. Um modelo Bradley-Terry converte essas preferências em uma pontuação para cada espaço de trabalho.

O MASS retém até 16 trajetórias por tarefa. Quinze podem fornecer exemplos de treinamento, enquanto uma é reservada para validação. O texto do fluxo de trabalho é removido do prompt inicial de treinamento do orquestrador antes do ajuste fino.

Essa remoção tem um objetivo específico. Ela incentiva o modelo a inferir como o trabalho deve ser organizado a partir da própria tarefa. Os pesquisadores não estão apenas ensinando-o a repetir uma estrutura fixa de equipe.

O ciclo externo usa adaptação de baixa classificação, ou LoRA, que atualiza um conjunto limitado de parâmetros do modelo durante o ajuste fino. Tanto as conversas do orquestrador quanto as dos subagentes se tornam alvos de treinamento. O modelo atualizado então retorna como executor, otimizador e avaliador para o próximo ciclo.

O artigo sobre MASS foi submetido em 8 de outubro de 2026 e descreve dois ciclos completos. A Sakana AI também lançou uma implementação aberta contendo prompts de tarefas, configurações de treinamento, ferramentas de avaliação e documentação do pipeline.

O lançamento torna o experimento central passível de inspeção. Também torna seu escopo incomumente claro. O MASS é um pipeline de pesquisa construído em torno de tarefas selecionadas e atualizações controladas do modelo, não um sistema implantado que se reescreve continuamente.

Autoaperfeiçoamento Recursivo por Inteligência Coletiva Produz Ganhos Desiguais

O MASS melhora mais quando suas tarefas de avaliação se assemelham ao trabalho de pesquisa que gerou seus dados de treinamento.

O experimento começa com o Qwen3.6-27B em um ambiente de agente de programação. Seu conjunto sintético contém 12 tarefas de pesquisa em finanças, robótica e farmácia. Cada tarefa exige código, análise quantitativa e um relatório escrito.

Nove tarefas foram designadas para treinamento, embora oito tenham contribuído dados de treinamento ao final. Três tarefas, uma de cada domínio, foram excluídas do ajuste fino, da validação e da seleção de checkpoints.

Avaliadores externos mediram o progresso sem participar do ciclo de treinamento do MASS. A Sakana AI afirma que o GPT-5.5 e o Claude Opus 4.8 compararam os espaços de trabalho concluídos. Seus julgamentos forneceram uma avaliação externa de um processo que, de outra forma, era guiado pelo modelo Qwen.

Nas três tarefas sintéticas excluídas, o modelo da primeira rodada venceu 53,9 por cento das comparações contra o modelo-base. O modelo da segunda rodada alcançou 69,9 por cento. Ele também venceu 60,8 por cento das comparações contra o modelo da primeira rodada.

Os resultados das tarefas de treinamento foram mais fortes. O modelo da primeira rodada registrou uma taxa de vitória de 65,6 por cento contra o modelo-base, enquanto a segunda rodada alcançou 82,5 por cento. Essa diferença entre o desempenho em treinamento e nas tarefas excluídas é esperada, mas continua sendo importante.

Benchmarks públicos fornecem um teste mais amplo. A Sakana AI relata que o modelo da segunda rodada atingiu entre 1,2 e 1,6 vezes a pontuação do modelo-base por token de saída. Esses ganhos apareceram em MLR-Bench, DSBench, ScienceAgentBench e AstaBench E2E-Hard.

As pontuações subjacentes contam uma história mais detalhada. O MLR-Bench subiu de 1,71 para o modelo-base para 2,25 após dois ciclos. Sua taxa de entrega de artigos aumentou de 57 por cento para 76 por cento.

O ScienceAgentBench melhorou de 28,8 por cento para 31,7 por cento. O AstaBench subiu de 0,053 para 0,067, enquanto sua taxa de entrega de relatórios aumentou de 50 por cento para 76 por cento.

O DSBench avançou apenas ligeiramente, de 0,473 para 0,482. Essa pequena mudança absoluta está por trás de uma razão mais forte de pontuação por token, porque o cálculo de eficiência também considera o comprimento da saída.

Dois benchmarks de engenharia de software recuaram. O Terminal-Bench 2.0 caiu de 0,375 para 0,352. O SWE-bench Verified diminuiu de 0,626 para 0,611.

Suas razões de pontuação por token chegaram a 0,96 e 0,94 vezes os resultados do modelo-base. Essas quedas desafiam diretamente qualquer alegação de que o MASS tenha produzido um modelo geralmente mais forte.

A explicação provável é o alinhamento de tarefas. O conjunto de treinamento enfatiza pesquisas abertas com código, evidências e relatórios. Ele não inclui tarefas de engenharia de software semelhantes à depuração de repositórios ou a operações de terminal.

A Sakana AI sugere que adicionar tarefas de engenharia de software pode resolver essa lacuna. Isso continua sendo uma hipótese até que outro ciclo a teste. Expandir a mistura de tarefas também poderia criar interferência entre capacidades, em vez de melhorá-las de forma uniforme.

O desenho do benchmark público acrescenta outra ressalva. O MASS relata eficiência como pontuação por token de saída, o que é útil para avaliar raciocínio produtivo. Ele não inclui todos os custos necessários para criar essas saídas melhoradas.

A busca por fluxos de trabalho, execuções repetidas, comparações de modelos, geração de dados e avaliação consomem computação. Os totais relatados de tokens supervisionados também excluem tokens de entrada e várias despesas anteriores.

O resultado é significativo, mas mais limitado do que sugere uma simples manchete sobre eficiência. O MASS parece criar exemplos de treinamento mais densos. Se ele reduz o custo total de desenvolvimento exige uma contabilização completa do pipeline de busca e seleção.

O Mecanismo Real É o Fluxo de Informação, Não Mais Personas de Agentes

Os ganhos do MASS parecem vir da reestruturação da troca de informações, e não da atribuição de identidades teatrais a muitos agentes.

Sistemas multiagente geralmente começam com funções como pesquisador, crítico, engenheiro ou editor. Esses rótulos ajudam a dividir o trabalho, mas podem permanecer genéricos. Uma função chamada “analista cuidadoso” carrega pouca informação específica da tarefa.

O MASS pesquisa quatro componentes do fluxo de trabalho: funções, instruções, contratos e saltos. Um contrato define quais evidências ou artefatos um agente deve retornar. Um salto especifica quando a informação se move entre agentes ou retorna a uma etapa anterior.

Em um fluxo de trabalho financeiro, agentes separados lidam com preparação de dados, construção de atributos, modelagem, backtesting, auditoria, reconciliação e elaboração de relatórios. O agente de dados deve informar se informações futuras vazaram para decisões históricas.

Esse contrato aborda um modo de falha concreto. Um backtest financeiro pode parecer bem-sucedido quando o modelo usa acidentalmente dados futuros. Exigir verificações explícitas fornece aos agentes posteriores evidências que podem inspecionar antes de aceitar o resultado.

A Sakana AI analisou como os componentes do fluxo de trabalho mudaram durante a busca. Ela constatou que a informação da tarefa se concentrou cada vez mais nos contratos e na ordem de comunicação. Funções e instruções gerais carregaram menos dessa informação ao longo do tempo.

A amostra por trás dessa análise é pequena, cobrindo oito ou nove tarefas dependendo da comparação. Suas estimativas de informação mútua descrevem o texto do fluxo de trabalho, não todas as mensagens trocadas durante a execução. Portanto, o padrão deve ser tratado como uma pista de pesquisa.

Mesmo com essa limitação, ele oferece uma explicação útil para o MASS da Sakana AI. O sistema melhora ao descobrir o que cada agente deve estabelecer, o que deve transmitir adiante e quando outro agente deve inspecioná-lo.

Pesquisas anteriores sobre debate multiagente mostraram que instâncias de modelo podem melhorar o raciocínio ao trocar respostas e críticas. O MASS estende essa ideia de um comportamento temporário de inferência para o treinamento supervisionado.

O método também treina duas formas diferentes de comportamento. As trajetórias do orquestrador mostram como decompor trabalhos amplos e coordenar especialistas. As trajetórias dos subagentes mostram como concluir atribuições delimitadas com requisitos claros de saída.

Essa combinação parece mais densa do que treinar com rastros longos de um único agente. Na comparação da Sakana AI, um estudante multiagente alcançou uma taxa de vitória de 68,3 por cento após processar 28,8 milhões de tokens supervisionados.

O maior estudante de agente único alcançou 64 por cento após processar 42 milhões de tokens. Por essa medida, o modelo multiagente alcançou um resultado superior com 31 por cento menos tokens supervisionados.

A comparação não isola a delegação como a única causa. Os grupos usaram fluxos de trabalho e instruções de verificação diferentes. As execuções em equipe também geraram, em média, cerca de 2,4 vezes mais tokens antes que os exemplos de treinamento fossem selecionados.

Juízes externos preferiram o trabalho multiagente em 85,1 por cento das comparações com resultados de agente único. Entre dez pares com extensões de rastreamento semelhantes, os resultados das equipes ainda venceram 80 por cento das comparações.

Esses resultados sugerem que a qualidade da seleção importa tanto quanto a estrutura da equipe. O MASS não aprende com cada troca entre agentes. Ele cria muitos candidatos, permite que o modelo os classifique e treina no subconjunto preferido.

O mecanismo se assemelha a um filtro que transforma trabalho coletivo caro em lições concentradas. Ele troca custos adicionais de busca e avaliação por exemplos supervisionados melhores.

Essa troca tem implicações práticas para desenvolvedores. Uma equipe de IA útil precisa de mais do que várias cópias do mesmo prompt. Ela precisa de contratos explícitos de evidências, etapas de revisão e regras de roteamento de informações vinculadas à tarefa.

O mesmo princípio se aplica quando humanos coordenam pesquisas assistidas por IA. Uma base de conhecimento pesquisável ajuda apenas quando os colaboradores preservam evidências, contexto e decisões em formatos que outras pessoas possam inspecionar.

O MASS automatiza parte desse desenho organizacional. Sua afirmação mais profunda é que a própria coordenação pode se tornar uma capacidade aprendida. O modelo não apenas realiza um trabalho melhor por meio de uma equipe temporária. Ele absorve padrões do comportamento bem-sucedido da equipe.

Um Modelo Ainda Corrige a Própria Lição de Casa

A força definidora da autossupervisão multiagente também é seu maior risco ainda não resolvido.

O MASS usa um único modelo compartilhado como solucionador de tarefas, otimizador de fluxos de trabalho e avaliador no circuito. Esse desenho homogêneo testa se um modelo pode melhorar sem depender de um professor permanentemente mais forte.

Ele também cria falhas correlacionadas. Se o modelo entende mal uma tarefa, cada agente pode reproduzir esse mal-entendido. O avaliador pode então recompensar o mesmo erro produzido pelo executor.

Ciclos repetidos elevam o risco. Uma trajetória falha pode ser aceita como superior, selecionada para treinamento e incorporada ao modelo seguinte. O avaliador atualizado pode se tornar mais confiante no erro compartilhado.

A Sakana AI identifica abertamente pontos cegos compartilhados como um problema central de segurança. Sua visão geral do projeto argumenta que a autoavaliação deve permanecer aberta à correção à medida que as capacidades crescem.

Os juízes externos ajudam a medir esse experimento, mas não resolvem o problema de implantação. GPT-5.5 e Claude Opus 4.8 permaneceram fora do sinal de treinamento. Portanto, sua disponibilidade forneceu uma verificação que um ciclo verdadeiramente autônomo poderia não ter.

O MASS relata que a concordância com esses juízes externos aumentou de 73 por cento para 93 por cento ao longo de três gerações de modelos. Isso é evidência de que o avaliador interno se tornou mais alinhado a juízes mais fortes nessas tarefas.

Concordância não equivale a correção. Dois avaliadores podem compartilhar pressupostos, recompensar relatórios bem apresentados, porém falhos, ou deixar de perceber erros que exigem experimentos no mundo real. Pesquisas abertas tornam essa distinção particularmente importante.

O conjunto de benchmarks também é compacto em comparação com o alcance implícito na autoaperfeiçoamento recursivo. Apenas três tarefas sintéticas foram mantidas fora do pós-treinamento. Dois ciclos completos fornecem evidência de iteração, mas não de progresso recursivo indefinido.

O ceticismo da comunidade concentrou-se nessa lacuna. Alguns comentaristas do Hacker News argumentaram que o trabalho se parece mais com uma coordenação de agentes aprimorada do que com autoaperfeiçoamento recursivo irrestrito. Outros questionaram por que um processo aparentemente recursivo parou após duas rodadas.

Essa crítica identifica um problema real de nomenclatura. O autoaperfeiçoamento recursivo estrito frequentemente implica um sistema que modifica de forma autônoma os mecanismos responsáveis por criar seus sucessores. O MASS, em vez disso, alterna a busca de fluxos de trabalho projetados por humanos com ajuste fino supervisionado dentro de um pipeline experimental fixo.

O modelo influencia fluxos de trabalho, dados de treinamento e decisões de avaliação. Os humanos ainda definem a arquitetura, o conjunto de tarefas, o método de otimização, o protocolo de benchmark e os limites dos ciclos. Eles também fornecem a infraestrutura computacional.

Chamar o MASS de recursivo é defensável porque cada modelo atualizado ajuda a gerar e selecionar os dados de treinamento do modelo seguinte. Chamá-lo de autoaperfeiçoamento aberto exageraria o que o experimento estabelece.

A qualidade do otimizador apresenta outra restrição. A Sakana AI testou configurações que inseriram GPT-5.5 no ciclo de busca de fluxos de trabalho, mantendo o modelo Qwen base como executor.

Usar GPT-5.5 apenas como avaliador produziu uma melhoria limitada. Usá-lo como avaliador e otimizador encontrou fluxos de trabalho vencedores para todas as 12 tarefas em cinco iterações de busca.

O ciclo totalmente homogêneo acabou encontrando fluxos de trabalho vencedores para 11 das 12 tarefas, mas exigiu até 13 iterações. A Sakana AI interpreta isso como evidência de que o otimizador pode se tornar um gargalo maior do que o avaliador.

Uma boa crítica é inútil quando o otimizador não consegue transformá-la em um processo melhor. Esse resultado desloca a atenção da precisão da pontuação para a capacidade do modelo de revisar fluxos de trabalho complexos.

A estabilidade da busca continua fraca. Os resultados de fluxo de trabalho da Sakana AI flutuam, com iterações fortes seguidas por regressões acentuadas. Alcançar um bom fluxo de trabalho não garante que a revisão seguinte o preserve.

Esses limites tornam o resultado mais interessante, não menos. O MASS expõe onde um ciclo de melhoria homogêneo falha sob observação. Ele fornece medições para transferência, concordância entre juízes, força do otimizador e instabilidade do fluxo de trabalho.

A Inteligência Coletiva Não Elimina o Problema da Supervisão

Uma equipe de modelos idênticos pode ampliar uma busca, mas não pode garantir julgamento independente.

A inteligência coletiva normalmente ganha força com as diferenças entre os participantes. Equipes humanas trazem experiências, incentivos, especializações e papéis institucionais distintos. Essas diferenças podem revelar erros que uma pessoa deixaria passar.

O MASS usa múltiplas instâncias de um único modelo compartilhado. A amostragem aleatória e as atribuições especializadas criam variação comportamental, mas todos os agentes herdam os mesmos pesos e grande parte do mesmo histórico de treinamento.

Essa arquitetura ainda pode produzir diversidade útil. Agentes separados exploram abordagens diferentes, trabalham com evidências intermediárias distintas e criticam uns aos outros. No entanto, sua discordância não estabelece independência genuína.

O problema se torna mais agudo em tarefas não verificáveis. A Sakana AI usa esse termo para trabalhos sem um sinal automático de sucesso baseado em regras. Um relatório de pesquisa pode ser coerente e bem fundamentado, mas ainda conter um erro conceitual não percebido.

Um avaliador de modelo pode favorecer resultados que correspondam a seu próprio estilo ou hábitos de raciocínio. Treinar com essas seleções pode fortalecer as preferências do avaliador sem fortalecer o contato com a realidade.

Esse é um problema mais amplo de supervisão escalável. À medida que agentes realizam trabalhos que humanos têm dificuldade de avaliar, os desenvolvedores precisam de supervisores mais fracos para monitorar sistemas mais fortes. Juízes de modelo mais capazes ajudam, mas também afastam dos humanos a autoridade de avaliação.

A pesquisa da OpenAI sobre monitorabilidade conclui que rastros de raciocínio podem revelar mais sobre o comportamento dos agentes do que apenas ações e respostas finais. Ela também descreve a monitorabilidade como incompleta e dependente tanto do agente quanto do monitor.

Isso importa para o MASS porque seus exemplos de treinamento contêm trajetórias ricas. Mensagens, chamadas de ferramentas e artefatos intermediários criam mais oportunidades de inspeção. Eles também criam uma superfície maior em que erros sutis podem se esconder.

Otimizar diretamente o raciocínio visível pode introduzir outro perigo. Um modelo pode aprender quais explicações recebem aprovação sem alterar o comportamento que produziu uma falha. A supervisão então recompensa uma racionalização legível em vez de trabalho confiável.

A Sakana AI não afirma ter resolvido esse problema. Seu artigo alerta que a mesma fraqueza pode comprometer o comportamento de um modelo e o mecanismo destinado a corrigi-lo.

Portanto, verificações independentes continuam necessárias. Elas podem incluir modelos externos, especialistas humanos, testes executáveis, pipelines de dados confiáveis, avaliações adversariais e validação tardia no mundo real.

Nenhuma verificação única cobre todas as falhas. O código pode ser executado enquanto implementa o objetivo errado. Um relatório pode citar evidências reais enquanto omite resultados contraditórios. Vários modelos podem concordar porque compartilham vieses de treinamento.

O uso mais forte do MASS no curto prazo pode ser a pesquisa delimitada, com etapas intermediárias verificáveis. Pipelines financeiros podem testar divisões cronológicas de dados. Experimentos em robótica podem verificar resultados de simulação. Análises farmacêuticas podem impor contratos de dados e cálculos.

Quanto mais subjetivo se torna o objetivo final, mais fraco se torna o autojulgamento como único sinal. Estratégia, novidade científica, aconselhamento de políticas públicas e análise de segurança dependem de valores ou evidências que o consenso de modelos não pode resolver.

A discussão da Anthropic sobre autoaperfeiçoamento recursivo também coloca supervisão, validação e verificação no centro do desenvolvimento futuro de IA. A pressão comum é clara, mesmo quando as abordagens técnicas diferem.

Se a IA contribui com uma parcela maior do trabalho necessário para melhorar a IA, a supervisão não pode continuar sendo uma reflexão tardia. Os sistemas de avaliação devem avançar junto com os sistemas de capacidade. O MASS fornece um banco de testes útil para estudar essa corrida.

Os Próximos Três Sinais Decidirão o Que o MASS Realmente Demonstra

A próxima fase deve testar duração, transferência e correção, em vez de repetir o resultado de manchete mais forte.

O primeiro sinal é se a melhoria sobrevive a ciclos adicionais. Duas rodadas estabelecem recorrência, mas não estabelecem autoaperfeiçoamento recursivo sustentado por meio da inteligência coletiva.

Um terceiro e um quarto ciclo devem medir se os ganhos continuam, se estabilizam ou se revertem. Os pesquisadores também devem informar como os custos de busca de fluxos de trabalho mudam à medida que o modelo melhora.

Ganhos contínuos com avaliação externa estável fortaleceriam a alegação recursiva. Um platô sugeriria que o modelo esgota as lições disponíveis em sua distribuição de tarefas. Uma regressão poderia revelar erro acumulado do juiz ou interferência de treinamento.

O segundo sinal é a transferência para domínios excluídos do conjunto original de pesquisa. As quedas em Terminal-Bench 2.0 e SWE-bench Verified fornecem uma linha de base exigente.

Adicionar tarefas de engenharia de software deve melhorar esses benchmarks se o método aprender coordenação transferível. Se os ganhos aparecerem apenas após treinamento direto específico do domínio, o MASS parecerá mais um método eficiente de especialização.

Isso ainda seria valioso. Apenas restringiria a alegação de autoaperfeiçoamento amplo para um pós-treinamento melhor condicionado à tarefa.

Um teste de transferência convincente também deve preservar o desempenho em finanças, robótica e farmácia. Caso contrário, novas capacidades podem substituir as antigas em vez de se acumularem.

O terceiro sinal é se o sistema consegue detectar e reverter um ponto cego compartilhado. Pesquisadores poderiam introduzir armadilhas ocultas de avaliação, evidências conflitantes ou tarefas em que um consenso bem apresentado leva a uma conclusão errada.

O sucesso exigiria mais do que juízes externos detectando a falha. O ciclo homogêneo deveria identificar o problema, revisar seu fluxo de trabalho e evitar treinar com as trajetórias defeituosas.

Esse teste conectaria alegações de capacidade ao controle. Ele mostraria se a inteligência coletiva pode criar pressão corretiva quando todos os agentes partem de pressupostos semelhantes.

Organizações que avaliam o Sakana AI MASS devem se concentrar nesses sinais antes de tratá-lo como uma receita geral. Os resultados atuais sustentam a experimentação com fluxos de trabalho de pesquisa delimitados e intensivos em evidências. Eles não sustentam a remoção da revisão humana de decisões consequentes.

A lição mais ampla já está visível. Equipes de agentes melhores podem gerar dados de treinamento melhores, e essas lições podem ser incorporadas aos pesos dos modelos. Ainda assim, cada avanço depende do que a equipe considera sucesso.

O autoaperfeiçoamento recursivo por meio da inteligência coletiva só se torna confiável quando o ciclo consegue reconhecer seus próprios erros compartilhados. Quais verificações independentes sua organização exigiria antes de permitir que um sistema assim selecionasse as evidências usadas em seu próximo ciclo de treinamento?