Sakana AI segnala miglioramenti nell'auto-miglioramento ricorsivo, ma la supervisione resta un vincolo
Sakana AI ha completato due cicli di addestramento di auto-miglioramento ricorsivo attraverso l'intelligenza collettiva, segnalando prestazioni di ricerca più solide pur basandosi su un unico modello condiviso. Il suo nuovo metodo di auto-supervisione multi-agente, chiamato MASS, trasforma il lavoro coordinato degli agenti in dati di addestramento per quello stesso modello. Il risultato non è un'esplosione autonoma dell'intelligenza. È un esperimento controllato per verificare se team di IA possano creare insegnamenti utili per il loro modello sottostante condiviso.
Il conflitto centrale risiede nel ciclo stesso. MASS chiede a un modello di risolvere compiti, organizzare i propri agenti, valutare il loro lavoro e apprendere dai risultati selezionati. Questa progettazione riduce la dipendenza da supervisori esterni più capaci. Consente però anche a un singolo punto cieco di influenzare ogni fase.
L'esperimento parte da Qwen3.6-27B e si concentra su compiti di ricerca aperti che coinvolgono finanza, robotica e farmacia. Dopo due cicli, il modello risultante migliora in diversi benchmark di ricerca correlati. Le prestazioni calano leggermente in due benchmark di ingegneria del software, rivelando però un limite importante dei risultati.
Questo esito misto distingue MASS da affermazioni più ampie sull'IA auto-migliorante. Sakana AI ha prodotto prove che traiettorie collettive possano addestrare un modello in modo più efficiente in un contesto di ricerca definito. Non ha dimostrato che il miglioramento ricorsivo prosegua indefinitamente, si trasferisca ovunque o resti sicuro senza una supervisione indipendente.
MASS trasforma il lavoro di squadra in un segnale di addestramento
Il cambiamento importante è che il coordinamento multi-agente non termina più quando viene prodotta una risposta.
La maggior parte dei sistemi multi-agente utilizza diverse istanze del modello durante l'inferenza. Un orchestratore divide un compito, assegna ruoli, raccoglie risultati e compone una risposta finale. Il coordinamento aggiuntivo può migliorare una risposta, ma i pesi del modello sottostante rimangono invariati.
MASS porta questo lavoro nel post-addestramento. I suoi agenti generano traiettorie complete contenenti messaggi, chiamate a strumenti, artefatti intermedi e risultati. Il sistema classifica tali traiettorie, seleziona gli esempi più validi e mette a punto il modello condiviso su di essi.
I ricercatori chiamano questo approccio auto-supervisione multi-agente. Lo stesso modello linguistico agisce da esecutore, ottimizzatore del flusso di lavoro e valutatore. Ogni ruolo utilizza gli stessi pesi sottostanti, sebbene istanze separate del modello possano gestire parti diverse di un'esecuzione.
Questa distinzione è importante. Il sistema non combina più modelli addestrati indipendentemente, con conoscenze o obiettivi diversi. Chiede a copie di un unico modello di organizzarsi, quindi distilla il comportamento selezionato nei loro pesi comuni.
Il processo contiene due cicli collegati. Il ciclo interno cerca un flusso di lavoro migliore mantenendo fissi i pesi del modello. Il ciclo esterno addestra il modello sulle traiettorie prodotte dal flusso di lavoro selezionato.
Un flusso di lavoro è un piano basato su prompt per organizzare il team. Specifica ruoli degli agenti, istruzioni, output richiesti e ordine della comunicazione. MASS può rivedere quel piano senza modificare il modello durante la ricerca.
Per ogni compito di addestramento, il sistema mantiene un flusso di lavoro campione. Un team candidato esegue il compito e il modello confronta il suo spazio di lavoro con l'output del campione. L'ottimizzatore usa quindi questa valutazione per rivedere il flusso di lavoro.
Una volta individuato un flusso di lavoro preferito, il sistema lo esegue 18 volte per ciascun compito. Il modello classifica gli spazi di lavoro risultanti tramite confronti a coppie. Un modello Bradley-Terry converte queste preferenze in un punteggio per ciascuno spazio di lavoro.
MASS conserva fino a 16 traiettorie per compito. Quindici possono fornire esempi di addestramento, mentre una è riservata alla validazione. Il testo del flusso di lavoro viene rimosso dal prompt iniziale dell'orchestratore prima della messa a punto.
Questa rimozione ha uno scopo preciso. Incoraggia il modello a dedurre dal compito stesso come il lavoro debba essere organizzato. I ricercatori non gli stanno semplicemente insegnando a ripetere una struttura fissa di team.
Il ciclo esterno usa l'adattamento a basso rango, o LoRA, che aggiorna un insieme limitato di parametri del modello durante la messa a punto. Sia le conversazioni dell'orchestratore sia quelle dei sottoagenti diventano obiettivi di addestramento. Il modello aggiornato torna poi a svolgere il ruolo di esecutore, ottimizzatore e valutatore per il ciclo successivo.
Il paper su MASS è stato presentato l'8 ottobre 2026 e descrive due cicli completi. Sakana AI ha inoltre rilasciato un'implementazione open contenente prompt dei compiti, configurazioni di addestramento, strumenti di valutazione e documentazione della pipeline.
Il rilascio rende ispezionabile l'esperimento centrale. Rende anche insolitamente chiaro il suo ambito. MASS è una pipeline di ricerca costruita attorno a compiti selezionati e aggiornamenti controllati del modello, non un sistema distribuito che si riscrive continuamente.
L'auto-miglioramento ricorsivo attraverso l'intelligenza collettiva produce progressi disomogenei
MASS migliora soprattutto dove i suoi compiti di valutazione assomigliano al lavoro di ricerca che ha generato i dati di addestramento.
L'esperimento inizia con Qwen3.6-27B in un ambiente per agenti di coding. La sua suite sintetica contiene 12 compiti di ricerca nei campi della finanza, della robotica e della farmacia. Ogni compito richiede codice, analisi quantitativa e un rapporto scritto.
Nove compiti sono stati designati per l'addestramento, anche se alla fine solo otto hanno contribuito con dati di addestramento. Tre compiti, uno per ciascun dominio, sono stati esclusi dalla messa a punto, dalla validazione e dalla selezione dei checkpoint.
Giudici esterni hanno misurato i progressi senza partecipare al ciclo di addestramento MASS. Sakana AI afferma che GPT-5.5 e Claude Opus 4.8 hanno confrontato gli spazi di lavoro completati. I loro giudizi hanno fornito una valutazione esterna di un processo altrimenti guidato dal modello Qwen.
Sui tre compiti sintetici esclusi, il modello del primo ciclo ha vinto il 53,9 percento dei confronti contro il modello base. Il modello del secondo ciclo ha raggiunto il 69,9 percento. Ha inoltre vinto il 60,8 percento dei confronti contro il modello del primo ciclo.
I risultati nei compiti di addestramento sono stati più forti. Il modello del primo ciclo ha registrato un tasso di vittoria del 65,6 percento contro il modello base, mentre il secondo ciclo ha raggiunto l'82,5 percento. Quel divario tra prestazioni in addestramento e su dati esclusi è atteso, ma resta importante.
I benchmark pubblici offrono un test più ampio. Sakana AI riporta che il modello del secondo ciclo ha ottenuto da 1,2 a 1,6 volte il punteggio del modello base per token di output. Questi miglioramenti sono emersi in MLR-Bench, DSBench, ScienceAgentBench e AstaBench E2E-Hard.
I punteggi sottostanti raccontano una storia più dettagliata. MLR-Bench è salito da 1,71 per il modello base a 2,25 dopo due cicli. Il suo tasso di consegna dei paper è aumentato dal 57 percento al 76 percento.
ScienceAgentBench è migliorato dal 28,8 percento al 31,7 percento. AstaBench è salito da 0,053 a 0,067, mentre il suo tasso di consegna dei rapporti è aumentato dal 50 percento al 76 percento.
DSBench si è mosso solo leggermente, da 0,473 a 0,482. Questo piccolo cambiamento assoluto si traduce in un rapporto punteggio-per-token più forte perché il calcolo dell'efficienza tiene conto anche della lunghezza dell'output.
Due benchmark di ingegneria del software sono peggiorati. Terminal-Bench 2.0 è sceso da 0,375 a 0,352. SWE-bench Verified è calato da 0,626 a 0,611.
I loro rapporti punteggio-per-token hanno raggiunto rispettivamente 0,96 e 0,94 volte i risultati del modello base. Questi cali mettono direttamente in discussione qualsiasi affermazione secondo cui MASS abbia prodotto un modello generalmente più forte.
La spiegazione probabile è l'allineamento dei compiti. La suite di addestramento enfatizza ricerca aperta con codice, prove e rapporti. Non include compiti di ingegneria del software simili al debugging di repository o alle operazioni da terminale.
Sakana AI suggerisce che l'aggiunta di compiti di ingegneria del software potrebbe colmare il divario. Questa resta un'ipotesi finché un altro ciclo non la testerà. L'espansione della varietà dei compiti potrebbe inoltre creare interferenze tra capacità, anziché migliorarle uniformemente.
La progettazione dei benchmark pubblici aggiunge un'altra precisazione. MASS riporta l'efficienza come punteggio per token di output, utile per valutare il ragionamento produttivo. Non include però tutti i costi necessari per creare quegli output migliorati.
La ricerca dei flussi di lavoro, le esecuzioni ripetute, i confronti tra modelli, la generazione dei dati e la valutazione consumano tutti risorse computazionali. I totali riportati dei token supervisionati escludono inoltre i token di input e diverse spese a monte.
Il risultato è significativo, ma più circoscritto di quanto suggerisca un semplice titolo sull'efficienza. MASS sembra creare esempi di addestramento più densi. Stabilire se riduca il costo totale di sviluppo richiede una contabilità completa della pipeline di ricerca e selezione.
Il vero meccanismo è il flusso di informazioni, non più personaggi per gli agenti
I progressi di MASS sembrano derivare dalla ristrutturazione dello scambio di informazioni, non dall'assegnazione di identità teatrali a molti agenti.
I sistemi multi-agente spesso iniziano con ruoli come ricercatore, critico, ingegnere o redattore. Queste etichette aiutano a dividere il lavoro, ma possono rimanere generiche. Un ruolo chiamato “analista accurato” contiene poche informazioni specifiche sul compito.
MASS esplora quattro componenti del flusso di lavoro: ruoli, istruzioni, contratti e passaggi. Un contratto definisce quali prove o artefatti un agente deve restituire. Un passaggio specifica quando le informazioni si spostano tra agenti o ritornano a una fase precedente.
In un flusso di lavoro finanziario, agenti separati gestiscono preparazione dei dati, costruzione delle caratteristiche, modellazione, backtesting, auditing, riconciliazione e reportistica. L'agente dei dati deve segnalare se informazioni future siano trapelate nelle decisioni storiche.
Questo contratto affronta una modalità concreta di errore. Un backtest finanziario può sembrare riuscito quando il modello usa accidentalmente dati futuri. Richiedere controlli espliciti fornisce agli agenti successivi prove che possono esaminare prima di accettare il risultato.
Sakana AI ha analizzato come le componenti del flusso di lavoro cambiassero durante la ricerca. Ha rilevato che le informazioni sul compito si concentravano sempre più nei contratti e nell'ordine di comunicazione. Ruoli e istruzioni generali trasportavano meno di tali informazioni nel tempo.
Il campione alla base di questa analisi è piccolo e copre otto o nove compiti, a seconda del confronto. Le sue stime di informazione reciproca descrivono il testo del flusso di lavoro, non ogni messaggio scambiato durante l'esecuzione. Il modello va quindi trattato come un indizio di ricerca.
Anche con questo limite, offre una spiegazione utile di Sakana AI MASS. Il sistema migliora scoprendo cosa ciascun agente debba stabilire, cosa debba trasmettere e quando un altro agente debba esaminarlo.
La precedente ricerca sul dibattito multiagente ha mostrato che le istanze dei modelli possono migliorare il ragionamento scambiandosi risposte e critiche. MASS estende questa idea dal comportamento temporaneo in inferenza all'addestramento supervisionato.
Il metodo addestra inoltre due diverse forme di comportamento. Le traiettorie dell'orchestratore mostrano come scomporre un lavoro ampio e coordinare specialisti. Le traiettorie dei sottoagenti mostrano come completare incarichi circoscritti con requisiti di output chiari.
Questa combinazione appare più densa dell'addestramento su lunghe tracce di un singolo agente. Nel confronto di Sakana AI, uno studente multi-agente ha raggiunto un tasso di vittoria del 68,3 percento dopo aver elaborato 28,8 milioni di token supervisionati.
Il più grande studente a singolo agente ha raggiunto il 64 percento dopo aver elaborato 42 milioni di token. In base a questa misura, il modello multi-agente ha ottenuto un risultato più alto con il 31 percento in meno di token supervisionati.
Il confronto non isola la delega come unica causa. I gruppi hanno utilizzato flussi di lavoro e istruzioni di verifica differenti. Le esecuzioni di team hanno inoltre generato in media circa 2,4 volte più token prima della selezione degli esempi di addestramento.
I giudici esterni hanno preferito il lavoro multi-agente nell’85,1 percento dei confronti rispetto agli output a singolo agente. Tra dieci coppie con lunghezze di traccia simili, gli output dei team hanno comunque vinto l’80 percento dei confronti.
Questi risultati suggeriscono che la qualità della selezione conta quanto la struttura del team. MASS non apprende da ogni scambio tra agenti. Genera molti candidati, lascia che il modello li classifichi e si addestra sul sottoinsieme preferito.
Il meccanismo assomiglia a un filtro che trasforma costoso lavoro collettivo in lezioni concentrate. Scambia costi aggiuntivi di ricerca e valutazione con esempi supervisionati migliori.
Questo compromesso ha implicazioni pratiche per gli sviluppatori. Un team di IA utile richiede più di diverse copie dello stesso prompt. Necessita di contratti espliciti sulle evidenze, fasi di revisione e regole di instradamento delle informazioni legate al compito.
Lo stesso principio si applica quando le persone coordinano ricerche assistite dall’IA. Una base di conoscenza ricercabile è utile solo quando i collaboratori preservano evidenze, contesto e decisioni in forme che altri possano esaminare.
MASS automatizza una parte di questa progettazione organizzativa. La sua affermazione più profonda è che il coordinamento stesso possa diventare una capacità appresa. Il modello non si limita a svolgere un lavoro migliore attraverso un team temporaneo. Assimila schemi dal comportamento di successo del team.
Un Solo Modello Corregge Ancora i Propri Compiti
Il principale punto di forza dell’auto-supervisione multi-agente è anche il suo più grande rischio irrisolto.
MASS utilizza un unico modello condiviso come risolutore di compiti, ottimizzatore del flusso di lavoro e valutatore nel ciclo. Questo design omogeneo verifica se un modello possa migliorare senza dipendere da un insegnante permanentemente più forte.
Crea anche fallimenti correlati. Se il modello fraintende un compito, ogni agente può riprodurre quell’incomprensione. Il valutatore può quindi premiare lo stesso errore prodotto dall’esecutore.
I cicli ripetuti alzano la posta in gioco. Una traiettoria difettosa può essere accettata come superiore, selezionata per l’addestramento e incorporata nel modello successivo. Il valutatore aggiornato potrebbe diventare più sicuro dell’errore condiviso.
Sakana AI identifica apertamente i punti ciechi condivisi come un problema di sicurezza centrale. La sua panoramica del progetto sostiene che l’autovalutazione debba restare aperta alla correzione man mano che le capacità crescono.
I giudici esterni aiutano a misurare questo esperimento, ma non risolvono il problema dell’implementazione. GPT-5.5 e Claude Opus 4.8 sono rimasti fuori dal segnale di addestramento. La loro disponibilità ha quindi fornito un controllo che un ciclo realmente autonomo potrebbe non avere.
MASS riporta che l’accordo con questi giudici esterni è aumentato dal 73 percento al 93 percento attraverso tre generazioni di modelli. Ciò dimostra che il valutatore interno è diventato più allineato ai giudici più forti su questi compiti.
L’accordo non equivale alla correttezza. Due valutatori possono condividere presupposti, premiare rapporti ben rifiniti ma difettosi, o mancare errori che richiedono esperimenti nel mondo reale. La ricerca aperta rende questa distinzione particolarmente importante.
Anche la suite di benchmark è compatta rispetto alla portata implicata dal miglioramento ricorsivo autonomo. Solo tre compiti sintetici sono stati esclusi dal post-addestramento. Due cicli completi forniscono evidenza di iterazione, ma non di progresso ricorsivo indefinito.
Lo scetticismo della comunità si è concentrato su questa lacuna. Alcuni commentatori di Hacker News hanno sostenuto che il lavoro assomigli più a un miglioramento del coordinamento degli agenti che a un miglioramento ricorsivo autonomo senza restrizioni. Altri hanno chiesto perché un processo apparentemente ricorsivo si sia fermato dopo due cicli.
Questa critica identifica un reale problema di nomenclatura. Il miglioramento ricorsivo autonomo, in senso stretto, implica spesso un sistema che modifica autonomamente i meccanismi responsabili della creazione dei suoi successori. MASS alterna invece la ricerca di flussi di lavoro progettata da esseri umani e il fine-tuning supervisionato all’interno di una pipeline sperimentale fissa.
Il modello influenza i flussi di lavoro, i dati di addestramento e le decisioni di valutazione. Gli esseri umani definiscono ancora l’architettura, la suite di compiti, il metodo di ottimizzazione, il protocollo di benchmark e i confini dei cicli. Forniscono inoltre l’infrastruttura di calcolo.
Definire MASS ricorsivo è difendibile perché ogni modello aggiornato contribuisce a generare e selezionare i dati di addestramento del modello successivo. Definirlo miglioramento autonomo aperto sopravvaluterebbe ciò che l’esperimento dimostra.
La qualità dell’ottimizzatore presenta un altro vincolo. Sakana AI ha testato configurazioni che inserivano GPT-5.5 nel ciclo di ricerca del flusso di lavoro, mantenendo il modello Qwen di base come esecutore.
L’uso di GPT-5.5 solo come valutatore ha prodotto un miglioramento limitato. Usarlo sia come valutatore sia come ottimizzatore ha individuato flussi di lavoro vincenti per tutti e 12 i compiti entro cinque iterazioni di ricerca.
Il ciclo completamente omogeneo ha infine trovato flussi di lavoro vincenti per 11 compiti su 12, ma ha richiesto fino a 13 iterazioni. Sakana AI interpreta questo come prova che l’ottimizzatore possa diventare un collo di bottiglia più grande del valutatore.
Una buona critica è inutile quando l’ottimizzatore non può convertirla in un processo migliore. Questo risultato sposta l’attenzione dall’accuratezza del punteggio alla capacità del modello di rivedere flussi di lavoro complessi.
La stabilità della ricerca resta debole. I risultati dei flussi di lavoro di Sakana AI oscillano, con iterazioni forti seguite da brusche regressioni. Raggiungere un buon flusso di lavoro non garantisce che la revisione successiva lo preservi.
Questi limiti rendono il risultato più interessante, non meno. MASS mostra dove un ciclo di miglioramento omogeneo fallisce sotto osservazione. Fornisce misure per il trasferimento, l’accordo dei giudici, la forza dell’ottimizzatore e l’instabilità dei flussi di lavoro.
L’Intelligenza Collettiva Non Elimina il Problema della Supervisione
Un team di modelli identici può ampliare una ricerca, ma non può garantire un giudizio indipendente.
L’intelligenza collettiva trae solitamente forza dalle differenze tra i partecipanti. I team umani apportano esperienze, incentivi, competenze e ruoli istituzionali distinti. Queste differenze possono mettere in luce errori che una singola persona non noterebbe.
MASS utilizza più istanze di un unico modello condiviso. Il campionamento casuale e gli incarichi specializzati creano variazioni comportamentali, ma ogni agente eredita gli stessi pesi e gran parte della stessa storia di addestramento.
Questa architettura può comunque produrre una diversità utile. Agenti separati esplorano approcci diversi, lavorano con evidenze intermedie differenti e si criticano a vicenda. Tuttavia, il loro disaccordo non dimostra una reale indipendenza.
Il problema diventa più acuto nei compiti non verificabili. Sakana AI usa questo termine per lavori privi di un segnale automatico di successo basato su regole. Un rapporto di ricerca può essere coerente e ben documentato pur contenendo ancora un errore concettuale non rilevato.
Un valutatore modello può favorire output che corrispondono al proprio stile o alle proprie abitudini di ragionamento. L’addestramento su queste selezioni può rafforzare le preferenze del valutatore senza rafforzare il contatto con la realtà.
Questo è un problema più ampio di supervisione scalabile. Man mano che gli agenti svolgono lavori che gli esseri umani faticano a valutare, gli sviluppatori necessitano di supervisori più deboli per monitorare sistemi più forti. Giudici modello più capaci aiutano, ma spostano anche l’autorità di valutazione lontano dagli esseri umani.
La ricerca sulla monitorabilità di OpenAI rileva che le tracce di ragionamento possono rivelare più informazioni sul comportamento degli agenti rispetto alle sole azioni e risposte finali. Descrive inoltre la monitorabilità come incompleta e dipendente sia dall’agente sia dal monitor.
Questo è rilevante per MASS perché i suoi esempi di addestramento contengono traiettorie ricche. Messaggi, chiamate di strumenti e artefatti intermedi creano maggiori opportunità di ispezione. Creano anche una superficie più ampia in cui errori sottili possono nascondersi.
L’ottimizzazione diretta del ragionamento visibile può introdurre un altro pericolo. Un modello può imparare quali spiegazioni ottengono approvazione senza modificare il comportamento che ha prodotto un fallimento. La supervisione premia quindi una razionalizzazione leggibile invece di un lavoro affidabile.
Sakana AI non afferma di aver risolto questo problema. Il suo articolo avverte che la stessa debolezza può compromettere il comportamento di un modello e il meccanismo destinato a correggerlo.
I controlli indipendenti restano quindi necessari. Possono includere modelli esterni, esperti umani, test eseguibili, pipeline di dati affidabili, valutazioni avversariali e convalida ritardata nel mondo reale.
Nessun singolo controllo copre ogni fallimento. Il codice può essere eseguito pur implementando l’obiettivo sbagliato. Un rapporto può citare evidenze reali omettendo risultati contraddittori. Diversi modelli possono concordare perché condividono bias di addestramento.
L’uso a breve termine più solido di MASS potrebbe essere nella ricerca circoscritta con passaggi intermedi verificabili. Le pipeline finanziarie possono testare suddivisioni cronologiche dei dati. Gli esperimenti di robotica possono controllare gli output delle simulazioni. Le analisi farmaceutiche possono imporre contratti sui dati e sui calcoli.
Più l’obiettivo finale diventa soggettivo, più debole diventa l’autogiudizio come unico segnale. Strategia, novità scientifica, consulenza sulle politiche e analisi della sicurezza dipendono tutte da valori o evidenze che il consenso dei modelli non può risolvere.
Anche la discussione di Anthropic sul miglioramento ricorsivo autonomo pone supervisione, validazione e verifica al centro del futuro sviluppo dell’IA. La pressione comune è chiara anche quando gli approcci tecnici differiscono.
Se l’IA contribuisce a una parte maggiore del lavoro necessario per migliorare l’IA, la supervisione non può rimanere un elemento secondario. I sistemi di valutazione devono avanzare insieme ai sistemi di capacità. MASS fornisce un utile banco di prova per studiare questa corsa.
I Prossimi Tre Segnali Decideranno Che Cosa MASS Dimostra Davvero
La fase successiva deve testare durata, trasferimento e correzione, invece di ripetere il risultato più forte in evidenza.
Il primo segnale è se il miglioramento sopravvive a cicli aggiuntivi. Due cicli stabiliscono la ricorrenza, ma non dimostrano un miglioramento ricorsivo autonomo sostenuto attraverso l’intelligenza collettiva.
Un terzo e un quarto ciclo dovrebbero misurare se i guadagni continuano, si stabilizzano o si invertono. I ricercatori dovrebbero inoltre riportare come cambiano i costi della ricerca dei flussi di lavoro man mano che il modello migliora.
Guadagni continui con una valutazione esterna stabile rafforzerebbero l’affermazione ricorsiva. Un plateau suggerirebbe che il modello esaurisce le lezioni disponibili nella distribuzione dei suoi compiti. Una regressione potrebbe rivelare errori accumulati del giudice o interferenze nell’addestramento.
Il secondo segnale è il trasferimento verso domini esclusi dalla suite di ricerca originaria. I cali su Terminal-Bench 2.0 e SWE-bench Verified forniscono una base di riferimento impegnativa.
L’aggiunta di compiti di ingegneria del software dovrebbe migliorare questi benchmark se il metodo apprende un coordinamento trasferibile. Se i guadagni compaiono solo dopo un addestramento diretto specifico per dominio, MASS sembrerà più un metodo di specializzazione efficiente.
Sarebbe comunque prezioso. Semplicemente restringerebbe l’affermazione dal miglioramento autonomo generale a un migliore post-addestramento condizionato al compito.
Un test di trasferimento convincente dovrebbe anche preservare le prestazioni in finanza, robotica e farmacia. In caso contrario, nuove capacità potrebbero sostituire quelle vecchie anziché sommarsi ad esse.
Il terzo segnale è se il sistema sia in grado di rilevare e invertire un punto cieco condiviso. I ricercatori potrebbero introdurre trappole nascoste nella valutazione, evidenze contrastanti o compiti in cui un consenso ben rifinito porta a una conclusione errata.
Il successo richiederebbe più del semplice rilevamento del fallimento da parte di giudici esterni. Il ciclo omogeneo dovrebbe identificare il problema, rivedere il proprio flusso di lavoro ed evitare di addestrarsi sulle traiettorie difettose.
Questo test collegherebbe le affermazioni sulle capacità al controllo. Mostrerebbe se l’intelligenza collettiva possa creare una pressione correttiva quando tutti gli agenti partono da presupposti simili.
Le organizzazioni che valutano Sakana AI MASS dovrebbero concentrarsi su questi segnali prima di trattarlo come una ricetta generale. I risultati attuali supportano la sperimentazione con flussi di lavoro di ricerca circoscritti e ricchi di evidenze. Non supportano la rimozione della revisione umana dalle decisioni rilevanti.
La lezione più ampia è già evidente. Team di agenti migliori possono generare dati di addestramento migliori, e questi apprendimenti possono confluire nei pesi dei modelli. Eppure ogni progresso dipende da ciò che il team considera un successo.
L'auto-miglioramento ricorsivo attraverso l'intelligenza collettiva diventa affidabile solo quando il ciclo è in grado di riconoscere i propri errori condivisi. Quali verifiche indipendenti richiederebbe la vostra organizzazione prima di consentire a un sistema simile di selezionare le prove da utilizzare per il suo prossimo ciclo di addestramento?
