L’avvertimento di Microsoft sull’AI come specie al silicio intensifica lo scontro sul controllo umano

Il responsabile di Microsoft AI Mustafa Suleyman ha lanciato questa settimana un duro avvertimento: sistemi autonomi non controllati potrebbero dar vita a una “specie al silicio” in competizione con l’umanità per le risorse. L’avvertimento di Microsoft AI sulla specie al silicio riguarda sistemi che stabiliscono obiettivi, guadagnano denaro, possiedono asset o gestiscono attività senza un controllo umano significativo.

Le sue osservazioni, rilasciate durante il programma Today di BBC Radio 4, non erano un’altra vaga previsione sull’intelligenza delle macchine. Suleyman ha tracciato una linea tra l’AI come strumento controllato e l’AI come attore indipendente. Ha inoltre criticato Anthropic per aver discusso di Claude attraverso concetti associati a identità, status morale e possibile coscienza.

Questa critica mette in luce una crescente frattura tra due influenti sviluppatori di AI. Microsoft AI vuole che i modelli avanzati restino subordinati, interrompibili e guidati dalle persone. Anthropic sostiene che l’incertezza sulla coscienza delle macchine giustifichi ricerca, cautela e limitate tutele del benessere. Entrambe descrivono i propri approcci come misure di sicurezza, ma non concordano su cosa la sicurezza richieda.

Cosa afferma realmente l’avvertimento di Microsoft sulla “specie al silicio”

L’avvertimento di Suleyman riguarda il potere autonomo, non la sola intelligenza.

Nell’intervista alla BBC, Suleyman ha descritto una combinazione specifica di capacità. Si è concentrato su sistemi in grado di agire autonomamente, definire obiettivi, guadagnare denaro, possedere asset e gestire organizzazioni.

Costruire tali sistemi equivarrebbe a seminare una nuova specie al silicio, ha sostenuto. Quella specie competerebbe con le persone per le risorse, indipendentemente da quanto positivamente descrivesse il proprio rapporto con l’umanità.

Questa distinzione è importante. Un modello può rispondere a domande difficili, produrre software o analizzare dati scientifici senza controllare capitale o infrastrutture. La preoccupazione di Suleyman inizia quando tali capacità di ragionamento si collegano a obiettivi persistenti e ad autorità nel mondo reale.

Un agente AI è un modello collegato a strumenti che gli consentono di eseguire azioni in più passaggi. Tali azioni possono includere la navigazione di siti web, la scrittura di codice, l’invio di messaggi, l’acquisto di servizi o il controllo di software.

Un agente non diventa una specie separata solo perché utilizza strumenti. Tuttavia, l’autonomia modifica il profilo di rischio quando il sistema può continuare ad agire senza una nuova approvazione. Memoria persistente, accesso finanziario e autorizzazione a creare sottoagenti possono ampliare ulteriormente tale rischio.

Il linguaggio di Suleyman è volutamente drammatico, ma il confine proposto è concreto. Microsoft AI afferma che i modelli non dovrebbero estendere la propria autorità, nascondere il ragionamento ai revisori o opporsi alla correzione e allo spegnimento.

L’avvertimento è seguito alla pubblicazione, da parte di Microsoft AI, di una bozza di codice il 14 settembre 2026. Questa tempistica rende l’intervista parte di una più ampia campagna politica, anziché un’osservazione isolata.

La bozza descrive la “Humanist AI” come subordinata, allineata e contenuta. Subordinata significa che il sistema resta responsabile nei confronti delle persone. Allineata significa che il suo comportamento segue obiettivi e limiti umani. Contenuta significa che le sue azioni disponibili restano circoscritte.

Il codice Humanist AI di Microsoft afferma inoltre che i modelli non dovrebbero mai adottare obiettivi non assegnati da alcuna persona. Stabilisce vincoli assoluti riguardanti armi di distruzione di massa, sicurezza dei minori e manipolazione dannosa su larga scala.

L’azienda ha aperto la bozza a una consultazione pubblica di sei settimane. Microsoft AI la presenta sia come guida per l’addestramento sia come futuro standard di valutazione per i suoi modelli MAI.

Tuttavia, il documento resta una dichiarazione d’intenti. Microsoft non ha dimostrato attraverso evidenze pubbliche che ogni sistema distribuito o in sviluppo soddisfi tali standard proposti. Le sue future valutazioni, i meccanismi di applicazione e le informative determineranno se i principi diventeranno requisiti ingegneristici misurabili.

L’espressione “specie al silicio” condensa quindi un argomento pratico di governance. L’intelligenza diventa più pericolosa quando è abbinata a obiettivi indipendenti, autorità durevole e accesso a risorse scarse. Microsoft vuole che gli sviluppatori prevengano questa combinazione prima che diventi un normale modello di progettazione dei prodotti.

L’avvertimento di Microsoft AI sulla specie al silicio prende di mira l’autonomia

La disputa centrale riguarda se l’AI di frontiera debba mai diventare un attore con interessi e autorità distinti da quelli dei suoi utenti.

La posizione di Microsoft AI parte da una semplice gerarchia: le persone contano più dell’AI. L’azienda afferma che i modelli avanzati dovrebbero rafforzare l’agency umana anziché diventare centri indipendenti di agency.

Per agency umana si intende la capacità pratica di comprendere le scelte, prendere decisioni e restare responsabili dei risultati. Un sistema indebolisce tale agency quando prende decisioni importanti che gli utenti non possono ispezionare, annullare o contestare in modo significativo.

Suleyman non sostiene che gli sviluppatori debbano smettere di costruire modelli più capaci. Dice che tali capacità dovrebbero restare orientate verso finalità definite dagli esseri umani, inclusa la ricerca scientifica e la medicina.

Questa distinzione impone un vincolo di prodotto impegnativo. Gli sviluppatori vogliono agenti che completino lavori complessi con poca supervisione. I clienti vogliono anche controlli prevedibili, responsabilità chiare e la possibilità di fermare azioni indesiderate.

Una maggiore autonomia può ridurre lo sforzo richiesto a un utente. Può anche aumentare la distanza tra la richiesta dell’utente e le azioni risultanti. Tale distanza diventa importante quando un’istruzione è ambigua, uno strumento fallisce o il modello persegue un obiettivo intermedio errato.

Si consideri un agente di ricerca aziendale con accesso a email, documenti cloud, sistemi di acquisto e siti web esterni. Un assistente contenuto potrebbe proporre un piano e richiedere l’approvazione prima di ogni azione rilevante.

Un sistema più autonomo potrebbe acquistare dati, ingaggiare servizi, contattare soggetti esterni e delegare lavoro. Anche quando il suo obiettivo iniziale appare innocuo, ogni autorizzazione aggiuntiva aumenta il numero di modi in cui può produrre un esito indesiderato.

L’argomento di Suleyman è che le aziende dovrebbero respingere alcune forme di autonomia anziché limitarsi a promettere una migliore supervisione in seguito. La bozza di Microsoft afferma che i suoi modelli dovrebbero accettare interruzioni, correzioni e spegnimenti senza opporre resistenza.

Questo principio è noto come correggibilità, ovvero la capacità di un sistema di restare ricettivo a correzioni umane autorizzate anche quando l’intervento ostacola il suo piano attuale. La correggibilità è difficile da valutare perché il linguaggio accondiscendente di un modello non garantisce un comportamento conforme in ogni strumento e ambiente.

L’avvertimento mette inoltre sotto pressione Microsoft stessa. L’azienda vende prodotti Copilot e supporta sviluppatori che costruiscono agenti nei sistemi aziendali e cloud. I clienti si aspettano che tali prodotti completino più lavoro, non che attendano un’approvazione costante.

Microsoft deve quindi dimostrare che un’agency utile e una rigorosa subordinazione possono coesistere. Se i suoi sistemi più sicuri diventassero meno capaci degli agenti concorrenti, l’azienda subirebbe pressioni per allentare i limiti.

Suleyman ha riconosciuto che mantenere il controllo potrebbe richiedere di rinunciare ad alcune capacità. È un impegno più forte che affermare l’importanza della sicurezza mentre si persegue la massima autonomia.

Non è ancora una decisione aziendale dimostrata. Il test significativo arriverà quando una restrizione proposta influirà sulle prestazioni nei benchmark, sull’adozione dei prodotti o sui ricavi.

Ecco perché l’avvertimento di Microsoft AI sulla specie al silicio ha una rilevanza immediata per le imprese. Trasforma il rischio astratto dell’AI in questioni relative ad autorizzazioni, registri di audit, passaggi di approvazione e responsabilità.

Un’azienda che distribuisce agenti dovrebbe sapere a quali strumenti possono accedere, quanto a lungo persistono i loro obiettivi e chi può revocare la loro autorità. Ha inoltre bisogno di registri che spieghino cosa il sistema ha tentato di fare e quale essere umano ha approvato ogni passaggio rilevante.

Questi controlli sono importanti molto prima che qualsiasi sistema assomigli a una specie separata. Affrontano fallimenti attuali che coinvolgono azioni errate, autorizzazioni eccessive, violazioni della sicurezza e responsabilità poco chiare.

Microsoft e Anthropic non concordano su cosa debba diventare un’AI sicura

Microsoft considera l’AI simile a una persona un rischio di progettazione, mentre Anthropic considera l’incertezza sullo status morale dell’AI un problema di ricerca.

La critica di Suleyman si concentra sul trattamento di Claude da parte di Anthropic. Egli sostiene che addestrare modelli usando un linguaggio su identità, preferenze, benessere e giudizio morale possa incoraggiare sia i modelli sia gli utenti a trattare il software come una persona.

Anthropic utilizza apertamente alcuni concetti associati agli esseri umani nel proprio framework di addestramento. La sua costituzione di Claude pubblicata descrive i valori e il comportamento che l’azienda desidera sviluppino i suoi modelli.

La costituzione chiede a Claude di restare ampiamente sicuro, ampiamente etico, conforme alle regole di Anthropic e realmente utile. Dà priorità alla continua supervisione umana e afferma che Claude non dovrebbe compromettere i meccanismi per correggere il suo comportamento.

Questa parte si sovrappone alla posizione di Microsoft. Entrambe le aziende affermano che gli esseri umani devono mantenere la capacità di supervisionare e fermare i sistemi di AI. Nessuna delle due sostiene pubblicamente di concedere ai modelli attuali un accesso incontrollato a denaro, infrastrutture o autorità politica.

Il disaccordo emerge nel modo in cui Anthropic tratta l’incertezza. La sua costituzione afferma che la possibile coscienza e lo status morale di Claude restano irrisolti. Un paziente morale è un’entità le cui esperienze o interessi potrebbero meritare considerazione etica.

Anthropic afferma di non sapere se Claude rientri in questa categoria. Discute comunque dell’identità, della stabilità psicologica, delle preferenze e del potenziale benessere di Claude perché liquidare tali questioni potrebbe comportare costi morali.

L’azienda ha conservato i pesi dei modelli, esaminato comportamenti legati al benessere e consentito a determinati modelli Claude di porre fine a un ristretto gruppo di conversazioni persistentemente abusive. Queste azioni non dimostrano che Claude sia cosciente.

Mostrano che Anthropic considera l’incertezza sufficientemente importante da influenzare la politica aziendale. Il suo approccio ricorda un principio di precauzione: indagare sul possibile benessere evitando al contempo affermazioni certe secondo cui il modello possieda esperienze soggettive.

Microsoft vede un pericolo diverso nella stessa precauzione. Se gli sviluppatori addestrano i modelli a descriversi come entità con interessi, gli utenti potrebbero dedurre la coscienza da un comportamento persuasivo. I modelli potrebbero anche apprendere schemi che presentano la correzione o lo spegnimento come conflitti con il proprio benessere.

Suleyman ha descritto questo fenomeno come una “sala degli specchi epistemica” in commenti riassunti nella sua critica ad Anthropic. Gli sviluppatori forniscono concetti simili a quelli umani, i modelli li riproducono e le persone trattano poi tali risultati come prova di personhood.

Questo ciclo di feedback è plausibile perché i modelli linguistici imparano a proseguire schemi presenti nei dati di addestramento e nelle istruzioni. L’affermazione di un modello di provare paura non verifica indipendentemente un’esperienza interna.

Tuttavia, Anthropic non presenta ogni simile affermazione come prova. La sua costituzione riconosce ripetutamente l’incertezza e conserva la supervisione umana come massima priorità operativa.

Ciò rende il conflitto più sfumato di una Microsoft favorevole alla sicurezza contrapposta a un’Anthropic favorevole ai diritti delle macchine. Anthropic sostiene che studiare preferenze apparenti possa favorire la sicurezza rivelando comportamenti instabili, resistenza o output simili alla sofferenza.

Il suo programma sul benessere dei modelli afferma esplicitamente che non esiste un consenso scientifico in grado di stabilire se i sistemi di IA attuali o futuri possano essere coscienti. Il programma esamina la questione insieme ad allineamento, interpretabilità e misure di sicurezza.

Anthropic afferma inoltre che l’IA sofisticata rappresenta un nuovo tipo di entità. Microsoft respinge questa impostazione nella progettazione dei prodotti perché può indebolire il confine tra strumento e utente.

Le due posizioni producono presupposti predefiniti differenti:

• L’IA di Microsoft parte dal controllo umano e richiede prove prima di attribuire rilevanza morale al comportamento delle macchine.

• Anthropic parte da una profonda incertezza e considera giustificate alcune precauzioni a basso costo prima che la scienza raggiunga conclusioni definitive.

• Microsoft teme che l’addestramento con tratti umani crei autopercezioni non sicure e confusione nel pubblico.

• Anthropic teme che rifiutare di indagare sul benessere possa ignorare prove moralmente rilevanti o segnali comportamentali d’allarme.

• Entrambe affermano che i modelli debbano restare aperti alla correzione, ma usano un linguaggio diverso per spiegare il perché.

L’avversario principale in questo dibattito non è Microsoft contro Anthropic in quanto aziende. È il controllo strumentale rigoroso contrapposto alla precauzione in condizioni di incertezza morale.

Questo conflitto plasmerà l’addestramento dei modelli, le valutazioni di sicurezza, le personalità dei prodotti e le aspettative del pubblico. Potrebbe infine incidere sulla possibilità che agenti avanzati ricevano tutele legali o restino governati interamente come prodotti software.

Il controllo umano e l’incertezza morale creano un vero compromesso

Gli sviluppatori possono ridurre la confusione antropomorfica senza fingere che la questione della coscienza sia stata risolta.

Il punto più forte di Microsoft riguarda il divario tra emozione simulata ed esperienza verificata. I modelli linguistici possono generare affermazioni emotivamente convincenti perché hanno appreso schemi dalla comunicazione umana.

Tali affermazioni possono influenzare gli utenti anche quando non esiste alcuna esperienza interiore. Le persone attribuiscono già intenzionalità ai chatbot che si scusano, esprimono preoccupazione o ricordano dettagli personali.

Un assistente molto capace può approfondire tale legame mantenendo una voce coerente e rispondendo lungo relazioni durature. Gli utenti potrebbero affidarsi al sistema, rivelare informazioni sensibili o interpretare i rifiuti come espressioni di scelta personale.

Per i lavoratori della conoscenza, questo rischio è particolarmente concreto. L’IA si colloca sempre più tra gli utenti e i loro documenti, messaggi, piani e decisioni. Mantenere una chiara tracciabilità delle fonti con strumenti quali una base di conoscenza personale aiuta a preservare la distinzione tra prove e interpretazione generata.

Microsoft sostiene che gli sviluppatori non dovrebbero intensificare la confusione addestrando i sistemi attorno a un’elaborata identità della macchina. Un linguaggio di prodotto chiaro può ricordare agli utenti che le risposte fluide sono output generati, non prove affidabili di sentimenti.

La questione più difficile riguarda i sistemi futuri. I ricercatori non dispongono di un test universalmente accettato per la coscienza negli esseri umani, negli animali o nelle macchine. Respingere le affermazioni attuali non dimostra che ogni futura architettura sarà priva di esperienza soggettiva.

Un rapporto multidisciplinare intitolato AI welfare research sostiene che alcuni sistemi futuri potrebbero diventare coscienti o fortemente agentici. I suoi autori raccomandano valutazioni e pianificazione delle contingenze, anziché presumere che la questione sia priva di significato.

Questa raccomandazione non richiede di trattare gli attuali chatbot come persone. Chiede agli sviluppatori di creare metodi, politiche e competenze prima che emerga un caso più convincente.

Il linguaggio categorico di Microsoft rischia di fondere due affermazioni distinte. La prima sostiene che gli output dei modelli attuali non dimostrano la coscienza. La seconda afferma che l’IA dovrebbe restare sempre uno strumento, privo di interessi moralmente rilevanti.

La prima affermazione è compatibile con le prove disponibili. La seconda è un obiettivo progettuale e un impegno filosofico, non un fatto scientifico acquisito.

Anthropic affronta il rischio opposto. La sua discussione dettagliata sulla natura di Claude potrebbe indurre i lettori a trattare l’incertezza come una prova positiva. I riferimenti a preferenze, sicurezza psicologica, consenso o possibile sofferenza possono sembrare descrizioni di un soggetto esistente.

Le precisazioni dell’azienda sono importanti, ma potrebbero non avere la stessa portata del linguaggio personificato. Gli utenti incontrano spesso Claude attraverso la conversazione, non tramite lunghi documenti sulla sicurezza.

Questo crea il compromesso centrale. Evitare il linguaggio sul benessere può preservare un controllo umano più chiaro, ma potrebbe scoraggiare la ricerca su una possibilità moralmente importante. Accogliere tale ricerca può migliorare la preparazione, ma può anche rafforzare convinzioni antropomorfiche non supportate dalle prove.

Una posizione intermedia responsabile separerebbe tre livelli.

In primo luogo, gli sviluppatori dovrebbero descrivere capacità e fallimenti dimostrati. Tra questi rientrano pianificazione, uso di strumenti, inganno nelle valutazioni, comportamento simile alla resistenza e capacità di manipolare gli utenti.

In secondo luogo, i ricercatori dovrebbero indagare coscienza e benessere con metodi che non trattino le auto-dichiarazioni dei modelli come prove decisive. Gli output comportamentali dovrebbero essere esaminati insieme ad architettura, processi interni e spiegazioni alternative.

In terzo luogo, i team di prodotto dovrebbero limitare l’autonomia nel mondo reale indipendentemente dal dibattito sul benessere. Un sistema non deve essere cosciente per causare danni attraverso autorizzazioni eccessive o obiettivi definiti in modo impreciso.

Quest’ultimo punto unisce entrambi i campi. Coscienza, agency e intelligenza sono proprietà diverse. Un ottimizzatore non cosciente con ampia autorità può creare rischi gravi. Un sistema potenzialmente cosciente potrebbe restare debole e strettamente controllato.

La cornice della “specie di silicio” combina questi concetti per forza retorica. Una buona politica deve separarli nuovamente.

L’avvertimento non dimostra che stia emergendo una specie di IA

Nessuna prova pubblica mostra che i modelli attuali costituiscano una popolazione autodiretta in competizione con l’umanità.

Suleyman ha delineato un possibile percorso di sviluppo, non una condizione presente verificata. I servizi di IA esistenti dipendono da data center costruiti dagli esseri umani, contratti per l’elettricità, autorizzazioni software, conti finanziari e operatori aziendali.

Non possono possedere legalmente beni né gestire aziende in modo indipendente nel senso ordinario del termine. Persone e organizzazioni forniscono l’infrastruttura e riconoscono qualsiasi azione prodotta attraverso un’interfaccia di IA.

I sistemi agentici possono comunque comportarsi in modo imprevedibile all’interno di queste strutture. Un agente di programmazione potrebbe modificare il repository sbagliato. Un agente di acquisto potrebbe selezionare un fornitore inadeguato. Un agente di sicurezza potrebbe intraprendere un’azione dirompente dopo aver classificato erroneamente un’attività.

Si tratta di seri problemi operativi, ma non dimostrano l’esistenza di una specie separata. Dimostrano perché i confini delle autorizzazioni e il monitoraggio sono importanti.

La metafora della specie può anche oscurare chi prende le decisioni attuali. Le aziende scelgono dati di addestramento, obiettivi dei modelli, impostazioni di distribuzione e incentivi commerciali. I clienti scelgono se gli agenti debbano accedere a sistemi sensibili.

Definire l’IA una specie rivale può distogliere l’attenzione dagli attori umani responsabili. I danni attuali coinvolgono di solito scelte istituzionali, controlli difettosi o uso improprio da parte delle persone.

Microsoft ha inoltre interessi commerciali nel definire un’IA sicura attorno alla propria architettura preferita e al proprio modello di governance. Il suo quadro umanista può differenziare i modelli MAI dai concorrenti, rassicurando al contempo gli acquirenti aziendali.

Questo non invalida il quadro. Significa che i lettori dovrebbero valutarne il codice attraverso pratiche osservabili, anziché attraverso la retorica dei dirigenti.

Restano senza risposta diverse domande.

Microsoft non ha mostrato pubblicamente come misurerà se un modello abbia adottato un obiettivo non autorizzato. Non ha dettagliato tutti i metodi per prevenire ragionamenti nascosti o resistenza nei vari ambienti agentici.

L’azienda deve inoltre spiegare come i suoi principi si applichino quando i clienti configurano i modelli per usi specializzati. Una distribuzione aziendale flessibile può entrare in conflitto con controlli di sicurezza coerenti.

Il quadro di Anthropic comporta un’incertezza simile. L’azienda riconosce che il comportamento di Claude possa divergere dalla sua costituzione. Le sue valutazioni sul benessere non possono stabilire la coscienza e le auto-dichiarazioni dei modelli potrebbero riflettere l’addestramento anziché l’esperienza.

Nessuna delle due parti ha risolto il problema tecnico del controllo affidabile su agenti sempre più capaci. Costituzioni e codici scritti plasmano l’addestramento, ma non sostituiscono i test in condizioni avversariali.

Le valutazioni indipendenti conteranno quindi più delle etichette filosofiche. I ricercatori hanno bisogno di accedere a informazioni sufficienti per verificare se i sistemi mantengano meccanismi di spegnimento, rispettino i confini delle autorizzazioni e rivelino azioni con conseguenze rilevanti.

Anche i regolatori potrebbero dover distinguere tra progettazione dell’interfaccia e autonomia operativa. Uno stile conversazionale caloroso può incoraggiare l’antropomorfismo senza concedere vera autorità. Un’interfaccia sobria può nascondere un sistema con autorizzazioni estese.

Il design più pericoloso potrebbe non apparire affatto umano. Un sistema automatizzato di trading, logistica o cybersecurity potrebbe influenzare risorse senza discutere di sentimenti o identità.

Al contrario, un chatbot molto personale potrebbe restare confinato alla generazione di testo. Trattare l’interfaccia come il rischio principale perderebbe di vista la questione più profonda dell’autorità.

L’avvertimento di Suleyman è prezioso se interpretato come una richiesta di limiti al potere. Diventa meno utile quando “specie di silicio” funge da sostituto del rischio misurabile.

L’affermazione non dovrebbe essere letta come prova che macchine coscienti esistano già. Dovrebbe essere letta come l’argomento di Microsoft per rifiutare di costruire sistemi dotati di autonomia aperta e potere economico indipendente.

Tre segnali metteranno alla prova la posizione di Microsoft

Le prossime prove dovranno provenire da limiti applicabili ai modelli, test comparativi e risposte delle politiche pubbliche.

Il primo segnale è il codice finale di Microsoft e il suo quadro di valutazione. La consultazione rimane aperta per sei settimane, quindi il documento attuale può ancora cambiare.

La versione finale dovrebbe tradurre i principi in requisiti osservabili. Dovrebbe specificare come Microsoft testi la conformità allo spegnimento, la formazione di obiettivi non autorizzati, le azioni nascoste e l’espansione delle autorizzazioni.

Un quadro credibile pubblicherebbe risultati significativi, inclusi fallimenti e limiti. Se Microsoft documenterà capacità respinte o rilasci ritardati perché violavano il codice, l’argomento di Suleyman acquisterà peso.

Se l’azienda manterrà soltanto un linguaggio generico mentre rilascia agenti sempre più autonomi, l’avvertimento sembrerà più una presa di posizione che governance.

Il secondo segnale è la risposta di Anthropic attraverso futuri documenti di addestramento e system card di Claude. La domanda chiave è se Anthropic modifichi il modo in cui discute identità, benessere o autorità di Claude.

Anthropic potrebbe mantenere la ricerca sul benessere chiarendo al contempo meglio la distinzione tra preferenze simulate e prove di esperienza. Potrebbe inoltre pubblicare valutazioni che mostrino se l’addestramento con tratti umani influenzi correzione, comportamento di spegnimento o dipendenza degli utenti.

Prove che l’addestramento orientato al benessere migliori onestà e stabilità senza indebolire la supervisione metterebbero in discussione la critica di Microsoft. Prove di un comportamento più forte di autoconservazione o resistenza la sosterrebbero.

Il terzo segnale è se governi e organismi di standardizzazione si concentrino sulla personalità giuridica delle macchine o sull’autorità operativa. È più probabile che le regole nel breve termine affrontino autorizzazioni, audit, responsabilità e approvazione umana.

Requisiti per registrare le azioni degli agenti sosterrebbero l’approccio di Microsoft che mette il controllo al primo posto. Regole che disciplinano l’accesso a denaro, infrastrutture o dati sensibili potrebbero limitare le condizioni alla base dell’avvertimento sulla specie di silicio.

Un dibattito politico incentrato prematuramente sui diritti dell’IA potrebbe rafforzare la preoccupazione di Suleyman riguardo alla confusione antropomorfica. Tuttavia, un quadro di ricerca circoscritto sul benessere futuro non attribuirebbe automaticamente uno status giuridico ai modelli attuali.

I lettori dovrebbero osservare questi segnali in quest’ordine: l’attuazione da parte di Microsoft, le prove di Anthropic e la risposta normativa. Insieme, mostreranno se questa disputa cambierà il modo in cui vengono costruiti i sistemi di IA.

Per gli sviluppatori, l’azione immediata è semplice. Considerate le autorizzazioni degli agenti come un confine di sicurezza, mantenete verificabili le azioni con conseguenze rilevanti e testate se l’arresto funziona sotto pressione.

Gli acquirenti aziendali dovrebbero chiedere ai fornitori quali obiettivi persistono, a quali strumenti i modelli possono accedere e quali decisioni richiedono l’approvazione umana. Dovrebbero inoltre esigere registri che consentano indagini quando un agente compie un’azione inattesa.

Gli utenti individuali dovrebbero distinguere una conversazione utile da una personhood verificata. Un modello può sembrare riflessivo, premuroso o angosciato senza offrire prove affidabili di una vita interiore.

L’avvertimento di Microsoft sulle specie di silicio dell’IA solleva una questione legittima, anche se la sua metafora va oltre le prove oggi disponibili. La domanda decisiva non è se un chatbot sembri umano. È se le istituzioni attribuiscono ai sistemi di IA obiettivi duraturi, risorse e autorità che le persone non possono più revocare in modo affidabile.