Ibrahim Diallo è stato licenziato da un workflow automatizzato, non dal giudizio dell'AI

Google News ha fatto emergere un primato clamoroso: una rete AI aveva licenziato una persona. Il caso alla base riguardava lo sviluppatore software Ibrahim Diallo, ma il titolo nasconde ciò che è realmente accaduto.

Nessuna rete neurale ha valutato il lavoro di Diallo, lo ha confrontato con quello dei colleghi o ha deciso che dovesse perdere il posto. Un sistema amministrativo automatizzato ha interpretato una registrazione contrattuale scaduta come istruzione di cessazione.

Questa distinzione conta più oggi di quanto contasse quando Diallo pubblicò il suo resoconto nel 2018. I datori di lavoro collegano sempre più modelli analitici, software per workflow, sistemi di identità e agenti di AI generativa. Un errore in un componente può innescare azioni in tutta l'organizzazione.

Secondo quanto riportato, i manager di Diallo volevano che continuasse a lavorare. Eppure non sono riusciti a fermare il processo automatizzato che ha revocato il suo accesso, disabilitato i suoi account e ordinato alla sicurezza di allontanarlo.

L'episodio non è stato il primo caso verificato di una macchina intelligente che sceglie autonomamente di licenziare qualcuno. È stato un primo avvertimento su un problema diverso: le organizzazioni possono cedere autorità pratica al software senza assegnare a nessuno il potere di annullarne le decisioni.

La formulazione di Google News trasforma quel fallimento di governance in una storia su un'intelligenza artificiale che prende una decisione. Le prove verificate supportano una conclusione meno drammatica ma più utile. La macchina non ha esercitato giudizio. Ha eseguito un processo difettoso in modo più efficace di quanto le persone intorno a essa riuscissero a correggerlo.

Cosa Google News ha omesso dalla storia del licenziamento da parte dell'AI

Ibrahim Diallo è stato allontanato da un workflow automatizzato, non valutato e licenziato da una rete neurale.

Diallo era uno sviluppatore software a contratto che lavorava per una grande azienda di Los Angeles. Non ha identificato il datore di lavoro nel suo resoconto originale, e le ricostruzioni responsabili dovrebbero preservare questa incertezza.

Vi lavorava da circa otto mesi con quello che ha descritto come un contratto triennale. Il suo lavoro sembrava al sicuro finché la sua tessera di accesso all'edificio non ha smesso di funzionare.

Inizialmente una guardia di sicurezza gli ha permesso di entrare. Diallo ha poi scoperto che il suo stato nella directory aziendale era cambiato e che diversi sistemi di lavoro non lo riconoscevano più come dipendente attivo.

Secondo quanto riportato, il suo manager e il direttore ritenevano che il problema fosse un errore amministrativo. Gli dissero che aveva ancora un lavoro e cercarono di ripristinare il suo accesso.

L'automazione è comunque proseguita. Sono scomparsi altri account, incluso il sistema usato per registrare le ore ai fini del pagamento. Il personale di sicurezza ha infine ricevuto istruzioni di accompagnarlo fuori dall'edificio.

Diallo ha documentato la sequenza nel suo resoconto in prima persona, licenziamento automatizzato, pubblicato il 17 giugno 2018. Ha descritto un processo che sembrava inarrestabile una volta avviato.

La spiegazione finale riguardava una transizione organizzativa. Il precedente manager di Diallo aveva lasciato l'azienda e un necessario aggiornamento contrattuale non era stato completato nel nuovo sistema.

Quando è arrivata la data di fine registrata, il sistema ha classificato Diallo come cessato. Tale stato ha avviato una serie di azioni connesse nella sicurezza, nella gestione dell'identità, nelle paghe e nell'accesso al luogo di lavoro.

Un successivo servizio basato su un'intervista a Diallo ha riferito che il sistema ha generato centinaia di messaggi con istruzioni a vari team per disabilitare il suo accesso. È rimasto lontano dal lavoro per tre settimane e non è stato pagato durante quel periodo.

L'azienda non poteva semplicemente annullare la cessazione. Secondo quanto riportato, ha dovuto lasciare che il processo si completasse e poi inserire nuovamente Diallo come se fosse un nuovo lavoratore.

Si tratta di un grave fallimento, ma non dimostra che l'AI lo abbia valutato in modo indipendente. Nessun resoconto verificato identifica un modello di machine learning, una rete neurale o un sistema di AI generativa nella catena di cessazione.

La descrizione più prudente è quella di un workflow di gestione del rapporto di lavoro automatizzato. Un workflow di questo tipo utilizza regole e software connessi per eseguire azioni predefinite quando compare una condizione di attivazione.

L'attivazione iniziale era errata perché i registri dell'azienda non riflettevano la durata contrattuale prevista. Ogni azione successiva ha seguito logicamente quella registrazione difettosa.

Questa differenza separa l'esecuzione automatizzata dal giudizio automatizzato. Un sistema basato su regole può causare danni enormi senza ragionare, apprendere o comprendere nulla della persona coinvolta.

Google News è un aggregatore, non l'origine della maggior parte dei titoli mostrati nei suoi feed. Può distribuire la formulazione di un editore rimandando i lettori alla pagina dell'editore.

Questa distribuzione non convalida in modo indipendente l'interpretazione dell'editore. La comparsa su Google News significa che una storia è stata indicizzata o distribuita in syndication, non che Google ne abbia confermato l'impostazione fattuale.

Anche il titolo fornito sembra contenere un problema di traduzione. “AI network” probabilmente si riferisce a una rete neurale, ma il caso verificato non stabilisce che abbia partecipato alcuna rete neurale.

La parola “first” è altrettanto priva di fondamento. La storia di Diallo è diventata un esempio ampiamente riportato di cessazione automatizzata, ma né il suo resoconto né le interviste successive dimostrano che sia stato il primo incidente di questo tipo nella storia.

La conclusione più difendibile è più circoscritta. Diallo ha subito un processo di allontanamento automatizzato e documentato che i suoi manager diretti non sono riusciti a invertire in tempo.

Questa conclusione resta allarmante. Anzi, mette in luce un rischio più comune di quello rappresentato da un fittizio capo autonomo.

Il vero avversario era l'automazione senza possibilità di annullamento

Il conflitto centrale non è tra esseri umani e macchine intelligenti. È tra una gestione responsabile e un'automazione irreversibile.

Le aziende automatizzano l'offboarding per ragioni legittime. L'accesso di un lavoratore in uscita al codice sorgente, ai dati dei clienti, ai sistemi di pagamento e alle strutture fisiche spesso deve terminare rapidamente.

La velocità riduce l'esposizione alla sicurezza. La coerenza aiuta inoltre un'azienda a evitare di lasciare account attivi sparsi tra sistemi non collegati.

Questi obiettivi spiegano perché i workflow di cessazione possono raggiungere molti reparti contemporaneamente. Un singolo stato lavorativo può controllare badge, email, reti private virtuali, strumenti per le paghe, repository e applicazioni interne.

La stessa connettività aumenta il costo di un'attivazione errata. Un solo campo scorretto può propagarsi in ogni sistema prima che qualcuno capisca da dove abbia avuto origine l'istruzione.

I manager di Diallo erano partecipanti umani, ma non supervisori umani efficaci. Potevano osservare l'errore e opporvisi, ma a quanto pare non disponevano delle autorizzazioni e della procedura necessarie per fermarlo.

Questa è la differenza tra la presenza di un essere umano e il suo controllo effettivo. La supervisione esiste solo quando qualcuno può esaminare una decisione, sospenderne l'esecuzione e assumersi la responsabilità del risultato.

Un manager che può inviare un ticket di assistenza non è necessariamente un revisore dotato di potere. Un direttore che può lamentarsi ma non ripristinare l'accesso non è un meccanismo di annullamento.

La debolezza era tanto organizzativa quanto tecnica. L'azienda ha progettato un workflow che trattava la data contrattuale registrata come più autorevole delle dichiarazioni attuali della catena manageriale di Diallo.

Ha inoltre distribuito le responsabilità. La sicurezza ha seguito le proprie istruzioni, l'information technology ha seguito le regole degli account e le risorse umane sembravano incapaci di annullare rapidamente la cessazione.

Ogni azione locale poteva apparire ragionevole. Il risultato combinato era irragionevole perché nessuno possedeva l'intera catena.

Questo schema resta rilevante mentre le aziende adottano agenti AI. Un agente AI è un software che può pianificare passaggi e utilizzare strumenti connessi per completare un compito con un intervento limitato.

Collegare un agente all'email o alla ricerca di documenti crea rischi gestibili. Collegarlo alla gestione dell'identità, alle paghe, alla valutazione dei dipendenti o alla cessazione crea una superficie d'azione molto più ampia.

Un modello non ha bisogno di autorità formale per esercitare un potere pratico. Gli serve soltanto il permesso di modificare i registri di cui i sistemi a valle si fidano.

Supponiamo che un sistema AI riassuma in modo errato una valutazione delle prestazioni. Un motore di regole separato potrebbe quindi classificare il dipendente come non idoneo alla promozione.

Un workflow di identità potrebbe limitare l'accesso dopo quella classificazione. Uno strumento di pianificazione potrebbe rimuovere i turni futuri, mentre un sistema paghe calcola il pagamento finale.

Nessun singolo componente sembrerebbe licenziare il lavoratore. Insieme, i sistemi connessi potrebbero riprodurre l'esperienza di Diallo a una velocità maggiore.

La lezione non è che le aziende dovrebbero abbandonare l'automazione. Anche l'offboarding manuale può fallire, creare rischi per la sicurezza ed esporre informazioni sensibili.

La lezione è che l'automazione necessita di un confine di autorità definito. I sistemi dovrebbero sapere quali azioni richiedono conferma e quali persone possono interromperne l'esecuzione.

Un'azione ad alto impatto necessita anche di una traccia di audit durevole. I revisori dovrebbero poter identificare il record di attivazione, ogni azione a valle e la persona responsabile dell'approvazione dell'esito finale.

Senza questa registrazione, un'organizzazione può confondere l'inerzia procedurale con un'autorità legittima. Il software continua a procedere perché ogni componente presume che uno precedente fosse corretto.

Il caso di Diallo rivela la debolezza di questa presunzione. La data registrata è stata trattata come verità, mentre l'attuale conoscenza umana è stata trattata come un'eccezione che poteva attendere.

Perché questo vecchio caso conta di più nell'era degli agenti AI

L'AI moderna può aggiungere giudizi incerti agli stessi workflow rigidi che avevano già reso difficile fermare l'errore di Diallo.

L'incidente del 2018 ha coinvolto un'attivazione relativamente comprensibile. Una registrazione contrattuale ha raggiunto una data di fine e il sistema ha eseguito una sequenza di offboarding.

L'AI generativa introduce un tipo diverso di incertezza. I suoi output possono variare, omettere contesto o dedurre conclusioni che non sono mai state registrate esplicitamente.

Questa incertezza diventa rilevante quando l'output di un modello entra in un database operativo. Un riepilogo generato può diventare un punteggio, un punteggio può diventare uno stato e uno stato può avviare un'azione automatizzata.

Il rischio si colloca quindi al confine tra previsione ed esecuzione. Un chatbot che fornisce un suggerimento scadente è scomodo. Un modello che modifica un record lavorativo può incidere su reddito, accesso, reputazione e diritti legali.

Le organizzazioni descrivono spesso la revisione umana come la risposta. Eppure Diallo aveva diverse persone che riconoscevano il problema, compresi manager con conoscenza diretta del suo lavoro.

Il loro coinvolgimento non lo ha protetto perché il sistema non attribuiva loro diritti di intervento utilizzabili. La revisione umana diventa cerimoniale quando il revisore non può sospendere o annullare l'azione.

Il framework volontario sui rischi dell'AI del National Institute of Standards and Technology sottolinea la governance durante l'intero ciclo di vita di un sistema AI. Invita a definire chiaramente ruoli e responsabilità nelle configurazioni umane e AI.

Questo principio si applica anche quando il sistema sottostante non è tecnicamente AI. Le organizzazioni necessitano di responsabili nominati per dati, regole, integrazioni, eccezioni e ricorsi che circondano qualsiasi workflow con conseguenze rilevanti.

I progettisti dell'automazione dovrebbero inoltre distinguere tra azioni reversibili e irreversibili. Inviare un promemoria è facile da correggere. Revocare l'accesso e avvisare la sicurezza può creare un danno materiale immediato.

Un sistema prudente può articolare in fasi i cambiamenti ad alto impatto. Potrebbe preparare un pacchetto di cessazione, identificare gli account interessati e richiedere la conferma di due persone autorizzate prima dell'esecuzione.

Il sistema dovrebbe anche verificare se i suoi input sono in conflitto. Una data di scadenza del contratto non dovrebbe attivare il licenziamento se la persona ha incarichi di lavoro approvati, fogli presenze recenti e una proroga confermata dal responsabile.

Questo non richiede un modello sofisticato. Richiede una progettazione intenzionale dei flussi di lavoro e la volontà di rallentare quando i documenti non coincidono.

I sistemi di AI possono aiutare a individuare questi conflitti, ma non dovrebbero diventare una nuova fonte di autorità non verificabile. Punteggi di confidenza e spiegazioni generate non sostituiscono un'approvazione responsabile.

Gli sviluppatori dovrebbero trattare le azioni relative al rapporto di lavoro come altre operazioni sensibili alla sicurezza. Le autorizzazioni dovrebbero seguire il principio del privilegio minimo, ossia ogni sistema dovrebbe ricevere solo l'accesso necessario per il proprio compito specifico.

Un modello che redige un riepilogo delle prestazioni non ha bisogno dell'autorizzazione per modificare lo stato occupazionale. Uno strumento che raccomanda modifiche agli account non ha bisogno dell'autorizzazione per eseguirle immediatamente.

Ogni autorizzazione aggiunta amplia i possibili danni derivanti da allucinazioni, credenziali compromesse, dati errati o istruzioni fraintese. La comodità dell'automazione end-to-end può nascondere questa espansione.

Gli acquirenti enterprise dovrebbero quindi chiedere ai fornitori più della semplice accuratezza del modello. Devono sapere cosa il prodotto può modificare, come tali modifiche si propagano e se le azioni completate possono essere annullate.

Dovrebbero inoltre chiedere chi riceve un avviso quando il modello e i record autorevoli non coincidono. Il silenzio non è un'impostazione predefinita sicura quando un sistema incide sul sostentamento di una persona.

Il caso di Diallo offre un test semplice. Se un responsabile si accorge che il sistema è sbagliato, può fermare il processo prima che il lavoratore perda l'accesso?

Se la risposta dipende da diversi team di supporto, da un'escalation non documentata o dalla successiva ricostruzione dell'identità del lavoratore, il sistema non dispone di una supervisione umana significativa.

L'AI per l'occupazione ora affronta pressioni legali e di governance

Le autorità di regolamentazione trattano sempre più le decisioni automatizzate in materia di occupazione come sistemi ad alto impatto, anche quando le aziende le presentano come normali software di produttività.

Gli Stati Uniti non dispongono di un'unica legge federale organica sull'AI nell'occupazione. Le norme esistenti sui diritti civili possono comunque applicarsi quando i datori di lavoro utilizzano software per assunzioni, promozioni, monitoraggio o licenziamenti.

La Equal Employment Opportunity Commission ha avvertito che i datori di lavoro restano responsabili quando gli strumenti automatizzati producono esiti discriminatori. Le sue linee guida sull'AI nell'occupazione si concentrano sull'impatto avverso ai sensi del Titolo VII.

L'impatto avverso si verifica quando una procedura di selezione apparentemente neutrale esclude in modo sproporzionato persone appartenenti a un gruppo protetto. L'aggiunta dell'AI alla procedura non elimina gli obblighi del datore di lavoro.

L'EEOC ha inoltre affrontato il tema della discriminazione basata sulla disabilità. Uno strumento di valutazione può svantaggiare candidati o lavoratori le cui disabilità influenzano il modo in cui interagiscono con un test, una telecamera, un sistema vocale o un'interfaccia.

Il caso di Diallo non è stato riportato come una controversia per discriminazione. Mostra invece perché le organizzazioni necessitano di registri accurati e di un processo accessibile per correggere un errore individuale.

Gli audit di equità a livello di gruppo non avrebbero necessariamente rilevato il suo problema. Un flusso di lavoro può produrre risultati statisticamente equilibrati e tuttavia trattare ingiustamente una persona perché il record sottostante è errato.

Le norme di New York City riguardano una categoria più ristretta di strumenti automatizzati per le decisioni in materia di occupazione. La città richiede che gli strumenti interessati siano sottoposti ad audit sui bias, con riepiloghi pubblici e avvisi alle condizioni specificate.

Questi requisiti si concentrano in larga misura sugli strumenti che assistono in modo sostanziale o sostituiscono decisioni discrezionali nelle assunzioni o nelle promozioni. Non risolvono ogni forma di danno automatizzato sul posto di lavoro.

Un sistema d'identità convenzionale potrebbe non rientrare in una definizione rivolta al machine learning o al punteggio dei candidati. Eppure uno stato d'identità errato può comunque produrre l'effetto pratico di un licenziamento.

L'Unione europea adotta un approccio più ampio basato sul rischio. Il suo AI Act identifica alcuni sistemi utilizzati per il reclutamento, la gestione dei lavoratori, le promozioni, il monitoraggio e la cessazione del rapporto come applicazioni ad alto rischio.

Le disposizioni sull'occupazione della legge riflettono i possibili effetti su carriere, mezzi di sostentamento e diritti dei lavoratori. I sistemi interessati devono soddisfare requisiti relativi a gestione del rischio, registri, trasparenza, accuratezza e supervisione umana.

Le classificazioni giuridiche dipendono comunque dalla finalità prevista di un sistema e dai dettagli della sua implementazione. Una regola di database non diventa automaticamente un sistema di AI solo perché un titolo la definisce tale.

Ecco perché è importante usare un linguaggio accurato. Chiamare “AI” ogni processo automatizzato dannoso può confondere quali controlli e obblighi legali si applichino.

Può anche consentire alle aziende di attribuire a una tecnologia astratta scelte incorporate in software ordinario. Ogni flusso di lavoro automatizzato riflette decisioni umane su dati, trigger, autorizzazioni, eccezioni ed escalation.

L'errore opposto è altrettanto rischioso. Un'azienda non dovrebbe descrivere una raccomandazione basata sull'AI come una procedura amministrativa innocua quando determina in modo sostanziale le opportunità di un lavoratore.

Autorità di regolamentazione e revisori esaminano sempre più la funzione anziché il marketing. La domanda rilevante è in che modo un sistema influisca sulla decisione, non se il fornitore lo etichetti come assistente, agente, punteggio o flusso di lavoro.

Le organizzazioni hanno bisogno di un inventario che attraversi i confini tra reparti. Le risorse umane potrebbero gestire il record occupazionale, mentre l'information technology gestisce i controlli di accesso e sicurezza del badge aziendale.

Una valutazione completa dovrebbe tracciare il modo in cui una modifica di stato si sposta tra questi sistemi. Dovrebbe identificare quale componente origina la modifica e quali componenti si limitano ad applicarla.

Le aziende hanno inoltre bisogno di un processo di ricorso che operi alla velocità delle macchine. Una revisione completata settimane dopo non impedisce la perdita di salari, il danno reputazionale o l'interruzione delle prestazioni sanitarie.

Un ricorso efficace dovrebbe congelare le azioni non essenziali mentre il personale autorizzato esamina il record. Le restrizioni critiche per la sicurezza possono restare temporaneamente in vigore senza trattare il licenziamento contestato come definitivo.

Questo equilibrio protegge sia l'organizzazione sia il lavoratore. Impedisce inoltre ai team locali di improvvisare sotto pressione.

Lo scetticismo in questo caso dovrebbe rimanere preciso. Le norme e i controlli interni non possono eliminare ogni errore amministrativo. Anche i decisori umani possono discriminare, trascurare prove o respingere ricorsi validi.

L'automazione può migliorare la coerenza e produrre registri migliori rispetto a una gestione informale. Il problema inizia quando la coerenza trasforma un input errato in un esito inarrestabile.

Cosa osservare dopo l'affermazione di Google News

Il prossimo test sarà se i datori di lavoro offrano alle persone un controllo reale sulle azioni dell'AI, non se i fornitori applichino ai loro prodotti un'etichetta di revisione umana.

Il primo segnale è la progettazione dei meccanismi di override. Gli acquirenti dovrebbero cercare controlli di pausa, passaggi di approvazione, supporto per il rollback e limiti chiari su chi può eseguire azioni ad alto impatto.

Un override utile deve funzionare prima che il danno si diffonda. Non dovrebbe richiedere all'organizzazione di completare un falso licenziamento e poi ricreare l'identità del dipendente.

Il secondo segnale è la qualità dei log degli eventi. Un'azienda dovrebbe essere in grado di ricostruire perché lo stato di un lavoratore è cambiato e quale sistema ha avviato ogni azione a valle.

I log devono acquisire l'output del modello, i record di origine, le approvazioni, le chiamate di integrazione e gli interventi manuali. Senza queste prove, un ricorso diventa un confronto tra il racconto di una persona e uno stato di sistema privo di spiegazioni.

Il terzo segnale è il modo in cui autorità di regolamentazione e tribunali distinguono le raccomandazioni dalle decisioni. I fornitori spesso affermano che i loro strumenti si limitano a supportare il giudizio umano, mentre i datori di lavoro fanno ampio affidamento sul risultato generato.

Un punteggio nominalmente consultivo può diventare decisivo quando i responsabili non hanno tempo, informazioni o autorizzazione per contestarlo. La supervisione dovrebbe essere misurata attraverso gli interventi effettivi, non attraverso il design dell'interfaccia.

I datori di lavoro possono esaminare con quale frequenza i revisori respingono le raccomandazioni automatizzate. Un tasso di override pari a zero potrebbe indicare un'accuratezza eccezionale, ma può anche rivelare bias di automazione o revisori privi di potere.

I lavoratori dovrebbero ricevere un avviso comprensibile quando i sistemi automatizzati influenzano in modo sostanziale le decisioni occupazionali. Devono inoltre avere una via diretta per inviare informazioni corrette e richiedere un riesame umano.

I team tecnici dovrebbero testare i percorsi di errore prima dell'implementazione. Dovrebbero usare record scaduti, approvazioni in conflitto, identità duplicate, campi mancanti e servizi a valle non disponibili.

L'obiettivo non è solo confermare che il flusso di lavoro normale riesca. È capire se l'organizzazione possa riprendersi quando il sistema è erroneamente sicuro di sé.

Gli acquirenti enterprise dovrebbero inoltre esaminare l'ambito delle integrazioni. Un prodotto che analizza le prestazioni non necessita automaticamente di accesso in scrittura a sistemi di buste paga, identità, pianificazione o sicurezza.

Separare l'analisi dall'esecuzione crea attrito, ma tale attrito può essere un controllo di sicurezza. Offre a una persona responsabile il tempo di valutare il contesto prima che il software modifichi la vita lavorativa di qualcuno.

Il titolo di Google News invita i lettori a immaginare un capo AI che emette un verdetto. La storia verificata di Diallo mostra qualcosa di più ordinario e più attuabile.

Un record difettoso ha attivato un processo rigido. I responsabili umani hanno riconosciuto l'errore, ma l'organizzazione aveva attribuito al proprio software un'autorità operativa maggiore di quella che quei responsabili potevano esercitare.

Questo è il vero avvertimento per l'era degli agenti AI. Modelli più capaci non risolveranno proprietà poco chiare, autorizzazioni eccessive o vie d'uscita mancanti.

Prima di collegare un sistema di AI ai record occupazionali, ponete una domanda pratica: se agisce sulla base di informazioni errate, chi può fermarlo immediatamente?

Se nessuno ha una risposta chiara, l'organizzazione non è pronta ad automatizzare la decisione.