Gli Algoritmi Sono Razzisti? Il Problema della Discriminazione nell’IA

Gli algoritmi discriminatori dell'intelligenza artificiale decidono già oggi chi ottiene un prestito, chi finisce in carcere più a lungo, chi trova lavoro. C'è un numero, nel mio conto corrente, che non ho mai scelto. Non lo conosco, non posso vederlo, eppure decide se posso comprare una macchina, ristrutturare casa, mandare avanti un'idea. È il mio merito creditizio… E qualcuno — meglio, qualcosa — l'ha calcolato per me, in pochi secondi, sulla base di centinaia di variabili che nessuno mi ha mai spiegato. Un tempo c'era il direttore di banca. Ti guardava negli occhi, conosceva tuo padre, sapeva che a Gizzeria la tua famiglia il debito l'aveva sempre onorato. Oggi c'è una formula. E la formula, ti dicono, è oggettiva. Ecco, il punto, secondo me, è proprio questo: la promessa di oggettività matematica è la più sottile delle menzogne. Perché un numero non discrimina, giusto? Un numero è freddo, imparziale, non ha pregiudizi. Mah. Permettimi di dubitare. Perché quel numero, quella formula apparentemente neutra, è stata cucita addosso alla realtà da mani umane, nutrita di dati umani, e i dati umani sono sporchi di storia. Di torti. Di pregiudizi vecchi di decenni che si travestono da algebra e tornano a colpire, stavolta col timbro dell'inattaccabilità scientifica. Cathy O'Neil — matematica con dottorato a Harvard, postdottorato al MIT, poi analista quantitativa per l'hedge fund D.E. Shaw fino a quando la crisi del 2008 l'ha disgustata e spinta tra le braccia di Occupy Wall Street — ha dato a queste creature un nome che è già una condanna: Weapons of Math Destruction, tradotto in italiano come Armi di distruzione matematica (Bompiani, 2017). La sua tesi, che condivido in pieno, è tagliente: questi algoritmi non sono modelli oggettivi. Gli algoritmi discriminatori dell'intelligenza artificiale incorporano pregiudizi umani, ignorano variabili fondamentali e non offrono possibilità di appello. Incorporano pregiudizi umani, ignorano variabili fondamentali e — questo è il dettaglio che fa male — non offrono possibilità di appello. Operano come scatole nere, segrete, e proprio quella segretezza rende impossibile contestarli. Tu ricevi un "no" e basta. Senza un perché
. E qui mi viene in mente Frank Pasquale, che in The Black Box Society (Harvard University Press, Cambridge, 2015) descrive proprio questo: sistemi così complessi che nemmeno chi li costruisce ne capisce fino in fondo il funzionamento. La scatola nera. Una bella metafora, vero? Solo che dentro quella scatola ci finisce la tua vita. Vuoi un esempio concreto? Pensa al credito durante la crisi del 2008 — O'Neil l'ha vissuta dall'interno. Gli istituti concedevano mutui insostenibili e prendevano di mira, con chirurgica precisione, quartieri poveri e minoranze etniche. Wells Fargo fu accusata di "prestiti ghetto" mirati alle chiese afroamericane, e finì che il 71% dei pignoramenti si concentrava in quartieri a maggioranza nera. Capisci il meccanismo? Non è che l'algoritmo "odiasse" qualcuno. È che ottimizzava il profitto a breve termine basandosi su dati che riflettevano una società già diseguale. E così la matematica diventava un megafono dell'ingiustizia. Aria netta non avi paura i trona, dicevano i vecchi dalle mie parti: chi ha la coscienza pulita non teme… Ecco, queste formule la coscienza pulita non ce l'hanno proprio. Ma c'è un caso — uno in particolare, tra tutti — che ti gela. Sul serio. Ti vien voglia di chiudere il libro e andare a farti un giro. Porta dritto dentro la giustizia penale americana, però aspetta: prima devo mettere un pezzo di contesto sul tavolo, sennò non si capisce niente. Fatto sta che negli Stati Uniti i pregiudizi razziali nelle sentenze non sono chiacchiere da bar, sono roba scritta coi numeri. Nella contea di Harris, Texas — non in qualche distretto sperduto, proprio lì — la pena di morte viene richiesta tre volte di più quando l'imputato è afroamericano, quattro volte di più se è ispanico. A parità di reato, sia chiaro. E a livello federale? I neri prendono condanne più lunghe del 20% rispetto ai bianchi. Il 13% della popolazione. Il 40% di quella carceraria. Ci pensi? I numeri, stavolta, non mentono per coprire qualcuno. Mentono per mostrare tutto. Allora — e qui scatta il paradosso, quello che adoro smontare — qualcuno ha pensato: e se togliessimo l'umano dall'equazione? Se affidassimo la valutazione del rischio di recidiva a un algoritmo imparziale? Ventiquattro Stati hanno adottato modelli come il LSI-R, ovvero Level of Service Inventory-Revised, un questionario standardizzato per valutare il rischio di recidiva, il Level of Service Inventory-Revised, dal 1995. Bello, no? Peccato che questi sistemi usino questionari che indagano i precedenti, l'ambiente familiare, il quartiere di provenienza, i contatti con la polizia. E indovina un po': sono esattamente le variabili che penalizzano i poveri e le minoranze.

I giovani neri subiscono il 40,6% dei controlli "stop and frisk" pur essendo il 4,7% della popolazione, e oltre il 90% risulta innocente. Ma quell'esperienza — essere fermati per strada — entra nel questionario e diventa "rischio". Il quartiere dove sei nato diventa "rischio". Cioè: l'algoritmo non chiede "sei nero?", lo deduce dalle domande laterali. Travestimento perfetto… La discriminazione esce dalla porta e rientra dalla finestra, stavolta con la cravatta del matematico. matematico. E si crea un circolo vizioso da incubo: chi riceve punteggi alti — quasi sempre poveri e minoranze — ottiene condanne più lunghe, sta più in carcere, e questo aumenta le probabilità di recidiva al rilascio. È questo il volto più oscuro degli algoritmi discriminatori dell'intelligenza artificiale: la profezia che si autoavvera. La profezia che si autoavvera. L'algoritmo predice il disastro e contemporaneamente lo provoca. 'Cca sutta non chjova: il torto subìto non si dimentica, e qui il torto te lo ricordano per generazioni. Aggiungi l'opacità della proprietà intellettuale privata — questi modelli sono software commerciali, segreti aziendali — e hai un giudice di cui non puoi vedere il codice, non puoi interrogare, non puoi appellare. Il dibattito, ben raccontato anche da Agenda Digitale nel pezzo sulla "black box", è proprio questo: chi subisce una decisione algoritmica sfavorevole non riesce a comprenderne le ragioni né a contestarla. Un problema democratico, prima ancora che tecnico. tecnico. A questo punto tu potresti dirmi: vabbè, roba americana. Loro col razzismo hanno i conti aperti da sempre, noi che c'entriamo? E invece, guarda, ci entriamo eccome. Perché il fenomeno non conosce confini. Anche in Italia città e aziende stanno adottando algoritmi per i trasporti, la sicurezza urbana, la selezione del personale. Il problema degli algoritmi discriminatori nell'intelligenza artificiale, insomma, non è un fenomeno solo americano. Pensa all'algoritmo "Frank", quello che le piattaforme di delivery usano per "gestire" i rider — RaiNews ci ha dedicato un'inchiesta. Frank assegna ordini, stabilisce turni, valuta le prestazioni, decide chi lavora di più e chi viene tagliato fuori. Tutto a punteggio. E i rider, spesso appartenenti a minoranze etniche o categorie fragili, rischiano di essere svantaggiati da parametri che paiono neutri ma riproducono bias strutturali. Il fattorino non sa perché oggi gli arrivano meno corse. Boh. La scatola nera, di nuovo. Oppure i taxi e le piattaforme di ride-hailing — un tema su cui la Fondazione Giangiacomo Feltrinelli ha richiamato l'attenzione. Si pensava che l'app avrebbe eliminato la discriminazione del tassista che non ti carica perché hai la pelle scura. E invece studi del MIT, della Stanford University e dell'Università di Washington hanno mostrato che i passeggeri con nomi tipicamente afroamericani subivano tassi di cancellazione più alti. La discriminazione non è sparita: si è trasformata, è migrata dall'occhio del conducente all'interazione tra lui e l'algoritmo. E il surge pricing, i prezzi dinamici, colpiscono più duramente chi vive in quartieri poveri, con meno auto disponibili. La tecnologia non è neutrale — l'ho scritto mille volte sul mio blog, e lo ribadisco: capirla è un atto politico… E poi c'è il credito, che è dove siamo partiti… La Rivista di diritto bancario lo dice chiaro: il credit scoring algoritmico decide sia l'accesso al credito sia il costo del finanziamento. Decisioni ad altissimo impatto, prese da una macchina, con quel solito problema dell'opacità che impedisce di verificare se il potere discrezionale della banca sia esercitato correttamente. Per fortuna qualcosa si muove sul piano normativo: il GDPR, all'articolo 22, limita le decisioni interamente automatizzate con effetti significativi sulle persone e ti garantisce il diritto a un intervento umano; la nuova direttiva europea sul credito al consumo rafforza le tutele; e l'filter bubble, la bolla di filtraggio: gli algoritmi selezionano i contenuti in base ai tuoi comportamenti passati e ti rinchiudono in una camera dell'eco, riducendo la diversità di fonti e prospettive senza che tu te ne accorga. Apparente libertà di scelta, controllo invisibile. E nel lavoro è anche peggio: O'Neil ricorda che il 72% dei curriculum non viene mai visto da occhi umani, che i candidati con nomi "da bianchi" ricevono il 50% di risposte in più. La tua vita, filtrata, ordinata, scremata dopo scremata, da formule che non hai scelto e non puoi vedere. A conti fatti, di chi è la colpa? Non della matematica — poveretta, Pitagora, che a Crotone visse e insegnò ma non ci nacque, non c'entra nulla… La colpa è di come usiamo la matematica per lavarci la coscienza, per dire "non sono io a discriminare, è il sistema, è il numero, è la formula". L'oggettività diventa un alibi. Il pregiudizio, una volta codificato, smette di sembrare pregiudizio e diventa dato. Inattaccabile, appunto. Se vuoi scavare ancora, ne ho parlato anche in Gli Algoritmi Sono Razzisti? Il Problema della Discriminazione nell'IA (https://giuseppeantoniosauro.com/algoritmi-razzisti-discriminazione-ai/), e prima ancora ragionavo sull'opacità di questi sistemi in Etica e Algoritmi: Le Regole per un'IA più Umana (https://giuseppeantoniosauro.com/etica-e-algoritmi-le-regole-per-unia-piu-umana/). Ma c'è un livello ancora più profondo, e sarà il tema del prossimo articolo. Perché finora abbiamo parlato di algoritmi che discriminano. La domanda successiva è: a chi serve tutto questo? Chi guadagna dall'estrarre i nostri dati, dal prevedere e modificare i nostri comportamenti? Shoshana Zuboff, professoressa emerita della Harvard Business School, in Il capitalismo della sorveglianza (Luiss University Press, 2019) ha dato un nome a questa mutazione: un ordine economico che trasforma l'esperienza umana in materia prima, in “surplus comportamentale“, cioè i dati in eccesso sul nostro comportamento raccolti oltre il necessario e rivenduti a terzi, venduto nei mercati dei comportamenti futuri. Sanno tutto di noi, mentre per noi è impossibile sapere di loro. Asimmetria pura. Allora ti lascio con una domanda, perché le risposte facili non mi sono mai piaciute. Quando accetti che un numero decida per te — sul prestito, sul lavoro, sulla pena — stai delegando un calcolo, o stai abdicando a un diritto? Pensaci. E se questo ragionamento ti ha smosso qualcosa dentro, condividilo: i guai d'a pignata i sapi sulu a cucchiara ca l'arrimina, certo — ma certe pentole, ormai, le rimestiamo tutti insieme, un tema che riguarda direttamente algoritmi discriminatori intelligenza artificiale.