Algoritmocrazia: Quando le Macchine Decidono per Noi

Algoritmi e potere: c’è un autovettore — in matematica, un vettore che una trasformazione lineare lascia invariato nella direzione —, da qualche parte dentro i server di Google, che ha già deciso cosa sai del mondo. Non un uomo, non un comitato, non un ministero della verità orwelliano con la sua brava burocrazia. Un autovettore. Una colonna di numeri, lo stato stazionario di una catena di Markov. E tu, stamattina, quando hai cercato qualcosa, ti sei fermato ai primi dieci risultati che quella colonna di numeri ti ha messo davanti. Nessuno ti ha chiesto il permesso. Parto da qui perché il punto, secondo me, è questo: viviamo dentro un governo che non ha eletto nessuno. Lo chiamano algoritmocrazia, il governo degli algoritmi, — un caso emblematico di algoritmi e potere — e indica quel passaggio silenzioso per cui sistemi automatizzati sostituiscono progressivamente il giudizio umano in settori cruciali della vita sociale ed economica. C’è un frate francescano, Paolo Benanti, che di queste cose si occupa per mestiere — è pure consigliere del Vaticano sull’intelligenza artificiale, mica l’ultimo arrivato. Lui, in Oracoli. Tra algoretica e algocrazia (Luca Sossella Editore, Roma, 2018), ha coniato un termine che mi gira in testa da giorni: «algoretica». L’idea è semplice e inquietante insieme: applicare le vecchie categorie etiche a queste tecnologie non funziona più, serve un’etica nuova, costruita apposta. Boh, già il fatto che un francescano senta il bisogno di inventare una parola dovrebbe dirci qualcosa sulla portata della faccenda. Ma facciamo un passo indietro, ché altrimenti corro troppo. Cos’è un algoritmo, alla fine? La Treccani lo definisce, asciutta, come «una procedura sistematica per risolvere un problema». Detta così sembra innocua, roba da manuale di matematica delle medie.

Solo che questa definizione non cattura niente della potenza reale. Prendi il PageRank di Google: determina in frazioni di secondo quali informazioni vengono mostrate per prime a miliardi di persone. Capisci il salto? Da «procedura per risolvere un problema» a «macchina che decide cosa l’umanità vede e quindi sa». E qui mi tocca fare il pignolo, perché c’è una tesi — del Politecnico di Milano, autrice Francesca Sorresso, anno accademico 2014/2015 — che spiega benissimo la meccanica della cosa. Prima di Google, i motori di ricerca ti sputavano fuori le pagine senza gerarchia, in ordine sparso, solo perché contenevano le parole che cercavi. Con PageRank, Larry Page e Sergey Brin — a Stanford, nel 1996, dentro un progettino chiamato «BackRub», roba da studenti — introdussero un criterio automatizzato di «importanza». Ogni link a una pagina vale come un voto di fiducia- inutile negarlo: le pagine più importanti ricevono più collegamenti dalle altre. Ma — e qui sta il bello, il cuore di tutto — il calcolo si fa con l’algebra lineare. Si costruisce la «matrice Google», che mappa la struttura dei link tra le pagine, e il vettore PageRank è l’autovettore dominante di quella matrice. Quell’autovettore di cui ti parlavo all’inizio. Praticamente la macchina classifica il web in anticipo, offline, prima ancora che tu apra il browser, basandosi solo sulla struttura dei collegamenti. Tecnicamente modella un «random surfer», uno che naviga cliccando a caso, con un fattore di smorzamento fissato a 0,85 — l’85% del peso dipende dai link ricevuti, il 15% si distribuisce a caso, una specie di teletrasporto. Ora, fermati un secondo a pensare a una cosa che mi ha lasciato di sasso. La maggior parte degli utenti non va oltre i primi dieci risultati. Dieci. Su miliardi di pagine.

Vuol dire che la classifica algoritmica decide, di fatto, cosa esiste e cosa no per la stragrande maggioranza dell’umanità. E attenzione, perché qui casca l’asino della presunta neutralità: un concetto diverso di «rilevanza», o un diverso metodo di analisi, produrrebbe classifiche radicalmente diverse. Esistono altri algoritmi — HITS, SALSA — (rispettivamente Hyperlink-Induced Topic Search e Stochastic Approach for Link-Structure Analysis) che ordinano il web con logiche differenti. Quindi non c’è nessuna gerarchia oggettiva calata dal cielo. La matematica non descrive l’importanza delle cose. La ordina. Questo è il cuore del problema degli algoritmi e del potere che esercitano: non è una questione tecnica, è una questione politica. È un’altra faccenda, del tutto diversa, e quasi nessuno se ne accorge. A conti fatti: chi ha la coscienza pulita non teme i tuoni. Ecco, qui i tuoni dovrebbero farci una certa paura, perché la coscienza pulita non c’è: c’è una scelta progettuale travestita da verità neutra. E sai qual è la cosa che mi inquieta di più? Che ‘sti meccanismi sono diventati, col tempo, incomprensibili anche a chi li costruisce. Frank Pasquale, in The Black Box Society (Harvard University Press, Cambridge, 2015), li chiama proprio così: «scatole nere». Strutture talmente complesse che nemmeno i loro creatori ne capiscono sempre il funzionamento interno. Sai l’input che metti dentro, vedi l’output che esce, ma quello che succede nel mezzo resta oscuro. Pensa che Jonathan McPhie, uno di Google, ha ammesso che è «quasi impossibile prevedere» come gli algoritmi modellino l’esperienza del singolo utente — troppe variabili in gioco. Capisci la situazione paradossale? Quelli che hanno costruito la macchina alzano le mani.

C’è un saggio di Emanuele Ciantò che, seguendo una classificazione di Jenna Burrell (2016, Big Data & Society), distingue tre tipi di opacità, e mi pare illuminante. La prima è l’opacità istituzionale: le aziende nascondono apposta il funzionamento dei loro algoritmi, perché è il loro vantaggio competitivo. Segreto industriale, punto. La seconda è l’opacità tecnica: capire ‘ste cose è roba per una ristretta élite di tecnici, e tutti gli altri restano fuori dalla porta. Ma la terza è quella che mi fa venire i brividi — l’opacità epistemica, o essenziale. La complessità delle reti neurali è tale che esiste un’incoerenza strutturale tra il processo matematico e l’interpretazione che ne possiamo dare con le parole. Tradotto: gli stessi programmatori non sanno spiegare perché l’algoritmo ha deciso così invece che così. E le cause sono tre, tutte spiazzanti: più grande è il dataset, meno è trasparente il processo (rapporto inversamente proporzionale, bello tosto); i dati non sono mai neutri, perché non esistono «raw data» — ogni input passa per le mani di migliaia di etichettatori umani, spesso malpagati e poco formati, che ci infilano dentro i loro pregiudizi culturali; e poi c’è il gap insormontabile tra linguaggio naturale e matematica del machine learning. Vabbè, dirai tu, ma in fondo che ti frega se Google ti mette un sito prima di un altro? Eh. E qui arriviamo al punto dolente, quello che ti tocca la carne viva. Perché la stessa identica struttura di potere invisibile — matrice, opacità, decisione automatica — la ritrovi pari pari quando vai in banca a chiedere un prestito. Una volta, lo sai, c’era il direttore di filiale. Quello che ti guardava in faccia, conosceva tuo padre, sapeva che eri uno serio anche se quel mese il conto piangeva. Valutazione umana, fallibile quanto vuoi, ma con un nome, un volto, una responsabilità. Oggi? Oggi c’è il credit scoring algoritmico.

Un sistema che analizza centinaia di variabili — saldo del conto, movimenti, zona di residenza, app che usi, persino i comportamenti sui social come Facebook — e decide in pochi secondi se sei degno di credito. Senza che tu sappia quali criteri ha usato.

La Rivista di Diritto Bancario ci ha dedicato un’analisi seria: il credit scoring automatizzato influenza sia l’accesso al credito sia il costo del finanziamento, e l’opacità di quelle decisioni cozza frontalmente con la necessità di verificare come la banca esercita il suo potere discrezionale. Uno studio dell’Università degli Studi di Milano lo mette nero su bianco: il consumatore subisce una decisione vincolante senza poterne comprendere i criteri, e quindi senza poterla contestare davvero. Ti rendi conto del salto rispetto al PageRank? Lì in gioco c’era cosa vedi.

Qui c’è se compri casa, se apri l’attività, se mandi i figli a studiare. La stessa matematica che ordina le pagine web ordina adesso le persone in affidabili e non affidabili. Algoritmi e potere, insomma, non sono più una metafora: sono la struttura concreta che governa accesso e opportunità. E lo fa, esattamente come Google, in anticipo e al buio. C’è una rivista, l’Agenda Digitale, che ha definito la trasparenza algoritmica «la sfida irrisolta», e ha ragione: senza spiegabilità e controllo, il trasferimento del potere decisionale alle macchine erode i principi di responsabilità ed equità su cui regge una società decente. Per fortuna qualcosa si muove: il GDPR, all’articolo 22, ti dà il diritto di non essere sottoposto a decisioni interamente automatizzate con effetti rilevanti sulla tua vita, e l’AI Act europeo ha classificato il credit scoring tra i sistemi ad alto rischio, prospettando addirittura possibili divieti per le «scatole nere» più opache. La tesi di fondo dei giuristi è sacrosanta: l’algoritmo dev’essere uno strumento di supporto all’uomo, non un decisore autonomo e incontrollabile. A questo punto vorrei rassicurarti, davvero. Vorrei dirti: tranquillo, sono casi limite. Il fatto è che ‘sta roba è dappertutto, e proprio nella sua invisibilità sta la trappola. Su Ticino Economico (settembre 2022) ho letto un articolo, La mano invisibile della IA nella vita quotidiana, che lo dice con parole semplici: l’intelligenza artificiale è onnipresente, dalla lettura delle email alle indicazioni stradali, dai suggerimenti musicali a quelli cinematografici.

Ogni volta che apri il feed di Facebook o LinkedIn, ogni volta che Amazon ti consiglia qualcosa, ogni volta che riproduci un video suggerito su YouTube o ti lasci guidare da Netflix verso la prossima serie — l’IA è lì, in agguato, che giudica per te. Eli Pariser, in The Filter Bubble (2011), lo aveva visto arrivare: la bolla in cui ci rinchiudono questi filtri ha tre caratteristiche micidiali. È individuale, sei solo lì dentro. È invisibile, non sai nemmeno che esista. E non l’hai scelta, ti viene imposta. Le tre stesse parole, guarda caso, che descrivono il credit scoring e il PageRank. Allora il punto vero, alla fine di tutto, non è tecnologico. È politico. L’avevo già scritto da qualche parte — se ti va, ci sono tornato in «Il Futuro è Algoritmico: Subirlo o Governarlo?» (https://giuseppeantoniosauro.com/il-futuro-e-algoritmico-subirlo-o-governarlo/), perché la domanda è sempre quella, e non si scappa… La tecnologia non è neutrale, e capirla è un atto politico. Un autovettore ha deciso cosa sai… Un altro algoritmo decide quanto vali per una banca. E nessuno, in tutta questa catena, ti ha mai chiesto il permesso. Nei prossimi articoli vorrei andare più a fondo nel lato oscuro, soprattutto con Cathy O’Neil e i suoi Weapons of Math Destruction, che racconta come algoritmi spacciati per neutrali amplifichino discriminazioni che già esistono. Perché una cosa è certa: ‘cca sutta non chjova. Il torto subìto al buio, prima o poi, qualcuno lo deve raccontare. Ci siamo riempiti la bocca di democrazia per duemila anni, e ci facciamo governare da una colonna di numeri che nessuno ha votato. Ma forse la domanda giusta non è chi ci governa… È: vogliamo continuare a non chiederci come?