Quali sono le preoccupazioni della società civile europea in relazione agli errori degli algoritmi chiamati a prendere decisioni sugli umani? I risultati di un nuovo report di ricerca
Nelle amministrazioni pubbliche di tutta Europa l’intelligenza artificiale (AI) e i sistemi di decisione automatizzati (Adm) sono già una realtà. Questi sistemi, spesso basati su algoritmi “black box” opachi e poco trasparenti, possono riconoscere i nostri volti in pubblico, intervengono in decisioni di welfare e persino prevedono voti agli esami universitari. In questi contesti, gli algoritmi sono utilizzati per prevedere il comportamento umano e prendere decisioni, anche in aree sensibili come la giustizia, la salute o i servizi sociali.
Come è stato documentato negli Stati Uniti, dove la polizia algoritmica è già adottata, queste decisioni sono però intrinsecamente influenzate da pregiudizi, bias e diverse tipologie di errori. E questo può avere conseguenze disastrose: in Michigan, nel giugno 2020, un uomo è stato arrestato, interrogato e trattenuto durante la notte per un crimine che non aveva commesso perché era stato identificato erroneamente da un sistema di intelligenza artificiale.
Questi sistemi algoritmici vengono addestrati sulla base di dati preesistenti, che sono fallaci per loro stessa natura; pertanto, questi dati possono perpetuare forme esistenti di discriminazione e pregiudizi sociali, portando a quello che la ricercatrice Virginia Eubanks ha definito come “automazione delle disuguaglianze“.
Rendere l’AI responsabile
L’ampia adozione di questi sistemi solleva quindi una domanda urgente: cosa bisogna fare per rendere un algoritmo responsabile delle sue decisioni? L’urgenza di questa domanda si è vista di recente in Canada, dove un tribunale ha ordinato a una compagnia aerea di pagare un risarcimento a un cliente che aveva agito sulla base di consiglio errato fornito da un chatbot aziendale alimentato da AI. La compagnia aerea ha cercato di respingere la richiesta dichiarando che il chatbot era “responsabile delle proprie azioni”.
In Europa si è visto un movimento istituzionale volto a spingere per regolamentare l’uso dell’AI, che si è recentemente materializzato nell’Artificial Intelligence Act, approvato a fine 2023. Questa legislazione mira a regolamentare l’uso dei sistemi di AI più vasti e potenti, impedendo loro di rappresentare minacce sistemiche, proteggendo i cittadini da potenziali abusi. Il lancio dell’atto è stato accompagnato da una gamma di azioni, iniziative e campagne lanciate dalle organizzazioni della società civile nei vari stati membri dell’Unione. Questa crescente resistenza ai sistemi di AI problematici ha guadagnato slancio e visibilità proprio negli ultimi anni e nella scia dei dibattiti attorno alla necessità di regolamentare questi sistemi. Questo movimento ha anche influenzato le scelte dei legislatori in modo diretto, mettendo pressione su di loro per introdurre misure che salvaguardino i diritti fondamentali.
Lo Human Error Project
Come parte dello Human Error Project, basato presso l’Università di San Gallo in Svizzera e diretto dalla docente Veronica Barassi, abbiamo studiato i modi in cui gli attori della società civile si stanno battendo contro l’aumento della discriminazione automatizzata in Europa. Il nostro progetto si concentra sugli errori dell’AI, un termine ombrello che utilizziamo per comprende bias, discriminazione e mancanza di trasparenza degli algoritmi e dell’AI.
Il nostro ultimo report di ricerca si intitola Civil Society’s Struggle Against Algorithmic Injustice in Europe. Basato su interviste con attivisti e rappresentanti delle organizzazioni della società civile europea, esplora come le organizzazioni per i diritti digitali e la data justice definiscono gli errori dell’AI, come mettano in discussione l’uso dei sistemi di AI e sottolinea l’urgente necessità di questi dibattiti.
La nostra ricerca ha rivelato un panorama complessivo di preoccupazione, poiché la maggior parte delle persone intervistate condivide il punto di vista maggioritario presso studiosi e le studiose di AI: l’intelligenza artificiale può spesso essere razzista, discriminatoria e riduttiva quando si tratta di dare un senso agli esseri umani e analizzarne i comportamenti. Molti dei nostri intervistati hanno anche sottolineato ed enfatizzato come non dovremmo considerare gli errori dell’AI come un problema puramente tecnologico. Piuttosto, questi sono sintomi di questioni sociali sistemiche più ampie che precedono gli sviluppi tecnologici recenti. La polizia predittiva è un chiaro esempio. Poiché questi sistemi si basano su dati della polizia che riguardano il passato, potenzialmente falsificati o corrotti, possono perpetuare forme esistenti di discriminazione su base etnica, spesso portando alla profilazione razziale e persino ad arresti illegali.
L’AI sta già influenzando la nostra vita quotidiana
Per le organizzazioni della società civile europea, un problema chiave è la mancanza di consapevolezza tra il pubblico che l’AI sia già utilizzata per prendere decisioni in numerose aree della loro vita. Anche quando le persone ne sono consapevoli, infatti, spesso non è chiaro come operino queste black box, o chi dovrebbe essere ritenuto responsabile quando prendono una decisione ingiusta o iniquia.
Questa mancanza di visibilità significa anche che la lotta per la giustizia algoritmica non è solo una questione politica, ma anche simbolica, perché mette in discussione le nostre stesse idee di oggettività e precisione. I dibattiti sull’AI sono notoriamente dominati dall’isteria mediatica e dal panico, come ha mostrato il nostro primo rapporto di ricerca, pubblicato nel 2022. Di conseguenza, le organizzazioni della società civile europea sono costrette a perseguire due obiettivi: parlare chiaramente della questione e mettere in discussione la visione predominante che vede l’IA come una panacea automatizzata per la soluzione di problemi sociali complessi. L’importanza di dare il giusto nome al problema emerge con evidenza dai risultati del nostro nuovo report, dove gli intervistati e le intervistate si sono spesso dette riluttanti persino a utilizzare termini come “Etica dell’AI”, arrivando persino a non menzionare affatto “IA”. Invece, hanno spesso adottato termini alternativi e più specifici come “statistica avanzata”, “automatic decision making” o “sistemi Adm”.
Contenere il potere delle grandi aziende tecnologiche
Oltre a sensibilizzare il pubblico, uno dei principali problemi, secondo le organizzazioni della società civile europee che si battono per la giustizia algoritmica, è limitare il potere dominante delle grandi aziende tecnologiche. Diverse organizzazioni che abbiamo intervistato sono state coinvolte in iniziative connesse all’AI Act dell’Unione europea e, in alcuni casi, hanno persino giocato un ruolo diretto nel mettere in evidenza alcune questioni aperte e chiudere le falle che le aziende tecnologiche avrebbero potuto sfruttare.
Secondo alcune organizzazioni, ci sono elementi, come il riconoscimento facciale biometrico negli spazi pubblici, dove solo un divieto assoluto potrà sufficiente a scongiurare scenari di sorveglianza di massa. Altre organizzazioni, addirittura, si sono dette scettiche nei confronti della legislazione nel complesso, ritenendo che essa da sola non possa risolvere tutti i problemi presentati dalla continua diffusione dei sistemi algoritmici. La nostra ricerca mostra anche che, per affrontare il potere dei sistemi algoritmici, occorre smettere di considerare gli errori dell’IA come un problema puramente tecnologico, ma che serve iniziare a inquadrarlo come un problema espressamente politico. A dover essere risolto non è un difetto tecnologico del sistema o un suo glitch, ma le disuguaglianze sistemiche che questi sistemi perpetuano e da cui hanno origine.
Il report “Civil Society’s Struggle Against Algorithmic Injustice in Europe” dello Human Error Project è disponibile qui.
Fonte: wired.it di Antje Scharenberg e Philip di Salvo