AI: il principio di correttezza del trattamento dei dati e il problema del bias

Come sappiamo, i sistemi di Intelligenza Artificiale hanno la capacità di analizzare enormi quantità di dati e necessitano di questi durante le fasi di apprendimento e di testing. In relazione alle tecniche di machine learning, si sente dire spesso che più dati di addestramento possono essere inserirti in un modello, migliore sarà il risultato che questo produrrà.

Tuttavia la qualità dei dati di apprendimento può in molti casi essere sostanzialmente più importante della quantità. Quando si addestra un determinato algoritmo, infatti, è fondamentale che la selezione dei dati di allenamento sia rappresentativa e contestualizzata rispetto al compito che il modello dovrà risolvere in futuro.

Per capirlo, analizziamo un esempio pratico.

Un ospedale americano a metà anni 90 intraprende una sperimentazione con lo scopo di creare un modello matematico accurato per classificare il rischio di complicazioni o morte per i pazienti affetti da polmonite tramite un software basato su machine learning[1]. Lo scopo era sviluppare uno strumento da utilizzare in modo che i pazienti ad alto rischio potessero essere ricoverati in ospedale, mentre i pazienti a basso rischio venissero curati come pazienti ambulatoriali. Con grande sorpresa dei medici, dai risultati era emerso che l’algoritmo assegnava ai pazienti che soffrivano sia di asma che di polmonite una categoria di rischio bassa. Nonostante tali pazienti fossero più a rischio di complicazioni, avevano anche tassi di sopravvivenza più elevati. Ciò che il modello non riusciva a riconoscere era che il rischio apparentemente inferiore derivava dalla maggiore assistenza sanitaria e dal trattamento più intensivo che questi pazienti ricevevano. 

L’esempio ci fa capire l’importanza della correttezza dei dati nonché della conoscenza del settore di appartenenza degli stessi. Questo concetto viene spesso espresso con la massima garbage in, garbage out: algoritmi addestrati sulla base di dataset sbilanciati produrranno un output compromesso e ciò è in espressa violazione del principio di correttezza del trattamento ex art. 5 lett. a) GDPR, oltre che ad essere in contrasto con il diritto a non essere discriminati. 

Può capitare, infatti, che i sistemi di IA apprendano da dati che rispecchiano le caratteristiche di un determinato gruppo di individui e che ciò risulti in un sostanziale sbilanciamento tra i gruppi rappresentati, tale per cui alcuni vengono rappresentati più o meno di altri. Come osservato nel campo della giustizia penale, tale sbilanciamento può riverberarsi in risultati discriminatori in base al sesso, alla razza, all’età, alla salute o ad altre caratteristiche oggetto di analisi.

Si fa riferimento ad esempio all’ormai celebre vicenda relativa a Supreme Court of Wisconsin, State of Wisconsin v. Eric L. Loomis. Il sig. Loomis era stato condannato a sei anni di reclusione sulla base, in parte, del risultato di scoring (relativo alla probabilità di recidiva dell’imputato) fornito da un software denominato COMPAS, il quale è risultato essere profondamente discriminatorio nei confronti di soggetti afro-americani.

I rischi paiono essere altissimi anche nel caso di applicazioni di intelligenza artificiale in sanità.

Nell’ottobre 2019 la rivista Science ha pubblicato un articolo[2] nel quale si affermava come un algoritmo commerciale utilizzato in quasi ogni grande sistema sanitario statunitense, nonché da altre istituzioni quali le assicurazioni, fosse altamente discriminatorio nei confronti di pazienti afroamericani. Tale sistema in particolare si occupa di identificare i pazienti con esigenze sanitarie complesse (c.d. “high-risk care managament): tramite questo algoritmo, i pazienti che hanno bisogni sanitari speciali vengono automaticamente flaggati e, una volta selezionati, possono ricevere  maggiori risorse economiche.

È possibile quindi prevedere quali pazienti trarranno maggiori benefici nel ricevere assistenza extra e ciò permette di allocare in modo efficiente le risorse. Per poter fare questa previsione, l’algoritmo si basa sui dati relativi a quanto costa per un operatore sanitario curare un paziente: a causa della disparità di accesso all’assistenza sanitaria, tuttavia, dal dataset utilizzato risulta che i pazienti afroamericani sistematicamente spendono molto meno per i loro trattamenti sanitari rispetto ai pazienti bianchi ugualmente ammalati.

Di conseguenza, viene ridotto di oltre la metà il numero di pazienti di colore che vengono segnalati per cure supplementari: “Less money is spent on Black patients who have the same level of need, and the algorithm thus falsely concludes that Black patients are healthier than equally sick White patients.”

Il Garante britannico (Information Commissioner’s Office – ICO), nella Guidance on the AI auditing framework ha identificato due ragioni principali per le quali un sistema di Machine Learning utilizzato per classificare o effettuare previsioni riguardi a degli individui possa portare a discriminazioni:

1. Dati di addestramento non sono bilanciati: è il caso in cui, ad esempio, vi sia una over-rappresentazione della popolazione maschile nei dati. in questo caso il modello presterà più attenzione alle relazioni statistiche che riguardano soggetti maschili e meno a quelle che riguardano soggetti femminili. Se un software che effettua attività di riconoscimento facciale è stato addestrato con un numero molto più alto di visi maschili bianchi, sarà portato a riconoscere meglio i visi maschili bianchi rispetto ad altre etnie e generi;
2. I dati di addestramento riflettono una discriminazione pregressa

Secondo l’ICO i Titolari del trattamento che decidono di intraprendere un’attività di questo tipo devono implementare una serie di controlli basata su tre fasi distinte, di cui riportiamo i passaggi più interessanti:

1. Prevenzione:
   • Adottare un sistema di governance dei dati che descriva come i dati personali utilizzati per l’addestramento, il test o la valutazione del sistema basato siano il più corretti, accurati, rilevanti, rappresentativi e aggiornati possibile;
   • Assicurarsi che gli sviluppatori del software abbiano ricevuto una formazione adatta;
   • Includere nella DPIA una valutazione approfondita del rischio di discriminazione nonché delle misure previste per mitigarlo/controllarlo
2. Identificazione: monitorare regolarmente l’imparzialità del trattamento svolto dall’algoritmo;
3. Correzione:
   • Aggiungere o rimuovere i dati sui gruppi sottorappresentati / sovrarappresentati, includendo un'analisi approfondita / giustificazione.
   • Ri-allenare il modello con dei vincoli di imparzialità.

In conclusione si sottolinea come, una volta addestrati, alcuni sistemi di apprendimento automatico possano essere considerati vere e proprio "scatole nere" (si sente parlare anche di black box medicine) i cui metodi sono accurati ma difficili da interpretare. Il Titolare potrebbe non essere in grado di spiegare come alcuni risultati siano stati generati o quali particolari caratteristiche di un soggetto sono state importanti per raggiungere una decisione finale.

Ciò potrebbe portare a conseguenze rilevanti dal punto di vista giuridico. L'obbligo per il Titolare di essere in grado di fornire una spiegazione della logica dell'algoritmo è infatti espressamente sancito dall'art. 13 n.2 lett. f) del GDPR, nonché dagli artt. 13 n.2 lett. g) e 15 n.1 lett.h). Inoltre, tale impossibilità di fornire una spiegazione adeguata risulta in contrasto con uno dei principi cardine relativi al trattamento dei dati, ossia il principio di trasparenza ex art. 5 n.1. lett. a).

Sarà questo l’argomento del prossimo articolo di questa rubrica.

Fonti:

[1] Caruana R, You Y, Gehrke J, Koch P, Sturm M, Elhadad N. 2015 Intelligible models for healthcare: predicting pneumonia risk and hospital 30-day readmission. Proceedings of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1721–173.,

[2] Ziad Obermeyer, Brian Powers, Christine Vogeli , Sendhil Mullainathan, Dissecting racial bias in an algorithm used to manage the health of populations, Science  25 Oct 2019: Vol. 366, Issue 6464, pp. 447-453.

Rubrica "Sanità Digitale e Intelligenza Artificiale"

Leggi gli altri articoli presenti nella nostra rubrica dedicata.

VAI ALLA RUBRICA