Come cambia il risk management delle strutture sanitarie dopo l’avvento dell’IA?

 AI e Contrattualistica

Nel nostro precedente articolo "Il risk management dei dispositivi medici alla luce della legge Gelli-Bianco sulla responsabilità sanitaria" abbiamo approfondito gli obblighi di risk management delle strutture sanitarie e, in particolare, l’impatto che assume nelle attività di gestione del rischio clinico l’uso dei “dispositivi medici” ex Regol. UE 2017/745 (c.d. “MDR”).

Ora, a seguito dell’oramai nota entrata in vigore del Regol. UE 1689/2024 (c.d. “AI ACT”), vorremmo provare a fare un passo avanti e immaginare come cambieranno i sistemi di risk management per le strutture sanitarie che decideranno di usare (o già usano) sistemi di intelligenza artificiale.

La ragione per cui è opportuno cominciare a porsi questi quesiti è la seguente: se è vero che per i sistemi di intelligenza artificiale vale sempre quanto detto per la gestione dell’uso dei dispositivi medici, si deve rilevare però come i maggiori rischi presentati dall’avvento dell’intelligenza artificiale impongano necessariamente un ripensamento delle attività di gestione del rischio clinico.

Vediamo perché e quali potrebbero essere questi nuovi rischi ed obblighi in materia di gestione del rischio clinico.

L’uso “corretto” dei sistemi di IA come parte integrante del risk management

Già nel nostro precedente articolo abbiamo descritto le leggi che regolano in Italia il risk management finalizzato ad assicurare lo svolgimento delle funzioni di monitoraggio, prevenzione e gestione del rischio clinico.

Sempre in quella sede, sebbene con riferimento ai dispositivi medici, si era precisato come nell’ambito del risk management vi rientrino anche le attività finalizzate alla prevenzione, al controllo e alla manutenzione delle risorse tecnologiche e, quindi, anche dei sistemi di intelligenza artificiale. Che il risk management debba riguardare anche i rischi derivanti dall’uso di sistemi di intelligenza artificiale si ricava da plurime disposizioni nazionali di legge, alcune delle quali già esaminate nel già menzionato articolo e che per completezza si riepilogano:

• 1 della legge 24/2017 richiede l’utilizzo appropriato delle risorse strutturali, tecnologiche e organizzative nell’ambito delle attività finalizzate alla prevenzione e gestione del rischio clinico;
• 1, commi 537, 538 e 539, legge n. 208/2015 che obbliga tutte le regioni italiane ad assicurarsi che le strutture sanitarie attivino un'adeguata funzione di monitoraggio, prevenzione e gestione del rischio clinico;
• 71 e 73 del D.lgs. 81/2008 sanciscono, presi cumulativamente, l’obbligo di utilizzare attrezzature di lavoro conformi alle disposizioni di legge e oggetto di manutenzione a tutela della sicurezza nei luoghi di lavoro;
• “Raccomandazione ministeriale n. 9” del Ministero della Salute che obbliga le strutture sanitarie a manutenere le apparecchiature in modo da prevenire eventi avversi;
• “Protocollo per il monitoraggio degli eventi sentinella del luglio 2024” del Ministero della Salute volto appunto a identificare tra gli eventi sentinella proprio la “morte o grave danno conseguente ad errato utilizzo o utilizzo anomalo dei dispositivi medici/apparecchiature elettromedicali” (il quale fa rientrare negli eventi sentinella la scelta del “dispositivo medico sbagliato” e, quindi, quando sarà, anche del sistema di intelligenza artificiale sbagliato)

I nuovi rischi derivanti dai sistemi di intelligenza artificiale

Prima di esaminare i nuovi obblighi, è inoltre necessario provare a identificare quali potrebbero essere i nuovi rischi derivanti dall’uso di queste nuove tecnologie.

È noto come, a differenza dei dispositivi medici, i sistemi di intelligenza artificiale hanno caratteristiche e potenzialità tali da rendere più complesso il loro utilizzo. La maggiore complessità – evidentemente - è dovuta in via principale alla impossibilità totale o parziale di ricondurre l’uso dei sistemi d’un soggetto umano specifico (es. machine learning, autonomia operativa e sostituzione dell’attività umana).

Non esiste ovviamente un elenco dei nuovi rischi derivanti dall’intelligenza artificiale, è però molto utile consultare le “Top 10 Health Technology Hazard for 2024” redatte dall’ECRI, cioè un organismo internazionale che ha l’obiettivo di far progredire l'assistenza sanitaria, a beneficio dei pazienti di tutto il mondo. Tra questi nuovi rischi che l’ECRI ha ritenuto farvi rientrare si deve annoverare il “rischio di decisioni di assistenza sanitaria inappropriate” derivante da una governance insufficiente dell’intelligenza artificiale.

Invero, il monito dell’ECRI appare più che opportuno in quanto consente di comprendere con una formula laconica ma efficace il nuovo rischio derivante dai sistemi di intelligenza artificiale. In altri termini, secondo questo importante organismo di indirizzo, l’avvento dei sistemi di IA potrebbe avere ripercussioni sull’appropriatezza dell’assistenza sanitaria, con incremento dei danni causati dall’utilizzo di sofisticatissime tecnologie strumentali alla cura del paziente. Si pensi, ad esempio, ad una errata installazione, aggiornamento,  manutenzione e/o collaudo, ovvero all’inadeguatezza del sistema di IA e/o dell’ambiente di utilizzo, o, ancora, agli errori di risultato che potrebbe generare il machine learning o l’autonomia decisionale e/o operativa del sistema di IA.

Al di là della complessa questione che ruota attorno alla responsabilità di questi “errori” o eventi avversi, questi nuovi rischi hanno in comune un aspetto di fondamentale importanza per la corretta gestione del rischio clinico: sono deviazioni che possono determinare o contribuire a determinare il fallimento del piano di cura e, dunque, un “nuovo” rischio clinico che le strutture sanitarie hanno l’obbligo di prevenire.

I nuovi obblighi di risk management per i sistemi di intelligenza artificiale

Vista l’esistenza di questi nuovi rischi, le strutture sanitarie, oltre a dover svolgere le solite attività di gestione del rischio clinico dei dispositivi medici, dovranno iniziare a svolgere ulteriori attività e controlli per far fronte ai nuovi rischi clinici generati dall’intelligenza artificiale.

Una descrizione di questi nuovi “obblighi” si può certamente ricavare dall’AI ACT e, in particolare, dai nuovi obblighi che il regolamento ha previsto a carico della figura del c.d. “Deployer”, ossia la “persona fisica o giuridica, autorità pubblica, agenzia o altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un’attività personale non professionale” (art. 3, p. 3, AI ACT). Difatti, posto che – come concluso nel nostro precedente contributo "I soggetti coinvolti dall'AI ACT: il professionista sanitario è un "deployer?" – tutte le strutture sanitarie  rientrano nella definizione di “deployer”, i sistemi di risk management dovranno cominciare a tener conto di questi nuovi obblighi (cfr. nostro precedente articolo), quali, in particolare, quelli previsti dal combinato disposto dell’art. 4 (per tutti i sistemi di IA) e dell’art. 26 AI ACT (solo per i sistemi di IA “ad alto rischio”). Queste nuovi adempimenti richiederanno alle strutture sanitarie dovranno adottate misure atte:

• ad assicurare che le persone coinvolte nel funzionamento e nell'utilizzo dei sistemi abbiano un adeguato livello di competenza in materia (c.d. alfabetizzazione degli utilizzatori)
• ad adottare idonee misure tecniche e organizzative a garanzia dell’utilizzo dei sistemi, conformemente alle istruzioni per l’uso fornite dai fabbricanti (es. disporre di un inventario dei sistemi di IA; selezionare i sistemi di IA compatibile con il target degli eventuali pazienti beneficiari a seconda della destinazione d’uso; fornire supporto ai pazienti che utilizzano il sistema di IA nelle cure domiciliari; consentire di svolgere attività di scelta d’acquisto, installazione, utilizzo e funzionamento, del sistema soltanto a personale regolarmente formato; assicurarsi di avere tutta la documentazione a corredo del sistema richiesto dalla normativa vigente e, quindi, dall’AI Act e del MDR nei frequenti casi in cui detto sistema sarà anche dispositivo medico)
• ad affidare la “sorveglianza umana” a persone fisiche che dispongono della competenza, della formazione e dell’autorità necessarie nonché del sostegno necessario (es. scelta e individuazione del “sorvegliante” adatto, nonché modalità e tempi di comunicazione e contatto con il paziente)
• a monitorare il funzionamento del sistema di IA sulla base delle istruzioni per l’uso e, se del caso, fornire informazioni a tale riguardo (es. consentire di svolgere attività di manutenzione, collaudo, dismissione del sistema soltanto a personale regolarmente formato; eventuale conservazione di verbali e/o documenti che attestano il corretto svolgimento delle attività);
• ad informare senza ritardo il fornitore o il distributore e la pertinente autorità di vigilanza del mercato, sospendendone l’uso, qualora abbiano motivo di ritenere che l’uso del sistema di IA in conformità delle istruzioni possa presentare un rischio per la salute, la sicurezza o i diritti fondamentali delle persone (es. Dotarsi di personale che sia in grado di comprendere quando le istruzioni per l’uso del fabbricante siano incomplete e/o errate, come ingegneri e legali esperti nella materia regolatoria; programmare ispezioni e controlli sui sistemi);
• informare immediatamente il fornitore e successivamente l’importatore o il distributore e le pertinenti autorità di vigilanza del mercato, qualora abbiano individuato un incidente grave.

Sebbene gli ultimi 5 punti si applichino solo ai deployer dei sistemi di IA ad alto rischio (quindi ipoteticamente non a tutte le strutture sanitarie), si ritiene che occorrerà osservarli a prescindere in quanto la loro introduzione da parte del legislatore europeo è stata determinata proprio dalla necessità di scongiurare i rischi più frequenti dell’intelligenza artificiale. A prescindere che il sistema sia o meno ad alto rischio, il complesso degli obblighi previsti dall’AI ACT resta dunque un utile indicazione che consente alle strutture sanitarie di creare un modello che assicuri prevenzione e controllo verso i nuovi rischi generati dall’intelligenza artificiale.

Senza considerare, peraltro, come in sanità la maggior parte dei sistemi di IA saranno ad alto rischio, dal momento che per espressa previsione di legge (cfr. art. 6, p. 1, e All. 1, AI ACT) lo saranno tutti i dispositivi medici ex MDR per i quali è richiesto l’intervento dell’organismo notificato (e quindi quasi tutti i software medicali).

Infine, non si può escludere che se ne potranno aggiungere di ulteriori e più specifici qualora previsti dalle singole e diverse legislazioni regionali in materia di requisiti organizzativi e strutturali per l’accreditamento e/o l’autorizzazione sanitaria.

Conseguenze in caso di mancato rispetto

Pur non essendo prevista una sanzione diretta per la violazione degli obblighi sopraindicata, la loro violazione, oltre a poter comportare in futuro l’emissione di sanzioni amministrative pecuniarie per i deployer (cfr. il nostro precedente contributo "Il sistema sanzionatorio dell’AI Act"), potrebbe aggravare la colpa e la responsabilità dell’azienda coinvolta nei processi di malpractice sanitaria che hanno ad oggetto prestazioni sanitarie erogate attraverso sistemi di IA.

Non si può escludere infine che la scorretta gestione dei sistemi di IA nell’ambito delle attività dei risk management possa comportare per le Regioni Competenti il venir meno di requisiti organizzativi e strutturali, con conseguenti effetti sull’efficacia dell’accreditamento e/o dell’autorizzazione sanitaria.

Rubrica "AI LEGAL, un prisma da comporre"

Leggi gli altri articoli presenti nella nostra rubrica dedicata.

VAI ALLA RUBRICA