Testo dell'articoloVigente
Art. 9 Reg. (UE) 2024/1689 – Sistema di gestione dei rischi
Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio del 13 giugno 2024 che stabilisce regole armonizzate sull’intelligenza artificiale (regolamento sull’intelligenza artificiale)
1. In relazione ai sistemi di IA ad alto rischio è istituito, attuato, documentato e mantenuto un sistema di gestione dei rischi.
2. Il sistema di gestione dei rischi è inteso come un processo iterativo continuo pianificato ed eseguito nel corso dell'intero ciclo di vita di un sistema di IA ad alto rischio, che richiede un riesame e un aggiornamento costanti e sistematici. Esso comprende le fasi seguenti:
a) identificazione e analisi dei rischi noti e ragionevolmente prevedibili che il sistema di IA ad alto rischio può porre per la salute, la sicurezza e i diritti fondamentali quando il sistema di IA ad alto rischio è utilizzato conformemente alla sua finalità prevista;
b) stima e valutazione dei rischi che possono emergere quando il sistema di IA ad alto rischio è usato conformemente alla sua finalità prevista e in condizioni di uso improprio ragionevolmente prevedibile;
c) valutazione di altri eventuali rischi derivanti dall'analisi dei dati raccolti dal sistema di monitoraggio successivo all'immissione sul mercato di cui all'articolo 72;
d) adozione di misure di gestione dei rischi opportune e mirate intese ad affrontare i rischi individuati ai sensi della lettera a).
3. I rischi di cui al presente articolo riguardano solo quelli che possono essere ragionevolmente attenuati o eliminati attraverso lo sviluppo o la progettazione del sistema di IA ad alto rischio o la fornitura di informazioni tecniche adeguate.
4. Le misure di gestione dei rischi di cui al paragrafo 2, lettera d), tengono in debita considerazione gli effetti e la possibile interazione derivanti dall'applicazione combinata dei requisiti di cui alla presente sezione, al fine di ridurre al minimo i rischi con maggiore efficacia e raggiungere nel contempo un equilibrio adeguato nell'attuazione delle misure volte a soddisfare tali requisiti.
5. Le misure di gestione dei rischi di cui al paragrafo 2, lettera d), sono tali che i pertinenti rischi residui associati a ciascun pericolo nonché il rischio residuo complessivo dei sistemi di IA ad alto rischio sono considerati accettabili. Nell'individuare le misure di gestione dei rischi più appropriate, occorre garantire quanto segue:
a) l'eliminazione o la riduzione dei rischi individuati e valutati a norma del paragrafo 2, per quanto possibile dal punto di vista tecnico attraverso un'adeguata progettazione e fabbricazione del sistema di IA ad alto rischio;
b) ove opportuno, l'attuazione di adeguate misure di attenuazione e di controllo nell'affrontare i rischi che non possono essere eliminati;
c) la fornitura delle informazioni richieste a norma dell'articolo 13 e, ove opportuno, la formazione dei deployer.
Al fine di eliminare o ridurre i rischi connessi all'uso del sistema di IA ad alto rischio, si tengono debitamente in considerazione le conoscenze tecniche, l'esperienza, l'istruzione e la formazione che ci si può aspettare dal deployer e il contesto presumibile in cui il sistema è destinato ad essere usato.
6. I sistemi di IA ad alto rischio sono sottoposti a prova al fine di individuare le misure di gestione dei rischi più appropriate e mirate. Le prove garantiscono che i sistemi di IA ad alto rischio funzionino in modo coerente per la finalità prevista e che siano conformi ai requisiti di cui alla presente sezione.
7. Le procedure di prova possono comprendere prove in condizioni reali conformemente all'articolo 60.
8. Le prove dei sistemi di IA ad alto rischio sono effettuate, a seconda dei casi, in un qualsiasi momento dell'intero processo di sviluppo e, in ogni caso, prima della loro immissione sul mercato o messa in servizio. Le prove sono effettuate sulla base di metriche e soglie probabilistiche definite precedentemente e adeguate alla finalità prevista perseguita dal sistema di IA ad alto rischio.
9. Nell'attuare il sistema di gestione dei rischi di cui ai paragrafi da 1 a 7, i fornitori prestano attenzione, nell'ottica della sua finalità prevista, all'eventualità che il sistema di IA ad alto rischio possa avere un impatto negativo sulle persone di età inferiore a 18 anni o, a seconda dei casi, su altri gruppi vulnerabili.
10. Per i fornitori di sistemi di IA ad alto rischio soggetti ai requisiti relativi ai processi interni di gestione dei rischi a norma di altre disposizioni pertinenti del diritto dell'Unione, gli aspetti di cui ai paragrafi da 1 a 9 possono far parte delle procedure di gestione dei rischi stabilite a norma di tale diritto oppure essere combinati con le stesse.
In sintesi
Indice dei contenuti
Il sistema di gestione dei rischi come pilastro dell'alto rischio
L'articolo 9 del Regolamento (UE) 2024/1689 («AI Act») costituisce uno dei cardini dell'intera disciplina dei sistemi di IA ad alto rischio. Esso non si limita a richiedere una generica attenzione alla sicurezza, ma impone la costruzione di un sistema strutturato, documentato e continuamente aggiornato di identificazione, valutazione e controllo dei rischi. La logica di fondo richiama quella già consolidata in altri settori regolati - dispositivi medici, sicurezza dei prodotti, finanza - adattandola alle specificità dell'intelligenza artificiale: sistemi che si comportano in modo adattivo, che possono produrre output non sempre prevedibili e che operano in contesti di elevata responsabilità.
L'obbligo grava in primo luogo sul fornitore, vale a dire il soggetto che sviluppa il sistema di IA o lo immette sul mercato dell'Unione con il proprio nome o marchio commerciale. Il deployer - chi utilizza il sistema sotto la propria responsabilità nel contesto di un'attività professionale - beneficia indirettamente del risk management del fornitore attraverso le informazioni tecniche e la formazione che quest'ultimo è tenuto a fornire (art. 9, par. 5, lett. c, in combinato con l'art. 13).
La struttura del processo: quattro fasi in ciclo continuo
Il par. 2 articola il sistema di gestione dei rischi in quattro fasi distinte ma interconnesse. La prima fase riguarda l'identificazione e l'analisi dei rischi noti e ragionevolmente prevedibili per la salute, la sicurezza e i diritti fondamentali, quando il sistema è usato conformemente alla sua finalità prevista. La formula «ragionevolmente prevedibili» è centrale: non occorre prevedere scenari fantascientifici, ma il fornitore deve mappare tutti i rischi che un operatore diligente sarebbe in grado di anticipare.
La seconda fase estende la valutazione anche alle condizioni di uso improprio ragionevolmente prevedibile. Questo è un concetto familiare nel diritto dei prodotti: se è prevedibile che un utente utilizzi un sistema in modo non conforme alle istruzioni - ma in un modo che resta statisticamente plausibile - il fornitore non può ignorare tale scenario. Per un sistema di screening CV, per esempio, occorre valutare non solo come funziona quando usato correttamente, ma anche cosa accade se un deployer disabilita le salvaguardie anti-discriminatorie.
La terza fase si apre dopo l'immissione sul mercato: il fornitore deve valutare eventuali ulteriori rischi sulla base dei dati raccolti attraverso il sistema di monitoraggio post-market di cui all'art. 72. Qui si manifesta la natura iterativa del processo: il risk management non è un documento statico da archiviare al momento della certificazione, ma un ciclo vivo che si alimenta dell'esperienza d'uso reale.
La quarta fase consiste nell'adozione delle misure di gestione dei rischi. Il par. 5 stabilisce una gerarchia: in primo luogo si deve tentare di eliminare o ridurre il rischio attraverso la progettazione e la fabbricazione; solo quando ciò non è tecnicamente possibile si passa alle misure di attenuazione e controllo; infine, si forniscono informazioni e formazione ai deployer. Questa sequenza ricalca la «safety by design» già presente nella Direttiva Macchine e nella normativa sui dispositivi medici.
Il concetto di rischio residuo accettabile
Il par. 5 introduce il concetto di rischio residuo accettabile: le misure di gestione dei rischi devono essere tali che i rischi residui associati a ciascun pericolo, nonché il rischio residuo complessivo del sistema, siano considerati accettabili. Non si richiede, quindi, l'azzeramento assoluto del rischio - obiettivo irrealistico per qualsiasi tecnologia - ma la sua riduzione a un livello che la società possa ragionevolmente tollerare in rapporto ai benefici attesi.
Questo bilanciamento non è lasciato alla discrezionalità del singolo fornitore: le norme armonizzate che la Commissione è invitata a sviluppare in attuazione dell'AI Act forniranno parametri di riferimento. Nel frattempo, i fornitori possono fare affidamento sugli standard tecnici esistenti (ISO/IEC 23894 sulla gestione del rischio dell'IA, ISO 31000 sul risk management in generale) e sulle linee guida degli organismi notificati.
Il ruolo del test pre-market
I parr. 6, 7 e 8 disciplinano le prove del sistema. Le prove devono essere effettuate «a seconda dei casi, in un qualsiasi momento dell'intero processo di sviluppo» e, in ogni caso, prima dell'immissione sul mercato. Questa formulazione riconosce che i test non sono un adempimento finale da svolgere all'ultimo momento, ma un'attività continua integrata nel ciclo di sviluppo.
Le prove devono basarsi su metriche e soglie probabilistiche definite precedentemente e adeguate alla finalità prevista. Questo requisito ha implicazioni pratiche rilevanti per i team di sviluppo: occorre formalizzare in anticipo i criteri di accettazione - per esempio, un tasso massimo di falsi negativi in un sistema di diagnosi medica ausiliaria - invece di validare post-hoc sulla base dei risultati ottenuti. Il par. 7 consente di includere prove in condizioni reali ai sensi dell'art. 60, che disciplina le sperimentazioni in ambienti reali nel rispetto di garanzie specifiche per i partecipanti.
Gruppi vulnerabili e minori
Il par. 9 introduce un obbligo specifico di attenzione per i minori di 18 anni e, più in generale, per i gruppi vulnerabili. Nella finalità prevista del sistema, i fornitori devono verificare se il sistema può avere un impatto negativo su queste categorie di soggetti. La disposizione riflette una preoccupazione trasversale all'AI Act: i sistemi di IA che operano in settori come l'istruzione, la salute, i servizi sociali o la giustizia entrano spesso in contatto con persone in condizioni di vulnerabilità, e l'intensità del risk management deve tenerne conto.
Per un sistema di valutazione automatica degli studenti, per esempio, il risk assessment deve includere l'analisi degli impatti differenziali su studenti con disabilità, su minori stranieri non accompagnati o su studenti in difficoltà economica. Non è sufficiente dimostrare che il sistema funziona in media: occorre esaminare come si comporta nei confronti dei sottogruppi più esposti.
Coordinamento con la normativa di settore
Il par. 10 prevede una clausola di raccordo importante: i fornitori già soggetti a obblighi di gestione dei rischi in virtù di altri atti dell'Unione - per esempio il Regolamento (UE) 2017/745 sui dispositivi medici, che prevede un processo di gestione del rischio conforme alla norma ISO 14971, oppure la Direttiva 2006/42/CE sulle macchine - possono integrare i requisiti dell'art. 9 nelle procedure già esistenti o combinarli con esse.
Questa disposizione è di grande rilevanza pratica: evita la duplicazione burocratica per operatori che operano in settori altamente regolati e che hanno già sviluppato culture e sistemi di gestione del rischio maturi. Il fornitore di un dispositivo medico che incorpora un algoritmo di IA per la diagnosi supportata da immagini non deve costruire un sistema di risk management separato per l'AI Act: può ampliare quello già previsto dalla normativa sui dispositivi medici, documentando come i requisiti aggiuntivi dell'art. 9 siano stati affrontati.
Coordinamento con il GDPR
Quando un sistema di IA ad alto rischio tratta dati personali - il che accade frequentemente nei settori dell'art. 6 e dell'Allegato III (selezione del personale, accesso ai servizi, applicazione della legge) - il sistema di gestione dei rischi dell'art. 9 si affianca alla valutazione d'impatto sulla protezione dei dati (DPIA) prevista dall'art. 35 del Regolamento (UE) 2016/679 (GDPR). Le due procedure hanno perimetri diversi ma sono complementari: la DPIA si concentra sui rischi per i diritti degli interessati derivanti dal trattamento dei dati, mentre il risk management AI Act copre anche rischi per la salute e la sicurezza che prescindono dalla dimensione personale. In pratica, molti fornitori gestiranno le due analisi in modo integrato, con una documentazione unificata che risponda a entrambe le normative.
Implicazioni pratiche per i fornitori
Dal punto di vista operativo, l'art. 9 richiede che i fornitori di sistemi ad alto rischio si dotino di una serie di strumenti e procedure concrete. In primo luogo, è necessario un registro dei rischi formalizzato che identifichi, per ciascuna fase del ciclo di vita, i pericoli potenziali e le misure adottate per fronteggiarli. In secondo luogo, occorre definire una metodologia di test con metriche pre-definite, incluse valutazioni di robustezza, accuratezza e imparzialità differenziale. In terzo luogo, il risk management deve prevedere un processo di aggiornamento collegato al monitoring post-market: ogni dato anomalo raccolto dopo l'immissione sul mercato deve rientrare nel ciclo di revisione. Infine, la documentazione di tutto questo processo deve essere conservata e resa disponibile alle autorità competenti, come richiesto dall'art. 18 in combinato con l'Allegato IV. Gli obblighi dell'art. 9 entrano pienamente in applicazione per i sistemi di IA ad alto rischio a partire dal 2 agosto 2026 (art. 113), salvo i sistemi già in servizio che beneficiano di regimi transitori più lunghi.
Casi pratici
Caso 1:
Caso 2:
Caso 3:
Domande frequenti
Chi è tenuto a implementare il sistema di gestione dei rischi ex art. 9?
L'obbligo grava sul fornitore del sistema di IA ad alto rischio, cioè il soggetto che lo sviluppa o lo immette sul mercato dell'Unione con il proprio nome o marchio. Il deployer non ha obblighi diretti ai sensi dell'art. 9, ma deve ricevere dal fornitore le informazioni tecniche e la formazione necessarie per un uso corretto del sistema.
Il sistema di gestione dei rischi deve essere sviluppato prima del lancio o può essere completato in seguito?
L'art. 9 richiede che le prove siano effettuate prima dell'immissione sul mercato o della messa in servizio. Il risk management è però un processo continuo: deve proseguire per tutta la vita commerciale del sistema, alimentandosi dei dati raccolti attraverso il monitoraggio post-market previsto dall'art. 72.
Quali standard tecnici possono supportare l'implementazione dell'art. 9?
Il regolamento non prescrive standard specifici, ma le norme armonizzate che verranno adottate in attuazione dell'AI Act fornirà riferimenti ufficiali. Nel frattempo, gli operatori possono fare riferimento alla ISO/IEC 23894 sulla gestione del rischio dell'IA, alla ISO 31000 per i principi generali di risk management, e - per i settori regolati - agli standard di settore già esistenti (es. ISO 14971 per i dispositivi medici).
Un fornitore che ha già un sistema di risk management settoriale deve creare un sistema separato per l'AI Act?
No: il par. 10 consente di integrare i requisiti dell'art. 9 nelle procedure di gestione del rischio già previste da altri atti dell'Unione (ad esempio Regolamento dispositivi medici, Direttiva Macchine), a condizione che tutti i requisiti specifici dell'art. 9 siano comunque coperti e documentati.
Quando entrano in applicazione gli obblighi dell'art. 9?
Gli obblighi previsti per i sistemi di IA ad alto rischio, incluso l'art. 9, diventano pienamente applicabili a partire dal 2 agosto 2026, ai sensi dell'art. 113 dell'AI Act. I sistemi di IA ad alto rischio già in servizio prima di tale data beneficiano di regimi transitori definiti dallo stesso art. 113.