- I sistemi di IA ad alto rischio devono essere progettati in modo da consentire un'efficace supervisione da parte di persone fisiche durante tutto il periodo di utilizzo.
- La sorveglianza umana mira a prevenire o ridurre al minimo i rischi per la salute, la sicurezza e i diritti fondamentali che un sistema autonomo potrebbe non saper gestire da solo.
- Le misure di sorveglianza sono individuate dal fornitore e integrate nel sistema oppure rese disponibili al deployer perché le attui nel proprio contesto operativo.
- Il personale incaricato della sorveglianza deve comprendere capacità e limiti del sistema, riconoscere anomalie, interpretare correttamente gli output e poter intervenire o interrompere il funzionamento («pulsante di arresto»).
- Per i sistemi di identificazione remota delle persone (allegato III, punto 1, lett. a), è richiesta la verifica separata da almeno due persone fisiche prima di qualsiasi decisione basata sull'identificazione.
- La «distorsione dell'automazione» — la tendenza a fare eccessivo affidamento sull'output dell'IA — è esplicitamente riconosciuta come rischio da presidiare.
Testo dell'articoloVigente
Art. 14 Reg. (UE) 2024/1689 — Sorveglianza umana
Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio del 13 giugno 2024 che stabilisce regole armonizzate sull’intelligenza artificiale (regolamento sull’intelligenza artificiale)
1. I sistemi di IA ad alto rischio sono progettati e sviluppati, anche con strumenti di interfaccia uomo-macchina adeguati, in modo tale da poter essere efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso.
2. La sorveglianza umana mira a prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere quando un sistema di IA ad alto rischio è utilizzato conformemente alla sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile, in particolare qualora tali rischi persistano nonostante l'applicazione di altri requisiti di cui alla presente sezione.
3. Le misure di sorveglianza sono commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema di IA ad alto rischio e sono garantite mediante almeno uno dei tipi di misure seguenti:
a) misure individuate e integrate nel sistema di IA ad alto rischio dal fornitore prima della sua immissione sul mercato o messa in servizio, ove tecnicamente possibile;
b) misure individuate dal fornitore prima dell'immissione sul mercato o della messa in servizio del sistema di IA ad alto rischio, adatte ad essere attuate dal deployer.
4. Ai fini dell'attuazione dei paragrafi 1, 2 e 3, il sistema di IA ad alto rischio è fornito al deployer in modo tale che le persone fisiche alle quali è affidata la sorveglianza umana abbiano la possibilità, ove opportuno e proporzionato, di:
a) comprendere correttamente le capacità e i limiti pertinenti del sistema di IA ad alto rischio ed essere in grado di monitorarne debitamente il funzionamento, anche al fine di individuare e affrontare anomalie, disfunzioni e prestazioni inattese;
b) restare consapevole della possibile tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull'output prodotto da un sistema di IA ad alto rischio («distorsione dell'automazione»), in particolare in relazione ai sistemi di IA ad alto rischio utilizzati per fornire informazioni o raccomandazioni per le decisioni che devono essere prese da persone fisiche;
c) interpretare correttamente l'output del sistema di IA ad alto rischio, tenendo conto ad esempio degli strumenti e dei metodi di interpretazione disponibili;
d) decidere, in qualsiasi situazione particolare, di non usare il sistema di IA ad alto rischio o altrimenti di ignorare, annullare o ribaltare l'output del sistema di IA ad alto rischio;
e) intervenire sul funzionamento del sistema di IA ad alto rischio o interrompere il sistema mediante un pulsante di «arresto» o una procedura analoga che consenta al sistema di arrestarsi in condizioni di sicurezza.
5. In aggiunta, per i sistemi di IA ad alto rischio di cui all'allegato III, punto 1, lettera a), le misure di cui al paragrafo 3 del presente articolo sono tali da garantire che il deployer non compia azioni o adotti decisioni sulla base dell'identificazione risultante dal sistema, a meno che tale identificazione non sia stata verificata e confermata separatamente da almeno due persone fisiche dotate della necessaria competenza, formazione e autorità. Il requisito di una verifica separata da parte di almeno due persone fisiche non si applica ai sistemi di IA ad alto rischio utilizzati a fini di contrasto, migrazione, controllo delle frontiere o asilo, qualora il diritto dell'Unione o nazionale ritenga sproporzionata l'applicazione di tale requisito.
Stesso numero, altri codici
- Articolo 14 L. 184/1983: Sospensione del procedimento prima della dichiarazione di adottabilità
- Art. 14 Cod. Amb. — Consultazione
- Art. 14 D.Lgs. 148/2015 — Informazione e consultazione sindacale
- Art. 14 D.Lgs. 159/2011 — Decorrenza e cessazione della sorveglianza speciale
- Art. 14 D.Lgs. 209/2005 — Requisiti e procedura
- Art. 14 D.Lgs. 42/2004 — Procedimento di dichiarazione
Commento
Perché la sorveglianza umana è un requisito autonomo
L'articolo 14 del Regolamento (UE) 2024/1689 (AI Act) consacra la sorveglianza umana come uno dei requisiti essenziali dei sistemi di IA ad alto rischio, accanto alla robustezza tecnica, alla trasparenza, alla gestione del rischio e alla qualità dei dati. Non si tratta di una raccomandazione di best practice: è un obbligo giuridico che condiziona l'immissione sul mercato e la messa in servizio dei sistemi classificati come ad alto rischio ai sensi dell'allegato III o della normativa di armonizzazione dell'Unione di cui all'allegato I.
La ratio è chiara: i sistemi di IA ad alto rischio operano in settori in cui errori o decisioni errate possono avere ripercussioni dirette sulla vita, la libertà e i diritti delle persone (selezione del personale, accesso al credito, controllo delle frontiere, gestione delle infrastrutture critiche, medicina diagnostica). Il legislatore europeo ha scelto di non delegare interamente alle macchine la responsabilità decisionale in questi ambiti, imponendo una «catena di custodia umana» che permanga attiva durante tutto il ciclo di utilizzo.
Il modello «fornitore progetta, deployer attua»
L'articolo 14 introduce un modello di responsabilità condivisa tra fornitore e deployer che merita una lettura attenta. Il fornitore — ovvero chi sviluppa il sistema e lo immette sul mercato — ha il compito primario: deve integrare nel sistema stesso, ove tecnicamente possibile, le misure di sorveglianza (art. 14, par. 3, lett. a). Quando l'integrazione tecnica non è realizzabile o non è sufficiente, deve almeno individuare le misure idonee e indicarle al deployer nelle istruzioni d'uso, nella documentazione tecnica e nelle interfacce di interazione uomo-macchina (art. 14, par. 3, lett. b).
Il deployer — chi utilizza il sistema sotto la propria responsabilità nell'ambito delle proprie attività — riceve queste misure e ha l'obbligo di attuarle concretamente nella propria organizzazione: formando il personale, definendo procedure interne, assegnando ruoli di sorveglianza, allestendo canali di escalation e mantenendo attivi gli strumenti di interruzione. La distinzione tra i due ruoli non è meramente formale: determina l'allocazione delle responsabilità in caso di violazione e le rispettive esposizioni alle sanzioni di cui all'art. 99.
Le cinque capacità che il personale di sorveglianza deve possedere
Il paragrafo 4 dell'articolo 14 elenca con precisione le capacità operative che devono essere garantite alle persone fisiche incaricate della sorveglianza. Si tratta di un catalogo esaustivo che vale la pena esaminare singolarmente, perché ciascuna voce si traduce in precisi obblighi formativi e organizzativi per il deployer.
Prima capacità: comprendere capacità e limiti del sistema. Il personale deve essere messo in condizione di conoscere cosa il sistema sa fare, in quali condizioni funziona in modo affidabile e dove si trova il confine oltre il quale le sue previsioni o raccomandazioni diventano inaffidabili. Questo richiede che il fornitore fornisca documentazione tecnica chiara e accessibile, e che il deployer organizzi percorsi formativi adeguati.
Seconda capacità: consapevolezza della distorsione dell'automazione. Il legislatore ha espressamente nominato il fenomeno noto in psicologia cognitiva come «automation bias»: la tendenza degli operatori umani a fare eccessivo affidamento sulle raccomandazioni automatizzate, anche quando dovrebbero esercitare giudizio critico indipendente. In contesti come la valutazione del credito, la selezione del personale o la diagnostica medica assistita da IA, questo rischio è particolarmente rilevante. Il deployer deve strutturare processi decisionali che non si limitino alla ratifica acritica dell'output del sistema.
Terza capacità: interpretare correttamente l'output. Non basta leggere il risultato prodotto dal sistema: occorre comprenderlo nel suo significato tecnico, valutare l'eventuale grado di confidenza associato, confrontarlo con altri elementi di contesto. I fornitori devono rendere disponibili strumenti e metodi di interpretazione (explainability tools, indicatori di confidenza, log di motivazione) che supportino questa attività.
Quarta capacità: decidere di non usare il sistema o annullare il suo output. Questa è forse la disposizione più significativa sul piano dei principi: il sistema di IA non è l'ultimo decisore. La persona fisica incaricata della sorveglianza deve avere il potere — giuridico, organizzativo e pratico — di ignorare, annullare o ribaltare l'output dell'IA in qualsiasi situazione particolare. Questo implica che le procedure interne del deployer non possano imporre un obbligo di conformarsi all'output del sistema senza possibilità di deroga.
Quinta capacità: interrompere il sistema. Il sistema deve essere dotato di un meccanismo di «arresto» che consenta di fermarlo in condizioni di sicurezza. Questo meccanismo deve essere accessibile alle persone fisiche incaricate della sorveglianza e utilizzabile in qualsiasi momento, senza che ciò generi conseguenze tecniche incontrollate.
La regola speciale per l'identificazione biometrica remota
Il paragrafo 5 introduce una regola ancora più stringente per una specifica categoria di sistemi ad alto rischio: quelli di identificazione biometrica remota in tempo reale di cui all'allegato III, punto 1, lettera a). Per questi sistemi, le misure di sorveglianza devono garantire che il deployer non compia azioni o adotti decisioni sulla base dell'identificazione risultante dal sistema, a meno che tale identificazione non sia stata verificata e confermata separatamente da almeno due persone fisiche dotate della necessaria competenza, formazione e autorità.
La ratio è evidente: il riconoscimento facciale in tempo reale è una delle tecnologie a maggior potenziale di impatto sui diritti fondamentali (libertà di movimento, protezione dei dati, presunzione di innocenza). La doppia verifica umana indipendente costituisce un presidio organizzativo minimo obbligatorio che si aggiunge agli altri requisiti tecnici.
La norma prevede una deroga per i sistemi utilizzati a fini di contrasto, migrazione, controllo delle frontiere o asilo, qualora il diritto dell'Unione o nazionale ritenga sproporzionata l'applicazione del requisito della doppia verifica. La deroga è quindi condizionata a una valutazione esplicita di proporzionalità da parte del legislatore competente, non lasciata alla discrezionalità del singolo deployer.
Implicazioni operative per le imprese e le pubbliche amministrazioni
Per le imprese che adottano sistemi di IA ad alto rischio come deployer — si pensi a un istituto di credito che utilizza un sistema di scoring del merito creditizio, a un'azienda che impiega software di selezione dei curricula, a un ospedale che usa sistemi di supporto alla diagnosi — l'articolo 14 si traduce in un programma di adeguamento organizzativo strutturato che include almeno i seguenti elementi.
In primo luogo, la designazione formale delle persone fisiche incaricate della sorveglianza, con definizione chiara del perimetro delle loro responsabilità e dei poteri di intervento. In secondo luogo, la formazione documentata di queste persone sulle capacità e sui limiti del sistema specifico, sull'automation bias e sulle procedure di escalation. In terzo luogo, la revisione delle procedure decisionali interne per garantire che l'output del sistema di IA non sia trattato come decisione definitiva, ma come input che deve essere validato dal sorvegliante umano. In quarto luogo, la documentazione delle attività di sorveglianza, in modo da poter dimostrare alle autorità di vigilanza del mercato che i requisiti dell'art. 14 sono concretamente attuati e non solo formalmente dichiarati.
Il coordinamento con la normativa in materia di protezione dei dati personali è rilevante quando il sistema di IA ad alto rischio tratta dati personali: in quel caso, le misure di sorveglianza umana devono essere coerenti con le valutazioni d'impatto effettuate ai sensi del Regolamento (UE) 2016/679 (GDPR), in particolare con le garanzie relative alle decisioni automatizzate di cui all'art. 22 GDPR.
Calendario di applicazione
I requisiti dell'articolo 14 per i sistemi di IA ad alto rischio si applicano, in linea generale, a partire dal 2 agosto 2026, data dalla quale diventano operativi la gran parte degli obblighi per i sistemi ad alto rischio di cui all'allegato III (art. 113 AI Act). Per i sistemi ad alto rischio integrati in prodotti disciplinati dalla normativa di armonizzazione dell'Unione di cui all'allegato I (dispositivi medici, macchinari, veicoli, ecc.), le scadenze specifiche sono dettate dalla normativa settoriale di riferimento. I fornitori che immettono sul mercato sistemi di IA ad alto rischio dopo il 2 agosto 2026 devono garantire fin dalla prima commercializzazione la piena conformità all'art. 14.
Casi pratici
Caso 1:
Caso 2:
Caso 3:
Domande frequenti
Chi è responsabile di garantire la sorveglianza umana: il fornitore o il deployer?
Entrambi, in misura diversa. Il fornitore deve progettare il sistema in modo che la sorveglianza sia tecnicamente possibile e indicare le misure necessarie. Il deployer deve attuare concretamente tali misure nella propria organizzazione, designando sorveglianti, formandoli e strutturando processi decisionali che non si limitino alla ratifica acritica dell'output del sistema.
Cosa si intende per distorsione dell'automazione e come si contrasta?
La distorsione dell'automazione (automation bias) è la tendenza psicologica degli operatori umani a fare eccessivo affidamento sulle raccomandazioni automatizzate, anche quando dovrebbero esercitare giudizio critico autonomo. Si contrasta con formazione specifica del personale, con processi decisionali che richiedano una motivazione esplicita della scelta adottata e con l'obbligo documentato di esaminare criticamente l'output prima di utilizzarlo come base per decisioni.
Il deployer può obbligare i propri dipendenti a seguire sempre la raccomandazione del sistema di IA?
No. L'articolo 14, par. 4, lett. d), garantisce esplicitamente al sorvegliante umano il diritto di ignorare, annullare o ribaltare l'output del sistema in qualsiasi situazione particolare. Una procedura interna che eliminasse questa facoltà sarebbe in contrasto diretto con il Regolamento.
Quando si applica la regola della doppia verifica umana per l'identificazione biometrica?
La regola si applica ai sistemi di identificazione biometrica remota in tempo reale di cui all'allegato III, punto 1, lett. a), quando sono usati da deployer che non rientrano nelle deroghe previste per il contrasto, migrazione, frontiere e asilo. Per queste ultime categorie, la deroga è possibile solo se il diritto dell'Unione o nazionale la giustifica esplicitamente con una valutazione di proporzionalità.
Entro quando le imprese devono adeguarsi all'articolo 14?
I requisiti per i sistemi di IA ad alto rischio di cui all'allegato III diventano applicabili dal 2 agosto 2026. I fornitori e i deployer hanno quindi fino a quella data per adeguare sistemi, documentazione, procedure interne e programmi formativi. Per i sistemi integrati in prodotti disciplinati dall'allegato I (dispositivi medici, macchinari, ecc.), valgono le scadenze della normativa settoriale di riferimento.
Vedi anche