Flash News: Pubblicata la checklist per l’auditing dei sistemi di Intelligenza Artificiale

L’adozione – ormai sempre più diffusa – dei sistemi di intelligenza artificiale comporta una chiara necessità per le aziende di sviluppare strumenti di controllo idonei a garantire la trasparenza, l’accountability e la compliance con la normativa vigente (AI Act e GDPR).

La “Checklist for AI Auditing ” sviluppata nell’ambito del programma Support Pool of Experts (SPE) dell’European Data Protection Board è un primo esempio di tali strumenti. Una guida vera e propria, elaborata dalla dott.ssa Gemma Galdon Clavell, che offre un template utile ad effettuare un primo audit dei sistemi di IA, focalizzandosi sugli impatti sociali e tecnici dell’implementazione di tali sistemi.

Il documento in esame si focalizza sull’audit di un algoritmo di intelligenza artificiale basato sull’apprendimento automatico, il cui ciclo di vita è suddiviso in tre fasi totalmente indipendenti dal punto di vista dell’elaborazione dei dati, ovvero l’addestramento dell’algoritmo (pre-elaborazione), il funzionamento dell’algoritmo che implica una (o più di una) operazione nell’ambito di un trattamento di dati personali e infine il processo decisionale e l’impatto dello stesso nell’elaborazione dell’ouput. Tutte queste fasi potrebbero essere trattamenti diversi e pertanto potrebbero coinvolgere diversi titolari/responsabili del trattamento. La tipologia di audit proposta è definita “socio-technical algorithmic audit (E2EST/AA)” ed ispeziona il sistema di IA nel contesto della sua applicazione concreta in più settori (salute, formazione, sicurezza, finanza, antifrode ecc.), analizzando i dati specifici utilizzati durante l’intero processo e tutti i soggetti coinvolti. Un simile approccio (end to end) riconosce che i sistemi algoritmici operano con dati provenienti da soggetti complessi e imperfetti, intervenendo in contesti sociali e organizzativi altrettanto complessi. Di conseguenza, un audit che si focalizzi solo sugli aspetti tecnici non riuscirebbe a incorporare le reali criticità e le possibilità di miglioramento del sistema.

Inoltre, il processo di audit E2EST/AA è interattivo e prevede l’interazione tra gli auditor ed i team di sviluppo del sistema di IA. La metodologia proposta include template che guidano tale interazione, specificando gli input di dati necessari per completare la valutazione e validare i risultati.

Il documento propone perciò un modello di checklist progettato per raccogliere informazioni sul training e testing dei sistemi di IA, nonché sulle caratteristiche di un determinato dataset o modello algoritmico. L’auditor deve raccogliere in particolare:

• Informazioni generali: nome del sistema, versione, proprietario, livello di rischio, ruoli di governance, data di distribuzione, documentazione già esistente.
• Informazioni sull’utilizzo del sistema di IA: descrizione degli scopi, coinvolgimento degli stakeholder, contesto organizzativo, ruolo umano.
• Informazioni sui dati di training: fonti dei dati utilizzati per addestrare il modello, tipologie di dati, dataset utilizzati, variabili decisionali.
• Informazioni sui bias e i relativi impatti: coinvolgimento del DPO, tassi di impatto per categoria e profilo di soggetti interessati.

L’EDPB suggerisce che gli audit condotti sfocino sempre in un documento pubblico, in particolare viene fortemente consigliata la redazione di tre tipologie diverse di rapporti finali:

1. Rapporto interno con misure mitigative del rischio: illustra il procedimento seguito per condurre l’audit, i problemi identificati e le misure di mitigazione che possono essere applicate. Tale rapporto, ovviamente, non deve essere necessariamente pubblicato.
2. Rapporto pubblico: la versione finale del precedente in cui gli auditor descrivono il sistema di IA, la metodologia di audit, le misure di miglioramento implementate ed eventuali ulteriori raccomandazione. Il rapporto deve includere anche una proposta di revisione periodica.
3. Rapporti periodici: devono fare riferimento (e fornire l’accesso) al rapporto di audit iniziale (punto 2) e fornire garanzie che gli sviluppatori del sistema di IA abbiano continuato a testare l’impatto del sistema stesso affinché sia costantemente controllato.

In conclusione, implementando questa checklist, gli sviluppatori possono assicurare che i sistemi di IA operino in modo etico e conforme al panorama normativo, proteggendo i diritti fondamentali degli individui e mantenendo alta la fiducia del pubblico a cui si rivolgono, in un’ottica di best practice che certamente non può che portare giovamento all’immagine dell’azienda. In un’epoca in cui l’IA gioca un ruolo sempre più cruciale in molteplici settori, un simile strumento diventa indispensabile per sostenere uno sviluppo tecnologico responsabile e sostenibile.