Explainability dell’AI per la generazione di evidenze

In sintesi

• AI interpretabile e AI spiegabile non sono la stessa cosa. La prima è trasparente per costruzione; la seconda utilizza metodi post-hoc per approssimare il comportamento di un modello altrimenti opaco.
• Una spiegazione plausibile può supportare la valutazione critica, ma non dimostra che un modello sia valido, equo o accountable.
• L’equità deve essere verificata su dati, popolazioni e outcome, anziché essere dedotta dalle sole spiegazioni.
• Nella generazione di evidenze, la fiducia dovrebbe poggiare su un pacchetto di evidenze riproducibile e proporzionato al rischio: contesto d’uso, tracciabilità dei dati, verifica, validazione, analisi per sottogruppi, valutazione dell’incertezza e audit trail.
• La spiegabilità rimane utile come strumento diagnostico e di generazione di ipotesi. Dovrebbe aprire un’indagine, non chiuderla.

Perché persiste il concetto di “black box”

Il termine black box è mutuato dall’aviazione. Il registratore di volo di un aeromobile non spiega perché un pilota abbia compiuto una determinata azione. Registra ciò che è accaduto affinché, se qualcosa va storto, gli investigatori possano ricostruire la sequenza degli eventi sulla base di evidenze affidabili.

L’aviazione non è diventata sicura perché ogni componente fosse in grado di descrivere il proprio funzionamento interno. La sicurezza è emersa dall’infrastruttura che circonda l’aeromobile: standard di certificazione, registri di manutenzione, limiti operativi, sistemi ridondanti, addestramento al simulatore, monitoraggio continuo e processi strutturati di indagine. La fiducia è stata costruita attraverso garanzie dimostrabili, non attraverso una spiegazione intuitivamente soddisfacente.

L’intelligenza artificiale pone una questione analoga. Se non possiamo osservare direttamente come un modello trasformi migliaia o milioni di segnali interagenti in un output, possiamo comunque fidarci di ciò che produce?

La risposta istintiva è chiedere al modello una spiegazione. Tuttavia, una motivazione formulata in modo convincente, una graduatoria delle feature o una mappa di salienza plausibile possono rendere un output apparentemente comprensibile senza dimostrare che la spiegazione rappresenti fedelmente il processo che lo ha generato. Alcuni metodi di spiegazione possono rimanere visivamente plausibili anche dopo modifiche sostanziali del modello sottostante, mostrando perché plausibilità e fedeltà non debbano essere confuse.

Il NIST formula una distinzione analoga nei suoi principi sull’AI spiegabile. Fornire una spiegazione non è sufficiente: tale spiegazione deve essere significativa per il destinatario previsto, riflettere accuratamente il processo del sistema e rimanere entro limiti di conoscenza chiaramente definiti.

Nella generazione di evidenze, quindi, la domanda più utile non è semplicemente se un modello sia in grado di spiegare il proprio output. È piuttosto se l’organizzazione sia in grado di dimostrare che quell’output è stato validato per uno specifico utilizzo chiaramente definito, su dati appropriati e rappresentativi, con una conoscenza esplicita delle relative assunzioni e limitazioni.

La sfida consiste nel passare da una spiegazione plausibile a una garanzia dimostrabile.

Cosa ci dice la spiegabilità

Sebbene la terminologia non sia completamente standardizzata, è utile distinguere tra un modello interpretabile e la spiegazione post-hoc di un modello opaco.

Un modello interpretabile è trasparente per costruzione. Un punteggio lineare, un breve albero decisionale o un insieme conciso di regole predefinite possono essere direttamente ispezionati. La struttura rilevante del modello costituisce essa stessa la spiegazione.

Consideriamo un esempio familiare nell’ambito della cardiologia preventiva: la stima del rischio a dieci anni di un evento cardiovascolare. Un approccio interpretabile potrebbe assegnare punti in funzione di età, pressione arteriosa, colesterolo, abitudine al fumo e diabete, convertendo poi il punteggio complessivo in una stima del rischio. Il calcolo può essere seguito direttamente. In questo caso, spiegazione e modello coincidono sostanzialmente.

Un modello più complesso potrebbe, invece, elaborare un ECG a 12 derivazioni, un’immagine retinica o una cartella clinica longitudinale. Potrebbe identificare interazioni tra migliaia di caratteristiche del segnale, dell’immagine o dei dati clinici che non sono mai state codificate come regole esplicite.

Un metodo post-hoc può successivamente evidenziare determinate porzioni dell’ECG o attribuire punteggi di importanza alle variabili presenti nella cartella clinica. Ciò può aiutare un ricercatore o un clinico a indagare il comportamento del modello, ma rimane una stima di tale comportamento. La spiegazione è a sua volta un output analitico, con proprie assunzioni, instabilità e potenziali errori. Non è necessariamente uno specchio causale del calcolo sottostante.

Questo non rende inutili le spiegazioni post-hoc. Modifica, però, il peso che dovrebbe essere loro attribuito. Una buona spiegazione può aiutare a rilevare una dipendenza inattesa, evidenziare un possibile data leakage o identificare un pattern meritevole di ulteriore approfondimento. Ciò che non può fare, da sola, è dimostrare che il modello sia scientificamente valido o appropriato rispetto alla decisione in questione.

La distinzione diventa particolarmente importante quando ci si aspetta che la spiegabilità garantisca equità e accountability.

L’equità non può essere dedotta da quanto convincentemente sia possibile descrivere il comportamento di un modello. Uno degli esempi più discussi di bias negli algoritmi sanitari riguarda un modello che utilizzava la spesa sanitaria come proxy del bisogno di assistenza. Differenze storiche nell’accesso alle cure facevano sì che i pazienti neri avessero spesso generato costi sanitari inferiori rispetto a pazienti bianchi con un livello di malattia equivalente. La logica del modello poteva essere compresa, ma l’obiettivo che gli era stato chiesto di ottimizzare incorporava una disuguaglianza preesistente.

Il problema è emerso confrontando bisogni e outcome tra diversi gruppi di pazienti, non producendo una spiegazione migliore del modello. Questo perché l’iniquità può essere introdotta dalla popolazione rappresentata nei dati, dalle persone escluse, dalla scelta del target, dall’utilizzo di un proxy inadeguato, da misurazioni non equivalenti o dal modo in cui un output viene tradotto in azione.

L’equità deve quindi essere verificata empiricamente lungo l’intera catena che va dal dato all’evidenza. Analisi rilevanti per sottogruppi e analisi intersezionali dovrebbero esaminare performance, calibrazione, incertezza e pattern di errore, anziché considerare una spiegazione plausibile come prova del fatto che il modello operi in modo equo.

Esistono tuttavia situazioni nelle quali dovrebbe essere preferita l’interpretabilità per costruzione. Se un sistema determina direttamente l’accesso a una risorsa scarsa o l’inclusione in un programma, la trasparenza procedurale può costituire essa stessa parte dell’obiettivo. In questi casi, la possibilità di comprendere a priori la regola può avere valore indipendentemente da eventuali differenze di performance.

L’accountability pone un problema analogo. Con un modello interpretabile, ricostruire la spiegazione può significare ricostruire il calcolo effettivamente eseguito. Con un modello complesso analizzato attraverso un metodo post-hoc, invece, la spiegazione rimane un’approssimazione. Indagare un errore esclusivamente attraverso tale approssimazione rischia quindi di significare indagare il processo sbagliato.

Le moderne pipeline di AI possono rendere il problema ancora più complesso. Un singolo output può dipendere dall’estrazione dei dati, dalla loro armonizzazione, dalla selezione della coorte, dall’elaborazione del linguaggio, dalla predizione, dalla simulazione e dall’analisi statistica. Ogni componente può avere versioni, assunzioni e modalità di errore differenti. Combinare una serie di spiegazioni approssimative non consente di ricostruire la storia del risultato finale.

L’accountability deve, invece, fondarsi su un processo documentato: tracciabilità e versionamento di dati e modelli, piani di analisi predefiniti, registrazione delle trasformazioni e delle esclusioni, report di validazione, log di audit, output riproducibili e responsabilità esplicitamente attribuite per ogni fase della pipeline.

Un bias può, inoltre, derivare dal modo in cui le spiegazioni vengono recepite. Le persone tendono a interpretare una heat map clinicamente plausibile o una graduatoria di importanza delle feature come conferma che il modello sia arrivato alla risposta corretta per la ragione corretta. Studi sull’interazione uomo-AI suggeriscono che le spiegazioni possono talvolta aumentare la fiducia o l’affidabilità del sistema senza migliorare in modo consistente la capacità degli utenti di individuare raccomandazioni errate.

Bias di selezione e bias di conferma possono quindi rafforzarsi reciprocamente. Dati incompleti producono un modello limitato; il modello genera un output; un metodo post-hoc produce una spiegazione plausibile; la spiegazione rassicura il revisore, riducendo il livello di scrutinio che avrebbe potuto far emergere la limitazione originaria.

Una spiegazione dovrebbe quindi essere trattata come un oggetto da valutare, non come prova del fatto che la valutazione non sia più necessaria.

L’evidenza cambia la domanda

L’alternativa non è accettare automaticamente modelli black box. Per dati strutturati contenenti un numero gestibile di variabili significative, un modello interpretabile può ottenere prestazioni pari a quelle di un modello più complesso. In contesti ad alto impatto, alcuni ricercatori hanno quindi sostenuto che non si dovrebbero utilizzare modelli opachi quando sono disponibili alternative interpretabili altrettanto efficaci.

Questo principio, tuttavia, non implica la necessità di semplificare ogni modello indipendentemente dal suo scopo. Nell’imaging medico, nella multi-omica, nei testi clinici non strutturati e nelle cartelle sanitarie longitudinali, i segnali rilevanti possono essere distribuiti su un numero molto elevato di variabili interagenti. Limitare l’analisi a una forma direttamente comprensibile dall’essere umano potrebbe, in alcuni casi, impedire al modello di cogliere relazioni importanti.

La complessità deve tuttavia giustificare la propria presenza. Il principio rilevante non è “black box prima di tutto” né “interpretabilità a ogni costo”. È utilizzare il modello più semplice che sia adeguato allo scopo, richiedere alla maggiore complessità di dimostrare un valore incrementale e applicare un livello di scrutinio proporzionato all’influenza del modello e alle conseguenze di un eventuale errore.

Questo aspetto assume particolare importanza nella generazione di evidenze, dove l’output principale potrebbe non essere una predizione individuale. Potrebbe, invece, trattarsi di una valutazione di fattibilità di una coorte, di una popolazione sintetica, di un braccio comparatore sintetico, di una stima dell’effetto di trattamento, di un’ipotesi relativa a un sottogruppo o di un’analisi di Real-World Evidence.

Questi output sollevano interrogativi ai quali nessun tabella di attribuzione delle feature può rispondere. La domanda scientifica è definita correttamente? La popolazione target corrisponde alla decisione che si intende informare? Le assunzioni causali sono esplicite? Confondimento, selezione e dati mancanti sono stati adeguatamente gestiti? L’incertezza è rappresentata in modo appropriato? Le conclusioni rimangono stabili utilizzando specificazioni alternative? Nei dati sintetici sono preservate le relazioni clinicamente rilevanti? Il risultato è applicabile alla popolazione di interesse?

Per i dati e le coorti sintetiche, l’adeguatezza allo scopo richiede, inoltre, una valutazione congiunta di utilità analitica e privacy. Un dataset può riprodurre le distribuzioni aggregate ma non preservare le relazioni necessarie per una specifica analisi. Al contrario, un’elevata fedeltà in assenza di una protezione sufficiente può lasciare un rischio residuo di privacy inaccettabile. Nessuna delle due dimensioni può essere dedotta dalla sola spiegazione del modello.

Il confronto rilevante per la generazione di evidenze non è quindi semplicemente spiegabilità versus accuratezza. È spiegazione plausibile versus adeguatezza validata dell’evidenza.

Dalla spiegazione alla garanzia

ICH M15 offre un modo utile per strutturare questa transizione. La linea guida ancora l’evidenza basata sui modelli a una domanda di interesse e a un contesto d’uso definiti. Considera, quindi, l’influenza del modello, le conseguenze di una decisione errata e il conseguente livello di rischio del modello, collegando tale rischio a verifiche, validazioni e valutazioni di applicabilità proporzionate.

Questo approccio modifica il punto di partenza. Anziché chiedersi innanzitutto se un modello sia interpretabile, si parte chiedendosi per quale scopo verrà utilizzato l’output e cosa accadrebbe se fosse errato.

Un modello che supporta un’ipotesi esplorativa non richiede lo stesso livello di evidenza di un modello che influenza in modo sostanziale una decisione di sviluppo clinico o regolatoria. Analogamente, un dataset sintetico utilizzato per il testing di un software non dovrebbe essere valutato esattamente nello stesso modo di una coorte comparatrice sintetica impiegata a supporto della stima di un effetto di trattamento.

Le evidenze richieste dovrebbero quindi essere proporzionate al contesto e alle conseguenze. Come minimo, il processo dovrebbe definire la domanda, l’utilizzo previsto e la popolazione target; documentare l’origine e le trasformazioni dei dati; verificare l’implementazione; validare le performance rispetto a criteri tecnici e clinici predefiniti; testare robustezza, incertezza e comportamento nei sottogruppi; valutare privacy e applicabilità; e registrare le limitazioni che definiscono le condizioni nelle quali il risultato non dovrebbe essere utilizzato.

È anche in questo ambito che la spiegabilità conserva un valore reale. I metodi di spiegazione possono far emergere dipendenze inattese, identificare segnali candidati, confrontare il comportamento tra gruppi e orientare le analisi di sensibilità. Nei dati clinici o biologici ad alta dimensionalità, possono indirizzare i ricercatori verso relazioni che meritano una conferma indipendente.

Ma questo è il loro ruolo appropriato: la spiegazione genera un’ipotesi o indirizza un’indagine. Non sostituisce i test statistici, la validazione esterna, la revisione scientifica o la conferma prospettica.

La spiegazione apre l’indagine; non la chiude.

Un approccio validation-first non è un argomento contro la trasparenza o la supervisione umana. L’AI Act europeo richiede che i sistemi di AI ad alto rischio forniscano agli utilizzatori informazioni sufficientemente trasparenti da consentire di interpretare e utilizzare in modo appropriato gli output, incluse informazioni sulla finalità prevista, sulle performance attese, sulle limitazioni note, sulle caratteristiche rilevanti degli input, sui rischi prevedibili e sulle funzionalità di logging.

Le disposizioni sulla supervisione umana richiedono, inoltre, che i revisori autorizzati comprendano le capacità e le limitazioni rilevanti, rimangano consapevoli del rischio di automation bias, siano in grado di riconoscere comportamenti anomali e, quando opportuno, ignorino, sovrascrivano o interrompano il sistema.

Questi obblighi non richiedono necessariamente che ogni peso interno al modello venga descritto in linguaggio naturale. Richiedono una trasparenza operativamente significativa: cosa il sistema è progettato per fare, come è stato valutato, dove può fallire e come i suoi output dovrebbero — e non dovrebbero — essere utilizzati.

Cosa significa tutto questo per Aindo

In Aindo non consideriamo la spiegabilità come un certificato intrinseco di affidabilità. Allo stesso tempo, non riteniamo che l’opacità di un modello costituisca una ragione per ridurre il livello di scrutinio.

Nella generazione di evidenze, il principale oggetto della validazione è il pacchetto di evidenze nel suo complesso: provenienza e rappresentatività dei dati, integrità del metodo analitico, preservazione delle relazioni clinicamente rilevanti, performance nei sottogruppi di interesse, robustezza rispetto ad assunzioni alternative, incertezza, rischio per la privacy, applicabilità e riproducibilità.

Ciò richiede un’infrastruttura di assicurazione di qualità articolata su più livelli. Dati, modelli e metodologie devono essere versionati. Le regole di inclusione, esclusione e trasformazione devono essere documentate. I benchmark di validazione dovrebbero essere definiti prima dell’interpretazione dei risultati. Utilità e privacy dovrebbero essere valutate rispetto al contesto d’uso previsto. Assunzioni, incertezza e limiti di conoscenza devono essere esplicitati e gli output devono essere supportati da registrazioni riproducibili e audit trail.

Quando vengono utilizzate spiegazioni post-hoc, la loro fedeltà e stabilità dovrebbero essere esse stesse oggetto di verifica. Quando la trasparenza procedurale costituisce un requisito centrale, dovrebbero essere preferiti metodi interpretabili per costruzione. Quando modelli complessi dimostrano un valore incrementale, dovrebbero essere governati attraverso processi di verifica, validazione e valutazione dell’applicabilità proporzionati al rischio.

La nostra posizione è quindi semplice: Prima la validazione. La spiegazione dove è utile. L’interpretabilità dove è necessaria. La tracciabilità in ogni fase.

Tornando all’analogia con l’aviazione, non ci fidiamo di un aeromobile perché è in grado di spiegare se stesso. Ci fidiamo del sistema perché la sua progettazione, i limiti operativi, la manutenzione, il monitoraggio e le performance sono stati sottoposti a una valutazione rigorosa e perché, se qualcosa va storto, l’evento può essere ricostruito sulla base di evidenze affidabili.

L’AI utilizzata per la generazione di evidenze dovrebbe essere sottoposta allo stesso principio di fondo. La domanda decisiva non è semplicemente se un modello sia in grado di spiegare il proprio output. È se l’organizzazione sia in grado di dimostrare, attraverso evidenze riproducibili, che quell’output è valido, robusto e adeguato allo scopo per il quale verrà utilizzato.