Allegato 22 UE spiegato: cosa devono sapere i produttori farmaceutici sull'IA nelle GMP

La Commissione Europea ha introdotto un nuovo capitolo nel manuale delle Good Manufacturing Practice (GMP), l'Allegato 22 sull'Intelligenza Artificiale. Si tratta di un passo storico per l'industria farmaceutica. Per la prima volta esiste un quadro normativo specifico che indica come i modelli di AI debbano essere progettati, testati, convalidati e monitorati quando utilizzati in ambienti GMP critici.

Questa guida ti conduce attraverso tutto ciò che è incluso nella bozza della linea guida dell'Allegato 22, pubblicata dalla Directorate for Health and Food Safety della Commissione Europea, usando un linguaggio semplice in modo che il tuo team, che lavori in QA, IT, data science o produzione, possa comprendere cosa significhi nella pratica.

Che cos'è l'Allegato 22 dell'UE?

L'Allegato 22 dell'UE è una nuova aggiunta al Volume 4, Capitolo 4 delle linee guida EU GMP. Fornisce indicazioni supplementari all'Allegato 11 (che tratta i sistemi computerizzati), specificamente per le situazioni in cui i modelli di AI sono incorporati in tali sistemi.

L'allegato copre i modelli di AI utilizzati in applicazioni critiche, quelle che hanno un impatto diretto su:

1. Sicurezza del paziente
2. Qualità del prodotto
3. Integrità dei dati

Pensa a modelli di AI usati per rilevare difetti visivi nelle compresse, classificare lotti di materie prime o prevedere gli esiti di processo. Questi sono i tipi di applicazioni che questo allegato è pensato a regolamentare.

Punto chiave: L'Allegato 22 si applica ai modelli di machine learning che hanno appreso il loro comportamento dai dati di addestramento. Non si applica a sistemi esplicitamente programmati basati su regole.

L'Allegato 22 si basa sull'Allegato 11, ma non sono lo stesso regolamento. Sapere esattamente dove uno termina e l'altro inizia prima di mappare il tuo gap di conformità.

→ Leggi: 21 CFR Part 11 vs EU GMP Annex 11: Cosa deve sapere ogni professionista delle scienze della vita

Cosa NON copre l'Allegato 22

Prima di approfondire, è importante chiarire i confini di questa linea guida. I seguenti sono esplicitamente fuori campo:

1. Modelli dinamici — modelli che apprendono e si adattano continuamente durante il funzionamento. Questi non dovrebbero essere utilizzati in applicazioni GMP critiche.
2. Modelli probabilistici — modelli che possono dare output diversi anche con input identici. Anche questi non dovrebbero essere utilizzati in contesti GMP critici.
3. Generative AI e Large Language Models (LLMs) — strumenti come ChatGPT o modelli simili. Questi sono esclusi dall'uso in GMP critici.

Se la generative AI è usata in applicazioni GMP non critiche (quelle che non influenzano la sicurezza del paziente, la qualità o l'integrità dei dati), un umano qualificato deve sempre rivedere e essere responsabile dell'output; questo è noto come principio human-in-the-loop (HITL).

I principi fondamentali: chi è responsabile?

L'Allegato 22 stabilisce tre principi fondamentali fin dall'inizio.

1. Persone e collaborazione: Implementare un modello di AI in un contesto GMP non è un progetto IT solitario. Richiede stretta collaborazione tra gli esperti di processo (SME), Quality Assurance (QA), data scientist, team IT e consulenti esterni, se necessario. Tutti i soggetti coinvolti devono possedere qualifiche adeguate, responsabilità chiaramente definite e accessi di sistema appropriati.

2. Documentazione Tutte le attività, dalla selezione dell'algoritmo ai test del modello, devono essere completamente documentate. Questo vale sia che il modello sia sviluppato internamente sia che sia fornito da un fornitore terzo. L'azienda regolamentata è sempre responsabile della revisione di questa documentazione.

3. Gestione del rischio di qualità Tutto nell'Allegato 22 dovrebbe essere implementato usando un approccio basato sul rischio, mantenendo sempre al centro l'impatto sulla sicurezza del paziente, sulla qualità del prodotto e sull'integrità dei dati.

Uso previsto: definiscilo prima di costruirlo

Uno dei passaggi più critici dell'Allegato 22 è definire correttamente l'uso previsto del modello di IA. Questo deve essere fatto nei dettagli e documentato prima dell'inizio dei test di accettazione.

La descrizione dell'uso previsto dovrebbe includere:

1. Quale compito specifico il modello è progettato per assistere o automatizzare
2. Una descrizione approfondita dei dati di input che il modello utilizzerà, incluse tutte le variazioni comuni e rare (lo spazio dei campioni di input)
3. Eventuali limitazioni note o potenziali fonti di errore o bias nei dati di input

Lo spazio dei campioni di input può anche essere suddiviso in sottogruppi. Ad esempio, un modello di ispezione visiva potrebbe avere sottogruppi basati sul tipo o sulla gravità del difetto, sul sito geografico o su caratteristiche specifiche del prodotto. Questa segmentazione consente test e valutazioni delle prestazioni più granulari.

Quando un operatore umano è coinvolto nel processo decisionale (HITL), l'uso previsto deve anche descrivere qual è la responsabilità dell'operatore, e le prestazioni dell'operatore devono essere monitorate come qualsiasi altro processo manuale.

Criteri di accettazione: fissare l'asticella delle prestazioni

I modelli di IA in ambienti GMP devono soddisfare standard di prestazione chiaramente definiti prima di essere approvati per l'uso. L'Allegato 22 richiede quanto segue:

Metriche di test devono essere appropriate al compito del modello. Per un modello di classificazione (es. decisioni accetta/rifiuta), le metriche rilevanti possono includere:

I criteri di accettazione devono essere predefiniti e documentati prima dell'inizio dei test. Un SME del processo deve approvarli. È cruciale che le prestazioni del modello di IA siano almeno equivalenti al processo che sostituisce. Ciò significa che è necessario un baseline; sapere quanto bene performa il processo manuale o automatizzato esistente è un presupposto.

Dati di test: qualità in ingresso, qualità in uscita

La qualità dei dati di test è fondamentale per la validità di qualsiasi modello di IA. L'Allegato 22 è molto specifico su come devono essere i buoni dati di test.

I dati di test devono essere:

1. Rappresentativo — che copre l’intero spazio di campionamento previsto, incluse tutte le sottogruppi
2. Statisticamente sufficiente — sufficientemente grande da permettere il calcolo delle metriche scelte con adeguata confidenza statistica
3. Correttamente etichettato — verificato mediante revisione indipendente da parte di più esperti, strumentazione validata o test di laboratorio
4. Pre-elaborato in modo coerente — qualsiasi trasformazione, normalizzazione o standardizzazione deve essere pre-specificata con una motivazione documentata.

Qualsiasi esclusione o pulizia dei dati di test deve essere completamente documentata e giustificata. Non è raccomandata la generazione di dati di test sintetici mediante AI generativa e, se effettuata, richiede una forte giustificazione.

Indipendenza dei dati di test: mantenere i muri alti

Questa sezione dell’Allegato 22 affronta uno dei problemi più comuni nello sviluppo dell’AI, perdita di dati, in cui i dati di test vengono accidentalmente esposti durante l’addestramento o la validazione, portando a risultati di performance eccessivamente ottimistici.

I requisiti includono:

1. I dati di test non devono mai essere usati durante lo sviluppo, l’addestramento o la validazione del modello
2. Se i dati vengono separati da un pool più ampio prima dell’addestramento, il personale coinvolto nell’addestramento non deve mai aver avuto accesso ai dati di test.
3. I dati di test devono essere protetti da controlli di accesso e tracce di audit
4. Non devono esistere copie dei dati di test al di fuori del repository controllato
5. Il personale che ha avuto accesso ai dati di test non può essere coinvolto nell’addestramento dello stesso modello, a meno che non lavori secondo il principio delle 4-eyes

Deve essere tenuta traccia di quali dati sono stati usati per i test, quando sono stati usati e quante volte.

Esecuzione dei test: dimostrare che il modello funziona

Prima dell’inizio dei test deve essere preparato e approvato un formale piano di test. Dovrebbe contenere:

1. Un riassunto dell’uso previsto
2. Metriche predefinite e criteri di accettazione
3. Un riferimento ai dati di test
4. Uno script di test passo passo
5. Una descrizione di come calcolare ciascuna metrica di test

Il test stesso deve dimostrare che il modello si generalizza bene, ossia che funziona in modo affidabile con dati nuovi e non visti, non solo con i dati su cui è stato addestrato. Devono essere rilevati e affrontati sia l’overfitting (eccessiva adattabilità ai dati di addestramento) sia l’underfitting (troppa generalità).

Qualsiasi deviazione dal piano di test, mancato raggiungimento dei criteri di accettazione o omissione dei dati di test deve essere indagata e completamente documentata.

Tutta la documentazione dei test, inclusi i dati di test, gli oggetti di prova fisici quando rilevanti e i record delle tracce di audit, devono essere conservati in conformità ai requisiti standard di documentazione GMP.

Spiegabilità: aprire la scatola nera

La spiegabilità è uno dei requisiti tecnicamente più impegnativi dell’Allegato 22. Per i modelli AI utilizzati in applicazioni GMP critiche, il sistema deve essere in grado di catturare e registrare quali caratteristiche dei dati di input hanno contribuito a uno specifico output (come una decisione di rifiuto).

Tecniche ammesse includono:

1. SHAP (Shapley Additive Explanations) — assegna a ogni caratteristica di input un punteggio di contributo per una particolare previsione
2. LIME (Local Interpretable Model-Agnostic Explanations) — approssima localmente un modello complesso per spiegare singole previsioni
3. Mappe di calore — evidenziano visivamente le aree di un'immagine che hanno influenzato una decisione di classificazione

La revisione di queste caratteristiche deve far parte del processo di approvazione dei risultati dei test. L'obiettivo è garantire che il modello prenda decisioni basate su caratteristiche rilevanti e appropriate, non su correlazioni spurie.

Punteggi di confidenza: quando dire "Non sono sicuro"

I modelli AI non dovrebbero essere costretti a prendere una decisione binaria quando le prove sono ambigue. L'Appendice 22 richiede che i sistemi registrino il punteggio di confidenza per ogni previsione o classificazione.

Quando il punteggio di confidenza di un modello è molto basso, il sistema dovrebbe contrassegnare l'esito come "indeciso" piuttosto che impegnarsi in una previsione potenzialmente inaffidabile. Questo evita che classificazioni errate passino inosservate nel processo.

Operazione e monitoraggio continuo

Una volta approvato e distribuito, il modello deve essere mantenuto sotto rigorosi controlli per tutta la sua vita operativa.

Lista di controllo operativa dell'Appendice 22

1. Inserire il modello, il sistema su cui viene eseguito e il processo che supporta sotto controllo delle modifiche prima della distribuzione
2. Valutare qualsiasi modifica al modello, al sistema o al processo, incluse le modifiche agli oggetti fisici di input, per determinare se è necessario ripetere i test.
3. Implementare controllo della configurazione per rilevare eventuali modifiche non autorizzate al modello dopo la distribuzione.
4. Monitorare le metriche di prestazione del modello regolarmente per rilevare deterioramenti (ad es., variazioni delle condizioni di illuminazione per i modelli di ispezione visiva)
5. Monitorare se i dati di input rimangono all'interno dello spazio di campionamento previsto dal modello, e monitorare qualsiasi deriva utilizzando metriche definite.
6. Quando HITL viene utilizzato con test ridotti, conservare i registri di tutte le decisioni di revisione umana e applicare una procedura di revisione coerente.

Il monitoraggio non si arresta con la distribuzione, e nemmeno il controllo normativo. Ecco come l'AI sta già rimodellando il monitoraggio della sicurezza dei farmaci e cosa significa per il vostro team.

→ Leggi: Come l'IA sta cambiando il monitoraggio della sicurezza dei farmaci — e come sarà il futuro

Sommario: Cosa significa l'Allegato 22 per la vostra organizzazione

L'Allegato 22 dell'UE rappresenta un passo significativo su come i regolatori si aspettano che l'AI sia governata nella produzione farmaceutica. Piuttosto che applicare in modo approssimativo i principi generali di validazione dei sistemi informatici, le aziende ora dispongono di un quadro specifico e strutturato da seguire.

Il messaggio chiave è chiaro: l'AI nelle GMP non è solo una decisione IT. È una responsabilità di qualità e conformità che coinvolge team, discipline e l'intero ciclo di vita del modello, dalla progettazione e addestramento al dispiegamento e al monitoraggio continuo.

Le organizzazioni che iniziano ora a mettere in pratica queste procedure, definendo chiaramente l'uso previsto, gestendo dati di test indipendenti, implementando meccanismi di spiegabilità e un monitoraggio operativo solido, saranno molto meglio posizionate quando l'Allegato 22 passerà dalla consultazione all'applicazione.

Domande Frequenti

1. Che cos'è l'Allegato 22 dell'UE nel settore farmaceutico?

L'Allegato 22 dell'UE è una nuova linea guida GMP della Commissione Europea che stabilisce requisiti specifici per l'uso di modelli di Intelligenza Artificiale (AI) nei sistemi di produzione farmaceutica quando sono in gioco la sicurezza del paziente, la qualità del prodotto o l'integrità dei dati.

2. L'Allegato 22 dell'UE si applica a ChatGPT o all'AI generativa?

No. L'Allegato 22 esclude esplicitamente l'AI generativa e i Large Language Models dalle applicazioni GMP critiche. Se utilizzati in contesti non critici, un operatore qualificato deve sempre revisionare l'output.

3. Quali tipi di modelli AI copre l'Allegato 22?

L'Allegato 22 riguarda modelli di machine learning statici e deterministici — quelli che non cambiano dopo l'addestramento e forniscono lo stesso output per lo stesso input ogni volta.

4. Qual è il requisito human-in-the-loop (HITL) nell'Allegato 22?

HITL significa che un operatore umano addestrato è responsabile di revisionare e approvare l'output del modello AI prima che influenzi una decisione GMP. Quando si applica HITL, i requisiti di test per il modello possono essere ridotti, ma deve essere monitorata la performance dell'operatore.

5. Quando entrerà in vigore l'Allegato 22 dell'UE?

L'Allegato 22 è attualmente in consultazione pubblica. La data finale di entrata in vigore non è ancora stata confermata, ma si consiglia alle organizzazioni di iniziare ad allineare le proprie pratiche di governance dell'AI con la bozza di linea guida fin da ora.