Verso buone pratiche linguistiche nelle comunicazioni regolatorie assistite dall'IA

Man mano che l'intelligenza artificiale (AI) continua a trasformare i flussi di lavoro regolatori, la sua adozione in ambienti guidati dalla conformità sta diventando inevitabile. Il FDA Copilot, alimentato da grandi modelli linguistici (LLM) come GPT-4 e potenziato da Retrieval-Augmented Generation (RAG), può modificare in modo significativo il modo in cui i professionisti della regolamentazione interagiscono con i dati, redigono rapporti e conducono revisioni pre-sottomissione. Sebbene questa evoluzione possa migliorare l'efficienza, solleva preoccupazioni riguardo alla affidabilità, ai bias e alla coerenza. Queste sfide derivano principalmente dalla natura probabilistica degli LLM, che può portare a bias nelle risposte generative, disinformazione e informazioni fuori contesto.

Per affrontare queste preoccupazioni, professionisti, agenzie regolatorie e l'industria dovrebbero implementare un approccio strutturato che assicuri che gli approfondimenti generati dall'AI siano allineati con conoscenza pregressa verificata, le normative e le attuali aspettative regolatorie. Ciò richiede quadri standardizzati per l'uso e l'elaborazione del linguaggio, il prompt engineering e la validazione degli output nel processo decisionale regolatorio assistito dall'AI.

In articoli precedenti di Pharma Now, abbiamo esaminato l'uso pratico di un Copilota FDA guidato da AI/ML integrato con SmartSearch+ all'interno di un ecosistema Microsoft. Studi di caso hanno dimostrato la capacità dell'AI di snellire compiti regolatori, come risposte alle FDA Warning Letters e valutazioni del Quality Overall Summary (QOS) per le new drug applications (NDA). Tuttavia, permangono questioni cruciali e di ampia portata nel contesto regolatorio relative alle prove richieste.:

• Il contenuto generato dall'AI può mitigare in modo affidabile i rischi di inesattezze, misinformation, disinformation e affermazioni false più efficacemente rispetto ai metodi tradizionali?
• Se sì, può essere elaborato in modo più efficiente garantendo verificabilità e conformità?

Cerchiamo di stabilire un meccanismo di validazione strutturato per affrontare queste domande e produrre in modo efficace contenuti generati dall'AI affidabili e utili. Questo articolo delinea ciò che ci aspettiamo evolverà come Good Linguistic Practices (GLP) per la comunicazione regolatoria assistita dall'AI, garantendo un intento del prompt affidabile e la “Integrità del contesto testuale” per accuratezza fattuale e trasparenza. In particolare, sosteniamo prompting RAG disciplinato, verifica strutturata usando SmartSearch+, e un approccio iterativo di convalida uomo-AI noto come metodologia "Dueling Banjo". Sviluppando e integrando queste pratiche, miriamo a migliorare la precisione, la chiarezza e la conformità regolatoria delle comunicazioni generate dall'AI, assicurando che l'AI sia uno strumento di fiducia piuttosto che una potenziale responsabilità.

Contesto

Questo rapporto esamina come LLM commerciali come ChatGPT—addestrati su dataset vasti ma spesso inaccessibili o non trasparenti [per l'utente]—possano essere ottimizzati per l'uso regolatorio, migliorando l'automazione, la gestione della qualità e la comunicazione della conformità. Utilizziamo strumenti AI/ML come il FDA Copilot, ospitato ad esempio in un Microsoft OpenAI ChatGPT-4, e una piattaforma progettata per funzionare all'interno di un ecosistema più ampio, come illustrato in Figura 1. Si noti che questa figura è generata dall'AI e contiene alcune inesattezze e errori ortografici che illustrano il bias intrinseco dell'AI/ML, tuttavia l'abbiamo inclusa per sottolineare il punto centrale di questo articolo.

Figura 1. Copilota FDA guidato da AI/ML e SmartSearch+ nell'ecosistema Microsoft; un'immagine generata dall'AI 

Un precedente rapporto di Pharma Now ha analizzato le prestazioni della summarizzazione estrattiva assistita dall'AI nella Sezione P2: Pharmaceutical Development dello Caso di studio A-MAB (2009). La valutazione si è concentrata sul fatto che il FDA Copilot estragga accuratamente i principali approfondimenti regolatori da questa sezione del Common Technical Document (CTD). Abbiamo notato diversi vantaggi insieme ad alcune sfide.

Abbiamo impiegato un processo strutturato per valutare l'affidabilità dei contenuti regolatori generati dall'AI e la conformità regolatoria. La Figura 2 illustra un processo di revisione interna aziendale per prendere decisioni "ready to file" Go/No-Go. Questo processo impiega il FDA AI/ML Copilot, ospitato all'interno della piattaforma Microsoft OpenAI ChatGPT-4. Esso delinea sei passaggi colorati per condurre una revisione interna aziendale nel contesto di un processo decisionale Go/No-Go riguardante la prontezza di un NDA, ANDA o BLA per la sottomissione.

Figura 2. Un'illustrazione di un processo di revisione interna (aziendale) sulla decisione “ready to file”, Go/No-go, che utilizza strumenti AI/ML mentre il Copilota FDA ospitato su una piattaforma Microsoft OpenAI ChatGPT-4 genera una bozza iniziale di risposta, seguita da RAG-Prompting ancorato a SmartSearch+ per implementare la metodologia “Dueling Banjo”. Il ciclo di feedback per il miglioramento serve a perfezionare il processo di revisione e anche lo sviluppo del prodotto secondo QbD.   

Quadro per la revisione regolatoria assistita dall'AI

Nelle organizzazioni farmaceutiche mature, politiche, procedure e accordi trasversali ben definiti costituiscono la base dei principi di Quality by Design (QbD) nelle applicazioni regolatorie. Tuttavia, tale maturità strutturata e funzionante rimane più l'eccezione che la norma. Questo sottolinea la necessità di una strategia di revisione trasparente e strutturata strategia di revisione, specialmente quando si incorporano strumenti AI/ML come il FDA Copilot.

Il documento guida della FDA sulla decisione regolatoria assistita dall'IA raccomanda un approccio basato sul rischio. Sottolinea la necessità di definire la “domanda di interesse” e il “contesto d'uso” per i modelli di IA, valutare i rischi intrinseci e implementare piani di convalida strutturati per stabilire la credibilità. Ci allineiamo a questa guida promuovendo il RAG-prompting basato sull'approccio Revisione basata su domande (QBR) e un processo iterativo di verifica utilizzando la metodologia Dueling Banjo. Il ragionamento avanzato negli LLM, come GPT-4.0, migliora significativamente la qualità dei risultati. I revisori umani possono impiegare il RAG-prompting e considerare il prompting controfattuale per affinare il processo di ragionamento. La Tabella 1 riassume i passaggi chiave e il processo associato:

Passaggi per implementare la metodologia Dueling Banjo

Strategia di revisione interna: Definire strategie di RAG-prompting e processi di verifica.

Bozza iniziale generata dall'IA: Generare una bozza iniziale senza RAG; le bozze successive utilizzano un RAG-prompting disciplinato.

Verifica SmartSearch+: Il RAG-prompting viene perfezionato utilizzando SmartSearch+ per fornire consapevolezza e contesto al testo delle fonti regolatorie.

Metodologia Dueling Banjo: I risultati dell'IA sono soggetti a validazione umana iterativa e miglioramento.

Verifica SmartSearch+ dei RAG-Prompt

I modelli di IA producono i migliori risultati quando i prompt sono chiari, strutturati e contestualmente rilevanti. I prompt ambigui spesso portano a risposte incomplete, inaccurate o fuorvianti, mettendo a rischio la conformità regolatoria.

Per garantire che i contenuti generati dall'IA rispettino gli standard di conformità, proponiamo il Revisione basata su domande (QBR) come strategia di prompting strutturata:

• Definire le principali domande regolatorie per allineare i risultati dell'IA alle aspettative di conformità.
• Assicurare l'allineamento regolatorio integrando la terminologia specifica del dominio.
• Chiarire i requisiti di precisione per ridurre i rischi di errata interpretazione.

Sebbene gli LLM come ChatGPT-4 siano ottimali per la sintesi rapida di grandi volumi di dati e per la generazione di testi, sono soggetti a allucinazioni, interpretazioni errate del contesto e dipendenza da basi di conoscenza statiche. Il RAG affronta queste limitazioni recuperando dinamicamente dati regolatori verificati e aggiornati prima di generare le risposte. SmartSearch+ migliora ulteriormente questo processo fornendo:

• Ricerca full-text attraverso le linee guida della FDA e i documenti regolatori globali, 
• Recupero di precisione per la revisione assistita dall'IA, e 
• Indicizzazione della conoscenza aziendale riservata, garantendo precisione dell'IA orientata alla conformità.

La metodologia Dueling Banjo: validazione iterativa IA-umano

La metodologia Dueling Banjo garantisce che i contenuti regolatori generati dall'IA siano soggetti a una validazione umana iterativa, migliorando significativamente accuratezza, affidabilità e garanzia di conformità. Questo approccio consiste in:

• Generazione della bozza iniziale da parte dell'IA: il RAG-prompting strutturato guida l'IA nella produzione di risposte regolatorie.
• Revisione ed affinamento da parte di esperti: i revisori umani individuano errori, incoerenze e lacune.
• Miglioramento iterativo dell'IA: l'IA perfeziona i risultati sulla base del feedback degli esperti e delle referenze regolatorie.
• Verifica finale di conformità: il ciclo continua fino a quando l'output soddisfa gli standard di qualità, conformità e tracciabilità.

Un efficace controllo dipende da revisori umani qualificati con competenze in alfabetizzazione sull'IA, ingegneria dei prompt strutturata e tecniche di validazione. Formazione e sviluppo continuo sono parte integrante per fare in modo che la supervisione umana sia una salvaguardia attiva piuttosto che un controllo passivo. Le organizzazioni dovrebbero sviluppare queste pratiche all'interno delle loro politiche e procedure aziendali per istituzionalizzarle. Le considerazioni politiche essenziali sono delineate nella Tabella 2.

Considerazioni politiche essenziali 

Definizione dell'obiettivo

Definire chiaramente lo scopo dell'utilizzo degli strumenti AI/ML per garantire che i risultati siano affidabili, riproducibili e linguisticamente accurati.

Identificare i processi per l'assistenza AI

Determinare quali processi e quali documenti trarrebbero beneficio dall'assistenza AI, ad esempio la redazione di lettere di avvertimento, la creazione di riepiloghi di qualità e la preparazione di submission regolatorie.

Specificare i quadri normativi

Delimitare i quadri normativi e le linee guida rilevanti, come la bozza di orientamento della FDA sull'uso dell'AI.

Definire i termini chiave

Fornire definizioni chiare per termini essenziali come "AI-assisted outputs", "hallucinations", "prompting", "chain-of-thought" e "Dueling Banjo methodology." Inoltre, categorizzare i rischi in base alla criticità dei documenti regolatori (es. decisioni ad alto rischio rispetto a comunicazioni di routine) e stabilire soglie per tassi di errore accettabili. Delineare procedure per affrontare hallucinations o incoerenze quando si verificano.

Stabilire audit e valutazioni

Implementare audit di routine e valutazioni delle prestazioni utilizzando metriche predeterminate come accuratezza, coerenza e riproducibilità. Testare regolarmente il sistema AI con scenari noti per identificare derive o degradazioni delle prestazioni.

Meccanismi di segnalazione degli incidenti

Sviluppare protocolli per la registrazione e la segnalazione degli errori dell'AI (es. hallucinations o errate interpretazioni), incluso un chiaro percorso di escalation. Creare loop di feedback con i team interni e i fornitori di AI per garantire che le lezioni apprese si traducano in miglioramenti del sistema.

Conclusione

L'integrazione di SmartSearch+ con il prompting RAG consente alle organizzazioni di istituire un repository centralizzato e convalidato di approfondimenti regolatori generati dall'AI, garantendo precisione, coerenza e conformità nei flussi di lavoro assistiti dall'AI. Questo framework assicura che l'AI sia uno strumento di conformità affidabile anziché una responsabilità, standardizzando la terminologia regolatoria, riducendo l'ambiguità e migliorando la tracciabilità.

La verifica di SmartSearch+ dei prompt RAG sarà cruciale per mantenere l'integrità regolatoria e la fiducia man mano che l'adozione dell'AI si espande. L'implementazione di metodologie strutturate di convalida dell'AI, supportate dalla supervisione di esperti e dalle Good Linguistic Practices (GLP), guiderà un ecosistema regolatorio più affidabile, trasparente e pronto per il futuro.

Punto chiave: I flussi di lavoro regolatori assistiti dall'AI devono dare priorità alla convalida strutturata, alla supervisione umana e alla conformità normativa per garantire fiducia, responsabilità e accuratezza nelle decisioni farmaceutiche.