Vers de bonnes pratiques linguistiques dans les communications réglementaires assistées par IA

À mesure que l'intelligence artificielle (IA) continue de transformer les flux de travail réglementaires, son adoption dans des environnements axés sur la conformité devient inévitable. Le FDA Copilot, alimenté par des grands modèles de langage (LLM) tels que GPT-4 et enrichi par la Retrieval-Augmented Generation (RAG), pourrait modifier de manière significative la façon dont les professionnels de la réglementation interagissent avec les données, rédigent des rapports et effectuent des revues pré-soumission. Si cette évolution peut améliorer l'efficacité, elle soulève des préoccupations en matière de fiabilité, de biais et de cohérence. Ces défis proviennent principalement de la nature probabiliste des LLM, qui peut entraîner des biais de génération de réponses, de la désinformation et des informations hors contexte.

Pour répondre à ces préoccupations, les professionnels, les agences réglementaires et l'industrie devraient mettre en œuvre une approche structurée garantissant que les informations générées par l'IA s'alignent sur les connaissances préalables vérifiées, les réglementations et les attentes réglementaires actuelles. Cela nécessite des cadres standardisés pour l'utilisation et le traitement du langage, l'ingénierie des invites et la validation des résultats dans la prise de décision réglementaire assistée par l'IA.

Dans des articles précédents de Pharma Now, nous avons examiné l'utilisation pratique d'un FDA Copilot piloté par AI/ML intégré à SmartSearch+ au sein d'un écosystème Microsoft. Des études de cas ont montré la capacité de l'IA à rationaliser les tâches réglementaires, telles que les réponses aux lettres d'avertissement de la FDA et les évaluations Quality Overall Summary (QOS) pour les nouvelles demandes d'autorisation de mise sur le marché (NDA). Néanmoins, des questions cruciales demeurent largement et significativement dans le contexte réglementaire concernant les preuves requises.:

• Les contenus générés par l'IA peuvent-ils atténuer de manière fiable les risques d'inexactitudes, de désinformation, de diffusion d'informations erronées et d'affirmations fausses plus efficacement que les méthodes traditionnelles ?
• Si oui, peuvent-ils être traités plus efficacement tout en garantissant la vérifiabilité et la conformité ?

Nous cherchons à établir un mécanisme de validation structuré pour répondre à ces questions et produire efficacement un contenu généré par l'IA digne de confiance et bénéfique. Cet article décrit ce à quoi nous nous attendons à faire évoluer les Bonnes Pratiques Linguistiques (BPF) pour la communication réglementaire assistée par l'IA, en garantissant une intention d'invite fiable et une Intégrité Texte-Contexte pour l'exactitude factuelle et la transparence. Plus précisément, nous préconisons des invites RAG disciplinées, une vérification structurée à l'aide de SmartSearch+, et une approche itérative de validation homme-IA connue sous le nom de méthodologie "Dueling Banjo". En développant et en intégrant ces pratiques, nous visons à améliorer la précision, la clarté et la conformité réglementaire des communications générées par l'IA, en veillant à ce que l'IA soit un outil de confiance plutôt qu'une potentielle responsabilité.

Contexte

Ce rapport examine comment des LLM commerciaux tels que ChatGPT — entraînés sur des jeux de données vastes mais souvent inaccessibles ou non transparents [pour l'utilisateur] — peuvent être optimisés pour un usage réglementaire, améliorant l'automatisation, la gestion de la qualité et la communication sur la conformité. Nous utilisons des outils AI/ML comme le FDA Copilot, hébergé par exemple dans un Microsoft OpenAI ChatGPT-4, et une plateforme conçue pour fonctionner au sein d'un écosystème plus large, comme illustré dans la Figure 1. Notez que cette figure est générée par l'IA et contient quelques fautes d'orthographe et inexactitudes illustrant le biais inhérent à l'IA/ML, pourtant nous l'avons incluse pour souligner le point central de cet article.

Figure 1. FDA Copilot piloté par l'IA/ML et SmartSearch+ dans l'écosystème Microsoft ; une image générée par l'IA

Un rapport précédent de Pharma Now a analysé la performance de la synthèse extractive assistée par l'IA dans la Section P2 : Développement pharmaceutique de l'Étude de cas A-MAB (2009). L'évaluation s'est concentrée sur la capacité du FDA Copilot à extraire avec précision les principaux éléments d'information réglementaire de cette section du Common Technical Document (CTD). Nous avons relevé plusieurs avantages ainsi que certains défis.

Nous avons employé un processus structuré pour évaluer la fiabilité et la conformité réglementaire du contenu généré par l'IA. La Figure 2 illustre un processus d'examen interne en entreprise pour prendre des décisions "prêt à déposer" Go/No-Go. Ce processus utilise le FDA AI/ML Copilot, hébergé sur la plateforme Microsoft OpenAI ChatGPT-4. Il décrit six étapes codées par couleur pour mener un examen interne dans le contexte d'un processus de décision Go/No-Go concernant la préparation d'une NDA, ANDA ou BLA en vue de la soumission.

Figure 2. Une illustration d'un processus d'examen interne (corporate) sur le « prêt à déposer », prise de décision Go/No/Go, utilisant des outils AI/ML tels que le FDA Copilot hébergé au sein d'une plateforme Microsoft OpenAI ChatGPT-4 génère un projet de réponse initial, suivi d'un RAG-Prompting ancré avec SmartSearch+ pour mettre en œuvre la méthodologie « Dueling Banjo ». La boucle de rétroaction d'amélioration vise à améliorer le processus d'examen et également le développement produit QbD.

Cadre pour la revue réglementaire assistée par l'IA

Dans les organisations pharmaceutiques matures, des politiques, procédures et accords interfonctionnels bien définis forment la base des principes Quality by Design (QbD) dans les applications réglementaires. Cependant, une telle maturité structurée et opérationnelle demeure une exception plutôt que la règle. Cela souligne la nécessité d'une stratégie d'examen transparente et structurée de revue, en particulier lors de l'intégration d'outils AI/ML tels que le FDA Copilot.

Le les lignes directrices provisoires de la FDA sur la prise de décision réglementaire assistée par l’IA recommandent une approche fondée sur les risques. Elles insistent sur la définition de la « question d’intérêt » et du « contexte d’utilisation » des modèles d’IA, l’évaluation des risques inhérents et la mise en place de plans de validation structurés pour établir la crédibilité. Nous nous alignons sur ces orientations en préconisant le RAG-prompting basé sur l’approche Examen basé sur les questions (QBR) et un processus de vérification itératif utilisant la méthodologie Dueling Banjo. Le raisonnement avancé dans les LLMs, tels que GPT-4.0, améliore considérablement la qualité des résultats. Les réviseurs humains peuvent employer le RAG-prompting et envisager le incitation contrefactuelle pour affiner le processus de raisonnement. Le tableau 1 résume les étapes clés et le processus associé :

Étapes pour mettre en œuvre la méthodologie Dueling Banjo

Stratégie de révision interne : Définir les stratégies de RAG-prompting et les processus de vérification.

Brouillon initial généré par l’IA : Générer un brouillon initial sans RAG ; les brouillons suivants utilisent un RAG-prompting discipliné.

Vérification SmartSearch+ : Le RAG-prompting est affiné à l’aide de SmartSearch+ pour apporter conscience et contexte au texte des sources réglementaires.

Méthodologie Dueling Banjo : Les sorties de l’IA font l’objet d’une validation et d’une amélioration itératives par des humains.

Vérification SmartSearch+ des RAG-Prompts

Les modèles d’IA produisent les meilleurs résultats lorsque les prompts sont clairs, structurés et contextuellement pertinents. Des prompts ambigus conduisent souvent à des réponses incomplètes, inexactes ou trompeuses, mettant en péril la conformité réglementaire.

Pour garantir que le contenu généré par l’IA respecte les normes de conformité, nous proposons la Examen basé sur les questions (QBR) comme stratégie de prompting structurée :

• Définir les questions réglementaires clés pour aligner les sorties de l’IA sur les attentes en matière de conformité.
• Assurer l’alignement réglementaire en intégrant la terminologie spécifique au domaine.
• Clarifier les exigences de précision pour réduire les risques de mauvaise interprétation.

Bien que les LLMs comme ChatGPT-4 soient optimaux pour la synthèse rapide de volumes massifs de données et la génération de texte, ils sont sujets à des hallucinations, des erreurs d’interprétation du contexte et une dépendance à des bases de connaissances statiques. Le RAG répond à ces limites en récupérant dynamiquement des données réglementaires vérifiées et en temps réel avant de générer des réponses. SmartSearch+ renforce davantage ce processus en fournissant :

• Recherche en texte intégral à travers les guidances de la FDA et les documents réglementaires mondiaux, 
• Récupération de précision pour la revue assistée par l’IA, et 
• Indexation des connaissances confidentielles de l’entreprise, garantissant l’exactitude de l’IA orientée conformité.

La méthodologie Dueling Banjo : validation itérative IA‑Humain

La méthodologie Dueling Banjo garantit que le contenu réglementaire généré par l’IA fait l’objet d’une validation humaine itérative, améliorant considérablement la précision, la fiabilité et l’assurance de conformité. Cette approche se compose de :

• Génération du brouillon initial par l’IA : un RAG-prompting structuré guide l’IA dans la production de réponses réglementaires.
• Révision et ajustement par des experts : les réviseurs humains identifient erreurs, incohérences et lacunes.
• Amélioration itérative par l’IA : l’IA affine les sorties en fonction des retours d’experts et des références réglementaires.
• Vérification finale de conformité : le cycle se poursuit jusqu’à ce que la sortie respecte les normes de qualité, de conformité et de traçabilité.

Une supervision efficace dépend de réviseurs humains qualifiés, experts en culture de l’IA, en ingénierie de prompts structurés et en techniques de validation. La formation et le développement continu sont essentiels pour faire de la supervision humaine une mesure active de protection plutôt qu’un simple point de contrôle passif. Les organisations doivent développer ces pratiques au sein de leurs politiques et procédures d’entreprise pour les institutionnaliser. Les considérations politiques essentielles sont résumées dans le tableau 2.

Considérations politiques essentielles 

Définition de l’objectif

Définir clairement l’objectif de l’utilisation des outils AI/ML afin de garantir que les résultats sont fiables, reproductibles et linguistiquement précis.

Identifier les processus pour l'assistance par IA

Déterminer quels processus et quels documents bénéficieraient de l'assistance par IA, tels que la rédaction de lettres d'avertissement, la création de synthèses qualité et la préparation de dossiers réglementaires.

Spécifier les cadres réglementaires

Présenter les cadres réglementaires et lignes directrices pertinents, tels que le projet de directive de la FDA sur l'utilisation de l'IA.

Définir les termes clés

Fournir des définitions claires pour les termes essentiels tels que « AI-assisted outputs », « hallucinations », « prompting », « chain-of-thought » et « Dueling Banjo methodology ». De plus, catégoriser les risques en fonction de la criticité des documents réglementaires (par ex., décisions à haut risque vs communications de routine) et établir des seuils pour les taux d'erreur acceptables. Décrire les procédures pour traiter les hallucinations ou les incohérences lorsqu'elles surviennent.

Mettre en place des audits et des évaluations

Mettre en œuvre des audits de routine et des évaluations de performance en utilisant des métriques prédéterminées telles que la précision, la cohérence et la reproductibilité. Tester régulièrement le système d'IA avec des scénarios cas connus afin d'identifier toute dérive ou dégradation des performances.

Mécanismes de signalement des incidents

Élaborer des protocoles pour consigner et signaler les erreurs de l'IA (par ex., hallucinations ou mauvaises interprétations), y compris une voie d'escalade claire. Créer des boucles de rétroaction avec les équipes internes et les fournisseurs d'IA afin de garantir que les enseignements tirés se traduisent par des améliorations du système.

Conclusion

L'intégration de SmartSearch+ avec le prompting RAG permet aux organisations d'établir un référentiel centralisé et validé d'informations réglementaires générées par l'IA, garantissant précision, cohérence et conformité dans les flux de travail assistés par l'IA. Ce cadre fait de l'IA un outil de conformité fiable plutôt qu'une source de risque en standardisant la terminologie réglementaire, en réduisant l'ambiguïté et en renforçant la traçabilité.

La vérification par SmartSearch+ des prompts RAG sera cruciale pour maintenir l'intégrité réglementaire et la confiance à mesure que l'adoption de l'IA se développe. La mise en œuvre de méthodologies structurées de validation de l'IA, soutenues par une supervision d'experts et les Good Linguistic Practices (GLP), favorisera un écosystème réglementaire plus fiable, transparent et tourné vers l'avenir.

Conclusion clé : Les flux de travail réglementaires assistés par l'IA doivent privilégier la validation structurée, la supervision humaine et la conformité réglementaire afin d'assurer confiance, responsabilité et exactitude dans la prise de décision pharmaceutique.