Annexe 22 de l’UE expliquée : ce que les fabricants pharmaceutiques doivent savoir sur l’IA en BPF

La Commission européenne a introduit un nouveau chapitre dans le recueil des Bonnes Pratiques de Fabrication (GMP), l’Annexe 22 sur l’Intelligence Artificielle. Il s’agit d’un développement historique pour l’industrie pharmaceutique. Pour la première fois, un cadre réglementaire dédié précise comment les modèles d’IA doivent être conçus, testés, validés et surveillés lorsqu’ils sont utilisés dans des environnements GMP critiques.

Ce guide vous accompagne à travers tout ce qui est couvert par l’ébauche de la directive Annex 22, publiée par la Direction Santé et Sécurité alimentaire de la Commission européenne, en langage clair afin que votre équipe — qu’elle appartienne à l’assurance qualité (QA), à l’informatique, à la science des données ou à la production — puisse comprendre ce que cela signifie en pratique.

Qu’est-ce que l’Annexe 22 de l’UE ?

L’Annexe 22 de l’UE est une nouvelle addition au Volume 4, Chapitre 4 des lignes directrices EU GMP. Elle fournit des conseils supplémentaires à l’Annexe 11 (qui traite des systèmes informatisés), spécifiquement pour les situations où des modèles d’IA sont intégrés à ces systèmes.

L’annexe couvre les modèles d’IA utilisés dans applications critiques, celles qui ont un impact direct sur :

1. Sécurité des patients
2. Qualité du produit
3. Intégrité des données

Pensez aux modèles d’IA utilisés pour détecter des défauts visuels sur des comprimés, classer des lots de matières premières ou prédire les résultats de procédés. Ce sont le type d’applications que cette annexe vise à régir.

Point clé : L’Annexe 22 s’applique aux modèles d’apprentissage automatique qui ont appris leur comportement à partir de données d’entraînement. Elle ne s’applique pas aux systèmes explicitement programmés sur la base de règles.

L’Annexe 22 s’appuie sur l’Annexe 11, mais ce ne sont pas les mêmes règles. Sachez exactement où l’une se termine et où l’autre commence avant de cartographier votre écart de conformité.

→ Lire : 21 CFR Part 11 vs EU GMP Annexe 11 : Ce que doit savoir tout professionnel des sciences de la vie

Ce que l’Annexe 22 NE couvre PAS

Avant d’aller plus loin, il est important de préciser les limites de cette directive. Les éléments suivants sont explicitement hors champ:

1. Modèles dynamiques — modèles qui apprennent et s’adaptent en continu pendant leur fonctionnement. Ceux-ci ne doivent pas être utilisés dans des applications GMP critiques.
2. Modèles probabilistes — modèles qui peuvent fournir des sorties différentes pour des entrées identiques. Ceux-ci non plus ne doivent pas être utilisés dans des environnements GMP critiques.
3. IA générative et grands modèles de langage (LLMs) — des outils comme ChatGPT ou des modèles similaires. Ceux-ci sont exclus de l’utilisation dans les GMP critiques.

Si l’IA générative est utilisée dans des applications GMP non critiques (celles qui n’affectent pas la sécurité des patients, la qualité ou l’intégrité des données), un humain qualifié doit toujours examiner et être responsable du résultat ; cela est connu sous le principe de l’humain dans la boucle (HITL).

Les principes fondamentaux : qui est responsable ?

L’Annexe 22 énonce trois principes fondamentaux dès le départ.

1. Personnes et collaboration : La mise en œuvre d’un modèle d’IA dans un contexte GMP n’est pas un projet informatique isolé. Elle nécessite une coopération étroite entre les experts métier du procédé (SME), l’Assurance Qualité (QA), les data scientists, les équipes informatiques et, si besoin, des consultants externes. Toutes les personnes impliquées doivent avoir des qualifications adéquates, des responsabilités clairement définies et un accès système approprié.

2. Documentation Toutes les activités, de la sélection de l’algorithme aux tests du modèle, doivent être entièrement documentées. Cela s’applique que le modèle soit développé en interne ou fourni par un fournisseur tiers. L’entreprise réglementée est toujours responsable de la revue de cette documentation.

3. Gestion des risques qualité Tout ce qui figure dans l’Annexe 22 doit être mis en œuvre selon une approche fondée sur les risques, en gardant toujours à l’esprit l’impact sur la sécurité des patients, la qualité du produit et l’intégrité des données.

Usage prévu : définissez-le avant de le construire

L'une des étapes les plus critiques de l'annexe 22 est de définir correctement l'utilisation prévue du modèle d'IA. Cela doit être fait en détail et documenté avant le début des tests d'acceptation.

La description de l'utilisation prévue doit inclure :

1. La tâche spécifique que le modèle est conçu pour aider ou automatiser
2. Une description approfondie des données d'entrée que le modèle utilisera, incluant toutes les variations courantes et rares (l'espace d'échantillonnage d'entrée)
3. Toute limitation connue ou source potentielle d'erreur ou de biais dans les données d'entrée

L'espace d'échantillonnage d'entrée peut également être divisé en sous-groupes. Par exemple, un modèle d'inspection visuelle pourrait comporter des sous-groupes basés sur le type ou la gravité du défaut, le site géographique ou des caractéristiques spécifiques du produit. Cette segmentation permet des tests et une évaluation des performances plus granulaires.

Lorsqu'un opérateur humain est impliqué dans le processus de prise de décision (HITL), l'utilisation prévue doit aussi décrire quelles sont les responsabilités de l'opérateur, et la performance de l'opérateur doit être surveillée comme tout autre processus manuel.

Critères d'acceptation : définir le seuil de performance

Les modèles d'IA en environnement GMP doivent respecter des normes de performance clairement définies avant d'être approuvés pour utilisation. L'annexe 22 exige les éléments suivants :

Les métriques de test doivent être appropriées à la tâche du modèle. Pour un modèle de classification (p. ex., décisions accepter/rejeter), les métriques pertinentes peuvent inclure :

Les critères d'acceptation doivent être prédéfinis et documentés avant le début des tests. Un SME du processus doit approuver ces critères. De manière critique, la performance du modèle d'IA doit être au moins aussi bonne que le processus qu'il remplace. Cela signifie que vous avez besoin d'une référence ; connaître les performances de votre processus manuel ou automatisé existant est une condition préalable.

Données de test : qualité entrant, qualité sortant

La qualité des données de test est fondamentale pour la validité de tout modèle d'IA. L'annexe 22 est très précise sur ce à quoi doivent ressembler de bonnes données de test.

Les données de test doivent être :

1. Représentatif — couvrant l’ensemble de l’espace d’entrée prévu, y compris tous les sous-groupes
2. Statistiquement suffisant — suffisamment grand pour que les métriques choisies puissent être calculées avec une confiance statistique adéquate
3. Correctement étiqueté — vérifié par un examen indépendant par plusieurs experts, des équipements validés ou des tests de laboratoire
4. Pré-traité de manière cohérente — toute transformation, normalisation ou standardisation doit être pré-spécifiée avec une justification documentée.

Toute exclusion ou nettoyage des données de test doit être entièrement documenté et justifié. La génération de données de test synthétiques à l’aide d’une IA générative n’est pas recommandée et, si elle est réalisée, exige une justification solide.

Indépendance des données de test : maintenir les murs

Cette section de l’Annexe 22 traite de l’un des pièges les plus courants dans le développement de l’IA, fuite de données, où les données de test sont accidentellement exposées pendant l’entraînement ou la validation, conduisant à des résultats de performance trop optimistes.

Les exigences incluent :

1. Les données de test ne doivent jamais être utilisées pendant le développement, l’entraînement ou la validation du modèle
2. Si les données sont séparées d’un pool plus large avant l’entraînement, les employés impliqués dans l’entraînement ne doivent jamais avoir eu accès aux données de test.
3. Les données de test doivent être protégées par des contrôles d’accès et des pistes d’audit
4. Aucune copie des données de test ne doit exister en dehors du dépôt contrôlé
5. Le personnel ayant eu accès aux données de test ne peut pas participer à l’entraînement du même modèle, sauf s’il travaille sous le principe des 4 yeux

Un registre doit être tenu indiquant quelles données ont été utilisées pour les tests, quand elles ont été utilisées et combien de fois.

Exécution des tests : démontrer que le modèle fonctionne

Avant le début des tests, un plan de test formel doit être préparé et approuvé. Il doit contenir :

1. Un résumé de l’usage prévu
2. Métriques pré-définies et critères d’acceptation
3. Une référence aux données de test
4. Un script de test étape par étape
5. Une description de la méthode de calcul de chaque métrique de test

Le test lui-même doit démontrer que le modèle se généralise bien, c’est-à-dire qu’il fonctionne de façon fiable avec des données nouvelles et inédites, pas seulement avec les données sur lesquelles il a été entraîné. Tant le surapprentissage (trop adapté aux données d’entraînement) que le sous-apprentissage (trop général) doivent être détectés et traités.

Toute déviation du plan de test, tout échec à satisfaire les critères d’acceptation ou toute omission de données de test doit être investigué et entièrement documenté.

Toute la documentation de test, y compris les données de test, les objets de test physiques lorsque pertinent, et les enregistrements de piste d’audit, doit être conservée conformément aux exigences standard de documentation GMP.

Explicabilité : Ouvrir la boîte noire

L’explicabilité est l’une des exigences techniquement les plus exigeantes de l’Annexe 22. Pour les modèles d’IA utilisés dans des applications GMP critiques, le système doit être capable de capturer et d’enregistrer quelles caractéristiques des données d’entrée ont contribué à une sortie particulière (par exemple une décision de rejet).

Techniques acceptables incluent :

1. SHAP (Shapley Additive Explanations) — attribue à chaque caractéristique d'entrée un score de contribution pour une prédiction particulière
2. LIME (Local Interpretable Model-Agnostic Explanations) — approxime localement un modèle complexe pour expliquer des prédictions individuelles
3. Cartes thermiques — mettent visuellement en évidence les zones d'une image qui ont influencé une décision de classification

L'examen de ces caractéristiques doit faire partie du processus d'approbation des résultats des tests. L'objectif est de s'assurer que le modèle prend des décisions en se basant sur des caractéristiques pertinentes et appropriées, et non sur des corrélations spurieuses.

Scores de confiance : quand dire « Je ne suis pas sûr »

Les modèles d'IA ne doivent pas être forcés à prendre une décision binaire lorsque les preuves sont ambiguës. L'annexe 22 exige que les systèmes consignent le score de confiance pour chaque prédiction ou classification.

Lorsque le score de confiance d'un modèle est très faible, le système doit marquer le résultat comme « indécis » plutôt que de s'engager sur une prédiction potentiellement peu fiable. Cela empêche des classifications incorrectes de passer inaperçues.

Exploitation et surveillance continue

Une fois qu'un modèle est approuvé et déployé, il doit être maintenu sous contrôles stricts pendant toute sa durée d'exploitation.

Liste de contrôle opérationnelle de l'annexe 22

1. Soumettez le modèle, le système sur lequel il s'exécute et le processus qu'il prend en charge à un contrôle des changements avant le déploiement
2. Évaluez toute modification du modèle, du système ou du processus, y compris les changements des objets physiques d'entrée, pour déterminer si des tests supplémentaires sont nécessaires.
3. Mettez en œuvre un contrôle de configuration afin de détecter toute modification non autorisée du modèle après le déploiement.
4. Surveillez régulièrement les métriques de performance du modèle régulièrement pour détecter une détérioration (p. ex., changements des conditions d'éclairage pour les modèles d'inspection visuelle)
5. Surveillez si les données d'entrée restent dans l'espace d'échantillonnage prévu du modèle, et suivez toute dérive en utilisant des métriques définies.
6. Lorsque HITL est utilisé avec des tests réduits, conservez les enregistrements de toutes les décisions de revue humaine et appliquez une procédure d'examen cohérente.

La surveillance ne s'arrête pas au déploiement, et la surveillance réglementaire non plus. Voici comment l'IA redéfinit déjà la surveillance de la sécurité des médicaments et ce que cela signifie pour votre équipe.

→ Lire : Comment l'IA change la surveillance de la sécurité des médicaments — et à quoi ressemble l'avenir

Résumé : Ce que l’Annexe 22 signifie pour votre organisation

L’Annexe 22 de l’UE représente une avancée importante dans la manière dont les régulateurs attendent que l’IA soit gouvernée dans la fabrication pharmaceutique. Plutôt que d’appliquer de manière lâche des principes généraux de validation des systèmes informatiques, les entreprises disposent désormais d’un cadre spécifique et structuré à suivre.

Le message clé est clair: L’IA en BPF n’est pas qu’une décision informatique. C’est une responsabilité en matière de qualité et de conformité qui couvre les équipes, les disciplines et l’ensemble du cycle de vie du modèle, de la conception et de l’entraînement au déploiement et à la surveillance continue.

Les organisations qui commencent dès maintenant à mettre en place ces pratiques, à définir clairement l’usage prévu, à gérer des jeux de données de test indépendants, à instaurer des mécanismes d’explicabilité et à établir une surveillance opérationnelle robuste seront beaucoup mieux positionnées lorsque l’Annexe 22 passera de la consultation à l’application.

Questions fréquemment posées

1. Qu’est-ce que l’Annexe 22 de l’UE en pharmacie ?

L’Annexe 22 de l’UE est une nouvelle ligne directrice BPF de la Commission européenne qui énonce des exigences spécifiques pour l’utilisation de modèles d’intelligence artificielle (IA) dans les systèmes de fabrication pharmaceutique lorsque la sécurité des patients, la qualité du produit ou l’intégrité des données sont en jeu.

2. L’Annexe 22 de l’UE s’applique-t-elle à ChatGPT ou à l’IA générative ?

Non. L’Annexe 22 exclut explicitement l’IA générative et les grands modèles de langage des applications BPF critiques. S’ils sont utilisés dans des contextes non critiques, une personne qualifiée doit toujours réviser la sortie.

3. Quels types de modèles d’IA couvre l’Annexe 22 ?

L’Annexe 22 couvre les modèles d’apprentissage automatique statiques et déterministes — ceux qui ne changent pas après l’entraînement et fournissent à chaque fois la même sortie pour une même entrée.

4. Quelle est l’exigence d’humain-dans-la-boucle (HITL) dans l’Annexe 22 ?

HITL signifie qu’un opérateur humain formé est responsable de la révision et de l’approbation de la sortie du modèle d’IA avant qu’elle n’influence une décision BPF. Lorsque HITL est appliqué, les exigences de test du modèle peuvent être réduites, mais la performance de l’opérateur doit être surveillée.

5. Quand l’Annexe 22 de l’UE entrera-t-elle en vigueur ?

L’Annexe 22 est actuellement en consultation publique. La date d’entrée en vigueur finale n’a pas encore été confirmée, mais il est conseillé aux organisations de commencer à aligner dès maintenant leurs pratiques de gouvernance de l’IA sur le projet de ligne directrice.