Éclairer le côté obscur des algorithmes en pharma

Maria Rodriguez n’a jamais réfléchi à deux fois au renouvellement de warfarine qu’elle a récupéré mardi dernier. Le lot avait passé le contrôle qualité du siège ; chaque attribut critique était au vert — « conforme ». Pourtant, quarante‑huit heures plus tard, elle était de retour aux urgences, son INR s’envolant bien au‑delà des limites sûres. Qu’est‑ce qui a mal tourné ? Un attribut critique de qualité —un que l’ANDA n’avait même pas signalé comme critique—avait échappé à la revue. L’approbation du dossier avait été célébrée comme objective ; les conséquences humaines avaient été qualifiées de « subjectives ».

Cette histoire n’est pas une fiction — c’est le reflet de la réalité, rendu plus net. Elle révèle un angle mort persistant, pas si différent de la mal nommée « face cachée de la Lune » — pas sombre, simplement invisible. De même, les hypothèses cachées au sein des algorithmes pharmaceutiques — code hérité et IA de pointe — fonctionnent parfois en dehors du champ de vision des régulateurs, des unités qualité, des développeurs et des patients. Il n’est plus optionnel d’éclairer ce terrain obscurci ; c’est essentiel.

Au plus simple, un algorithme est un ensemble d’instructions destinées à résoudre un problème ou accomplir une tâche. Mais lorsque ces instructions reposent sur des prémisses erronées ou des données incomplètes, elles peuvent divergent silencieusement de la réalité. Et lorsque cela survient dans les systèmes pharmaceutiques, les conséquences ne sont pas théoriques — elles sont cliniques. Les patients en paient le prix.

C’est le paradoxe grandissant dans la vague d’enthousiasme pour l’IA qui traverse aujourd’hui les agences de réglementation. Comment pouvons‑nous faire confiance à ces outils pour accélérer les autorisations, rationaliser la supervision et garantir la conformité ? Maria saura‑t‑elle jamais quelle cellule de tableur, quelle anomalie de capteur ou quel seuil d’apprentissage automatique l’a trahie ? Cet écart introuvable entre la confiance computationnelle et la sécurité réelle est l’ombre que nous devons désormais affronter.

BAD‑I : Atteintes à l’ère de l’IA

La qualité pharmaceutique repose sur la confiance — la confiance que les données sont exactes, complètes et contemporaines. Pourtant, les « Breaches in the Assurance of Data Integrity » (BAD‑I) restent fréquemment observées dans les lettres d’avertissement de la FDA. Historiquement, les BAD‑I résultaient d’erreurs d’omission, d’action et, sur le versant plus sombre, de manipulation des résultats d’essais. Aujourd’hui, elles doivent aussi inclure l’opacité algorithmique, les angles morts de connaissance et les biais hérités des systèmes existants.

Un modèle d’IA entraîné sur des données historiques de conformité peut involontairement perpétuer des pratiques dépassées ou erronées. Si un jeu de données exclut certaines anomalies — des échecs de dissolution rares, par exemple — l’algorithme, aussi sophistiqué soit‑il, ne pourra pas apprendre à les détecter. Pire encore, les outils génératifs utilisés dans la rédaction réglementaire peuvent renforcer le « pensée de groupe » en reproduisant un langage biaisé ou des raisonnements défectueux présents dans des soumissions antérieures.

Biais algorithmique : une complication silencieuse

Le biais dans l’IA n’est pas toujours malveillant — il est structurel. Les algorithmes reflètent les hypothèses de leurs créateurs et les limites de leurs entrées. Dans la pharma, cela signifie que des modèles entraînés pour optimiser l’efficacité peuvent involontairement déclasser la rigueur. Ils peuvent sous‑détecter des valeurs aberrantes qui comptent le plus ou s’appuyer excessivement sur des comportements « typiques » de lots qui dissimulent des risques en bordure.

Ces biais peuvent facilement passer inaperçus dans un monde où les inspections se réduisent et les calendriers réglementaires s’accélèrent. Lorsque les modèles ne tiennent pas compte des erreurs historiques d’omission, ils peuvent classer à tort un événement hors spécification comme acceptable. Cette sortie passe alors par des systèmes de reporting automatisés sans être remise en question, multipliant le risque. À chaque cycle, un faux sentiment d’objectivité s’approfondit.

Lacunes des cadres réglementaires

Les règles CGMP et les systèmes qualité d’entreprise — conçus initialement pour les dossiers papier et la supervision manuelle — doivent désormais évoluer pour traiter des sorties probabilistes, des réseaux neuronaux boîtes noires et des moteurs de décision adaptatifs. Alors que des cadres comme ISO/IEC 42001:2023 offrent une gouvernance structurée pour les systèmes d’IA, peu d’organismes de réglementation disposent actuellement de la capacité — ou de l’autorité — pour valider la transparence algorithmique et l’expliquabilité à grande échelle.

C’est un retard dangereux. Sans normes mises à jour, les agences peuvent être contraintes de s’en remettre à l’auto‑validation de l’industrie, créant des conditions propices à l’erreur involontaire ou à la négligence systémique. Si l’IA doit aider aux soumissions réglementaires, au contrôle des processus ou à l’assurance qualité, son raisonnement doit être vérifiable, interprétable et résistant aux biais.

Des angles morts aux pratiques SMART

Éclairer la face cachée des algorithmes pharmaceutiques exige un changement à la fois de culture et de capacités. Nous avons besoin de systèmes qui ne sont pas seulement plus rapides, mais aussi plus équitables, plus transparents et plus fidèles à la réalité. Cela commence par cinq actions stratégiques :

1. Diligence raisonnable sur les données : Appliquer la rigueur ALCOA+ aux jeux de données d’entraînement — des entrées propres produisent des modèles dignes de confiance.
2. Explicabilité dès la conception : Intégrer la transparence dans chaque système d’IA. Si une décision ne peut pas être expliquée, elle ne devrait pas être mise en œuvre.
3. Surveillance des biais : Auditer régulièrement les sorties biaisées. Partir du principe qu’aucun jeu de données n’est à l’abri de biais historiques ou structurels.
4. Gouvernance transversale : Établir des comités de supervision de l’IA inter‑disciplinaires, incluant la qualité, la réglementation et la direction IT.
5. Culture de pilotage SMART : Promouvoir une culture d’auto‑surveillance, d’analyse et de reporting continus — afin que les erreurs deviennent des opportunités d’apprentissage plutôt que des sources de responsabilité.

Un appel à une innovation responsable

L’innovation sans responsabilité est fragile. À l’ère de l’IA, nous devons élargir notre définition de l’intégrité des données pour inclure la logique et les processus d’apprentissage des systèmes que nous déployons. Comme nous validons un procédé de fabrication, nous devons valider les algorithmes qui gouvernent et supervisent ces procédés.

L’IA offre un potentiel immense pour l’industrie pharmaceutique — mais seulement si nous restons lucides sur ses limites et ses risques. Nous ne devons pas confondre la rapidité avec la sécurité ni l’automatisation avec la garantie. La face cachée des algorithmes pharmaceutiques n’est pas une destination — c’est un miroir. Elle reflète l’urgence avec laquelle nous devons agir pour concevoir, auditer et gouverner avec intégrité.

L’histoire de Maria, bien qu’imaginée, n’est pas loin de la réalité de nombreux patients. Sa question — « Qu’est‑ce qui m’a fait défaut ? » — mérite une réponse. Et cette réponse commence par nous.