Quand l'IA se trompe : le vrai risque pour la sécurité des patients des hallucinations de l'IA en santé

Le secteur de la santé est au cœur d’une révolution liée à l’IA. Des outils d’aide à la décision clinique à la découverte de médicaments assistée par l’IA, l’intelligence artificielle progresse rapidement en médecine. Mais il y a un problème qui ne reçoit pas suffisamment d’attention dans les conseils d’administration des hôpitaux ou dans les débats réglementaires : les hallucinations de l’IA. Et en santé, une hallucination n’est pas qu’un simple bogue technique. Elle peut faire la différence entre un diagnostic correct et un diagnostic manqué, entre une posologie sûre et une posologie mortelle.

Ce guide explique ce que sont les hallucinations de l’IA, pourquoi elles se produisent et quel est réellement le risque pour la sécurité des patients.

Qu’est‑ce exactement qu’une hallucination de l’IA ?

Le terme « hallucination » en IA désigne des sorties générées par un large modèle de langage (LLM) qui sont factuellement incorrectes, inventées ou complètement déconnectées de la réalité, mais présentées avec une confiance totale, comme si elles étaient vraies.

Contrairement à une simple erreur de calcul, les hallucinations de l’IA sont trompeuses. Le modèle n’indique pas son incertitude. Il ne dit pas « je ne suis pas sûr ». Il produit la mauvaise réponse avec le même ton et le même format qu’une bonne. Dans un contexte généraliste, cela peut signifier qu’un chatbot recommande un restaurant qui n’existe pas. En santé, cela peut signifier quelque chose de bien pire.

Des exemples d’hallucinations de l’IA en contexte médical incluent :

1. Générer un avertissement d’interaction médicamenteuse pour deux médicaments qui n’ont en réalité aucune interaction connue
2. Inventer une référence d’essai clinique qui n’existe pas
3. Recommander une posologie qui dépasse les limites de sécurité pour une population de patients spécifique
4. Identifier incorrectement le nom d’un médicament en le confondant avec un autre au nom similaire
5. Résumer de façon inexacte un dossier patient en y insérant des éléments qui n’ont jamais été documentés

Pourquoi les hallucinations de l’IA surviennent‑elles ?

Pour comprendre le risque, il faut d’abord comprendre la cause. Les LLM sont entraînés sur d’énormes quantités de textes. Ils apprennent à prédire le mot ou la phrase suivant(e) le plus statistiquement probable en se basant sur des motifs dans ces données. Ils ne « comprennent » pas la médecine comme le ferait un clinicien formé ; ils simulent la compréhension par un appariement de motifs.

Les hallucinations surviennent lorsque :

1. Le modèle rencontre une lacune de connaissances et la comble par un texte à l’allure plausible plutôt que d’admettre qu’il ne sait pas
2. Les données d’entraînement contiennent des erreurs que le modèle a apprises et reproduites
3. L’invite est ambiguë, et le modèle fait des hypothèses pour accomplir la tâche
4. Les limites de la fenêtre de contexte font que le modèle perd la trace d’informations antérieures dans de longs documents
5. Le modèle fait des généralisations excessives d’un domaine à un autre — par exemple, appliquer incorrectement des principes de médecine générale à une affection pédiatrique rare

L’architecture sous‑jacente de la plupart des LLM fait de l’hallucination un risque inhérent, et non un bogue réparable qui disparaîtra avec la prochaine mise à jour logicielle.

D’où vient le risque pour la sécurité des patients ?

La préoccupation n’est pas théorique. À mesure que les outils d’IA sont déployés plus largement dans les milieux cliniques, les occasions de préjudice lié aux hallucinations se multiplient. Voici une répartition des principaux domaines de risque.

Chacun de ces domaines comporte un risque réel pour le patient. Un pharmacien qui se fie à un assistant de prescription IA ayant hallucinée une fourchette posologique sûre. Un clinicien qui examine un compte rendu de sortie généré par l'IA avec une allergie inventée. Un patient suivant les conseils d'un chatbot basés sur une affirmation médicale fabriquée. Ces scénarios ne sont pas hypothétiques ; des incidents d'approche ratée liés à des sorties d'IA ont déjà été documentés lors des premières phases d'adoption.

Le cadre réglementaire rattrape son retard — mais lentement

Les autorités réglementaires mondiales prennent l'IA en santé au sérieux, mais le défi spécifique des hallucinations n'a pas encore été pleinement traité dans les orientations formelles.

Le U.S. Food and Drug Administration (FDA) a développé son cadre réglementaire pour les logiciels fondés sur l'IA en tant que dispositif médical (SaMD) au sein de son Digital Health Center of Excellence. La FDA a reconnu que les outils basés sur l'IA/ML nécessitent une surveillance post-commercialisation continue, en partie parce que les sorties des modèles peuvent se dégrader ou se comporter de manière imprévisible en conditions réelles.

L'Agence européenne des médicaments (EMA) a publié un plan de travail en 2023–2024 qui inclut l'utilisation de l'IA dans les dossiers réglementaires et la pharmacovigilance. L'EMA a signalé la précision et la transparence des sorties d'IA comme des préoccupations clés.

Le Règlement AI de l'UE, dont l'application progressive a commencé en 2024, classe les systèmes d'IA utilisés dans la prise de décision clinique comme à haut risque et exige des évaluations de conformité, une supervision humaine et des obligations de transparence claires. Notamment, les IA à haut risque doivent inclure des mécanismes de revue humaine, contre-mesure directe au problème des hallucinations.

Le problème actuel est que la plupart des cadres existants n'ont pas été conçus en ayant l'hallucination des LLM comme mode de défaillance spécifique. La plupart des régulations évoquent la « précision » de manière générale. À mesure que les LLM passent de tâches administratives à l'aide à la décision clinique, cette lacune devra être comblée rapidement.

Les directives CSA de la FDA ne sont plus une simple lecture optionnelle, elles sont le manuel de référence.

Comprenez exactement ce qu'elles exigent avant que votre outil IA ne soit soumis à un examen.

→ Lire : FDA Computer Software Assurance (CSA) : guide définitif pour les responsables pharmaceutiques

Scénarios à haut risque : où les hallucinations sont les plus dangereuses

L'utilisation de l'IA en santé n'entraîne pas tous les mêmes risques. Le danger est maximal lorsque :

1. La supervision humaine est réduite — Environnements cliniques chargés où les sorties d'IA sont acceptées sans vérification
2. Des maladies rares ou des cas complexes sont impliqués — Les LLM disposent souvent de données d'entraînement peu nombreuses pour les affections rares, augmentant le risque de fabrication
3. Une polymédication est présente — Les patients sous plusieurs médicaments sont plus exposés aux risques d'interactions médicamenteuses hallucinées
4. La sortie alimente directement l'action — Lorsqu'un résumé IA conduit directement une décision de prescription ou chirurgicale sans revue indépendante
5. Des populations vulnérables sont impliquées — La pédiatrie, la gériatrie et les patients présentant une insuffisance rénale ou hépatique nécessitent souvent des posologies non standard que les modèles peuvent estimer de manière incorrecte

À quoi ressemble une bonne gouvernance de l'IA en santé

Gérer le risque d'hallucination ne signifie pas abandonner l'IA. Il s'agit de mettre en place les garde-fous appropriés. Voici à quoi ressemble un déploiement responsable en pratique.

Liste de contrôle de sécurité de l'IA pour les organisations de santé

1.  L'outil d'IA a-t-il été validé sur un ensemble de données cliniques représentatif avant le déploiement ?
2.  Existe-t-il une étape de revue humaine définie avant que les résultats générés par l'IA ne soient pris en compte ?
3.  Les cliniciens sont-ils formés à reconnaître et signaler d'éventuelles erreurs de l'IA ?
4.  Le système d'IA fournit-il des scores de confiance ou des indicateurs d'incertitude ?
5.  Existe-t-il une voie claire de déclaration des incidents pour les erreurs suspectées liées à l'IA ?
6.  L'outil d'IA fait-il l'objet d'une surveillance régulière de sa précision après le déploiement ?
7.  Les cas d'utilisation à haut risque (par ex., posologie, diagnostic) sont-ils séparés des cas à plus faible risque (par ex., planification, synthèses administratives) ?
8.  L'outil est-il conforme aux exigences réglementaires applicables (FDA SaMD guidance, EU AI Act, MHRA guidance) ?
9.  Le fournisseur a-t-il divulgué les sources de données d'entraînement et les limitations connues ?
10.  Existe-t-il un processus de revalidation continue lorsque le modèle sous-jacent est mis à jour ?

Le théâtre de conformité n'empêchera pas une hallucination d'IA d'atteindre un patient.

Voici le contrat épistémique dont la pharma GxP a réellement besoin.

→ Lire : Le nouveau contrat épistémique pour l'intelligence artificielle dans un environnement GxP : dépasser le théâtre de la conformité

L'impératif de la supervision humaine

Une des leçons les plus importantes des premiers déploiements d'IA en santé est que le biais d'automatisation est réel. Les cliniciens qui interagissent régulièrement avec des outils d'IA peuvent commencer à faire confiance aux résultats sans les évaluer de manière critique, surtout lorsque la charge de travail est élevée et que le temps est limité.

Ce n'est pas un problème technologique. C'est un problème de facteurs humains. Et c'est précisément le type de question que les cadres de sécurité des patients sont conçus pour traiter. Les organismes de réglementation, les instances d'accréditation hospitalière et les conseils de pharmacie exigent de plus en plus des protocoles documentés de supervision humaine pour les outils cliniques d'IA.

L'objectif n'est pas de traiter l'IA comme une autorité infaillible, mais comme une assistante sophistiquée nécessitant une supervision professionnelle, à l'instar de tout autre outil en pratique clinique.

Ce que l'industrie pharmaceutique doit surveiller spécifiquement

Pour les entreprises pharmaceutiques, le risque d'hallucination dépasse les soins directs au patient et s'étend au processus de développement des médicaments et aux démarches réglementaires elles-mêmes.

Soumissions réglementaires qui utilisent des résumés générés par l'IA comportent le risque de citations fabriquées ou de données cliniques inexactes soumises aux autorités sanitaires. Ce n'est pas seulement un risque pour la sécurité ; c'est un risque de conformité réglementaire avec de graves conséquences juridiques.

Pharmacovigilance est un autre domaine critique. Les outils d'IA utilisés pour analyser les rapports d'effets indésirables ou détecter des signaux de sécurité pourraient, s'ils hallucinent, soit manquer des signaux réels soit en générer de faux. Les deux résultats ont des implications pour la sécurité des patients.

Information médicale, y compris les réponses aux questions des professionnels de santé sur la posologie des médicaments, les interactions ou les indications, doit être exacte et traçable. Les réponses d'information médicale générées par l'IA contenant du contenu halluciné pourraient exposer les patients à des dommages directs et les entreprises à une responsabilité importante.

La voie à suivre

Les hallucinations de l'IA sont un risque connu, documenté et techniquement compris. Ce dont les secteurs de la santé et pharmaceutique ont maintenant besoin n'est pas d'alarme mais d'action, systématique, structurée et proportionnée au niveau de risque clinique impliqué.

La technologie continuera de s'améliorer. La génération augmentée par récupération (RAG), la calibration des modèles et les LLM biomédicaux spécialisés entraînés sur des données cliniques sélectionnées sont autant de domaines actifs de développement visant à réduire les taux d'hallucination. Mais tant que les taux d'hallucination n'atteignent pas des niveaux cliniquement acceptables, et tant que ces niveaux ne sont pas formellement définis par les régulateurs, la supervision humaine doit rester le filet de sécurité non négociable.

L'IA a un potentiel réel pour améliorer les résultats pour les patients, accélérer le développement de médicaments et réduire l'épuisement des cliniciens. Réaliser ce potentiel en toute sécurité signifie prendre au sérieux le problème des hallucinations, construire des cadres de gouvernance robustes dès maintenant et ne jamais laisser la vitesse d'adoption dépasser la qualité des preuves.

FAQ

Q1 : Qu'est-ce qu'une hallucination d'IA en santé ?

Une hallucination d'IA en santé survient lorsqu'un outil d'intelligence artificielle génère des informations médicales factuellement incorrectes ou fabriquées — comme une posologie erronée, une fausse citation ou un résumé patient inexact — tout en les présentant avec assurance comme des faits.

Q2 : Les hallucinations d'IA peuvent-elles nuire aux patients ?

Oui. Si les cliniciens agissent sur des erreurs générées par l'IA sans vérification, comme une interaction médicamenteuse halluciné ou une recommandation de posologie incorrecte, il existe un risque direct de préjudice pour le patient, y compris des réactions indésirables médicamenteuses ou des diagnostics manqués.

Q3 : Les outils d'IA en santé sont-ils réglementés ?

Oui. La FDA réglemente les logiciels basés sur l’IA en tant que Software as a Medical Device (SaMD) aux États-Unis, et le règlement européen sur l’IA (EU AI Act) classe l’IA d’aide à la décision clinique comme à haut risque. Toutefois, les réglementations spécifiques concernant les hallucinations de l’IA évoluent encore.

Q4 : Comment les hôpitaux peuvent-ils réduire les risques d’hallucination de l’IA ?

Les hôpitaux peuvent réduire le risque en exigeant une révision humaine des résultats de l’IA avant toute action clinique, en validant les outils d’IA sur des jeux de données représentatifs, en formant le personnel à évaluer de manière critique les réponses de l’IA et en mettant en place un signalement structuré des incidents liés à l’IA.

Q5 : Quels domaines médicaux présentent le plus grand risque d’hallucination de l’IA ?

Les domaines à risque le plus élevé incluent la prescription assistée par l’IA, la documentation clinique, la pharmacovigilance, les réponses d’information médicale et toute utilisation de l’IA impliquant des maladies rares, la polymédication ou des populations vulnérables comme les enfants ou les personnes âgées.