Wenn KI sich irrt: Das echte Patientensicherheitsrisiko durch KI-Halluzinationen im Gesundheitswesen

Das Gesundheitswesen befindet sich mitten in einer KI-Revolution. Von klinischen Entscheidungsunterstützungstools bis hin zur KI-gestützten Wirkstoffforschung entwickelt sich künstliche Intelligenz in der Medizin rasant weiter. Es gibt jedoch ein Problem, das in Vorstandsräten von Krankenhäusern oder in regulatorischen Diskussionen nicht genügend Beachtung findet: KI-Halluzinationen. Und im Gesundheitswesen ist eine Halluzination nicht nur ein technischer Fehler. Sie kann den Unterschied zwischen einer korrekten Diagnose und einer verpassten Diagnose, zwischen einer sicheren Arzneimitteldosis und einer tödlichen Dosis ausmachen.

Dieser Leitfaden erklärt, was KI-Halluzinationen sind, warum sie auftreten und wie ernst das Risiko für die Patientensicherheit wirklich ist.

Was genau ist eine KI-Halluzination?

Der Begriff "Halluzination" bei KI bezeichnet Ausgaben, die von einem großen Sprachmodell (LLM) erzeugt werden und faktisch falsch, erfunden oder völlig von der Realität losgelöst sind, aber mit voller Sicherheit präsentiert werden, als ob sie wahr wären.

Im Gegensatz zu einem einfachen Rechenfehler sind KI-Halluzinationen trügerisch. Das Modell signalisiert keine Unsicherheit. Es sagt nicht "Ich bin mir nicht sicher." Es liefert die falsche Antwort im gleichen Ton und Format wie eine richtige. In einem allgemein verwendeten Kontext könnte das bedeuten, dass ein Chatbot ein Restaurant empfiehlt, das es nicht gibt. Im Gesundheitswesen kann das etwas viel Schlimmeres bedeuten.

Beispiele für KI-Halluzinationen im medizinischen Kontext sind:

1. Eine Wechselwirkungswarnung für zwei Medikamente zu erzeugen, die in Wirklichkeit keine bekannte Wechselwirkung haben
2. Eine klinische Studienzitation zu erfinden, die nicht existiert
3. Eine Dosierung zu empfehlen, die die sicheren Grenzwerte für eine bestimmte Patientengruppe überschreitet
4. Einen Arzneimittelnamen falsch zu identifizieren, indem er mit einem ähnlich klingenden verwechselt wird
5. Eine Patientenakte ungenau zusammenzufassen, indem Details eingefügt werden, die nie dokumentiert wurden

Warum treten KI-Halluzinationen auf?

Um das Risiko zu verstehen, müssen Sie zunächst die Ursache kennen. LLMs werden mit riesigen Mengen an Textdaten trainiert. Sie lernen, das statistisch wahrscheinlichste nächste Wort oder die wahrscheinlichste nächste Phrase basierend auf Mustern in diesen Daten vorherzusagen. Sie "verstehen" die Medizin nicht so wie eine ausgebildete Klinikerin oder ein ausgebildeter Kliniker; sie simulieren Verständnis durch Mustererkennung.

Halluzinationen treten auf, wenn:

1. Das Modell auf eine Wissenslücke stößt und diese mit plausibel klingendem Text füllt, anstatt zuzugeben, dass es die Antwort nicht weiß
2. Trainingsdaten Fehler enthalten die das Modell gelernt und reproduziert hat
3. Die Eingabeaufforderung (Prompt) mehrdeutig ist, und das Modell Annahmen trifft, um die Aufgabe zu vervollständigen
4. Begrenzungen des Kontextfensters bewirken, dass das Modell frühere Informationen in langen Dokumenten aus den Augen verliert
5. Das Modell übergeneralisert von einem Gebiet auf ein anderes — zum Beispiel allgemeine medizinische Prinzipien fälschlich auf einen seltenen pädiatrischen Fall anzuwenden

Die zugrunde liegende Architektur der meisten LLMs macht Halluzinationen zu einem inhärenten Risiko, nicht zu einem Fehler, der mit dem nächsten Software-Update verschwindet.

Wo liegt das Risiko für die Patientensicherheit?

Die Sorge ist nicht theoretisch. Je weiter KI-Tools in klinischen Einrichtungen eingesetzt werden, desto häufiger entstehen Gelegenheiten für durch Halluzinationen verursachte Schäden. Nachfolgend eine Aufschlüsselung der wichtigsten Risikobereiche.

Jeder dieser Bereiche birgt ein reales Patientenrisiko. Ein Apotheker, der sich auf einen KI-Verschreibungsassistenten verlässt, der eine sichere Dosisspanne halluziniert hat. Ein Kliniker, der eine von KI erstellte Entlassungszusammenfassung mit einem erfundenen Allergieeintrag überprüft. Ein Patient, der Chatbot‑Ratschlägen folgt, die auf einer erfundenen medizinischen Behauptung basieren. Die Szenarien sind nicht hypothetisch; Beinahe‑Fehlerfälle im Zusammenhang mit KI‑Ausgaben wurden bereits in frühen Einsatzszenarien dokumentiert.

Die Regulierungslandschaft holt auf – aber langsam

Globale Aufsichtsbehörden nehmen KI im Gesundheitswesen ernst, doch die spezifische Herausforderung der Halluzinationen ist in formellen Leitlinien noch nicht vollständig adressiert.

Die U.S. Food and Drug Administration (FDA) entwickelt ihren Regulierungsrahmen für KI‑basierte Software als Medizinprodukt (SaMD) im Digital Health Center of Excellence. Die FDA hat anerkannt, dass KI/ML‑basierte Werkzeuge eine fortlaufende Marktüberwachung benötigen, teilweise weil Modell‑Outputs in realen Umgebungen degradieren oder unvorhersehbar reagieren können.

Die Europäische Arzneimittel-Agentur (EMA) veröffentlichte einen Arbeitsplan für 2023–2024, der die Nutzung von KI in Zulassungsunterlagen und der Pharmakovigilanz einschließt. Die EMA hat die Genauigkeit und Transparenz von KI‑Ausgaben als zentrale Anliegen hervorgehoben.

Das EU-KI-Gesetz, das 2024 mit gestaffelter Durchsetzung begann, stuft KI‑Systeme, die in klinischen Entscheidungsprozessen eingesetzt werden, als Hochrisiko ein und verlangt Konformitätsbewertungen, menschliche Aufsicht und klare Transparenzpflichten. Bemerkenswert ist, dass Hochrisiko‑KI Mechanismen für menschliche Überprüfung enthalten muss, was eine direkte Gegenmaßnahme gegen das Halluzinationsproblem darstellt.

Die Lücke besteht derzeit darin, dass die meisten bestehenden Rahmenwerke nicht mit LLM‑Halluzination als spezifischem Ausfallmodus entwickelt wurden. Die meisten Vorschriften sprechen allgemein von „Genauigkeit“. Wenn LLMs von administrativen Aufgaben in die klinische Entscheidungsunterstützung vorrücken, muss diese Lücke schnell geschlossen werden.

FDAs CSA‑Leitlinie ist nicht mehr nur empfohlene Lektüre, sie ist das Regelwerk.

Kennen Sie genau, was sie verlangt, bevor Ihr KI‑Tool unter Beobachtung gerät.

→ Lesen: FDA Computer Software Assurance (CSA): Ein definitiver Leitfaden für Pharma-Führungskräfte

Hochrisiko­szenarien: Wo Halluzinationen am gefährlichsten sind

Nicht alle KI‑Einsätze im Gesundheitswesen tragen dasselbe Risiko. Die Gefahr ist am größten, wenn:

1. Die menschliche Aufsicht reduziert wird — In vielbeschäftigten klinischen Umgebungen, in denen KI‑Ausgaben ohne Überprüfung vertraut werden
2. Seltene Krankheiten oder komplexe Fälle beteiligt sind — LLMs haben oft spärliche Trainingsdaten zu seltenen Erkrankungen, was die Wahrscheinlichkeit von Erfindungen erhöht
3. Polypharmazie vorliegt — Patienten mit mehreren Medikamenten haben ein erhöhtes Risiko durch halluzinierte Arzneimittelwechselwirkungen
4. Die Ausgabe direkt in Maßnahmen einfließt — Wenn eine KI‑Zusammenfassung direkt eine Verschreibungs‑ oder chirurgische Entscheidung ohne unabhängige Prüfung steuert
5. Schutzbedürftige Bevölkerungsgruppen beteiligt sind — Pädiatrie, Geriatrie und Patienten mit Nieren- oder Leberinsuffizienz benötigen häufig nicht standardisierte Dosierungen, die Modelle möglicherweise falsch approximieren

Wie gute KI-Governance im Gesundheitswesen aussieht

Das Management des Halluzinationsrisikos bedeutet nicht, KI aufzugeben. Es geht darum, die richtigen Schutzvorkehrungen zu schaffen. So sieht verantwortungsvolle Einführung in der Praxis aus.

Checkliste zur KI-Sicherheit für Gesundheitsorganisationen

1.  Wurde das KI-Tool vor der Einführung an einem repräsentativen klinischen Datensatz validiert?
2.  Gibt es einen definierten Schritt zur menschlichen Überprüfung, bevor auf KI-generierte Ergebnisse reagiert wird?
3.  Sind Kliniker darin geschult, potenzielle KI-Fehler zu erkennen und zu melden?
4.  Bietet das KI-System Vertrauenswerte oder Unsicherheitsindikatoren?
5.  Gibt es einen klaren Meldeweg für vermutete KI-bezogene Fehler?
6.  Unterliegt das KI-Tool einer regelmäßigen Überwachung der Genauigkeit nach der Einführung?
7.  Sind Hochrisikoanwendungen (z. B. Dosierung, Diagnostik) von Niedrigrisikoanwendungen (z. B. Terminplanung, administrative Zusammenfassungen) getrennt?
8.  Entspricht das Tool den anwendbaren regulatorischen Anforderungen (FDA SaMD guidance, EU AI Act, MHRA guidance)?
9.  Hat der Anbieter die Trainingsdatenquellen und bekannten Einschränkungen offengelegt?
10.  Gibt es einen Prozess zur kontinuierlichen Revalidierung, wenn das zugrundeliegende Modell aktualisiert wird?

Compliance-Theater wird nicht verhindern, dass eine KI-Halluzination einen Patienten erreicht.

Hier ist der epistemische Vertrag, den GxP-Pharma tatsächlich braucht.

→ Lesen: Der neue epistemische Vertrag für künstliche Intelligenz in GxP-Umgebungen: Über das Theater der Compliance hinausgehen

Die Verpflichtung zur menschlichen Aufsicht

Eine der wichtigsten Lektionen aus den frühen KI-Einführungen im Gesundheitswesen ist, dass Automatisierungsbias real ist. Kliniker, die regelmäßig mit KI-Tools interagieren, können beginnen, den Ausgaben zu vertrauen, ohne sie kritisch zu bewerten, besonders wenn die Arbeitsbelastung hoch und die Zeit knapp ist.

Dies ist kein Technologieproblem. Es ist ein Human-Factors-Problem. Und es ist genau die Art von Thema, für die Patientensicherheitsrahmen konzipiert sind. Regulierungsbehörden, Krankenhausakkreditierungsstellen und Apothekenkammern verlangen zunehmend dokumentierte Protokolle zur menschlichen Aufsicht für klinische KI-Tools.

Das Ziel ist nicht, KI als unfehlbare Autorität zu betrachten, sondern als einen hochentwickelten Assistenten, der professionelle Aufsicht erfordert, ähnlich wie jedes andere Instrument in der klinischen Praxis.

Worauf die Pharmaindustrie speziell achten muss

Für Pharmaunternehmen reicht das Halluzinationsrisiko über die direkte Patientenversorgung hinaus bis in die Arzneimittelentwicklung und den regulatorischen Prozess selbst.

Regulatorische Einreichungen die KI-generierte Zusammenfassungen verwenden, bergen das Risiko, dass erfundene Zitate oder ungenaue klinische Daten bei Gesundheitsbehörden eingereicht werden. Das ist nicht nur ein Sicherheitsrisiko; es ist ein regulatorisches Compliance-Risiko mit ernsten rechtlichen Konsequenzen.

Pharmakovigilanz ist ein weiterer kritischer Bereich. KI-Tools, die zur Analyse von Nebenwirkungsmeldungen oder zur Erkennung von Sicherheits-signalen eingesetzt werden, könnten im Falle von Halluzinationen reale Signale übersehen oder falsche erzeugen. Beide Ergebnisse haben Auswirkungen auf die Patientensicherheit.

Medizinische Information, einschließlich Antworten auf Anfragen von Gesundheitsfachkräften zu Wirkstoffdosen, Wechselwirkungen oder Indikationen, muss genau und nachvollziehbar sein. KI-generierte medizinische Informationsantworten, die halluzinierte Inhalte enthalten, könnten Patienten direktem Schaden aussetzen und Unternehmen deutlich haftbar machen.

Der Weg nach vorn

KI-Halluzinationen sind ein bekanntes, dokumentiertes und technisch verstandenes Risiko. Was die Gesundheits- und Pharmaindustrie jetzt braucht, ist nicht Alarm, sondern Handeln — systematisch, strukturiert und verhältnismäßig zum Ausmaß des klinischen Risikos.

Die Technologie wird sich weiter verbessern. Retrieval-augmented generation (RAG), Modellkalibrierung und spezialisierte medizinische LLMs, die auf kuratierten klinischen Daten trainiert sind, sind aktive Entwicklungsbereiche, die darauf abzielen, die Halluzinationsraten zu senken. Aber bis die Halluzinationsraten klinisch akzeptable Werte erreichen und diese Werte nichtsdestoweniger formell von Regulierungsbehörden definiert sind, muss die menschliche Aufsicht der nicht verhandelbare Rückhalt bleiben.

KI hat echtes Potenzial, Behandlungsergebnisse zu verbessern, die Arzneimittelentwicklung zu beschleunigen und die Belastung von Klinikerinnen und Klinikern zu verringern. Dieses Potenzial sicher zu realisieren bedeutet, das Halluzinationsproblem ernst zu nehmen, jetzt robuste Governance-Rahmen aufzubauen und niemals die Geschwindigkeit der Einführung die Qualität der Evidenzbasis überholen zu lassen.

Häufig gestellte Fragen

F1: Was ist eine KI-Halluzination im Gesundheitswesen?

Eine KI-Halluzination im Gesundheitswesen ist, wenn ein künstliches Intelligenz-Tool medizinische Informationen generiert, die faktisch falsch oder erfunden sind — wie eine falsche Wirkstoffdosis, ein erfundenes Zitat oder eine ungenaue Patientenzusammenfassung, die selbstbewusst als Tatsache präsentiert wird.

F2: Können KI-Halluzinationen Patienten schaden?

Ja. Wenn Kliniker auf KI-generierte Fehler ohne Überprüfung reagieren, wie etwa eine halluzinierte Wechselwirkung oder eine falsche Dosierungsempfehlung, besteht ein unmittelbares Risiko für Patientenschäden, einschließlich unerwünschter Arzneimittelwirkungen oder verpasster Diagnosen.

F3: Sind KI-Tools im Gesundheitswesen reguliert?

Ja. Die FDA reguliert KI-basierte Software als Medizinprodukt (SaMD) in den USA, und der EU-KI-Verordnung ordnet klinische Entscheidungsunterstützungs-KI als hochriskant ein. Spezifische Regelungen zu KI-Halluzinationen entwickeln sich jedoch noch.

F4: Wie können Krankenhäuser das Risiko von KI-Halluzinationen reduzieren?

Krankenhäuser können das Risiko verringern, indem sie eine menschliche Überprüfung der KI-Ergebnisse vor klinischen Maßnahmen verlangen, KI-Tools an repräsentativen Datensätzen validieren, das Personal darin schulen, KI-Antworten kritisch zu bewerten, und strukturierte Vorfallmeldungen für KI-bezogene Fehler einführen.

F5: Welche medizinischen Bereiche weisen das höchste Risiko für KI-Halluzinationen auf?

Die risikoreichsten Bereiche umfassen KI-unterstützte Verschreibungen, klinische Dokumentation, Pharmakovigilanz, medizinische Informationsantworten sowie jede KI-Anwendung, die seltene Krankheiten, Polypharmazie oder vulnerable Patientengruppen wie Kinder oder ältere Menschen betrifft.