Können Regulierungsbehörden AI-generierten wissenschaftlichen Daten vertrauen?

Seit Jahrzehnten beruhte die Beziehung zwischen einer Regulierungsbehörde und den ihr vorgelegten wissenschaftlichen Daten auf einer einfachen Annahme: Ein Mensch führte das Experiment durch, ein Mensch zeichnete das Ergebnis auf, und ein Mensch konnte zur Verantwortung gezogen werden, wenn sich dieses Ergebnis als falsch herausstellte. 

Künstliche Intelligenz hat diese Annahme stillschweigend demontiert. KI‑Modelle erzeugen, analysieren, fassen zusammen und liefern in einigen Fällen direkt die wissenschaftlichen Daten, die Pharmaunternehmen zur Unterstützung von Arzneimittelzulassungen, Studienentwürfen und Entscheidungen zur Herstellungsqualität einreichen. 

Die dadurch aufgeworfene Frage ist nicht länger theoretisch oder hypothetisch. Sie wird schnell zur zentralen regulatorischen Herausforderung dieses Jahrzehnts: Kann eine Behörde einem wissenschaftlichen Ergebnis wirklich vertrauen, das kein Mensch direkt erzeugt, verifiziert oder bezeugt hat?

Das Ausmaß dieses Wandels ist bereits erheblich:

1. Die FDA berichtet seit 2016 über mehr als 500 regulatorische Einreichungen mit KI‑Komponenten, wobei die Nutzung intern als "exponentiell" steigend beschrieben wird
2. Nahezu 950 medizinische Geräte mit KI- oder Machine‑Learning-Funktionalität waren bis August 2024 von der FDA zugelassen, gegenüber nur 520 im Januar 2023
3. Eine branchenübergreifende Umfrage aus dem Jahr 2025 ergab, dass 44 % der Organisationen negative Folgen durch den Einsatz generativer KI erlitten, mit durchschnittlichen finanziellen Verlusten von 4,4 Millionen USD pro Vorfall
4. Unabhängige Forschung 2025–2026 ergab, dass selbst fortgeschrittene Large‑Language‑Modelle bei Aufgaben zur faktischen Zitierung Halluzinationsraten von 15–20 % aufweisen, die bei Nischen‑ oder aktuellen Themen auf 35–55 % ansteigen

Diese Zahlen zeichnen eine echte und wachsende Spannung innerhalb der Wissenschaftsgemeinschaft: KI wird strukturell in die regulatorische Datenpipeline eingebettet, genau in dem Moment, in dem ihre Neigung zu selbstbewusst klingenden Fälschungen besser dokumentiert und schwerer zu ignorieren ist.

Die Antwort der FDA: Ein risikobasiertes Glaubwürdigkeitsrahmenwerk

Anstatt das Problem zu ignorieren oder zu versuchen, KI vollständig aus regulatorischen Einreichungen zu verbannen, hat die FDA bewusst daran gearbeitet, eine formelle Bewertungsstruktur zu entwickeln. Im Januar 2025 veröffentlichte die Behörde einen Entwurf der Leitlinie mit dem Titel „Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products (FDA-2024-D-4689)“ — das erste Leitliniendokument der Behörde, das sich speziell mit KI befasst, die zur Erzeugung oder Analyse von Daten verwendet wird, die zur Unterstützung einer regulatorischen Entscheidung eingereicht werden.

Das zentrale in dieser Leitlinie eingeführte Konzept ist "Modell‑Glaubwürdigkeit" — definiert als Vertrauen in die Leistungsfähigkeit eines KI‑Modells für einen spezifischen Context of Use (COU). Entscheidend ist, dass die FDA die Glaubwürdigkeit von KI nicht als binäre Ja‑oder‑Nein‑Bewertung behandelt. 

Sie wird dahingehend bewertet, wie genau die Ausgabe des Modells verwendet wird und welches Risiko diese spezifische Verwendung mit sich bringt. Die Leitlinie schlägt einen siebenstufigen risikobasierten Glaubwürdigkeitsbewertungsprozess vor:

1. Definieren Sie die Fragestellung, die das KI‑Modell beantworten soll
2. Definieren Sie den Context of Use, die spezifische Rolle und den Umfang des Modells innerhalb der regulatorischen Einreichung
3. Bewerten Sie das KI‑Modellrisiko, wobei sowohl der Einfluss des Modells auf die regulatorische Entscheidung als auch die Konsequenz eines Fehlers des Modells zu berücksichtigen sind
4. Entwickeln Sie einen Plan zur Glaubwürdigkeitsbewertung, zugeschnitten auf das identifizierte Risiko
5. Führen Sie den Plan zur Glaubwürdigkeitsbewertung aus und erzeugen Sie die Belege, die für Vertrauen in das Modell erforderlich sind
6. Dokumentieren Sie die Ergebnisse in einem transparenten, prüfbaren Format, das für die regulatorische Prüfung geeignet ist
7. Bestimmen Sie die Angemessenheit, ob die Glaubwürdigkeitsbelege die beabsichtigte Verwendung des Modells innerhalb der Einreichung ausreichend unterstützen

Dieses Rahmenwerk repräsentiert eine grundlegend andere regulatorische Philosophie als pauschale Validierungsanforderungen, die einheitlich angewendet werden. Ein Modell, das dazu verwendet wird, unerwünschte Ereignismeldungen für die menschliche Überprüfung zu priorisieren, birgt ein anderes Risiko als ein Modell, das den primären Wirksamkeitsendpunkt in einer wegweisenden Studie erzeugt, und das Rahmenwerk der FDA ist ausdrücklich so konzipiert, dass es mit steigenden Einsätzen anteilsmäßig mehr Belege verlangt.

Das Glaubwürdigkeitsrahmenwerk der FDA setzt den Standard.

So verändert KI bereits die regulatorischen Einreichungen in der Pharmabranche in der Praxis.

→ KI in der Pharmaindustrie | Regulierung im Wandel

Warum Halluzination das zentrale Vertrauensproblem ist

Die folgenreichste Bedrohung für regulatorisches Vertrauen in KI‑generierte Daten ist nicht Vorurteil oder technisches Versagen im herkömmlichen Sinne, sondern Halluzination: die Neigung generativer KI‑Modelle, erfundene Informationen zu produzieren, die mit der gleichen Sicherheit dargeboten werden wie korrekte Informationen. Dies ist kein seltener Randfall. Es ist ein strukturelles Merkmal der Art und Weise, wie Large‑Language‑Modelle Ausgaben erzeugen.

Die Belege dafür, wie ernst dieses Problem geworden ist, erstrecken sich über mehrere wissenschaftliche Bereiche:

1. Eine Analyse von GPTZero im Januar 2026 von 4.841 Papers, die bei NeurIPS 2025 akzeptiert wurden — einer der wettbewerbsfähigsten, streng peer‑reviewten KI‑Konferenzen weltweit — fand mindestens 100 bestätigte halluzinierte Zitationen in 53 Papers, trotz Begutachtung durch drei bis fünf Fachexpert:innen pro Einreichung
2. Halluzination äußert sich nicht nur in erfundenen Zitationen, sondern in erfundenen Datenzusammenfassungen, erfundenen experimentellen Ergebnissen und ganzen, in Papiermühlen‑Manier hergestellten Manuskripten
3. Insbesondere in medizinischen und juristischen Bereichen können Halluzinationsraten ohne geeignete Grounding‑Techniken 28 % übersteigen, selbst bei Retrieval‑augmented Generation‑Systemen, die zur Reduzierung des Problems entwickelt wurden
4. Eine Analyse der Pharmaindustrie ergab, dass 44 % der Organisationen, die generative KI verwenden, negative Folgen meldeten, wobei halluzinierte oder erfundene Ausgaben, die mit unbegründeter Sicherheit präsentiert wurden, als zentrales Hindernis für klinisches Vertrauen identifiziert wurden

Was Halluzination im regulatorischen Kontext besonders gefährlich macht, ist, dass sie nicht wie ein Fehler aussieht. Eine halluzinierte Zusammenfassung klinischer Daten, eine erfundene Zitierung zur Untermauerung einer Sicherheitsbehauptung oder ein ausgedachtes experimentelles Ergebnis kann eine oberflächliche Prüfung bestehen, genau weil es so erzeugt wurde, dass es plausibel, gut formatiert und intern konsistent wirkt — genau die Eigenschaften, die legitimen wissenschaftlichen Daten Vertrauen verleihen.

Halluzinationen in regulatorischen Daten hören nicht bei der Einreichung auf.

Wenn sie die klinische Praxis erreichen, werden sie zu einem Risiko für die Patientensicherheit.

→ KI-Halluzinationen in der Pharmaindustrie | Das Patientensicherheitsrisiko

Synthetische Daten: Eine andere Kategorie von Vertrauensproblemen

Eine getrennte, aber verwandte Herausforderung betrifft synthetische Daten — Datensätze, die von KI-Modellen (oft Generative Adversarial Networks oder Diffusionsmodelle) erzeugt werden, um begrenzte oder aus Datenschutzgründen eingeschränkte Realweltdaten zu ergänzen, insbesondere im Design klinischer Studien und in der medizinischen Bildgebung.

Synthetische Daten sind nicht dasselbe Problem wie Halluzination; sie werden bewusst erzeugt, nicht spontan erfunden. Dennoch werfen sie eigene, besondere Vertrauensfragen für Regulierungsbehörden auf.

Die zentralen Bedenken, mit denen Regulierungsbehörden derzeit ringen, umfassen:

1. Verteilungsverschiebung & nicht überprüfbarer Realismus — synthetische Patientenakten oder Studiendaten können statistisch echten Populationen ähneln, ohne tatsächlich die seltenen Pathologien, Randfälle oder demografischen Nuancen zu erfassen, die in echten klinischen Daten vorhanden sind

2. Verstärkung von Bias — Untersuchungen in der Brustbildgebung fanden, dass synthetische Daten Bias in Patientensubgruppen wie Alter, Gewebedichte und Ethnizität abbauen oder, wenn falsch angewandt, aktiv verstärken können

3. Herkunft & Auditierbarkeit — Regulierungsbehörden müssen genau zurückverfolgen können, wie synthetische Daten erzeugt wurden, auf welchen realen Daten sie trainiert wurden und ob diese Trainingsdaten selbst eingebettete Biases oder Qualitätsprobleme aufweisen

4. Fidelity-Scoring — aufkommende Best Practices verlangen, dass synthetische Daten dokumentierte Fidelity-Scores tragen, wobei KI-Systeme Vorhersagen, die auf geringfügiger Fidelity beruhen, explizit kennzeichnen oder automatisch ablehnen sollten, anstatt sie mit unbegründeter Sicherheit zu präsentieren

Eine 2025er Übersichtsarbeit zu synthetischen Daten in der Gesundheits-KI kam zu dem Schluss, dass verantwortungsvolle Nutzung einen grundlegenden Wandel von Quantität zu überprüfbarer Qualität erfordert — ein Prinzip, das zunehmend sowohl in FDA- als auch EMA-Leitlinien widerhallt, da beide Behörden auf gemeinsame Erwartungen für KI in der regulatorischen Wissenschaft zusteuern.

Die regulatorische Infrastruktur, die zur Beantwortung der Vertrauensfrage aufgebaut wird

Da kein einzelnes Leitdokument diese Herausforderung vollständig lösen kann, hat die FDA eine dedizierte organisatorische Infrastruktur aufgebaut, um die KI-Aufsicht fortlaufend zu managen. Dazu gehören:

1. The Digital Health Center of Excellence (DHCoE), angesiedelt im Center for Devices and Radiological Health, das KI- und Digital-Health-Politik innerhalb der Behörde koordiniert
2. The Digital Health Advisory Committee (DHAC), ein externes Expertengremium, das sein erstes Treffen im November 2024 abhielt, um Beratung zu schnelllebigen KI-Fragen zu geben
3. Zwei neue behördenübergreifende Councils, die 2025 eingerichtet wurden: ein External Policy Council, der Prinzipien für KI in regulierten Produkten festlegt, und ein **Internal Use Council, das überwacht, wie die FDA KI in ihren eigenen Prüfprozessen verwendet
4. Gemeinsame Leitprinzipien von FDA und EMA, die voraussichtlich bis Anfang 2026 internationale regulatorische Erwartungen für die Glaubwürdigkeitsbewertung von KI angleichen werden

Die öffentliche Kommentierungsfrist für den Entwurf der FDA aus Januar 2025 endete im April 2025; die Behörde signalisierte, dass die endgültige Leitlinie — die umfangreiches Stakeholder-Feedback zur Handhabung von generativer KI und großen Sprachmodellen speziell berücksichtigt — für 2026 erwartet wird.

Fazit: Bedingtes Vertrauen, kein blindes Vertrauen

Die ehrliche Antwort auf die Frage, ob Regulierungsbehörden AI-generierten wissenschaftlichen Daten vertrauen können, ist weder ein einfaches Ja noch ein einfaches Nein. Sie ist bedingt, evidenzbasiert und sorgfältig proportional zum Risiko.

Regulierungsbehörden bauen keine Rahmenwerke, um KI vollständig aus der Generierung wissenschaftlicher Daten auszuschließen — der Wert der Technologie bei der Beschleunigung von Entdeckungen und der sinnvollen Verbesserung der Datenqualität ist bereits in mehreren therapeutischen Bereichen gut belegt.

Stattdessen entwickeln sie Rahmenwerke, die von einem KI-Modell dieselbe Strenge und Verantwortlichkeit verlangen, die sie stets von menschlich erzeugter Wissenschaft gefordert haben: klar definierte Behauptungen, transparente Methodik und Evidenz in einem dem Fehlerpotenzial angemessenen Umfang.

Die Agenturen, die letztlich Erfolg damit haben werden, sind weder diejenigen, die KI-Daten bedingungslos vertrauen, noch diejenigen, die sie reflexartig aus Vorsicht ablehnen.

Es werden jene sein, die dauerhafte Infrastruktur wie Glaubwürdigkeitsrahmen, Fidelity-Scoring, Halluzinationsdetektion und proportionale Risikoabschätzung aufbauen, die nötig ist, um zuverlässig zwischen AI-generierter Wissenschaft zu unterscheiden, die wirklich Vertrauen verdient, und AI-generierter Wissenschaft, die nur so klingt.

FAQs

1) Können Regulierungsbehörden AI-generierten wissenschaftlichen Daten vertrauen?

Regulierungsbehörden können AI-generierten wissenschaftlichen Daten nur dann vertrauen, wenn ausreichende Belege vorliegen, die zeigen, dass das KI-System für seinen vorgesehenen Einsatz zuverlässig ist. Moderne regulatorische Rahmenwerke konzentrieren sich darauf, die Glaubwürdigkeit, Transparenz und Leistung von KI-Modellen zu validieren, statt ihre Ergebnisse unhinterfragt zu akzeptieren. Der Prüfungsumfang steigt typischerweise mit dem potenziellen Einfluss der AI-generierten Daten auf die Patientensicherheit oder regulatorische Entscheidungen. Dieser risikobasierte Ansatz stellt sicher, dass Vertrauen durch Belege verdient wird und nicht vorausgesetzt.

2) Was ist AI-Halluzination und warum ist sie ein Problem für Regulierungsbehörden?

AI-Halluzinationen treten auf, wenn ein künstliches Intelligenzsystem Informationen erzeugt, die genau und überzeugend erscheinen, aber tatsächlich falsch oder vollständig erfunden sind. In wissenschaftlichen und regulatorischen Kontexten können Halluzinationen erfundene Zitate, ungenaue Datenzusammenfassungen oder unbegründete Schlussfolgerungen umfassen. Da diese Ausgaben häufig selbstbewusst und in einem professionellen Format präsentiert werden, können sie bei routinemäßigen Prüfungen schwer zu erkennen sein. Dies macht Halluzinationen zu einer der größten Herausforderungen bei der Bewertung KI-generierter wissenschaftlicher Inhalte.

3) Was ist synthetische Datenerzeugung und wie wird sie in der Gesundheitsforschung eingesetzt?

Synthetische Daten sind künstlich erzeugte Informationen, die von KI-Modellen erstellt werden, um die Merkmale realer Datensätze zu reproduzieren, ohne tatsächliche Patientendaten offenzulegen. Sie werden häufig zur Unterstützung von Forschung, zum Training von Machine-Learning-Modellen und zur Ergänzung begrenzter klinischer Daten verwendet. Obwohl synthetische Daten den Datenschutz und die Verfügbarkeit von Daten verbessern können, müssen Aufsichtsbehörden sicherstellen, dass sie die realen Bedingungen akkurat widerspiegeln. Eine ordnungsgemäße Validierung ist entscheidend, um zu bestätigen, dass synthetische Datensätze keine versteckten Verzerrungen einführen oder wissenschaftliche Ergebnisse verfälschen.