Auf dem Weg zu guten sprachlichen Praktiken in KI-gestützten regulatorischen Kommunikationsprozessen

Da künstliche Intelligenz (KI) weiterhin regulatorische Arbeitsabläufe verändert, wird ihre Einführung in compliance‑getriebenen Umgebungen immer unvermeidlicher. Der FDA Copilot, angetrieben von großen Sprachmodellen (LLMs) wie GPT-4 und ergänzt durch Retrieval‑Augmented Generation (RAG), könnte die Art und Weise, wie Regulierungsfachleute mit Daten interagieren, Berichte erstellen und Vor‑Einreichungsprüfungen durchführen, erheblich verändern. Während diese Entwicklung die Effizienz verbessern kann, wirft sie Bedenken hinsichtlich Zuverlässigkeit, Voreingenommenheit und Konsistenz auf. Diese Herausforderungen resultieren hauptsächlich aus der probabilistischen Natur von LLMs, die zu generativer Antwortverzerrung, Fehlinformationen und kontextfremden Informationen führen kann.

Um diese Bedenken anzugehen, sollten Fachleute, Regulierungsbehörden und die Branche einen strukturierten Ansatz implementieren, der sicherstellt, dass KI‑generierte Erkenntnisse mit verifiziertes Vorwissen, Vorschriften und den aktuellen regulatorischen Erwartungen übereinstimmen. Dies erfordert standardisierte Rahmenwerke für Sprachgebrauch und Verarbeitung, Prompt‑Engineering sowie Ergebnisvalidierung in KI‑unterstützten regulatorischen Entscheidungsprozessen.

In früheren Artikeln von Pharma Now untersuchten wir den praktischen Einsatz eines KI/ML-gesteuerter FDA-Copilot integriert mit SmartSearch+ innerhalb eines Microsoft‑Ökosystems. Fallstudien zeigten die Fähigkeit der KI, regulatorische Aufgaben zu optimieren, wie etwa Antworten auf FDA Warning Letters und Quality Overall Summary (QOS)-Bewertungen für New Drug Applications (NDAs). Dennoch bleiben im regulatorischen Kontext der erforderlichen Evidenz breit gefasst und erheblich wichtige Fragen offen.:

• Kann KI‑generierter Inhalt die Risiken von Ungenauigkeiten, Fehlinformationen, Desinformation und falschen Behauptungen verlässlicher mindern als traditionelle Methoden? 
• Wenn ja, kann er dann effizienter verarbeitet werden und gleichzeitig Überprüfbarkeit und Compliance gewährleisten?

Wir wollen einen strukturierten Validierungsmechanismus etablieren, um diese Fragen zu beantworten und vertrauenswürdige, nützliche KI‑generierte Inhalte effektiv zu erzeugen. Dieser Artikel skizziert, was wir als Good Linguistic Practices (GLP) für KI‑unterstützte regulatorische Kommunikation erwarten, um eine verlässliche Prompt‑Intention und „Text-Kontext-Integrität“ für faktische Genauigkeit und Transparenz sicherzustellen. Konkret plädieren wir für diszipliniertes RAG-Prompting, strukturierte Verifikation mittels SmartSearch+, und ein iterativer KI-Mensch-Validierungsansatz, bekannt als die "Dueling Banjo"-Methodik. Durch die Entwicklung und Integration dieser Praktiken wollen wir die Präzision, Klarheit und regulatorische Konformität KI‑generierter Kommunikation verbessern und sicherstellen, dass KI ein vertrauenswürdiges Werkzeug und keine potenzielle Haftungsquelle ist.

Hintergrund

Dieser Bericht untersucht, wie kommerzielle LLMs wie ChatGPT — die auf umfangreichen, dem Nutzer jedoch oft unzugänglichen oder undurchsichtigen Datensätzen trainiert sind — für regulatorische Zwecke optimiert werden können, um Automatisierung, Qualitätsmanagement und Compliance‑Kommunikation zu verbessern. Wir nutzen AI/ML‑Werkzeuge wie den FDA Copilot, gehostet innerhalb beispielsweise eines Microsoft OpenAI ChatGPT‑4, und eine Plattform, die so konzipiert ist, dass sie innerhalb eines breiteren Ökosystems funktioniert, wie in Abbildung 1 dargestellt. Beachten Sie, dass diese Abbildung KI‑generiert ist und einige Rechtschreibfehler sowie Ungenauigkeiten enthält, die die inhärente Voreingenommenheit von AI/ML veranschaulichen; wir haben sie dennoch aufgenommen, um den zentralen Punkt dieses Artikels zu betonen. 

Abbildung 1. KI/ML‑getriebener FDA Copilot und SmartSearch+ im Microsoft‑Ökosystem; ein KI‑generiertes Bild 

Ein früherer Bericht von Pharma Now analysierte die Leistung KI‑unterstützter extraktiver Zusammenfassungen im Abschnitt P2: Pharmaceutical Development aus der A-MAB-Fallstudie (2009). Die Bewertung konzentrierte sich darauf, ob der FDA Copilot die wichtigsten regulatorischen Erkenntnisse aus diesem Abschnitt des Common Technical Document (CTD) korrekt extrahierte. Wir stellten mehrere Vorteile sowie einige Herausforderungen fest. 

Wir verwendeten einen strukturierten Prozess, um die Zuverlässigkeit und regulatorische Konformität KI‑generierter regulatorischer Inhalte zu bewerten. Abbildung 2 veranschaulicht einen internen Unternehmensprüfungsprozess zur Erstellung von „ready to file“ Go/No‑Go‑Entscheidungen. Dieser Prozess verwendet den FDA AI/ML Copilot, gehostet innerhalb der Microsoft OpenAI ChatGPT‑4‑Plattform. Er skizziert sechs farbkodierte Schritte zur Durchführung einer internen Unternehmensprüfung im Kontext eines Go/No‑Go‑Entscheidungsprozesses hinsichtlich der Einreichungsreife einer NDA, ANDA oder BLA. 

Abbildung 2. Eine Darstellung eines internen (unternehmerischen) Prüfprozesses zu „ready to file“, Go/No‑Go‑Entscheidungsfindung, bei der AI/ML‑Werkzeuge wie der FDA Copilot innerhalb einer Microsoft OpenAI ChatGPT‑4‑Plattform einen ersten Entwurf erzeugen, gefolgt von RAG‑Prompting, das mit SmartSearch+ untermauert wird, um die „Dueling Banjo“‑Methodik umzusetzen. Die Verbesserungsschleife dient dazu, den Prüfprozess und auch die QbD‑Produktentwicklung zu verbessern.   

Rahmenwerk für KI‑unterstützte regulatorische Überprüfung

In etablierten Pharmaorganisationen bilden klar definierte Richtlinien, Verfahren und funktionsübergreifende Vereinbarungen die Grundlage der Quality by Design (QbD)‑Prinzipien in regulatorischen Anwendungen. Allerdings eine derart strukturierte und funktionierende Reife bleibt eher die Ausnahme als die Regel. Dies unterstreicht die Notwendigkeit einer transparenten, strukturierten Überprüfungsstrategie, insbesondere bei der Integration von AI/ML‑Werkzeugen wie dem FDA Copilot.

Die Der Entwurf der FDA-Leitlinie zur KI-gestützten regulatorischen Entscheidungsfindung empfiehlt einen risikobasierten Ansatz. Er betont die Definition der „Question of interest“ und des „Context of use“ für KI-Modelle, die Bewertung inhärenter Risiken und die Implementierung strukturierter Validierungspläne zur Etablierung von Glaubwürdigkeit. Wir stimmen mit dieser Leitlinie überein und plädieren für RAG-Prompting basierend auf dem Fragebasierte Überprüfung (QBR)-Ansatz und einem iterativen Verifizierungsprozess unter Verwendung der Dueling Banjo-Methodik. Fortgeschrittenes Reasoning in LLMs, wie GPT-4.0, verbessert die Ergebnisqualität deutlich. Menschliche Gutachter können RAG-Prompting anwenden und kontrafaktisches Prompting in Betracht ziehen, um den Reasoning-Prozess zu verfeinern. Tabelle 1 fasst die wichtigsten Schritte und den zugehörigen Prozess zusammen:

Schritte zur Implementierung der Dueling Banjo-Methodik

Interne Überprüfungsstrategie: Definieren Sie RAG-Prompting-Strategien und Verifizierungsprozesse.

Erster KI-erstellter Entwurf: Erstellen Sie einen ersten Entwurf ohne RAG; nachfolgende Entwürfe verwenden diszipliniertes RAG-Prompting.

SmartSearch+-Verifizierung: RAG-Prompting wird mit SmartSearch+ verfeinert, um Bewusstsein und Kontext zu den Texten regulatorischer Quellen zu bringen.

Dueling Banjo-Methodik: KI-Ausgaben durchlaufen iterative menschliche Validierung und Verbesserung.

SmartSearch+-Verifizierung von RAG-Prompts

KI-Modelle erzielen die besten Ergebnisse, wenn Prompts klar, strukturiert und kontextuell relevant sind. Mehrdeutige Prompts führen häufig zu unvollständigen, ungenauen oder irreführenden Antworten, was die regulatorische Compliance erschwert.

Um sicherzustellen, dass KI-erstellte Inhalte Compliance-Standards erfüllen, schlagen wir Fragebasierte Überprüfung (QBR) als strukturierte Prompting-Strategie vor:

• Definieren Sie zentrale regulatorische Fragen, um KI-Ausgaben mit Compliance-Erwartungen abzustimmen.
• Stellen Sie regulatorische Übereinstimmung sicher, indem Sie domänenspezifische Terminologie integrieren.
• Klären Sie Präzisionsanforderungen, um Fehlinterpretationsrisiken zu verringern.

Während LLMs wie ChatGPT-4 für die schnelle Zusammenfassung großer Datenmengen und die Texterstellung optimal sind, neigen sie zu Halluzinationen, Kontextfehlinterpretationen und zur Abhängigkeit von statischen Wissensbeständen. RAG adressiert diese Einschränkungen, indem es vor der Generierung von Antworten dynamisch verifizierte, Echtzeit-Regulatorikdaten abruft. SmartSearch+ verbessert diesen Prozess zusätzlich durch:

• Volltextsuche in FDA-Guidance und globalen regulatorischen Dokumenten, 
• Präzisionsabruf für KI-gestützte Prüfungen, und 
• Indexierung vertraulichen Firmenwissens, die compliancegetriebene KI-Genauigkeit sicherstellt.

Die Dueling Banjo-Methodik: Iterative KI-Mensch-Validierung

Die Dueling Banjo-Methodik stellt sicher, dass KI-erstellte regulatorische Inhalte einer iterativen menschlichen Validierung unterzogen werden, wodurch Genauigkeit, Zuverlässigkeit und Compliance-Sicherheit deutlich verbessert werden. Dieser Ansatz besteht aus:

• Initiale KI-Entwurfserstellung: Strukturiertes RAG-Prompting leitet die KI bei der Erstellung regulatorischer Antworten.
• Fachliche Überprüfung und Verfeinerung: Menschliche Gutachter identifizieren Fehler, Inkonsistenzen und Lücken.
• Iterative KI-Verbesserung: Die KI verfeinert Ausgaben basierend auf Expertenfeedback und regulatorischen Referenzen.
• Abschließende Compliance-Verifizierung: Der Zyklus wird fortgesetzt, bis die Ausgabe Qualitäts-, Compliance- und Rückverfolgbarkeitsstandards erfüllt.

Effektive Aufsicht hängt von qualifizierten menschlichen Gutachtern mit Expertise in AI-Literacy, strukturiertem Prompt-Engineering und Validierungstechniken ab. Schulung und kontinuierliche Weiterentwicklung sind integraler Bestandteil, um sicherzustellen, dass menschliche Aufsicht ein aktiver Schutzmechanismus und kein passiver Kontrollpunkt ist. Organisationen sollten diese Praktiken in ihren Unternehmensrichtlinien und -verfahren entwickeln, um sie zu institutionalisieren. Die wesentlichen politischen Überlegungen sind in Tabelle 2 aufgeführt.

Wesentliche politische Überlegungen 

Zieldefinition

Definieren Sie klar das Ziel des Einsatzes von AI/ML-Tools, um sicherzustellen, dass die Ausgaben verlässlich, reproduzierbar und sprachlich genau sind.

Prozesse identifizieren, die KI-Unterstützung benötigen

Bestimmen Sie, welche Prozesse und Dokumente von KI-Unterstützung profitieren würden, z. B. das Verfassen von Verwarnungsschreiben, das Erstellen von Qualitätszusammenfassungen und die Vorbereitung von behördlichen Einreichungen.

Relevante Regulierungsrahmen festlegen

Skizzieren Sie die einschlägigen Regulierungsrahmen und Leitlinien, z. B. den Entwurf der FDA-Guidance zur Verwendung von KI.

Wesentliche Begriffe definieren

Geben Sie klare Definitionen für zentrale Begriffe wie „AI-assisted outputs“, „hallucinations“, „prompting“, „chain-of-thought“ und „Dueling Banjo methodology“. Kategorisieren Sie außerdem Risiken basierend auf der Kritikalität von regulatorischen Dokumenten (z. B. Entscheidungen mit hohem Risiko gegenüber routinemäßiger Kommunikation) und legen Sie Schwellenwerte für akzeptable Fehlerraten fest. Beschreiben Sie Verfahren zum Umgang mit Halluzinationen oder Inkonsistenzen, wenn diese auftreten.

Audits und Bewertungen einführen

Führen Sie routinemäßige Audits und Leistungsbewertungen mit vorab definierten Metriken wie Genauigkeit, Konsistenz und Reproduzierbarkeit durch. Testen Sie das KI-System regelmäßig mit bekannten Fallszenarien, um Leistungsabweichungen oder -verschlechterungen zu erkennen.

Mechanismen zur Vorfallmeldung

Entwickeln Sie Protokolle zur Protokollierung und Meldung von KI-Fehlern (z. B. Halluzinationen oder Fehlinterpretationen), einschließlich eines klaren Eskalationswegs. Schaffen Sie Feedback-Schleifen mit internen Teams und KI-Anbietern, um sicherzustellen, dass aus Lessons Learned Systemverbesserungen abgeleitet werden.

Fazit

Die Integration von SmartSearch+ mit RAG-Prompting ermöglicht es Organisationen, ein zentrales, validiertes Repository für KI-generierte regulatorische Erkenntnisse aufzubauen und so Präzision, Konsistenz und Compliance in KI-gestützten Workflows sicherzustellen. Dieser Rahmen stellt sicher, dass KI ein vertrauenswürdiges Compliance-Tool statt einer Haftungsquelle ist, indem regulatorische Terminologie standardisiert, Mehrdeutigkeiten minimiert und die Nachvollziehbarkeit verbessert wird.

Die SmartSearch+-Verifikation von RAG-Prompts wird entscheidend sein, um regulatorische Integrität und Vertrauen bei zunehmender KI-Nutzung aufrechtzuerhalten. Die Implementierung strukturierter KI-Validierungsmethoden, unterstützt durch fachliche Aufsicht und Good Linguistic Practices (GLP), wird ein zuverlässigeres, transparenteres und zukunftsfähiges regulatorisches Ökosystem fördern.

Kernaussage: KI-gestützte regulatorische Workflows müssen strukturierte Validierung, menschliche Aufsicht und regulatorische Compliance priorisieren, um Vertrauen, Rechenschaftspflicht und Genauigkeit bei pharmazeutischen Entscheidungsprozessen zu gewährleisten.