EU-Anhang 22 erklärt: Was Pharmahersteller über KI in der GMP wissen müssen

Die Europäische Kommission hat ein neues Kapitel zum Regelwerk für Gute Herstellungspraxis (GMP) eingeführt: Anhang 22 zu Künstlicher Intelligenz. Dies ist eine richtungsweisende Entwicklung für die Pharmaindustrie. Erstmals gibt es einen speziellen Regulierungsrahmen, der festlegt, wie KI-Modelle gestaltet, getestet, validiert und überwacht werden müssen, wenn sie in kritischen GMP-Umgebungen eingesetzt werden.

Dieser Leitfaden führt Sie durch alles, was im Entwurf der Leitlinie zu Anhang 22 enthalten ist, veröffentlicht von der Direktion Gesundheit und Lebensmittelsicherheit der Europäischen Kommission, und verwendet dafür eine einfache Sprache, damit Ihr Team — ob in QA, IT, Data Science oder Fertigung — nachvollziehen kann, was dies in der Praxis bedeutet.

Was ist EU-Anhang 22?

Der EU-Anhang 22 ist eine neue Ergänzung zu Band 4, Kapitel 4 der EU-GMP-Richtlinien. Er bietet ergänzende Leitlinien zu Anhang 11 (der sich mit computergestützten Systemen befasst), speziell für Situationen, in denen KI-Modelle in diese Systeme eingebettet sind.

Der Anhang deckt KI-Modelle ab, die in kritischen Anwendungen eingesetzt werden und einen direkten Einfluss haben auf:

1. Patientensicherheit
2. Produktqualität
3. Datenintegrität

Denken Sie an KI-Modelle, die visuelle Fehler in Tabletten erkennen, Rohmaterialchargen klassifizieren oder Prozessausgänge vorhersagen. Dies sind die Arten von Anwendungen, die dieser Anhang regeln soll.

Wichtiger Punkt: Anhang 22 gilt für maschinelles Lernen-Modelle, deren Verhalten aus Trainingsdaten gelernt wurde. Er gilt nicht für explizit programmierte regelbasierte Systeme.

Anhang 22 baut auf Anhang 11 auf, aber es handelt sich nicht um dasselbe Regelwerk. Klären Sie genau, wo das eine endet und das andere beginnt, bevor Sie Ihre Compliance-Lücke kartieren.

→ Lesen: 21 CFR Part 11 vs. EU-GMP-Anhang 11: Was jede Fachkraft der Life-Sciences wissen muss

Was Anhang 22 NICHT abdeckt

Bevor wir tiefer einsteigen, ist es wichtig, die Grenzen dieser Leitlinie zu klären. Folgendes ist ausdrücklich außerhalb des Geltungsbereichs:

1. Dynamische Modelle — Modelle, die während des Betriebs kontinuierlich lernen und sich anpassen. Diese sollten nicht in kritischen GMP-Anwendungen eingesetzt werden.
2. Probabilistische Modelle — Modelle, die bei identischen Eingaben unterschiedliche Ausgaben liefern können. Auch diese sollten nicht in kritischen GMP-Umgebungen eingesetzt werden.
3. Generative KI und Large Language Models (LLMs) — Werkzeuge wie ChatGPT oder ähnliche Modelle. Diese sind vom Einsatz in kritischen GMP-Anwendungen ausgeschlossen.

Wenn generative KI in nicht-kritischen GMP-Anwendungen eingesetzt wird (also solchen, die Patientensicherheit, Qualität oder Datenintegrität nicht beeinflussen), muss ein qualifizierter Mensch die Ausgabe stets überprüfen und dafür die Verantwortung tragen; dies ist als das Mensch-in-der-Schleife (HITL)-Prinzip bekannt.

Die Kernprinzipien: Wer ist verantwortlich?

Anhang 22 legt gleich zu Beginn drei grundlegende Prinzipien fest.

1. Menschen und Zusammenarbeit: Die Implementierung eines KI-Modells in einem GMP-Umfeld ist kein isoliertes IT-Projekt. Sie erfordert enge Zusammenarbeit zwischen prozessbezogenen Fachexperten (SMEs), Quality Assurance (QA), Data Scientists, IT-Teams und gegebenenfalls externen Beratern. Alle Beteiligten müssen über angemessene Qualifikationen, klar definierte Verantwortlichkeiten und geeignete Systemzugriffe verfügen.

2. Dokumentation Alle Aktivitäten, von der Algorithmusauswahl bis hin zu Modelltests, müssen vollständig dokumentiert werden. Dies gilt sowohl für intern entwickelte Modelle als auch für solche von Drittanbietern. Das regulierte Unternehmen ist stets verantwortlich für die Überprüfung dieser Dokumentation.

3. Qualitätsrisikomanagement Alles in Anhang 22 sollte mithilfe eines risikobasierten Ansatzes umgesetzt werden, wobei stets der Einfluss auf Patientensicherheit, Produktqualität und Datenintegrität im Fokus stehen muss.

Geplanter Verwendungszweck: Definieren Sie ihn, bevor Sie bauen

Einer der kritischsten Schritte in Annex 22 ist die ordnungsgemäße Definition des beabsichtigten Verwendungszwecks des KI-Modells. Dies muss detailliert erfolgen und dokumentiert sein, bevor die Abnahmeprüfungen beginnen.

Die Beschreibung des beabsichtigten Verwendungszwecks sollte Folgendes enthalten:

1. Welche spezifische Aufgabe das Modell unterstützen oder automatisieren soll
2. Eine umfassende Beschreibung der Eingabedaten, die das Modell verwenden wird, einschließlich aller häufigen und seltenen Variationen (der Eingabeprobenraum)
3. Jegliche bekannten Einschränkungen oder potenziellen Fehler- oder Verzerrungsquellen in den Eingabedaten

Der Eingabeprobenraum kann auch in Untergruppen unterteilt werden. Beispielsweise könnte ein Modell zur visuellen Inspektion Untergruppen nach Fehlertyp oder -schwere, geografischem Standort oder spezifischen Produktmerkmalen haben. Diese Segmentierung ermöglicht granulare Tests und Leistungsbewertungen.

Wenn ein menschlicher Bediener in den Entscheidungsprozess eingebunden ist (HITL), muss der beabsichtigte Verwendungszweck auch die Verantwortung des Bedieners beschreiben, und die Leistung des Bedieners muss wie jeder andere manuelle Prozess überwacht werden.

Abnahmekriterien: Festlegung der Leistungsanforderung

KI-Modelle in GMP-Umgebungen müssen vor ihrer Zulassung klar definierten Leistungsstandards entsprechen. Annex 22 fordert Folgendes:

Testmetriken müssen der Aufgabe des Modells angemessen sein. Bei einem Klassifikationsmodell (z. B. Annahme/Ablehnung) können relevante Metriken Folgende sein:

Abnahmekriterien müssen vor Beginn der Tests vordefiniert und dokumentiert sein. Ein Prozess‑SME muss diese Kriterien abzeichnen. Entscheidend ist, dass die Leistung des KI-Modells mindestens so gut sein muss wie der Prozess, den es ersetzt. Das bedeutet, dass eine Basislinie erforderlich ist; die Kenntnis darüber, wie gut Ihr bestehender manueller oder automatisierter Prozess arbeitet, ist Voraussetzung.

Testdaten: Qualität rein, Qualität raus

Die Qualität der Testdaten ist grundlegend für die Validität eines KI-Modells. Annex 22 ist sehr konkret in Bezug darauf, wie gute Testdaten aussehen.

Testdaten müssen:

1. Repräsentativ — die gesamte beabsichtigte Eingabestichprobe abdeckend, einschließlich aller Teilgruppen
2. Statistisch ausreichend — groß genug, damit die gewählten Metriken mit angemessener statistischer Sicherheit berechnet werden können
3. Korrekt gekennzeichnet — verifiziert durch unabhängige Prüfung durch mehrere Expertinnen/Experten, validierte Geräte oder Labortests
4. Konsistent vorverarbeitet — jede Transformation, Normalisierung oder Standardisierung muss vorher festgelegt und mit einer dokumentierten Begründung versehen werden.

Jeglicher Ausschluss oder die Bereinigung von Testdaten muss vollständig dokumentiert und gerechtfertigt werden. Die Erzeugung synthetischer Testdaten mittels generativer KI wird nicht empfohlen; falls durchgeführt, ist eine starke Begründung erforderlich.

Unabhängigkeit der Testdaten: Die Mauern hochhalten

Dieser Abschnitt von Anhang 22 behandelt einen der häufigsten Fallstricke in der KI-Entwicklung, Datenleck, bei dem Testdaten während des Trainings oder der Validierung versehentlich offengelegt werden und zu übermäßig optimistischen Leistungsergebnissen führen.

Anforderungen umfassen:

1. Testdaten dürfen niemals während der Modellentwicklung, des Trainings oder der Validierung verwendet werden
2. Wenn Daten vor dem Training aus einem größeren Pool aufgeteilt werden, dürfen Mitarbeitende, die am Training beteiligt sind, niemals Zugang zu den Testdaten gehabt haben.
3. Testdaten müssen durch Zugangskontrollen und Audit-Trails
4. geschützt werden. Es dürfen keine Kopien der Testdaten außerhalb des kontrollierten Repositories vorhanden sein
5. Mitarbeitende, die Zugang zu Testdaten hatten, dürfen nicht am Training desselben Modells beteiligt sein, es sei denn, sie arbeiten unter dem 4-Augen-Prinzip

Es muss dokumentiert werden, welche Daten für Tests verwendet wurden, wann sie verwendet wurden und wie oft.

Testdurchführung: Nachweis, dass das Modell funktioniert

Bevor mit den Tests begonnen wird, muss ein formeller Testplan erstellt und genehmigt werden. Er sollte Folgendes enthalten:

1. Eine Zusammenfassung der vorgesehenen Verwendung
2. Vordefinierte Metriken und Akzeptanzkriterien
3. Ein Verweis auf die Testdaten
4. Ein schrittweises Testskript
5. Eine Beschreibung, wie jede Testmetrik berechnet wird

Der Test selbst muss nachweisen, dass das Modell gut generalisiert, das heißt, dass es zuverlässig mit neuen, unbekannten Daten arbeitet und nicht nur mit den Daten, auf denen es trainiert wurde. Sowohl Overfitting (zu stark an Trainingsdaten angepasst) als auch Underfitting (zu allgemein) müssen erkannt und behoben werden.

Jede Abweichung vom Testplan, Nichterfüllung der Akzeptanzkriterien oder das Weglassen von Testdaten muss untersucht und vollständig dokumentiert werden.

Alle Testdokumentationen, einschließlich Testdaten, physischer Testobjekte, wo relevant, und Audit-Trail-Aufzeichnungen, müssen gemäß den üblichen GMP-Dokumentationsanforderungen aufbewahrt werden.

Erklärbarkeit: Die Black Box öffnen

Erklärbarkeit ist eine der technisch anspruchsvolleren Anforderungen in Anhang 22. Für KI-Modelle, die in kritischen GMP-Anwendungen eingesetzt werden, muss das System erfassen und aufzeichnen können, welche Merkmale in den Eingabedaten zu einem bestimmten Ergebnis (z. B. einer Ablehnungsentscheidung) beigetragen haben.

Zulässige Techniken umfassen:

1. SHAP (Shapley Additive Erklärungen) — weist jedem Eingabemerkmal einen Beitragswert für eine bestimmte Vorhersage zu
2. LIME (Lokal interpretierbare modellunabhängige Erklärungen) — approximiert ein komplexes Modell lokal, um einzelne Vorhersagen zu erklären
3. Heatmaps — heben visuell Bereiche eines Bildes hervor, die eine Klassifikationsentscheidung beeinflusst haben

Die Überprüfung dieser Merkmale muss Teil des Freigabeprozesses für Testergebnisse sein. Ziel ist es sicherzustellen, dass das Modell Entscheidungen auf der Grundlage relevanter und angemessener Merkmale, nicht auf zufälligen Korrelationen trifft.

Konfidenzwerte: Wann man sagen sollte „Ich bin mir nicht sicher“

KI-Modelle sollten nicht gezwungen werden, eine binäre Entscheidung zu treffen, wenn die Evidenz zweideutig ist. Anhang 22 verlangt, dass Systeme den Konfidenzwert für jede Vorhersage oder Klassifikation protokollieren.

Wenn der Konfidenzwert eines Modells sehr niedrig ist, sollte das System das Ergebnis als „unentschieden" kennzeichnen, anstatt sich auf eine potenziell unzuverlässige Vorhersage festzulegen. Dies verhindert, dass falsche Klassifikationen unentdeckt durch den Prozess gelangen.

Betrieb und fortlaufende Überwachung

Sobald ein Modell genehmigt und bereitgestellt ist, muss es während seiner gesamten Betriebsdauer unter strengen Kontrollen gewartet werden.

Checkliste Anhang 22 für den Betrieb

1. Stellen Sie das Modell, das System, auf dem es läuft, und den Prozess, den es unterstützt, vor der Bereitstellung unter Änderungskontrolle.
2. Bewerten Sie jede Änderung am Modell, System oder Prozess, einschließlich Änderungen an physischen Eingabeelementen, um festzustellen, ob Nachtests erforderlich sind.
3. Implementieren Sie Konfigurationskontrolle, um nach der Bereitstellung unautorisierte Änderungen am Modell zu erkennen.
4. Überwachen Sie Modellleistungsmetriken regelmäßig, um eine Verschlechterung zu erkennen (z. B. Änderungen der Lichtverhältnisse bei visuellen Inspektionsmodellen)
5. Überwachen Sie, ob Eingabedaten weiterhin innerhalb des beabsichtigten Stichprobenraums des Modells liegen, und verfolgen Sie jede Drift mit definierten Metriken.
6. Wenn HITL mit reduziertem Testumfang verwendet wird, führen Sie Aufzeichnungen über alle menschlichen Prüfentscheidungen und wenden Sie ein konsistentes Prüfverfahren an.

Die Überwachung endet nicht mit der Bereitstellung, und das gilt auch für die behördliche Prüfung. So verändert KI bereits die Arzneimittelsicherheitsüberwachung und was das für Ihr Team bedeutet.

→ Lesen: Wie KI die Überwachung der Arzneimittelsicherheit verändert – und wie die Zukunft aussieht

Zusammenfassung: Was Anhang 22 für Ihre Organisation bedeutet

Der EU-Anhang 22 stellt einen wichtigen Fortschritt darin dar, wie Aufsichtsbehörden erwarten, dass KI in der pharmazeutischen Produktion gesteuert wird. Anstatt allgemeine Grundsätze zur Validierung von Computersystemen vage anzuwenden, haben Unternehmen nun einen spezifischen, strukturierten Rahmen, dem sie folgen können.

Die Kernbotschaft ist klar: KI in GMP ist nicht nur eine IT-Entscheidung. Es ist eine Qualitäts- und Compliance-Verantwortung, die Teams, Disziplinen und den gesamten Lebenszyklus des Modells umfasst, von der Konzeption und dem Training bis zur Umsetzung und fortlaufenden Überwachung.

Organisationen, die jetzt damit beginnen, diese Praktiken aufzubauen, klare Intended-Use-Definitionen zu formulieren, unabhängiges Testdatenmanagement zu implementieren, Erklärbarkeitsmechanismen einzuführen und robuste operative Überwachungen zu etablieren, werden deutlich besser positioniert sein, wenn Anhang 22 von der Konsultation zur Durchsetzung übergeht.

Häufig gestellte Fragen

1. Was ist EU-Anhang 22 in der Pharmaindustrie?

Der EU-Anhang 22 ist eine neue GMP-Richtlinie der Europäischen Kommission, die spezifische Anforderungen an den Einsatz von Künstlichen-Intelligenz-(KI)-Modellen in pharmazeutischen Produktionssystemen festlegt, sofern die Patientensicherheit, die Produktqualität oder die Datenintegrität betroffen sind.

2. Gilt EU-Anhang 22 für ChatGPT oder generative KI?

Nein. Anhang 22 schließt generative KI und Large Language Models ausdrücklich von kritischen GMP-Anwendungen aus. Wenn sie in nicht-kritischen Umgebungen eingesetzt werden, muss ein qualifizierter Mensch die Ausgabe stets überprüfen.

3. Welche Arten von KI-Modellen deckt Anhang 22 ab?

Anhang 22 deckt statische, deterministische Machine-Learning-Modelle ab — also solche, die sich nach dem Training nicht verändern und bei identischem Input stets die gleiche Ausgabe liefern.

4. Was bedeutet die Human-in-the-loop-(HITL)-Anforderung in Anhang 22?

HITL bedeutet, dass ein geschulter menschlicher Bediener dafür verantwortlich ist, die Ausgabe des KI-Modells zu prüfen und zu genehmigen, bevor sie eine GMP-Entscheidung beeinflusst. Wird HITL angewendet, können die Testanforderungen für das Modell reduziert werden, jedoch muss die Leistung des Bedieners überwacht werden.

5. Wann tritt EU-Anhang 22 in Kraft?

Anhang 22 befindet sich derzeit in der öffentlichen Konsultation. Das endgültige Umsetzungsdatum ist noch nicht bestätigt, aber Organisationen wird geraten, jetzt damit zu beginnen, ihre KI-Governance-Praktiken mit dem Entwurf abzustimmen.