Avanzando Hacia Buenas Prácticas Lingüísticas en Comunicaciones Regulatorias Asistidas por IA

A medida que la inteligencia artificial (IA) sigue transformando los flujos de trabajo regulatorios, su adopción en entornos orientados al cumplimiento se vuelve inevitable. El FDA Copilot, impulsado por modelos de lenguaje a gran escala (LLMs) como GPT-4 y mejorado mediante Retrieval-Augmented Generation (RAG), puede cambiar significativamente la forma en que los profesionales regulatorios interactúan con los datos, redactan informes y realizan revisiones previas a la presentación. Si bien esta evolución puede mejorar la eficiencia, plantea preocupaciones sobre la fiabilidad, el sesgo y la coherencia. Estos desafíos provienen principalmente de la naturaleza probabilística de los LLMs, que puede dar lugar a sesgos en las respuestas generadas, desinformación e información fuera de contexto.

Para abordar estas preocupaciones, los profesionales, las agencias regulatorias y la industria deberían implementar un enfoque estructurado que garantice que las ideas generadas por IA se alineen con conocimiento previo verificado, las normativas y las expectativas regulatorias vigentes. Esto requiere marcos estandarizados para el uso y el procesamiento del lenguaje, la ingeniería de prompts y la validación de salidas en la toma de decisiones regulatorias asistida por IA.

En artículos anteriores de Pharma Now, examinamos el uso práctico de un Copiloto de la FDA impulsado por AI/ML integrado con SmartSearch+ dentro de un ecosistema Microsoft. Estudios de caso mostraron la capacidad de la IA para optimizar tareas regulatorias, como respuestas a Cartas de Advertencia de la FDA y evaluaciones del Resumen General de Calidad (QOS) para solicitudes de nuevos medicamentos (NDA). No obstante, siguen existiendo preguntas cruciales, de alcance amplio y significativo, en el contexto regulatorio sobre la evidencia requerida.:

• ¿Puede el contenido generado por IA mitigar de forma fiable los riesgos de inexactitudes, desinformación, información errónea y reclamaciones falsas más eficazmente que los métodos tradicionales? 
• En caso afirmativo, ¿puede procesarse de forma más eficiente garantizando verificabilidad y cumplimiento?

Buscamos establecer un mecanismo de validación estructurado para abordar estas preguntas y producir de manera efectiva contenidos generados por IA que sean confiables y útiles. Este artículo describe lo que esperamos que evolucione como Buenas Prácticas Lingüísticas (GLP) para la comunicación regulatoria asistida por IA, asegurando una intención de prompt fiable y la “Integridad del Texto-Contexto” para la precisión fáctica y la transparencia. Específicamente, abogamos por prompts RAG disciplinados, verificación estructurada usando SmartSearch+, y un enfoque iterativo de validación humano-AI conocido como la metodología "Dueling Banjo". Al desarrollar e integrar estas prácticas, aspiramos a mejorar la precisión, la claridad y el cumplimiento regulatorio de las comunicaciones generadas por IA, asegurando que la IA sea una herramienta confiable y no una posible responsabilidad.

Antecedentes

Este informe examina cómo los LLMs comerciales como ChatGPT—entrenados con conjuntos de datos vastos pero a menudo inaccesibles o poco transparentes [para el usuario]—pueden optimizarse para uso regulatorio, mejorando la automatización, la gestión de la calidad y la comunicación de cumplimiento. Utilizamos herramientas de IA/ML como el FDA Copilot, alojado, por ejemplo, dentro de un Microsoft OpenAI ChatGPT-4, y una plataforma diseñada para funcionar dentro de un ecosistema más amplio, como se ilustra en la Figura 1. Tenga en cuenta que esta figura es generada por IA y contiene algunas faltas ortográficas e inexactitudes que ilustran el sesgo inherente de la IA/ML; aun así la incluimos para enfatizar el punto central de este artículo. 

Figura 1. FDA Copilot impulsado por IA/ML y SmartSearch+ en el ecosistema Microsoft; una imagen generada por IA 

Un informe anterior de Pharma Now analizó el rendimiento de la resumización extractiva asistida por IA en la Sección P2: Pharmaceutical Development del Estudio de caso A-MAB (2009). La evaluación se centró en si el FDA Copilot extraía con precisión las ideas regulatorias clave de esta sección del Common Technical Document (CTD). Observamos varias ventajas junto con algunos desafíos. 

Empleamos un proceso estructurado para evaluar la fiabilidad y el cumplimiento normativo del contenido regulatorio generado por IA. La Figura 2 ilustra un proceso interno de revisión corporativa para tomar decisiones "ready to file" Go/No-Go. Este proceso emplea el FDA AI/ML Copilot, alojado dentro de la plataforma Microsoft OpenAI ChatGPT-4. Describe seis pasos codificados por color para llevar a cabo una revisión corporativa interna en el contexto de un proceso de toma de decisiones Go/No-Go respecto a la preparación de una NDA, ANDA o BLA para su presentación. 

Figura 2. Una ilustración de un proceso de revisión interna (corporativa) sobre “ready to file”, toma de decisiones Go/No-Go, que utiliza herramientas de IA/ML mientras el FDA Copilot alojado en una plataforma Microsoft OpenAI ChatGPT-4 genera un borrador inicial de respuesta, seguido de RAG-Prompting fundamentado con SmartSearch+ para implementar la metodología “Dueling Banjo”. El ciclo de retroalimentación de mejora sirve para perfeccionar el proceso de revisión y también el desarrollo del producto QbD.   

Marco para la revisión regulatoria asistida por IA

En organizaciones farmacéuticas maduras, políticas, procedimientos y acuerdos interfuncionales bien definidos forman la base de los principios de Quality by Design (QbD) en las aplicaciones regulatorias. Sin embargo, tal madurez estructurada y funcional sigue siendo la excepción más que la norma. Esto subraya la necesidad de una estrategia de revisión transparente y estructurada estrategia de revisión, especialmente al incorporar herramientas de IA/ML como FDA Copilot.

El borrador de orientación de la FDA sobre la toma de decisiones regulatorias asistida por IA recomienda un enfoque basado en el riesgo. Hace hincapié en definir la “pregunta de interés” y el “contexto de uso” para los modelos de IA, evaluar los riesgos inherentes e implementar planes de validación estructurados para establecer credibilidad. Nos alineamos con esta orientación al abogar por el RAG-prompting basado en el enfoque de Revisión Basada en Preguntas (QBR) y un proceso iterativo de verificación utilizando la metodología Dueling Banjo. El razonamiento avanzado en LLMs, como GPT-4.0, mejora significativamente la calidad del resultado. Los revisores humanos pueden emplear RAG-prompting y considerar el prompting contrafactual para refinar el proceso de razonamiento. La Tabla 1 resume los pasos clave y el proceso asociado:

Pasos para Implementar la Metodología Dueling Banjo

Estrategia de Revisión Interna: Definir estrategias de RAG-prompting y procesos de verificación.

Borrador Inicial Generado por IA: Generar un borrador inicial sin RAG; los borradores subsecuentes usan RAG de manera disciplinada.

Verificación SmartSearch+: El RAG-prompting se refina utilizando SmartSearch+ para aportar conocimiento y contexto al texto de las fuentes regulatorias.

Metodología Dueling Banjo: Las salidas de la IA se someten a validación y mejora humana iterativa.

Verificación SmartSearch+ de RAG-Prompts

Los modelos de IA producen los mejores resultados cuando los prompts son claros, estructurados y contextualmente relevantes. Los prompts ambiguos a menudo conducen a respuestas incompletas, inexactas o engañosas, lo que dificulta el cumplimiento regulatorio.

Para garantizar que el contenido generado por IA cumpla con los estándares de cumplimiento, proponemos la Revisión Basada en Preguntas (QBR) como una estrategia de prompting estructurada:

• Definir preguntas regulatorias clave para alinear las salidas de la IA con las expectativas de cumplimiento.
• Garantizar la alineación regulatoria integrando terminología específica del dominio.
• Aclarar los requisitos de precisión para reducir los riesgos de mala interpretación.

Aunque los LLMs como ChatGPT-4 son óptimos para la rápida resumición de grandes volúmenes de datos y la generación de texto, son propensos a alucinaciones, interpretaciones erróneas del contexto y a depender de bases de conocimiento estáticas. RAG aborda estas limitaciones recuperando dinámicamente datos regulatorios verificados y en tiempo real antes de generar respuestas. SmartSearch+ mejora aún más este proceso al proporcionar:

• Búsqueda de texto completo a través de la orientación de la FDA y documentos regulatorios globales, 
• Recuperación de precisión para la revisión asistida por IA, y 
• Indexación de conocimiento corporativo confidencial, garantizando la precisión de la IA orientada al cumplimiento.

La Metodología Dueling Banjo: Validación Iterativa IA-Humano

La Metodología Dueling Banjo asegura que el contenido regulatorio generado por IA pase por una validación humana iterativa, mejorando significativamente la precisión, la fiabilidad y la garantía de cumplimiento. Este enfoque consiste en:

• Generación de Borrador Inicial por IA: El RAG-prompting estructurado guía a la IA en la producción de respuestas regulatorias.
• Revisión y Refinamiento por Expertos: Los revisores humanos identifican errores, inconsistencias y lagunas.
• Mejora Iterativa por IA: La IA refina las salidas en función de la retroalimentación de expertos y referencias regulatorias.
• Verificación Final de Cumplimiento: El ciclo continúa hasta que la salida cumple con los estándares de calidad, cumplimiento y trazabilidad.

La supervisión efectiva depende de revisores humanos cualificados con experiencia en alfabetización en IA, ingeniería de prompts estructurados y técnicas de validación. La formación y el desarrollo continuo son fundamentales para generar y garantizar que la supervisión humana sea una salvaguardia activa en lugar de un control pasivo. Las organizaciones deben desarrollar estas prácticas dentro de sus políticas y procedimientos corporativos para institucionalizarlas. Las consideraciones políticas esenciales se describen en la Tabla 2.

Consideraciones Políticas Esenciales 

Definición del Objetivo

Definir claramente la finalidad de utilizar herramientas de AI/ML para asegurar que las salidas sean fiables, reproducibles y lingüísticamente precisas.

Identificar procesos para la asistencia de IA

Determinar qué procesos y documentos se beneficiarían de la asistencia de IA, como la redacción de cartas de advertencia, la creación de resúmenes de calidad y la preparación de presentaciones regulatorias.

Especificar marcos regulatorios

Describir los marcos regulatorios y las directrices relevantes, como la guía provisional de la FDA sobre el uso de IA.

Definir términos clave

Proporcionar definiciones claras de términos esenciales como "AI-assisted outputs", "hallucinations", "prompting", "chain-of-thought" y "Dueling Banjo methodology". Además, categorizar los riesgos según la criticidad de los documentos regulatorios (por ejemplo, decisiones de alto riesgo frente a comunicaciones rutinarias) y establecer umbrales para tasas de error aceptables. Describir los procedimientos para abordar las hallucinations o inconsistencias cuando se produzcan.

Establecer auditorías y evaluaciones

Implementar auditorías de rutina y evaluaciones de desempeño usando métricas predeterminadas como precisión, consistencia y reproducibilidad. Probar regularmente el sistema de IA con escenarios de casos conocidos para identificar deriva o degradación del rendimiento.

Mecanismos de notificación de incidentes

Desarrollar protocolos para registrar y notificar errores de IA (por ejemplo, hallucinations o interpretaciones erróneas), incluido un camino de escalamiento claro. Crear bucles de retroalimentación con equipos internos y proveedores de IA para garantizar que las lecciones aprendidas se traduzcan en mejoras del sistema.

Conclusión

Integrar SmartSearch+ con el prompting RAG permite a las organizaciones establecer un repositorio centralizado y validado de conocimientos regulatorios generados por IA, garantizando precisión, consistencia y cumplimiento en los flujos de trabajo asistidos por IA. Este marco asegura que la IA sea una herramienta de cumplimiento confiable en lugar de una responsabilidad al estandarizar la terminología regulatoria, minimizar la ambigüedad y mejorar la trazabilidad.

La verificación por SmartSearch+ de los prompts RAG será crucial para mantener la integridad y la confianza regulatorias a medida que se amplía la adopción de la IA. Implementar metodologías estructuradas de validación de IA, respaldadas por supervisión experta y Buenas Prácticas Lingüísticas (GLP), impulsará un ecosistema regulatorio más fiable, transparente y preparado para el futuro.

Conclusión clave: Los flujos de trabajo regulatorios asistidos por IA deben priorizar la validación estructurada, la supervisión humana y el cumplimiento normativo para garantizar confianza, responsabilidad y exactitud en la toma de decisiones farmacéuticas.