¿Pueden los reguladores confiar en los datos científicos generados por IA?

Durante décadas, la relación entre una agencia reguladora y los datos científicos que se le presentaban se basó en una suposición simple: un humano realizó el experimento, un humano registró el resultado y un humano podía ser responsabilizado si ese resultado resultaba ser incorrecto.

La inteligencia artificial ha desmantelado silenciosamente esa suposición. Los modelos de IA ahora generan, analizan, resumen y, en algunos casos, producen directamente los datos científicos que las empresas farmacéuticas presentan para respaldar aprobaciones de medicamentos, diseños de ensayos clínicos y decisiones sobre la calidad de la fabricación.

La pregunta que esto plantea ya no es teórica ni hipotética. Está convirtiéndose rápidamente en el desafío regulatorio central de la presente década: ¿puede una agencia confiar genuinamente en un resultado científico que ningún humano produjo, verificó o presenció directamente?

La magnitud de este cambio ya es sustancial:

1. La FDA informa más de 500 presentaciones regulatorias con componentes de IA desde 2016, con un uso descrito internamente como en aumento "exponencial"
2. Casi 950 dispositivos médicos habilitados con IA o aprendizaje automático habían sido aprobados por la FDA en agosto de 2024, frente a solo 520 en enero de 2023
3. Una encuesta interindustrial de 2025 encontró que el 44% de las organizaciones experimentaron consecuencias negativas por el uso de IA generativa, con pérdidas financieras medias de $4.4 millones por incidente
4. Investigaciones independientes 2025–2026 encontraron que incluso modelos de lenguaje grande avanzados exhiben tasas de alucinación del 15–20% en tareas de citación factual, que aumentan al 35–55% en temas de nicho o recientes

Estos números enmarcan una tensión genuina y creciente dentro del establecimiento científico: la IA se está integrando estructuralmente en la cadena de datos regulatorios justo en el momento en que su propensión a fabricar con confianza información verosímil está mejor documentada y es más difícil de ignorar.

La respuesta de la FDA: un marco de credibilidad basado en el riesgo

En lugar de ignorar el problema o intentar prohibir la IA en las presentaciones regulatorias de forma absoluta, la FDA se ha movido con decisión para construir una estructura evaluativa formal. En enero de 2025, la agencia publicó una guía preliminar titulada “Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products (FDA-2024-D-4689)” — el primer documento de orientación de la agencia que aborda específicamente la IA utilizada para generar o analizar datos presentados en apoyo de una decisión regulatoria.

El concepto central introducido en esta guía es "credibilidad del modelo" — definida como la confianza en el desempeño de un modelo de IA para un Contexto de Uso (COU) específico. Críticamente, la FDA no trata la credibilidad de la IA como un juicio binario de sí o no.

Se evalúa en relación con exactamente cómo se utilizará la salida del modelo y qué riesgo conlleva ese uso específico. La guía propone un proceso de evaluación de credibilidad en siete pasos basado en el riesgo:

1. Definir la pregunta de interés que el modelo de IA está siendo utilizado para abordar
2. Definir el contexto de uso, el papel y el alcance específicos del modelo dentro de la presentación regulatoria
3. Evaluar el riesgo del modelo de IA, considerando tanto la influencia del modelo en la decisión regulatoria como la consecuencia de que el modelo esté equivocado
4. Desarrollar un plan de evaluación de credibilidad, adaptado al nivel de riesgo identificado
5. Ejecutar el plan de evaluación de credibilidad, generando la evidencia necesaria para respaldar la confianza en el modelo
6. Documentar los resultados en un formato transparente y auditable adecuado para la revisión regulatoria
7. Determinar la idoneidad, si la evidencia de credibilidad respalda suficientemente el uso previsto del modelo dentro de la presentación

Este marco representa una filosofía regulatoria fundamentalmente diferente a los requisitos de validación uniformes aplicados de forma general. Un modelo utilizado para clasificar informes de eventos adversos para revisión humana conlleva un riesgo distinto al de un modelo utilizado para generar el criterio de eficacia primario en un ensayo pivotal, y el marco de la FDA está diseñado explícitamente para exigir proporcionalmente más evidencia a medida que aumentan las apuestas.

El marco de credibilidad de la FDA marca el estándar.

Así es como la IA ya está transformando en la práctica las presentaciones regulatorias farmacéuticas.

→ IA en farmacéutica | Transformando las regulaciones

¿Por qué la alucinación es el problema central de confianza?

La amenaza más trascendental para la confianza regulatoria en los datos generados por IA no es el sesgo o el mal funcionamiento técnico en el sentido convencional; es la alucinación: la tendencia de los modelos generativos de IA a producir información fabricada que se expone con la misma confianza que la información precisa. Esto no es un caso límite raro. Es una característica estructural de cómo los modelos de lenguaje grande generan salida.

La evidencia de lo grave que se ha vuelto este problema abarca múltiples dominios científicos:

1. Un análisis de enero de 2026 por GPTZero de 4,841 artículos aceptados en NeurIPS 2025, una de las conferencias de IA más competitivas y rigurosamente revisadas por pares del mundo, encontró al menos 100 citas confirmadas como alucinadas en 53 artículos, a pesar de la revisión por tres a cinco revisores expertos por envío
2. La alucinación se manifiesta no solo como citas fabricadas sino como resúmenes de datos inventados, resultados experimentales inventados y manuscritos enteros estilo paper mill
3. En los dominios médico y legal específicamente, las tasas de alucinación pueden superar el 28% sin técnicas de fundamentación adecuadas, incluso con sistemas de generación aumentada por recuperación diseñados para reducir el problema
4. Un análisis de la industria farmacéutica encontró que el 44% de las organizaciones que usan IA generativa reportaron consecuencias negativas, con salidas alucinadas o fabricadas presentadas con confianza injustificada identificadas como la barrera central para la confianza clínica

Lo que hace que la alucinación sea particularmente peligrosa en un contexto normativo es que no parece un error. Un resumen de datos clínicos alucinado, una cita fabricada que respalde una afirmación de seguridad o un resultado experimental inventado pueden pasar una revisión somera precisamente porque están generados para ser plausibles, bien presentados y coherentes internamente, las cualidades exactas que hacen que los datos científicos legítimos sean confiables.

La alucinación en los datos regulatorios no se detiene en la presentación.

Cuando llega a la práctica clínica, se convierte en un riesgo para la seguridad del paciente.

→ Alucinaciones de la IA en la industria farmacéutica | Riesgo para la seguridad del paciente

Datos sintéticos: una categoría distinta de problema de confianza

Un desafío distinto pero relacionado implica los datos sintéticos: conjuntos de datos generados por modelos de IA (a menudo Generative Adversarial Networks o diffusion models) para aumentar datos del mundo real limitados o sujetos a privacidad, particularmente en el diseño de ensayos clínicos y en imagen médica. 

Los datos sintéticos no son el mismo problema que la alucinación; se generan intencionalmente, no se fabrican de forma espontánea. Pero plantean sus propias preguntas de confianza para los reguladores.

Las preocupaciones centrales con las que los reguladores están lidiando actualmente incluyen:

1. Desplazamiento de distribución y realismo no verificable — los registros de pacientes sintéticos o los datos de ensayos pueden asemejarse estadísticamente a poblaciones reales sin capturar realmente las patologías raras, los casos límite o las matizaciones demográficas presentes en los datos clínicos genuinos

2. Amplificación de sesgos — investigaciones en imagen mamaria encontraron que los datos sintéticos pueden mitigar o, si se aplican mal, amplificar activamente el sesgo entre subgrupos de pacientes, incluidos edad, densidad tisular y etnia

3. Procedencia y auditabilidad — los reguladores deben poder rastrear exactamente cómo se generaron los datos sintéticos, qué datos reales se usaron para su entrenamiento y si esos datos de entrenamiento incorporan a su vez sesgos o problemas de calidad

4. Puntuación de fidelidad — la práctica emergente recomienda que los datos sintéticos incluyan puntuaciones de fidelidad documentadas, con sistemas de IA señalando explícitamente o rechazando automáticamente predicciones que se basen en entradas sintéticas de baja fidelidad en lugar de presentarlas con una confianza injustificada

Una revisión de 2025 sobre datos sintéticos en IA sanitaria concluyó que el uso responsable exige un cambio fundamental de la cantidad a la calidad verificable, un principio cada vez más repetido tanto en la FDA como en la EMA a medida que ambas agencias convergen hacia expectativas compartidas para la IA en la ciencia regulatoria.

La infraestructura normativa que se está construyendo para responder a la cuestión de la confianza

Reconociendo que ningún documento de orientación único puede resolver completamente este desafío, la FDA ha desarrollado una infraestructura organizativa dedicada para gestionar la supervisión de la IA de forma continua. Esto incluye:

1. The Digital Health Center of Excellence (DHCoE), alojado dentro del Center for Devices and Radiological Health, que coordina la política de IA y salud digital en toda la agencia
2. The Digital Health Advisory Committee (DHAC), un comité externo de expertos que celebró su reunión inaugural en noviembre de 2024 para ofrecer orientación sobre cuestiones de IA de rápido movimiento
3. Dos nuevos consejos interagenciales establecidos en 2025: un External Policy Council que establece principios para la IA en productos regulados, y un **Internal Use Council que supervisa cómo la FDA utiliza la IA en sus propios procesos de revisión
4. Principios rectores conjuntos FDA-EMA, que se espera alineen las expectativas regulatorias internacionales para la evaluación de la credibilidad de la IA a principios de 2026

El periodo de comentarios públicos sobre la guía preliminar de la FDA de enero de 2025 se cerró en abril de 2025, con la agencia señalando que la guía final —que incorpora una amplia retroalimentación de las partes interesadas sobre cómo manejar la IA generativa y los modelos de lenguaje grande específicamente— se espera en 2026.

Conclusión: confianza condicional, no confianza ciega

La respuesta honesta a si los reguladores pueden confiar en los datos científicos generados por IA no es ni un simple sí ni un simple no. Es condicional, basada en evidencia y cuidadosamente proporcional al riesgo. 

Los reguladores no están construyendo marcos para excluir por completo a la IA de la generación de datos científicos: el valor de la tecnología para acelerar el descubrimiento y mejorar de forma significativa la calidad de los datos ya está bien establecido en múltiples áreas terapéuticas. 

En cambio, están elaborando marcos que exigen la misma rigurosidad y responsabilidad a un modelo de IA que siempre han exigido a la ciencia generada por humanos: declaraciones claramente definidas, metodología transparente y evidencia proporcional a las consecuencias de equivocarse.

Las agencias que finalmente tendrán éxito en esto no serán las que confíen en los datos de IA incondicionalmente, ni las que los rechacen de forma reflexiva por precaución. 

Serán las que construyan la infraestructura duradera como marcos de credibilidad, puntuación de fidelidad, detección de alucinaciones y evaluación proporcional de riesgos, necesarias para conocer de forma fiable la diferencia entre la ciencia generada por IA que genuinamente merece confianza y la ciencia generada por IA que simplemente suena como si la mereciera.

Preguntas frecuentes

1) ¿Pueden los reguladores confiar en los datos científicos generados por IA?

Los reguladores pueden confiar en los datos científicos generados por IA solo cuando existe suficiente evidencia que demuestre que el sistema de IA es fiable para su uso previsto. Los marcos regulatorios modernos se centran en validar la credibilidad, la transparencia y el rendimiento de los modelos de IA en lugar de aceptar sus resultados a primera vista. El nivel de escrutinio suele aumentar conforme crece el impacto potencial de los datos generados por IA en la seguridad del paciente o en las decisiones regulatorias. Este enfoque basado en el riesgo ayuda a garantizar que la confianza se gane mediante evidencia y no se asuma.

2) ¿Qué es la alucinación de la IA y por qué es una preocupación para los reguladores?

La alucinación de la IA ocurre cuando un sistema de inteligencia artificial genera información que parece precisa y convincente pero que en realidad es incorrecta o completamente inventada. En entornos científicos y regulatorios, las alucinaciones pueden incluir citas inventadas, resúmenes de datos inexactos o conclusiones sin fundamento. Dado que estas salidas a menudo se presentan con confianza y en un formato profesional, pueden ser difíciles de identificar durante las revisiones rutinarias. Esto convierte a la alucinación en uno de los desafíos más importantes al evaluar contenido científico generado por IA.

3) ¿Qué es los datos sintéticos y cómo se utilizan en la investigación sanitaria?

Los datos sintéticos son información generada artificialmente por modelos de IA para replicar las características de conjuntos de datos del mundo real sin exponer información real de pacientes. Se utilizan con frecuencia para apoyar la investigación, entrenar modelos de aprendizaje automático y complementar datos clínicos limitados. Aunque los datos sintéticos pueden mejorar la protección de la privacidad y la disponibilidad de datos, los reguladores deben garantizar que reflejen con precisión las condiciones del mundo real. Una validación adecuada es esencial para confirmar que los conjuntos de datos sintéticos no introduzcan sesgos ocultos ni distorsionen los hallazgos científicos.