Cuando la IA se-equivoca: El riesgo real para la seguridad del paciente de las alucinaciones de la IA en la atención sanitaria

La atención sanitaria está en medio de una revolución de la IA. Desde herramientas de apoyo a la decisión clínica hasta el descubrimiento de fármacos asistido por IA, la inteligencia artificial avanza rápidamente en la medicina. Pero hay un problema que no recibe suficiente atención en las salas de juntas hospitalarias ni en las discusiones regulatorias: las alucinaciones de la IA. Y en la atención sanitaria, una alucinación no es solo un fallo técnico. Puede ser la diferencia entre un diagnóstico correcto y uno perdido, entre una dosis segura de un fármaco y una mortal.

Esta guía explica qué son las alucinaciones de la IA, por qué ocurren y cuán grave es realmente el riesgo para la seguridad del paciente.

¿Qué es exactamente una alucinación de la IA?

El término "alucinación" en IA se refiere a salidas generadas por un modelo de lenguaje grande (LLM) que son factualmente incorrectas, fabricadas o completamente desconectadas de la realidad, pero presentadas con total confianza, como si fueran verdaderas.

A diferencia de un simple error de cálculo, las alucinaciones de la IA son engañosas. El modelo no indica incertidumbre. No dice "No estoy seguro." Produce la respuesta equivocada con el mismo tono y formato que una correcta. En un contexto de uso general, esto podría significar que un chatbot recomiende un restaurante que no existe. En la atención sanitaria, puede significar algo mucho peor.

Ejemplos de alucinaciones de la IA en contextos médicos incluyen:

1. Generar una advertencia de interacción farmacológica para dos medicamentos que en realidad no tienen ninguna interacción conocida
2. Fabricar una cita de ensayo clínico que no existe
3. Recomendar una dosis que excede los límites seguros para una población de pacientes específica
4. Identificar erróneamente el nombre de un fármaco al confundirlo con otro de sonido similar
5. Resumir un historial clínico de forma inexacta insertando detalles que nunca fueron documentados

¿Por qué ocurren las alucinaciones de la IA?

Para entender el riesgo, primero debe entenderse la causa. Los LLM se entrenan con cantidades masivas de datos textuales. Aprenden a predecir la palabra o frase siguiente más estadísticamente probable en función de patrones en esos datos. No "entienden" la medicina como lo hace un clínico formado; simulan comprensión mediante la coincidencia de patrones.

Las alucinaciones ocurren cuando:

1. El modelo se encuentra con una brecha de conocimiento y la rellena con texto que suena plausible en lugar de admitir que no sabe
2. Los datos de entrenamiento contienen errores que el modelo ha aprendido y reproducido
3. El prompt es ambiguo, y el modelo hace suposiciones para completar la tarea
4. Limitaciones de la ventana de contexto hacen que el modelo pierda el rastro de información anterior en documentos largos
5. El modelo sobregeneraliza de un dominio a otro — por ejemplo, aplicando principios de medicina general incorrectamente a una condición pediátrica rara

La arquitectura subyacente de la mayoría de los LLM hace que la alucinación sea un riesgo inherente, no un error solucionable que desaparecerá con la próxima actualización de software.

¿De dónde surge el riesgo para la seguridad del paciente?

La preocupación no es teórica. A medida que las herramientas de IA se despliegan más ampliamente en entornos clínicos, las oportunidades de daño relacionado con alucinaciones se multiplican. A continuación se desglosan las áreas de riesgo clave.

Cada una de estas áreas conlleva un riesgo real para el paciente. Un farmacéutico que confía en un asistente de prescripción basado en IA que inventó un rango de dosis seguro. Un clínico que revisa un resumen de alta generado por IA con una alergia inventada. Un paciente que sigue el consejo de un chatbot basado en una afirmación médica fabricada. Los escenarios no son hipotéticos; ya se han documentado incidentes de casi errores vinculados a salidas de IA en entornos de adopción temprana.

El panorama regulatorio se está poniendo al día — pero despacio

Los reguladores globales se toman en serio la IA en salud, pero el desafío específico de la alucinación aún no se ha abordado por completo en las directrices formales.

La Administración de Alimentos y Medicamentos de los EE. UU. (FDA) ha estado desarrollando su marco regulatorio para Software como Dispositivo Médico (SaMD) basado en IA bajo su Digital Health Center of Excellence. La FDA ha reconocido que las herramientas basadas en IA/ML requieren vigilancia poscomercialización continua, en parte porque las salidas del modelo pueden degradarse o comportarse de forma impredecible en entornos reales.

La Agencia Europea del Medicamento (EMA) publicó un plan de trabajo en 2023–2024 que incluye el uso de IA en presentaciones regulatorias y farmacovigilancia. La EMA ha señalado la exactitud y la transparencia de las salidas de IA como preocupaciones clave.

La Ley de IA de la UE, que comenzó su aplicación por fases en 2024, clasifica a los sistemas de IA usados en la toma de decisiones clínicas como de alto riesgo y exige evaluaciones de conformidad, supervisión humana y obligaciones claras de transparencia. Cabe destacar que la IA de alto riesgo debe incluir mecanismos para la revisión humana, una contramedida directa al problema de la alucinación.

La brecha actualmente es que la mayoría de los marcos existentes no se construyeron teniendo en cuenta la alucinación de los LLM como un modo de fallo específico. La mayoría de las regulaciones hacen referencia a la "exactitud" en un sentido general. A medida que los LLM pasan de tareas administrativas a soporte de decisiones clínicas, será necesario cerrar rápidamente esta brecha.

La guía CSA de la FDA ya no es lectura opcional: es el libro de reglas.

Sepa exactamente lo que exige antes de que su herramienta de IA enfrente escrutinio.

→ Leer: FDA Computer Software Assurance (CSA): Guía definitiva para líderes farmacéuticos

Escenarios de alto riesgo: dónde son más peligrosas las alucinaciones

No todo el uso de IA en salud conlleva el mismo riesgo. El peligro es mayor cuando:

1. Se reduce la supervisión humana — Entornos clínicos con mucha carga donde se confía en las salidas de la IA sin verificación
2. Se trata de enfermedades raras o casos complejos — Los LLM a menudo tienen datos de entrenamiento escasos para condiciones raras, lo que aumenta la probabilidad de fabricación
3. Hay polifarmacia presente — Los pacientes con múltiples medicamentos corren mayor riesgo por interacciones farmacológicas alucinadas
4. La salida se incorpora directamente en la acción — Cuando un resumen de IA impulsa directamente una decisión de prescripción o quirúrgica sin revisión independiente
5. Se trata de poblaciones vulnerables — Pediatría, geriatría y pacientes con insuficiencia renal o hepática con frecuencia requieren dosis no estándar que los modelos pueden aproximar incorrectamente

Cómo debe ser una buena gobernanza de IA en el sector sanitario

Gestionar el riesgo de alucinaciones no significa abandonar la IA. Se trata de construir las barreras de seguridad adecuadas. Esto es lo que parece un despliegue responsable en la práctica.

Lista de verificación de seguridad de IA para organizaciones sanitarias

1.  ¿Se ha validado la herramienta de IA en un conjunto de datos clínico representativo antes del despliegue?
2.  ¿Existe un paso definido de revisión humana antes de actuar sobre las salidas generadas por la IA?
3.  ¿Están los clínicos capacitados para reconocer y señalar posibles errores de la IA?
4.  ¿Proporciona el sistema de IA puntuaciones de confianza o indicadores de incertidumbre?
5.  ¿Existe una vía clara de notificación de incidentes para sospechas de errores relacionados con la IA?
6.  ¿Está la herramienta de IA sujeta a monitorización regular de precisión después del despliegue?
7.  ¿Se separan los casos de uso de alto riesgo (p. ej., dosificación, diagnóstico) de los de menor riesgo (p. ej., programación, resúmenes administrativos)?
8.  ¿Cumple la herramienta con los requisitos regulatorios aplicables (FDA SaMD guidance, EU AI Act, MHRA guidance)?
9.  ¿Ha divulgado el proveedor las fuentes de datos de entrenamiento y las limitaciones conocidas?
10.  ¿Existe un proceso de revalidación continua cuando se actualiza el modelo subyacente?

El teatro del cumplimiento no evitará que una alucinación de IA llegue a un paciente.

Aquí está el contrato epistémico que la industria farmacéutica GxP realmente necesita.

→ Leer: El nuevo contrato epistémico para la inteligencia artificial en entornos GxP: ir más allá del teatro del cumplimiento

El imperativo de la supervisión humana

Una de las lecciones más importantes de los primeros despliegues de IA en la sanidad es que el sesgo de automatización es real. Los clínicos que interactúan regularmente con herramientas de IA pueden empezar a confiar en las salidas sin evaluarlas críticamente, especialmente cuando la carga de trabajo es alta y el tiempo escaso.

Esto no es un problema tecnológico. Es un problema de factores humanos. Y es exactamente el tipo de cuestión que los marcos de seguridad del paciente están diseñados para abordar. Los organismos reguladores, los entes de acreditación hospitalaria y los colegios de farmacia exigen cada vez más protocolos documentados de supervisión humana para las herramientas clínicas de IA.

El objetivo no es tratar a la IA como una autoridad infalible, sino como un asistente sofisticado que requiere supervisión profesional, al igual que cualquier otra herramienta en la práctica clínica.

Lo que la industria farmacéutica debe vigilar específicamente

Para las compañías farmacéuticas, el riesgo de alucinaciones se extiende más allá de la atención directa al paciente y alcanza el proceso de desarrollo de fármacos y el regulatorio en sí.

Presentaciones regulatorias que utilizan resúmenes generados por IA conllevan el riesgo de que se presenten citas fabricadas o datos clínicos inexactos a las autoridades sanitarias. Esto no es solo un riesgo de seguridad; es un riesgo de cumplimiento normativo con graves consecuencias legales.

Farmacovigilancia es otra área crítica. Las herramientas de IA usadas para analizar informes de eventos adversos o detectar señales de seguridad podrían, si alucinan, pasar por alto señales reales o generar señales falsas. Ambos resultados tienen implicaciones para la seguridad del paciente.

Información médica, incluidas las respuestas a consultas de profesionales sanitarios sobre dosificación de fármacos, interacciones o indicaciones, deben ser precisas y trazables. Las respuestas de información médica generadas por IA que contengan contenido alucinatorio podrían exponer a los pacientes a daño directo y a las empresas a una responsabilidad significativa.

El camino a seguir

Las alucinaciones de IA son un riesgo conocido, documentado y técnicamente comprendido. Lo que ahora necesitan las industrias sanitaria y farmacéutica no es alarma sino acción, sistemática, estructurada y proporcional al nivel de riesgo clínico implicado.

La tecnología seguirá mejorando. Retrieval-augmented generation (RAG), la calibración de modelos y los LLM médicos especializados entrenados con datos clínicos seleccionados son todas áreas activas de desarrollo que buscan reducir las tasas de alucinación. Pero hasta que las tasas de alucinación alcancen niveles clínicamente aceptables, y hasta que esos niveles sean formalmente definidos por los reguladores, la supervisión humana debe seguir siendo el salvavidas innegociable.

La IA tiene un potencial real para mejorar los resultados de los pacientes, acelerar el desarrollo de fármacos y reducir el agotamiento de los clínicos. Realizar ese potencial de forma segura significa tomar en serio el problema de las alucinaciones, construir marcos de gobernanza robustos ahora y no permitir que la velocidad de adopción supere la calidad de la base de evidencia.

Preguntas frecuentes

P1: ¿Qué es una alucinación de IA en la sanidad?

Una alucinación de IA en la sanidad ocurre cuando una herramienta de inteligencia artificial genera información médica que es fácticamente incorrecta o fabricada — como una dosis errónea de un fármaco, una cita falsa o un resumen de paciente inexacto — presentándolo con confianza como un hecho.

P2: ¿Pueden las alucinaciones de IA perjudicar a los pacientes?

Sí. Si los clínicos actúan sobre errores generados por la IA sin verificación, como una interacción de fármacos alucinada o una recomendación de dosificación incorrecta, existe un riesgo directo de daño al paciente, incluidas reacciones adversas a medicamentos o diagnósticos perdidos.

P3: ¿Están reguladas las herramientas de IA en la sanidad?

Sí. La FDA regula el Software basado en IA como Dispositivo Médico (SaMD) en los EE. UU., y la Ley de IA de la UE clasifica la IA de apoyo a la decisión clínica como de alto riesgo. Sin embargo, las regulaciones específicas en torno a las alucinaciones de la IA aún están en evolución.

P4: ¿Cómo pueden los hospitales reducir los riesgos de alucinaciones de la IA?

Los hospitales pueden reducir el riesgo exigiendo la revisión humana de las salidas de la IA antes de cualquier acción clínica, validando las herramientas de IA con conjuntos de datos representativos, capacitando al personal para evaluar críticamente las respuestas de la IA e implementando un sistema estructurado de notificación de incidentes relacionados con la IA.

P5: ¿Qué áreas médicas conllevan el mayor riesgo de alucinaciones de la IA?

Las áreas de mayor riesgo incluyen la prescripción asistida por IA, la documentación clínica, la farmacovigilancia, las respuestas de información médica y cualquier uso de IA que implique enfermedades raras, polifarmacia o poblaciones de pacientes vulnerables como niños o ancianos.