Revista Farmabiotec Número 21

68 farmaBIOTEC #21 Inteligencia artificial Las principales preocupaciones incluyen si el sistema ha sido validado en una población representativa del contexto clínico de uso (comparabilidad entre datos de entrenamiento y población objetivo), y si las salidas gene- radas tienen traducción clínica significativa, es decir, si aportan valor diagnóstico, pronóstico o terapéutico útil. En este sentido, resulta clave ir más allá de métricas clási- cas como la exactitud, y evaluar aspectos como impacto clínico, aceptabilidad por parte del profesional sanitario, mejora de resultados en salud y aplicabilidad en condicio- nes del mundo real. Parámetros para la validación La validación de un producto sanitario que integra inte- ligencia artificial, especialmente si se basa en modelos fundacionales y está destinado a decisiones clínicas, debe apoyarse en una batería de parámetros cuantitati- vos y cualitativos que garanticen su aceptabilidad clínica, técnica y regulatoria. A continuación, se describen indica- dores y criterios que se deben considerar. 1. Validación del rendimiento analítico: Esta evalua- ción tiene como objetivo garantizar que el dispositivo cumple con los requisitos de precisión, estabilidad y repetibilidad esperados en su aplicación clínica (Tabla 2). Se busca responder a cuestiones fundamentales como: • ¿El dispositivo proporciona resultados fiables y con- sistentes en diversos escenarios? • ¿Mantiene su precisión incluso cuando hay cambios en los datos de entrada o en el entorno clínico? • ¿Sus resultados están alineados con los estándares reconocidos en la práctica médica? Además de las métricas cuantitativas específicas mos- tradas en la Tabla 2, es necesario considerar los diferen- tes niveles de validación implicados en cada componente del sistema. La Tabla 3 detalla estos parámetros, agru- pados en tres bloques: validación de datos, validación de algoritmos y validación de outputs, señalando las herra- mientas y métricas aplicables en cada caso. 2. Evaluación de usabilidad: es recomendable seguir los principios establecidos en la norma ISO 62366, que proporciona un marco para aplicar principios de usabili- dad en dispositivos médicos, con el objetivo de identificar, evaluar y reducir riesgos relacionados con el uso. Esta norma ayuda a asegurar que los aspectos de diseño cen- trados en el usuario minimicen fallos de manejo y favo- rezcan la seguridad, especialmente en dispositivos que incorporan inteligencia artificial, cuyos resultados pueden influir en decisiones clínicas críticas. Figura 4. Validación clínica de PS con IA. Fase 2 Validación en entorno clínico Diseño del entorno simulado (Live in Lab)/real Actividades de validación El objetivo principal es evaluar el comportamiento del sistema en un contexto controlado pero representativo, sin comprometer la seguridad de pacientes reales. Tiene como objetivo reproducir condiciones asistenciales reales en un contexto controlado, permitiendo evaluar el comportamiento del sistema de IA sin riesgo para pacientes reales. Las actividades están diseñadas para analizar la comprensibilidad, la usabilidad, el rendimiento clínico del producto y el papel del profesional sanitario como supervisor del sistema. Tabla 2. Parámetros cuantitativos del rendimiento. Métrica Definición ROC Curva que muestra la relación entre la tasa de verdaderos positivos (sensibilidad) y la tasa de falsos positivos (1 - especificidad), permitiendo evaluar la capacidad de discriminación del modelo. AUC Área bajo la curva ROC F1-score F1 = 2 × (Precisión × Sensibilidad) / (Precisión + Sensibilidad) Número de capas y neuronas Determinan la complejidad y la capacidad de representación del modelo. Learning rate/Tasa de aprendizaje Es un valor numérico que refleja la magnitud con la que el modelo cambia arquitectura profunda para aprender mejor.