Revista Farmabiotec - Número 18

70 farmaBIOTEC #18 adquisición y procesado, podemos encontrarnos que el modelo no podrá generar bien los resultados en el entorno productivo. Evaluación del Entorno Un aspecto clave en esta evaluación es el fenómeno del data drift , que ocurre cuando los datos operativos difieren de los de entrenamiento, lo que puede afectar la precisión del modelo y requiere monitoreo continuo. Debemos ase- gurarnos de que los datos históricos se adecuen al con- texto de uso del modelo. Evaluación del modelo y las Métricas de evaluación Para medir el rendimiento del modelo, se deben utilizar métricas estandarizadas que permitan evaluar su preci- sión y fiabilidad. La elección de las métricas deberá ser justificada. Algunas métricas comunes de clasificación incluyen la sensibilidad (capacidad del modelo para detectar correc- tamente los casos positivos), la especificidad (capacidad de identificar correctamente los negativos), y la curva ROC-AUC , que evalúa el equilibrio entre tasas de verdade- ros y falsos positivos. También se debe analizar la incertidumbre en las pre- dicciones, asegurando que el modelo proporcione estima- ciones con un nivel de confianza adecuado. Si el modelo trabaja en conjunto con decisiones humanas (human-in- the-loop), la evaluación debe considerar la i nteracción entre el modelo y los operadores , midiendo el impacto de la IA en la toma de decisiones. Identificación de sesgos Además, es esencial identificar posibles sesgos y limi- taciones del modelo antes de su implementación. Se deben evaluar patrones de error sistemáticos que puedan indicar algoritmic bias, por ejemplo, si el modelo favorece o discrimina a ciertos grupos debido a una representación inadecuada en los datos de entrenamiento. A continuación, se muestra una com- parativa gráfica entre el ciclo de vida del modelo de ML/AI propuesto en el Anexo D11 de las GAMP5 y los pasos descritos por el Credibility Assessment Plan. 4. Ejecución del Plan Consiste en la implementación del plan de evaluación de credibilidad defi - nido previamente. Antes de su ejecu- ción, es recomendable discutirlo con la FDA para alinear expectativas y anticipar posibles desafíos. La ejecución debe ajustarse al riesgo del modelo y su con- texto de uso, asegurando que cumpla con los requisitos regulatorios y opera- tivos establecidos. 5. Documentar los Resultados y Desviaciones del Plan Este paso se centra en registrar y formalizar los resul- tados de la evaluación de credibilidad del modelo de IA. Toda la información obtenida en los pasos 1 a 4 debe documentarse en un Credibility Assessment Report (CAR), que servirá como evidencia de que el modelo cum- ple con su contexto de uso (COU). Además, cualquier des- viación del plan original debe ser identificada, justificada y explicada dentro del informe. El CAR puede ser presentado a la FDA durante el periodo de adopción temprana como parte de una solicitud regu- latoria, en un paquete de reuniones o mantenerse como documentación interna para inspecciones. 6. Determinar la Adecuación del Modelo para el Contexto de Uso El último paso del marco de evaluación de credibilidad se centra en determinar si el modelo de IA es adecuado para su contexto de uso (COU). Si el modelo cumple con los requisitos establecidos y demuestra un desempeño confiable dentro de su con - texto, puede considerarse listo para su implementación en entornos regulados. Sin embargo, si la credibilidad no está suficientemente establecida, es necesario tomar medidas correctivas antes de su aprobación final. Existen varias opciones para mejorar la credibilidad del modelo cuando no alcanza los estándares requeri- dos. Una estrategia es reducir la influenci a del modelo, Diagrama 3. Ciclo de vida de un modelo de IA. Normativa y legislación