Revista Farmabiotec Número 13

#13 farmaBIOTEC 41 La explicabilidad y su aportación a la ética A pesar de estos avances, los modelos complejos, espe- cialmente aquellos basados en Deep Learning (DL), presen- tan desafíos significativos debido a su naturaleza opaca. Estas “cajas negras” generan predicciones sin explicar los motivos detrás de sus resultados, lo cual es problemático en aplicaciones médicas donde las decisiones clínicas afectan directamente la salud humana. En este contexto, la explicabilidad en IA se ha convertido en una prioridad esen- cial para garantizar aplicaciones justas y éticas en la medi- cina. Es esencial que los Sistemas de Apoyo a la Decisión Clínica (CDSSs) impulsados por IA sean transparentes, para que los profesionales de la salud puedan entender el proceso y el fundamento de sus sugerencias. La opacidad en estos sistemas puede ocasionar problemas graves. Por ejemplo, una predicción equivocada sin una justifica- ción clara puede conducir a decisiones médicas erróneas, poniendo en riesgo la seguridad del paciente. Su importancia también se refleja en el marco legislativo y regulador. En este sentido, la Ley de Inteligencia Artificial de la UE (AI Act) establece que los sistemas de IA deben ser transparentes y comprensibles para los usuarios, miti- gando la problemática de los modelos opacos. La AI Act identifica las aplicaciones de alto riesgo, como las médi- cas, donde la transparencia y la explicabilidad son críticas, asegurando que las decisiones clínicas basadas en IA sean comprensibles para los profesionales de la salud y promo- viendo la confianza y la seguridad del paciente. Además, la ley insiste en que los CDSSs deben proporcio- nar explicaciones claras y accesibles sobre cómo se generan las decisiones y recomendaciones. Reconociendo los riesgos asociados con la falta de explicabilidad, la AI Act establece medidas para que las predicciones y decisiones generadas por IA puedan ser verificadas y comprendidas, protegiendo así la seguridad de los usuarios. Esta ley complementa el Reglamento General de Protección de Datos (GDPR), que exige que las decisiones automatizadas sean explicables para proteger los derechos de los individuos, asegurando que las decisiones basadas en datos sean justificables y claras. Estas regulaciones impulsan la necesidad de desarrollar sis- temas de IA que proporcionen claridad y justificación detrás de cada decisión, asegurando que los pacientes y los profe- sionales clínicos puedan confiar en estas tecnologías. ¿Qué aporta la explicabilidad? En los últimos años, se han propuesto diversas meto- dologías para mejorar la explicabilidad de los modelos de IA en la salud. Entre estas, las Explicaciones Aditivas de Shapley (SHAP) han ganado popularidad por su capacidad para descomponer las contribuciones individuales de las características en las predicciones de modelos complejos. Este enfoque permite que los profesionales de la salud entiendan el impacto de cada variable en la predicción final, facilitando una toma de decisiones más informada. La investigación en este campo no solo se enfoca en hacer que los modelos sean más transparentes, sino tam- bién en garantizar que estos sean justos y equitativos. Los modelos deben ser capaces de proporcionar explicaciones coherentes y comprensibles, independientemente del perfil del paciente, asegurando así que todos los individuos reci- ban un trato justo y adecuado. La explicabilidad de los modelos de IA es crucial para los clínicos, ya que mejora la confianza en las decisiones asistidas por tecnología, optimiza la toma de decisiones y facilita la gestión de riesgos. Al hacer que los modelos de IA sean transparentes y comprensibles, se potencia su utilidad en la práctica clínica, permitiendo a los profesiona- les de la salud entender y justificar las recomendaciones proporcionadas por la IA. Esto no solo mejora la calidad de Inteligencia artificial