Revista Farmabiotec - Número 16

#16 farmaBIOTEC 53 Recursos humanos La incorporación de IA en las organizaciones requiere identificar las competencias necesarias del personal que realice tareas relacionadas con la IA. Es fundamental demostrar que dichas personas cuentan con la forma- ción, experiencia y habilidades necesarias para garantizar la correcta implementación y funcionamiento del sistema (Artículo 4). Siguiendo las recomendaciones aportadas por la ISO 42001, también es importante garantizar que el personal bajo el control de la organización sea consciente de las implicaciones de no cumplir con los requisitos del sistema de gestión de IA. Un correcto análisis de riesgos que recoja los riesgos emergentes asociados al uso de la Inteligencia Artificial podrá darnos algunas pistas de la formación y los profesio- nales que necesitaremos incorporar de forma transversal en distintos departamentos de nuestras empresas. Gobernanza de los datos El Sistema de Gestión de Calidad (SGC) de un pro- ducto sanitario con IA debe integrar prácticas adecuadas de gobernanza y gestión de datos en todas las fases del ciclo de vida del producto. Esto implica que los conjuntos de datos utilizados para el entrenamiento, validación y tes- teo de la IA deben cumplir con altos estándares de calidad comparables al nivel de exigencia y control que se tiene con las materias primas y APIs en la industria farmacéutica, por ejemplo. Además, estos datos deben ser gestionados bajo procedimientos rigurosos que aborden las siguientes áreas clave: • Decisiones relativas al diseño (artículo 10.2a): es nece - sario asegurar que los datos utilizados en el desarrollo y entrenamiento reflejen los supuestos predefinidos en el uso/propósito previsto del producto, garantizando la seguri- dad y eficacia del software. Estas decisiones afectan direc - tamente el diseño del producto sanitario. • Procesos de recogida de datos y origen de los datos (artículo 10.2b): es crucial garantizar que los datos perso- nales utilizados, cuando corresponda, se recopilen con- forme a su finalidad original y se gestionen de acuerdo con las normativas de privacidad (Reglamento (UE) 2016/679, conocido como GDPR). Esto incluye asegurarse de que los datos reflejan correctamente las poblaciones objetivo para las que se diseñó el sistema de IA. Las políticas del SGC deben incluir controles rigurosos de acceso y medidas de seguridad avanzadas, como la seudonimización, para pro- teger la confidencialidad de los datos personales tratados. • Tratamiento de los datos (artículo 10.2c): las operacio - nes de tratamiento, como la anotación, etiquetado, depu- ración y agregación de los datos, afectan la precisión y fiabilidad del sistema de IA. El SGC debe incluir protocolos claros para estas actividades, garantizando que los conjun- tos de datos estén preparados adecuadamente y se ajusten a los requerimientos de calidad. • Gestión de sesgos y seguridad de los pacientes (artículo 10.2f-g): uno de los mayores retos en los sistemas de IA es la detección y mitigación de sesgos que puedan afectar negativamente a la salud y seguridad de los pacientes. El SGC debe incluir evaluaciones periódicas de los posibles sesgos en los datos, garantizando que no se generen resul- tados discriminatorios o erróneos. • Evaluación y mejora continua basada en los datos: el SGC de un producto sanitario que emplea IA debe garanti- zar la evaluación continua de la calidad de los datos utiliza- dos en la IA, asegurando que sean representativos, comple- tos y relevantes para su entorno operativo previsto (artículo 10.3). Además, el SGC debe incorporar una revisión conti- nua de la gobernanza de datos para asegurar que cualquier deficiencia en los datos pueda ser detectada y subsanada de manera oportuna (artículo 10.2h). Gestión de riesgos y realización del producto El enfoque de gestión de la calidad del producto IA basado en el riesgo resulta fundamental para la planificación del diseño y la realización del mismo. Es por ello que la gestión de riesgos cobra especial importancia, ya que este proceso deberá combinar los requisitos de ambos reglamentos para identificar, evaluar y mitigar los riesgos que los sistemas de IA pueden representar para la salud, la seguridad o los dere- chos fundamentales de los ciudadanos (Artículo 9). Tradicionalmente, los fabricantes de productos sanitarios han basado la gestión de riesgos en la norma ISO 14971, una norma específica del sector que ofrece una sistemática para la correcta identificación de peligros asociados al pro - ducto, la estimación y evaluación de los riesgos asociados, el control de dichos riesgos y la supervisión de la efectivi- dad de los controles implementados. Sin embargo, la meto- dología y enfoque de esta ISO se queda pequeña y obsoleta para la Inteligencia Artificial, sobre todo para la Generativa. La norma ISO 42001 ofrece una gestión de riesgos más amplia que se adapta mejor a la idiosincrasia de la IA, ya que en ella no solo se tienen en cuenta los riesgos del pro- pio producto, sino que también tiene en cuenta los riesgos asociados al proceso de desarrollo del mismo. Para esta norma ISO 42001 cada organización deberá evaluar su aplicabilidad en función de las necesidades y del uso que hacen de la IA. Con el objetivo de guiar a los lectores en este proceso de gestión de riesgos, en la figura 1 se adjunta un diagrama de flujo de los pasos a seguir en un proceso de gestión de riesgos teniendo en cuenta las consideraciones tanto de ISO 14971 como de ISO 42001. Farmacovigilancia