Page 64 - Perez
P. 64
a) el proveedor definirá las medidas de vigilancia humana y, cuando sea
técnicamente viable, las integrará en el sistema de IA de alto riesgo antes de su
introducción en el mercado o puesta en servicio;
b) el proveedor definirá las medidas de vigilancia humana, que serán adecuadas
para que las lleve a cabo el usuario, antes de la introducción del sistema de IA
de alto riesgo en el mercado o de su puesta en servicio.
4. Las medidas mencionadas en el apartado 3 permitirán que las personas a quienes se
encomiende la vigilancia humana puedan, en función de las circunstancias:
a) entender por completo las capacidades y limitaciones del sistema de IA de alto
riesgo y controlar debidamente su funcionamiento, de modo que puedan
detectar indicios de anomalías, problemas de funcionamiento y
comportamientos inesperados y ponerles solución lo antes posible;
b) ser conscientes de la posible tendencia a confiar automáticamente o en exceso
en la información de salida generada por un sistema de IA de alto riesgo
(«sesgo de automatización»), en particular con aquellos sistemas que se
utilizan para aportar información o recomendaciones con el fin de que personas
físicas adopten una decisión;
c) interpretar correctamente la información de salida del sistema de IA de alto
riesgo, teniendo en cuenta en particular las características del sistema y las
herramientas y los métodos de interpretación disponibles;
d) decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto
riesgo o desestimar, invalidar o revertir la información de salida que este
genere;
e) intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir
el sistema accionando un botón específicamente destinado a tal fin o mediante
un procedimiento similar.
5. En el caso de los sistemas de IA mencionados en el punto 1, letra a), del anexo III,
las medidas que figuran en el apartado 3 garantizarán además que el usuario no actúe
ni tome ninguna decisión sobre la base de la identificación generada por el sistema,
salvo que un mínimo de dos personas físicas la hayan verificado y confirmado.
Artículo 15
Precisión, solidez y ciberseguridad
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que, en vista
de su finalidad prevista, alcancen un nivel adecuado de precisión, solidez y
ciberseguridad y funcionen de manera consistente en esos sentidos durante todo su
ciclo de vida.
2. En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se
indicarán los niveles de precisión y los parámetros de precisión pertinentes.
3. Los sistemas de IA de alto riesgo serán resistentes a los errores, fallos e
incoherencias que pueden surgir en los propios sistemas o en el entorno donde
operan, en particular a causa de su interacción con personas físicas u otros sistemas.
La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de
redundancia técnica, tales como copias de seguridad o planes de prevención contra
fallos.
ES 58 ES