Page 41 - Perez

información clara y concisa, en particular sobre los posibles riesgos para los derechos
fundamentales y de discriminación, cuando corresponda.
(48) Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de tal modo que su
funcionamiento pueda ser vigilado por personas físicas. A tal fin, el proveedor del
sistema debe definir las medidas adecuadas de vigilancia humana antes de su
introducción en el mercado o puesta en servicio. Cuando proceda, dichas medidas
deben garantizar, en concreto, que el sistema presente limitaciones operativas
incorporadas que el propio sistema no pueda desactivar, que responda al operador
humano, y que las personas físicas a quienes se haya encomendado la vigilancia
humana posean las competencias, la formación y la autoridad necesarias para
desempeñar esa función.

(49) Los sistemas de IA de alto riesgo deben funcionar de manera consistente durante todo
su ciclo de vida y presentar un nivel adecuado de precisión, solidez y ciberseguridad
con arreglo al estado de la técnica generalmente reconocido. En este sentido, debe
comunicarse a los usuarios el nivel de precisión y los parámetros empleados para
medirla.

(50) La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que
deben ser resilientes a los riesgos asociados a las limitaciones del sistema (p. ej.,
errores, fallos, incoherencias o situaciones inesperadas), así como a acciones
maliciosas que pueden poner en peligro su seguridad y dar lugar a conductas
perjudiciales o indeseables por otros motivos. La incapacidad de protegerlos frente a
estos riesgos podría tener consecuencias para la seguridad o afectar de manera
negativa a los derechos fundamentales, por ejemplo, debido a la adopción de
decisiones equivocadas o a que el sistema de IA en cuestión genere una información
de salida errónea o sesgada.
(51) La ciberseguridad es fundamental para garantizar que los sistemas de IA resistan a las
actuaciones de terceros maliciosos que, aprovechando las vulnerabilidades del sistema,
traten de alterar su uso, conducta o funcionamiento o de poner en peligro sus
propiedades de seguridad. Los ciberataques contra sistemas de IA pueden dirigirse
contra elementos específicos de la IA, como los conjuntos de datos de entrenamiento
(p. ej., contaminación de datos) o los modelos entrenados (p. ej., ataques adversarios),
o aprovechar las vulnerabilidades de los elementos digitales del sistema de IA o la
infraestructura de TIC subyacente. Por lo tanto, para asegurar un nivel de
ciberseguridad adecuado a los riesgos, los proveedores de sistemas de IA de alto
riesgo deben adoptar medidas adecuadas teniendo también en cuenta, cuando proceda,
la infraestructura de TIC subyacente.

(52) Como parte de la legislación de armonización de la Unión, conviene que las normas
aplicables a la introducción en el mercado, la puesta en servicio y la utilización de
sistemas de IA de alto riesgo se establezcan en consonancia con el Reglamento (CE)
51
n.º 765/2008 del Parlamento Europeo y del Consejo por el que se establecen los
requisitos de acreditación y vigilancia del mercado de los productos; la Decisión

51 Reglamento (CE) n.º 765/2008 del Parlamento Europeo y del Consejo, de 9 de julio de 2008, por el que
se establecen los requisitos de acreditación y vigilancia del mercado relativos a la comercialización de
los productos y por el que se deroga el Reglamento (CEE) n.º 339/93 (DO L 218 de 13.8.2008, p. 30).

ES 35 ES