Page 39 - Perez

50
Reglamento (UE) n.º 810/2009 del Parlamento Europeo y el Consejo , y otra
legislación en la materia.
(40) Deben considerarse de alto riesgo ciertos sistemas de IA destinados a la
administración de justicia y los procesos democráticos, dado que pueden tener efectos
potencialmente importantes para la democracia, el Estado de Derecho, las libertades
individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En
particular, a fin de evitar el riesgo de posibles sesgos, errores y opacidades, procede
considerar de alto riesgo aquellos sistemas de IA cuyo objetivo es ayudar a las
autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la
ley a unos hechos concretos. No obstante, dicha clasificación no debe hacerse
extensiva a los sistemas de IA destinados a actividades administrativas meramente
accesorias que no afectan a la administración de justicia en casos concretos, como la
anonimización o seudonimización de las resoluciones judiciales, documentos o datos;
la comunicación entre los miembros del personal; tareas administrativas, o la
asignación de recursos.
(41) El hecho de que un sistema de IA sea considerado de alto riesgo en virtud del presente
Reglamento no debe interpretarse como indicador de que su uso sea legal con arreglo a
otros actos del Derecho de la Unión o del Derecho interno compatible con el Derecho
de la Unión relativo a la protección de los datos personales o a la utilización de
polígrafos y herramientas similares u otros sistemas para detectar el estado emocional
de las personas físicas. Todo uso de ese tipo debe seguir realizándose exclusivamente
en consonancia con los requisitos oportunos derivados de la Carta y de los actos
aplicables del Derecho derivado de la Unión y del Derecho interno. No debe
entenderse que el presente Reglamento constituye el fundamento jurídico para el
tratamiento de datos personales, incluidas categorías especiales de datos personales,
cuando sea pertinente.
(42) Con el objetivo de mitigar los riesgos que presentan para los usuarios y las personas
afectadas los sistemas de IA de alto riesgo que se introducen en el mercado o ponen en
servicio en la Unión, es preciso aplicar ciertos requisitos obligatorios que tengan en
cuenta la finalidad prevista del uso del sistema y estén en consonancia con el sistema
de gestión de riesgos que debe establecer el proveedor.

(43) Deben aplicarse a los sistemas de IA de alto riesgo requisitos referentes a la calidad de
los conjuntos de datos utilizados, la documentación técnica y el registro, la
transparencia y la comunicación de información a los usuarios, la vigilancia humana,
la solidez, la precisión y la ciberseguridad. Dichos requisitos son necesarios para
mitigar de forma efectiva los riesgos para la salud, la seguridad y los derechos
fundamentales, según corresponda en función de la finalidad prevista del sistema, y no
se dispone razonablemente de otras medidas menos restrictivas del comercio, con lo
que se evitan restricciones injustificadas de este.
(44) Muchos sistemas de IA necesitan datos de alta calidad para funcionar correctamente,
en especial cuando se emplean técnicas que implican el entrenamiento de modelos,
con vistas a garantizar que el sistema de IA de alto riesgo funciona del modo previsto
y en condiciones de seguridad y no se convierte en la fuente de alguno de los tipos de

50 Reglamento (CE) n.º 810/2009 del Parlamento Europeo y del Consejo, de 13 de julio de 2009, por el
que se establece un Código comunitario sobre visados (Código de visados) (DO L 243 de 15.9.2009,
p. 1).

ES 33 ES