Page 38 - Perez
P. 38
imparcial, así como los derechos de la defensa y la presunción de inocencia, sobre
todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y
explicables ni estén bien documentados. Por consiguiente, procede considerar de alto
riesgo a múltiples sistemas de IA diseñados para usarse con fines de aplicación de la
ley cuando su precisión, fiabilidad y transparencia sean especialmente importantes
para evitar consecuencias adversas, conservar la confianza de la población y garantizar
la rendición de cuentas y una compensación efectiva. En vista de la naturaleza de las
actividades en cuestión y de los riesgos conexos, entre dichos sistemas de IA de alto
riesgo deben incluirse, en particular, los sistemas de IA que las autoridades encargadas
de la aplicación de la ley utilicen para realizar evaluaciones del riesgo individuales, los
polígrafos y herramientas similares, o los sistemas utilizados para detectar el estado
emocional de una persona física; para detectar ultrafalsificaciones; para evaluar la
fiabilidad de las pruebas en un proceso penal; para predecir la comisión o reiteración
de un delito real o potencial mediante la elaboración de perfiles de personas físicas;
para evaluar rasgos y características de la personalidad o conductas delictivas pasadas
de personas físicas o grupos; para elaborar perfiles durante la detección, la
investigación o el enjuiciamiento de infracciones penales, y para realizar análisis
penales en relación con personas físicas. No debe considerarse que los sistemas de IA
destinados específicamente a que las autoridades fiscales y aduaneras los utilicen en
procesos administrativos forman parte de los sistemas de IA de alto riesgo usados por
las autoridades encargadas de la aplicación de la ley con el fin de prevenir, detectar,
investigar y enjuiciar infracciones penales.
(39) Los sistemas de IA empleados en la gestión de la migración, el asilo y el control
fronterizo afectan a personas que con frecuencia se encuentran en una situación
especialmente vulnerable y dependen del resultado de las actuaciones de las
autoridades públicas competentes. Por este motivo, es sumamente importante que los
sistemas de IA que se utilizan en estos contextos sean precisos, no discriminatorios y
transparentes, a fin de garantizar que se respeten los derechos fundamentales de las
personas afectadas y, en particular, sus derechos a la libre circulación, la no
discriminación, la intimidad personal y la protección de los datos personales, la
protección internacional y la buena administración. Por lo tanto, procede considerar de
alto riesgo a aquellos sistemas de IA destinados a que las autoridades públicas
competentes que realizan tareas en el ámbito de la gestión de la migración, el asilo y el
control fronterizo los utilicen como polígrafos y herramientas similares o para detectar
el estado emocional de una persona física; para evaluar determinados riesgos que
presenten personas físicas que entren en el territorio de un Estado miembro o soliciten
un visado o asilo; para verificar la autenticidad de los documentos pertinentes de
personas físicas; para ayudar a las autoridades públicas competentes a examinar las
solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones
conexas en relación con el objetivo de determinar si las personas físicas solicitantes de
un estatuto reúnen los requisitos necesarios para su obtención. Los sistemas de IA en
el ámbito de la gestión de la migración, el asilo y el control fronterizo abarcados por el
presente Reglamento deben cumplir los requisitos procedimentales pertinentes
49
establecidos por la Directiva 2013/32/UE del Parlamento Europeo y del Consejo , el
49 Directiva 2013/32/UE del Parlamento Europeo y del Consejo, de 26 de junio de 2013, sobre
procedimientos comunes para la concesión o la retirada de la protección internacional (DO L 180
de 29.6.2013, p. 60).
ES 32 ES