Page 37 - Perez

principio, esas personas no deben ser consideradas usuarios en el sentido del presente
Reglamento. Dichos sistemas pueden perpetuar patrones históricos de discriminación,
por ejemplo contra las mujeres, ciertos grupos de edad, personas con discapacidad o
personas de orígenes raciales o étnicos concretos o con una orientación sexual
determinada, durante todo el proceso de contratación y en la evaluación, la promoción
o la retención de personas en relaciones contractuales de índole laboral. Los sistemas
de IA empleados para controlar el rendimiento y el comportamiento de estas personas
también pueden afectar a sus derechos a la protección de los datos personales y a la
privacidad.
(37) El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter
público y privado necesarios para que las personas participen en la sociedad o cuenten
con unas condiciones de vida mejores es otro ámbito en el que conviene prestar
especial atención a la utilización de sistemas de IA. En concreto, deben considerarse
de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o
solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a
recursos financieros o servicios esenciales como la vivienda, la electricidad y los
servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden
discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por
ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación
sexual, o generar nuevas formas de efectos discriminatorios. Habida cuenta del alcance
sumamente limitado de su impacto y de las escasas alternativas disponibles en el
mercado, conviene dejar exentos a los sistemas de IA destinados a evaluar la solvencia
y la calificación crediticia cuando los pongan en servicio proveedores a pequeña escala
para su propio uso. Las personas físicas que solicitan o reciben ayudas y servicios de
autoridades públicas suelen depender de ellos y, por lo general, se encuentran en una
posición de vulnerabilidad respecto de las autoridades responsables. Si se utilizan
sistemas de IA para decidir si las autoridades deben denegar, reducir, revocar o
reclamar dichas ayudas y servicios, estos sistemas pueden afectar de un modo
considerable a los medios de subsistencia de las personas y podrían infringir sus
derechos fundamentales, como el derecho a la protección social, a la no
discriminación, a la dignidad humana o a una tutela judicial efectiva. Por lo tanto, esos
sistemas deben considerarse de alto riesgo. No obstante, el presente Reglamento no
debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración
pública, que se beneficiarían de una mayor utilización de sistemas de IA conformes y
seguros, siempre y cuando dichos sistemas no conlleven un alto riesgo para las
personas jurídicas y físicas. Por último, los sistemas de IA empleados para el envío o
el establecimiento de prioridades en el envío de servicios de primera intervención en
situaciones de emergencia también deben considerarse de alto riesgo, dado que
adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las
personas y de sus bienes.

(38) Las actuaciones de las autoridades encargadas de la aplicación de la ley que implican
determinados usos de sistemas de IA se caracterizan por un importante desequilibrio
de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de
una persona física, así como a otros efectos negativos sobre los derechos
fundamentales que garantiza la Carta. En particular, si el sistema de IA no está
entrenado con datos de buena calidad, no cumple los requisitos oportunos en términos
de precisión o solidez, o no se diseña y prueba debidamente antes de introducirlo en el
mercado o ponerlo en servicio, puede señalar a personas de manera discriminatoria,
incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos
procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez

ES 31 ES