Page 36 - Perez

48
Europeo y del Consejo , que prevén que un organismo independiente realice una
evaluación de la conformidad de los productos de riesgo medio y alto.
(32) En cuanto a los sistemas de IA independientes, es decir, aquellos sistemas de IA de
alto riesgo que no son componentes de seguridad de productos o no son productos en
sí mismos, hay que considerarlos de alto riesgo si, a la luz de su finalidad prevista,
presentan un alto riesgo de menoscabar la salud y la seguridad o los derechos
fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible
perjuicio como la probabilidad de que se produzca, y se utilizan en varias esferas
predefinidas especificadas en el presente Reglamento. Para identificar dichos sistemas
se emplean la misma metodología y los mismos criterios previstos para la posible
modificación futura de la lista de sistemas de IA de alto riesgo.

(33) Las imprecisiones técnicas de los sistemas de IA destinados a la identificación
biométrica remota de las personas físicas pueden dar lugar a resultados sesgados y
tener consecuencias discriminatorias. Esto es especialmente importante en lo que
respecta a la edad, la etnia, el sexo o la discapacidad. Por este motivo, debe
considerarse que los sistemas de identificación biométrica remota «en tiempo real» y
«en diferido» conllevan un alto riesgo. Debido a los riesgos que entrañan, deben
aplicarse requisitos específicos referentes a las capacidades de registro y la vigilancia
humana a ambos tipos de sistemas de identificación biométrica remota.
(34) En el caso de la gestión y el funcionamiento de infraestructuras críticas, conviene
considerar de alto riesgo a los sistemas de IA destinados a ser componentes de
seguridad en la gestión y el funcionamiento del tráfico rodado y el suministro de agua,
gas, calefacción y electricidad, pues su fallo o defecto de funcionamiento puede poner
en peligro la vida y la salud de las personas a gran escala y alterar de manera
apreciable el desarrollo habitual de las actividades sociales y económicas.
(35) Deben considerarse de alto riesgo los sistemas de IA que se utilizan en la educación o
la formación profesional, y en especial aquellos que determinan el acceso o
distribuyen a las personas entre distintas instituciones educativas y de formación
profesional o aquellos que evalúan a las personas a partir de pruebas realizadas en el
marco de su educación o como condición necesaria para acceder a ella, ya que pueden
decidir la trayectoria formativa y profesional de una persona y, en consecuencia,
afectar a su capacidad para asegurar su subsistencia. Cuando no se diseñan y utilizan
correctamente, estos sistemas pueden violar el derecho a la educación y la formación,
y el derecho a no sufrir discriminación, además de perpetuar patrones históricos de
discriminación.
(36) También deben considerarse de alto riesgo los sistemas de IA que se utilizan en el
empleo, la gestión de los trabajadores y el acceso al autoempleo, sobre todo para la
contratación y la selección de personal; para la toma de decisiones relativas a la
promoción y la rescisión de contratos; y para la asignación de tareas y el seguimiento
o la evaluación de personas en relaciones contractuales de índole laboral, dado que
pueden afectar de un modo considerable a las futuras perspectivas laborales y los
medios de subsistencia de dichas personas. Las relaciones contractuales de índole
laboral deben implicar a los empleados y las personas que prestan servicios a través de
plataformas, como indica el Programa de trabajo de la Comisión para 2021. En

48 Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los
productos sanitarios para diagnóstico in vitro y por el que se derogan la Directiva 98/79/CE y la
Decisión 2010/227/UE de la Comisión (DO L 117 de 5.5.2017, p. 176).

ES 30 ES