Publicado el Reglamento Europeo que regula la Inteligencia Artificial

 El Reglamento prohíbe en Europa los sistemas de IA:

• Que tengan técnicas de manipulación de la voluntad.
• Los sistemas que permiten a agentes públicos o privados evaluar a personas o colectivos cuando, la puntuación ciudadana resultante, provoque un trato perjudicial o desfavorable para esas personas
• Que realicen evaluaciones de personas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito. Las personas de la UE deben ser juzgadas en base a un comportamiento real, no a partir de comportamientos predichos por una IA basados en elaboración de perfiles con rasgos como la personalidad, nivel endeudamiento, número de hijos, nacionalidad)
• Que creen bases de datos de reconocimiento facial a partir de imágenes de internet o de circuitos cerrados de televisión por el sentimiento de vigilancia masiva y las violaciones de los derechos fundamentales que puede derivarse, en especial el derecho a la intimidad.
• Que se usen para inferir emociones en los lugares de trabajo o en centros educativos. La razón que ha llevado a esta prohibición es porque al ser sistemas intrusivos que pueden dar lugar a trato perjudicial o desfavorable, es importante prohibirlo en el contexto laboral o educativo en los que existe un desequilibrio de poder.
• Que sean sistemas de categorización biométrica y que clasifiquen a las personas por sus datos biométricos (su cara, sus huellas dactilares) para deducir su origen étnico, sus opiniones políticas, sus convicciones religiosas, su afiliación sindical, su orientación o vida sexual
• El uso para aplicaciones policiales o de orden público de la identificación biométrica en tiempo real en lugares accesibles al público por parte de las fuerzas y cuerpos de seguridad, o en su nombre, salvo que sea para buscar víctimas de secuestro, trata o explotación sexual o prevenir una amenaza específica importante e inminente. Estos sistemas, aunque a priori pueden parecer buenos para la seguridad ciudadana se prohíben porque podrían afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo vigilancia constante y disuadir a los ciudadanos de ejercer libertad de reunión y otros derechos fundamentales. 

Hay algunos sistemas de IA que son considerados de alto riesgo, para los que el nuevo reglamento impone unos requisitos y condiciones específicos, que deben respetar si . quieren introducirse o funcionar en los países de la Unión Europea. Esos sistemas son: 

• Sistemas de IA cuando funcionan como componentes de seguridad de determinados productos que ya están cubiertos por normas de armonización en Europa, como los juguetes, vehículos, productos sanitarios, dada la importancia de que sean seguros y conformes.

• Sistemas en los que se usan datos biométricos como sistemas de identificación biométrica remota (se excluyen los que son para verificar la identidad) o sistemas de reconocimiento de emociones. 

• Sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas como son el tráfico rodado, suministro de agua, gas, calefacción o electricidad. Son considerados de alto riesgo porque un fallo o defecto en su funcionamiento puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera considerable el desarrollo habitual de las actividades sociales y económicas.

• En materia de educación y formación profesional, cuando el sistema de IA sea para:

• Determinar el acceso o la admisión de personas físicas a centros educativos y de formación profesional o para distribuirlos
• Evaluar los resultados del aprendizaje o para orientar el proceso de aprendizaje en base a esos resultados
• Evaluar el nivel de educación adecuado que recibirá una persona
• Detectar de comportamientos prohibidos de los estudiantes durante los exámenes.

Estos sistemas podrían llegar a decidir la trayectoria formativa y profesional de una persona y en consecuencia pueden afectar a su capacidad para asegurar su subsistencia, por eso son considerados de alto riesgo y se les exige unos requisitos especiales.

• En temas laborales, cuando el sistema de IA sea para:

• La contratación o la selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar las solicitudes de empleo y evaluar a los candidatos
• Tomar decisiones que afecten a las condiciones laborales o a la promoción o rescisión de relaciones contractuales, para la asignación de tareas a partir de comportamientos individuales o rasgos o características personales o para supervisar y evaluar el rendimiento y el comportamiento de las personas en el marco de dichas relaciones.

Son sistemas que afectan a las futuras perspectivas laborales y a los medios de subsistencia. Por ello y porque tienen un alto grado de contener sesgos y socavar los derechos fundamentales de los trabajadores es por lo que son considerados de alto riesgo.

• El acceso a determinados servicios y prestaciones esenciales, de carácter público y privado, necesarios para que las personas puedan participar plenamente en la sociedad o mejorar su nivel de vida, y el disfrute de dichos servicios y prestaciones, es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En particular, las personas físicas que solicitan a las autoridades públicas o reciben de estas prestaciones y servicios esenciales de asistencia pública, a saber, servicios de asistencia sanitaria, prestaciones de seguridad social, servicios sociales que garantizan una protección en casos como la maternidad, la enfermedad, los accidentes laborales, la dependencia o la vejez y la pérdida de empleo, asistencia social y ayudas a la vivienda, suelen depender de dichas prestaciones y servicios y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. Son considerados de alto riesgo al afectar de un modo considerable a los medios de subsistencia de las personas y pueden verse vulnerados sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a la tutela judicial efectiva.

• Sistemas de IA que se utilicen en la investigación de delitos, para:

• Evaluar el riesgo de que una persona física sea víctima de delitos
• Polígrafos o herramientas similares
• Evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos
• Evaluar el riesgo de que una persona física cometa un delito o reincida en la comisión de un delito
• Elaborar perfiles de personas físicas, durante la detección, la investigación o el enjuiciamiento de delitos

Son de alto riesgo porque existe un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona, así como tener otros efectos adversos sobre sus derechos fundamentales.

• Sistema de IA empleados en migración, asilo, y control transfronterizo como pueden ser polígrafos, evaluación de riesgos que se hagan a esa persona en temas de salud o seguridad, ayuda en solicitudes de asilo y permisos o, reconocer e identificar personas físicas. Son de alto riesgo por afectar a los derechos de personas que con frecuencia se encuentran en una situación especialmente vulnerable y que dependen del resultado de las actuaciones de las autoridades competentes.

• Sistemas de IA que se utilicen por la Administración de justicia o en procesos democráticos. Por ejemplo:

• para ayudar a la autoridad judicial u otro organismo de resolución alternativa de conflictos en la investigación e interpretación de hechos y de la ley, o en aplicar la ley a unos hechos concretos.
• Para influir en el resultado de una elección o referéndum o en el comportamiento electoral de personas físicas que ejerzan su derecho de voto en elecciones o referendos.

Son de alto riesgo por sus efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial.

Obligaciones y requisitos de estos sistemas

Estos sistemas, que pueden ser ampliados o modificados por la Comisión Europea en función de los desarrollos tecnológicos y riesgos que se vayan evidenciando, deben cumplir unos requisitos y sus proveedores, importadores, distribuidores y empresas que los utilizan tienen una serie de obligaciones, entre las que están:

1. Implantación de un proceso documentado donde se determinen los riesgos o efectos negativos y se apliquen medidas de mitigación de los riesgos. Este sistema debe revisarse y actualizarse periódicamente.
2. En caso de que usen técnicas que impliquen el entrenamiento de modelos de IA con datos, deben garantizar el acceso a datos de alta calidad que eviten ser fuente de discriminaciones (provocadas por la existencia de sesgos) y respetar el derecho a la intimidad y a la protección de datos personales. Los datos deben ser de alta calidad es decir pertinentes, lo suficientemente representativos, libres de errores y completos.
3. Antes de su introducción en el mercado debe estar elaborada la documentación técnica (características generales, capacidades, limitaciones, algoritmos, datos, entrenamientos, pruebas, validaciones y el sistema de gestión de riesgos) que demuestre que el sistema de IA cumple con todas las especificaciones.
4. Deben conservarse registros de los acontecimientos del sistema
5. Deben diseñarse de modo que permitan comprender a las empresas que los van a utilizar la manera en que el sistema de IA funciona, sus características, capacidades y limitaciones y deben estar acompañados de instrucciones de uso
6. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser supervisados por personas físicas durante el período que estén en uso.
7. Deben tener un nivel adecuado de precisión, solidez y ciberseguridad.
8. Tienen que someterse a una serie de análisis y certificaciones por organismos independientes, así como unas obligaciones de registro en la base de datos de la UE.
9. Deben planificar programas de vigilancia posterior a la comercialización
10. Existe un deber de las empresas de cooperación con las autoridades de supervisión y de comunicación de las incidencias graves.

El Reglamento aconseja que los sistemas de Inteligencia Artificial que no sean considerados de alto riesgo adopten también códigos de conducta para aplicar, de forma voluntaria y adaptada a sus fines, los requisitos y obligaciones establecidos como obligatorios para los sistemas de IA de alto riesgo. El objetivo es conseguir una Inteligencia Artificial ética y fiable en la Unión Europea. 

• Son los que por su generalidad son competentes para una amplia variedad de tareas.
• Son componentes esenciales de algunos sistemas de Inteligencia Artificial (de alto riesgo o no), pero no son sistemas de IA propiamente dichos, para ello necesitarían, por ejemplo, que se les creara una interfaz de usuario. Cuando un modelo de IA de uso general esté integrado en un sistema de IA o forme parte de él, este sistema se considera sistema de IA de uso general porque gracias a ese modelo, podrá servir a diversos fines.
• Son modelos que se entrenan usando grandes volúmenes de datos (son especies de bibliotecas). Un ejemplo típico son los grandes modelos de IA generativa (Chat GPT), pues permiten la generación flexible de contenidos, por ejemplo, en formato texto, audio, imágenes o vídeo, que pueden adaptarse fácilmente a una amplia gama de tareas diferenciadas.

El nuevo reglamento los categoriza como modelos de IA de uso general con riesgos sistémicos y les impone más obligaciones, cuando entiende que tiene capacidades de generar gran impacto y por ello afectar a los procesos democráticos, seguridad ciudadana, etc.

Las obligaciones que se imponen a los proveedores de modelos de IA de uso general son destinadas a:

• mantener actualizada y completa la documentación técnica,
• al cumplimiento de los derechos de autor y demás derechos afines,
• identificar los contenidos utilizados para el entrenamiento,
• cooperar con las autoridades y tener Códigos de Buenas Prácticas,
• nombrar un representante dentro de la UE

Los modelos de uso general con riesgos sistémicos, además,

• deben realizar evaluaciones periódicas para detectar y mitigar riesgos sistémicos, comunicando a las autoridades los incidentes graves y medidas correctoras aplicadas,
• deben establecer un sistema adecuado de ciberseguridad.