Prácticas prohibidas de la IA: no todo vale

La creciente utilización de la Inteligencia Artificial (IA) ha traído consigo grandes beneficios, pero también plantea serios riesgos para los derechos fundamentales de los ciudadanos europeos. Para proteger a los consumidores y garantizar un desarrollo ético de la tecnología, la Unión Europea aprobó el 13 junio de 2024 el Reglamento de IA (AI Act), que introduce reglas claras sobre el desarrollo y uso de sistemas de IA dentro del territorio europeo.  

Este reglamento clasifica en cuatro niveles los sistemas de IA según su riesgo para los derechos fundamentales: inaceptable, alto riesgo, riesgo limitado y riesgo mínimo/nulo. En el caso de los sistemas de IA con riesgo inaceptable, por su potencial de daño a la sociedad, están completamente prohibidos desde el 2 de febrero de 2025. 

Esto significa que a partir de esta fecha, e independientemente de si ya estaba introducido en el mercado o no, cualquier sistema de IA que realice prácticas prohibidas estará sujeto a sanciones severas. Según el anteproyecto de ley para el buen uso y la gobernanza de la inteligencia artificial, las multas en España podrán ser de hasta 35 millones de euros o hasta del 7% del volumen de negocios anual de la empresa infractora. 

Además, los Estados miembros deben designar autoridades de vigilancia del mercado antes del 2 de agosto de 2025. En España  será la Agencia Española de Supervisión de Inteligencia Artificial (AESIA), el organismo público encargado de garantizar el uso ético y seguro de la inteligencia artificial. Su principal misión es asegurar que tanto entidades públicas como privadas cumplan con la normativa vigente, protegiendo la privacidad, igualdad de trato y derechos fundamentales. 

A continuación, repasamos todas esas prácticas prohibidas de la IA, con ejemplos reales proporcionados por la Comisión Europea.

1. Manipulación dañina y explotación de las vulnerabilidades

Prohíbe sistemas de IA que manipulan a personas mediante técnicas subliminales, engañosas o diseñadas para explotar vulnerabilidades por edad, discapacidad o condición socioeconómica. 

Algunos ejemplos de esta prohibición son:

• Publicidad subliminal con IA: Un sistema de IA que muestra mensajes o imágenes de forma imperceptible para influir en el comportamiento de compra de los consumidores sin su conocimiento.
• Manipulación emocional: Un asistente virtual que utiliza técnicas psicológicas para explotar la soledad de usuarios vulnerables, haciéndolos emocionalmente dependientes del servicio. 
• Plataformas de juego adictivo: Un videojuego que usa IA para ajustar dinámicamente recompensas y tiempos de espera con el fin de generar adicción, especialmente en menores. 
• Chatbots engañosos: Un bot que simula ser un amigo o familiar de la persona con voz y apariencia sintética para engañar y obtener datos personales o dinero. 
• Sistemas que explotan a grupos vulnerables: Un algoritmo que detecta a personas con problemas financieros y les ofrece préstamos a tasas extremadamente altas, aprovechándose de su situación. 

2. Social scoring

Prohíbe la clasificación de personas en base a su comportamiento social o características personales, especialmente si: 

• Se usa información de diferentes contextos no relacionados. 
• Se impone un trato injustificado o desproporcionado. 

Algunos ejemplos de esta prohibición son:

• Sistema de crédito social gubernamental: Un gobierno que otorga puntajes a los ciudadanos en función de su comportamiento (ejemplo: pagos de facturas, infracciones de tránsito) y restringe el acceso a servicios públicos según su puntuación.  
• Puntaje de confiabilidad en el trabajo: Un sistema de IA en una empresa que clasifica a los empleados según su comportamiento fuera del trabajo (por ejemplo, publicaciones en redes sociales) y usa este puntaje para promociones o despidos.  
• Control de beneficios sociales: Un sistema de IA que decide la elegibilidad para ayudas sociales basado en información irrelevante, como conexiones en redes sociales o historial de compras.  
• Evaluación de inmigrantes: Un sistema que asigna un puntaje a solicitantes de asilo en función de su religión o antecedentes socioeconómicos, restringiendo injustamente el acceso a la residencia. 

3. Predicción de delitos individuales

Prohíbe el uso de IA para predecir delitos basándose únicamente en el perfil de una persona o sus rasgos de personalidad. 

Algunos ejemplos de esta prohibición son:

• Sistema de predicción de criminalidad basado en etnicidad: Un software que predice la probabilidad de que una persona cometa un delito en el futuro solo basado en su raza, nacionalidad, lugar de residencia o nivel educativo. 
• Evaluación del riesgo de reincidencia sin hechos objetivos: Un sistema que califica a exconvictos como "peligrosos" sin basarse en hechos concretos, sino en características personales o asociaciones pasadas. 
• Aplicación de IA en preselección de sospechosos: Un sistema de vigilancia que identifica a personas con "altas probabilidades" de cometer delitos basado solo en patrones de comportamiento observados en redes sociales. 

Una excepción permitida en este caso es que se puede usar IA para ayudar a las fuerzas del orden solo si la evaluación se basa en hechos verificables relacionados con actividades criminales previas. 

4. Extracción masiva de imágenes faciales

Prohíbe la recolección no dirigida de imágenes faciales de la web o de sistemas de videovigilancia (CCTV) para bases de datos de reconocimiento facial. Busca proteger la privacidad y evitar abusos en vigilancia masiva. 

 Algunos ejemplos de esta prohibición son:

• Scraping de datos biométricos: Un sistema que recopila automáticamente imágenes de rostros de redes sociales y sitios web sin consentimiento para entrenar una base de datos de reconocimiento facial. 
• Uso de CCTV para recolección indiscriminada: Cámaras de seguridad que registran y almacenan imágenes faciales de todas las personas en un espacio público sin justificación legal. 

5. Reconocimiento de las emociones

Prohíbe la IA que infiere emociones en entornos laborales y educativos, salvo por razones médicas o de seguridad. Considera que esta tecnología puede ser invasiva y propensa a errores. 

 Algunos ejemplos de esta prohibición son:

• Detección de emociones en el lugar de trabajo: Un sistema de IA que analiza las expresiones faciales y el tono de voz de los empleados para evaluar su compromiso laboral. 
• IA en educación para medir emociones: Un software que monitorea el estado emocional de los estudiantes durante las clases para detectar desinterés o falta de motivación. 

Una excepción permitida es su uso en contextos médicos o de seguridad, como para evaluar el estrés en pilotos o detectar señales de fatiga en conductores. 

6. Categorización biométrica de características sensibles

Prohíbe sistemas de IA que deducen rasgos sensibles, como raza, religión, opiniones políticas u orientación sexual. 

Algunos ejemplos de esta prohibición son:

• Clasificación de personas por raza, religión o ideología política: Un sistema de IA que agrupa a individuos según su apariencia física y asocia esto con una posible ideología política o creencias religiosas. 
• Evaluación de orientación sexual mediante IA: Un software que pretende predecir la orientación sexual de una persona basándose en su rostro o comportamiento digital. 
• Filtración de personas en aeropuertos: Un sistema que impide el acceso a determinadas áreas a personas clasificadas con base en características biométricas sensibles. 

Una excepción permitida es el uso de etiquetado de bases de datos biométricas adquiridas legalmente para aplicaciones de seguridad. 

7. Identificación biométrica remota

Prohíbe el reconocimiento biométrico en tiempo real en espacios públicos para la aplicación de la ley.

 Algunos ejemplos de esta prohibición son:

• Cámaras de vigilancia en espacios públicos con reconocimiento facial en vivo: Un sistema de IA que escanea automáticamente a todas las personas en una plaza pública para identificar posibles criminales sin autorización previa. 
• Identificación masiva en eventos deportivos: Un software que compara rostros en tiempo real con bases de datos sin restricción ni supervisión judicial. 
• Uso de IA en manifestaciones: Un gobierno que emplea IA para monitorear y registrar los rostros de los asistentes a protestas y manifestaciones. 

Ahora bien, hay algunas excepciones a esta prohibición. Cuando se trata de: 

• Búsqueda de víctimas de delitos graves o personas desaparecidas. 
• Prevención de ataques terroristas inminentes. 
• Localización de sospechosos de delitos graves, con autorización previa. 

Un reglamento para proteger a los ciudadanos

Este reglamento representa un paso fundamental para garantizar que la IA se utilice de manera segura y respetuosa con los derechos fundamentales. Proteger a los ciudadanos de la manipulación, la discriminación y la vigilancia injustificada es crucial en un mundo cada vez más digitalizado.

Las prácticas de IA prohibidas en la UE buscan evitar la manipulación, discriminación y vigilancia masiva injustificada. Sin embargo, el uso de estas tecnologías puede permitirse en casos estrictamente regulados y supervisados para garantizar la protección de los derechos fundamentales.

Y para los casos en los que se permite el uso de sistemas prohibidos, estos deben incluir:

• Una evaluación previa del impacto en derechos fundamentales.  
• La autorización de una autoridad judicial o administrativa independiente.  
• El registro oficial de los sistemas autorizados.  
• La notificación a las autoridades tras cada uso. 

Es fundamental que los consumidores estemos informados

Los consumidores deben conocer sus derechos y denunciar cualquier práctica ilegal relacionada con la Inteligencia Artificial. La protección y el uso responsable de la tecnología dependen de la colaboración entre reguladores, empresas y ciudadanos. 

Las principales razones por las que los consumidores deben estar informados sobre estas prohibiciones son: 

• Protección de derechos fundamentales: Evita el uso abusivo de tecnologías que pueden afectar la autonomía y privacidad de las personas. 
• Mayor transparencia y seguridad: Se exige a las empresas que cumplan con normas estrictas para garantizar un uso ético de la IA. 
• Responsabilidad empresarial: Las multas elevadas aseguran que las grandes corporaciones cumplan con la regulación. 
• Evitar la discriminación y el abuso: Previene el uso de IA que favorezca a unos grupos sobre otros de manera injusta. 

POSTURA OCU SOBRE LA INTELIGENCIA ARTIFICIAL