Regulación de la inteligencia artificial (IA) en la UE

Por ello, es fundamental que las empresas y organizaciones conozcan qué prácticas de IA son inadmisibles en la UE, cómo evitar infringirlas y cómo garantizar el cumplimiento (compliance) de las nuevas normas. A continuación ofrecemos una visión general de las prácticas de IA prohibidas según el AI Act, un análisis más detallado de algunas prohibiciones (en particular, las técnicas manipuladoras y el reconocimiento de emociones) con referencias a artículos concretos del AI Act, una presentación de las directrices de la Comisión Europea sobre estas prohibiciones y recomendaciones prácticas para las empresas. Por último, explicamos cómo puede ayudar un despacho de abogados a sus clientes en materia de regulación de la IA.

Prácticas de IA prohibidas según el AI Act

El artículo 5 del AI Act prohíbe ocho tipos de prácticas de uso de la inteligencia artificial que se consideran un «riesgo inaceptable», es decir, contrarias a los valores de la UE y a los derechos fundamentales y, por tanto, absolutamente inadmisibles. Se trata de las siguientes prácticas prohibidas en el ámbito de la IA:

• Técnicas subliminales y manipuladoras (art. 5, apdo. 1, letra a), del AI Act): sistemas de IA que utilizan técnicas subliminales, deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar sustancialmente el comportamiento de una persona (o de un grupo de personas) fuera de su control consciente, induciéndolas a tomar una decisión que de otro modo no habrían tomado y causándoles un perjuicio. (Analizamos esta prohibición y ejemplos de técnicas de IA manipuladoras con más detalle más adelante).
• Explotación de vulnerabilidades (art. 5, apdo. 1, letra b): sistemas de IA que explotan las vulnerabilidades de personas o grupos derivadas de su edad, discapacidad o situación socioeconómica, con el fin de alterar sustancialmente su comportamiento de un modo que pueda causarles un perjuicio. Aquí se incluyen típicamente las prácticas de IA dirigidas a niños, personas mayores u otras personas vulnerables que intentan manipularlas para que actúen en su propio perjuicio (p. ej., fraudes dirigidos a personas mayores confiadas; véase más adelante).
• Puntuación social (social scoring) (art. 5, apdo. 1, letra c): sistemas de IA para evaluar o clasificar a las personas en función de su comportamiento social o de sus rasgos personales, que dan lugar a un llamado crédito social y, en consecuencia, a un trato desfavorable de dichas personas. La norma se dirige sobre todo a la evaluación social generalizada de la población al estilo de ciertos sistemas de crédito social, es decir, a un trato perjudicial de las personas fuera del contexto original de los datos o desproporcionado respecto de su comportamiento. Esta «puntuación de ciudadanos» está prohibida en la UE.
• Sistemas policiales predictivos (art. 5, apdo. 1, letra d): IA utilizada para evaluar el riesgo de que una persona cometa un delito sobre la base de la elaboración de perfiles o de la evaluación de sus rasgos, es decir, la predicción de la delincuencia sin base en hechos objetivos. Se trata, en la práctica, del «predictive policing» o de los análisis de «precrimen» conocidos por la ficción: el AI Act los prohíbe porque pueden conducir a la discriminación. (La prohibición no se aplica a los sistemas de apoyo que asisten a un investigador humano sobre la base de hechos verificados).
• Extracción masiva de datos biométricos (scraping) para el reconocimiento facial (art. 5, apdo. 1, letra e)): sistemas de IA que crean o amplían bases de datos de reconocimiento facial mediante la extracción no selectiva (scraping) de imágenes faciales de internet o de grabaciones de cámaras. Esta disposición se dirige a prácticas como la recopilación masiva de fotografías de la web o de redes sociales sin consentimiento para entrenar la IA en reconocimiento facial (un ejemplo es el caso Clearview AI). Dicha recopilación de datos biométricos no solicitada y realizada de forma encubierta está prohibida.
• Reconocimiento de emociones en el lugar de trabajo y en la educación (art. 5, apdo. 1, letra f): sistemas de IA destinados a inferir las emociones de las personas en el lugar de trabajo o en centros educativos (p. ej., el análisis de las expresiones de empleados o alumnos para determinar su estado emocional), salvo su uso con fines médicos o de seguridad. En otras palabras, el seguimiento de las emociones de empleados y estudiantes mediante IA está prohibido en la UE (véanse los detalles más adelante).

• Categorización biométrica según características sensibles (art. 5, apdo. 1, letra g): sistemas de IA que identifican biométricamente a las personas y las clasifican en categorías según su origen racial o étnico, opiniones políticas, convicciones religiosas, afiliación sindical, estado de salud, orientación o vida sexual, etc. Se trata de IA que intentaría deducir características sensibles de una persona a partir de datos biométricos (p. ej., de una fotografía del rostro o de la voz). Estas prácticas están prohibidas porque suponen una injerencia en la dignidad humana y la privacidad. (La prohibición no se aplica al mero etiquetado o filtrado de datos biométricos obtenidos legalmente ni a la categorización de datos biométricos con fines de aplicación de la ley; así, por ejemplo, la clasificación forense de huellas dactilares por la policía no se ve afectada).
• Identificación biométrica de personas en tiempo real en espacios públicos (art. 5, apdo. 1, letra h): el uso de IA para la identificación biométrica (p. ej., reconocimiento facial) en tiempo real en espacios de acceso público por parte de las autoridades encargadas de la aplicación de la ley. Esta prohibición se dirige a la vigilancia policial generalizada: por ejemplo, serían inadmisibles las cámaras con reconocimiento facial que vigilen a todos los transeúntes. Solo existen excepciones estrictamente delimitadas en las que puede utilizarse un sistema de este tipo (y únicamente por la policía): la búsqueda de víctimas de delitos (p. ej., secuestros o trata de seres humanos), la prevención de amenazas terroristas inminentes o la localización de un sospechoso concreto de un delito grave. Estas excepciones son muy restrictivas y están condicionadas, entre otras cosas, a la autorización previa de una autoridad judicial y a la realización de una evaluación de impacto en los derechos fundamentales. En la práctica, por tanto, no está permitido el uso policial generalizado de tecnologías de tipo «face recognition» en las calles.

Como puede verse, las prácticas de IA prohibidas abarcan sobre todo la manipulación, la vigilancia y la elaboración de perfiles que socavan la autonomía humana o pueden provocar discriminación y perjuicios. A continuación nos centramos con más detalle en dos ámbitos que el AI Act prohíbe expresamente y en los que también se centran las directrices de la Comisión: las técnicas manipuladoras y el reconocimiento de emociones.

Técnicas de IA manipuladoras y engañosas (art. 5(1)(a) del AI Act)

El AI Act prohíbe los sistemas de IA que utilizan técnicas subliminales, manipuladoras o engañosas para influir en las personas de un modo que menoscabe gravemente su capacidad de decisión y les cause un perjuicio.

Se trata de prácticas de manipulación «fuera de la conciencia» de la persona: por ejemplo, mensajes subliminales ocultos, influencia inadvertida en las emociones o una IA que engaña deliberadamente a la persona sobre su naturaleza o sus intenciones. Lo decisivo es que estas técnicas influyan sustancialmente en el comportamiento de la persona, que toma entonces una decisión que en circunstancias normales no habría tomado, y que se produzca un daño.

En esta categoría entran diversas formas de manipulación engañosa u oculta mediante IA. No importa si el desarrollador de la IA pretendía engañar a alguien: la prohibición se aplica ya cuando el sistema utiliza objetivamente estas técnicas manipuladoras y puede causar un perjuicio significativo.

Un ejemplo típico es un chatbot de IA que se hace pasar por una persona real (p. ej., un amigo o un familiar) y convence a la víctima para que realice algún acto en su propio perjuicio (por ejemplo, entregar dinero): una IA engañosa de este tipo que causa un perjuicio está claramente prohibida.

Otro ejemplo puede ser una IA que genera contenido visual o audiovisual (el llamado deepfake) sin advertir de que se trata de una obra creada artificialmente, si con ello se engaña a una persona. Las técnicas subliminales pueden consistir, por ejemplo, en insertar en un vídeo textos o imágenes que parpadean a gran velocidad y que son imperceptibles de forma consciente, pero que el cerebro procesa inconscientemente e influyen en el espectador. También esto entraría en esta práctica prohibida.

La Comisión Europea explica en detalle en sus Directrices sobre prácticas de IA prohibidas (véase más adelante) qué puede considerarse una técnica manipuladora o engañosa.

Por ejemplo, la Comisión interpreta el concepto de «alteración sustancial del comportamiento» de una persona en consonancia con el Derecho de protección de los consumidores, de forma análoga a la «distorsión sustancial del comportamiento económico» en las prácticas comerciales desleales según la Directiva 2005/29/CE.

Un criterio distintivo importante es si la IA va más allá de la «persuasión lícita». La influencia legítima (p. ej., la publicidad habitual) es la que presenta información o argumentos de forma transparente, aunque apele a las emociones, pero no recurre a la manipulación oculta.

Por el contrario, las prácticas de IA que explotan sesgos cognitivos, debilidades emocionales u otras vulnerabilidades de la persona sin que esta sea consciente de ello constituyen manipulación prohibida.

Las directrices de la Comisión describen varios escenarios concretos. Además del chatbot mencionado, citan, por ejemplo, la IA que genera vídeos deepfake, los cuales, si están claramente identificados como artificiales (p. ej., mediante una marca de agua o un texto de advertencia), reducen significativamente el riesgo de engaño deliberado y de manipulación perjudicial. Se trata de un consejo importante para la práctica: mediante una transparencia rigurosa (etiquetado del contenido generado por IA, información a los usuarios de que se comunican con una máquina, etc.) puede evitarse que se cumplan los elementos de esta prohibición.

Para las empresas que desarrollan sistemas de IA que interactúan con personas, esto significa que siempre deben informar a los usuarios de que están tratando con una IA (lo que, por otra parte, constituye una obligación independiente según el AI Act para toda IA destinada a interactuar con personas). Asimismo, deben evitarse cualesquiera «herramientas de persuasión» ocultas que el usuario no pueda detectar conscientemente.

En resumen, cualquier IA que manipule en secreto al usuario en su perjuicio no tiene cabida en la UE. Las empresas deberían evaluar sus aplicaciones de IA: por ejemplo, ciertos algoritmos de marketing agresivos o «dark patterns» basados en IA podrían entrar en esta categoría si indujeran a los consumidores a decisiones de compra o actuaciones perjudiciales que en circunstancias normales no habrían tomado. Si un proyecto de IA roza, aunque sea remotamente, esta definición, es imprescindible reclasificarlo o modificarlo para garantizar que no se trata de manipulación subliminal (p. ej., aumentando la información del usuario en el proceso, introduciendo opciones de elección, obteniendo el consentimiento, etc.). En caso de duda, conviene adoptar un enfoque conservador o recabar asesoramiento jurídico.

Reconocimiento de emociones en el lugar de trabajo y en la educación (art. 5(1)(f))

La segunda práctica prohibida específica es la IA para el reconocimiento de emociones en el empleo y la educación. El artículo 5(1)(f) del AI Act prohíbe introducir en el mercado o utilizar sistemas de IA para inferir las emociones de una persona física en el lugar de trabajo y en los centros educativos (escuelas).

Solo se exceptúan los sistemas destinados a fines médicos o de seguridad. En la práctica, esto significa que, por ejemplo, una cámara con IA que observe la expresión facial de un empleado o estudiante para evaluar su estado emocional (si está enfadado, aburrido, triste, etc.) es inadmisible. Por tanto, las empresas no pueden implantar IA para vigilar el estado de ánimo o las emociones de sus trabajadores durante el trabajo, y del mismo modo las escuelas no pueden supervisar las manifestaciones emocionales de los alumnos mediante IA.

El objetivo de esta prohibición es proteger la privacidad y la dignidad humanas: las manifestaciones emocionales pertenecen a una esfera muy íntima, y su evaluación automatizada en el contexto laboral o educativo puede dar lugar a presiones o discriminación. Las directrices de la Comisión Europea subrayan que esta prohibición afecta a cualquier sistema de IA que identifique o interprete emociones o intenciones de una persona en estos entornos. El concepto de «emociones e intenciones» se interpreta de forma amplia y no debe limitarse a unas pocas emociones básicas. Es relevante que, típicamente, se tratará de IA que analiza datos biométricos (expresiones faciales, tono de voz, gestos, manifestaciones fisiológicas).

Si la IA infiriera el estado emocional únicamente a partir de texto (p. ej., el análisis de las palabras de un correo electrónico), no entraría en esta prohibición, ya que los datos textuales no son biométricos. No obstante, cualquier captación y evaluación de expresiones faciales, entonación de voz, movimientos corporales, frecuencia cardíaca, etc., para determinar emociones en el trabajo o en la escuela está prohibida.

Consecuencias prácticas de esta prohibición: los empleadores deben reconsiderar cualquier implantación de sistemas de IA para supervisar a los empleados. Por ejemplo, una aplicación que evalúe el «grado de sonrisa» de los dependientes en el trato con los clientes o una IA que controle el estrés o la satisfacción de los empleados a través de la webcam entrarían en la prohibición y no pueden utilizarse.

Solo se exceptúan los sistemas implantados por motivos de seguridad o salud: p. ej., una IA que detecte signos de fatiga o ansiedad en conductores u operadores de maquinaria peligrosa para evitar accidentes. De forma similar, un asistente de IA que analice la voz de un trabajador desde el punto de vista de la salud (detección de signos de estrés que puedan provocar un infarto) podría acogerse a la excepción permitida por motivos médicos. No obstante, siempre debe tratarse de un fin realmente de seguridad o de salud, y no, por ejemplo, de aumentar la productividad o controlar la lealtad: tales fines quedan fuera de la excepción.

Las empresas deberían evaluar con suma cautela cualquier tecnología que «lea» las emociones de empleados o estudiantes. Si, por ejemplo, el departamento de RR. HH. se planteara utilizar IA para analizar entrevistas en vídeo de candidatos (las llamadas entrevistas con IA, que observan la mímica del candidato para estimar su personalidad), hay que advertir de que en la UE dicha práctica podría infringir el art. 5(1)(f) si se tratara de evaluar las emociones del candidato en su condición de potencial empleado.

Del mismo modo, cualquier herramienta de «emotion AI» para evaluar el estado de ánimo de los equipos, la satisfacción de los clientes a través de las reacciones emocionales de los empleados, etc., resulta problemática. Como alternativa, cabe centrarse en métricas objetivas de rendimiento o satisfacción (p. ej., cuestionarios anónimos) en lugar de captar emociones de forma encubierta, o utilizar otras tecnologías que queden fuera de la definición del AI Act (si se tratara de software determinista sin aprendizaje automático; aun así, sigue aplicándose la protección de la privacidad conforme al RGPD).

Desde el punto de vista regulatorio, el reconocimiento de emociones fuera de los contextos prohibidos mencionados (p. ej., una IA que analiza las emociones de los clientes en una tienda con fines de marketing) entra en una categoría de riesgo inferior: en concreto, se ha incluido entre los sistemas de IA de alto riesgo según el anexo III del AI Act cuando se utiliza para clasificar a personas sobre la base de datos biométricos (incluidas las emociones) para el acceso a servicios.

Estos casos exigirían cumplir requisitos estrictos, pero no están prohibidos de forma absoluta. Sin embargo, para una empresa corriente lo más importante es saber que cualquier intención de utilizar IA para supervisar el estado emocional de sus propios empleados choca con una prohibición estricta y no puede llevarse a cabo.

Solicite el e-book «No pierda el tiempo con los contratos» AQUÍ

Directrices de la Comisión Europea sobre prácticas de IA prohibidas

El 4 de febrero de 2025, es decir, poco después de la entrada en vigor de dichas prohibiciones, la Comisión Europea publicó las Directrices sobre prácticas de inteligencia artificial prohibidas según el AI Act (documento C(2025) 884 final). Estas Directrices han sido aprobadas por la Comisión, si bien formalmente se finalizarán tras su traducción a todas las lenguas. Su finalidad es ofrecer una interpretación y ejemplos prácticos de cada una de las prohibiciones del artículo 5 del AI Act y contribuir así a su aplicación uniforme y eficaz en toda la UE.

Las Directrices no son jurídicamente vinculantes por sí mismas (la interpretación vinculante corresponde al Tribunal de Justicia de la UE), pero tienen un importante valor orientativo y cabe esperar que las tengan en cuenta tanto las autoridades de supervisión como los tribunales. Para empresas y organizaciones constituyen, por tanto, una valiosa guía sobre cómo entiende la Comisión cada una de las prohibiciones.

¿Qué contienen las Directrices? Para cada una de las prácticas prohibidas de la a) a la h), las Directrices analizan los elementos principales de la definición, ofrecen ejemplos prácticos y delimitan también lo que, por el contrario, no entra en la prohibición. Además, ofrecen recomendaciones sobre cómo evitar suministrar o utilizar sistemas de IA de un modo que pudiera estar prohibido.

Por ejemplo, en relación con las técnicas manipuladoras (letra a), las Directrices explican los conceptos «subliminal» frente a «manipulador» frente a «engañoso», distinguen lo que todavía es persuasión admisible (lawful persuasion) y lo que ya constituye manipulación prohibida, y recomiendan medidas como la advertencia expresa del contenido generado por IA (labeling), que puede mitigar el riesgo de manipulación.

En cuanto a la prohibición del reconocimiento de emociones, las Directrices precisan que no se aplica al uso con clientes o privado (solo afecta al lugar de trabajo y a las escuelas) e incluyen escenarios de lo que sigue estando permitido, p. ej., sistemas para determinar el nivel de estrés por motivos de seguridad. De manera análoga, para las demás categorías (explotación de personas vulnerables, puntuación social, identificación biométrica, etc.) las Directrices ofrecen un análisis detallado.

Para las empresas es relevante que las Directrices de la Comisión incluyen también ejemplos concretos de la práctica. Muchos los hemos mencionado antes: p. ej., un chatbot manipulador que se hace pasar por un amigo, una IA que introduce estímulos imperceptibles o una IA de marketing que explota la dependencia de los adolescentes de una aplicación; las Directrices citan todo ello como prácticas prohibidas típicas.

Por el contrario, también mencionan ejemplos de sistemas que no entran en las categorías prohibidas, para trazar el límite. Por ejemplo, en materia de manipulación se subraya que la publicidad o persuasión habitual que no recurre a trucos engañosos ocultos no se ve afectada por esta prohibición.

En cuanto al análisis emocional, se señala que, si la IA no reúne todos los elementos de la práctica prohibida (p. ej., no se utiliza con empleados), entrará en una categoría de riesgo inferior: típicamente, IA de alto riesgo con obligaciones en lugar de una prohibición absoluta.

Resumen de la importancia de las Directrices: para las empresas y organizaciones que trabajan con IA, estas directrices son valiosas porque aumentan la seguridad jurídica. El AI Act es relativamente general y tecnológicamente neutro, por lo que determinar en concreto si una aplicación de IA entra en una prohibición puede resultar complejo. Gracias a las Directrices, las empresas disponen ahora de la interpretación de la Comisión, incluidos escenarios prácticos. Aunque las Directrices no son jurídicamente vinculantes, sería arriesgado ignorarlas: cualquier desviación de la interpretación de la Comisión tendría que defenderse, en su caso, ante los tribunales. Por ello recomendamos a las empresas que conozcan las Directrices (son de acceso público) y que, en su caso, consulten los casos dudosos con un abogado para verificar que sus actividades de IA se ajustan tanto al espíritu como a la letra de la regulación.

Consecuencias para empresas y organizaciones: cómo evitar infracciones y garantizar el compliance

Aplicación inmediata de las prohibiciones y sanciones elevadas

Como ya se ha indicado, las prohibiciones de prácticas de IA están en vigor desde febrero de 2025. Por ello, toda empresa u organización que utilice IA debería realizar de inmediato un inventario de sus sistemas y aplicaciones y comprobar si alguno constituye una práctica prohibida según el art. 5 del AI Act. A diferencia de las obligaciones para la llamada IA de alto riesgo (que cuentan con un período transitorio más largo para su implementación), aquí no se ha concedido ningún plazo de aplazamiento: la prohibición rige y es exigible ya. En cada Estado miembro, la supervisión del cumplimiento corresponderá a las autoridades de vigilancia del mercado (market surveillance authorities) y, en su caso, a otros reguladores (p. ej., las autoridades de protección de datos en lo relativo a la IA biométrica). Estas pueden realizar inspecciones e imponer sanciones. Como hemos mencionado, las sanciones no son desdeñables: hasta 35 millones de euros o el 7 % del volumen de negocios anual de la empresa.

Esto se aplica en caso de infracción de la prohibición del art. 5. A modo de comparación, es el mismo nivel de sanciones que para las infracciones más graves del RGPD. El riesgo financiero, jurídico y reputacional es, por tanto, enorme si una empresa operara, aunque fuera sin saberlo, una IA prohibida.

Pasos prácticos para cumplir los requisitos (compliance)

1. Identificación de los sistemas de IA y evaluación del riesgo: el primer paso es inventariar todos los sistemas y proyectos de IA de la empresa. El AI Act contiene una definición bastante amplia de «sistema de IA», que abarca no solo el aprendizaje automático, sino también los sistemas lógicos o expertos, los modelos bayesianos, etc. (es decir, cualquier software que utilice un procedimiento inteligente autónomo para una tarea concreta). Para cada uno de estos sistemas es necesario evaluar en qué categoría de riesgo se encuadra.

Si entrara en la categoría de prácticas prohibidas (véanse la lista anterior y la descripción detallada), es necesario adoptar medidas de inmediato: o bien modificar sustancialmente el sistema, o bien dejar de utilizarlo. Por el contrario, los sistemas de IA de alto riesgo deberán someterse, antes de la fecha de aplicación del AI Act (probablemente en 2026), a una evaluación de la conformidad y cumplir una serie de requisitos técnicos y organizativos, pero no tienen que desactivarse. Las prácticas prohibidas, en cambio, no admiten concesiones: no pueden utilizarse en absoluto.

2. Atención a los ámbitos críticos: las empresas deben centrarse especialmente en los ámbitos de marketing, RR. HH., seguridad y análisis de datos, donde existe el riesgo de que algunas ideas innovadoras de IA choquen con el art. 5. Ejemplos de preguntas que la empresa debería plantearse:

• ¿Intenta nuestra herramienta de marketing con IA manipular subliminalmente a los clientes? (P. ej., ¿utiliza trucos de neuromarketing sin que el usuario lo sepa?)
• ¿Se dirige nuestra publicidad u oferta basada en IA específicamente a grupos vulnerables de un modo que pueda perjudicarlos? (P. ej., uso de datos sobre la edad avanzada para presionar a personas mayores, ofertas engañosas de inversiones o de productos terapéuticos dirigidas a enfermos, etc.; esto podría constituir la prohibición del art. 5(1)(b)).
• ¿Utilizamos herramientas de supervisión de empleados o estudiantes mediante IA que puedan vigilar sus emociones o invadir de otro modo excesivamente su privacidad? (Véase la prohibición del art. 5(1)(f); en caso afirmativo, deténgase de inmediato).
• ¿Tenemos previsto implantar IA para evaluar la fiabilidad de las personas sobre la base de grandes volúmenes de datos (p. ej., scoring de clientes más allá de la solvencia crediticia)? (Podría asemejarse al social scoring y chocar con el art. 5(1)(c)).
• ¿Utilizamos por casualidad alguna base de datos pública de rostros o de perfiles biométricos creada mediante «scraping» masivo de internet? (En caso afirmativo, es muy problemático: conviene verificar el origen de los datos de entrenamiento y respetar los procedimientos legales de obtención del consentimiento; de lo contrario, se infringe el art. 5(1)(e)).
• ¿Estamos desarrollando una IA que intente estimar características sensibles de las personas (p. ej., etnia, orientación, estado de salud) a partir de sus fotografías o su voz? (Un proyecto así entraría en la prohibición del art. 5(1)(g): es necesario detenerlo o modificar su planteamiento).
• En materia de seguridad: ¿tenemos previsto implantar cámaras de face recognition para la vigilancia general de espacios públicos? (Para las entidades privadas esto ya está prohibido en general por otros motivos, el RGPD, y para la policía solo se permite de forma limitada según el art. 5(1)(h)). Las empresas pueden utilizar la identificación biométrica solo internamente para la autenticación en un círculo limitado, p. ej., el acceso de los empleados al edificio mediante reconocimiento facial, lo cual no constituye un «espacio público» ni un fin policial, por lo que la prohibición no se aplica.

3. Modificación o cese de las actividades de IA de riesgo: si identifica un sistema de IA que podría entrar en una categoría prohibida, debe actuar de inmediato. Opciones:

• Cese del uso: la vía más segura si la IA no es crítica para el negocio. Por ejemplo, decide no utilizar una herramienta experimental de IA antes que arriesgarse a infringir la ley.
• Medidas técnicas y procedimentales para mitigar el riesgo: a veces es posible modificar la IA para que quede fuera de la definición prohibida. Ejemplo: si dispone de una IA que genera avatares de vídeo muy realistas para comunicarse con los clientes, asegúrese de que siempre se indique claramente que se trata de un personaje virtual (aviso «Soy un asistente virtual»); así evitará el engaño y la IA no será «manipuladora». O, si ha desarrollado una IA para evaluar las emociones de los empleados por motivos de seguridad, documente dicho fin y no utilice los resultados para otro fin (para acogerse a la excepción).
• Evaluación jurídica de los casos límite: si no está seguro de si su sistema de IA traspasa el límite, consúltelo con un abogado o con un experto en compliance. Por ejemplo, la diferencia entre la personalización de contenidos permitida y la manipulación prohibida puede ser sutil, y lo decisivo es el grado y el tipo de influencia en el usuario. En este sentido, también pueden ayudar las Directrices de la Comisión: un asesor jurídico puede revisarlas con usted y evaluar su caso de uso concreto.

4. Formación y directrices internas: implante procesos internos que garanticen que los nuevos proyectos de IA se evalúen antes de su despliegue desde el punto de vista del cumplimiento del AI Act (de forma similar a como hoy se evalúan los proyectos desde el punto de vista de la protección de datos personales, la EIPD). Forme a sus desarrolladores, product managers y demás empleados pertinentes sobre las prácticas prohibidas. Es importante que los miembros del equipo sepan que, por ejemplo, la idea de «analizar la expresión facial del cliente por webcam y ajustar la oferta en consecuencia» es jurídicamente inadmisible. Elabore códigos y directrices para el desarrollo de IA en la empresa que incluyan una lista de verificación de ámbitos prohibidos: así los desarrolladores podrán detectar desde el principio que no deben seguir determinada dirección.

5. Seguimiento de la evolución de la regulación: el ámbito de la IA es dinámico: el AI Act faculta a la Comisión para ajustar detalles en el futuro (p. ej., puede ampliarse la lista de prácticas prohibidas si surgen nuevas tendencias peligrosas). Por ello, siga las actualizaciones de la legislación y de su interpretación. La Comisión ya publica, además de las directrices sobre prácticas prohibidas, directrices sobre la definición de sistema de IA y otras metodologías. Un despacho de abogados puede ayudarle con el seguimiento continuo (véase más adelante).

Ejemplos prácticos o cómo evitar infracciones

Para ilustrar las medidas prácticas, presentamos varios escenarios y recomendaciones para prevenir la infracción de las prohibiciones:

• La transparencia como prevención del engaño: si utiliza chatbots o asistentes virtuales, informe siempre claramente a los usuarios de que se comunican con una IA. Así evitará engaños involuntarios. Del mismo modo, etiquete el contenido generado por IA (texto, imágenes, vídeos) para que el observador sepa que no se trata de una persona o realidad auténtica. De este modo minimizará el riesgo de que el resultado de la IA engañe a alguien o influya en él de forma oculta.
• Cautela al dirigirse a grupos vulnerables: en publicidad y ofertas, evite que la segmentación mediante IA se dirija explícitamente a personas según su vulnerabilidad (edad, enfermedad, pobreza) con la intención de aprovecharse de ellas. Si, por ejemplo, la IA ha identificado un grupo de personas mayores que reaccionan a un determinado estímulo, no lo aproveche para presionarlas (p. ej., venta agresiva de un producto costoso de valor dudoso). Una situación así podría considerarse explotación prohibida de la vulnerabilidad.
• Ninguna vigilancia de las emociones de los empleados fuera del ámbito de la seguridad: establezca una prohibición interna de utilizar cualquier tecnología de reconocimiento de emociones de los empleados, salvo que exista un motivo expreso de seguridad o salud. Las excepciones (p. ej., la supervisión de la atención de un conductor de camión mediante cámara para prevenir microsueños) deben aprobarse por escrito por la dirección y el departamento jurídico, para que quede claro que son legales y sirven a la seguridad. En cambio, rechace categóricamente ideas como evaluar a partir de videollamadas si los empleados son «suficientemente positivos»: no es legal.
• Uso correcto de las tecnologías biométricas: si utiliza la biometría (huella dactilar, reconocimiento facial) para autenticar a las personas en el acceso, asegúrese de obtener los datos legalmente y de forma específica solo para esta función. No cree sus propias grandes bases de datos biométricas descargando en secreto fotografías de fuentes de internet: con ello infringiría tanto el AI Act (art. 5(1)(e)) como el RGPD. En caso necesario, utilice preferentemente conjuntos de datos disponibles oficialmente o adquiera una licencia de un proveedor que haya obtenido los datos conforme a Derecho.
• Cuidado con el «AI scoring» de personas: si utiliza IA para evaluar a clientes o usuarios (p. ej., scoring de fiabilidad, solvencia o riesgo), aténgase a criterios establecidos y legítimos. No invente una «puntuación social» más amplia que combine una ingente cantidad de datos sobre el comportamiento y ponga a las personas etiquetas como «ciudadano problemático»: eso es exactamente lo que la UE ha prohibido. Todo sistema de puntuación de personas debe tener un fin claro y concreto (p. ej., la evaluación de la solvencia para un crédito) y no trasladar consecuencias negativas a ámbitos completamente distintos de la vida de la persona.

Respetando los principios y recomendaciones anteriores, las empresas pueden minimizar el riesgo de incurrir sin saberlo en una práctica prohibida. Además, se ganarán la confianza de clientes y reguladores de que utilizan la IA de forma ética y responsable, lo que, por otra parte, es uno de los objetivos del AI Act.

Cómo puede ayudar un despacho de abogados con la regulación de la IA

La regulación de la IA en la UE es nueva y compleja. Las empresas a menudo no cuentan con expertos internos que abarquen todos los requisitos legales (AI Act, RGPD, normativa de ciberseguridad, etc.) y que, al mismo tiempo, comprendan la vertiente técnica de los sistemas de IA. Un despacho de abogados especializado en Derecho tecnológico puede desempeñar en esta situación un papel clave como socio que ayude a sus clientes a prevenir problemas y utilizar la IA de forma segura. Entre las formas concretas de ayuda figuran:

• Auditoría y evaluación de los sistemas de IA: los abogados pueden realizar una auditoría integral de sus herramientas y proyectos de IA e identificar posibles riesgos. Para cada sistema evaluarán si entra en una categoría prohibida o en el régimen de sistema de alto riesgo con requisitos. Especialmente en los casos límite (p. ej., sistemas de personalización de contenidos que podrían considerarse manipuladores), emitirán una opinión experta fundamentada en el AI Act y en las Directrices de la Comisión.
  
  
• Propuesta de medidas de compliance: si se detecta un problema potencial, el despacho propondrá soluciones a medida, por ejemplo, la modificación del funcionamiento de la IA (inclusión de avisos para los usuarios, cambio del algoritmo de selección del público objetivo, etc.), la implantación de políticas internas u otras medidas que garanticen el cumplimiento de la ley. A menudo el objetivo es encontrar la manera de alcanzar el objetivo empresarial del cliente por una vía alternativa que ya no sea ilícita.
  
  
• Cobertura jurídica de los proyectos de IA desde el principio: lo ideal es implicar a los abogados ya en la fase inicial del desarrollo o de la adquisición de soluciones de IA. Los abogados ayudarán a configurar los contratos con los proveedores de IA para que incluyan garantías de cumplimiento del AI Act. También pueden revisar las licencias y los datos, p. ej., verificar que los datos de entrenamiento de la IA no se hayan obtenido de forma contraria a Derecho (scraping de datos personales, etc.). Así se evitan litigios posteriores.
  
  
• Formación y elaboración de directrices internas: el despacho puede preparar para el cliente formaciones para la dirección y los desarrolladores sobre las nuevas obligaciones del AI Act. Además, ayudará a elaborar una guía interna para el desarrollo y el uso de la IA: un documento práctico que resuma qué pueden y qué no pueden hacer los empleados con la IA, cómo evaluar los riesgos y cuándo acudir al departamento jurídico. De este modo, los requisitos legales se trasladan a la práctica diaria de la empresa.
  
  
• Resolución de cuestiones transfronterizas y regulatorias: para las empresas multinacionales es una ventaja que el AI Act sea un reglamento directamente aplicable en todos los Estados de la UE. No obstante, las autoridades de supervisión y los procedimientos locales pueden diferir. El despacho puede coordinar una estrategia común para las filiales en la UE, comunicarse con los reguladores en caso de consultas o inspecciones y representar al cliente en procedimientos si surgiera algún litigio o acusación de infracción (p. ej., defender que el sistema de IA en cuestión en realidad no entra en la prohibición por determinados motivos).
  
  
• Actualización y supervisión continua: el Derecho de la IA seguirá evolucionando: los abogados seguirán las modificaciones del AI Act, las nuevas directrices y las resoluciones judiciales e informarán continuamente a los clientes de lo que ello supone para ellos. Así podrán advertir a tiempo, por ejemplo, de la ampliación de la lista de aplicaciones de alto riesgo o de nuevas interpretaciones de las prácticas prohibidas.

En conclusión, la regulación de la IA en la UE (AI Act) supone un reto para las empresas, pero con ayuda experta es posible orientarse en ella con éxito. Las prácticas de IA prohibidas definidas en el AI Act nos protegen a todos de las formas más peligrosas de abuso de la IA, y respetarlas redunda en interés tanto de la sociedad como de su negocio (su infracción conllevaría duras sanciones y la pérdida de la reputación).

El despacho de abogados le ayudará a establecer procesos de compliance para que pueda utilizar tecnologías de IA innovadoras y, al mismo tiempo, cumplir plenamente la regulación. Gracias a ello podrá centrarse en el desarrollo de sus proyectos de IA con la certeza de que son legales, éticos y seguros.