Cumplimiento de la AI Act y el RGPD

Principales requisitos de la AI Act y el RGPD

El Reglamento divide las aplicaciones de IA en cuatro categorías:

• prohibidas (usos inadmisibles, p. ej. técnicas manipuladoras, puntuación social, etc.),
• de alto riesgo (sistemas de IA con impacto sustancial en la seguridad o los derechos de las personas, p. ej. en sanidad, transporte, finanzas, educación o selección de personal),
• riesgo limitado (p. ej. IA generativa como ChatGPT: obligación de ciertas medidas de transparencia, como el etiquetado de contenido generado por IA)
• riesgo mínimo o nulo (aplicaciones de IA habituales a las que la AI Act no se aplica de forma específica)​.

Los sistemas de IA de alto riesgo estarán sujetos a requisitos estrictos, entre otros: certificación y evaluación de conformidad antes de su comercialización, mantenimiento de la documentación técnica, garantía de supervisión humana sobre su toma de decisiones, medidas para la calidad de los datos y prevención de sesgos (discriminación) o seguridad del sistema​.

Los proveedores de estos sistemas también deberán contar con el registro en la base de datos de la UE, supervisión y actualizaciones continuas, y asumen responsabilidad por los posibles daños​. Incluso para la IA de menor riesgo la AI Act establece ciertas obligaciones, como garantizar que los usuarios sepan que están interactuando con una IA (cuando no resulte evidente) y etiquetar el contenido generado por IA (la llamada transparencia de la IA)​.

Es importante señalar que la AI Act afecta no solo a los desarrolladores y proveedores de IA, sino, en cierta medida, también a las empresas como usuarias: si una empresa utiliza un sistema de IA sujeto a la regulación, debe cumplir las normas establecidas para su uso.

El RGPD se centra en la protección de los datos personales y se aplica a todas las entidades que tratan datos personales de ciudadanos de la UE. Para las empresas esto implica, en particular, la obligación de tratar los datos personales de forma lícita y transparente: disponer para cada tratamiento de una base jurídica válida (consentimiento, contrato, interés legítimo, etc.), informar a los interesados sobre la finalidad y el modo del tratamiento, y respetar sus derechos (p. ej. el derecho de acceso a los datos, supresión, oposición o limitación del tratamiento).

El RGPD también exige la implantación de medidas organizativas y técnicas para proteger los datos y minimizar riesgos (cifrado, seudonimización, limitación de accesos, etc.), y en caso de violación de seguridad (brecha de datos) obliga a notificar el incidente a las autoridades y, con frecuencia, también a las personas afectadas.

Un aspecto clave para el ámbito de la IA es la toma de decisiones automatizada y la elaboración de perfiles: el RGPD (en su art. 22) otorga a las personas el derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado (incluida la IA) cuando produzca efectos jurídicos o similarmente significativos.

Dicho de otro modo, si una empresa utiliza IA para tomar decisiones automatizadas que afectan a personas (p. ej. puntuación de clientes, denegación automatizada de préstamos o selección de candidatos a un puesto de trabajo), debe obtener el consentimiento expreso o bien garantizar que en el proceso interviene un elemento humano, o proporcionar a las personas afectadas la posibilidad de impugnar la decisión y solicitar su revisión por una persona.

El RGPD y la IA se entrelazan en los momentos en que los sistemas de IA tratan datos personales; en esos casos es necesario cumplir ambas normativas simultáneamente. Por ejemplo, la AI Act insiste en el respeto de los derechos fundamentales y exige expresamente que el sistema de IA sea conforme con el RGPD​, lo que significa que los datos utilizados para entrenar o para que la IA tome decisiones deben obtenerse y utilizarse dentro de los límites de la normativa de protección de datos.

Pasos prácticos hacia el cumplimiento

¿Cómo proceder en concreto para que la empresa cumpla los requisitos de la AI Act y el RGPD? Lo clave es la proactividad y un enfoque sistemático. A continuación se exponen los pasos prácticos y las medidas que las medianas y grandes empresas deberían valorar para alcanzar y mantener el cumplimiento:

Establecimiento de procesos y responsabilidades internas

El primer paso es implantar dentro de la organización una gobernanza de la IA: normas y procesos claros para el desarrollo o el uso de sistemas de inteligencia artificial. La dirección debería determinar quién asumirá la responsabilidad de la agenda de cumplimiento en materia de IA (por ejemplo, ampliar las competencias del actual delegado de protección de datos —DPO— también al ámbito de la IA, o crear un nuevo rol para la ética y el cumplimiento en IA).

Asimismo, conviene realizar una auditoría interna o un inventario de todas las herramientas y proyectos de IA que la empresa utiliza o desarrolla, y evaluar su nivel de riesgo tanto desde la perspectiva de la AI Act como del RGPD. Este inventario permitirá centrarse en las áreas relevantes.

También es necesario actualizar las directrices y políticas internas: por ejemplo, añadir normas sobre el uso de la IA generativa (qué pueden o no introducir los empleados en herramientas como ChatGPT), definir el proceso de aprobación de nuevas soluciones de IA y establecer procedimientos para notificar incidentes relacionados con la IA.

Por último, es fundamental impartir formación periódica a los empleados: la AI Act introduce el requisito de la llamada alfabetización en IA, es decir, garantizar que el personal que trabaja con IA tenga los conocimientos adecuados sobre las normas y los riesgos. La formación debería familiarizar a los empleados con las implicaciones de la AI Act y el RGPD, con los principios éticos de la IA y enseñarles a identificar y gestionar situaciones de riesgo.

Identificación de los sistemas de IA sujetos a regulación

No todas las herramientas de IA de una empresa entrarán en la categoría de riesgo alto o limitado según la AI Act. Por ello es necesario clasificar los sistemas de IA según las categorías de riesgo.

Pregúntese: ¿Utilizamos IA en un ámbito que la AI Act califica de alto riesgo?

Ejemplos típicos en las empresas incluyen: IA para selección de personal y RR. HH. (cribado de currículos, evaluación automatizada de candidatos), evaluación de empleados, además de la IA en servicios financieros (puntuación de clientes, detección de fraudes), en sanidad (algoritmos de diagnóstico), en producción y mantenimiento (p. ej. IA para la gestión de infraestructuras críticas), etc.

Si la empresa desarrolla su propio producto basado en IA, es proveedora del sistema de IA; en ese caso debe ocuparse también de la eventual certificación y notificación conforme a la AI Act. Por el contrario, el uso habitual de la IA en marketing (p. ej. algoritmos de recomendación de una tienda online), en análisis de datos o en atención al cliente (chatbots) probablemente se encuadre en la categoría de riesgo limitado o mínimo.

Cada herramienta de IA identificada conviene evaluarla en función de la finalidad, el tipo de datos tratados y los impactos potenciales. Si trata datos personales, le resulta aplicable el RGPD; si encaja en las definiciones de la AI Act, anote qué obligación concreta le será aplicable.

Gestión de las aplicaciones de IA de alto riesgo

Para los sistemas de IA que se encuadren en la categoría de alto riesgo según la AI Act, las empresas deberían implantar medidas específicas.

En la práctica, esto significa elaborar un plan de cumplimiento detallado para cada uno de esos sistemas. Ello incluye realizar una evaluación de conformidad (conformity assessment), es decir, verificar que el sistema cumple todos los requisitos técnicos y de procedimiento de la AI Act antes de su implantación. Muchos de estos requisitos deberán ser garantizados principalmente por los proveedores/desarrolladores (p. ej. elaborar la documentación técnica, garantizar las pruebas y minimizar riesgos).

Ahora bien, si la empresa adquiere un sistema de IA de alto riesgo de un tercero, no queda exenta de responsabilidad: como usuaria tiene la obligación de verificar que el sistema cuenta con las certificaciones necesarias y cumple los requisitos legales, y de utilizarlo únicamente conforme a las instrucciones y limitaciones establecidas por el proveedor​. Las empresas deberían suscribir con los proveedores de IA contratos que cubran las obligaciones de cumplimiento, de modo que quede claro quién garantiza cada aspecto (de forma similar a los contratos de encargado del tratamiento conforme al RGPD).

Además, es necesario establecer una supervisión humana sobre los resultados de la IA: en las decisiones que tengan un impacto significativo en las personas (p. ej. candidatos o clientes rechazados) debería existir un proceso de control humano o una posibilidad de recurso. El seguimiento y las pruebas del sistema de IA no deberían terminar con su puesta en funcionamiento: la IA de alto riesgo requiere un seguimiento continuo del rendimiento, la precisión y los efectos no deseados.

Si se produce un incidente (p. ej. la IA falla y causa un daño, o se comprueba que no cumple los requisitos), es necesario poder notificar el problema a las autoridades de supervisión (de forma similar a como se notifica una violación de seguridad bajo el RGPD)​. En resumen, los sistemas de IA de alto riesgo deberían someterse al mismo régimen de gestión de riesgos que, por ejemplo, la seguridad laboral o los riesgos financieros: con responsabilidades, documentación y controles claros.

Garantizar la transparencia y la responsabilidad de los sistemas de IA

Ya se trate de un sistema de IA de alto riesgo o de menor riesgo, la transparencia frente a los usuarios, clientes y empleados es fundamental. La empresa debería estar preparada para explicar cómo funciona el sistema de IA, al menos en sus rasgos básicos; especialmente en los algoritmos de decisión conviene tener documentado internamente qué datos y criterios intervienen en la decisión.

Para las partes externas (p. ej. los clientes) debería estar disponible, de forma comprensible, la información de que la decisión se adoptó con ayuda de IA y, en su caso, previa solicitud, una explicación básica de la lógica seguida (por supuesto, sin revelar secretos comerciales ni know-how protegido).

Esta transparencia es un requisito tanto de la AI Act como del RGPD: el RGPD obliga a informar a los interesados sobre la toma de decisiones automatizada y las medidas adoptadas, mientras que la AI Act va más allá al exigir, para determinados sistemas, facilitar documentación para el usuario y, en su caso, publicar información en el registro de sistemas de alto riesgo.

Un buen paso es elaborar un código ético de IA para la empresa, en el que la dirección se comprometa a un uso responsable de la IA (sin discriminación, con respeto a la privacidad, etc.), y comunicar ese compromiso públicamente, lo que reforzará la confianza de clientes y empleados.

La responsabilidad implica también estar preparado para asumir las consecuencias: si un sistema de IA comete un error, la empresa debería ser capaz de reaccionar: investigar el incidente, ofrecer reparación a las personas afectadas (p. ej. compensación, posibilidad de repetir el proceso de decisión de otra forma) y ajustar el sistema o el proceso para que la situación no se repita.

En la práctica, recomendamos constituir una comisión o comité de IA dentro de la empresa, que supervise todos los proyectos de IA relevantes, los apruebe desde el punto de vista del cumplimiento y la ética, y actúe como órgano consultivo en situaciones controvertidas.

Armonización de los requisitos de la AI Act con el RGPD

Aunque la AI Act y el RGPD son normativas separadas, en la práctica se entrelazan y se complementan mutuamente. A las empresas les conviene abordar el cumplimiento de forma integral: establecer un proceso unificado de evaluación de riesgos para los proyectos de IA que tenga en cuenta la protección de la privacidad y el impacto en los derechos fundamentales.

El RGPD ya exige actualmente realizar una Evaluación de Impacto relativa a la Protección de Datos (EIPD) para los tratamientos de riesgo; la AI Act añade a esto, para los sistemas de IA de alto riesgo, el requisito de evaluar el impacto sobre los derechos fundamentales.

Estos análisis pueden combinarse: al planificar la implantación de una IA que vaya a tratar datos personales, la empresa realizará un análisis de riesgos ampliado, en el que evaluará tanto los riesgos para la privacidad (RGPD) como los riesgos éticos y sociales más amplios (AI Act). La información obtenida de las EIPD ya realizadas puede aprovecharse para la nueva evaluación conforme a la AI Act​, lo que evita duplicidades y ahorra tiempo.

La armonización también se produce a nivel de medidas técnicas: por ejemplo, el requisito de la AI Act de disponer de datos de entrenamiento de calidad y sin sesgos complementa el principio del RGPD de minimización y exactitud de los datos; la obligación de conservar registros de la actividad de la IA (logs) coincide con la obligación del RGPD de documentar las actividades de tratamiento.

En el ámbito de los derechos de los interesados, rige que si la IA trata datos personales, la empresa debe poder atender las solicitudes de los interesados conforme al RGPD (facilitar sus datos, rectificarlos, suprimirlos); ya en la fase de diseño del sistema de IA es necesario, por tanto, tener en cuenta los principios de privacidad desde el diseño y privacidad por defecto.

Un consejo práctico es elaborar una matriz de cumplimiento: en una columna los requisitos del RGPD, en la otra los de la AI Act, e indicar cómo se cubre cada ámbito internamente. Por ejemplo: «Información a los interesados: resuelto mediante la información al interesado conforme al RGPD, lo que a la vez satisface la transparencia exigida por la AI Act» etc. Esta matriz ayuda a detectar posibles lagunas y duplicidades.

No olvidemos tampoco que desde el 1 de enero de 2024 está en vigor en la República Checa una modificación de la ley checa de protección de datos personales (Ley n.º 110/2019 Sb., en adelante «ZZOÚ»), que permite transferir datos personales a un sistema de inteligencia artificial solo si se garantiza el cumplimiento del RGPD: también la normativa nacional está empezando a tener en cuenta la IA. Unificar los procesos de modo que satisfagan ambas normas simultáneamente es la vía más eficaz hacia un cumplimiento real.

Ejemplos prácticos: errores típicos y cómo evitarlos

La experiencia práctica también muestra que las empresas, al implantar la IA, a menudo pasan por alto determinadas obligaciones.

A continuación se exponen cuatro errores frecuentes que conviene evitar:

Error 1: Compartir datos sensibles con herramientas de IA públicas.

Sucede que empleados entusiasmados con la IA no dudan en introducir datos de la empresa o datos personales en servicios de acceso libre (p. ej. usar ChatGPT para generar un informe a partir de datos reales de clientes). Con ello pueden infringir involuntariamente el RGPD (si transfieren datos a un tercero sin garantías) y exponer a la empresa al riesgo de fuga de know-how.

¿Cómo evitarlo?

Establezca normas claras de uso de la IA para los empleados. Explique qué contenido está prohibido cargar en sistemas de IA externos (p. ej. datos personales de clientes, documentos estratégicos internos) y por qué. Valore también medidas técnicas que impidan el envío de datos sensibles a internet (filtros, restricciones de acceso). Forme a los empleados en que los datos introducidos en la IA pueden ser conservados por el proveedor del servicio y es posible que ya nunca vuelvan a estar bajo el control pleno de la empresa.

Error 2: Decisiones automatizadas sin posibilidad de intervención humana.

A algunas empresas les atrae la idea de una toma de decisiones totalmente automatizada (p. ej. un sistema con IA que evalúa por sí solo una solicitud de crédito o el currículo de un candidato). Ahora bien, si falta la posibilidad de revisión humana, existe riesgo de infringir el art. 22 del RGPD y también el riesgo de resultados de IA injustos o no verificados.

¿La solución?

En cada proceso de decisión de la IA implante el principio del «human in the loop» (humano en el proceso): establezca un procedimiento en el que toda decisión de la IA dudosa o negativa sea siempre confirmada por una persona, o al menos que el cliente/candidato pueda impugnar la decisión y solicitar una revisión manual. Con ello no solo cumplirá el marco legal, sino que además mejorará la calidad de los resultados (la IA puede equivocarse o tener sesgos). Asimismo, compruebe periódicamente el algoritmo en busca de sesgos (p. ej. si discrimina a un colectivo determinado) y documente los resultados de las pruebas.

Error 3: Confiar en el proveedor sin control propio.

Por ejemplo, una empresa adquiere un software de IA de un fabricante conocido y da por hecho que con ello tiene «cubierto» el cumplimiento normativo. Sin embargo, incluso al utilizar IA de terceros rige el principio de responsabilidad del usuario. Si la herramienta de IA causa un perjuicio a clientes o empleados, la reputación de la empresa se verá dañada, con independencia de que la tecnología proceda de fuera.

¿La recomendación?

Antes de implantar la IA de un proveedor, solicite información sobre su cumplimiento normativo: ¿cuenta el sistema con certificación o declaración de conformidad con la AI Act? ¿Se ha realizado una evaluación de impacto sobre la privacidad? ¿Qué garantías ofrece el contrato en cuanto a la responsabilidad por errores? Lo ideal es realizar una auditoría propia de la solución suministrada en un entorno de pruebas: comprobar cómo trata los datos, qué elementos de seguridad tiene y si cumple las funciones prometidas. En el contrato con el proveedor, incluya cláusulas sobre responsabilidad e indemnización por si su IA causara una infracción legal o un daño a terceros.

Error 4: Infravalorar la documentación y el consentimiento de los interesados.

Al implantar una IA que trata datos personales, las empresas a menudo olvidan actualizar su política de protección de datos personales y obtener los consentimientos necesarios. Por ejemplo, una empresa empieza a utilizar una herramienta analítica de IA para elaborar perfiles detallados de sus clientes, pero no adapta en consecuencia la información dirigida a los clientes ni la base jurídica del tratamiento.

¿Cómo hacerlo correctamente?

Cualquier nueva forma de utilizar datos personales, incluida la implantación de IA, debe comunicarse de forma transparente a los interesados. Antes de implantar la IA, revise por tanto sus obligaciones de información (políticas, avisos) y añada una mención al uso de la IA, incluyendo la finalidad y la lógica seguida.

Verifique la base jurídica: si la IA realiza algo que excede la finalidad original de la recogida de datos, quizá sea necesario obtener el consentimiento de los interesados (p. ej. para el tratamiento de datos destinado a la elaboración automatizada de perfiles). En casos de uso de datos más complejos, valore consultar con el DPO o con un abogado, o incluso realizar una consulta previa a la Oficina para la Protección de Datos Personales (ÚOOÚ), especialmente si la EIPD revela un riesgo elevado que no pueda mitigarse plenamente.