Cómo abordar la IA y la inteligencia artificial en el sector sanitario desde la perspectiva jurídica y regulatoria

La nueva era de la medicina ya está aquí. ¿Está usted jurídicamente preparado para ella?

Esta revolución tecnológica trae consigo enormes oportunidades: diagnósticos más precisos, menor carga para un personal sobrecargado y, en última instancia, una atención de mayor calidad y más accesible para los pacientes. Sin embargo, con estas oportunidades llega también un nivel nuevo y sin precedentes de complejidad jurídica y regulatoria. El Reglamento (UE) del Parlamento Europeo y del Consejo 2024/1689, conocido como AI Act, supone un cambio de las reglas del juego tan fundamental como lo fue en su día el RGPD. La innovación y la regulación se han convertido en dos caras de la misma moneda. Ignorar una significa poner en peligro el éxito de la otra.

Este informe es su guía estratégica en este nuevo entorno. No se trata de una mera enumeración de artículos. Es un mapa práctico que le mostrará cómo evitar riesgos, cumplir las nuevas obligaciones y convertir la carga regulatoria en una ventaja competitiva demostrable. Los abogados del despacho ARROWS están especializados en esta materia y ayudan a sus clientes a que sus proyectos innovadores no solo sean funcionales, sino también jurídicamente irreprochables.

La IA como nuevo estándar asistencial: ¿por qué este debate es relevante para su práctica y su negocio?

El debate sobre la inteligencia artificial en la sanidad hace tiempo que dejó de pertenecer a la categoría de las visiones futuristas. Es una realidad tangible que afecta directamente a su actividad diaria, ya dirija un hospital o una clínica, o desarrolle una nueva tecnología médica. Según una encuesta de la Asociación Checa de Inteligencia Artificial (Česká asociace umělé inteligence), ya el 64 % de los hospitales checos utiliza la IA de alguna forma. Y no se trata solo de los grandes hospitales universitarios; la tecnología está penetrando en todo el sector.

Los beneficios son demostrables y medibles. Por ejemplo, en el hospital AGEL Nový Jičín, la implantación de la IA para evaluar mamografías condujo a un aumento del cinco por ciento en la tasa de detección del carcinoma. Otros sistemas ayudan a los médicos a analizar radiografías de tórax, alertan sobre posibles hallazgos y reducen así el riesgo de que algo pase desapercibido en hospitales más pequeños, donde no siempre hay un radiólogo físicamente disponible, sobre todo en los turnos de noche.

La IA también hace mucho más eficiente la administración. Por ejemplo, en el control de la higiene, la IA es capaz de revisar miles de páginas de registros que una persona no podría abarcar físicamente e identificar los puntos de riesgo de aparición de infecciones.

Esta tendencia está impulsada también por un dinámico ecosistema checo de empresas tecnológicas. Compañías como Carebot (asistencia en el análisis de radiografías), MAIA (soluciones para radiología), Kardi Ai (detección de arritmias cardíacas a partir del ECG) o Aireen (detección de la retinopatía diabética) demuestran que en la República Checa contamos con expertos de primer nivel y productos innovadores que ya se están probando e implantando con éxito en la práctica.

No obstante, esta adopción rápida y a menudo descentralizada de la tecnología genera un riesgo significativo, aunque con frecuencia oculto. Mientras que los distintos departamentos (p. ej., radiología) pueden implantar con entusiasmo las herramientas de IA más recientes, es muy probable que los marcos jurídicos y éticos de toda la organización se queden rezagados respecto a ese ritmo. Surge así una «brecha entre la adopción y la gobernanza».

Es muy probable que, mientras los médicos ya se benefician de las ventajas de la IA, el departamento jurídico del hospital todavía no esté plenamente preparado para una auditoría conforme a las estrictas normas del AI Act. Los abogados de ARROWS se encuentran con esta situación y saben que el primer paso hacia una innovación segura no es solo el asesoramiento en nuevos proyectos, sino la realización de un análisis de cumplimiento (Compliance Gap Analysis) de los sistemas de IA ya implantados. Identificar y cerrar esta brecha es clave para minimizar los riesgos futuros.

AI Act: las nuevas reglas del juego que debe conocer

El Reglamento de Inteligencia Artificial, conocido como AI Act, que entró en vigor el 1 de agosto de 2024, constituye el primer marco jurídico integral para la IA del mundo. No es una mera recomendación, sino un reglamento directamente aplicable con consecuencias de gran alcance para cualquiera que desarrolle, implante o utilice IA en la Unión Europea. Para el sector sanitario, conocerlo es absolutamente fundamental.

El AI Act introduce un enfoque basado en el riesgo y divide los sistemas de IA en cuatro categorías que pueden compararse con una pirámide:

1. Riesgo inaceptable (prácticas prohibidas): En la cúspide de la pirámide se encuentran las prácticas que se consideran tan peligrosas para los derechos fundamentales que están totalmente prohibidas. Entre ellas figuran, por ejemplo, los sistemas de puntuación social de los ciudadanos (el llamado social scoring), que podrían influir en el acceso a la asistencia sanitaria, o la IA que manipule el comportamiento y explote las vulnerabilidades de los pacientes (p. ej., su edad o su estado de salud). Estas prohibiciones empiezan a aplicarse ya 6 meses después de la entrada en vigor del reglamento.
2. Alto riesgo: Esta es la categoría más importante para la sanidad. Incluye prácticamente todos los sistemas de IA que pueden tener un impacto significativo en la salud y la seguridad de las personas. El AI Act clasifica expresamente como de alto riesgo los productos sanitarios sujetos a certificación, así como los sistemas destinados a la clasificación de pacientes en situaciones de emergencia (triaje) o los sistemas de evaluación del derecho a prestaciones y servicios de asistencia sanitaria. A estos sistemas se les aplican las normas y obligaciones más estrictas.
3. Riesgo limitado: Aquí se incluyen los sistemas cuya obligación principal es la transparencia. Un ejemplo típico son los chatbots. El usuario debe ser informado de forma comprensible de que se está comunicando con una máquina y no con una persona.
4. Riesgo mínimo: La base de la pirámide abarca la mayoría de las aplicaciones de IA de uso habitual, como los filtros de spam o la IA en los videojuegos. Estos sistemas no están sujetos a nuevas obligaciones específicas.

Calendario de aplicación del AI Act

Comprender el calendario es clave para la planificación. Aunque el reglamento ya está en vigor, las distintas obligaciones se van aplicando de forma escalonada para que empresas e instituciones tengan tiempo de prepararse:

• 1 de agosto de 2024: El reglamento entró en vigor.
• ~ febrero de 2025 (6 meses tras la entrada en vigor): Empiezan a aplicarse las prohibiciones de las prácticas de riesgo inaceptable.
• ~ agosto de 2025 (12 meses tras la entrada en vigor): Empiezan a aplicarse las normas para los sistemas de IA de uso general (p. ej., grandes modelos de lenguaje).
• ~ agosto de 2026 (24 meses tras la entrada en vigor): Empieza a aplicarse la mayoría de las obligaciones para los sistemas de alto riesgo.
• ~ agosto de 2027 (36 meses tras la entrada en vigor): Se aplican las obligaciones restantes para los sistemas de alto riesgo que son a la vez productos sujetos a otra normativa de la Unión (p. ej., productos sanitarios).

Doble certificación: un reto para los innovadores del sector MedTech

Para los desarrolladores de IA en el ámbito sanitario surge una situación específica y exigente. Su software es a menudo, al mismo tiempo, un producto sanitario según el Reglamento MDR (Medical Device Regulation) o el IVDR (In Vitro Diagnostic Regulation) y un sistema de IA de alto riesgo según el AI Act. En la práctica, esto implica la necesidad de superar una doble certificación y cumplir dos conjuntos de normas paralelos, complejos y exigentes.

Esta doble carga regulatoria incrementa notablemente los costes, los plazos y la complejidad administrativa de la comercialización de un nuevo producto. Para las pymes y las startups checas innovadoras, esto puede suponer una considerable desventaja competitiva frente a las grandes corporaciones multinacionales con amplios departamentos de compliance.

Los abogados de ARROWS están especializados en ayudar a sus clientes a elaborar una estrategia de compliance integrada que combine de forma eficiente los requisitos del MDR/IVDR y del AI Act. El objetivo es agilizar todo el proceso, ahorrar recursos y permitir que también los innovadores más pequeños se desenvuelvan con éxito en este entorno complejo.

Obligaciones clave para los sistemas de IA de alto riesgo

Si desarrolla o implanta en su hospital o clínica un sistema de IA de alto riesgo, debe cumplir una serie de requisitos estrictos. Estas obligaciones afectan tanto al proveedor (desarrollador) como al usuario (p. ej., el hospital). La siguiente tabla resume las más importantes.

Resumen de las obligaciones clave para los sistemas de IA de alto riesgo según el AI Act

Los datos: combustible para la IA y pesadilla para el RGPD

La inteligencia artificial está hambrienta de datos. Cuanto más amplios y de mejor calidad sean los datos disponibles para el entrenamiento, más precisos y fiables serán sus resultados. Sin embargo, en el sector sanitario estos datos son extremadamente sensibles. Es precisamente aquí donde el mundo de la innovación choca con las estrictas normas del Reglamento General de Protección de Datos (RGPD).

Los datos de salud como «categoría especial»

El RGPD define los datos relativos a la salud como una «categoría especial de datos personales» (anteriormente denominados datos sensibles). Esto significa que su tratamiento está, en principio, prohibido, salvo que se ampare en alguna de las excepciones taxativamente definidas en el artículo 9 del RGPD. A efectos del entrenamiento y el funcionamiento de la IA en el sector sanitario, entran en consideración principalmente dos bases jurídicas:

1. Consentimiento explícito del paciente (art. 9, apartado 2, letra a), del RGPD): Obtener un consentimiento válido, libre, específico, informado e inequívoco de cada paciente cuyos datos vayan a utilizarse es la vía jurídicamente más limpia. En la práctica, sin embargo, resulta muy exigente, sobre todo con los grandes conjuntos de datos necesarios para entrenar la IA. El paciente debe saber exactamente con qué finalidad se utilizarán sus datos y tiene derecho a retirar su consentimiento en cualquier momento.
2. Tratamiento necesario a efectos de… (art. 9, apartado 2, letras h) e i), del RGPD): El tratamiento es posible si es necesario con fines de medicina preventiva o laboral, diagnóstico médico o prestación de asistencia sanitaria, o por razones de interés público en el ámbito de la salud pública. Esta base es relevante para el funcionamiento de la IA en la práctica clínica, pero su uso para el desarrollo y entrenamiento de nuevos modelos comerciales de IA es jurídicamente más complejo y requiere un análisis minucioso.

Además, para el tratamiento que no incluya categorías especiales de datos, puede ser relevante también el interés legítimo (art. 6, apartado 1, letra f), del RGPD). El Comité Europeo de Protección de Datos (CEPD/EDPB) ha admitido que el interés legítimo puede constituir una base jurídica para el desarrollo de la IA, pero solo si se lleva a cabo una rigurosa prueba de ponderación en tres pasos. El responsable del tratamiento debe demostrar que su interés es legítimo, que el tratamiento le resulta necesario y que sobre su interés no prevalecen los derechos y libertades de los pacientes.

Obligación de realizar una EIPD (evaluación de impacto relativa a la protección de datos, DPIA)

Para cualquier implantación de un nuevo sistema de IA que vaya a tratar a gran escala datos relativos a la salud, la realización de una DPIA es prácticamente siempre obligatoria. El motivo es que dicho tratamiento cumple varios criterios de alto riesgo según el RGPD: se trata de un tratamiento a gran escala de categorías especiales de datos, a menudo incluye una evaluación sistemática (elaboración de perfiles) y utiliza nuevas tecnologías. La DPIA es un proceso cuyo objetivo es identificar y minimizar los riesgos para los derechos y libertades de los pacientes antes de iniciar el tratamiento. El despacho ARROWS ayuda habitualmente a sus clientes a preparar y revisar la DPIA para que este documento resista una eventual inspección de la Oficina para la Protección de Datos Personales (ÚOOÚ).

De responsable de datos a curador de datos

Los requisitos del AI Act sobre la calidad de los datos de entrenamiento cambian de forma fundamental el papel y la responsabilidad del prestador de asistencia sanitaria. Ya no basta con ser un mero «responsable del tratamiento» en el sentido del RGPD, cuya obligación principal es proteger los datos. El hospital o la clínica que facilita datos para el desarrollo de la IA se convierte en «curador de datos». Asume así una nueva responsabilidad: que el conjunto de datos facilitado sea de calidad, representativo y no contenga sesgos que puedan conducir a resultados de la IA discriminatorios o perjudiciales de otro modo.

Si un hospital facilita al desarrollador un conjunto de datos demográficamente sesgado y el algoritmo resultante diagnostica peor a un determinado grupo de la población, el hospital puede ser corresponsable del daño causado.

Ya no se trata solo de proteger los datos, sino de garantizar activamente su idoneidad para crear un sistema de alto riesgo seguro y justo. Esto abre la necesidad de nuevos servicios jurídicos especializados, como las auditorías de conjuntos de datos para IA y la preparación de contratos de curaduría de datos que delimiten claramente la responsabilidad por la calidad de los datos y el rendimiento del modelo resultante. También en este ámbito los abogados de ARROWS están preparados para prestar asesoramiento experto.

¿Quién es responsable cuando el algoritmo se equivoca?

Imagine un escenario que es la pesadilla de cualquier médico y paciente: un sistema de IA de diagnóstico recomienda un tratamiento incorrecto y el paciente sufre un daño en su salud. ¿Quién asume la responsabilidad jurídica? ¿El desarrollador del software, el hospital que implantó el sistema o el médico que siguió la recomendación? La respuesta es compleja e implica una cadena de responsabilidad igualmente compleja.

La normativa vigente, tanto en la UE como en la República Checa, parte de un principio fundamental: en última instancia, la responsabilidad recae en una persona, no en un robot o un algoritmo. La IA se concibe como una herramienta, aunque muy avanzada. La decisión final y la responsabilidad por ella siguen en manos del experto humano.

En caso de error, la responsabilidad se examina en varios niveles:

• Responsabilidad del proveedor (desarrollador) de la IA: El fabricante del software responde por los defectos de su producto. Si el daño fue causado por un error en el algoritmo, un diseño incorrecto del sistema o pruebas insuficientes, la responsabilidad recaerá principalmente en él. El Código Civil checo (Ley n.º 89/2012 Sb., en adelante «CC») regula la responsabilidad por los daños causados por productos defectuosos (§ 2939 del CC), y también el software se considera producto. Sin embargo, demostrar un defecto en un complejo algoritmo de «caja negra» (black box) resulta extremadamente difícil para el paciente perjudicado.
• Responsabilidad del usuario (hospital, clínica): El AI Act introduce obligaciones específicas también para los «usuarios» de sistemas de alto riesgo. El hospital está obligado a utilizar el sistema conforme a las instrucciones, garantizar la supervisión humana, monitorizar su funcionamiento y contar con un sistema de gestión de riesgos. Si el hospital descuida estas obligaciones —por ejemplo, forma de manera insuficiente al personal o ignora mensajes de error evidentes del sistema—, será corresponsable. También puede responder como titular de la explotación conforme al § 2924 del CC.
• Responsabilidad del profesional sanitario (médico): La implantación de la IA no exime al médico de su responsabilidad profesional de actuar con la debida diligencia profesional (lege artis). El médico no puede asumir ciegamente los resultados de la IA. Debe evaluarlos críticamente a la luz de sus conocimientos y experiencia y, si tiene dudas, debe ignorar la recomendación de la IA o verificarla por otros métodos. La decisión clínica final sigue siendo suya.

La alfabetización en IA como nuevo elemento de la lex artis

Con la llegada masiva de la IA a la medicina, irá cambiando también la propia interpretación del estándar de la debida diligencia profesional. En cuanto el uso de una determinada herramienta de IA de diagnóstico que aumenta de forma demostrable la precisión (p. ej., un 5 % en la detección del carcinoma) se convierta en un estándar habitual en la especialidad, se esperará que el médico sepa utilizarla.

De ello se deduce que el deber profesional del médico se ampliará. No abarcará solo los conocimientos médicos, sino también la «alfabetización en IA»: la capacidad de utilizar e interpretar correctamente y, en caso necesario, evaluar críticamente y rechazar los resultados de las herramientas tecnológicas estándar. Un fallo en este ámbito podría considerarse en el futuro una forma de negligencia profesional. Para hospitales y clínicas, de ello se deriva una nueva obligación: no solo adquirir estas herramientas, sino también garantizar y documentar minuciosamente la formación de su personal. Los abogados de ARROWS pueden ayudar a actualizar los contratos de trabajo y la normativa interna para que reflejen estas nuevas competencias y responsabilidades tecnológicas.

El vacío legal y la importancia de los contratos

La situación se complica aún más por el hecho de que la propuesta de una directiva europea específica sobre responsabilidad en materia de inteligencia artificial, que debía facilitar la prueba a los perjudicados, fue retirada a principios de 2025. Se ha creado así un vacío legal.

En la práctica, esto significa que la herramienta clave y, en esencia, la única eficaz para repartir riesgos y responsabilidades entre el desarrollador y el hospital pasa a ser un contrato redactado con precisión.

Manual práctico de compliance: cómo prepararse y evitar multas millonarias

Los conocimientos teóricos son importantes, pero en los negocios lo decisivo son los pasos prácticos y la capacidad de gestionar riesgos. El incumplimiento de las normas establecidas por el AI Act y el RGPD no es una mera falta académica; conlleva sanciones económicas draconianas que pueden resultar ruinosas para una empresa o un hospital.

Sanciones que no se pueden ignorar

El AI Act, al igual que el RGPD, fija la cuantía de las multas en función de la gravedad de la infracción y del volumen de negocios mundial de la empresa. Es importante tener en cuenta que estos riesgos pueden acumularse: un solo error en la implantación de la IA puede dar lugar a sanciones conforme a ambos reglamentos simultáneamente.

Comparación de sanciones: riesgos del incumplimiento del AI Act y del RGPD

Además de las multas económicas directas, existen otras consecuencias graves: la orden de retirada del sistema del mercado, litigios por daños y perjuicios con pacientes perjudicados y, no menos importante, un enorme daño reputacional.

El contrato con el proveedor de IA: su primera línea de defensa

Dadas las incertidumbres en materia de responsabilidad legal, el contrato entre usted (como hospital o clínica) y el proveedor de la solución de IA es una herramienta absolutamente clave para la gestión de riesgos. Como usuario, el AI Act le obliga a verificar a sus proveedores. Su contrato debe ser su seguro. Al preparar y revisar estos contratos, los abogados de ARROWS prestan especial atención a las siguientes cláusulas:

• Alcance de la licencia y derechos de propiedad intelectual (IP): Es necesario definir claramente qué derechos adquiere sobre el propio software y, sobre todo, sobre los resultados que genera. ¿Puede utilizarlos libremente? ¿Quién es su titular? ¿Puede el proveedor utilizar sus datos (aunque sean anonimizados) para seguir entrenando sus modelos?
• Garantías y declaraciones del proveedor: El contrato debe incluir una declaración expresa del proveedor de que su sistema de IA cumple plenamente el AI Act, ha superado la evaluación de la conformidad y dispone de toda la documentación necesaria.
• Responsabilidad por daños e indemnización (Indemnification): Una cláusula clave que establece que, si el hospital es sancionado o demandado por un defecto del sistema de IA, el proveedor lo indemnizará y cubrirá todos los costes, multas y daños.
• Contrato de encargo del tratamiento (DPA): Si el proveedor va a tener cualquier tipo de contacto con los datos personales de los pacientes, un DPA conforme al artículo 28 del RGPD es absolutamente imprescindible. Debe definir claramente las medidas técnicas y organizativas de protección de los datos.
• Obligaciones de colaboración y auditoría: El contrato debería obligar al proveedor a facilitarle toda la documentación y la colaboración necesarias para su propio compliance (p. ej., para la DPIA) y a permitir la realización de auditorías.

Caso práctico: cómo ARROWS ayudó al hospital XY a implantar de forma segura la IA para el diagnóstico

Ejemplo ficticio basado en la práctica real

Un hospital regional decidió implantar una innovadora herramienta de IA de una startup checa para el análisis de imágenes de TC. La dirección era consciente de los enormes beneficios clínicos, pero al mismo tiempo le preocupaban los nuevos riesgos jurídicos. Por ello, recurrió al despacho de abogados ARROWS.

1. Análisis de cumplimiento (Compliance Audit): El equipo de ARROWS realizó primero una auditoría de la solución propuesta. Confirmó que se trataba de un sistema de IA de alto riesgo según el AI Act y, a la vez, de un producto sanitario de clase IIa según el MDR.
2. Revisión del contrato con el proveedor: Los abogados de ARROWS reelaboraron por completo el borrador de contrato del proveedor. Añadieron sólidas cláusulas de garantía de cumplimiento del AI Act y del MDR, una delimitación clara de la responsabilidad por defectos y el compromiso de indemnizar al hospital en caso de problemas.
3. Preparación de la DPIA: ARROWS, en colaboración con el departamento de TI del hospital, preparó una evaluación de impacto relativa a la protección de datos (DPIA) detallada, que identificó los riesgos y propuso medidas concretas para minimizarlos.
4. Directiva interna y formación: Siguiendo las recomendaciones de ARROWS, el hospital adoptó una nueva directiva interna sobre el uso de la IA en la práctica clínica y organizó una formación obligatoria y documentada para todos los médicos afectados.

Resultado: El hospital pudo implantar la tecnología innovadora con la seguridad de haber cumplido todos los requisitos regulatorios. Aseguró jurídicamente su relación con el proveedor y minimizó el riesgo de sanciones y de litigios por responsabilidad. Una posible pesadilla jurídica se convirtió en una innovación segura y exitosa.

El futuro pertenece a quienes están preparados. ARROWS es su socio en el camino hacia una innovación segura y exitosa.

La inteligencia artificial representa sin duda una de las mayores revoluciones de la historia de la medicina. Su potencial para mejorar el diagnóstico, hacer más eficaz el tratamiento y salvar vidas es enorme. Sin embargo, como hemos mostrado en este informe, esta ola tecnológica trae consigo un marco regulatorio complejo e implacable en forma del AI Act y de los requisitos reforzados del RGPD. Para la dirección de hospitales, clínicas e innovadores del sector med-tech, la cuestión ya no es si, sino cómo afrontar esta nueva realidad.

Ignorar estas normas no es una estrategia; es una apuesta con el riesgo de multas millonarias, litigios y daños a una reputación que ha tardado años en construir. Por el contrario, un enfoque proactivo y estratégico del compliance jurídico se está convirtiendo en un factor clave de éxito. Permite no solo minimizar los riesgos, sino también generar confianza entre pacientes y socios y obtener una ventaja competitiva decisiva.

El despacho de abogados ARROWS está a su lado en esta nueva era. Nuestros expertos están especializados en conectar el mundo de la tecnología con el del Derecho. Entendemos no solo los artículos de la ley, sino también las necesidades prácticas de su negocio y de su práctica clínica. No ofrecemos solo asesoramiento jurídico genérico; ofrecemos soluciones concretas y a medida que le permitirán innovar con seguridad y tranquilidad. Nuestros servicios incluyen:

• Auditorías integrales de cumplimiento (compliance) del AI Act y del RGPD.
• Preparación y revisión de contratos con proveedores de soluciones de IA.
• Elaboración de evaluaciones de impacto relativas a la protección de datos (DPIA).
• Elaboración de directivas y políticas internas para el uso seguro de la IA.
• Representación en litigios o en negociaciones con las autoridades reguladoras.

La inteligencia artificial está revolucionando la sanidad. No deje que la inseguridad jurídica frene su progreso. Póngase en contacto con nosotros hoy mismo y descubra cómo el equipo de expertos de ARROWS le ayudará a convertir los retos regulatorios en una innovación segura y exitosa.