Sistemas de detección de objetivos basados en aprendizaje automático

¿Necesita asesoramiento sobre este tema? Diríjase al despacho de abogados ARROWS en el correo electrónico consultas@arws.cz o en el teléfono +420 245 007 740. Su consulta la atenderá con gusto «JUDr. Jakub Dohnal, Ph.D.,LL.M.», experto en la materia.

¿Qué es el aprendizaje automático para la detección de objetivos y por qué afecta a su empresa?

En términos sencillos, el aprendizaje automático (Machine Learning o ML) es una rama de la inteligencia artificial (IA). Permite que los ordenadores aprendan por sí mismos a partir de datos, sin que haya que programar explícitamente cada paso. Una forma avanzada es el aprendizaje profundo (Deep Learning), que utiliza redes neuronales para resolver tareas más complejas, como la visión artificial.

Para su empresa, esto significa una tecnología capaz de identificar, clasificar y rastrear automáticamente objetos, anomalías e incluso personas.

Puede que ya esté valorando sistemas similares o que ya los utilice. Vemos ejemplos prácticos por todas partes:

• Producción: Detección de defectos microscópicos en los productos de la línea, control del correcto montaje de piezas o mantenimiento predictivo de máquinas.
• Seguridad: Detección de anomalías en el tráfico informático, detección de fraudes en tiempo real o monitorización de instalaciones para garantizar la seguridad y salud en el trabajo.
• Logística: Optimización de rutas a partir de la predicción del tráfico y del análisis de datos de cámaras.
• Comercio y RR. HH.: Análisis de los patrones de comportamiento de los clientes en la tienda online o análisis de datos en los procesos de selección.

Todas estas aplicaciones tienen algo en común: recogen y analizan enormes cantidades de datos. El problema surge en el momento en que esos datos guardan cualquier relación con personas identificables – ya se trate de sus empleados en la línea, de conductores en logística o de clientes en la web. En ese momento, la ventaja tecnológica se convierte en un riesgo jurídico.

Implantar IA para la detección no es solo una decisión tecnológica, sino ante todo una decisión jurídica y de compliance que debe evaluarse antes de comprar el software.

Riesgo n.º 1: La trampa del RGPD y la monitorización

Muchas empresas creen erróneamente que, si la cámara apunta a una máquina, el RGPD no les afecta. Ocurre justo lo contrario. En cuanto el sistema de cámaras con IA capta también a los trabajadores que se mueven alrededor de la máquina, se están recogiendo y tratando datos personales. A menudo se trata, además, de datos biométricos sensibles.

Este tratamiento debe cumplir los estrictos principios del RGPD, en particular los de licitud, lealtad y transparencia. El mayor riesgo es la monitorización de los empleados.

El Código del Trabajo checo (Ley n.º 262/2006 Sb., en adelante «CT») y el RGPD fijan límites estrictos a la monitorización de los empleados. Basarla en el «consentimiento» es prácticamente imposible, porque en una relación laboral el consentimiento no se considera libre. Por ello, la base jurídica casi siempre tiene que ser el llamado interés legítimo del empleador.

Pero aquí surge el problema. Para acreditar el interés legítimo, debe realizar una prueba de ponderación (LIA) en la que demuestre que su interés (p. ej., la protección del patrimonio o la seguridad) prevalece sobre el derecho del empleado a la privacidad.

Sí, sin duda. El principio de transparencia exige informar a los interesados de forma concisa, comprensible y completa. Ocultar que el sistema realiza un análisis con IA es una infracción grave del RGPD. A las empresas que implantan IA en la práctica también les conviene tener definidos los procesos y las responsabilidades en el marco de la gobernanza de la IA en las empresas. Le ayudaremos a preparar una cláusula informativa clara. Escríbanos a consultas@arws.cz.

Y es precisamente aquí donde la IA complica la situación. Una cámara convencional es menos invasiva, pero una cámara con IA no solo graba, sino que analiza activamente: detecta rostros, mide los tiempos de inactividad y sigue los movimientos. Se trata de una injerencia en la privacidad mucho más grave, por lo que ante un tribunal o en una inspección es mucho más difícil defender que esa monitorización es proporcionada.

Litigios como el conocido caso Bărbulescu muestran claramente que los tribunales europeos protegen con firmeza la privacidad de los empleados. Implantar una monitorización con IA sin un análisis jurídico minucioso es una bomba de relojería. Al implantar sistemas de este tipo, a menudo también hay que resolver la configuración contractual, la responsabilidad del proveedor y el compliance interno en el marco de la implantación de la inteligencia artificial (IA).

No olvidemos las sanciones. Por infringir el RGPD se imponen multas de hasta 20 millones de EUR o del 4 % del volumen de negocio anual mundial.

La monitorización de empleados mediante IA es una de las áreas de mayor riesgo del RGPD, y en ARROWS la tratamos con mucha frecuencia para nuestros clientes corporativos. Le ayudaremos a preparar directrices internas de monitorización que definan claramente su finalidad y alcance. Realizaremos por usted la prueba de ponderación (LIA) necesaria y prepararemos la evaluación de impacto relativa a la protección de datos (DPIA), para que esté protegido ante una posible inspección.

¿Necesita ayuda jurídica para configurar la monitorización? Contáctenos en consultas@arws.cz.

Detección y riesgos según el RGPD

La siguiente tabla muestra los riesgos habituales al implantar sistemas de detección y los servicios jurídicos concretos con los que ARROWS ayuda a prevenirlos.

Riesgo n.º 2: El Reglamento de IA de la UE (AI Act), la nueva gran regulación europea

Si pensaba que el RGPD era complicado, prepárese para el AI Act. El Reglamento (UE) 2024/1689, conocido como AI Act, es el primer marco jurídico integral del mundo para la inteligencia artificial. La mayoría de sus disposiciones clave empiezan a aplicarse a lo largo de 2026.

Para todas las empresas, un dato clave es el alcance extraterritorial del Reglamento. El AI Act se aplica a cualquiera que introduzca un sistema de IA en el mercado de la UE o cuyos resultados de salida se utilicen en la UE, con independencia de dónde tenga su sede la empresa.

El Reglamento clasifica los sistemas de IA en cuatro categorías según su riesgo: inaceptable (prohibidos), alto, limitado y mínimo. Los sistemas de riesgo mínimo apenas están regulados, pero muchos sistemas de detección B2B entrarán en la categoría de «alto riesgo» (High-Risk).

Esto le afecta si utiliza IA en ámbitos como:

• RR. HH. y gestión de trabajadores: herramientas de selección, evaluación del rendimiento o monitorización del comportamiento de los empleados.
• Infraestructuras críticas: gestión del tráfico, redes energéticas.
• Identificación biométrica: la mayoría de los sistemas avanzados de cámaras para la detección de personas.
• Evaluación de la solvencia crediticia.

Si su sistema entra en la categoría High-Risk, el AI Act le impone obligaciones completamente nuevas. Debe implantar un sistema de gestión de riesgos durante todo el ciclo de vida de la IA, garantizar una gobernanza de datos estricta (Data Governance), llevar una documentación técnica detallada, registrar los eventos y, sobre todo, asegurar una supervisión humana sólida.

Aquí chocan de lleno negocio y derecho. El principal motivo para comprar IA es la automatización y la reducción de costes de trabajo humano. Sin embargo, en los sistemas de riesgo, el AI Act exige jurídicamente una supervisión humana efectiva. Por ello, los costes de compliance (incluida la supervisión humana obligatoria) deben incluirse en el business case antes de invertir.

Para las empresas, adaptarse al AI Act será tan exigente como lo fue implantar el RGPD. Los abogados de ARROWS están especializados en este ámbito. Ofrecemos asesoramiento jurídico y auditorías integrales (Gap-analysis) para determinar si sus sistemas entran en la categoría de «alto riesgo». Le ayudaremos a preparar toda la documentación obligatoria y a configurar sistemas internos de gestión de riesgos. Para resolver su situación de inmediato, escríbanos a consultas@arws.cz.

Riesgo n.º 3: Cuando la IA falla, ¿quién paga los daños?

Hasta ahora, la responsabilidad por los errores del software era una «zona gris» jurídica. Pero esto ha cambiado radicalmente con la nueva Directiva sobre responsabilidad por los daños causados por productos defectuosos, publicada en noviembre de 2024.

Esta Directiva trae un cambio revolucionario: define expresamente el software y los sistemas de inteligencia artificial como «producto».

Si es una empresa que desarrolla software de IA, o un fabricante que integra IA en sus máquinas (p. ej., en una línea de producción), pasa a ser fabricante de un «producto». Por tanto, tendrá responsabilidad objetiva por los daños (a la salud o a los bienes) que cause su IA «defectuosa».

Una IA se considera «defectuosa» si no ofrece la seguridad que cabe esperar legítimamente de ella. Y atención: la Directiva también tiene en cuenta la capacidad de la IA de seguir aprendiendo tras su introducción en el mercado.

Imagine que suministra una máquina con IA para detectar defectos. En casa del cliente, esa IA aprende con datos nuevos, pero establece una correlación errónea y empieza a dejar pasar productos defectuosos. Esos productos causan daños al consumidor final. Según la nueva Directiva, usted, como fabricante de la IA, responde de esos daños, aunque el «defecto» haya surgido del aprendizaje en casa del cliente.

Es absolutamente imprescindible cubrir contractualmente estos nuevos riesgos de responsabilidad. Los abogados de ARROWS tienen amplia experiencia en la preparación y revisión de contratos de suministro de tecnología. Nos aseguraremos de que sus contratos comerciales (con proveedores de IA y con clientes) definan claramente la responsabilidad por los daños causados por la IA. No dude en dirigirse a nuestro despacho: consultas@arws.cz.

El AI Act y la responsabilidad por daños

La nueva regulación trae nuevos riesgos y multas astronómicas. A continuación, un resumen de los más graves.

Amenazas ocultas: discriminación algorítmica (sesgo) y propiedad intelectual

Además de las multas del RGPD y del AI Act, las empresas se enfrentan a otros riesgos menos evidentes.

Riesgo n.º 4: Discriminación algorítmica (sesgo)

Los sistemas de IA pueden discriminar aunque el programador no lo haya pretendido. El problema está en los datos de entrenamiento. Si la IA aprende de datos históricos que reflejan prejuicios humanos (p. ej., que en el pasado los puestos directivos los ocupaban sobre todo hombres), aprenderá ese patrón y lo reproducirá.

Un ejemplo es un sistema de detección en RR. HH. que evalúa entrevistas en vídeo y asigna sistemáticamente una puntuación más baja a candidatos con otro color de piel o con acento. Esto es discriminación algorítmica y contradice directamente la legislación contra la discriminación.

Riesgo n.º 5: Propiedad intelectual (PI)

La pregunta clave es: ¿a quién pertenece lo que crea la IA? Según la Ley de Derechos de Autor checa (Ley n.º 121/2000 Sb., en adelante «LDA»), solo una persona física puede ser autor. La IA por sí sola no puede serlo.

Por ello, el autor del resultado suele ser el usuario que dio a la IA instrucciones creativas y concretas (los llamados prompts). El problema surge si la IA se entrenó con datos protegidos por derechos de autor y el resultado es, en esencia, una imitación de una obra ajena. La responsabilidad por la vulneración de derechos de terceros recae, por regla general, en el usuario que utilizó el resultado.

En ARROWS nos ocupamos de estos riesgos. Impartimos formación especializada a sus empleados (sobre todo de RR. HH. y dirección) sobre cómo detectar y prevenir los riesgos de discriminación algorítmica. Además, revisamos los contratos de licencia con los proveedores de IA para asegurarnos de que esté protegido frente a reclamaciones de terceros por vulneración de la PI. Nuestros abogados están preparados para ayudarle: escríbanos a consultas@arws.cz.

La IA no conoce fronteras: apoyo jurídico a escala internacional

La inteligencia artificial es un negocio global. Puede tener los datos entrenados en EE. UU., el software alojado en Asia y los clientes en Europa. Pero la regulación está fragmentada.

Mientras la UE implanta la regulación integral más estricta, basada en el riesgo (AI Act), EE. UU. opta por un enfoque más favorable a la innovación, basado en estándares de mercado y directrices (NIST). Asia está dividida: China tiene leyes específicas y estrictas, mientras que Singapur fomenta la innovación con un marco «blando» y voluntario.

Para una empresa checa con ambiciones globales, esta situación es una pesadilla jurídica. ¿Qué estándar cumplir? La respuesta es sencilla: el más estricto. Gracias al alcance extraterritorial del AI Act, el estándar europeo se convierte de facto en el estándar global para cualquiera que quiera acceder al mercado europeo.

Para nuestros clientes con actividad global, esto es clave. Gracias a la red ARROWS International, construida a lo largo de diez años, resolvemos prácticamente a diario el cumplimiento normativo de proyectos de IA con elemento internacional. Tanto si se trata de transferencias internacionales de datos para entrenar IA, de contratos de licencia con un proveedor estadounidense o de la entrada en el mercado asiático, nuestro equipo internacional está preparado para prestarle todo el apoyo jurídico. ¿Necesita ayuda jurídica con alcance internacional? Contáctenos en consultas@arws.cz.

Colaboración con ARROWS: de la auditoría jurídica a la protección frente a multas

Implantar sistemas de detección con IA no es una opción, sino una necesidad para seguir siendo competitivo. Pero hacerlo sin una cobertura jurídica de primer nivel es una apuesta que no puede permitirse.

En ARROWS no nos limitamos a emitir dictámenes jurídicos. Somos socios de su negocio. Prestamos servicios de forma continuada a más de 150 sociedades anónimas, 250 s.r.o. (sociedades de responsabilidad limitada checas) y 50 municipios y regiones. Apostamos por la rapidez y la alta calidad.

Además, podemos poner en contacto a nuestros clientes cuando vemos oportunidades de inversión o de negocio interesantes. También escucharemos con gusto sus ideas de negocio.

Nuestro equipo está preparado para ayudarle de inmediato, ya necesite:

• Una auditoría completa de IA/RGPD y un Gap-analysis
• La elaboración de directrices internas de monitorización y uso de la IA
• La preparación o revisión de contratos con proveedores de tecnologías de IA
• Representación ante tribunales y autoridades administrativas (p. ej., la Oficina para la Protección de Datos Personales (ÚOOÚ))
• Formación especializada para su dirección y sus empleados.

Proporcione a su negocio innovador la protección jurídica que merece. Nuestros abogados están preparados para ayudarle: escríbanos a consultas@arws.cz.

¿No quiere resolver este problema por su cuenta? Más de 2000 clientes confían en el despacho de abogados ARROWS, que ha sido galardonado como Bufete del Año 2024. Consulte AQUÍ nuestras referencias; será un honor ayudarle a resolver su problema. La solicitud de presupuesto es gratuita.