Zakázané užití AI v novém Nařízení EU o umělé inteligenci

Evropská unie jako první na světě přichází s přijetím komplexní právní regulace umělé inteligence přelomového v rámci Nařízení o umělé inteligenci (AI Act). Toto nařízení klade základ pro regulaci vývoje, uvádění na trh a používání umělé inteligence (AI) na území EU. Umělá inteligence je nástroj, který má potenciál usnadnit práci téměř ve všech oborech lidské práce. Ovšem jak široký přínos může AI mít, tak široké jsou i možnosti jejího zneužití. Proto jsou některé způsoby použití AI zakázány nebo je jejich užívání povoleno pouze za splnění přísných podmínek.

V první řadě Nařízení zakazuje v čl. 5 odst. 1 písm. a) a b) používání AI systémů, které využívají zranitelnosti specifických skupin osob z důvodu jejich věku, tělesného či mentálního postižení, s úmyslem ovlivnit jejich chování s potenciálem způsobit psychickou nebo fyzickou újmu. Například se bude jednat o zákaz různých AI algoritmů, které personalizují reklamu na základě analýzy uživatelem psaného textu nebo jeho aktuálního emočního rozpoložení (např. z výrazů obličeje zachyceného během videohovoru).

Dále je umělá inteligence schopna analyzovat velké množství dat o jednotlivci a na základě nich identifikovat jeho zranitelné body nebo preference a využít jich pro podprahové signály s cílem manipulace jednání uživatele, i toto užití AI by mělo být dle nového nařízení zakázáno.

Sociální kredit

V současnosti velmi diskutovaným tématem je i koncept sociálního kreditu používaný v Čínské lidové republice. Koncept sociálního kreditu jednoduše řečeno znamená, že orgán veřejné moci používá počítačové programy, které s pomocí AI sledují a hodnotí, jak se lidé chovají ve veřejném prostoru, jaké mají názory, předpovídají jejich budoucí chování nebo dokonce osobnostní rysy. Na základě shromážděných dat poté program stanovuje sociální skóre, od kterého se odvíjí přístup např. k úvěrům, pracovním příležitostem nebo státní podpoře, a které ovlivňují kvalitu života lidí.

Používání výše uvedeného konceptu tzv. sociálního kreditu AI Act zakazuje v čl 5 odst. 1 písm. c), a to zejména orgánům veřejné moci. Jeho použití je zakázáno bodem i) v případech, kdy výsledný sociální kredit vede k znevýhodňujícímu nebo nepříznivému zacházení s osobami v oblastech, které s původním kontextem získaných údajů nesouvisí. Pro příklad by šlo o situaci, kdy systém získá informaci o spáchání přestupku v dopravě a v důsledku toho pachateli nepřizná příspěvek na bydlení.

Bod ii) poté zakazuje použití AI systému ke konceptu sociálního kreditu, v jehož důsledku by docházelo k znevýhodňujícímu nebo nepříznivému zacházení s osobami, jež je neodůvodněné či nepřiměřené jejich chování nebo jeho závažnosti. Příkladem lze uvést situaci, kdy osoba přejde na červenou přechod a v důsledku snížení sociálního kreditu ji je odepřeno poskytnutí úvěru na bydlení.

Biometrická identifikace

Posledním zakázaným postupem je používání systémů biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech uvedený v čl. 5 odst. 2 až 4 AI Actu. Systémy biometrické identifikace na dálku „v reálném čase“ využívají kamery a senzory na veřejných místech společně s AI ke snímání jedinečných biologických znaků, především obličeje. Tyto údaje porovnávají s databázemi, čímž jsou schopné identifikovat osoby během několika sekund. Neregulované užití této technologie tak sebou nese vysoká rizika zásahu do práv jednotlivců na svobodu a soukromí.

AI Act s ohledem na četná rizika biometrické identifikace omezuje její použití jen na případy, kdy je to nezbytné k nalezení pohřešovaných obětí, zabránění bezprostřednímu ohrožení života, bezpečnosti osob nebo teroristickému útoku, případně k odhalování, lokalizaci, identifikaci nebo stíhání pachatelů některých závažných trestných činů.

I pro použití v těchto extrémních případech nařízení stanoví podmínky, které musejí být zohledněny. Je nutné zohlednit především závažnost dané situace a možné škody, pokud by systém nebyl využit. Současně je nutné zvážit dopad na práva a svobody všech osob, které by byly použitím biometrické identifikace dotčeny.

Každé jednotlivé použití systému biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech rovněž podléhá povolení ze strany justičního nebo nezávislého správního orgánu členského státu, ve kterém má k tomuto použití dojít.

Povolení vydá orgán na základě odůvodněné žádosti pouze v případě, že na základě důkazů nebo jednoznačných údajů, které mu byly předloženy, dojde k přesvědčení, že použití je nezbytné a přiměřené k dosažení cíle uvedeného v žádosti, který není dle AI Actu zakázaný. V řádně odůvodněné naléhavé situaci však může být biometrická identifikace použita bez předchozího povolení, které ale bude nutno získat v průběhu používání nebo po něm.

Výše uvedené podmínky použití biometrické identifikace jsou ale například podle akademické práce NEUWIRTH, Rostam J. Prohibited Artificial Intelligence Practices in the Proposed EU Artificial Intelligence Act [online]. 2022 [cit. 2024-05-23]. Dostupné z: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4261569. University of Macau - Faculty of Law., příliš široce formulované a je velmi obtížné stanovit okruh situací, na který se budou vztahovat.

Například pojem “řádně odůvodněná situace” v případě použití biometrické identifikace bez předchozího povolení příslušného orgánu přenáší výklad tohoto spojení na policejní nebo jiné bezpečnostní orgány, což představuje značné riziko nepřiměřeného použití této technologie.

Článek Stanford Institute for Human-Centered AI LYNCH, Shana. Analyzing the European Union AI Act: What Works, What Needs Improvement [online]. 2023 [cit. 2024-05-23]. Dostupné z: https://hai.stanford.edu/news/analyzing-european-union- ai-act-what-works-what-needs-improvement, v této souvislosti upozorňuje též na to, že bez jasných a jednoznačných definic hrozí riziko nerovnoměrného vykládání těchto pravidel napříč orgány členských států, což může vést k právní nejistotě a četným komplikacím. I z tohoto ohledu by tudíž bylo vhodné zakázané systémy užití AI upravit podrobněji než pouhým článkem 5 nařízení.

AI Act je průlomovým nařízením, které se snaží zajistit etické a transparentní využívání umělé inteligence v EU. Díky pravidlům pro užití AI v rizikových oblastech se snaží občany před manipulativními systémy, zneužíváním zranitelných skupin a zásahům do soukromí včetně přísných podmínek použití biometrické identifikace. Současně ale s ohledem na široce formulované definice nelze vyloučit jeho zneužití a rozdílný výklad v členských státech.