Regulace umělé inteligence (AI) v EU:

Evropská unie přijala vůbec první komplexní právní úpravu umělé inteligence – tzv. AI Act (Akt o umělé inteligenci, nařízení (EU) 2024/1689). Toto nařízení zavádí harmonizovaná pravidla pro vývoj, uvádění na trh a používání AI napříč členskými státy a sleduje cíl podporovat inovace při současném zajištění ochrany zdraví, bezpečnosti a základních práv.

AI Act staví na rizikovém přístupu – rozlišuje systémy AI podle míry rizika, které představují. Stanoví se kategorie minimálního rizika, nízkého rizika s povinností transparentnosti, vysoce rizikové AI systémy (podléhající přísným požadavkům) a nepřijatelné riziko, tj. praktiky AI, které jsou zakázané.

Právě těmto zakázaným praktikám AI a jejich praktickým dopadům se článek věnuje, včetně nejnovějších pokynů Evropské komise k výkladu těchto zákazů.

​Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740)

AI Act byl schválen v červnu 2024 a účinnost zákazu zakázaných praktik nastala již 2. února 2025 (). To znamená, že od tohoto data platí přímý zákaz využívání určitých nebezpečných aplikací AI bez ohledu na odvětví. Porušení těchto zákazů může být sankcionováno velmi vysokými pokutami – až 35 mil. EUR nebo 7 % celosvětového ročního obratu firmy, podle toho, co je vyšší.

Je tedy zásadní, aby se firmy a organizace seznámily s tím, které AI praktiky jsou v EU nepřípustné, jak se vyhnout jejich porušení a jak zajistit soulad (compliance) s novými pravidly. V dalším textu proto přinášíme přehled zakázaných praktik AI podle AI Act, podrobnější rozbor vybraných zákazů (zejména manipulativní techniky a rozpoznávání emocí) s odkazy na konkrétní články AI Act, přiblížení pokynů Evropské komise k těmto zákazům a doporučení pro praxi firem. Na závěr nastíníme, jak může advokátní kancelář pomoci klientům v oblasti regulace AI.

Zakázané AI praktiky podle AI Act

AI Act v článku 5 zakazuje osm typů praktik využití umělé inteligence, které jsou považovány za „nepřijatelné riziko“ – tedy v rozporu s hodnotami EU a základními právy, a tudíž zcela nepovolitelné. Jde o tyto zakázané postupy v oblasti AI:

• Subliminální a manipulativní techniky (čl. 5 odst. 1 písm. a) AI Act): Systémy AI využívající podprahové, záměrně manipulativní či klamavé techniky s cílem nebo účinkem podstatně narušit chování osoby (nebo skupiny osob) mimo jejich vědomou kontrolu, čímž je přimějí k rozhodnutí, které by jinak neučinily, a způsobí jim to újmu (Tento zákaz a příklady manipulativních AI technik rozebíráme podrobněji níže.)
  
  
• Zneužití zranitelnosti (čl. 5 odst. 1 písm. b)): AI systémy využívající zranitelnosti jednotlivců nebo skupin dané jejich věkem, zdravotním postižením nebo sociálně-ekonomickou situací, za účelem podstatného ovlivnění jejich chování způsobem, který jim může způsobit újm. Typicky sem spadají AI praktiky cílící na děti, seniory či jinak zranitelné osoby a snažící se je zmanipulovat k škodlivému jednání (např. podvody cílící na důvěřivé seniory – viz dále).
  
  
• Sociální skóre (social scoring) (čl. 5 odst. 1 písm. c)): AI systémy pro hodnocení nebo klasifikaci lidí na základě jejich sociálního chování či osobních rysů, které vedou k tzv. sociálnímu kreditu a následně k nepříznivému zacházení s osobami. Zákon cílí zejména na plošné společenské hodnocení obyvatel po vzoru některých systémů sociálního kreditu – tedy detrimentální zacházení s lidmi mimo původní kontext dat nebo nepřiměřeně vůči jejich chování. Takové „skórování občanů“ je v EU zakázáno.
  
  
• Prediktivní policejní systémy (čl. 5 odst. 1 písm. d)): AI používaná k hodnocení rizika, že osoba spáchá trestný čin, na základě profilování nebo posuzování jejích rysů, tj. předpovídání kriminality bez opory v objektivních skutečnostech Jedná se fakticky o „predictive policing“ či „předzločin“ analýzy známé z fikce – AI Act je zakazuje, neboť mohou vést k diskriminaci. (Zákaz se nevztahuje jen na podpůrné systémy, které pomáhají lidskému vyšetřovateli na základě ověřených faktů.
  
  
• Masové získávání biometrických dat (scraping) pro rozpoznávání obličejů (čl. 5 odst. 1 písm. e)): AI systémy, které vytvářejí či rozšiřují databáze pro rozpoznávání obličejů prostřednictvím necíleného stahování (scrapingu) obrázků obličejů z internetu nebo záznamů kamer. Tímto ustanovením se míří na praktiky typu hromadného sběru fotografií z webu či sociálních sítí bez souhlasu, za účelem trénování AI na rozpoznávání obličejů (příkladem je kauza Clearview AI). Takové nevyžádané skrytě prováděné sběry biometrických dat jsou zakázány.
  
  
• Rozpoznávání emocí na pracovišti a ve školství (čl. 5 odst. 1 písm. f)): AI systémy určené k odvozování emocí osob na pracovišti nebo ve vzdělávacích institucích (např. analýza výrazů zaměstnanců či žáků s cílem zjistit jejich emoční stav), s výjimkou použití pro zdravotní nebo bezpečnostní účely. Jinými slovy, monitorování emocí zaměstnanců a studentů pomocí AI je v EU zakázáno (podrobnosti viz níže).
  
  
• Biometrická kategorizace podle citlivých znaků (čl. 5 odst. 1 písm. g)): AI systémy, které biometricky identifikují a zařazují jednotlivé osoby do kategorií dle rasového či etnického původu, politických názorů, náboženského vyznání, členství v odborové organizaci, zdravotního stavu, sexuální orientace či života apod. Jde o AI, které by se snažily z biometrických údajů (např. z fotografie obličeje nebo z hlasového projevu) odvodit citlivé charakteristiky člověka. Takové praktiky jsou zakázány, neboť představují zásah do lidské důstojnosti a soukromí. (Zákaz se nevztahuje na pouhé označování či filtrování legálně získaných biometrických dat nebo kategorizaci biometrických dat pro účely vymáhání práva– tedy např. policejní forenzní třídění otisků prstů není tímto dotčeno.)
  
  
• Biometrická identifikace osob v reálném čase na veřejnosti (čl. 5 odst. 1 písm. h)): Použití AI pro biometrickou identifikaci (např. rozpoznávání obličejů) v reálném čase na veřejně přístupných místech orgány činnými v trestním řízení . Tento zákaz míří na plošný policejní dohled – např. kamery se systémem rozpoznávání obličejů monitorující všechny procházející osoby by byly nepřípustné. Existují jen úzce vymezené výjimky, kdy může být takový systém použit (a pouze policií): pátrání po obětech trestných činů (např. únosů či obchodování s lidmi), prevence bezprostředních teroristických hrozeb nebo nalezení konkrétního podezřelého z vážného zločinu. Tyto výjimky jsou velmi restriktivní a podmíněné mj. předchozím povolením soudního orgánu a provedením posouzení dopadů na základní práva. V praxi tedy obecné používání technologií typu „face recognition“ policejně na ulicích není dovoleno.

Jak je patrné, zakázané praktiky AI zahrnují především takové manipulace, sledování a profilování, jež podkopávají lidskou autonomii nebo mohou vést k diskriminaci a újmě. Níže se podrobněji zaměříme na dvě oblasti, které AI Act výslovně zakazuje a na něž se soustředí i pokyny Komise – manipulativní techniky a rozpoznávání emocí.

Manipulativní a klamavé AI techniky (čl. 5(1)(a) AI Act)

AI Act zakazuje AI systémy, které využívají podprahových, manipulativních nebo klamavých technik k ovlivnění lidí způsobem, jenž závažně naruší jejich schopnost rozhodovat se a způsobí jim újmu.

Jde o praktiky manipulace „mimo vědomí“ člověka – například skryté podprahové vzkazy, nepozorované ovlivňování emocí, či AI, která člověka úmyslně klame o své povaze nebo záměrech. Klíčové je, že takové techniky zásadně ovlivní chování osoby, která pak učiní rozhodnutí, jež by za normálních okolností neučinila, a dojde ke škodě.

Do této kategorie spadají různé formy klamavé či skryté manipulace za pomoci AI. Není podstatné, zda vývojář AI zamýšlel někoho podvést – zákaz se uplatní už tehdy, pokud systém objektivně používá tyto manipulativní techniky a může způsobit významnou újmu.

Typickým příkladem je AI chatbot, který se vydává za reálnou osobu (např. přítele či příbuzného) a přesvědčí oběť k nějakému úkonu v její neprospěch (třeba vylákání peněz) – taková deceptivní AI způsobující újmu je jednoznačně zakázána.

Dalším příkladem může být AI generující obrazový či audiovizuální obsah (tzv. deepfake) bez upozornění, že jde o uměle vytvořené dílo, pokud tím dochází k ošálení člověka. Subliminální techniky pak mohou mít podobu například vložení extrémně rychle blikajících textů nebo snímků do videa, jež jsou vědomě nepostřehnutelné, ale mozek je podvědomě zpracuje a ovlivní diváka. I to by spadalo do této zakázané praktiky.

Evropská komise ve svých Pokynech k zakázaným praktikám AI (viz dále) podrobně vysvětluje, co vše může být považováno za manipulativní či klamavou techniku. 

Například pojem „podstatné narušení chování“ člověka Komise vykládá v souladu s právem na ochranu spotřebitele – obdobně jako „materiální narušení ekonomického chování“ při nekalých obchodních praktikách dle směrnice 2005/29/ES.

Důležitým rozlišujícím kritériem je, zda AI jde nad rámec „povoleného přesvědčování“. Legitimní ovlivňování (např. běžná reklama) je takové, které transparentně prezentuje informace či argumenty, třeba i apeluje na emoce, ale neuchyluje se ke skryté manipulaci.

Naproti tomu AI praktiky, které využívají kognitivních biasů, emocionálních slabin či jiných zranitelností člověka bez jeho vědomí, spadají do zakázané manipulace.

Pokyny Komise uvádějí několik konkrétních scénářů. Krom výše zmíněného chatbota uvádějí například AI generující deepfake videa, která pokud jsou jasně označena jako umělá (např. vodoznakem či varovným textem), výrazně snižují riziko záměrné klamavosti a škodlivé manipulace.. To je pro praxi důležitá rada: důslednou transparentností (označením AI obsahu, informováním uživatelů, že komunikují se strojem apod.) lze předejít naplnění skutkové podstaty tohoto zákazu.

Pro firmy vyvíjející AI systémy interagující s lidmi to znamená, že by vždy měly uživatele informovat, že jednají s AI (což je ostatně i samostatná povinnost dle AI Act pro veškeré AI k interakci s lidmi. Stejně tak je třeba se vyhnout jakýmkoli skrytým „nástrojům přesvědčování“, které uživatel nemůže vědomě odhalit.

Shrnuto, jakákoli AI, která potají manipuluje uživatelem k jeho neprospěchu, nemá v EU místo. Firmy by měly své AI aplikace posoudit – například některé agresivní marketingové algoritmy či „dark patterns“ využívající AI by mohly spadat do této kategorie, pokud by u spotřebitelů vyvolaly rozhodnutí ke koupi či jednání vedoucí k újmě, které by za normálních okolností neučinili. Pokud AI projekt byť jen vzdáleně hraničí s touto definicí, je nezbytné jej překlasifikovat či upravit, aby bylo zajištěno, že nejde o podprahovou manipulaci (např. vnést do procesu více informovanosti uživatele, vložit možnost volby, zajistit souhlas atp.). V případě pochybností je vhodné řídit se konzervativním přístupem nebo vyhledat právní radu.

Rozpoznávání emocí na pracovišti a ve vzdělávání (čl. 5(1)(f))

Druhou specifickou zakázanou praktikou je AI pro rozpoznávání emocí v zaměstnání a školství. Článek 5(1)(f) AI Act zakazuje uvádět na trh či používat systémy AI k odvozování emocí fyzické osoby na pracovišti a ve vzdělávacích institucích (škole).

Výjimku mají jen systémy určené ze zdravotních nebo bezpečnostních důvodů. V praxi to znamená, že např. AI kamera sledující výraz tváře zaměstnance či studenta, aby vyhodnotila jeho emocionální stav (zda je naštvaný, znuděný, smutný apod.), je nepřípustná. Firmy tedy nesmí nasadit AI ke sledování nálady či emocí svých pracovníků při práci, a stejně tak školy nesmí monitorovat emoční projevy žáků pomocí AI.

Motivací tohoto zákazu je ochrana lidského soukromí a důstojnosti – emoční projevy jsou vysoce intimní sférou, a jejich automatizované vyhodnocování v pracovně-právním či vzdělávacím kontextu může vést k nátlaku či diskriminaci. Pokyny Evropské komise zdůrazňují, že tento zákaz se týká jakýchkoli AI systémů, které identifikují nebo interpretují emoce či záměry osoby v těchto prostředích. Pojem „emoce a záměry“ je přitom vykládán široce, neměl by být zužován jen na několik základních emocí. Je podstatné, že typicky půjde o AI analyzující biometrické údaje (výrazy obličeje, tón hlasu, gesta, fyziologické projevy).

Pokud by AI vyvozovala emoční stav jen z textu (např. analýza slov v e-mailu), nespadalo by to pod tento zákaz, neboť textové údaje nejsou biometrické. Nicméně jakékoli snímání a vyhodnocování výrazů tváře, hlasové intonace, pohybů těla, srdečního tepu apod. pro účely zjištění emocí v práci či škole je zakázané.

Praktické dopady tohoto zákazu: Zaměstnavatelé musí přehodnotit případné nasazení AI monitoringu zaměstnanců. Například aplikace hodnotící „míru úsměvu“ prodavačů při kontaktu se zákazníky nebo AI sledující stres či spokojenost zaměstnanců přes webkameru by spadaly pod zákaz a nesmí být používány.

Výjimku mají pouze systémy nasazené pro bezpečnost či zdraví – např. AI monitorující známky únavy nebo úzkosti u řidičů či operátorů nebezpečných strojů, aby zabránila úrazu. Podobně třeba AI asistent sledující hlasové projevy pracovníka z hlediska zdravotního (detekce známek stresu vedoucích k infarktu) by mohl spadat do povolené výjimky zdravotního důvodu. Vždy však platí, že účel musí být skutečně bezpečnostní nebo zdravotní a nikoli třeba zvyšování produktivity či kontroly loajality – takové účely jsou mimo výjimku.

Firmy by měly velmi obezřetně posoudit jakékoli technologie, které „čtou“ emoce zaměstnanců či studentů. Pokud například HR oddělení uvažovalo o nasazení AI pro analýzu video pohovorů uchazečů (tzv. AI pohovory, které sledují mimiku kandidáta kvůli odhadům osobnosti), je třeba upozornit, že v EU by taková praxe mohla porušit čl. 5(1)(f), pokud by šlo o hodnocení emocí kandidáta v pozici potenciálního zaměstnance.

Obdobně jakékoli „emotion AI“ nástroje pro hodnocení nálady týmů, zákaznické spokojenosti přes emoční reakce zaměstnanců apod. jsou problematické. Alternativou může být zaměřit se na objektivní metriky výkonnosti či spokojenosti (např. anonymní dotazníky) místo skrytého snímání emocí, nebo využít jiné technologie spadající mimo definici AI Act (pokud by šlo o deterministický software bez strojového učení – ovšem i tak platí ochrana soukromí dle GDPR).

Z regulatorního hlediska spadá rozpoznávání emocí mimo uvedené zakázané kontexty (např. AI, která analyzuje emoce zákazníků v obchodě pro marketing) do nižší kategorie rizika – konkrétně bylo zařazeno mezi vysoce rizikové AI systémy dle přílohy III AI Act, pokud se používá ke klasifikaci osob na základě biometrických údajů (tedy i emoce) pro přístup ke službám.

Tyto případy by pak vyžadovaly splnění přísných požadavků, ale nejsou absolutně zakázány. Pro běžnou firmu je však nejdůležitější vědět, že jakýkoli záměr využít AI k monitoringu emocionálního stavu vlastních zaměstnanců naráží na striktní zákaz a nelze jej realizovat.

Pokyny Evropské komise k zakázaným praktikám AI

Dne 4. února 2025, tedy krátce po nabytí účinnosti uvedených zákazů, vydala Evropská komise Pokyny k zakázaným praktikám umělé inteligence podle AI Act (dokument C(2025) 884 final). Tyto Pokyny Komise byly schváleny Komisí, byť formálně budou dokončeny po překladu do všech jazyků (). Jejich účelem je poskytnout výklad a praktické příklady k jednotlivým zákazům podle článku 5 AI Act a napomoci tak k jednotné a účinné aplikaci napříč EU.

Pokyny samy o sobě nejsou právně závazné (závazný výklad přísluší Soudnímu dvoru EU), ale mají významnou orientační hodnotu a lze očekávat, že je budou zohledňovat dozorové orgány i soudy. Pro firmy a organizace jsou tedy cenným vodítkem, jak Komise jednotlivé zákazy chápe.

Co Pokyny obsahují? Pro každý ze zakázaných postupů (a) až (h) Pokyny rozebírají hlavní prvky definice, uvádějí praktické příklady, a také vymezují, co naopak do daného zákazu nespadá. Dále nabízejí doporučení, jak se vyhnout poskytování či používání AI systémů způsobem, který by mohl být zakázaný. 

Například u manipulativních technik (písm. a) Pokyny vysvětlují pojmy „podprahový“ vs. „manipulativní“ vs. „klamavý“ , rozlišují, co je ještě přípustné přesvědčování (lawful persuasion) a co již zakázaná manipulace , a doporučují opatření jako výslovné upozorňování na AI obsah (labeling), které může riziko manipulace zmírnit.

U zákazu rozpoznávání emocí Pokyny upřesňují, že se nevztahuje na zákaznické nebo soukromé použití (jde jen o pracoviště a školy) a obsahují scénáře, co je ještě povoleno – např. systémy pro zjištění úrovně stresu z bezpečnostních důvodů. Obdobně u dalších kategorií (exploatace zranitelných osob, sociální scoring, biometrická identifikace atd.) Pokyny nabízejí detailní rozbor.

Pro firmy je podstatné, že Pokyny Komise obsahují i konkrétní příklady z praxe. Mnohé jsme zmínili výše: např. manipulativní chatbot vydávající se za přítele, AI podsouvající nepostřehnutelné podněty nebo marketingová AI zneužívající závislost mladistvých na aplikaci – to vše Pokyny uvádějí jako typické zakázané praktiky.

 Naopak také uvádějí příklady systémů, které do zakázaných kategorií nespadají, aby vymezily hranici. Např. u manipulace se zdůrazňuje, že běžná reklama či přesvědčování, které nevyužívá skryté klamavé triky, není tímto zákazem dotčeno.

U emoční analýzy se zas zmiňuje, že pokud AI nesplňuje všechny znaky zakázané praxe (např. není použita na zaměstnance), bude spadat do nižší kategorie rizika – typicky vysoce rizikové AI s povinnostmi místo absolutního zákazu.

Shrnutí významu Pokynů: Pro podniky a organizace pracující s AI jsou tyto pokyny cenné, neboť zvyšují právní jistotu. AI Act je poměrně obecný a technologicky neutrální, takže konkrétní posouzení, zda určitá AI aplikace spadá pod zákaz, může být složité. Díky Pokynům má nyní firma k dispozici interpretaci Komise, včetně praktických scénářů. Ačkoli Pokyny nejsou právně závazné, bylo by riskantní je ignorovat – odchylka od výkladu Komise by musela být obhájena případně před soudem. Doporučujeme proto firmám se s Pokyny seznámit (jsou veřejně dostupné) a případně konzultovat sporné případy s právníkem, aby si ověřily, že jejich AI činnosti jsou v souladu s duchem i literou regulace.

Dopady na firmy a organizace: jak se vyhnout porušení a zajistit compliance

Okamžitá platnost zákazů a vysoké sankce

Jak již bylo uvedeno, zákazy zakázaných praktik AI jsou v platnosti od února 2025. Každá firma či organizace využívající AI by proto ihned měla provést inventuru svých systémů a aplikací a prověřit, zda náhodou některý nepředstavuje zakázanou praktiku dle čl. 5 AI Act. Na rozdíl od povinností pro tzv. vysoce rizikové AI (které mají delší přechodné období na implementaci), zde nebyla dána žádná odkladná lhůta – zákaz platí a je vymahatelný už nyní (). V každém členském státě budou dozor nad dodržováním mít orgány dozoru nad trhem (market surveillance authorities) a případně další regulátoři (např. úřady na ochranu osobních údajů, pokud jde o biometrické AI). Ty mohou provádět kontroly a uložit sankce. Jak jsme zmínili, sankce nejsou zanedbatelné – až 35 milionů eur nebo 7 % ročního obratu firmy.

V případě porušení zákazu čl. 5. Pro srovnání, je to stejná úroveň sankcí jako nejzávažnější porušení GDPR. Finanční, právní i reputační riziko je tedy enormní, pokud by firma byť nevědomky provozovala zakázanou AI.

Praktické kroky ke splnění požadavků (compliance)

1. Identifikace AI systémů a posouzení rizika: Prvním krokem je zmapovat všechny AI systémy a projekty ve firmě. AI Act má poměrně širokou definici „systému AI“, která zahrnuje nejen strojové učení, ale i logické/expertí systémy, Bayesovské modely atd. (tj. jakýkoli software využívající autonomní inteligentní postup pro konkrétní úkol) (). U každého takového systému je potřeba vyhodnotit, do které rizikové kategorie spadá.

Pokud by spadal do kategorie zakázaných praktik (viz seznam výše a detailní popis), je nutno okamžitě přijmout opatření – buď systém zásadně upravit, nebo přestat používat. Naproti tomu AI systémy spadající do vysoce rizikových budou muset do doby použitelnosti AI Act (pravděpodobně 2026) projít posouzením shody a splnit řadu technických a organizačních požadavků, ale nemusí být vypnuty. Zakázané jsou však nekompromisní – ty se nesmí provozovat vůbec.

2. Zacílení na kritické oblasti: Zejména se firmy musí zaměřit na oblasti marketingu, HR, bezpečnosti a analýzy dat, kde hrozí, že některé inovativní AI nápady by mohly narazit na čl. 5.

Příklady otázek, které by si firma měla položit:

• Nesnaží se náš marketingový AI nástroj podprahově manipulovat zákazníky? (Např. neužívá neuromarketingové triky bez vědomí uživatele?)
• Necílí naše AI reklama nebo nabídky zvlášť na zranitelné skupiny způsobem, který je může poškodit? (Např. zneužití dat o vyšším věku k nátlaku na seniory, klamavé nabídky investic či léčebných přípravků cílící na nemocné apod. – to by mohlo naplnit zákaz dle čl. 5(1)(b).
• Nepoužíváme nástroje pro monitoring zaměstnanců nebo studentů pomocí AI, které by mohly sledovat jejich emoce či jinak nadměrně zasahovat do jejich soukromí? (Viz zákaz čl. 5(1)(f) – pokud ano, ihned zastavit.)
• Nemáme v plánu nasadit AI pro hodnocení spolehlivosti osob na základě rozsáhlých dat (např. scoring zákazníků nad rámec úvěrové bonity)? (Mohlo by připomínat social scoring a narazit na čl. 5(1)(c).)
• Nepoužíváme náhodou nějakou veřejnou databázi obličejů či biometrických profilů vytvořenou hromadným „scrapingem“ z internetu? (Pokud ano, je to vysoce problematické – raději ověřit původ trénovacích dat a dodržet zákonné postupy získání souhlasu, jinak porušení čl. 5(1)(e).)
• Nevyvíjíme AI, která se snaží odhadovat citlivé vlastnosti lidí (např. etnikum, orientaci, zdravotní stav) z jejich fotografií nebo hlasu? (Takový projekt by spadal pod zákaz čl. 5(1)(g) – je nutné jej zastavit nebo změnit zadání.)
• V oblasti bezpečnosti: neplánujeme implementovat face recognition kamery pro obecné sledování veřejných prostor? (To je pro soukromé subjekty obecně zákaz už z jiných důvodů – GDPR – a pro policii viz čl. 5(1)(h) pouze omezeně. Firmy mohou používat biometrickou identifikaci jen interně pro autentizaci v omezeném okruhu – např. vstup zaměstnanců do budovy na obličej – což není „veřejný prostor“ ani policejní účel a zákaz se na to nevztahuje.

3. Úprava nebo ukončení rizikových AI aktivit: Pokud identifikujete AI systém, který by mohl spadat do zakázané kategorie, je třeba okamžitě jednat.

Možnosti:

• Ukončení používání – nejjistější cesta, pokud AI není pro byznys kritická. Např. rozhodnete se raději nepoužívat experimentální AI nástroj, než riskovat porušení zákona.
• Technická a procesní opatření pro zmírnění rizika – někdy lze AI upravit tak, aby vypadla ze zakázané definice. Příklad: Máte-li AI, která generuje velmi realistické video avatary pro komunikaci se zákazníkem, zajistěte, že u nich vždy bude jasně uvedeno, že jde o virtuální postavu (oznámení “Jsem virtuální asistent”) – tím zabráníte klamání a AI nebude „manipulativní“. Nebo pokud jste vyvíjeli AI pro vyhodnocení emocí zaměstnanců kvůli bezpečnosti, dokumentujte ten účel a nepoužívejte výstupy k jinému účelu (aby se vešlo do výjimky).
• Právní posouzení hraničních případů – pokud si nejste jisti, zda váš AI systém překračuje hranici, konzultujte to s právníkem či compliance expertem. Například rozdíl mezi povolenou personalizací obsahu a zakázanou manipulací může být jemný a rozhoduje míra a typ ovlivnění uživatele. V tomto ohledu mohou pomoci i Pokyny Komise – právní poradce je s vámi může projít a vyhodnotit váš konkrétní use-case.

4. Školení a interní směrnice: Zaveďte interní procesy, které zajistí, že nové AI projekty budou před nasazením posouzeny z hlediska souladu s AI Act (podobně jako dnes se posuzují projekty z hlediska ochrany osobních údajů – DPIA). Školte své vývojáře, product managery a další relevantní zaměstnance o zakázaných praktikách. Je důležité, aby lidé v týmu věděli, že např. nápad „pojďme analyzovat zákazníkovi výraz tváře webkamerou a dle toho měnit nabídku“ je z právního pohledu nepřijatelný. Vytvořte kodexy a směrnice pro vývoj AI ve firmě, které budou obsahovat checklist zakázaných oblastí – vývojáři tak mohou už v zárodku zjistit, že určitým směrem se ubírat nesmí.

5. Sledování dalšího vývoje regulace: Oblast AI je dynamická – AI Act zmocňuje Komisi, aby v budoucnu upravovala detaily (např. rozšíření seznamu zakázaných praktik může nastat, pokud se objeví nové nebezpečné trendy). Sledujte proto aktualizace legislativy i výkladů. Již nyní Komise vydává vedle pokynů k zakázaným praktikám také pokyny k definici AI systému či jiné metodiky. Advokátní kancelář vám může pomoci s průběžným monitoringem (viz níže).

Příklady z praxe aneb jak se vyhnout porušení

Abychom si ukázali praktická opatření, uvádíme několik scénářů a doporučení, jak předcházet porušení zákazů:

• Transparentnost jako prevence klamání: Pokud používáte chatbota nebo virtuální asistenty, vždy zřetelně informujte uživatele, že komunikují s AI. Zamezíte tím neúmyslnému klamání. Stejně tak označujte AI generovaný obsah (text, obrázky, videa) tak, aby pozorovatel věděl, že nejde o reálnou osobu či skutečnost. Tím minimalizujete riziko, že AI výstup někoho podvede nebo skrytě ovlivní.
• Opatrnost u cílení na zranitelné skupiny: V reklamě a nabídkách se vyvarujte toho, aby AI segmentace explicitně cílila na osoby podle zranitelnosti (věk, nemoc, chudoba) se záměrem je využít. Pokud například AI identifikovala skupinu starších lidí, kteří reagují na určitý podnět, nezneužívejte toho k nátlaku (např. agresivní prodej finančně náročného produktu s pochybnou hodnotou). Taková situace by mohla být vyhodnocena jako zakázaná exploatace zranitelnosti.
  
  
• Žádné sledování emocí zaměstnanců mimo bezpečnost: Zaveďte interní zákaz používání jakékoli technologie pro rozpoznávání emocí zaměstnanců, pokud k tomu není výslovný bezpečnostní či zdravotní důvod. Výjimky (např. monitorování pozornosti řidiče kamionu pomocí kamery kvůli prevenci mikrospánku) si nechte písemně schválit vedením a právním oddělením, aby bylo jasné, že jsou legální a slouží bezpečnosti. Naopak třeba nápad hodnotit na základě video hovorů, zda jsou zaměstnanci „dostatečně pozitivní“, kategoricky odmítněte – není legální.
  
  
• Korektní použití biometrických technologií: Pokud využíváte biometriku (otisk prstu, rozpoznání obličeje) pro autentizaci osob při vstupu, ujistěte se, že data získáváte legálně a cíleně jen pro tuto funkci. Nevytvářejte si vlastní velké biometrické databáze potají stahováním fotek z internetových zdrojů – jednak tím porušujete AI Act (čl. 5(1)(e)), jednak GDPR. V případě potřeby využijte raději oficiálně dostupné datasety nebo zakupte licenci od poskytovatele, který data získal souladně s právem.
  
  
• Pozor na „AI scoring“ lidí: Používáte-li AI k hodnocení zákazníků či uživatelů (např. scoring důvěryhodnosti, bonity, rizikovosti), držte se zavedených a legitimních kritérií. Nevymýšlejte širší „sociální skóre“, které by kombinovalo nepřeberné množství dat o chování a dávalo lidem nálepky typu „problematický občan“ – to je přesně to, co EU zakázala. Jakýkoli systém bodování lidí by měl mít jasný konkrétní účel (např. hodnocení solvency pro úvěr) a nepřenášet negativní důsledky do zcela jiných oblastí života dané osoby.
  

Dodržováním výše uvedených zásad a doporučení mohou firmy minimalizovat riziko, že se nevědomky dopustí zakázané praktiky. Kromě toho získají důvěru zákazníků i regulátorů, že AI používají eticky a odpovědně – což je ostatně jedním z cílů AI Act.

Jak může advokátní kancelář pomoci s regulací AI

Regulace AI v EU je nová a komplexní. Firmy často nemají interní experty, kteří by obsáhli všechny právní požadavky (AI Act, GDPR, kyberbezpečnostní předpisy aj.) a současně rozuměli technické stránce AI systémů. Advokátní kancelář specializující se na právo technologií může v této situaci sehrát klíčovou roli partnera, který pomůže klientům předcházet problémům a využít AI bezpečně.

Mezi konkrétní způsoby pomoci patří:

• Audit a posouzení AI systémů: Právníci mohou provést komplexní audit vašich AI nástrojů a projektů a identifikovat případná rizika. U každého systému posoudí, zda nespadá do zakázané kategorie nebo do režimu vysoce rizikového systému s požadavky. Zvláště u hraničních případů (např. systémy personalizace obsahu, které by mohly být považovány za manipulativní) poskytnou odborný názor podložený AI Act i Pokyny Komise.
  
  
• Návrh opatření ke compliance: Pokud se zjistí potenciální problém, advokátní kancelář navrhne řešení na míru – například úpravu funkčnosti AI (vkládání upozornění pro uživatele, změnu algoritmu výběru cílové skupiny apod.), zavedení interních politik nebo jiných opatření, která zajistí soulad s právem. Cílem je často najít cestu, jak dosáhnout business cíle klienta alternativním způsobem, který již není nezákonný.
  
  
• Právní zastřešení AI projektů od počátku: Ideální je zapojit právníky již v ranné fázi vývoje nebo nákupu AI řešení. Advokáti pomohou nastavit smlouvy s dodavateli AI, aby obsahovaly záruky ohledně souladu s AI Act. Také mohou prověřit licenci a data – např. ověřit, že tréninková data pro AI nebyla získána způsobem odporujícím právu (scraping osobních údajů apod.). Tím se předejde pozdějším sporům.
  
  
• Školení a příprava interních směrnic: Advokátní kancelář může pro klienta připravit školení pro management i vývojáře o nových povinnostech dle AI Act. Dále pomůže sestavit interní guideline pro vývoj a používání AI – praktický dokument, který shrne, co zaměstnanci smějí a nesmějí s AI dělat, jak posuzovat rizika a kdy se obrátit na právní oddělení. Tím se právní požadavky promítnou do každodenní praxe firmy.
  
  
• Řešení přeshraničních a regulatorních otázek: Pro nadnárodní společnosti je výhodou, že AI Act je nařízení přímo platné ve všech státech EU. Přesto se mohou lišit místní dozorové orgány a postupy. Advokátní kancelář může koordinovat strategii napříč pobočkami v EU, komunikovat s regulátory v případě dotazů či kontrol a zastupovat klienta v řízení, pokud by došlo k nějakému sporu či obvinění z porušení (např. hájit, že daný systém AI ve skutečnosti nespadá pod zákaz, protože... atd.).
  
  
• Aktualizace a kontinuální dohled: Právo AI se bude dále vyvíjet – advokáti budou sledovat novely AI Act, nové pokyny, soudní rozhodnutí a průběžně informovat klienty o tom, co to pro ně znamená. Mohou tak včas upozornit např. na rozšíření seznamu vysoce rizikových aplikací či nové výklady zakázaných praktik.
  

Závěrem

Regulace AI v EU (AI Act) představuje pro firmy výzvu, ale s odbornou pomocí je možné se v ní úspěšně zorientovat. Zakázané praktiky AI definované v AI Act chrání nás všechny před nejnebezpečnějšími způsoby zneužití AI – a dodržovat je je v zájmu jak společnosti, tak i vašeho podnikání (porušení by vedlo k tvrdým sankcím a ztrátě dobré pověsti). Advokátní kancelář vám pomůže nastavit procesy compliance, abyste mohli využívat inovativní AI technologie a zároveň plně dodržet právní regulaci. Díky tomu se budete moci soustředit na rozvoj svých AI projektů s vědomím, že jsou legální, etické a bezpečné.

Zajímají vás legislativní novinky v roce 2025? Připravili jsme si pro vás webinář.