Soulad s AI Actem a GDPR

Využívání umělé inteligence (AI) ve firmách přináší obrovské příležitosti, ale také nové legislativní požadavky. Evropská unie reaguje na rozvoj AI přijetím Nařízení o umělé inteligenci (AI Act), které doplní stávající rámec ochrany osobních údajů daný GDPR (Obecným nařízením o ochraně osobních údajů). Pro střední a velké podniky je klíčové zajistit soulad s oběma předpisy – v sázce jsou vysoké pokuty (GDPR umožňuje sankce až 4 % celosvětového ročního obratu​, AI Act počítá až s 6 % obratu​, reputační škody a další právní důsledky. Jak potvrzuje i praxe, nedodržování předpisů může firmu stát nejen peníze na pokutách, ale i dobrou pověst a postavení na trhu​. Proto by otázka souladu s AI Actem a GDPR měla být pro každou organizaci strategickou prioritou – preventivní opatření jsou vždy levnější než řešení následků.

​Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740)

Hlavní požadavky AI Actu a GDPR

AI Act (Akt o umělé inteligenci) zavádí první ucelený právní rámec pro AI na světě. Klíčovým principem je posuzování rizikovosti AI systému.

Nařízení rozděluje AI aplikace do čtyř kategorií:

• zakázané (nepřípustné použití, např. manipulativní techniky, sociální skóre apod.),
• vysoce rizikové (AI systémy s zásadním dopadem na bezpečnost či práva osob, např. ve zdravotnictví, dopravě, finančnictví, vzdělávání či náboru zaměstnanců),
• omezené riziko (např. generativní AI typu ChatGPT – povinnost určitých transparentních opatření, jako označení AI generovaného obsahu)
• minimální či žádné riziko (běžné AI aplikace, na které se AI Act zvlášť nevztahuje)​.

Vysoce rizikové AI systémy budou podléhat přísným požadavkům – mj. certifikaci a posouzení shody před uvedením na trh, vedení technické dokumentace, zajištění lidského dohledu nad jejich rozhodováním, opatření pro kvalitu dat a prevenci bias (diskriminace) či zabezpečení systému​.

Poskytovatelé těchto systémů musí také počítat s registrací v databázi EU, průběžným monitoringem a aktualizacemi a nesou odpovědnost za případné škody​. I pro méně rizikové AI ale AI Act stanoví určité povinnosti – např. zajistit, aby uživatelé věděli, že komunikují s AI (pokud to není zjevné), a označovat AI generovaný obsah (tzv. transparentnost AI)​.

Důležité je, že AI Act dopadá nejen na vývojáře a dodavatele AI, ale v jisté míře i na firmy jako uživatele – pokud podnik využívá AI systém spadající pod regulaci, musí dodržovat stanovená pravidla pro jeho používání.

GDPR se zaměřuje na ochranu osobních údajů a platí pro všechny subjekty, které zpracovávají osobní data občanů EU. Pro firmy to znamená zejména povinnost zpracovávat osobní údaje legálně a transparentně – mít pro každé zpracování platný právní důvod (souhlas, smlouva, oprávněný zájem apod.), informovat subjekty údajů o účelu a způsobu zpracování a respektovat jejich práva (např. právo na přístup k údajům, výmaz, námitku či omezení zpracování).

GDPR také vyžaduje zavedení organizačních a technických opatření k zabezpečení dat a minimalizaci rizik (šifrování, pseudonymizace, omezení přístupu apod.), a v případě porušení zabezpečení (data breach) nařizuje incident ohlásit úřadům a často i dotčeným osobám.

Klíčové pro oblast AI je automatizované rozhodování a profilování – GDPR (v čl. 22) dává jednotlivcům právo nebýt předmětem rozhodnutí založeného čistě na automatizovaném zpracování (včetně AI), pokud má právní či obdobně významné účinky.

Jinými slovy, pokud firma používá AI k automatizovanému rozhodování ovlivňujícímu jednotlivce (např. scoring klientů, automatizované zamítání úvěrů či výběr uchazečů o práci), musí buď získat výslovný souhlas, nebo zajistit, že do procesu vstupuje lidský prvek, případně poskytnout dotčeným osobám možnost rozhodnutí napadnout a nechat přezkoumat člověkem.

GDPR a AI se prolínají v momentech, kdy AI systémy zpracovávají osobní údaje – tehdy je potřeba dodržet obě regulace současně. Například AI Act klade důraz na respektování základních práv a výslovně vyžaduje soulad AI systému s GDPR​, což znamená, že data použitá pro trénování či rozhodování AI musí být získána a využívána v mezích zákona o ochraně údajů.

Praktické kroky k souladu

Jak tedy konkrétně postupovat, aby firma naplnila požadavky AI Actu i GDPR? Klíčová je proaktivita a systematický přístup. Níže uvádíme praktické kroky a opatření, které by střední a velké podniky měly zvážit pro dosažení a udržení souladu:

Nastavení interních procesů a odpovědností

Prvním krokem je zavést uvnitř organizace governance AI – jasná pravidla a procesy pro vývoj nebo používání systémů umělé inteligence. Vedení by mělo určit, kdo ponese odpovědnost za agendu AI compliance (například rozšířit působnost stávajícího pověřence pro ochranu osobních údajů – DPO – i na oblast AI, nebo zřídit novou roli pro AI etiku a soulad).

Dále je vhodné provést interní audit či inventuru všech AI nástrojů a projektů, které firma používá nebo vyvíjí, a vyhodnotit jejich rizikovost z pohledu AI Actu i GDPR. Tento přehled umožní zaměřit se na podstatné oblasti.

Je také třeba aktualizovat interní směrnice a politiky – například přidat pravidla pro používání generativní AI (co zaměstnanci smějí či nesmějí zadávat do nástrojů typu ChatGPT), definovat proces schvalování nových AI řešení a nastavit postupy pro hlášení incidentů souvisejících s AI.

V neposlední řadě sem patří pravidelné školení zaměstnanců – AI Act přináší požadavek tzv. AI gramotnosti, tedy zajistit, aby pracovníci nakládající s AI měli odpovídající znalosti o pravidlech a rizicích. Školení by měla zaměstnance seznámit s dopady AI Actu a GDPR, s etickými zásadami AI a naučit je rozpoznat a řešit rizikové situace.

Identifikace AI systémů podléhajících regulaci

Ne všechny AI nástroje ve firmě budou spadat do vysoké či omezené rizikovosti dle AI Actu. Proto je nutné rozčlenit AI systémy podle kategorií rizika.

Zeptejte se: Používáme AI v oblasti, kterou AI Act označuje za vysokorizikovou?

Typické příklady u firem zahrnují: AI pro nábor a HR (screening životopisů, automatizované posuzování uchazečů), hodnocení zaměstnanců, dále AI ve finančních službách (scoring klientů, detekce podvodů), v zdravotnictví (diagnostické algoritmy), ve výrobě a údržbě (např. AI pro řízení kritické infrastruktury) apod.

Pokud firma vyvíjí vlastní produkt založený na AI, je poskytovatelem AI systému – pak musí řešit i případnou certifikaci a oznámení dle AI Actu. Naopak běžné využití AI v marketingu (např. doporučovací algoritmy e-shopu), analytice dat či zákaznickém servisu (chatboti) pravděpodobně spadne do kategorie omezeného nebo minimálního rizika.

Každý identifikovaný AI nástroj je vhodné posoudit z hlediska účelu, typu zpracovávaných dat a potenciálních dopadů. Pokud zpracovává osobní údaje, vztahuje se na něj GDPR; pokud spadá do definic AI Actu, zaznamenejte si, jaká konkrétní povinnost se na něj budou vztahovat.

Vypořádání se s vysokorizikovými AI aplikacemi

Pro AI systémy, které spadají do kategorie vysokého rizika dle AI Actu, by firmy měly zavést zvláštní opatření.

V praxi to znamená vypracovat podrobný plán souladu pro každý takový systém. Zahrnuje to provedení hodnocení shody (conformity assessment) – tedy ověření, že systém splňuje všechny technické a procesní požadavky AI Actu ještě před jeho nasazením. Mnohé z těchto požadavků budou muset zajistit primárně dodavatelé/vývojáři (např. vytvořit technickou dokumentaci, zajistit testování a minimalizaci rizik).

Pokud ale firma pořizuje vysokorizikový AI systém od třetí strany, není z obav venku – jako uživatel má povinnost ověřit, že systém má potřebné certifikace a splňuje právní požadavky, a sama jej používat jen v souladu s návodem a omezeními určenými poskytovatelem​. Firmy by měly s dodavateli AI uzavírat smlouvy pokrývající compliance závazky, aby bylo jasné, kdo co zajišťuje (podobně jako u zpracovatelských smluv dle GDPR).

Dále je nutné nastavit lidský dohled nad výstupy AI – u rozhodnutí, která mají významný dopad na lidi (např. neúspěšné kandidáty či klienty), by měl existovat proces lidské kontroly či možnost odvolání. Monitorování a testování AI systému by nemělo končit uvedením do provozu – vysokorizikové AI vyžaduje průběžné sledování výkonu, přesnosti a nežádoucích efektů.

Pokud dojde k incidentu (např. AI selže a způsobí škodu, nebo se ukáže, že neplní požadavky), je nutné umět problém nahlásit dozorovým orgánům (podobně jako se hlásí porušení zabezpečení pod GDPR)​. Stručně řečeno, vysokorizikové AI systémy by měly podléhat stejnému režimu řízení rizik jako třeba bezpečnost práce či finanční rizika – s jasnými odpovědnostmi, dokumentací a kontrolami.

Zajištění transparentnosti a odpovědnosti AI systémů

Ať už jde o vysoce rizikový či méně rizikový AI systém, transparentnost vůči uživatelům, klientům i zaměstnancům je klíčová. Firma by měla být připravena vysvětlit, jak AI systém funguje, alespoň v základních rysech – zejména u rozhodovacích algoritmů je dobré mít interně zdokumentováno, jaká data a kritéria vstupují do rozhodování.

Pro externí subjekty (např. zákazníky) by pak měla být srozumitelnou formou dostupná informace, že rozhodnutí bylo učiněno za pomoci AI, a případně na požádání základní vysvětlení logiky (samozřejmě bez prozrazení obchodního tajemství či chráněného know-how).

Tato průhlednost je požadavkem AI Actu i GDPR – GDPR přikazuje informovat subjekty o automatizovaném rozhodování a přijatých opatřeních, AI Act jde dále v tom, že u některých systémů vyžaduje poskytnout uživatelskou dokumentaci a případně zveřejnit informace v registru vysokorizikových systémů.

Dobrým krokem je vypracovat etický kodex AI pro firmu, kde se vedení zaváže k odpovědnému využívání AI (bez diskriminace, s ohledem na soukromí atd.), a tento závazek komunikovat veřejně – posílí to důvěru zákazníků i zaměstnanců.

Odpovědnost znamená též připravenost nést následky: pokud AI systém způsobí chybu, firma by měla být schopna reagovat – vyšetřit incident, poskytnout nápravu postiženým osobám (např. kompenzaci, možnost opakování rozhodovacího procesu jiným způsobem) a upravit systém nebo proces, aby se situace neopakovala.

V praxi doporučujeme ustanovit AI komisi či výbor v rámci podniku, který bude dohlížet na všechny větší AI projekty, schvalovat je z pohledu souladu a etiky a fungovat jako poradní orgán při sporných situacích.

Na koho se můžete obrátit?

Sladění požadavků AI Actu s GDPR

Ačkoliv AI Act a GDPR jsou oddělené regulace, v praxi se prolínají a vzájemně doplňují. Pro firmy je výhodné pojmout compliance komplexně – nastavit jednotný proces posuzování rizik pro projekty AI zohledňující ochranu soukromí i dopady na základní práva.

GDPR již nyní vyžaduje u rizikových zpracování provádět Posouzení vlivu na ochranu osobních údajů (DPIA); AI Act k tomu pro vysokorizikové AI systémy přidává požadavek posouzení dopadů na základní práva.

Tyto analýzy lze spojit – při plánování nasazení AI, která bude zpracovávat osobní data, firma provede rozšířenou analýzu rizik, kde vyhodnotí jak rizika pro soukromí (GDPR), tak širší etická a společenská rizika (AI Act). Informace získané z dosavadních DPIA lze využít pro nové hodnocení dle AI Act​, což zamezí duplicitě a ušetří čas.

Slaďování probíhá i na úrovni technických opatření – např. požadavek AI Actu na kvalitní tréninková data bez zkreslení doplňuje zásadu GDPR o minimalizaci a přesnosti dat; povinnost uchovávat záznamy o činnosti AI (logy) se potkává s GDPR povinností dokumentovat zpracovatelské činnosti.

V oblasti práv subjektů platí, že pokud AI zpracovává osobní údaje, musí firma být schopna vyhovět žádostem subjektů dle GDPR (poskytnout jejich data, opravit, vymazat) – už ve fázi návrhu AI systému je tedy nutné myslet na tzv. privacy by design a privacy by default.

Praktickým tipem je vytvořit si souladovou matici: v jednom sloupci požadavky GDPR, v druhém AI Act, a vyznačit, jak je daná oblast ošetřena interně. Například: “Informování subjektů – řešeno v rámci GDPR poučením subjektu, zároveň splňuje transparentnost dle AI Act” apod. Taková matrice pomůže odhalit případné mezery i dvojí plnění.

Nezapomeňme také, že od 1. ledna 2024 platí v ČR novela zákona o zpracování osobních údajů, která umožňuje předávat osobní údaje do systému umělé inteligence jen při zajištění souladu s GDPR – i národní předpisy tedy začínají AI reflektovat. Sjednocení procesů tak, aby plnily obě normy současně, je nejefektivnější cestou ke skutečné compliance.

Příklady z praxe – typické chyby a jak se jim vyhnout

I zkušenosti z praxe ukazují, že firmy při zavádění AI často opomíjejí některé povinnosti.

Zde jsou čtyři časté chyby, kterých je dobré se vyvarovat:

Chyba 1: Sdílení citlivých dat s veřejnými AI nástroji.

Stává se, že zaměstnanci nadšení z AI neváhají vložit firemní či osobní údaje do volně dostupných služeb (např. použití ChatGPT k generování zprávy ze skutečných zákaznických dat). Tím ale mohou neúmyslně porušit GDPR (pokud data předávají třetí straně bez záruk) a vystavit firmu riziku úniku know-how.

Jak se tomu vyhnout? 

Nastavte jasná pravidla používání AI pro zaměstnance. Vysvětlete, jaký obsah je zakázáno do externích AI systémů nahrávat (např. osobní údaje klientů, interní strategické dokumenty) a proč. Zvažte také technická opatření, která zabrání odesílání citlivých dat na internet (filtry, omezení přístupů). Edukujte zaměstnance, že data zadaná do AI mohou být uchovávána provozovatelem a už se nikdy nemusí vrátit pod plnou kontrolu firmy.

Chyba 2: Automatizovaná rozhodnutí bez možnosti zásahu člověka.

Některé firmy láká představa plně automatizovaného rozhodování (např. systém s AI sám vyhodnotí žádost o úvěr či životopis uchazeče). Pokud ale chybí možnost lidského přezkumu, hrozí porušení čl. 22 GDPR a také riziko nespravedlivých či neověřených výstupů AI.

Náprava? 

U každého AI rozhodovacího procesu zaveďte princip “human in the loop” – nastavte postup, kdy sporné nebo negativní rozhodnutí AI vždy potvrzuje člověk, nebo alespoň že zákazník/uchazeč může rozhodnutí zpochybnit a požádat o manuální revizi. Tím nejen splníte zákonný rámec, ale i zvýšíte kvalitu výstupů (AI se může mýlit nebo mít zkreslení). Zároveň pravidelně testujte algoritmus na bias – např. zda nediskriminuje určitou skupinu – a výsledky testů dokumentujte.

Chyba 3: Spoléhání na dodavatele bez vlastní kontroly.

Firma si například pořídí AI software od známého výrobce a předpokládá, že tím má “pokrytou” compliance. Jenže i při využití externích AI platí princip odpovědnosti uživatele. Pokud AI nástroj způsobí újmu zákazníkům či zaměstnancům, pověst firmy utrpí bez ohledu na to, že technologie přišla zvenčí.

Doporučení? 

Před zavedením AI od dodavatele si vyžádejte informace o jeho souladu – má daný systém certifikaci či prohlášení o shodě s AI Actem? Bylo provedeno posouzení vlivu na soukromí? Jaké záruky dává smlouva ohledně odpovědnosti za chyby? Ideální je provést vlastní audit dodaného řešení v testovacím provozu – ověřit, jak nakládá s daty, jaké má bezpečnostní prvky, a zda plní slibované funkce. V smlouvě s dodavatelem mějte ustanovení o odpovědnosti a odškodnění v případě, že by jeho AI způsobila porušení práva nebo škodu třetím osobám.

Chyba 4: Podcenění dokumentace a souhlasu subjektů údajů.

Při nasazení AI, které zpracovává osobní údaje, firmy často zapomenou aktualizovat své zásady ochrany osobních údajů a získat potřebné souhlasy. Například firma začne využívat AI analytický nástroj pro detailní profilování zákazníků, ale neupraví tomu odpovídajícím způsobem informace pro zákazníky ani právní podklad zpracování.

Jak to udělat správně? 

Jakýkoli nový způsob využití osobních údajů – včetně nasazení AI – musí být transparentně komunikován subjektům údajů. Zrevidujte proto před nasazením AI své informační povinnosti (zásady, poučení) a doplňte zmínku o použití AI, včetně účelu a logiky.

Ověřte si právní titul: pokud AI dělá něco nad rámec původního účelu sběru dat, možná bude potřeba získat souhlas subjektů (např. se zpracováním dat pro automatizované profilování). U složitějších případů využití dat zvažte konzultaci s DPO či právníkem, případně i předběžnou konzultaci s Úřadem pro ochranu osobních údajů, zejména pokud DPIA ukáže vysoké riziko, které nelze plně zmírnit.

Napište si o e-book Advokáti radí, jak ušetřit miliony ZDE 

Jak může pomoci advokátní kancelář ARROWS

Zorientovat se v nových regulacích a efektivně je uvést do praxe může být pro podniky výzva. Advokátní kancelář ARROWS disponuje týmem odborníků na právo informačních technologií a ochranu osobních údajů, kteří sledují aktuální vývoj AI Actu i praxi GDPR. Rádi vám pomůžeme s komplexním zajištěním souladu:

• Audit a analýza rizik: Provedeme důkladný audit vašich AI nástrojů a zpracování dat, identifikujeme možná riziková místa z hlediska AI Actu i GDPR a navrhneme konkrétní opatření k nápravě.

• Nastavení procesů a dokumentace: Pomůžeme vám vytvořit či upravit interní směrnice, zásady a postupy tak, aby vyhovovaly požadavkům obou předpisů. Připravíme potřebnou právní dokumentaci – od vzorů souhlasů a informací pro subjekty údajů, přes smluvní doložky s dodavateli AI, až po podklady pro posouzení vlivu (DPIA/FRIA).

• Školení a podpora zaměstnanců: Zajistíme školení managementu i řadových zaměstnanců o tom, jak správně využívat AI v mezích zákona. Naučíme váš tým rozpoznat právní rizika při práci s AI a správně reagovat na požadavky subjektů údajů či kontrolu úřadů.

• Průběžné konzultace a monitoring: Legislativní rámec AI se bude dále vyvíjet. Budeme vaším partnerem pro průběžné konzultace – ať už půjde o zavedení nového AI projektu, řešení incidentu, nebo komunikaci s dozorovým orgánem. Upozorníme vás na nové povinnosti v předstihu, abyste měli vždy náskok.

Neváhejte se na nás obrátit – společně zajistíme, že se vaše firma nebude muset obávat pokut ani dalších negativních dopadů. Díky správně nastaveným procesům můžete AI využívat bezpečně a odpovědně jako konkurenční výhodu, zatímco my pohlídáme právní stránku. Kontaktujte ARROWS a domluvte si konzultaci k AI compliance ještě dnes – pomůžeme vám přeměnit regulatorní povinnosti v praktická řešení a výhody pro váš byznys.

Zajímají vás legislativní novinky v roce 2025? Připravili jsme si pro vás webinář.

Proč si vybrat právě nás?

Naše služby využívají firmy všech velikostí, protože jim poskytujeme rychlá a efektivní řešení v oblasti smluvní dokumentace. Například:

• Smlouvy na míru bez zbytečných průtahů: Připravíme pro vás obchodní smlouvy, dohody s dodavateli, pracovní smlouvy i další dokumenty tak, aby odpovídaly vašim potřebám a minimalizovaly rizika.
• Jasné a srozumitelné podmínky: Navrhujeme smlouvy tak, aby byly praktické, přehledné a snadno použitelné v běžném provozu.
• Ochrana před právními komplikacemi: Pomáháme klientům předcházet nejasnostem, sporům a nevýhodným podmínkám.

Víme, že administrativní zátěž spojená se smlouvami může brzdit váš byznys. Proto jsme pro vás připravili e-book "Advokáti radí, jak ušetřit miliony", který vám ukáže, jak mít smlouvy pod kontrolou bez zbytečných komplikací.

✅  Praktické rady, jak si efektivně nastavit smluvní procesy a ušetřit čas.
✅  Konkrétní tipy, jak se vyhnout nejčastějším chybám ve smlouvách.
✅Ukázku našeho přístupu: jak jednoduše a srozumitelně předáváme odborné znalosti v oblasti smluvní dokumentace.

Neztrácejte čas se smlouvami – my vám pomůžeme nastavit smluvní procesy tak, aby byly rychlé, efektivní a bezpečné.

Napište si o e-book Advokáti radí, jak ušetřit miliony ZDE 

Nechcete tenhle problém řešit sami? Věří nám více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference.