AI Act nabyl platnosti 1. srpna 2024 a některé povinnosti už začaly platit od 2. února 2025. Právě od tohoto data platí přímý zákaz nejnebezpečnějších AI praktik (tzv. systémů s nepřijatelným rizikem) napříč všemi odvětvími. Porušení těchto zákazů je spojeno s velmi vysokými sankcemi – hrozí pokuty až 35 milionů EUR nebo 7 % z celosvětového obratu firmy (podle toho, co je vyšší).
Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740
AI Act zavádí nové povinnosti pro všechny subjekty, které AI vyvíjejí nebo používají. Míra povinností závisí na kategorii rizika AI systému.
Minimálně rizikové aplikace (např. spam filtry nebo AI v počítačových hrách) nepodléhají zvláštním povinnostem. U omezeně rizikových systémů zákon stanoví pouze požadavek transparentnosti – typicky pokud firma nasadí chatbot nebo generátor obsahu, musí jasně informovat uživatele, že interagují s AI, případně označovat AI-generovaný obsah.
Vysoce rizikové AI systémy (např. AI software ve zdravotnictví, autonomní řízení, AI pro nábor zaměstnanců či ve veřejné správě) podléhají přísným požadavkům a firma je musí splnit před nasazením i během provozu. Konečně nepřijatelně rizikové AI (jako např. systémy sociálního skóre občanů) jsou zcela zakázané čl. 5 AI Act.
Pro úřady a firmy to konkrétně znamená: pokud využívají vysoce rizikovou AI, musí zajistit soulad s řadou technických a organizačních požadavků. AI Act v čl. 9–15 stanoví například povinnost zavést systém řízení rizik AI (identifikovat a průběžně vyhodnocovat rizika spojená s AI).
Nutné je zmínit, že povinnosti se netýkají jen vývojářů (poskytovatelů) AI, ale i těch, kdo AI nasazují a používají v praxi (tzv. uživatelé či deployeři). Pokud firma nebo úřad kupuje/využívá vysokorizikový AI systém od dodavatele, nese odpovědnost za jeho řádné používání v souladu s návodem a za monitoring jeho výkonu. V případě zjištění závažných incidentů nebo porušení bezpečnosti AI systému má povinnost tyto skutečnosti hlásit příslušným orgánům (podobně jako se hlásí např. úniky dat dle GDPR). Firmy by rovněž měly prověřovat dodavatele AI řešení, zda splňují požadavky AI Act – např. zda jejich AI prošla potřebnou certifikací, má potřebnou dokumentaci a zda jim dodavatel poskytl informace vyžadované čl. 13 (informace pro uživatele AI).
Pokud například banka nasazuje AI pro posuzování úvěruschopnosti klientů, půjde zřejmě o vysokorizikový systém (spadá do př. III AI Act) – banka musí získat od dodavatele veškerou dokumentaci, zajistit u svých pracovníků porozumění algoritmu a nastavit postupy, jak ověřovat výstupy AI a řešit případné chyby. Městský úřad zase při zavedení AI chatbotu na klientském portále musí splnit povinnost transparentnosti (AI musí sama oznámit, že není člověk) a zajistit, že citlivé dotazy budou moci řešit lidé.
Zaměstnavatel, který používá AI při náboru nebo hodnocení zaměstnanců, musí zaměstnance informovat o využití AI a rozhodnutí AI podrobit lidské kontrole– to vše ještě před tím, než AI Act formálně začne takové HR systémy regulovat jako vysokorizikové. Jak je vidět, požadavky AI Act pronikají do různých oblastí činnosti firem i veřejné správy. Pro mnoho organizací bude nezbytné provést důkladný audit svých AI nástrojů a procesů, aby zjistily, co je potřeba upravit pro dosažení souladu.
Nedodržení povinností AI Act může mít pro firmy i úřady závažné právní důsledky. V první řadě hrozí správní sankce ze strany dozorových orgánů (na úrovni členských států EU).
AI Act podobně jako GDPR rozlišuje několik úrovní pokut podle závažnosti porušení:
Porušení zákazu nepřijatelných praktik (čl. 5 AI Act) – pokuta až 35 milionů EUR nebo 7 % z celkového ročního obratu. Sem spadá např. využívání zakázaného systému sociálního skórování, nasazení nepovolené biometrické identifikace na veřejnosti apod.
Porušení ostatních klíčových povinností (např. nesplnění požadavků na vysokorizikové AI podle čl. 8–15) – pokuta až 15 milionů EUR nebo 3 % z obratu. To se může týkat situací, kdy firma uvede na trh nebo používá vysokorizikovou AI bez posouzení shody, bez potřebné dokumentace, s nevyhovujícími daty apod.
Poskytnutí nepravdivých či zavádějících informací dozorovým orgánům – pokuta až 7,5 milionu EUR nebo 1 % z obratu. Tato sankce dopadne např. na subjekty, které by při vyžádané kontrole zatajovaly informace o svých AI systémech nebo zkreslovaly dokumentaci.
Kromě pokut může neplnění AI Act vést i k dalším právním postihům. Regulační orgán může nařídit stažení nebo zákaz používání konkrétního AI systému, který nesplňuje požadavky – čímž může firmě znehodnotit její investici do AI a narušit obchodní činnost. V krajním případě by porušení AI Act mohlo být klasifikováno i jako správní delikt či přestupek se všemi důsledky (např. zveřejnění jména pachatele, zákaz činnosti apod.).
Dále je tu otázka občanskoprávní odpovědnosti. Jestliže nasazení AI způsobí někomu škodu či újmu, postižené osoby se mohou domáhat náhrady škody soudní cestou. Současná praxe již naznačuje, že odpovědnost ponese zpravidla ten subjekt, který AI použil, případně i dodavatel AI řešení. Například v případě, že AI při náboru zaměstnanců diskriminuje určitou skupinu uchazečů, může za takové protiprávní rozhodnutí nést odpovědnost jak zaměstnavatel (uživatel AI), tak dodavatel příslušného AI softwaru. Podobně pokud by AI (např. autonomní systém) způsobila fyzickou škodu, může postižený žalovat provozovatele systému či výrobce.
ARROWS bedlivě sleduje i chystanou unijní Směrnici o odpovědnosti za AI, která má zavést usnadnění důkazní situace pro oběti – pokud firma poruší povinnosti AI Act, má se předpokládat příčinná souvislost mezi tímto porušením a vzniklou škodou. To ještě podtrhuje význam compliance: nedodržení pravidel AI Act může v případném sporu fatálně oslabit obranu společnosti.
Dalším rizikem je zásah soudní moci či regulátorů, kteří mohou shledat určité použití AI za nezákonné z hlediska ochrany práv. Už dnes existují přelomová soudní rozhodnutí v oblasti AI: například v Nizozemsku soud v roce 2020 zakázal vládní algoritmický systém SyRI na detekci podvodů v sociálních dávkách, protože porušoval právo na soukromí dle Evropské úmluvy o lidských právech. Jednalo se o první případ, kdy soud vyřkl, že nasazení AI ve veřejné správě je v rozporu s lidskými právy.
V Německu se v roce 2023 dokonce zabýval problematikou AI Spolkový ústavní soud – posuzoval ústavnost zákona umožňujícího automatizovanou analýzu policejních dat za účelem predikce a prevence kriminality. Jakkoli šlo spíše o „předzvěst“ AI regulace v praxi, ukazuje to trend: soudy budou pečlivě zkoumat nasazení AI zejména ve vztahu k základním právům (soukromí, nediskriminace, spravedlivý proces apod.). Pro firmy a úřady z toho plyne, že ignorovat pravidla a rizika AI může vést nejen k pokutám, ale i k soudním sporům, zákazům používání AI a značné reputační újmě. V éře rostoucího důrazu na etickou a zodpovědnou AI by společnost usvědčená z nezákonného nakládání s AI utrpěla i ztrátu důvěry obchodních partnerů a veřejnosti.
Shrnutí rizik
Nesoulad s AI Act může znamenat milionové pokuty, soudní dohry, odpovědnost za způsobené škody i poškození pověsti. Naopak včasným zajištěním souladu firma minimalizuje riziko sankcí a zároveň získá konkurenční výhodu – bude moci AI využívat beze strachu a těžit z jejích přínosů naplno.
Implementace AI Act může působit náročně – jedná se o multioborovou výzvu na pomezí práva a technologií. Advokátní kancelář ARROWS se však na tuto oblast specializuje a nabízí klientům ucelenou podporu, aby splnili všechny požadavky AI Act efektivně a srozumitelně. Naše služby kombinují právní odbornost s pochopením technické stránky AI, takže dokážeme navrhnout řešení „na míru“ pro každého klienta.
Nejprve detailně zmapujeme vaše současné či plánované AI systémy a vyhodnotíme, do jakých rizikových kategorií spadají a jaké povinnosti z AI Act se na ně vztahují. Provedeme gap analýzu – porovnáme aktuální stav s požadavky nařízení. Identifikujeme případné nedostatky (např. chybějící dokumentace, neexistující postupy pro lidský dohled, nevyřešené otázky odpovědnosti apod.). Výstupem je přehledná zpráva, co je potřeba doplnit nebo změnit, aby byl zajištěn soulad. Tato AI compliance analýza pokrývá nejen text AI Act, ale i související předpisy (GDPR, sektorové normy) a aktuální výkladové pokyny Evropské komise, takže získáte opravdu komplexní posouzení.
Pomůžeme vám vytvořit či upravit interní předpisy tak, aby reflektovaly nové požadavky. Může jít o interní směrnici pro používání AI, která stanoví pravidla, kdo a jak smí AI nástroje ve firmě používat, jaká data do nich vkládat, jak kontrolovat jejich výstupy a jak postupovat při zjištění chyby nebo incidentu.
Dále připravíme potřebné zásady pro správu dat (data governance) ve vztahu k AI – aby datové sady pro učení AI byly kvalitní, aktuální a nediskriminační (jak vyžaduje čl. 10 AI Act). Upravíme pracovní smlouvy a smlouvy s dodavateli – například doplníme ustanovení vymezující odpovědnost za chyby AI, povinnost dodavatele poskytovat součinnost při auditu AI, doložky o splnění požadavků AI Act atd. Cílem je, aby veškerá dokumentace firmy podporovala kulturu odpovědného využívání AI a chránila firmu před právními riziky.
ARROWS zajišťuje pro klienty také vzdělávání zaměstnanců v oblasti AI. Připravíme školení na míru různým úrovním – od základního semináře „Co je AI a co požaduje AI Act“ pro vedení a širší okruh zaměstnanců, až po specializované workshopy pro IT a datové týmy zaměřené na praktickou implementaci požadavků (např. jak dokumentovat vývoj AI, jak provádět posouzení rizik AI systému apod.).
Smyslem je naplnit požadavek čl. 4 AI Act na AI gramotnost a zajistit, že lidé ve vaší organizaci AI rozumí, umějí ji bezpečně a eticky používat a jsou schopni odhalit a řešit potenciální problémy. Školení od našich právníků a spolupracujících AI expertů jsou velmi praktická – často používáme scénáře a případové studie z vašeho oboru, aby si účastníci dokázali nové znalosti zasadit do kontextu své práce.
Pomůžeme vám zavést trvalý proces AI risk managementu v souladu s čl. 9 AI Act. Společně nastavíme mechanismy pro pravidelné vyhodnocování rizik každého AI systému – například rizika diskriminace, chybných výstupů, kybernetických zranitelností. Navrhneme kontrolní opatření ke zmírnění těchto rizik (od úprav algoritmu, přes změny ve sběru dat, po organizační opatření typu „four eyes principle“ u rozhodování).
Dále pomůžeme nastavit lidský dohled nad AI (čl. 14) – tedy určíte odpovědné osoby, které budou výstupy AI kontrolovat, a definujeme jasné postupy, kdy musí lidská obsluha zasáhnout do rozhodnutí AI. Pokud je to relevantní, připravíme vás také na certifikaci či posouzení shody AI systému (pro vysoce rizikové AI může být nutný proces posouzení u tzv. oznámeného subjektu).
Poradíme vám s naplněním oznamovacích povinností – např. registrace vysokorizikového AI do evropské databáze či hlášení incidentů. Zkrátka, pomůžeme vám vybudovat robustní compliance program pro AI, který nejen splní literu nařízení, ale hlavně zajistí, že AI u vás bude fungovat spolehlivě a odpovědně.
Regulace AI se bude dále vyvíjet – ARROWS proto nabízí dlouhodobé partnerství v oblasti AI compliance. Budeme pro vás sledovat legislativní novinky (prováděcí předpisy k AI Act, nové standardy, judikaturu) a včas vás upozorníme na nové požadavky či interpretační upřesnění. Pomůžeme aktualizovat vaše směrnice a procesy podle potřeby. Jsme také připraveni konzultovat ad hoc dotazy – např. posoudit, jestli nově zamýšlený AI projekt je v souladu s předpisy, nebo zastoupit vaši organizaci při jednání s úřady (např. při kontrole či auditu). Našim cílem je, abyste se mohli soustředit na svůj byznys či veřejnou službu a měli jistotu, že právní stránku AI máte pod kontrolou.
Díky zkušenostem z řady projektů víme, na co se zaměřit prioritně a kde naopak neplýtvat zdroji. V praxi se často setkáváme s obavou klientů, že zavádění compliance opatření „zabije“ jejich AI projekty. Naše role proto není jen hlídat paragrafy, ale i najít rozumnou cestu, jak požadavky splnit a přitom zachovat užitečnost a efektivitu AI.
ARROWS má interdisciplinární tým právníků a IT specialistů, kteří hovoří jak jazykem zákona, tak jazykem datových vědců. Proto dokážeme fungovat jako most mezi právem a technologií – rozumíme vašim technologickým inovacím a umíme je sladit s regulatorními mantinely.
„Nejste si jistí, jak se AI Act dotkne vaší organizace? Kontaktujte právní experty ARROWS, kteří vám pomohou s analýzou rizik a nastavením compliance strategie.“. Tuto výzvu jsme formulovali pro klienty na našem webu a plně to vystihuje naši přidanou hodnotu – srozumitelně vás provedeme celým procesem zajištění souladu.
Abychom ilustrovali, jak spolupráce s ARROWS vypadá, představme si modelový příklad (na základě častých scénářů z praxe). Klientem je středně velká technologická firma „Alpha“ (název změněn), která vyvíjí a používá AI systém pro automatizované náborové řízení. Tento AI nástroj provádí předvýběr uchazečů o zaměstnání – analyzuje životopisy a výsledky online testů a doporučuje HR oddělení, kteří kandidáti postoupí do dalšího kola. Firma Alpha tušila, že s novým AI Act bude třeba něco dělat, a obrátila se na ARROWS o pomoc s compliance.
Nejprve jsme zjišťovali podrobnosti o AI systému. Upozornili jsme klienta, že AI pro nábor zaměstnanců bude podle AI Act téměř jistě spadat do kategorie vysoce rizikových systémů (personalistika je přímo uvedena v příloze III AI Act mezi high-risk oblastmi). Pro firmu to znamená, že musí splnit všechny požadavky kladené na poskytovatele i uživatele vysokorizikové AI.
Vysvětlili jsme, že půjde zejména o transparentnost a nediskriminaci – AI nesmí porušovat pracovněprávní předpisy (např. nesmí docházet k diskriminaci na základě pohlaví, věku atd., což ostatně zakazuje i současné právo). Dále jsme zdůraznili nutnost lidského dohledu: rozhodnutí, koho přijmout či nepřijmout, nemůže plně automaticky dělat stroj, vždy musí finálně rozhodnout člověk, který zohlední i kontext. Upozornili jsme také, že čl. 4 AI Act vyžaduje pro HR pracovníky adekvátní školení – musí rozumět tomu, jak AI nástroj funguje a jak správně interpretovat jeho výstupy.
Po analýze jsme klientovi předložili plán nápravných opatření. Zaprvé jsme doporučili upravit AI model tak, aby byl auditovatelný a vysvětlitelný – navrhli jsme doplnit modul, který bude zaznamenávat důvody, proč AI daného uchazeče vyhodnotila určitým způsobem (důležité pro možnost kontroly a vysvětlení rozhodnutí, jak požaduje čl. 13 a 14). Dále jsme připravili interní směrnici pro náborové AI: stanovili jsme postup, že AI jen před-selektuje uchazeče, ale konečné rozhodnutí vždy učiní komise složená z lidí, přičemž pokud AI někoho vyřadí, HR má povinnost to přezkoumat a případně dát šanci i kandidátům, které AI vyhodnotila hůře (prvek lidské korekce pro férovost). Směrnice také obsahuje zásady nediskriminace – např. pokud by se zjistilo, že AI dává systematicky nižší skóre určité skupině (třeba ženám v IT), musí se algoritmus upravit nebo přestat používat, dokud nebude bias odstraněn.
Součástí řešení bylo i technické opatření: poradili jsme klientovi provést dodatečné otestování AI modelu na širší sadě historických dat, aby se odhalilo, zda neexistuje skrytá předsudečnost (bias) v doporučeních AI. Na základě výsledků tohoto auditu jsme spolu s datovými specialisty klienta upravili některé váhy modelu a přenastavili kritéria, aby systém nebyl tak citlivý na např. věkový údaj (eliminace věkové diskriminace). Zavedli jsme též pravidelné půlroční přezkumy AI modelu: jednou za 6 měsíců se vyhodnotí na vzorku výsledků, jestli se u něho neprojevují chyby nebo posuny, které by mohly vést k nespravedlnostem.
Následně ARROWS proškolila HR oddělení firmy Alpha. Na workshopu jsme personalistům srozumitelně vysvětlili, jak AI model funguje, jak číst jeho výstupy a na co si dát pozor. Probrali jsme i povinnost informovat uchazeče: dle zásad transparentnosti by firma měla kandidátům oznámit, že jejich podklady zpracovává i algoritmus, a případně na požádání poskytnout vysvětlení, jak k rozhodnutí dospěl. Pomohli jsme připravit i vzorové odpovědi pro uchazeče, kteří by se dotazovali, proč nebyli vybráni – v duchu explainable AI a dobré HR politiky.
Díky spolupráci s ARROWS získala firma Alpha komplexní program souladu s AI Act pro svůj náborový systém. Podařilo se odhalit a odstranit některé potenciální problémy (bias) ještě před tím, než mohl nastat skutečný incident či stížnost. Firma nyní disponuje veškerou dokumentací vyžadovanou AI Act – má technickou dokumentaci AI modelu, záznamy o testování a risk assessment, interní směrnice i záznamy o školení zaměstnanců.
Pokud by přišla kontrola z úřadu, může prokázat splnění povinností (což výrazně snižuje riziko sankcí). Navíc firma Alpha získala náskok před konkurencí: jako jedna z prvních v oboru může zákazníkům a partnerům doložit, že její AI je “AI Act-ready”, což posiluje její důvěryhodnost. Top management ocenil, že ARROWS pomohla nastavit procesy tak, že nebrzdí byznys – AI systém může být nadále využíván ke zvýšení efektivity náboru, jen je zasazen do jasného rámce kontroly.
Tento příklad ilustruje, že i poměrně složitý požadavek regulace lze splnit systematickým postupem. ARROWS u klienta sehrála roli průvodce a implementátora: od analýzy přes návrh řešení až po realizaci opatření a finální proškolení. Ve výsledku má klient nejen „pokrytá záda“ po právní stránce, ale také kvalitnější AI systém (díky auditům a vylepšením) a poučené zaměstnance, kteří s ním pracují.
Podobným způsobem ARROWS pomohla již řadě subjektů – od startupů s inovativní AI službou, přes výrobní podnik zavádějící AI do kontroly kvality, až po veřejnoprávní instituce testující AI při rozhodování. Vždy klademe důraz na individuální přístup – jiná opatření potřebuje nemocnice zavádějící diagnostickou AI (kde půjde hlavně o bezpečnost pacienta), a jiná zase e-shop s chatbotem (kde řešíme spíš ochranu spotřebitele). Naše zkušenosti napříč sektory nám umožňují rychle identifikovat možná úskalí a navrhnout osvědčená řešení.
Akt o umělé inteligenci přináší do světa podnikání i veřejné správy nový „normativní řád“ pro AI, který nelze ignorovat. Povinnosti z něj plynoucí jsou již částečně účinné a další budou následovat v příštích měsících a letech. Pro organizace, které AI vyvíjejí nebo využívají, je nyní strategicky klíčové začít se na souladu s AI Act připravovat včas. Jak jsme popsali výše, jde o komplexní úkol zahrnující právní, technické i procesní změny. Dobrou zprávou však je, že na to nemusíte být sami – existují experti, kteří se na tuto problematiku specializují a pomohou vám nastavit compliance efektivně a se znalostí detailů.
Advokátní kancelář ARROWS patří k předním právním týmům v oblasti regulace AI a digitálního práva v ČR. Naše hluboká specializace je podložena jak teoretickou znalostí (sledujeme každý článek AI Act i související judikaturu), tak praktickými zkušenostmi z implementace u klientů. Chápeme, že pro B2B klientelu (firmy i úřady) je důležité najít rozumnou rovnováhu mezi dodržením předpisů a dosažením svých cílů. Proto vždy hledáme řešení, která jsou nejen právně korektní, ale i prakticky udržitelná a obchodně přínosná. Budujeme si s klienty dlouhodobý vztah založený na důvěře – ví, že se na nás mohou obrátit kdykoli, když potřebují radu či konzultaci k AI.
Pokud i vy stojíte před výzvou, jak uchopit AI Act ve své organizaci, neváhejte se na nás obrátit. ARROWS vám nabízí úvodní konzultaci, při níž společně identifikujeme, které aspekty AI Act jsou pro vás relevantní, a navrhneme základní plán postupu. Díky tomuto článku máte základní přehled – dalším krokem může být probrat vaše konkrétní potřeby a otázky detailněji. Kontaktujte nás telefonicky nebo e-mailem (viz níže) a naši právní experti na AI si s vámi domluví schůzku.
Nečekejte, až přijde kontrola nebo problém – připravte se už teď. Soulad s AI Act nemusí být strašákem, naopak může být konkurenční výhodou, pokud jej zvládnete dříve a lépe než ostatní. S pomocí ARROWS se zorientujete v požadavcích, nastavíte správné procesy a proměníte splnění regulace v benefit pro svůj byznys. Začněte tím, že nás kontaktujete – společně zajistíme, že AI bude ve vaší firmě či instituci sloužit ku prospěchu, a nikoli jako právní riziko. Tým ARROWS je tu pro vás, připraven být vaším spolehlivým partnerem na cestě k AI compliance.
Více informací a kontakty najdete na našem webu nebo nás přímo oslovte na office@ARROWS.cz, +420 245 007 740. Těšíme se na spolupráci a pomůžeme vám využívat umělou inteligenci bez obav a naplno!
Zajímají vás legislativní novinky v roce 2025? Připravili jsme si pro vás webinář.
Proč si vybrat právě nás?
Naše služby využívají firmy všech velikostí, protože jim poskytujeme rychlá a efektivní řešení v oblasti smluvní dokumentace. Například:
Víme, že administrativní zátěž spojená se smlouvami může brzdit váš byznys. Proto jsme pro vás připravili e-book "Advokáti radí, jak ušetřit miliony", který vám ukáže, jak mít smlouvy pod kontrolou bez zbytečných komplikací.
✅ Praktické rady, jak si efektivně nastavit smluvní procesy a ušetřit čas.
✅ Konkrétní tipy, jak se vyhnout nejčastějším chybám ve smlouvách.
✅Ukázku našeho přístupu: jak jednoduše a srozumitelně předáváme odborné znalosti v oblasti smluvní dokumentace.
Neztrácejte čas se smlouvami – my vám pomůžeme nastavit smluvní procesy tak, aby byly rychlé, efektivní a bezpečné.
Nechcete tenhle problém řešit sami? Věří nám více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference.