Právní aspekty umělé inteligence

Umělá inteligence (AI) přináší vaší firmě obrovské příležitosti, ale také nová právní rizika a složité regulatorní povinnosti. V advokátní kanceláři ARROWS vám poskytujeme komplexní právní servis, který zajistí vaši právní jistotu a pomůže vám technologie využívat bezpečně a efektivně. Proměníme vaše povinnosti plynoucí z AI Actu a dalších předpisů ve vaši strategickou výhodu. Zjistěte, s čím konkrétně vám můžeme pomoci.

(tým ARROWS advokátní kanceláře)

Nová éra regulace: Co pro vaši firmu znamená AI Act?

Revoluce v podobě umělé inteligence si vyžádala revoluci v právu. Tou je Nařízení EU o umělé inteligenci, známé jako AI Act. 

Jedná se o první komplexní právní rámec pro AI na světě, který si klade za cíl podpořit vývoj důvěryhodné technologie a zároveň ochránit základní práva občanů. Jelikož jde o nařízení, je přímo použitelné ve všech členských státech EU, včetně České republiky, a firmy se mu musí přizpůsobit.

Základním kamenem AI Actu je přístup založený na míře rizika, které daný AI systém představuje. Tato regulace není univerzální; její přísnost se odvíjí od potenciálního dopadu na člověka a společnost. Systémy dělí do čtyř hlavních kategorií:

• Nepřijatelné riziko: Sem patří praktiky, které jsou v EU zcela zakázány. Jde například o systémy pro tzv. sociální skórování občanů, podprahovou manipulaci chování nebo nástroje na rozpoznávání emocí na pracovišti a ve vzdělávacích institucích.
• Vysoké riziko: Toto je klíčová kategorie pro většinu firem. Spadají sem AI systémy používané v kritických oblastech, jako je nábor zaměstnanců (HR), poskytování úvěrů, zdravotnická diagnostika, řízení kritické infrastruktury (doprava, energetika) nebo autonomní vozidla.
• Omezené riziko: Tyto systémy musí splňovat především povinnost transparentnosti. Uživatel musí být srozumitelně informován, že interaguje s umělou inteligencí. Typickým příkladem jsou chatboti nebo systémy generující deepfake obsah.
• Minimální riziko: Zde patří většina běžně používaných AI aplikací, jako jsou spamové filtry nebo umělá inteligence ve videohrách. Tyto systémy nepodléhají žádným dalším povinnostem nad rámec již existujících zákonů.

Jaké jsou klíčové povinnosti pro vysoce rizikové systémy?

Pokud vaše firma vyvíjí nebo používá AI, která spadá do kategorie vysokého rizika, AI Act vám ukládá řadu zásadních povinností. Jejich zanedbání může vést k drakonickým pokutám dosahujícím až 35 milionů EUR nebo 7 % z celosvětového ročního obratu.

Nejde přitom jen o technické nastavení, ale o komplexní procesy, které musí být zavedeny napříč celou firmou. Mnoho společností se mylně domnívá, že AI Act je problémem pouze pro IT oddělení. 

Nevíte si s daným tématem rady?

Ve skutečnosti se jedná o celofiremní strategickou výzvu. Požadavky na řízení rizik, lidský dohled a správu dat vyžadují úzkou spolupráci právního oddělení, HR, managementu i nákupu. 

AI Act tak v podstatě zavádí novou firemní disciplínu – AI Governance, tedy systém správy a řízení umělé inteligence.

Vytvoření takového funkčního rámce, který propojuje jednotlivá oddělení, je klíčové pro minimalizaci rizik.

Mezi nejdůležitější povinnosti patří:

• Systém řízení rizik: Musíte zavést, dokumentovat a udržovat proces pro neustálou identifikaci, hodnocení a zmírňování rizik spojených s AI systémem po celou dobu jeho životnosti.
• Správa dat (Data Governance): Trénovací a testovací data musí být vysoce kvalitní, relevantní a co nejvíce reprezentativní, aby se předešlo chybám a diskriminačním výsledkům.
• Technická dokumentace a logování: Jste povinni vést podrobnou technickou dokumentaci a automaticky zaznamenávat události (logy) během provozu systému, aby bylo možné prokázat soulad s nařízením.
• Transparentnost a vysvětlitelnost (Explainable AI): Uživatelé musí obdržet jasné a srozumitelné pokyny k použití, včetně informací o schopnostech a omezeních systému. Musíte být schopni vysvětlit, proč AI dospěla k určitému rozhodnutí.
• Lidský dohled: Systém musí být navržen tak, aby jej mohla efektivně kontrolovat fyzická osoba, která může kdykoli zasáhnout nebo systém zastavit.

Dalším kritickým bodem je odpovědnost v dodavatelském řetězci. AI Act rozlišuje mezi „poskytovatelem“ (developerem) a „uživatelem“ (firmou, která AI nasazuje).

Pokud vaše firma nasadí nástroj od externího dodavatele, který následně způsobí škodu, primární odpovědnost můžete nést vy jako uživatel.

Proto jsou klíčovým prvkem ochrany precizně nastavené smlouvy s dodavateli AI, které jasně definují záruky, předávání dokumentace a rozdělení odpovědnosti. 

Naši specialisté:

Právníci z ARROWS se specializují na přípravu a revizi těchto technologických smluv, aby chránili vaše zájmy.

Klíčová rizika a povinnosti podle AI Actu

Riziko k řešení	Potenciální problémy a sankce	Jak pomáhá ARROWS
Nesprávná klasifikace AI systému	Zanedbání klíčových povinností, pokuty až 15 mil. EUR, reputační škoda.	Provedeme právní audit a klasifikaci vašich AI systémů dle AI Actu.
Nedostatečný systém řízení rizik	Neschopnost identifikovat a mírnit rizika, porušení AI Actu, ohrožení uživatelů.	Vypracujeme interní směrnici pro AI Governance a systém řízení rizik.
Použití nekvalitních nebo zkreslených dat	Diskriminační výsledky AI, porušení zákazu diskriminace, soudní spory, poškození značky.	Zajistíme právní poradenství pro soulad Data Governance s AI Actem a GDPR.
Chybějící nebo neúplná technická dokumentace	Neschopnost prokázat soulad při kontrole, pokuty, průtahy při uvádění na trh.	Pomůžeme s přípravou a revizí dokumentace vyžadované zákonem.
Nedostatečný lidský dohled nad AI	Automatizovaná rozhodnutí s vážnými dopady, ztráta kontroly, porušení čl. 22 GDPR.	Navrhneme procesy a směrnice pro implementaci efektivního lidského dohledu.
Netransparentní smlouvy s dodavateli AI	Nejasná odpovědnost za chyby, nemožnost vymáhat škodu, vendor lock-in.	Připravíme nebo zrevidujeme vaše smlouvy s dodavateli AI technologií.
Neznalost zaměstnanců o pravidlech	Neúmyslné porušování pravidel, bezpečnostní incidenty, úniky citlivých dat.	Poskytneme odborné školení pro váš management i zaměstnance s certifikátem.

AI v srdci vaší firmy: Právní výzvy v HR a personalistice

Oblast lidských zdrojů je jednou z nejcitlivějších, kam umělá inteligence proniká. Nástroje pro nábor, hodnocení, povyšování či propouštění zaměstnanců jsou v AI Actu explicitně zařazeny do kategorie vysokého rizika.

Důvod je zřejmý – jejich rozhodnutí mají zásadní dopad na život a kariéru lidí.

V ARROWS se této problematice intenzivně věnujeme a pomáháme firmám nastavit procesy tak, aby byly nejen efektivní, ale především spravedlivé a v souladu se zákonem.

Hlavním strašákem je tzv. algoritmická diskriminace (algorithmic bias). Umělá inteligence se učí z historických dat, a pokud tato data odrážejí minulé předsudky, AI je nejen zopakuje, ale i posílí. 

Známý je případ společnosti Amazon, jejíž náborový nástroj se naučil penalizovat životopisy obsahující slovo „ženský“ (např. kapitánka ženského šachového klubu), protože v minulosti firma přijímala převážně muže.

Podobně může AI diskriminovat na základě PSČ, které nepřímo odkazuje na rasový či sociální původ.

Nejde o teoretickou hrozbu. V USA aktuálně probíhá přelomový soudní spor Mobley v. Workday Inc., kde uchazeči o zaměstnání žalují přímo dodavatele AI nástroje za údajnou věkovou diskriminaci.

To signalizuje globální trend, kdy odpovědnost za diskriminační algoritmy ponesou nejen firmy, které je používají, ale i jejich tvůrci.

Pro vás jako zaměstnavatele to znamená nutnost provádět důkladnou právní prověrku (due diligence) každého dodavatele AI řešení.

Jak se můžete vyhnout problémům v HR?

Neúspěšná implementace AI v HR vystavuje zaměstnavatele hned trojímu právnímu riziku. 

Za prvé, porušení povinností dle AI Actu s pokutou až 15 milionů EUR. Za druhé, porušení článku 22 GDPR, který zakazuje čistě automatizované rozhodování s významnými dopady na jednotlivce, s pokutou až 20 milionů EUR.

A za třetí, porušení antidiskriminačního zákona, které může vést k žalobám na náhradu nemajetkové újmy a vážnému poškození pověsti.Tato rizika se sčítají.

(prostory ARROWS advokátní kanceláře)

Právníci z ARROWS vám pomohou nastavit robustní procesy, které tato kumulativní rizika minimalizují. 

Klíčové je zajistit smysluplný lidský dohled. Nestačí, aby manažer pouze formálně „odkliknul“ doporučení algoritmu. Musí mít k dispozici veškeré podklady a pravomoc rozhodnutí AI změnit. 

Dále je nezbytné provést posouzení vlivu na ochranu osobních údajů (DPIA) a pravidelně auditovat výstupy AI, abyste včas odhalili případné diskriminační vzorce.

Pamatujte také, že AI Act na pracovišti výslovně zakazuje systémy pro rozpoznávání emocí.

Inovace pod drobnohledem: AI ve zdravotnictví a odpovědnost za chybu

Využití umělé inteligence ve zdravotnictví přináší revoluční možnosti, od rychlejší diagnostiky po personalizovanou léčbu. Zároveň se však jedná o oblast s nejvyšší mírou rizika a nejpřísnější regulací. 

Systémy AI pro diagnostiku, plánování léčby nebo roboticky asistovanou chirurgii spadají nejen do kategorie vysokého rizika dle AI Actu, ale zároveň podléhají regulaci pro zdravotnické prostředky.

To pro poskytovatele zdravotních služeb i technologické firmy znamená dvojí vrstvu povinností.

Otázkou je, kdo nese odpovědnost, pokud AI udělá chybu? Představte si situaci, kdy AI systém přehlédne malý nádor na rentgenovém snímku, což vede k opožděné diagnóze. 

Současná česká právní úprava na takové scénáře není plně připravena, a odpovědnost se tak rozpadá do složité sítě vztahů:

• Lékař: Stále nese konečnou profesní odpovědnost za léčbu. AI je pro něj pouze podpůrný nástroj, nikoli náhrada jeho odborného úsudku.
• Nemocnice (poskytovatel): Odpovídá za provoz, za výběr a implementaci technologií a za řádné proškolení personálu. Její odpovědnost může vyplývat z odpovědnosti za škodu způsobenou provozem zařízení.
• Výrobce AI: Odpovídá za vadu svého produktu (software je považován za výrobek).Pro pacienta je však prokázání vady v komplexním algoritmu typu „černá skříňka“ téměř nemožné.

Vzhledem k nejasné zákonné úpravě se těžiště odpovědnosti přesouvá do smluvních vztahů mezi nemocnicí a dodavatelem AI. 

Kvalitně připravená smlouva, která přesně definuje záruky, servisní podporu, požadavky na data a limity odpovědnosti, je pro zdravotnická zařízení naprosto klíčová. 

Právníci z ARROWS mají bohaté zkušenosti s vyjednáváním a přípravou těchto smluv tak, aby chránily zájmy našich klientů.

Nevíte si s daným tématem rady?

Jak zajistit bezpečné nasazení AI v medicíně?

Kromě smluvních ujednání je zásadní i nový rozměr informovaného souhlasu. Pacient by měl být transparentně informován nejen o rizicích samotného zákroku, ale i o tom, že do rozhodovacího procesu vstupuje umělá inteligence.

Ačkoliv to zatím není explicitní zákonná povinnost, judikatura se vyvíjí směrem k větší ochraně pacienta a neinformování by mohlo v budoucnu založit samostatný nárok na náhradu újmy.

ARROWS pro vás připraví modernizované formuláře informovaného souhlasu a interní protokoly, které toto riziko adresují.

V neposlední řadě je nutné pamatovat na extrémně přísný režim ochrany zdravotních dat podle GDPR. Každé nasazení AI pracující s daty pacientů vyžaduje provedení posouzení vlivu na ochranu osobních údajů (DPIA) a zavedení robustních technických a organizačních opatření k jejich zabezpečení.

Právní rizika AI ve zdravotnictví

Riziko k řešení	Potenciální problémy	Jak pomáhá ARROWS
Chyba AI v diagnostice nebo léčbě	Žaloby na náhradu újmy, trestní odpovědnost, ztráta důvěry pacientů.	Připravíme smlouvy s dodavateli, které řeší odpovědnost za vady AI, a zastoupíme vás ve sporech.
Únik citlivých zdravotních dat (GDPR)	Pokuty až 20 mil. EUR, hromadné žaloby pacientů, poškození reputace.	Provedeme audit souladu s GDPR, připravíme DPIA a navrhneme bezpečnostní směrnice.
Nedostatečný informovaný souhlas pacienta	Žaloby na ochranu osobnosti, zpochybnění platnosti souhlasu s léčbou.	Zrevidujeme a připravíme vaše formuláře informovaného souhlasu s ohledem na využití AI.
Nejasná odpovědnost ve smlouvě s dodavatelem	Nemožnost vymáhat škodu po dodavateli, vysoké náklady na řešení problémů.	Vyjednáme a připravíme licenční a servisní smlouvy, které chrání vaše zájmy.
Systém je zdravotnický prostředek, ale nemá certifikaci	Zákaz používání, pokuty od SÚKL, ohrožení pacientů.	Poskytneme právní stanovisko ke klasifikaci a pomůžeme v řízení s regulačními orgány.
Nedostatečné proškolení personálu	Nesprávné používání drahé technologie, zvýšené riziko chyb a incidentů.	Zajistíme odborné právní školení pro lékaře a management o odpovědnosti při práci s AI.

Budoucnost v pohybu: Autonomní vozidla a drony

Sektory autonomní mobility a bezpilotního letectví představují špičku technologického vývoje, ale také komplexní právní výzvu. Pro firmy, které v těchto oblastech podnikají, je znalost specifické regulace naprosto zásadní pro udržitelný úspěch. 

V ARROWS poskytujeme specializované právní poradenství jak pro provozovatele autonomních flotil, tak pro komerční uživatele dronů.

Autonomní vozidla: Kdo řídí, když nikdo neřídí?

Otázka odpovědnosti za nehodu autonomního vozidla je klíčová. Český právní řád, podobně jako většina evropských zemí, zachovává osvědčený princip objektivní odpovědnosti provozovatele vozidla (§ 2927 občanského zákoníku).

To v praxi znamená, že za škodu způsobenou provozem autonomního auta primárně odpovídá jeho provozovatel (např. vlastník, logistická firma, leasingová společnost), a to bez ohledu na zavinění.

Na koho se obrátit?

Tento přístup výrazně zjednodušuje pozici poškozeného, který se může rychle a efektivně domoci náhrady škody z povinného ručení provozovatele. 

Složitý proces dokazování, zda šlo o chybu softwaru, selhání senzoru nebo vadná data z infrastruktury, se tak přesouvá na provozovatele a jeho pojišťovnu. 

Provozovatel má následně právo na regresní nárok – tedy vymáhat uhrazenou škodu po skutečném viníkovi, ať už je jím výrobce vozidla, dodavatel softwaru, nebo řidič, pokud selhal při povinnosti převzít řízení.

Komerční využití dronů: Pravidla pro létání v oblacích

Provoz dronů je na evropské úrovni plně harmonizován, což znamená, že stejná pravidla platí v ČR i v ostatních státech EU.

Provoz se dělí do tří kategorií: „Open“ (otevřená), „Specific“ (specifická) a „Certified“ (certifikovaná). Většina komerčních aktivit, jako je filmování, inspekce nebo mapování, spadá do kategorie

„Specific“, která vyžaduje individuální povolení k provozu od Úřadu pro civilní letectví (ÚCL).

Každý komerční provozovatel musí splnit několik základních povinností: zaregistrovat se jako provozovatel, zajistit, aby jeho piloti prošli online testem a získali průkaz, a sjednat povinné pojištění odpovědnosti za škody.

Porušení těchto pravidel je přísně postihováno – pokuty za létání bez povolení, v zakázaných zónách (okolí letišť, centra měst) nebo nad lidmi mohou dosáhnout až 5 milionů Kč a vést k zabavení dronu.

V globalizovaném světě technologií je mezinárodní prvek všudypřítomný. Autonomní vozidlo vyrobené v Německu se softwarem z USA, provozované českou firmou na Slovensku, okamžitě vytváří složitou přeshraniční právní situaci. 

Díky deset let budované síti ARROWS International dokážeme tyto případy efektivně řešit, ať už jde o soulad s různými národními předpisy, nebo o spory s mezinárodními dodavateli.

Na hraně bezpečnosti: Obranné technologie a mezinárodní právo

Obranný a bezpečnostní průmysl představuje specifický segment, kde nasazení umělé inteligence podléhá zcela odlišnému právnímu režimu. 

Autonomní zbraňové systémy (AWS) a vojenské drony nespadají pod civilní AI Act, ale řídí se primárně mezinárodním humanitárním právem (IHL). Pro firmy působící v tomto odvětví je hluboká znalost těchto pravidel existenční nutností.

Základními pilíři IHL, které musí každý zbraňový systém respektovat, jsou principy rozlišování (schopnost odlišit vojenské cíle od civilistů), přiměřenosti (očekávaná vojenská výhoda nesmí být nepřiměřená vůči civilním ztrátám) a opatrnosti při plánování a provádění útoků.

Klíčovým a intenzivně diskutovaným konceptem je „Meaningful Human Control“ (významná lidská kontrola), který požaduje, aby konečné rozhodnutí o použití smrtící síly vždy zůstalo v rukou člověka.

Pro vývojáře a výrobce z toho plynou konkrétní povinnosti. Nejdůležitější je tzv. Article 36 Review, tedy povinnost právně přezkoumat každou novou zbraň z hlediska souladu s IHL, a to již ve fázi vývoje.

Nevíte si s daným tématem rady?

Dále je vyžadována vysoká míra transparentnosti a auditovatelnosti, aby bylo možné zpětně vysvětlit rozhodnutí AI v případě vyšetřování incidentu.

Technologie vyvinuté původně pro civilní sektor se mohou snadno stát produkty dvojího užití (dual-use), pokud jsou adaptovány pro vojenské účely. V takovém okamžiku se na ně začne vztahovat přísný režim exportních kontrol a mezinárodního práva.

Právníci z ARROWS, s podporou mezinárodní sítě ARROWS International, pomáhají firmám nastavit interní compliance programy, aby se vyhnuly porušení těchto komplexních pravidel, ať už se jedná o předpisy EU, nebo například americké ITAR.

Vývoj a provoz pokročilých technologií (Vozidla, Drony, Zbraně)

Riziko k řešení	Potenciální problémy	Jak pomáhá ARROWS
AUTONOMNÍ VOZIDLA
Odpovědnost za škodu způsobenou selháním autonomního systému	Povinnost uhradit škodu, složité regresní spory s výrobcem, vysoké náklady.	Zastoupíme vás ve sporech o náhradu škody a pomůžeme nastavit smluvní vztahy s výrobci.
DRONY
Provoz komerčního dronu bez povolení nebo v zakázané zóně	Pokuta až 5 mil. Kč od ÚCL, zabavení dronu, trestněprávní odpovědnost.	Zajistíme pro vás potřebná povolení a licence pro provoz v kategorii "Specific".
OBRANNÉ TECHNOLOGIE
Nedodržení principů mezinárodního humanitárního práva (IHL)	Odpovědnost státu a výrobce za nezákonné použití, reputační katastrofa.	Poskytneme právní analýzu souladu vašich produktů s IHL (Article 36 review).
Nejasná implementace "Meaningful Human Control"	Produkt může být označen jako neetický nebo nezákonný, ztráta trhu v EU/NATO.	Pomůžeme vám implementovat právní a technické požadavky na lidskou kontrolu.
PŘESAHUJÍCÍ RIZIKA
Porušení pravidel pro export technologií dvojího užití	Ztráta exportní licence, vysoké pokuty, trestní stíhání managementu.	Díky síti ARROWS International zajistíme soulad s českými, EU i americkými exportními předpisy.
Kybernetický útok na autonomní systém	Únos vozidla/dronu, únik citlivých dat, způsobení masivní škody.	Spolupracujeme s IT experty na přípravě smluv a směrnic pro kybernetickou bezpečnost.

Globální dosah, lokální expertiza: Vaše právní jistota s ARROWS

Svět umělé inteligence je komplexní a jeho právní regulace se vyvíjí každým dnem. 

Úspěch v tomto dynamickém prostředí vyžaduje partnera, který rozumí nejen právu, ale i technologiím v celé jejich šíři – od GDPR přes AI Act až po specifika mezinárodního humanitárního práva. 

V ARROWS neposkytujeme jen izolované právní rady, ale nabízíme strategické partnerství. Našim klientům pomáháme budovat komplexní AI Governance frameworky, provádíme audity souladu, zajišťujeme smluvní ochranu a poskytujeme odborná školení.

V globálním světě AI je mezinárodní přesah klíčový. Ať už řešíte soulad s americkými předpisy, vyjednáváte smlouvy s asijskými dodavateli, nebo čelíte sporu v rámci EU, potřebujete partnera se skutečným mezinárodním dosahem. 

Díky naší deset let budované síti ARROWS International řešíme případy s mezinárodním prvkem na denní bázi a poskytujeme našim klientům bezproblémový servis napříč jurisdikcemi.

Nečekejte, až vás nová regulace nebo technologický incident zaskočí. Udělejte z právní jistoty svou konkurenční výhodu. 

Kontaktujte nás ještě dnes a domluvte si úvodní konzultaci, na které probereme specifická rizika a příležitosti pro vaši firmu.

Nechcete tenhle problém řešit sami? Advokátní kanceláři ARROWS věří více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference a bude nám ctí pomoci vám při řešení vašeho problému. Poptávka je zdarma.