AI klamání senzorů a zákaz nediskriminačních praktik

JUDr. Jakub Dohnal, Ph.D., LL.M.
JUDr. Jakub Dohnal, Ph.D., LL.M.
15.3.2026 | ARROWS advokátní kancelář

Umělá inteligence se stává terčem sofistikovaných útoků, které ohrožují spolehlivost kritických aplikací. Evropská unie proto v nařízení AI Act přísně reguluje vysoce rizikové systémy a zakazuje praktiky neslučitelné s evropskými hodnotami. Vysoké pokuty, odpovědnost statutárních orgánů a právní spory o náhradu škody jsou v roce 2026 realitou pro firmy, které tato rizika podcení.

Fotografie ukazuje advokáty ARROWS advokátní kanceláře.

Rychlé shrnutí

  • Adversariální útoky mohou oklamat AI systémy pomocí nepatrných, lidskému oku neviditelných změn v datech – s katastrofálními následky pro kybernetickou bezpečnost.
  • AI Act zakazuje určité diskriminační praktiky, jako je sociální skórování nebo biometrická kategorizace citlivých údajů; za porušení hrozí pokuta až 35 milionů EUR.
  • Vaše právní odpovědnost není jen teoretická: podle směrnice NIS2 a AI Actu mohou členové vedení čelit osobní odpovědnosti, včetně pozastavení výkonu funkce.
  • Compliance termíny jsou kritické: od 2. srpna 2026 jsou plně účinná pravidla pro většinu vysoce rizikových AI systémů, včetně povinnosti zavést systém řízení kvality.

Co jsou adversariální útoky na AI a proč hrozí vaší firmě

Představte si situaci, kdy útočník lehce pozmění obrazová data tak, že pro lidské oko vypadají naprosto identicky s originálem, ale AI model je vyhodnotí zcela jinak. Systém určený k rozpoznávání nebezpečných osob na letišti by mohl označit hledanou osobu za „bezpečný objekt“. Podobně lze manipulovat zvukovým vstupem v bankovnictví či fotografiemi v systému pro rozpoznávání obličejů. Toto je podstata adversariálního útoku – technika, která oklame AI modely.

Hlavní vlastnost těchto útoků spočívá v jejich nenápadnosti, kdy změny v datech jsou tak drobné, že člověk je nezachytí, ale neuronová síť na ně reaguje chybně. Využívají se přitom různé metody – od digitálního šumu přes fyzické nálepky až po maskování objektů. Článek 15 AI Actu proto vyžaduje, aby vysoce rizikové AI systémy dosahovaly odpovídající úrovně přesnosti, robustnosti a kybernetické bezpečnosti.

Pro firmy to znamená konkrétní právní rizika, protože když AI systém pro diagnostiku zdravotního stavu selže kvůli útoku, vzniká odpovědnost za škodu. Podle revidované směrnice o odpovědnosti za vadné výrobky je software považován za produkt, za jehož vady nese výrobce objektivní odpovědnost. Právníci z ARROWS advokátní kanceláře řeší případy, kdy je nutné smluvně ošetřit odpovědnost dodavatele za robustnost systému vůči těmto manipulacím.

Jak fungují adversariální útoky v praxi

Výzkum v oblasti počítačového vidění identifikuje několik vektorů útoků na detektory objektů. Útočníci, kteří znají architekturu modelu (white-box útoky) nebo jen jeho výstupy (black-box útoky), mohou navrhnout modifikace, které algoritmus zmatou.

Útočník může například použít speciálně navržený vzor na oblečení, který kamera interpretuje jako součást pozadí, a osoba se stane pro systém „neviditelnou“. Dalším příkladem jsou adversariální záplaty, což jsou fyzické objekty nebo nálepky umístěné do scény, které strhnou pozornost detektoru.

Třetí typ je čistě digitální: úprava pixelů v obrazu, která je pro člověka nerozeznatelná, ale změní výstup algoritmu (např. systém autonomního řízení přečte značku „STOP“ jako „Omezení rychlosti 45“). V kritických aplikacích je riziko fatální a vyžaduje systémové řešení.

Právníci z ARROWS advokátní kanceláře proto doporučují, aby firmy provozující kritickou infrastrukturu zahrnuly testování odolnosti vůči adversariálním útokům do svých bezpečnostních auditů. Absence těchto testů může být považována za porušení povinnosti péče řádného hospodáře.

Související otázky k adversariálním útokům na AI systémy

1. Může malá či střední firma riziko adversariálních útoků ignorovat?
Nemůže. Pokud vaše AI zpracovává osobní údaje nebo řídí bezpečnostní procesy, odpovídáte za zabezpečení dle GDPR i AI Actu. Úniky dat nebo chybná rozhodnutí způsobená útokem mohou vést k pokutám bez ohledu na velikost firmy.

2. Jak se bránit adversariálním útokům?
Základní opatření zahrnují: „adversarial training“ (trénování modelu na napadených datech), defenzivní destilaci modelu a pravidelné penetrační testování AI. Z právního hlediska je nutné mít nastaveny procesy incident response a smluvní garance od dodavatelů technologie.

3. Jaké právní následky plynou z toho, když AI systém selže kvůli útoku?
Pokud systém spadá do kategorie vysoce rizikových dle AI Actu a nebyl dostatečně robustní, hrozí správní pokuta za nesplnění čl. 15 (až 15 mil. EUR nebo 3 % obratu). Zároveň hrozí civilní žaloby o náhradu škody.

Diskriminační AI a zakázané praktiky v EU

Evropská unie v článku 5 nařízení AI Act definuje zakázané AI praktiky, které představují nepřijatelné riziko pro základní práva. Tyto zákazy jsou přímo účinné ve všech členských státech. EU netoleruje situaci, kdy algoritmus vytváří rasovou, genderovou či jinou diskriminaci, nebo manipuluje lidským chováním.

Konkrétně AI Act zakazuje (mimo jiné):

  • Sociální skórování (Social Scoring): Hodnocení osob na základě chování, pokud to vede k nevýhodnému zacházení.
  • Biometrickou kategorizaci: Systémy kategorizující osoby podle citlivých údajů (rasa, politika, vyznání).
  • Rozpoznávání emocí: Používání AI k vyvozování emocí na pracovišti a ve vzdělávání.
  • Prediktivní policejní systémy: Profilování osobnosti bez podložení konkrétními fakty.
  • Neoprávněné stahování snímků obličejů (Scraping): Rozšiřování databází stahováním z internetu.

Pokud vaše firma poruší tyto zákazy, hrozí pokuta v nejvyšší sazbě: až 35 milionů EUR nebo 7 % celosvětového ročního obratu (podle toho, která částka je vyšší).

Jak AI systémy fakticky diskriminují – i když si to tvůrce neuvědomuje

Mnoho AI nástrojů pro nábor zaměstnanců (HR) nebo scoring klientů (FinTech) spadá do kategorie vysoce rizikových systémů. Ty sice nejsou zakázány, ale podléhají přísným požadavkům na kvalitu dat a lidský dohled, aby se předešlo diskriminaci (bias).

Algoritmická diskriminace často vzniká nevědomky:

  • Historická data: Pokud byl model trénován na datech z minulosti, kdy firma přijímala převážně muže, AI se „naučí“, že mužské pohlaví koreluje s úspěchem.
  • Zástupné proměnné (Proxy variables): I když ze vstupních dat odstraníte rasu, AI může najít korelaci s jinými údaji (např. PSČ).
  • Shadow AI: Zaměstnanci využívají neschválené AI nástroje, které nemají ošetřenou ochranu proti biasu.

Odpovědnost vedení – osobní sankce a reputační riziko

Česká legislativa v roce 2026, zahrnující nový zákon o kybernetické bezpečnosti a adaptaci AI Actu, klade důraz na odpovědnost vrcholového vedení.

  • Fyzické osoby (vedení): Podle zákona o kybernetické bezpečnosti odpovídá vrcholové vedení za řízení rizik. V případě závažného porušení může NÚKIB navrhnout pozastavení výkonu funkce odpovědné osoby.
  • Právnické osoby: Kromě pokut dle AI Actu hrozí pokuty i podle GDPR (až 20 mil. EUR), pokud diskriminační AI zpracovává osobní údaje nezákonně.
  • Civilní odpovědnost: Směrnice o odpovědnosti za AI zavádí vyvratitelnou domněnku příčinné souvislosti, což obrací důkazní břemeno proti firmě.

Diskriminační AI a chyby algoritmu

Rizika a sankce

Jak pomáhá ARROWS (office@arws.cz)

Pokuta za zakázané praktiky: až 35 milionů EUR nebo 7 % obratu za porušení čl. 5 AI Actu.

Právní audit AI (Gap Analysis): ARROWS advokátní kancelář provede klasifikaci vašich systémů a určí, zda nespadají mezi zakázané.

Sankce za nesoulad u vysoce rizikových systémů: až 15 milionů EUR nebo 3 % obratu.

Compliance implementace: Připravíme kompletní dokumentaci, systém řízení rizik a procesy lidského dohledu tak, aby splňovaly požadavky AI Actu pro rok 2026.

Osobní sankce na vedení: Možnost pozastavení výkonu funkce dle zákona o kybernetické bezpečnosti (NIS2).

Corporate Governance: Nastavíme interní směrnice a odpovědnostní strukturu, která prokazuje péči řádného hospodáře a chrání statutární orgány.

Civilní žaloby a náhrada škody: Uplatnění směrnice o odpovědnosti za AI.

Zastupování v soudních sporech: Díky znalosti procesních pravidel a AI technologií vás efektivně zastoupíme ve sporech o náhradu škody.

GDPR pokuta za diskriminaci: Až 20 milionů EUR nebo 4 % obratu za porušení zásady spravedlivosti.

Harmonizace GDPR a AI: Zajistíme, aby vaše posouzení vlivu na ochranu osobních údajů (DPIA) pokrývalo i specifika AI.

Deepfake, hlasové klony a povinnost transparentnosti

Vedle útoků na senzory představuje významné riziko generativní AI, konkrétně deepfakes (hluboké padělky). AI Act v článku 50 stanovuje přísná pravidla transparentnosti pro systémy generující syntetický obsah.

Pokud používáte AI systém, který generuje syntetický obsah, musíte zajistit, aby byl tento obsah jasně označen jako uměle vytvořený. U deepfakes, které zobrazují skutečné osoby, věci nebo místa a vypadají autenticky, je povinnost informovat příjemce o umělém původu obsahu zásadní. Výjimky existují pro umělecká díla či satiru, ale i tam platí určitá pravidla.

Z právního hlediska je tvorba neoznačených deepfakes riziková v rovině ochrany osobnosti, trestního práva i regulace AI Act. Porušení povinnosti transparentnosti může být sankcionováno vysokou pokutou.

Právníci z ARROWS advokátní kanceláře pomáhají klientům nastavit pravidla pro používání generativní AI v marketingu a komunikaci tak, aby byly splněny požadavky na označování. Řešíme správné nastavení vodoznaků, metadat a nezbytných disclaimerů.

Povinnosti podle AI Actu v roce 2026 – co musíte splňovat

Většina povinností pro vysoce rizikové AI systémy (uvedené v příloze III AI Actu, např. nábor, vzdělávání, úvěry, kritická infrastruktura) nabývá účinnosti 2. srpna 2026.

Do tohoto data musí provozovatelé a poskytovatelé těchto systémů zajistit:

  • Systém řízení rizik: Průběžný proces identifikace a mitigace rizik.
  • Správa dat: Používání trénovacích dat, která jsou relevantní a bez chyb.
  • Technická dokumentace: Detailní popis fungování systému.
  • Lidský dohled: Systémy musí být navrženy tak, aby je mohla kontrolovat fyzická osoba.
  • Transparentnost: Uživatelé musí vědět, že interagují s AI.
  • Kybernetická bezpečnost: Zajištění odolnosti vůči útokům.

Pokud jste dosud nezačali s implementací, jste v časové tísni, protože příprava dokumentace a technické úpravy trvají měsíce. Kontaktujte experty z ARROWS (office@arws.cz) pro vstupní audit.

Správná architektura dokumentace a jak se vyhnout pokutě

Formální compliance jen na oko před regulátorem neobstojí. Úřad pro dohled nad umělou inteligencí bude vyžadovat důkazy o reálné funkčnosti procesů a nápravných opatřeních.

Správná dokumentace musí prokazovat nejen co systém dělá, ale i jak jste ověřili, že to dělá bezpečně a nediskriminačně. Musíte doložit záznamy (logy) o provozu systému, výsledky testování přesnosti a záznamy o incidentech. Pokud zjistíte chybu, musíte doložit nápravné opatření.

Shadow AI: Skrytá hrozba a jak ji korigovat

Fenomén Shadow AI označuje situaci, kdy zaměstnanci používají veřejné AI nástroje (ChatGPT, Claude, DeepL atd.) pro pracovní účely bez vědomí IT oddělení a bez smluvního ošetření. Z právního hlediska jde o noční můru, protože data vložená do veřejných verzí modelů mohou být použita k jejich dotrénování. Hrozí únik obchodního tajemství a porušení GDPR, pokud zaměstnanec vloží do AI osobní údaje klientů bez zpracovatelské smlouvy.

Řešením není úplný zákaz, který se často obchází, ale zavedení funkční AI Governance. Právníci z ARROWS advokátní kanceláře vám pomohou připravit interní směrnici pro používání AI, která stanoví jasná pravidla a zajistí školení zaměstnanců.

Odpovědnost za chyby AI: Kdo platí, když algoritmus selže?

Právní rámec v roce 2026 se posunul směrem k ochraně poškozeného skrze směrnici o odpovědnosti za vadné výrobky a směrnici o odpovědnosti za AI. Pokud AI způsobí škodu na zdraví, majetku nebo ztrátu dat, výrobce nese objektivní odpovědnost bez ohledu na zavinění.

V praxi to znamená, že uživatel nese odpovědnost za provozní rizika, zatímco poskytovatel odpovídá za vady systému. Klíčové je mít kvalitní smlouvu, která jasně definuje rozdělení odpovědnosti a regresní nároky. Bez ní se může stát, že jako firma zaplatíte škodu klientovi, ale nebudete schopni se hojit na dodavateli.

Závěr článku

Adversariální útoky, diskriminační AI a deepfakes představují rizika, na která česká i evropská legislativa reaguje komplexním souborem pravidel. Kombinace AI Actu, NIS2 a GDPR vytváří prostředí, kde ignorování compliance může být likvidační.

Právníci z ARROWS advokátní kanceláře se AI compliance věnují dlouhodobě a umíme propojit technologické aspekty s právními požadavky. Jsme pojištěni pro poskytování právních služeb do výše 400 milionů Kč, což garantuje bezpečnost i u velkých projektů.

Nečekejte na první kontrolu. Napište nám na office@arws.cz a domluvme si konzultaci.

FAQ – Nejčastější právní dotazy k AI a legislativě 2026

1. Co přesně znamená „adversariální útok na AI“?
Jde o cílenou manipulaci se vstupními daty (obraz, zvuk), která je pro člověka často nepostřehnutelná, ale způsobí chybné vyhodnocení AI modelem. Právní povinnost bránit se těmto útokům vyplývá z požadavku na robustnost v AI Actu.

2. Jaké jsou pokuty za porušení AI Actu?
Pokuty jsou odstupňované: až 35 mil. EUR za zakázané praktiky, až 15 mil. EUR za porušení povinností u vysoce rizikových systémů a až 7,5 mil. EUR za poskytnutí nesprávných informací.

3. Který z mých AI systémů podléhá AI Actu?
Prakticky všechny, ale míra regulace se liší. Systémy s minimálním rizikem mají téměř nulové povinnosti, zatímco vysoce rizikové systémy (Příloha III – např. HR, úvěry, kritická infrastruktura) musí splnit přísné podmínky compliance.

4. Kdo odpovídá za chyby AI – já jako uživatel, nebo dodavatel?
Odpovědnost je dělená. Dodavatel odpovídá za soulad při uvedení na trh a za vady výrobku. Vy jako provozovatel odpovídáte za správné používání, lidský dohled a kvalitu vstupních dat.

5. Co je „Shadow AI“?
Používání neschválených AI nástrojů zaměstnanci, což představuje riziko úniku dat a porušení předpisů. Firmy by měly zavést interní směrnici, která stanoví povolené nástroje a pravidla pro práci s daty.

Upozornění: Informace obsažené v tomto článku mají pouze obecný informativní charakter a slouží k základní orientaci v problematice dle právního stavu k roku 2026. Ačkoliv dbáme na maximální přesnost obsahu, právní předpisy a jejich výklad se v čase vyvíjejí. Jsme ARROWS advokátní kancelář, subjekt zapsaný u České advokátní komory (náš orgán dohledu), a pro maximální bezpečí klientů jsme pojištěni pro případ profesní odpovědnosti s limitem 400.000.000 Kč. Pro ověření aktuálního znění předpisů a jejich aplikace na vaši konkrétní situaci je nezbytné kontaktovat přímo ARROWS advokátní kancelář (office@arws.cz). Neneseme odpovědnost za případné škody vzniklé samostatným užitím informací z tohoto článku bez předchozí individuální právní konzultace.

Čtěte také