KI in Unternehmen unter EU-Aufsicht

Warum KI in Unternehmen unter EU-Aufsicht steht und was daraus folgt

Der europäische AI Act (Verordnung (EU) 2024/1689) ist der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz. Sein Ziel ist es, Innovationen zu fördern und zugleich Gesundheit, Sicherheit, Grundrechte und demokratische Werte zu schützen. Anders als weichere Ethikkodizes handelt es sich um eine unmittelbar verbindliche Verordnung, die automatisch in allen Mitgliedstaaten gilt und harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Nutzung von KI-Systemen schafft.

Für Unternehmer bedeutet dies, dass KI kein „unregulierter Raum“ mehr ist, sondern ein Bereich mit einer ähnlichen Regulierungsdichte wie der Datenschutz (DSGVO) oder die Cybersicherheit (NIS2). Andererseits soll der AI Act erklärtermaßen eine Zersplitterung nationaler Regelungen verhindern und den freien Verkehr von KI-Produkten und -Dienstleistungen im Binnenmarkt sicherstellen.

Zentrales Prinzip des AI Act ist der risikobasierte Ansatz. Je größer die möglichen Auswirkungen eines KI-Systems auf Gesundheit, Sicherheit oder Grundrechte sind, desto strenger sind die Anforderungen an seine Konzeption, Erprobung, Dokumentation, Aufsicht und Transparenz.

Am einen Ende des Spektrums stehen Systeme mit minimalem oder keinem Risiko, für die der AI Act keine besonderen Pflichten vorsieht; typischerweise handelt es sich um gängige Spamfilter oder KI in Computerspielen. Am anderen Ende stehen verbotene Praktiken mit „unannehmbarem Risiko“, die in der EU schlicht ohne reguläre Ausnahmemöglichkeit untersagt sind; dazwischen liegen Systeme mit begrenztem und hohem Risiko.

Für Unternehmen ist entscheidend, dass der AI Act nicht nur Technologieunternehmen erfasst, die eigene KI-Modelle entwickeln, sondern auch ein breites Spektrum gewöhnlicher Unternehmen, die KI „lediglich“ in ihre Prozesse implementieren. Bei der Einführung interner KI-Tools ist es daher oft sinnvoll, auch die rechtliche Ausgestaltung der gesamten Implementierung künstlicher Intelligenz (KI) einschließlich der Rollen und Verantwortlichkeiten nach dem AI Act zu klären. Die Regulierung gilt ausdrücklich für Anbieter, Einführer, Händler sowie sogenannte Betreiber (Deployer), also Unternehmen, die KI-Systeme im Rahmen ihrer beruflichen Tätigkeit nutzen, einschließlich Behörden.

Die extraterritoriale Reichweite bedeutet, dass Pflichten auch für Akteure außerhalb der EU entstehen, wenn ihre KI-Systeme oder deren Ergebnisse in der Union verwendet werden. In der Praxis muss beispielsweise ein amerikanischer oder asiatischer Anbieter einer in der Tschechischen Republik eingesetzten KI-Lösung die europäischen Vorschriften beachten und häufig einen Bevollmächtigten in der EU benennen.

Wichtig ist auch, dass der AI Act nicht im luftleeren Raum entsteht. Für Unternehmen überschneidet er sich mit weiteren Vorschriften, insbesondere mit der DSGVO, dem Haftungsrecht, sektoralen Regulierungen (Bankwesen, Gesundheitswesen, Energie) und neuerdings auch mit den Regeln für Cybersicherheit und Datenwirtschaft. Einen praktischen Rahmen dafür, wie Prozesse und Verantwortlichkeiten im Unternehmen so gestaltet werden, dass diese Regeln lückenlos ineinandergreifen, bietet auch der Beitrag KI-Governance in Unternehmen: So gelingt sie richtig, ohne rechtliche Probleme und Bußgelder zu riskieren. Die rechtliche Realität ist also komplexer als die bloße „Erfüllung des AI Act“ – bei Konzeption und Einsatz von KI sind typischerweise gleichzeitig Datenschutz, Vertragsbeziehungen zu Kunden und Lieferanten, Sicherheitsstandards und steuerliche Auswirkungen zu berücksichtigen.

Die Anwälte der Anwaltskanzlei ARROWS beobachten in der Praxis häufig, dass sich Unternehmen nur auf eine dieser Vorschriften (etwa die DSGVO) konzentrieren, die spezifischen Pflichten des AI Act oder die Verknüpfung mit der vertraglichen Haftung jedoch unterschätzen, was später zu Bußgeldern, Streitigkeiten und sogar zur Blockade zentraler Projekte führen kann.

Zeitplan: Was bereits gilt und welche neuen EU-Leitlinien hinzugekommen sind

Der AI Act gilt nicht „auf einen Schlag“, sondern seine Anwendbarkeit ist auf mehrere Phasen verteilt und wird durch sekundäre Rechtsakte, Leitlinien der Kommission und freiwillige Verhaltenskodizes ergänzt. Für die Unternehmensplanung ist es entscheidend zu verstehen, was bereits heute durchsetzbar ist und welche neuen Pflichten in den nächsten Jahren auf Unternehmen zukommen. In die Planung sollten auch die vertraglichen und sicherheitsbezogenen Auswirkungen einfließen, die in der Regel in den Bereich IT- und Softwarerecht, Cybersicherheit fallen.

Was seit Februar 2025 gilt: Verbotene Praktiken

Seit Februar 2025 gelten die Regeln für „unannehmbare“ KI-Praktiken. Erstens gilt in der gesamten EU ein Verbot von acht Arten von KI-Praktiken, die als unvereinbar mit den Werten der Union und den Grundrechten gelten.

Dazu gehören unter anderem unterschwellige und manipulative Techniken, die die Fähigkeit eines Menschen, frei zu entscheiden, wesentlich beeinträchtigen. Ferner zählen dazu Systeme, die die Schutzbedürftigkeit von Personen aufgrund ihres Alters, einer Behinderung oder ihrer sozioökonomischen Lage ausnutzen. Als verboten gelten auch Systeme zur sozialen Bewertung der Bevölkerung (Social Scoring) und bestimmte Formen vorausschauender polizeilicher Überwachung.

Ebenfalls erfasst ist das ungezielte Auslesen biometrischer Daten aus dem Internet zum Zweck der Gesichtserkennung. Verboten ist zudem die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen. Mit den damit verbundenen Anforderungen an Sicherheit und Compliance (insbesondere bei öffentlichen Einrichtungen) befasst sich ausführlich auch der Artikel Cybersicherheit und AI Act: Compliance für Krankenhäuser und öffentliche Einrichtungen. In diese Kategorie fällt auch die biometrische Kategorisierung nach sensiblen Merkmalen. Grundsätzlich gehört hierzu auch der Einsatz von KI zur biometrischen Echtzeit-Fernidentifizierung von Personen im öffentlichen Raum außerhalb eng definierter Ausnahmen.

Bei Verstößen gegen diese absoluten Verbote drohen die höchsten Sanktionen – bis zu 35 Millionen EUR oder bei Unternehmen bis zu 7 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist. Bei kleinen und mittleren Unternehmen gilt der niedrigere der beiden Werte, doch auch dann handelt es sich um potenziell existenzbedrohende Bußgelder.

Die Anwälte der Anwaltskanzlei ARROWS erleben in der Praxis, dass Unternehmen mitunter gar nicht ahnen, dass bestimmte HR-Tools, Marketingtechnologien oder Sicherheitssysteme unter die verbotenen Praktiken fallen können – typischerweise geht es um experimentelle Emotionserkennung bei Mitarbeitern oder Schülern, um aggressives Verhaltensmarketing, das KI und Psychometrie kombiniert, oder um die Nutzung von ungezieltem Scraping von Fotos zur Gesichtserkennung.

Was seit Mai 2025 gilt: Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI)

Die zweite Welle von Pflichten bilden die Regeln für sogenannte KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI), die seit Mai 2025 angewendet werden. Es handelt sich um Modelle, die mit hoher Rechenleistung trainiert wurden und Text, Bild, Audio oder Video für ein breites Spektrum von Anwendungen erzeugen können – typischerweise große Sprachmodelle, Bildgeneratoren oder multimodale Modelle, die Unternehmen heute über APIs oder Cloud-Dienste nutzen.

Anbieter dieser Modelle müssen nun eine technische Dokumentation bereitstellen, die die Architektur des Modells, die Trainingsmethoden, die eingesetzten Rechenressourcen, die Fähigkeiten und Grenzen des Modells sowie die typischen Anwendungsrisiken beschreibt. Zudem müssen sie eine Zusammenfassung der zum Training des Modells verwendeten Daten nach einer von der Kommission erstellten Vorlage veröffentlichen und interne Regeln zur Wahrung des Urheberrechts einführen, einschließlich der Beachtung des sogenannten TDM-Opt-outs, also des ausdrücklichen Ausschlusses von Datensätzen vom Text-and-Data-Mining.

Für Modelle mit systemischem Risiko (etwa die leistungsstärksten oberhalb einer bestimmten FLOPs-Schwelle) kommen weitere Pflichten hinzu, wie regelmäßige Robustheitstests, die Bewertung und Minderung systemischer Risiken, die Meldung von Vorfällen und die verpflichtende Registrierung bei der Europäischen Kommission.

Damit die Branche diese Anforderungen erfüllen kann, wurde ein freiwilliger Verhaltenskodex für GPAI ausgearbeitet, den die Kommission als geeignetes Instrument zum Nachweis der Konformität mit Artikel 53 des AI Act bezeichnet hat. Anbieter, die den Kodex unterzeichnen und einhalten, können von geringerem Verwaltungsaufwand und höherer Rechtssicherheit profitieren, da davon ausgegangen wird, dass sie mit der Einhaltung des Kodex auch bestimmte gesetzliche Pflichten erfüllen.

Für Unternehmensnutzer bedeutet dies, dass es sinnvoll ist, beim Anbieter eines großen Modells nachzufragen, ob er diesen Kodex unterzeichnet hat und wie er seine Pflichten konkret erfüllt. Die Anwälte der Anwaltskanzlei ARROWS unterstützen Mandanten bei der Prüfung von Anbietern und bei der Anpassung der Vertragsdokumentation, damit die Verantwortung für KI klar verteilt ist.

Was kommt: August 2026, Juli 2027 und weitere Meilensteine

Ab August 2026 wird der AI Act für die meisten Bestimmungen allgemein uneingeschränkt anwendbar sein, mit Ausnahme bestimmter Hochrisikosysteme, für die eine längere Übergangsregelung vereinbart wurde. Gerade in diesem Zeitraum werden in der Praxis vor allem die Anforderungen an die Transparenz interaktiver KI-Systeme und an die Kennzeichnung KI-generierter Inhalte nach Artikel 50 des AI Act „greifen“.

Anbieter von KI-Systemen, die für die direkte Interaktion mit Menschen bestimmt sind, müssen sicherstellen, dass Nutzer klar darüber informiert werden, dass sie mit einer KI kommunizieren, sofern dies nicht aus dem Kontext offensichtlich ist, und dass synthetische Inhalte (Text, Bild, Audio, Video) zumindest in Form einer maschinenlesbaren Kennung als künstlich gekennzeichnet werden. Betreiber von Deepfake-Inhalten müssen zudem für Endnutzer eine sichtbare Kennzeichnung sicherstellen, dass es sich um generierte oder manipulierte Inhalte handelt.

Gleichzeitig startet ab August 2026 die zentrale EU-Datenbank für Hochrisiko-KI-Systeme, in der Anbieter und bestimmte Betreiber ihre Systeme vor dem Inverkehrbringen oder der Inbetriebnahme registrieren müssen. Die Pflicht betrifft insbesondere Systeme aus Anhang III des AI Act (etwa KI für die Gewährung von Sozialleistungen, die Kreditwürdigkeitsprüfung, bestimmte HR-Tools, biometrische Identifizierungssysteme) und soll eine transparentere Marktüberwachung sowie das gegenseitige Lernen der Regulierungsbehörden ermöglichen.

Ein weiterer wichtiger Meilenstein folgt im Juli 2027, wenn schrittweise die Regeln für Hochrisiko-KI-Systeme gelten, die als Sicherheitsbauteil regulierter Produkte (etwa Aufzüge, Spielzeug oder Medizinprodukte) integriert sind. Für tschechische Unternehmen wird dies besonders in Branchen sensibel sein, in denen KI bereits heute eine bedeutende Rolle spielt – etwa im Bank- und Versicherungswesen, im Gesundheitswesen oder in der Verkehrsinfrastruktur.

Neue Leitlinien der Kommission aus den letzten Monaten

Neben dem Text des AI Act selbst spielt in der Praxis das sogenannte Tertiärrecht eine immer größere Rolle – Durchführungsrechtsakte und delegierte Rechtsakte, Leitlinien und Verhaltenskodizes, die die Auslegung zentraler Begriffe vereinheitlichen und Unternehmen bei der Erfüllung der Anforderungen des AI Act helfen sollen. In den letzten zwölf Monaten sind mehrere Dokumente hinzugekommen, die die Praxis von Anbietern und Nutzern maßgeblich beeinflussen.

Im Mai 2026 veröffentlichte die Kommission einen Entwurf von Leitlinien zur Einstufung von Hochrisiko-KI-Systemen nach Artikel 6 des AI Act. Diese Leitlinien sollen erläutern, wann ein System als hochriskant gilt – entweder weil es Sicherheitsbauteil eines regulierten Produkts ist oder weil es in einen der in Anhang III genannten Bereiche fällt. Das Dokument enthält zahlreiche praktische Beispiele dafür, wann eine konkrete KI-Lösung als hochriskant anzusehen ist und wann nicht, was vor allem für Unternehmen in den Bereichen HR, Kreditvergabe, Gesundheitswesen oder öffentliche Dienstleistungen entscheidend ist.

Ein weiteres wichtiges Dokument ist der Entwurf von Leitlinien und einer Vorlage für die Meldung schwerwiegender Vorfälle nach Artikel 73 des AI Act. Anbieter von Hochrisikosystemen müssen ab August 2026 den nationalen Behörden schwerwiegende Vorfälle melden, die zu Gesundheitsschäden, erheblichen Sachschäden oder schweren Grundrechtsverletzungen geführt haben oder hätten führen können. Der Entwurf erläutert, was als Vorfall gilt, welche Informationen zu melden sind und wie diese Pflicht mit anderen Regelungen (etwa der DSGVO oder sektoralen Vorschriften) zusammenwirkt.

Bereits zuvor hatte die Kommission Leitlinien für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck herausgegeben, die den Umfang ihrer Pflichten präzisieren und zentrale Begriffe wie „wesentliche Änderung des Modells“, „systemisches Risiko“ oder „GPAI-Modell“ auslegen. Diese Leitlinien ergänzen den erwähnten GPAI-Kodex und vermitteln Anbietern wie Nutzern gemeinsam ein relativ klares Bild davon, wann und wie die Regeln für sie gelten.

Im Bereich der Transparenz KI-generierter Inhalte bereitet die Kommission zudem einen Verhaltenskodex zur Erkennung und Kennzeichnung von KI-Inhalten vor, dessen Entwurf in der ersten Jahreshälfte 2026 veröffentlicht wurde; die endgültige Fassung wird im Sommer desselben Jahres erwartet. Der Kodex soll technische Standards für Wasserzeichen, Metadaten und weitere Kennungen festlegen und auch eine visuelle Kennzeichnung von Deepfake-Inhalten empfehlen.

Für Unternehmensmanager bedeutet dies, dass die Beobachtung des AI Act heute nicht mehr nur die Überwachung „eines einzigen Gesetzes“ umfasst, sondern dass auch die anschließenden Leitlinien, Vorlagen und Kodizes systematisch verfolgt werden müssen, die schrittweise konkretisieren, was die Aufsichtsbehörde tatsächlich verlangen wird.

Die Anwälte der Anwaltskanzlei ARROWS empfehlen Mandanten daher, einen internen Prozess einzurichten, in dem jemand für die „Regulatory Watch“ im Bereich KI verantwortlich ist – ähnlich wie bei der DSGVO oder NIS2 – und sowohl interne Richtlinien als auch Verträge mit Lieferanten und Kunden regelmäßig zu aktualisieren.

Pflichten der KI-Anbieter: Von der Rollendefinition zur Konformitätsbewertung

Der AI Act legt großen Wert auf die Unterscheidung der Rollen in der KI-Wertschöpfungskette – Anbieter, Betreiber, Einführer, Händler und weitere Akteure. Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt, um es unter seinem eigenen Namen oder seiner Handelsmarke bereitzustellen, unabhängig davon, ob er in der EU oder außerhalb niedergelassen ist. In der Praxis fallen unter diese Definition sowohl große Entwickler eigener Modelle als auch Integratoren, die ein System wesentlich verändern und es als eigene Lösung in Verkehr bringen.

Für Unternehmen ist es entscheidend, diese Rolle richtig zu klären, da der AI Act gerade den Anbietern den umfangreichsten Pflichtenkatalog auferlegt, insbesondere bei Hochrisikosystemen und GPAI-Modellen. Glaubt ein Unternehmen irrtümlich, „nur Nutzer“ zu sein, verändert das System aber tatsächlich erheblich, trainiert es mit eigenen Daten und bietet es Kunden als eigenes Produkt an, kann es die Verantwortung eines Anbieters tragen – einschließlich der Pflicht zur Konformitätsbewertung und zur Registrierung in der EU-Datenbank.

Die Anwälte der Anwaltskanzlei ARROWS empfehlen Mandanten daher, bereits in einer frühen Projektphase zu klären, wer welche Rolle einnimmt – und diese Zuordnung von Rollen und Pflichten in Verträgen und Geschäftsbedingungen abzubilden.

Hochrisikosysteme: Risikomanagementsystem, Daten und Dokumentation

Für Hochrisiko-KI-Systeme legt der AI Act detaillierte Anforderungen fest, die der Anbieter bereits vor dem Inverkehrbringen oder der Inbetriebnahme des Systems erfüllen muss. Dazu gehört insbesondere die Pflicht, ein fortlaufendes Risikomanagementsystem einzurichten, das die Identifizierung, Analyse, Bewertung und Minderung der mit der KI verbundenen Risiken während des gesamten Lebenszyklus sicherstellt.

Eng damit verbunden sind die Anforderungen an Daten und Data Governance – Trainings-, Validierungs- und Testdatensätze müssen relevant, repräsentativ und von ausreichender Qualität sein, und zwar unter Berücksichtigung des konkreten geografischen, kontextuellen und funktionalen Umfelds, in dem das System eingesetzt werden soll.

Der AI Act verlangt zugleich, dass der Anbieter für diese Datensätze robuste Data-Governance-Praktiken anwendet – die Herkunft der Daten sowie die Prozesse der Erhebung, Annotation, Bereinigung und Aggregation dokumentiert, das Vorhandensein möglicher Verzerrungen (Bias) untersucht und Maßnahmen zu deren Erkennung, Vermeidung und Korrektur ergreift.

Ausnahmsweise ist sogar die Verarbeitung besonderer Kategorien personenbezogener Daten zur Erkennung und Korrektur von Bias zulässig, allerdings nur unter strengen Bedingungen, einschließlich technischer und organisatorischer Maßnahmen zur Risikominimierung und einer strikten Zugriffsbeschränkung. In der Praxis muss der Anbieter eines Hochrisikosystems also nachweisen, dass seine KI nicht nur „technisch funktioniert“, sondern auch diskriminierungsfrei und sicher ist und die Grundrechte achtet.

Fester Bestandteil der Pflichten ist auch die Führung einer technischen Dokumentation, die das System, seinen Zweck, seine Architektur, die verwendeten Daten, die Trainingsmethoden, die Tests und die Bewertungsergebnisse detailliert beschreiben muss. Die Dokumentation soll es den Aufsichtsbehörden ermöglichen, die Konformität des Systems mit den Anforderungen des AI Act zu beurteilen, und muss daher laufend aktualisiert und nicht nur einmalig zu Projektbeginn erstellt werden. Ebenso muss das System Ereignisse automatisch protokollieren (Logs), damit sich nachträglich nachvollziehen lässt, wie es zu einer bestimmten Entscheidung oder einem Vorfall kam; diese Logs sind für die in der Verordnung festgelegte Dauer aufzubewahren.

Konformitätsbewertung und die Rolle notifizierter Stellen

Hochrisiko-KI-Systeme müssen vor dem Inverkehrbringen eine Konformitätsbewertung durchlaufen. Der AI Act unterscheidet, ob es sich um ein System handelt, das Sicherheitsbauteil eines durch andere Harmonisierungsvorschriften regulierten Produkts ist (etwa eines Medizinprodukts), oder um ein System, das nach Anhang III in eine eigenständige Kategorie fällt.

Im ersten Fall erfolgt die Konformitätsbewertung in der Regel im Rahmen des bestehenden Verfahrens (etwa nach der Medizinprodukteverordnung), wobei die notifizierte Stelle auch die Erfüllung der Anforderungen des AI Act prüft. Im zweiten Fall kann der Anbieter in den meisten Situationen das Verfahren der internen Kontrolle (ohne Beteiligung einer notifizierten Stelle) nutzen, allerdings unter der Voraussetzung, dass er harmonisierte Normen oder gemeinsame Spezifikationen angewendet hat, sofern diese existieren.

Wendet der Anbieter keine harmonisierten Normen oder gemeinsamen Spezifikationen an oder bestehen Einschränkungen ihrer Anwendung, muss er eine Konformitätsbewertung unter Beteiligung einer notifizierten Stelle nach dem jeweiligen Modul durchführen. In der Tschechischen Republik ist die notifizierende Behörde für die Benennung notifizierter Stellen im Bereich KI das Amt für technische Normung, Metrologie und staatliches Prüfwesen (Úřad pro technickou normalizaci, metrologii a státní zkušebnictví, ÚNMZ), das darüber wachen wird, dass notifizierte Stellen ihre Pflichten zu Unabhängigkeit, Fachkompetenz und Unparteilichkeit erfüllen.

Für Anbieter bedeutet dies in der Praxis, dass sie Zeit und Kosten für die Konformitätsbewertung einplanen müssen, vor allem bei komplexeren Systemen oder dort, wo keine harmonisierten Normen verfügbar sind. Teil des Konformitätsbewertungsverfahrens ist auch die Ausstellung einer EU-Konformitätserklärung und die Kennzeichnung des Systems mit der CE-Kennzeichnung, die die Erfüllung der einschlägigen Anforderungen signalisiert. Ohne gültige Konformitätsbewertung und Registrierung in der EU-Datenbank darf ein Hochrisikosystem weder in Verkehr gebracht noch in Betrieb genommen werden, was in der Praxis den Stopp des gesamten Projekts oder den fehlenden Zugang zum EU-Markt bedeuten kann.

Die Anwälte der Anwaltskanzlei ARROWS unterstützen Unternehmen hier sowohl bei der Einrichtung interner Compliance-Prozesse als auch bei der Abstimmung mit notifizierten Stellen und Aufsichtsbehörden, um erhebliche Verzögerungen oder kostspielige Überarbeitungen des Systems zu vermeiden.

Sanktionen und Haftung des Anbieters

Wie bereits erwähnt, führt der AI Act ein abgestuftes Sanktionssystem ein, das in mancher Hinsicht mit der DSGVO vergleichbar ist. Die höchsten Bußgelder (bis zu 35 Millionen EUR oder 7 % des weltweiten Umsatzes) betreffen Verstöße gegen die Verbote nach Artikel 5.

Für Verstöße gegen sonstige Pflichten, etwa die Pflichten von Anbietern bei Hochrisikosystemen oder GPAI, können Bußgelder von bis zu 15 Millionen EUR oder 3 % des weltweiten Umsatzes verhängt werden. Für die Bereitstellung falscher, unvollständiger oder irreführender Informationen an Aufsichtsbehörden drohen Bußgelder von bis zu 7,5 Millionen EUR oder 1 % des Umsatzes.

Der AI Act betont zugleich den Grundsatz der Verhältnismäßigkeit: Bei der Höhe der Bußgelder sind Art, Schwere und Dauer des Verstoßes, die Zahl der Betroffenen, der finanzielle Vorteil aus dem Verstoß, das Maß der Zusammenarbeit mit den Aufsichtsbehörden sowie der Umstand zu berücksichtigen, ob es sich um ein KMU oder ein Start-up handelt. Der Entwurf der geplanten Richtlinie über KI-Haftung sieht zudem vor, dass Verstöße gegen Pflichten aus dem AI Act in Schadensersatzprozessen zu einer Umkehr oder Erleichterung der Beweislast führen können.

Hat ein Unternehmen bestimmte Pflichten nicht eingehalten, wird vermutet, dass gerade dieses Versäumnis mit dem entstandenen Schaden zusammenhängt. Dies erhöht die Bedeutung einer ordnungsgemäßen Dokumentation und einer nachweisbaren Pflichterfüllung zusätzlich.

Für Anbieter bedeutet dies in der Praxis, dass die Nichteinhaltung des AI Act nicht nur zu hohen Bußgeldern und einem Verbot des Inverkehrbringens führen kann, sondern auch zu Gerichtsverfahren und Reputationsschäden. Viele Unternehmen betrachten den Aufbau eines robusten Compliance-Programms im Bereich KI daher heute als Investition in die Vertrauenswürdigkeit ihres Produkts und nicht bloß als Regulierungskosten. Die Anwälte der Anwaltskanzlei ARROWS unterstützen Mandanten in solchen Situationen sowohl bei der präventiven Einrichtung eines Risikomanagementsystems als auch bei der Verteidigung gegen Sanktionen und bei der Vertretung vor Aufsichtsbehörden und Gerichten.

Pflichten der Nutzer (Deployer): KI-Kompetenz, Transparenz und Aufsicht

Betreiber (Deployer) ist nach dem AI Act, wer ein KI-System im Rahmen seiner beruflichen Tätigkeit verwendet, unabhängig davon, ob er das System selbst entwickelt oder von einem Dritten erworben hat. Für die meisten gewöhnlichen Unternehmen in der Tschechischen Republik wird gerade die Rolle des Betreibers typisch sein – sie nutzen KI im Personalwesen, im Marketing, in der Datenanalyse, im Bestandsmanagement, im Kundenservice oder in anderen Prozessen, entwickeln jedoch keine eigenen Modelle.

Ein häufiger Fehler ist die Annahme, dass primär der Lieferant für die Einhaltung des AI Act verantwortlich ist. Die Verordnung erlegt dem Betreiber jedoch eigene Pflichten auf, insbesondere bei Hochrisikosystemen und bei Systemen, die direkt mit Endnutzern interagieren.

Betreiber müssen beispielsweise sicherstellen, dass sie KI-Systeme entsprechend der vom Anbieter festgelegten Zweckbestimmung verwenden, und dürfen sie nicht ohne Weiteres in einem anderen Kontext einsetzen, insbesondere wenn dies die Risiken erhöhen würde. Ferner müssen sie ein angemessenes Maß an KI-Kompetenz bei den Personen gewährleisten, die die Systeme nutzen oder deren Ergebnisse auswerten. Bei Hochrisikosystemen müssen sie eine menschliche Aufsicht einrichten, die Leistung des Systems überwachen, Logs aufbewahren und weitere technische und organisatorische Anforderungen einhalten, einschließlich einer Datenschutz-Folgenabschätzung nach der DSGVO.

Einsatz von Hochrisiko-KI im Unternehmen

Setzt ein Unternehmen Hochrisiko-KI ein, etwa ein Tool zum automatisierten Screening von Bewerbern, ein System zur Bonitätsprüfung von Kunden, KI zur Entscheidung über die Gewährung öffentlicher Leistungen oder KI zur Unterstützung klinischer Entscheidungen im Gesundheitswesen, sind seine Pflichten deutlich umfangreicher.

Neben der Pflicht sicherzustellen, dass das System über eine gültige Konformitätsbewertung verfügt und in der EU-Datenbank registriert ist – was primär in der Verantwortung des Anbieters liegt –, muss der Betreiber eine menschliche Aufsicht einrichten. Zudem muss er den Umgang mit Logs sicherstellen. Er ist außerdem verpflichtet, die Leistung des Systems im realen Betrieb regelmäßig zu bewerten. Gleichzeitig muss er Verfahren zur Bearbeitung von Vorfällen und Beschwerden einführen.

So muss etwa eine Bank, die KI zur Prüfung der Kreditwürdigkeit einsetzt, nicht nur den Anbieter prüfen und von ihm die technische Dokumentation erhalten, sondern auch sicherstellen, dass ihre Mitarbeiter die Funktionsprinzipien des Systems verstehen, seine Ergebnisse interpretieren können und über einen Prozess verfügen, um die Ergebnisse bei Bedarf zu korrigieren.

Gleichzeitig muss sie eine Datenschutz-Folgenabschätzung (DPIA) nach der DSGVO durchführen und etwaige diskriminierende Auswirkungen auf verschiedene Kundengruppen adressieren. Ebenso muss ein Arbeitgeber, der KI im Recruiting einsetzt, den Datenschutzbeauftragten einbinden, Diskriminierungsrisiken analysieren und Bewerbern klar mitteilen, dass ein Teil des Verfahrens KI-gestützt ist.

Die Anwälte der Anwaltskanzlei ARROWS sehen hier oft, dass Unternehmen dazu neigen, sich ohne tiefere Prüfung auf Marketingaussagen des Lieferanten („unsere KI ist compliant“) zu verlassen. Im Kontext des AI Act ist es jedoch unerlässlich, eine eigene Due Diligence durchzuführen, konkrete Unterlagen anzufordern (Systembeschreibung, Zweck, Grenzen, Testergebnisse) und die Haftung und Mitwirkungspflichten des Lieferanten direkt im Vertrag zu verankern. Andernfalls setzt sich der Betreiber dem Risiko aus, im Falle eines Vorfalls die Hauptverantwortung gegenüber Regulierungsbehörden und Geschädigten zu tragen.

Transparenz gegenüber Nutzern und Kunden

Artikel 50 des AI Act führt allgemeine Transparenzpflichten für Anbieter und Betreiber von Systemen mit begrenztem Risiko ein, die mit Menschen interagieren oder Inhalte erzeugen. Ein Betreiber, der einen Chatbot einsetzt, muss sicherstellen, dass der Nutzer ab der ersten Interaktion klar darüber informiert wird, dass er mit einer KI kommuniziert, sofern dies nicht offensichtlich ist.

Ebenso ist ein Unternehmen, das KI-generierten Text, Ton oder Video veröffentlicht, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, verpflichtet offenzulegen, dass der betreffende Inhalt von KI erzeugt oder wesentlich verändert wurde, es sei denn, er wurde vollständig redaktionell geprüft und unterliegt menschlicher redaktioneller Verantwortung.

Eine Sonderregelung gilt für Deepfake-Inhalte – Betreiber (also typischerweise Unternehmen, Einrichtungen oder Berufsträger), die Deepfakes im Rahmen ihrer unternehmerischen oder beruflichen Tätigkeit nutzen, sind ab August 2026 verpflichtet, den Inhalt sichtbar so zu kennzeichnen, dass ein durchschnittlicher Nutzer erkennt, dass es sich um eine künstliche oder manipulierte Aufnahme handelt.

Ausnahmen sind für offensichtlich künstlerische, satirische oder fiktionale Werke vorgesehen, bei denen ein geeigneter Hinweis im Vorspann oder in den Untertiteln genügt, sowie für die Verwendung im Rahmen der Aufdeckung und Ermittlung von Straftaten. In der Praxis muss also beispielsweise eine Marketingagentur, die ein Deepfake-Video für eine Kundenkampagne erstellt, ab August 2026 mit der Pflicht zur sichtbaren Kennzeichnung rechnen, da sie andernfalls Sanktionen wegen Verstoßes gegen Artikel 50 riskiert.

Dokumentation, Monitoring und Incident Management

Betreiber von Hochrisikosystemen werden verpflichtet sein, den Einsatz des Systems zu dokumentieren, Aufzeichnungen über wichtige Betriebsparameter aufzubewahren und einen Prozess zur Überwachung von Vorfällen einzurichten, einschließlich der Zusammenarbeit mit dem Anbieter bei deren Meldung an die Aufsichtsbehörden.

In der Praxis handelt es sich um eine Parallele zu bestimmten Regelungen im Bereich der Medizinprodukte oder der Cybersicherheit – das Unternehmen muss über ein klares internes Verfahren verfügen, wie ein Vorfall erkannt, in seiner Schwere bewertet, dokumentiert und bei Bedarf an den Anbieter und die Regulierungsbehörden eskaliert wird.

Viele Unternehmen verfügen heute über kein zentralisiertes Incident Management für KI – potenzielle Probleme werden ad hoc in einzelnen Abteilungen gelöst. Im Kontext des AI Act wird es jedoch erforderlich sein, diese Prozesse zu vereinheitlichen, verantwortliche Rollen zu definieren (etwa einen AI Officer oder eine Arbeitsgruppe für KI-Governance) und klare Verknüpfungen zu bestehenden Mechanismen für Cybersicherheitsvorfälle oder Datenschutzverletzungen herzustellen.

Die Anwälte der Anwaltskanzlei ARROWS unterstützen Mandanten häufig beim Aufbau eines einheitlichen Rahmens für KI-Vorfälle, der die rechtliche, technische und reputationsbezogene Ebene umfasst, einschließlich vorbereiteter Kommunikationsszenarien gegenüber Regulierungsbehörden, Partnern und der Öffentlichkeit.

Transparenz, Kennzeichnung von KI-Inhalten und Deepfakes

Artikel 50 des AI Act ist für viele Unternehmen eine der sichtbarsten Bestimmungen, da er die Kommunikation mit Kunden und Nutzern unmittelbar beeinflusst. Er verpflichtet dazu, Personen darüber zu informieren, dass sie mit einem KI-System interagieren, und KI-generierte oder manipulierte Inhalte zu kennzeichnen, soweit dies zur Wahrung des Vertrauens und zum Schutz der Nutzer erforderlich ist.

Die Pflicht zur Information über die Interaktion mit KI gilt für Systeme, deren Zweck die direkte Kommunikation mit Menschen ist – typischerweise Chatbots, virtuelle Assistenten oder Voicebots im Kundenservice. Ausgenommen sind Situationen, in denen aus dem Kontext offensichtlich ist, dass es sich um eine Maschine handelt, oder in denen KI mit besonderen Garantien zur Aufdeckung und Ermittlung von Straftaten eingesetzt wird.

Für generative KI-Systeme gilt, dass Anbieter sicherstellen müssen, dass die Ergebnisse zumindest mit einem maschinenlesbaren Merkmal gekennzeichnet sind, das die Erkennung von KI-Inhalten etwa durch soziale Netzwerke, Suchmaschinen und Faktencheck-Tools ermöglicht. Die Umsetzung wird in der Regel technischer Natur sein – Wasserzeichen, Metadaten oder kryptografische Markierungen, die so in die Datei eingebettet werden, dass sie nicht leicht entfernt werden können.

Ab August 2026 gilt zudem die Pflicht bestimmter Betreiber, insbesondere in den Bereichen Medien, Marketing und öffentliche Kommunikation, KI-generierte Inhalte sichtbar zu kennzeichnen, wenn sie der Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse dienen oder wenn es sich um Deepfakes handelt.

Deepfake-Inhalte: Strengere Regelung und Ausnahmen

Ein Deepfake ist eine besondere Kategorie KI-generierter oder -veränderter Inhalte, die existierende Personen, Orte oder Ereignisse so nachahmen, dass sie fälschlicherweise für echt gehalten werden können. Das Recht behandelt sie strenger, weil Deepfakes für Desinformation, Betrug, Erpressung oder andere Eingriffe in Persönlichkeitsrechte und in das Vertrauen in den öffentlichen Diskurs missbraucht werden können.

Der AI Act verpflichtet daher Betreiber von Deepfake-Inhalten, die diese im Rahmen ihrer unternehmerischen oder beruflichen Tätigkeit nutzen, sichtbar zu kennzeichnen, dass der Inhalt von KI erzeugt oder manipuliert wurde. Praktisch bedeutet dies: Erstellt etwa eine Marketingagentur ein Video, in dem eine fiktive Darstellung einer bekannten Persönlichkeit ein Produkt bewirbt, oder verwendet eine politische Kampagne eine manipulierte Aufnahme, muss der Inhalt klar als künstlich gekennzeichnet werden.

Die Kommission bereitet einen Verhaltenskodex zur Kennzeichnung von KI-Inhalten vor, der konkrete Formen der Kennzeichnung empfehlen soll, etwa ein visuelles „KI“-Symbol oder einen Texthinweis im Video. Ausnahmen betreffen offensichtlich künstlerische, satirische oder fiktionale Werke, bei denen eine auffällige Kennzeichnungspflicht das Nutzererlebnis unverhältnismäßig beeinträchtigen könnte; hier genügt ein angemessener Hinweis, dass das Werk KI nutzt. In der Praxis muss also beispielsweise eine Marketingagentur, die ein Deepfake-Video für eine Kundenkampagne erstellt, ab August 2026 mit der Pflicht zur sichtbaren Kennzeichnung rechnen, da sie andernfalls Sanktionen wegen Verstoßes gegen Artikel 50 riskiert.

Technische Standards und Transparenzkodex

Die technischen Details der Kennzeichnung von KI-Inhalten werden schrittweise durch harmonisierte Normen und Verhaltenskodizes standardisiert. Die Entwürfe sehen eine mehrschichtige Kennzeichnung vor – eine Kombination aus Wasserzeichen, Metadaten und gegebenenfalls öffentlich zugänglichen Tools zur Überprüfung von KI-Inhalten. Anbieter von KI-Systemen müssen diese technischen Lösungen in ihre Produkte implementieren, während Betreiber verpflichtet sind, sie aktiv zu nutzen, und sich ihrer Verantwortung nicht dadurch entziehen dürfen, dass sie die Kennzeichnung in der Praxis deaktivieren.

Praktisch eröffnet sich hier Raum für vertragliche Vereinbarungen zwischen Anbieter und Betreiber – etwa darüber, welche Kennzeichnungsstandards implementiert sind, welche Garantien der Anbieter gibt und wie mit etwaigen Pflichtverletzungen umgegangen wird.

Die Anwaltskanzlei ARROWS hilft Mandanten in diesen Situationen, Verträge so zu gestalten, dass die Verteilung von Pflichten und Haftung dem entspricht, wer die technische und organisatorische Kontrolle darüber hat, wie KI-Inhalte erstellt und veröffentlicht werden.

Risikoklassifizierung: Die Grenze zwischen „gewöhnlicher Software“ und KI und warum sie wichtig ist

Der AI Act unterscheidet vier grundlegende Risikostufen: unannehmbar (verboten), hoch, begrenzt sowie minimal oder kein Risiko. Die verbotenen Praktiken haben wir bereits beschrieben; für Hochrisikosysteme gelten detaillierte Anforderungen an Konzeption, Daten, Tests, Dokumentation und Aufsicht; bei Systemen mit begrenztem Risiko liegt der Schwerpunkt vor allem auf der Transparenz gegenüber Nutzern; und Systeme mit minimalem oder keinem Risiko unterliegen nach dem AI Act keinen besonderen Pflichten.

Die überwiegende Mehrheit gängiger Unternehmensanwendungen fällt in die Kategorien begrenzten oder minimalen Risikos, doch auch hier gelten allgemeine Rechtsvorschriften – insbesondere die DSGVO, das Urheberrecht und das Verbraucherrecht.

Für Manager ist entscheidend zu verstehen, dass die Einstufung eines Systems unmittelbare Auswirkungen auf den Umfang der Pflichten und die möglichen Sanktionen hat. So erfordert etwa ein Website-Chatbot mit begrenztem Risiko relativ einfache Schritte (Nutzer über den KI-Einsatz informieren, Inhalte kontrollieren und Beschwerden bearbeiten), während ein System zur automatisierten Kreditvergabe als Hochrisikosystem ein umfassendes Compliance-Regime erfordert.

Eine falsche Einstufung – etwa wenn ein Unternehmen ein Hochrisikosystem für „gewöhnliche Software“ hält – kann dazu führen, dass es Pflichten unbewusst nicht erfüllt und sich dem Risiko von Sanktionen und Streitigkeiten aussetzt.

Wie man KI von gewöhnlicher Software unterscheidet

Der AI Act versucht, „echte KI“ von herkömmlicher Software vor allem anhand des Grades an Autonomie und Anpassungsfähigkeit abzugrenzen – ob das System Techniken des maschinellen Lernens nutzt, sein Verhalten auf Grundlage von Daten optimiert und Ergebnisse erzeugt, die physische oder virtuelle Umgebungen beeinflussen können. Vereinfacht gesagt: Handelt es sich um ein statisches Programm mit fest vorgegebener „If-then-else“-Logik, liegt kein KI-System im Sinne der Verordnung vor.

Modelle und Algorithmen hingegen, die aus Daten lernen, sich an neue Situationen anpassen und selbstständig Empfehlungen oder Entscheidungen generieren, fallen unter die KI-Definition. In der Praxis kann die Grenze unscharf sein, etwa bei ausgefeilten Expertensystemen oder Analysetools mit Elementen statistischer Modellierung. Hier empfiehlt es sich, nicht nur die technische Dokumentation, sondern auch die rechtliche Auslegung heranzuziehen, einschließlich der Leitlinien der Kommission und künftiger harmonisierter Normen.

Bestehen vernünftige Zweifel, lohnt sich eher ein konservativer Ansatz – also von der Anwendbarkeit des AI Act auszugehen – als das Risiko einzugehen, dass die Aufsichtsbehörde das System später als KI einstuft und dem Unternehmen die Nichterfüllung von Pflichten vorwirft. Die Anwälte der Anwaltskanzlei ARROWS unterstützen Mandanten bei der technisch-rechtlichen Bewertung konkreter Lösungen und bei deren Zuordnung zur richtigen Risikokategorie.

Wie die Anwaltskanzlei ARROWS helfen kann

Die Regulierung künstlicher Intelligenz und die neuen europäischen Leitlinien stellen Unternehmen vor eine Kombination aus rechtlichen, technischen und organisatorischen Herausforderungen. Besonders anspruchsvoll ist, dass sich der AI Act mit einer Reihe weiterer Vorschriften überschneidet – DSGVO, NIS2, sektorale Regulierung, Urheberrecht, Verbraucherrecht, Schutz der Persönlichkeitsrechte oder Wettbewerbsregeln. Ein Laie oder ein überlasteter Manager sieht oft nur einen Teil des Bildes und kann weniger offensichtliche Risiken unterschätzen, etwa die Haftung für durch KI verursachte Schäden, die Beweislage in einem Rechtsstreit oder eine mögliche Blockade einer Transaktion oder eines Projekts durch Regulierungsbehörden.

Die Anwälte der Anwaltskanzlei ARROWS befassen sich seit Langem mit Digitalrecht, Datenschutz sowie der Regulierung von Technologien und KI. In der Praxis unterstützen sie Mandanten unter anderem mit einer umfassenden KI-Gap-Analyse, bei der sie die eingesetzten KI-Systeme identifizieren, Rollen und Risikokategorien bestimmen, bestehende Prozesse und Dokumentation bewerten und konkrete Schritte zur Herstellung der Konformität vorschlagen.

Darüber hinaus erstellen und prüfen sie Verträge mit Anbietern von KI-Lösungen sowie mit Kunden, damit diese die Haftung richtig verteilen, die Anforderungen des AI Act, der DSGVO und weiterer Vorschriften berücksichtigen und die geschäftlichen Interessen des Mandanten schützen. Zu den Leistungen gehört auch die Einrichtung einer internen Governance – von der Erstellung von Richtlinien zur KI-Nutzung über die Definition von Rollen und Verantwortlichkeiten bis hin zum Entwurf eines Prozesses für die Genehmigung neuer KI-Projekte und die Bearbeitung von Vorfällen.

Die Anwaltskanzlei ARROWS bietet zudem Fachschulungen für Management, IT, HR und weitere Teams an, damit KI-Kompetenz im Unternehmen nicht nur eine „abgehakte“ Pflicht ist, sondern ein echtes Instrument für den verantwortungsvollen Umgang mit KI. Bei Kontrollen durch Aufsichtsbehörden oder in Situationen, in denen Sanktionen drohen, vertreten die Anwälte der Kanzlei ihre Mandanten, führen den fachlichen Dialog mit den Behörden und entwickeln eine Verteidigungsstrategie.

Ein wichtiges Element ist auch die Haftpflichtversicherung – die Anwaltskanzlei ARROWS ist bis zu einer Höhe von 350.000.000 CZK (ca. 14,4 Mio. EUR) berufshaftpflichtversichert, was Mandanten bei der Übertragung komplexer und risikoreicher Projekte zusätzliche Sicherheit bietet. In internationalen Fällen, in denen KI-Systeme grenzüberschreitend funktionieren, kann die Kanzlei dank des Netzwerks ARROWS International die rechtliche Unterstützung in verschiedenen Jurisdiktionen koordinieren und einen einheitlichen Ansatz zur KI-Regulierung über alle Märkte hinweg sicherstellen.

Wenn Sie den Einsatz von KI im Unternehmen erwägen oder KI bereits nutzen und sicher sein möchten, dass Sie die wachsenden Anforderungen des AI Act und der zugehörigen europäischen Leitlinien erfüllen, ist jetzt der richtige Zeitpunkt, mit einer systematischen Vorbereitung zu beginnen. Die Anwälte der Anwaltskanzlei ARROWS helfen Ihnen sowohl bei der ersten Bestandsaufnahme als auch beim langfristigen Aufbau eines Compliance-Programms, damit Ihre KI-Projekte technisch innovativ, rechtssicher und wirtschaftlich nachhaltig sind. Bei Interesse können Sie sich jederzeit an beratung@arws.cz wenden.

Abschließende Zusammenfassung

Die europäische Regulierung künstlicher Intelligenz verändert bereits heute grundlegend, wie Unternehmen KI entwickeln und nutzen. KI in Unternehmen unter EU-Aufsicht ist kein bloßer Slogan, sondern rechtliche Realität, die sich schrittweise im Alltag von Anbietern und Nutzern von KI niederschlägt. Vom Verbot acht unannehmbarer Praktiken und den Regeln für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck bis zu den bevorstehenden Pflichten im Bereich Transparenz und Kennzeichnung von KI-Inhalten – all diese Elemente bilden den Rahmen, in dem KI in der europäischen Wirtschaft in den kommenden Jahren funktionieren wird.

Für Unternehmer, Management und Investoren bedeutet dies nicht nur neue Kosten und Verwaltungsaufwand, sondern auch die Chance, sich als vertrauenswürdiger Partner zu profilieren, der KI verantwortungsvoll und berechenbar einsetzt. Die Risiken einer Unterschätzung des AI Act bestehen nicht nur in Bußgeldern – es drohen auch die Verweigerung des Marktzugangs, der Stopp von Projekten, Schadensersatzprozesse, der Verlust der Verhandlungsposition gegenüber Partnern oder Reputationsschäden bei Kunden und in der Öffentlichkeit. Umgekehrt können Unternehmen, die sich rechtzeitig auf die Regulierung vorbereiten, KI mit geringerer Rechtsunsicherheit nutzen und Kunden, Investoren sowie Regulierungsbehörden leichter von der Sicherheit ihrer Lösungen überzeugen.

Die Realität der KI-Regulierung ist zugleich komplizierter, als es auf den ersten Blick scheinen mag. Neben dem AI Act selbst sind die anschließenden Leitlinien und Kodizes der Kommission, nationale Durchführungsgesetze, harmonisierte Normen und parallele Regelungen wie die DSGVO, NIS2 oder sektorale Vorschriften zu berücksichtigen. Viele Schritte, die einfach aussehen – etwa die Einführung eines Chatbots, der Einsatz generativer KI im Marketing oder die Einführung von KI im Personalwesen –, bergen zahlreiche rechtliche und praktische Details, die ein Laie meist nicht sieht.

Deshalb lohnt es sich, nicht zu improvisieren, sondern mit Experten zusammenzuarbeiten, die rechtliche und unternehmerische Perspektiven verbinden. Wenn Sie Fehler, Schäden, Verzögerungen oder Bußgelder vermeiden und KI in Ihrem Unternehmen zugleich umfassend und sicher nutzen möchten, können Sie diesen Bereich getrost den Anwälten der Anwaltskanzlei ARROWS anvertrauen. Sie helfen Ihnen, Prozesse, Verträge und interne Regeln so zu gestalten, dass sie dem aktuellen Rechtsstand entsprechen und zugleich Ihre Geschäftsziele unterstützen. Für eine unverbindliche Beratung erreichen Sie uns unter beratung@arws.cz.