Regulierung der künstlichen Intelligenz (KI) in der EU

Für Unternehmen und Organisationen ist es daher entscheidend, sich damit vertraut zu machen, welche KI-Praktiken in der EU unzulässig sind, wie sich Verstöße vermeiden lassen und wie die Einhaltung (Compliance) der neuen Regeln sichergestellt werden kann. Im Folgenden bieten wir daher einen Überblick über die verbotenen KI-Praktiken nach dem AI Act, eine eingehendere Analyse ausgewählter Verbote (insbesondere manipulativer Techniken und der Emotionserkennung) mit Verweisen auf die konkreten Artikel des AI Act, eine Darstellung der Leitlinien der Europäischen Kommission zu diesen Verboten sowie Empfehlungen für die Unternehmenspraxis. Abschließend skizzieren wir, wie eine Anwaltskanzlei ihre Mandanten im Bereich der KI-Regulierung unterstützen kann.

Verbotene KI-Praktiken nach dem AI Act

Der AI Act verbietet in Artikel 5 acht Arten von Praktiken beim Einsatz künstlicher Intelligenz, die als „unannehmbares Risiko“ gelten – also als unvereinbar mit den Werten der EU und den Grundrechten und daher unter keinen Umständen zulässig. Es handelt sich um folgende verbotene Praktiken im Bereich der KI:

• Unterschwellige und manipulative Techniken (Art. 5 Abs. 1 Buchst. a AI Act): KI-Systeme, die unterschwellige, absichtlich manipulative oder täuschende Techniken einsetzen, mit dem Ziel oder der Wirkung, das Verhalten einer Person (oder einer Personengruppe) außerhalb ihrer bewussten Kontrolle wesentlich zu beeinflussen, sie so zu einer Entscheidung zu bewegen, die sie sonst nicht getroffen hätte, und ihr dadurch einen Schaden zuzufügen. (Dieses Verbot und Beispiele manipulativer KI-Techniken erörtern wir weiter unten ausführlicher.)
• Ausnutzung von Schwächen (Art. 5 Abs. 1 Buchst. b): KI-Systeme, die Schwächen von Einzelpersonen oder Gruppen aufgrund ihres Alters, einer Behinderung oder ihrer sozioökonomischen Lage ausnutzen, um ihr Verhalten wesentlich in einer Weise zu beeinflussen, die ihnen Schaden zufügen kann. Typischerweise fallen hierunter KI-Praktiken, die auf Kinder, Senioren oder anderweitig schutzbedürftige Personen abzielen und sie zu schädlichem Handeln verleiten wollen (z. B. Betrugsmaschen gegenüber gutgläubigen Senioren – siehe unten).
• Soziales Scoring (Social Scoring) (Art. 5 Abs. 1 Buchst. c): KI-Systeme zur Bewertung oder Einstufung von Menschen auf Grundlage ihres sozialen Verhaltens oder ihrer persönlichen Merkmale, die zu einem sogenannten Sozialkredit und in der Folge zu einer nachteiligen Behandlung von Personen führen. Das Gesetz zielt insbesondere auf eine flächendeckende gesellschaftliche Bewertung der Bevölkerung nach dem Vorbild mancher Sozialkreditsysteme – also auf eine benachteiligende Behandlung von Menschen außerhalb des ursprünglichen Datenkontexts oder in einem unverhältnismäßigen Maß zu ihrem Verhalten. Ein solches „Bürger-Scoring“ ist in der EU verboten.
• Vorausschauende Polizeiarbeit (Art. 5 Abs. 1 Buchst. d): KI zur Bewertung des Risikos, dass eine Person eine Straftat begeht, auf Grundlage von Profiling oder der Bewertung ihrer Persönlichkeitsmerkmale, d. h. Kriminalitätsprognosen ohne Stütze in objektiven Tatsachen. Faktisch handelt es sich um „Predictive Policing“ bzw. aus der Fiktion bekannte „Pre-Crime“-Analysen – der AI Act verbietet sie, da sie zu Diskriminierung führen können. (Das Verbot gilt nicht für unterstützende Systeme, die einem menschlichen Ermittler auf Grundlage überprüfter Tatsachen helfen.)
• Massenhafte Erhebung biometrischer Daten (Scraping) zur Gesichtserkennung (Art. 5 Abs. 1 Buchst. e): KI-Systeme, die Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen (Scraping) von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen erstellen oder erweitern. Diese Bestimmung richtet sich gegen Praktiken wie das massenhafte Sammeln von Fotos aus dem Web oder aus sozialen Netzwerken ohne Einwilligung zum Training von Gesichtserkennungs-KI (ein Beispiel ist der Fall Clearview AI). Solche unerbetenen, verdeckt durchgeführten Erhebungen biometrischer Daten sind verboten.
• Emotionserkennung am Arbeitsplatz und im Bildungswesen (Art. 5 Abs. 1 Buchst. f): KI-Systeme, die dazu bestimmt sind, Emotionen von Personen am Arbeitsplatz oder in Bildungseinrichtungen abzuleiten (z. B. Analyse der Mimik von Arbeitnehmern oder Schülern zur Ermittlung ihres emotionalen Zustands), ausgenommen die Verwendung zu medizinischen oder Sicherheitszwecken. Mit anderen Worten: Die KI-gestützte Überwachung der Emotionen von Arbeitnehmern und Studierenden ist in der EU verboten (Einzelheiten siehe unten).

• Biometrische Kategorisierung nach sensiblen Merkmalen (Art. 5 Abs. 1 Buchst. g): KI-Systeme, die einzelne Personen biometrisch identifizieren und nach rassischer oder ethnischer Herkunft, politischen Meinungen, religiöser Überzeugung, Gewerkschaftszugehörigkeit, Gesundheitszustand, sexueller Orientierung oder Sexualleben u. Ä. in Kategorien einordnen. Gemeint ist KI, die versucht, aus biometrischen Daten (z. B. aus einem Gesichtsfoto oder einer Sprachaufnahme) sensible Eigenschaften eines Menschen abzuleiten. Solche Praktiken sind verboten, da sie einen Eingriff in die Menschenwürde und die Privatsphäre darstellen. (Das Verbot erstreckt sich nicht auf die bloße Kennzeichnung oder Filterung rechtmäßig erlangter biometrischer Daten oder die Kategorisierung biometrischer Daten zu Strafverfolgungszwecken – die polizeiliche forensische Sortierung von Fingerabdrücken bleibt davon also unberührt.)
• Biometrische Echtzeit-Fernidentifizierung von Personen im öffentlichen Raum (Art. 5 Abs. 1 Buchst. h): Die Verwendung von KI zur biometrischen Identifizierung (z. B. Gesichtserkennung) in Echtzeit an öffentlich zugänglichen Orten durch Strafverfolgungsbehörden. Dieses Verbot richtet sich gegen flächendeckende polizeiliche Überwachung – so wären etwa Kameras mit Gesichtserkennung, die alle Passanten erfassen, unzulässig. Es gibt nur eng umgrenzte Ausnahmen, in denen ein solches System (und nur durch die Polizei) eingesetzt werden darf: Suche nach Opfern von Straftaten (z. B. Entführung oder Menschenhandel), Abwehr unmittelbarer terroristischer Bedrohungen oder Auffinden eines bestimmten Verdächtigen einer schweren Straftat. Diese Ausnahmen sind sehr restriktiv und u. a. an eine vorherige Genehmigung durch eine Justizbehörde sowie an eine Grundrechte-Folgenabschätzung geknüpft. In der Praxis ist ein allgemeiner polizeilicher Einsatz von „Face Recognition“-Technologien auf der Straße daher nicht erlaubt.

Wie ersichtlich, umfassen die verbotenen KI-Praktiken vor allem solche Manipulationen, Überwachungen und Profilbildungen, die die menschliche Autonomie untergraben oder zu Diskriminierung und Schäden führen können. Im Folgenden widmen wir uns eingehender zwei Bereichen, die der AI Act ausdrücklich verbietet und auf die sich auch die Leitlinien der Kommission konzentrieren – manipulativen Techniken und der Emotionserkennung.

Manipulative und täuschende KI-Techniken (Art. 5 Abs. 1 Buchst. a AI Act)

Der AI Act verbietet KI-Systeme, die unterschwellige, manipulative oder täuschende Techniken einsetzen, um Menschen in einer Weise zu beeinflussen, die ihre Entscheidungsfähigkeit erheblich beeinträchtigt und ihnen Schaden zufügt.

Es geht um Manipulationspraktiken „jenseits des Bewusstseins“ des Menschen – etwa versteckte unterschwellige Botschaften, unbemerkte Beeinflussung von Emotionen oder KI, die den Menschen vorsätzlich über ihre Natur oder ihre Absichten täuscht. Entscheidend ist, dass solche Techniken das Verhalten einer Person wesentlich beeinflussen, sodass sie eine Entscheidung trifft, die sie unter normalen Umständen nicht getroffen hätte, und ein Schaden entsteht.

In diese Kategorie fallen verschiedene Formen täuschender oder verdeckter Manipulation mithilfe von KI. Unerheblich ist, ob der KI-Entwickler jemanden täuschen wollte – das Verbot greift bereits dann, wenn das System objektiv solche manipulativen Techniken einsetzt und einen erheblichen Schaden verursachen kann.

Ein typisches Beispiel ist ein KI-Chatbot, der sich als reale Person ausgibt (z. B. als Freund oder Verwandter) und das Opfer zu einer Handlung zu seinem Nachteil bewegt (etwa zur Herausgabe von Geld) – eine solche schadenstiftende täuschende KI ist eindeutig verboten.

Ein weiteres Beispiel kann KI sein, die Bild- oder audiovisuelle Inhalte (sog. Deepfakes) ohne Hinweis darauf erzeugt, dass es sich um ein künstlich geschaffenes Werk handelt, sofern dadurch Menschen getäuscht werden. Unterschwellige Techniken können etwa darin bestehen, extrem schnell aufblitzende Texte oder Bilder in ein Video einzufügen, die bewusst nicht wahrnehmbar sind, vom Gehirn aber unterbewusst verarbeitet werden und den Zuschauer beeinflussen. Auch dies fiele unter diese verbotene Praktik.

Die Europäische Kommission erläutert in ihren Leitlinien zu verbotenen KI-Praktiken (siehe unten) ausführlich, was alles als manipulative oder täuschende Technik gelten kann.

So legt die Kommission etwa den Begriff der „wesentlichen Verhaltensbeeinflussung“ im Einklang mit dem Verbraucherschutzrecht aus – ähnlich wie die „wesentliche Beeinflussung des wirtschaftlichen Verhaltens“ bei unlauteren Geschäftspraktiken nach der Richtlinie 2005/29/EG.

Ein wichtiges Abgrenzungskriterium ist, ob die KI über die „zulässige Überzeugung“ hinausgeht. Legitime Beeinflussung (z. B. gewöhnliche Werbung) präsentiert Informationen oder Argumente transparent, appelliert möglicherweise auch an Emotionen, greift aber nicht zu verdeckter Manipulation.

Dagegen fallen KI-Praktiken, die kognitive Verzerrungen, emotionale Schwächen oder andere Verwundbarkeiten eines Menschen ohne dessen Wissen ausnutzen, unter die verbotene Manipulation.

Die Leitlinien der Kommission nennen mehrere konkrete Szenarien. Neben dem oben erwähnten Chatbot führen sie etwa KI an, die Deepfake-Videos erzeugt; sind diese klar als künstlich gekennzeichnet (z. B. durch ein Wasserzeichen oder einen Warnhinweis), sinkt das Risiko vorsätzlicher Täuschung und schädlicher Manipulation deutlich. Das ist ein für die Praxis wichtiger Hinweis: Durch konsequente Transparenz (Kennzeichnung von KI-Inhalten, Information der Nutzer, dass sie mit einer Maschine kommunizieren, u. Ä.) lässt sich vermeiden, dass der Tatbestand dieses Verbots erfüllt wird.

Für Unternehmen, die KI-Systeme zur Interaktion mit Menschen entwickeln, bedeutet dies, dass sie Nutzer stets darüber informieren sollten, dass sie mit einer KI interagieren (was im Übrigen auch eine eigenständige Pflicht nach dem AI Act für sämtliche KI zur Interaktion mit Menschen ist). Ebenso sind jegliche verdeckten „Überzeugungswerkzeuge“ zu vermeiden, die der Nutzer nicht bewusst erkennen kann.

Zusammengefasst: Jede KI, die den Nutzer heimlich zu seinem Nachteil manipuliert, hat in der EU keinen Platz. Unternehmen sollten ihre KI-Anwendungen überprüfen – so könnten etwa manche aggressiven Marketingalgorithmen oder KI-gestützte „Dark Patterns“ in diese Kategorie fallen, wenn sie bei Verbrauchern Kauf- oder Handlungsentscheidungen mit schädlichen Folgen auslösen, die diese unter normalen Umständen nicht getroffen hätten. Grenzt ein KI-Projekt auch nur entfernt an diese Definition, muss es neu eingestuft oder angepasst werden, um sicherzustellen, dass keine unterschwellige Manipulation vorliegt (z. B. durch mehr Information der Nutzer, Wahlmöglichkeiten, Einholung der Einwilligung usw.). Im Zweifel empfiehlt sich ein konservativer Ansatz oder die Einholung rechtlicher Beratung.

Emotionserkennung am Arbeitsplatz und im Bildungswesen (Art. 5 Abs. 1 Buchst. f)

Die zweite spezifische verbotene Praktik ist KI zur Emotionserkennung in Beschäftigung und Bildung. Artikel 5 Abs. 1 Buchst. f AI Act verbietet das Inverkehrbringen und die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen (Schulen).

Ausgenommen sind nur Systeme, die aus medizinischen oder Sicherheitsgründen bestimmt sind. In der Praxis bedeutet dies, dass etwa eine KI-Kamera, die den Gesichtsausdruck eines Arbeitnehmers oder Studierenden verfolgt, um seinen emotionalen Zustand zu bewerten (ob er verärgert, gelangweilt, traurig usw. ist), unzulässig ist. Unternehmen dürfen also keine KI einsetzen, um die Stimmung oder Emotionen ihrer Beschäftigten bei der Arbeit zu überwachen, und ebenso dürfen Schulen die emotionalen Äußerungen von Schülern nicht mithilfe von KI überwachen.

Beweggrund dieses Verbots ist der Schutz der Privatsphäre und der Würde des Menschen – emotionale Äußerungen gehören zur höchst intimen Sphäre, und ihre automatisierte Auswertung im arbeitsrechtlichen oder schulischen Kontext kann zu Druck oder Diskriminierung führen. Die Leitlinien der Europäischen Kommission betonen, dass dieses Verbot alle KI-Systeme erfasst, die Emotionen oder Absichten einer Person in diesen Umgebungen identifizieren oder interpretieren. Der Begriff „Emotionen und Absichten“ ist dabei weit auszulegen und sollte nicht auf einige wenige Grundemotionen verengt werden. Wesentlich ist, dass es typischerweise um KI geht, die biometrische Daten analysiert (Gesichtsausdrücke, Tonfall, Gesten, physiologische Reaktionen).

Würde eine KI den emotionalen Zustand lediglich aus Text ableiten (z. B. Wortanalyse in einer E-Mail), fiele dies nicht unter das Verbot, da Textdaten keine biometrischen Daten sind. Jegliche Erfassung und Auswertung von Gesichtsausdrücken, Stimmintonation, Körperbewegungen, Herzfrequenz u. Ä. zur Ermittlung von Emotionen am Arbeitsplatz oder in der Schule ist jedoch verboten.

Praktische Auswirkungen dieses Verbots: Arbeitgeber müssen einen etwaigen Einsatz von KI-Überwachung ihrer Beschäftigten neu bewerten. So würden beispielsweise Anwendungen, die das „Lächelmaß“ von Verkäufern im Kundenkontakt bewerten, oder KI, die Stress oder Zufriedenheit von Beschäftigten per Webcam erfasst, unter das Verbot fallen und dürfen nicht verwendet werden.

Ausgenommen sind nur Systeme, die aus Sicherheits- oder Gesundheitsgründen eingesetzt werden – z. B. KI, die Anzeichen von Müdigkeit oder Angst bei Fahrern oder Bedienern gefährlicher Maschinen überwacht, um Unfälle zu verhindern. Ebenso könnte etwa ein KI-Assistent, der die Stimmäußerungen eines Beschäftigten unter gesundheitlichen Gesichtspunkten überwacht (Erkennung von Stressanzeichen, die zu einem Herzinfarkt führen könnten), unter die zulässige Ausnahme aus gesundheitlichen Gründen fallen. Stets gilt jedoch, dass der Zweck tatsächlich der Sicherheit oder Gesundheit dienen muss und nicht etwa der Produktivitätssteigerung oder Loyalitätskontrolle – solche Zwecke liegen außerhalb der Ausnahme.

Unternehmen sollten jede Technologie, die Emotionen von Beschäftigten oder Studierenden „liest“, sehr sorgfältig prüfen. Erwägt etwa eine Personalabteilung den Einsatz von KI zur Analyse von Video-Vorstellungsgesprächen (sog. KI-Interviews, die die Mimik von Bewerbern zur Persönlichkeitseinschätzung auswerten), ist darauf hinzuweisen, dass eine solche Praxis in der EU gegen Art. 5 Abs. 1 Buchst. f verstoßen könnte, wenn es um die Bewertung der Emotionen des Bewerbers als potenziellen Arbeitnehmer geht.

Ebenso sind sämtliche „Emotion AI“-Tools zur Bewertung der Teamstimmung, der Kundenzufriedenheit anhand emotionaler Reaktionen von Beschäftigten u. Ä. problematisch. Eine Alternative kann darin bestehen, statt verdeckter Emotionserfassung auf objektive Leistungs- oder Zufriedenheitskennzahlen (z. B. anonyme Fragebögen) zu setzen oder andere Technologien außerhalb der Definition des AI Act zu nutzen (etwa deterministische Software ohne maschinelles Lernen – wobei auch dann der Datenschutz nach der DSGVO gilt).

Aus regulatorischer Sicht fällt Emotionserkennung außerhalb der genannten verbotenen Kontexte (z. B. KI, die Emotionen von Kunden im Geschäft zu Marketingzwecken analysiert) in eine niedrigere Risikokategorie – konkret wurde sie den Hochrisiko-KI-Systemen nach Anhang III AI Act zugeordnet, sofern sie zur Einstufung von Personen anhand biometrischer Daten (also auch Emotionen) für den Zugang zu Dienstleistungen verwendet wird.

Diese Fälle erfordern dann die Erfüllung strenger Anforderungen, sind aber nicht absolut verboten. Für ein gewöhnliches Unternehmen ist jedoch vor allem wichtig zu wissen, dass jedes Vorhaben, KI zur Überwachung des emotionalen Zustands der eigenen Beschäftigten einzusetzen, auf ein striktes Verbot stößt und nicht umgesetzt werden darf.

Fordern Sie das E-Book „Verschwenden Sie keine Zeit mit Verträgen“ an HIER

Leitlinien der Europäischen Kommission zu verbotenen KI-Praktiken

Am 4. Februar 2025, also kurz nach dem Wirksamwerden der genannten Verbote, veröffentlichte die Europäische Kommission Leitlinien zu verbotenen Praktiken der künstlichen Intelligenz nach dem AI Act (Dokument C(2025) 884 final). Diese Leitlinien wurden von der Kommission gebilligt, werden formell jedoch erst nach ihrer Übersetzung in alle Amtssprachen angenommen. Ihr Zweck ist es, Auslegungshilfen und praktische Beispiele zu den einzelnen Verboten nach Artikel 5 AI Act zu bieten und so zu einer einheitlichen und wirksamen Anwendung in der gesamten EU beizutragen.

Die Leitlinien selbst sind rechtlich nicht verbindlich (die verbindliche Auslegung obliegt dem Gerichtshof der EU), haben aber erheblichen Orientierungswert, und es ist zu erwarten, dass Aufsichtsbehörden wie auch Gerichte sie berücksichtigen werden. Für Unternehmen und Organisationen sind sie daher ein wertvoller Anhaltspunkt dafür, wie die Kommission die einzelnen Verbote versteht.

Was enthalten die Leitlinien? Für jede der verbotenen Praktiken (a) bis (h) analysieren sie die wesentlichen Definitionselemente, nennen praktische Beispiele und grenzen ab, was umgekehrt nicht unter das jeweilige Verbot fällt. Zudem geben sie Empfehlungen, wie sich die Bereitstellung oder Verwendung von KI-Systemen in einer möglicherweise verbotenen Weise vermeiden lässt.

So erläutern die Leitlinien etwa bei manipulativen Techniken (Buchst. a) die Begriffe „unterschwellig“ vs. „manipulativ“ vs. „täuschend“, unterscheiden, was noch zulässige Überzeugung (lawful persuasion) und was bereits verbotene Manipulation ist, und empfehlen Maßnahmen wie die ausdrückliche Kennzeichnung von KI-Inhalten (Labeling), die das Manipulationsrisiko verringern können.

Beim Verbot der Emotionserkennung stellen die Leitlinien klar, dass es sich nicht auf die Verwendung gegenüber Kunden oder im privaten Bereich erstreckt (es betrifft nur Arbeitsplätze und Schulen), und enthalten Szenarien dazu, was noch erlaubt ist – z. B. Systeme zur Ermittlung des Stressniveaus aus Sicherheitsgründen. Ebenso bieten die Leitlinien zu den übrigen Kategorien (Ausnutzung schutzbedürftiger Personen, Social Scoring, biometrische Identifizierung usw.) eine detaillierte Analyse.

Für Unternehmen ist wesentlich, dass die Leitlinien der Kommission auch konkrete Praxisbeispiele enthalten. Viele davon haben wir oben bereits erwähnt: z. B. einen manipulativen Chatbot, der sich als Freund ausgibt, eine KI, die unmerkliche Reize unterschiebt, oder eine Marketing-KI, die die App-Abhängigkeit Jugendlicher ausnutzt – all dies führen die Leitlinien als typische verbotene Praktiken an.

Umgekehrt nennen sie auch Beispiele für Systeme, die nicht unter die verbotenen Kategorien fallen, um die Grenze abzustecken. So wird etwa bei der Manipulation betont, dass gewöhnliche Werbung oder Überzeugungsarbeit, die keine verdeckten täuschenden Tricks einsetzt, von diesem Verbot nicht berührt ist.

Bei der Emotionsanalyse wiederum wird erwähnt, dass eine KI, die nicht alle Merkmale der verbotenen Praktik erfüllt (z. B. nicht gegenüber Arbeitnehmern eingesetzt wird), in eine niedrigere Risikokategorie fällt – typischerweise als Hochrisiko-KI mit Pflichten statt eines absoluten Verbots.

Bedeutung der Leitlinien im Überblick: Für Unternehmen und Organisationen, die mit KI arbeiten, sind diese Leitlinien wertvoll, da sie die Rechtssicherheit erhöhen. Der AI Act ist relativ allgemein und technologieneutral formuliert, sodass die konkrete Beurteilung, ob eine bestimmte KI-Anwendung unter ein Verbot fällt, schwierig sein kann. Dank der Leitlinien steht Unternehmen nun die Auslegung der Kommission einschließlich praktischer Szenarien zur Verfügung. Obwohl die Leitlinien rechtlich nicht verbindlich sind, wäre es riskant, sie zu ignorieren – eine Abweichung von der Auslegung der Kommission müsste gegebenenfalls vor Gericht verteidigt werden. Wir empfehlen Unternehmen daher, sich mit den Leitlinien vertraut zu machen (sie sind öffentlich zugänglich) und strittige Fälle gegebenenfalls mit einem Rechtsanwalt zu besprechen, um sicherzustellen, dass ihre KI-Aktivitäten dem Geist und dem Wortlaut der Regulierung entsprechen.

Auswirkungen auf Unternehmen und Organisationen: Verstöße vermeiden und Compliance sicherstellen

Sofortige Geltung der Verbote und hohe Sanktionen

Wie bereits erwähnt, gelten die Verbote verbotener KI-Praktiken seit Februar 2025. Jedes Unternehmen und jede Organisation, die KI einsetzt, sollte daher umgehend eine Bestandsaufnahme ihrer Systeme und Anwendungen durchführen und prüfen, ob eines davon womöglich eine verbotene Praktik im Sinne von Art. 5 AI Act darstellt. Im Gegensatz zu den Pflichten für sog. Hochrisiko-KI (für deren Umsetzung eine längere Übergangsfrist gilt) wurde hier keine Aufschubfrist gewährt – das Verbot gilt und ist bereits jetzt durchsetzbar. In jedem Mitgliedstaat werden Marktüberwachungsbehörden (market surveillance authorities) und gegebenenfalls weitere Regulierungsbehörden (z. B. Datenschutzbehörden, soweit es um biometrische KI geht) die Einhaltung überwachen. Diese können Kontrollen durchführen und Sanktionen verhängen. Wie erwähnt, sind die Sanktionen nicht unerheblich – bis zu 35 Millionen Euro oder 7 % des Jahresumsatzes des Unternehmens.

Dies gilt bei einem Verstoß gegen die Verbote des Art. 5. Zum Vergleich: Dies entspricht dem Sanktionsniveau der schwersten DSGVO-Verstöße. Das finanzielle, rechtliche und reputationsbezogene Risiko ist daher enorm, falls ein Unternehmen – sei es auch unwissentlich – eine verbotene KI betreibt.

Praktische Schritte zur Erfüllung der Anforderungen (Compliance)

1. Identifizierung von KI-Systemen und Risikobewertung: Der erste Schritt besteht darin, alle KI-Systeme und -Projekte im Unternehmen zu erfassen. Der AI Act enthält eine recht weite Definition des „KI-Systems“, die nicht nur maschinelles Lernen, sondern auch logik- bzw. wissensbasierte Expertensysteme, Bayes’sche Modelle usw. umfasst (d. h. jede Software, die für eine bestimmte Aufgabe ein autonomes intelligentes Verfahren nutzt). Für jedes solche System ist zu bewerten, in welche Risikokategorie es fällt.

Sollte es in die Kategorie der verbotenen Praktiken fallen (siehe obige Liste und ausführliche Beschreibung), müssen sofort Maßnahmen ergriffen werden – das System ist entweder grundlegend anzupassen oder nicht mehr zu verwenden. Demgegenüber müssen Hochrisiko-KI-Systeme bis zum Geltungsbeginn des AI Act (voraussichtlich 2026) eine Konformitätsbewertung durchlaufen und eine Reihe technischer und organisatorischer Anforderungen erfüllen, sie müssen jedoch nicht abgeschaltet werden. Bei verbotenen Praktiken gibt es hingegen keine Kompromisse – sie dürfen überhaupt nicht betrieben werden.

2. Fokus auf kritische Bereiche: Unternehmen müssen sich insbesondere auf die Bereiche Marketing, HR, Sicherheit und Datenanalyse konzentrieren, wo die Gefahr besteht, dass manche innovative KI-Ideen mit Art. 5 kollidieren. Beispiele für Fragen, die sich ein Unternehmen stellen sollte:

• Versucht unser KI-Marketingtool nicht, Kunden unterschwellig zu manipulieren? (Setzt es z. B. Neuromarketing-Tricks ohne Wissen des Nutzers ein?)
• Richtet sich unsere KI-gestützte Werbung oder richten sich unsere Angebote gezielt an schutzbedürftige Gruppen in einer Weise, die ihnen schaden kann? (Z. B. Missbrauch von Altersdaten, um Druck auf Senioren auszuüben, irreführende Investitions- oder Heilmittelangebote, die auf Kranke abzielen, u. Ä. – dies könnte das Verbot nach Art. 5 Abs. 1 lit. b erfüllen.)
• Setzen wir KI-gestützte Tools zur Überwachung von Arbeitnehmern oder Studierenden ein, die deren Emotionen erfassen oder auf andere Weise übermäßig in ihre Privatsphäre eingreifen könnten? (Siehe das Verbot nach Art. 5 Abs. 1 lit. f – falls ja, sofort einstellen.)
• Planen wir den Einsatz von KI zur Bewertung der Vertrauenswürdigkeit von Personen auf Grundlage umfangreicher Daten (z. B. Kundenscoring über die Kreditwürdigkeitsprüfung hinaus)? (Dies könnte an Social Scoring erinnern und mit Art. 5 Abs. 1 lit. c kollidieren.)
• Nutzen wir womöglich eine öffentliche Gesichtsdatenbank oder biometrische Profile, die durch massenhaftes „Scraping“ aus dem Internet erstellt wurden? (Falls ja, ist dies höchst problematisch – die Herkunft der Trainingsdaten sollte geprüft und die gesetzlichen Verfahren zur Einholung der Einwilligung eingehalten werden, andernfalls liegt ein Verstoß gegen Art. 5 Abs. 1 lit. e vor.)
• Entwickeln wir eine KI, die versucht, aus Fotos oder der Stimme von Menschen sensible Merkmale abzuleiten (z. B. ethnische Zugehörigkeit, sexuelle Orientierung, Gesundheitszustand)? (Ein solches Projekt fiele unter das Verbot nach Art. 5 Abs. 1 lit. g – es muss gestoppt oder die Aufgabenstellung geändert werden.)
• Im Bereich Sicherheit: Planen wir, Kameras mit Gesichtserkennung zur allgemeinen Überwachung öffentlicher Räume einzusetzen? (Für private Akteure ist dies bereits aus anderen Gründen – DSGVO – grundsätzlich unzulässig, und der Polizei ist es nach Art. 5 Abs. 1 lit. h nur eingeschränkt erlaubt. Unternehmen dürfen biometrische Identifizierung nur intern zur Authentifizierung in einem begrenzten Personenkreis einsetzen – z. B. Gesichtserkennung beim Zutritt von Mitarbeitern zum Gebäude –, was weder ein „öffentlicher Raum“ noch ein polizeilicher Zweck ist, sodass das Verbot hierauf keine Anwendung findet.)

3. Anpassung oder Einstellung riskanter KI-Aktivitäten: Wenn Sie ein KI-System identifizieren, das in eine verbotene Kategorie fallen könnte, müssen Sie sofort handeln. Möglichkeiten:

• Einstellung der Nutzung – der sicherste Weg, wenn die KI für das Geschäft nicht entscheidend ist. Sie entscheiden sich z. B. lieber dagegen, ein experimentelles KI-Tool einzusetzen, als einen Gesetzesverstoß zu riskieren.
• Technische und organisatorische Maßnahmen zur Risikominderung – manchmal lässt sich eine KI so anpassen, dass sie nicht mehr unter die Verbotsdefinition fällt. Beispiel: Haben Sie eine KI, die sehr realistische Video-Avatare für die Kundenkommunikation generiert, stellen Sie sicher, dass bei diesen stets klar angegeben wird, dass es sich um eine virtuelle Figur handelt (Hinweis „Ich bin ein virtueller Assistent“) – so verhindern Sie eine Täuschung, und die KI ist nicht „manipulativ“. Oder wenn Sie eine KI zur Auswertung der Emotionen von Mitarbeitern aus Sicherheitsgründen entwickelt haben, dokumentieren Sie diesen Zweck und verwenden Sie die Ergebnisse nicht für andere Zwecke (damit die Ausnahme greift).
• Rechtliche Prüfung von Grenzfällen – wenn Sie unsicher sind, ob Ihr KI-System die Grenze überschreitet, konsultieren Sie einen Rechtsanwalt oder Compliance-Experten. So kann etwa der Unterschied zwischen zulässiger Personalisierung von Inhalten und verbotener Manipulation subtil sein; entscheidend sind Ausmaß und Art der Beeinflussung des Nutzers. Hierbei können auch die Leitlinien der Kommission helfen – ein Rechtsberater kann sie mit Ihnen durchgehen und Ihren konkreten Anwendungsfall bewerten.

4. Schulungen und interne Richtlinien: Führen Sie interne Prozesse ein, die sicherstellen, dass neue KI-Projekte vor ihrem Einsatz auf ihre Vereinbarkeit mit dem AI Act geprüft werden (ähnlich wie Projekte heute im Hinblick auf den Datenschutz geprüft werden – DSFA). Schulen Sie Ihre Entwickler, Produktmanager und weitere relevante Mitarbeiter zu verbotenen Praktiken. Es ist wichtig, dass die Mitglieder Ihres Teams wissen, dass z. B. die Idee „Lass uns den Gesichtsausdruck des Kunden per Webcam analysieren und das Angebot entsprechend anpassen“ aus rechtlicher Sicht inakzeptabel ist. Erstellen Sie Kodizes und Richtlinien für die KI-Entwicklung im Unternehmen, die eine Checkliste verbotener Bereiche enthalten – so können Entwickler bereits im Ansatz erkennen, dass eine bestimmte Richtung nicht eingeschlagen werden darf.

5. Beobachtung der weiteren regulatorischen Entwicklung: Der KI-Bereich ist dynamisch – der AI Act ermächtigt die Kommission, künftig Einzelheiten anzupassen (z. B. kann die Liste verbotener Praktiken erweitert werden, wenn neue gefährliche Trends auftreten). Verfolgen Sie daher Aktualisierungen der Gesetzgebung und ihrer Auslegung. Bereits jetzt veröffentlicht die Kommission neben den Leitlinien zu verbotenen Praktiken auch Leitlinien zur Definition von KI-Systemen sowie weitere Methodiken. Eine Anwaltskanzlei kann Sie beim laufenden Monitoring unterstützen (siehe unten).

Praxisbeispiele: So vermeiden Sie Verstöße

Um praktische Maßnahmen zu veranschaulichen, stellen wir einige Szenarien und Empfehlungen vor, wie sich Verstöße gegen die Verbote verhindern lassen:

• Transparenz als Schutz vor Täuschung: Wenn Sie Chatbots oder virtuelle Assistenten einsetzen, informieren Sie die Nutzer stets deutlich darüber, dass sie mit einer KI kommunizieren. So verhindern Sie unbeabsichtigte Täuschung. Ebenso sollten Sie KI-generierte Inhalte kennzeichnen (Texte, Bilder, Videos), damit der Betrachter weiß, dass es sich nicht um eine reale Person oder Tatsache handelt. Damit minimieren Sie das Risiko, dass KI-Ergebnisse jemanden täuschen oder verdeckt beeinflussen.
• Vorsicht bei der Ansprache schutzbedürftiger Gruppen: Vermeiden Sie in Werbung und Angeboten, dass die KI-Segmentierung gezielt Personen nach ihrer Schutzbedürftigkeit (Alter, Krankheit, Armut) anspricht, um diese auszunutzen. Hat die KI beispielsweise eine Gruppe älterer Menschen identifiziert, die auf einen bestimmten Reiz reagieren, nutzen Sie dies nicht zur Druckausübung aus (z. B. aggressiver Verkauf eines kostspieligen Produkts von zweifelhaftem Wert). Eine solche Situation könnte als verbotene Ausnutzung von Schwächen gewertet werden.
• Keine Überwachung von Emotionen der Beschäftigten außer zu Sicherheitszwecken: Führen Sie ein internes Verbot der Nutzung jeglicher Technologie zur Emotionserkennung bei Beschäftigten ein, sofern hierfür kein ausdrücklicher Sicherheits- oder Gesundheitsgrund besteht. Lassen Sie Ausnahmen (z. B. kameragestützte Überwachung der Aufmerksamkeit eines Lkw-Fahrers zur Vermeidung von Sekundenschlaf) schriftlich von der Geschäftsleitung und der Rechtsabteilung genehmigen, damit klar ist, dass sie rechtmäßig sind und der Sicherheit dienen. Die Idee hingegen, anhand von Videoanrufen zu bewerten, ob Beschäftigte „ausreichend positiv“ sind, lehnen Sie kategorisch ab – sie ist nicht rechtmäßig.
• Korrekter Einsatz biometrischer Technologien: Nutzen Sie Biometrie (Fingerabdruck, Gesichtserkennung) zur Authentifizierung von Personen beim Zutritt, stellen Sie sicher, dass Sie die Daten rechtmäßig und gezielt nur für diese Funktion erheben. Legen Sie keine eigenen großen biometrischen Datenbanken an, indem Sie heimlich Fotos aus Internetquellen herunterladen – damit verstoßen Sie sowohl gegen den AI Act (Art. 5 Abs. 1 Buchst. e) als auch gegen die DSGVO. Nutzen Sie bei Bedarf lieber offiziell verfügbare Datensätze oder erwerben Sie eine Lizenz von einem Anbieter, der die Daten rechtskonform erlangt hat.
• Vorsicht beim „KI-Scoring“ von Menschen: Setzen Sie KI zur Bewertung von Kunden oder Nutzern ein (z. B. Scoring der Vertrauenswürdigkeit, Bonität, Risikoeinstufung), halten Sie sich an etablierte und legitime Kriterien. Entwickeln Sie keinen umfassenderen „Sozialscore“, der eine unüberschaubare Menge an Verhaltensdaten kombiniert und Menschen Etiketten wie „problematischer Bürger“ verleiht – genau das hat die EU verboten. Jedes Bewertungssystem für Personen sollte einen klaren, konkreten Zweck haben (z. B. Bonitätsprüfung für einen Kredit) und negative Folgen nicht auf völlig andere Lebensbereiche der betreffenden Person übertragen.

Durch die Einhaltung der vorstehenden Grundsätze und Empfehlungen können Unternehmen das Risiko minimieren, unwissentlich eine verbotene Praktik zu begehen. Darüber hinaus gewinnen sie das Vertrauen von Kunden und Regulierungsbehörden, dass sie KI ethisch und verantwortungsvoll einsetzen – was im Übrigen eines der Ziele des AI Act ist.

Wie eine Anwaltskanzlei bei der KI-Regulierung helfen kann

Die KI-Regulierung in der EU ist neu und komplex. Unternehmen verfügen oft nicht über interne Experten, die sämtliche rechtlichen Anforderungen (AI Act, DSGVO, Cybersicherheitsvorschriften u. a.) überblicken und zugleich die technische Seite von KI-Systemen verstehen. Eine auf Technologierecht spezialisierte Anwaltskanzlei kann hier die Schlüsselrolle eines Partners übernehmen, der Mandanten hilft, Problemen vorzubeugen und KI sicher zu nutzen. Zu den konkreten Unterstützungsformen gehören:

• Audit und Bewertung von KI-Systemen: Rechtsanwälte können ein umfassendes Audit Ihrer KI-Tools und -Projekte durchführen und etwaige Risiken identifizieren. Bei jedem System prüfen sie, ob es in eine verbotene Kategorie oder in das Regime eines Hochrisiko-Systems mit entsprechenden Anforderungen fällt. Gerade bei Grenzfällen (z. B. Systeme zur Personalisierung von Inhalten, die als manipulativ angesehen werden könnten) liefern sie eine fachliche Einschätzung, gestützt auf den AI Act und die Leitlinien der Kommission.
  
  
• Entwurf von Compliance-Maßnahmen: Wird ein potenzielles Problem festgestellt, schlägt die Anwaltskanzlei maßgeschneiderte Lösungen vor – etwa eine Anpassung der KI-Funktionalität (Hinweise für Nutzer, Änderung des Algorithmus zur Zielgruppenauswahl u. Ä.), die Einführung interner Richtlinien oder andere Maßnahmen, die die Rechtskonformität sicherstellen. Ziel ist oft, einen Weg zu finden, das Geschäftsziel des Mandanten auf alternative, nicht mehr rechtswidrige Weise zu erreichen.
  
  
• Rechtliche Begleitung von KI-Projekten von Anfang an: Ideal ist es, Juristen bereits in einer frühen Phase der Entwicklung oder Beschaffung von KI-Lösungen einzubinden. Rechtsanwälte helfen, Verträge mit KI-Anbietern so zu gestalten, dass sie Gewährleistungen hinsichtlich der Einhaltung des AI Act enthalten. Außerdem können sie Lizenzen und Daten prüfen – z. B. verifizieren, dass die Trainingsdaten für die KI nicht rechtswidrig erlangt wurden (Scraping personenbezogener Daten u. Ä.). So lassen sich spätere Streitigkeiten vermeiden.
  
  
• Schulungen und Erarbeitung interner Richtlinien: Die Anwaltskanzlei kann für den Mandanten Schulungen für Management und Entwickler zu den neuen Pflichten nach dem AI Act vorbereiten. Zudem hilft sie bei der Erstellung interner Leitlinien für Entwicklung und Einsatz von KI – eines praktischen Dokuments, das zusammenfasst, was Beschäftigte mit KI tun dürfen und was nicht, wie Risiken zu bewerten sind und wann die Rechtsabteilung einzuschalten ist. So fließen die rechtlichen Anforderungen in die tägliche Praxis des Unternehmens ein.
  
  
• Lösung grenzüberschreitender und regulatorischer Fragen: Für multinationale Unternehmen ist es von Vorteil, dass der AI Act eine in allen EU-Mitgliedstaaten unmittelbar geltende Verordnung ist. Dennoch können sich die örtlichen Aufsichtsbehörden und Verfahren unterscheiden. Eine Anwaltskanzlei kann eine einheitliche Strategie für die Niederlassungen in der EU koordinieren, bei Anfragen oder Kontrollen mit den Behörden kommunizieren und den Mandanten in Verfahren vertreten, falls es zu einem Streit oder dem Vorwurf eines Verstoßes kommt (z. B. mit dem Vorbringen, dass das betreffende KI-System tatsächlich nicht unter das Verbot fällt).
  
  
• Aktualisierung und laufende Begleitung: Das KI-Recht wird sich weiterentwickeln – Rechtsanwälte verfolgen Novellen des AI Act, neue Leitlinien und Gerichtsentscheidungen und informieren Mandanten laufend darüber, was dies für sie bedeutet. So können sie rechtzeitig z. B. auf eine Erweiterung der Liste von Hochrisiko-Anwendungen oder neue Auslegungen der verbotenen Praktiken hinweisen.

Abschließend: Die KI-Regulierung in der EU (AI Act) stellt Unternehmen vor Herausforderungen, mit fachkundiger Unterstützung lässt sie sich jedoch erfolgreich bewältigen. Die im AI Act definierten verbotenen KI-Praktiken schützen uns alle vor den gefährlichsten Formen des KI-Missbrauchs – und ihre Einhaltung liegt im Interesse der Gesellschaft ebenso wie Ihres Unternehmens (ein Verstoß würde zu harten Sanktionen und einem Reputationsverlust führen).

Eine Anwaltskanzlei hilft Ihnen, Compliance-Prozesse so einzurichten, dass Sie innovative KI-Technologien nutzen und zugleich die rechtlichen Vorgaben vollständig einhalten können. So können Sie sich auf die Weiterentwicklung Ihrer KI-Projekte konzentrieren – in dem Wissen, dass diese rechtmäßig, ethisch und sicher sind.