Konformität mit dem AI Act und der DSGVO

Hauptanforderungen des AI Act und der DSGVO

Die Verordnung teilt KI-Anwendungen in vier Kategorien ein:

• verboten (unzulässige Anwendungen, z. B. manipulative Techniken, Social Scoring usw.),
• hochriskant (KI-Systeme mit erheblichen Auswirkungen auf die Sicherheit oder Rechte von Personen, z. B. im Gesundheitswesen, im Verkehr, im Finanzwesen, im Bildungswesen oder bei der Personalauswahl),
• begrenztes Risiko (z. B. generative KI wie ChatGPT – Pflicht zu bestimmten Transparenzmaßnahmen, etwa Kennzeichnung von KI-generierten Inhalten)
• minimales oder kein Risiko (übliche KI-Anwendungen, auf die der AI Act nicht speziell anwendbar ist)​.

Hochriskante KI-Systeme unterliegen strengen Anforderungen – u. a. Zertifizierung und Konformitätsbewertung vor dem Markteintritt, Führung technischer Dokumentation, Sicherstellung menschlicher Aufsicht über ihre Entscheidungen, Maßnahmen zur Datenqualität und zur Vermeidung von Bias (Diskriminierung) sowie zur Systemsicherheit​.

Anbieter solcher Systeme müssen außerdem mit der Registrierung in der EU-Datenbank, laufender Überwachung und Aktualisierungen rechnen und tragen die Verantwortung für etwaige Schäden​. Auch für weniger risikoreiche KI legt der AI Act bestimmte Pflichten fest – z. B. sicherzustellen, dass Nutzer wissen, dass sie mit einer KI kommunizieren (sofern dies nicht offensichtlich ist), und KI-generierte Inhalte zu kennzeichnen (sog. KI-Transparenz)​.

Wichtig ist, dass der AI Act nicht nur Entwickler und Anbieter von KI betrifft, sondern in gewissem Maße auch Unternehmen als Nutzer – wenn ein Unternehmen ein unter die Regulierung fallendes KI-System nutzt, muss es die für dessen Verwendung festgelegten Regeln einhalten.

Die DSGVO konzentriert sich auf den Schutz personenbezogener Daten und gilt für alle Stellen, die personenbezogene Daten von EU-Bürgern verarbeiten. Für Unternehmen bedeutet dies vor allem die Pflicht, personenbezogene Daten rechtmäßig und transparent zu verarbeiten – für jede Verarbeitung einen gültigen Rechtsgrund zu haben (Einwilligung, Vertrag, berechtigtes Interesse usw.), die betroffenen Personen über Zweck und Art der Verarbeitung zu informieren und ihre Rechte zu respektieren (z. B. Recht auf Auskunft, Löschung, Widerspruch oder Einschränkung der Verarbeitung).

Die DSGVO verlangt außerdem die Einführung organisatorischer und technischer Maßnahmen zur Sicherung der Daten und zur Risikominimierung (Verschlüsselung, Pseudonymisierung, Zugriffsbeschränkung usw.) und schreibt im Falle einer Sicherheitsverletzung (Data Breach) vor, den Vorfall den Behörden und oft auch den betroffenen Personen zu melden.

Zentral für den Bereich KI sind automatisierte Entscheidungsfindung und Profiling – die DSGVO (Art. 22) gibt Einzelpersonen das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung (einschließlich KI) beruht, sofern diese rechtliche oder ähnlich erhebliche Wirkungen entfaltet.

Mit anderen Worten: Wenn ein Unternehmen KI zur automatisierten Entscheidungsfindung mit Auswirkungen auf Einzelpersonen einsetzt (z. B. Kunden-Scoring, automatisierte Ablehnung von Krediten oder Auswahl von Stellenbewerbern), muss es entweder eine ausdrückliche Einwilligung einholen oder sicherstellen, dass ein menschliches Element in den Prozess einbezogen ist, bzw. den betroffenen Personen die Möglichkeit geben, die Entscheidung anzufechten und von einem Menschen überprüfen zu lassen.

Die DSGVO und KI überschneiden sich in Momenten, in denen KI-Systeme personenbezogene Daten verarbeiten – dann müssen beide Regelwerke gleichzeitig eingehalten werden. So legt der AI Act etwa Wert auf die Achtung der Grundrechte und verlangt ausdrücklich die Übereinstimmung des KI-Systems mit der DSGVO​, was bedeutet, dass Daten, die zum Trainieren oder für Entscheidungen der KI verwendet werden, im Rahmen des Datenschutzrechts erhoben und genutzt werden müssen.

Praktische Schritte zur Compliance

Wie also konkret vorgehen, damit ein Unternehmen die Anforderungen des AI Act und der DSGVO erfüllt? Entscheidend sind Proaktivität und ein systematischer Ansatz. Nachfolgend führen wir praktische Schritte und Maßnahmen auf, die mittlere und große Unternehmen zur Erreichung und Aufrechterhaltung der Compliance in Betracht ziehen sollten:

Einrichtung interner Prozesse und Verantwortlichkeiten

Der erste Schritt besteht darin, innerhalb der Organisation eine KI-Governance einzuführen – klare Regeln und Prozesse für die Entwicklung oder Nutzung von KI-Systemen. Die Geschäftsführung sollte festlegen, wer die Verantwortung trägt für die KI-Compliance-Agenda (zum Beispiel den Zuständigkeitsbereich des bestehenden Datenschutzbeauftragten – DPO – auf den Bereich KI ausweiten oder eine neue Rolle für KI-Ethik und -Compliance schaffen).

Weiterhin empfiehlt sich eine interne Prüfung bzw. Bestandsaufnahme aller KI-Tools und -Projekte, die das Unternehmen nutzt oder entwickelt, sowie deren Risikoeinstufung aus Sicht des AI Act und der DSGVO. Diese Übersicht ermöglicht es, sich auf die wesentlichen Bereiche zu konzentrieren.

Ebenso müssen interne Richtlinien und Vorgaben aktualisiert werden – etwa durch Regeln für die Nutzung generativer KI (was Mitarbeiter in Tools wie ChatGPT eingeben dürfen und was nicht), die Festlegung eines Genehmigungsprozesses für neue KI-Lösungen und die Einrichtung von Verfahren zur Meldung KI-bezogener Vorfälle.

Nicht zuletzt gehören dazu regelmäßige Mitarbeiterschulungen – der AI Act bringt die Anforderung der sogenannten KI-Kompetenz mit sich, also sicherzustellen, dass Mitarbeiter, die mit KI umgehen, über angemessene Kenntnisse der Regeln und Risiken verfügen. Schulungen sollten die Mitarbeiter mit den Auswirkungen des AI Act und der DSGVO sowie den ethischen Grundsätzen der KI vertraut machen und ihnen beibringen, riskante Situationen zu erkennen und zu bewältigen.

Identifizierung regulierter KI-Systeme

Nicht alle KI-Tools im Unternehmen fallen unter die hohe oder begrenzte Risikokategorie nach dem AI Act. Deshalb ist es notwendig, KI-Systeme nach Risikokategorien zu gliedern.

Fragen Sie sich: Setzen wir KI in einem Bereich ein, den der AI Act als hochriskant einstuft?

Typische Beispiele in Unternehmen umfassen: KI für Personalauswahl und HR (Screening von Lebensläufen, automatisierte Bewertung von Bewerbern), Mitarbeiterbeurteilung, ferner KI im Finanzdienstleistungsbereich (Kunden-Scoring, Betrugserkennung), im Gesundheitswesen (Diagnosealgorithmen), in der Produktion und Instandhaltung (z. B. KI zur Steuerung kritischer Infrastruktur) usw.

Wenn ein Unternehmen ein eigenes Produkt auf KI-Basis entwickelt, ist es Anbieter eines KI-Systems – dann muss es auch die mögliche Zertifizierung und Meldung nach dem AI Act klären. Umgekehrt fällt die übliche Nutzung von KI im Marketing (z. B. Empfehlungsalgorithmen eines Online-Shops), in der Datenanalyse oder im Kundenservice (Chatbots) wahrscheinlich in die Kategorie begrenztes oder minimales Risiko.

Jedes identifizierte KI-Tool sollte hinsichtlich Zweck, Art der verarbeiteten Daten und potenzieller Auswirkungen bewertet werden. Verarbeitet es personenbezogene Daten, gilt die DSGVO; fällt es unter die Definitionen des AI Act, notieren Sie, welche konkreten Pflichten für es gelten.

Umgang mit hochriskanten KI-Anwendungen

Für KI-Systeme, die nach dem AI Act in die Kategorie hohes Risiko fallen, sollten Unternehmen besondere Maßnahmen ergreifen.

In der Praxis bedeutet dies, für jedes solche System einen detaillierten Compliance-Plan zu erstellen. Dazu gehört die Durchführung einer Konformitätsbewertung (Conformity Assessment) – also die Überprüfung, ob das System vor seiner Einführung alle technischen und prozessualen Anforderungen des AI Act erfüllt. Viele dieser Anforderungen müssen in erster Linie die Anbieter/Entwickler sicherstellen (z. B. technische Dokumentation erstellen, Tests durchführen und Risiken minimieren).

Wenn ein Unternehmen jedoch ein hochriskantes KI-System von einem Dritten erwirbt, ist es nicht aus der Verantwortung – als Nutzer muss es überprüfen, dass das System über die erforderlichen Zertifizierungen verfügt und die rechtlichen Anforderungen erfüllt, und es selbst nur gemäß der Anleitung und den vom Anbieter festgelegten Beschränkungen verwenden​. Unternehmen sollten mit KI-Anbietern Verträge abschließen, die Compliance-Verpflichtungen abdecken, damit klar ist, wer wofür zuständig ist (ähnlich wie bei Auftragsverarbeitungsverträgen nach der DSGVO).

Weiterhin ist eine menschliche Aufsicht über die Ergebnisse der KI einzurichten – bei Entscheidungen mit erheblichen Auswirkungen auf Menschen (z. B. abgelehnte Bewerber oder Kunden) sollte ein Verfahren zur menschlichen Kontrolle oder eine Widerspruchsmöglichkeit bestehen. Die Überwachung und das Testen des KI-Systems sollten mit der Inbetriebnahme nicht enden – hochriskante KI erfordert eine fortlaufende Überwachung der Leistung, Genauigkeit und unerwünschter Effekte.

Kommt es zu einem Vorfall (z. B. versagt die KI und verursacht einen Schaden, oder zeigt sich, dass sie die Anforderungen nicht erfüllt), muss das Problem den Aufsichtsbehörden gemeldet werden können (ähnlich wie eine Sicherheitsverletzung nach der DSGVO gemeldet wird)​. Kurz gesagt: hochriskante KI-Systeme sollten demselben Risikomanagementregime unterliegen wie etwa Arbeitssicherheit oder Finanzrisiken – mit klaren Verantwortlichkeiten, Dokumentation und Kontrollen.

Gewährleistung von Transparenz und Verantwortlichkeit von KI-Systemen

Ob es sich um ein hochriskantes oder ein weniger riskantes KI-System handelt, Transparenz gegenüber Nutzern, Kunden und Mitarbeitern ist entscheidend. Das Unternehmen sollte bereit sein, zu erklären, wie das KI-System funktioniert, zumindest in Grundzügen – gerade bei Entscheidungsalgorithmen ist es gut, intern zu dokumentieren, welche Daten und Kriterien in die Entscheidung einfließen.

Für externe Stellen (z. B. Kunden) sollte in verständlicher Form die Information verfügbar sein, dass die Entscheidung mithilfe von KI getroffen wurde, sowie gegebenenfalls auf Anfrage eine grundlegende Erklärung der Logik (natürlich ohne Preisgabe von Geschäftsgeheimnissen oder geschütztem Know-how).

Diese Transparenz ist eine Anforderung sowohl des AI Act als auch der DSGVO – die DSGVO schreibt vor, die betroffenen Personen über automatisierte Entscheidungsfindung und die getroffenen Maßnahmen zu informieren, der AI Act geht bei einigen Systemen weiter, indem er die Bereitstellung von Benutzerdokumentation und gegebenenfalls die Veröffentlichung von Informationen im Register hochriskanter Systeme verlangt.

Ein guter Schritt ist die Erarbeitung eines KI-Ethikkodex für das Unternehmen, in dem sich die Geschäftsführung zu einem verantwortungsvollen Einsatz von KI verpflichtet (ohne Diskriminierung, unter Berücksichtigung der Privatsphäre usw.), und diese Verpflichtung öffentlich zu kommunizieren – das stärkt das Vertrauen von Kunden und Mitarbeitern.

Verantwortlichkeit bedeutet auch die Bereitschaft, Konsequenzen zu tragen: Verursacht ein KI-System einen Fehler, sollte das Unternehmen in der Lage sein zu reagieren – den Vorfall untersuchen, betroffenen Personen Abhilfe verschaffen (z. B. Entschädigung, Möglichkeit einer Wiederholung des Entscheidungsprozesses auf andere Weise) und das System oder den Prozess anpassen, damit sich die Situation nicht wiederholt.

In der Praxis empfehlen wir, innerhalb des Unternehmens ein KI-Gremium oder -Ausschuss einzurichten, das alle größeren KI-Projekte beaufsichtigt, sie hinsichtlich Compliance und Ethik genehmigt und als Beratungsorgan bei strittigen Situationen fungiert.

Abstimmung der Anforderungen des AI Act mit der DSGVO

Obwohl der AI Act und die DSGVO getrennte Regelwerke sind, überschneiden sie sich in der Praxis und ergänzen sich gegenseitig. Für Unternehmen ist es vorteilhaft, Compliance ganzheitlich zu betrachten – einen einheitlichen Prozess der Risikobewertung für KI-Projekte einzurichten, der den Schutz der Privatsphäre und die Auswirkungen auf Grundrechte berücksichtigt.

Die DSGVO verlangt bereits jetzt, bei risikoreichen Verarbeitungen eine Datenschutz-Folgenabschätzung (DPIA) durchzuführen; der AI Act fügt dem für hochriskante KI-Systeme die Anforderung einer Bewertung der Auswirkungen auf Grundrechte hinzu.

Diese Analysen lassen sich verbinden – bei der Planung der Einführung einer KI, die personenbezogene Daten verarbeiten wird, führt das Unternehmen eine erweiterte Risikoanalyse durch, bei der sowohl Risiken für die Privatsphäre (DSGVO) als auch breitere ethische und gesellschaftliche Risiken (AI Act) bewertet werden. Informationen aus bisherigen DPIAs lassen sich für die neue Bewertung nach dem AI Act nutzen​, was Doppelarbeit vermeidet und Zeit spart.

Die Abstimmung erfolgt auch auf der Ebene technischer Maßnahmen – so ergänzt etwa die Anforderung des AI Act nach qualitativ hochwertigen, verzerrungsfreien Trainingsdaten den DSGVO-Grundsatz der Datenminimierung und Richtigkeit; die Pflicht, Aufzeichnungen über die Tätigkeit der KI (Logs) zu führen, trifft sich mit der DSGVO-Pflicht, Verarbeitungstätigkeiten zu dokumentieren.

Im Bereich der Rechte der betroffenen Personen gilt: Verarbeitet die KI personenbezogene Daten, muss das Unternehmen in der Lage sein, Anfragen der betroffenen Personen nach der DSGVO nachzukommen (Daten bereitstellen, berichtigen, löschen) – schon in der Entwurfsphase des KI-Systems muss also an Privacy by Design und Privacy by Default gedacht werden.

Ein praktischer Tipp ist die Erstellung einer Compliance-Matrix: in einer Spalte die Anforderungen der DSGVO, in der anderen die des AI Act, und markieren, wie der jeweilige Bereich intern behandelt wird. Zum Beispiel: „Information der betroffenen Personen – im Rahmen der DSGVO durch Belehrung der betroffenen Person geregelt, erfüllt zugleich die Transparenz nach dem AI Act“ usw. Eine solche Matrix hilft, etwaige Lücken und Doppelerfüllungen aufzudecken.

Vergessen wir auch nicht, dass seit dem 1.1.2024 in der Tschechischen Republik eine Novelle des tschechischen Gesetzes über die Verarbeitung personenbezogener Daten (Gesetz Nr. 110/2019 Slg., im Folgenden „ZZOÚ“) gilt, die es erlaubt, personenbezogene Daten nur bei Sicherstellung der Übereinstimmung mit der DSGVO an ein System künstlicher Intelligenz zu übermitteln – auch nationale Vorschriften beginnen also, KI zu berücksichtigen. Die Vereinheitlichung der Prozesse, sodass beide Normen gleichzeitig erfüllt werden, ist der effizienteste Weg zu echter Compliance.

Praxisbeispiele – typische Fehler und wie man sie vermeidet

Auch die Erfahrung aus der Praxis zeigt, dass Unternehmen bei der Einführung von KI oft bestimmte Pflichten übersehen.

Hier sind vier häufige Fehler, die man vermeiden sollte:

Fehler 1: Teilen sensibler Daten mit öffentlichen KI-Tools.

Es kommt vor, dass von KI begeisterte Mitarbeiter nicht zögern, Unternehmens- oder personenbezogene Daten in frei verfügbare Dienste einzugeben (z. B. die Nutzung von ChatGPT zur Erstellung eines Berichts aus echten Kundendaten). Dadurch können sie jedoch unbeabsichtigt gegen die DSGVO verstoßen (wenn Daten ohne Garantien an Dritte weitergegeben werden) und das Unternehmen dem Risiko eines Know-how-Verlusts aussetzen.

Wie lässt sich das vermeiden?

Legen Sie klare Regeln für die Nutzung von KI für Mitarbeiter fest. Erklären Sie, welche Inhalte nicht in externe KI-Systeme eingegeben werden dürfen (z. B. personenbezogene Daten von Kunden, interne strategische Dokumente) und warum. Erwägen Sie auch technische Maßnahmen, die das Versenden sensibler Daten ins Internet verhindern (Filter, Zugriffsbeschränkungen). Klären Sie Mitarbeiter darüber auf, dass in KI eingegebene Daten vom Betreiber gespeichert werden können und möglicherweise nie wieder unter die volle Kontrolle des Unternehmens gelangen.

Fehler 2: Automatisierte Entscheidungen ohne Möglichkeit menschlichen Eingreifens.

Manche Unternehmen reizt die Vorstellung einer vollständig automatisierten Entscheidungsfindung (z. B. ein KI-System bewertet einen Kreditantrag oder den Lebenslauf eines Bewerbers selbstständig). Fehlt jedoch die Möglichkeit einer menschlichen Überprüfung, droht ein Verstoß gegen Art. 22 DSGVO sowie das Risiko unfairer oder ungeprüfter KI-Ergebnisse.

Abhilfe?

Führen Sie bei jedem KI-Entscheidungsprozess das Prinzip „Human in the Loop“ ein – richten Sie ein Verfahren ein, bei dem strittige oder negative KI-Entscheidungen immer von einem Menschen bestätigt werden, oder zumindest, dass der Kunde/Bewerber die Entscheidung anfechten und eine manuelle Überprüfung beantragen kann. Damit erfüllen Sie nicht nur den gesetzlichen Rahmen, sondern verbessern auch die Qualität der Ergebnisse (die KI kann sich irren oder verzerrt sein). Testen Sie gleichzeitig regelmäßig den Algorithmus auf Bias – z. B. ob er eine bestimmte Gruppe diskriminiert – und dokumentieren Sie die Testergebnisse.

Fehler 3: Vertrauen auf den Anbieter ohne eigene Kontrolle.

Ein Unternehmen erwirbt beispielsweise eine KI-Software von einem bekannten Hersteller und geht davon aus, damit sei die Compliance „abgedeckt“. Doch auch bei der Nutzung externer KI gilt der Grundsatz der Verantwortung des Nutzers. Verursacht ein KI-Tool Schäden bei Kunden oder Mitarbeitern, leidet der Ruf des Unternehmens unabhängig davon, dass die Technologie von außen kam.

Empfehlung?

Fordern Sie vor der Einführung von KI eines Anbieters Informationen über dessen Compliance an – verfügt das System über eine Zertifizierung oder Konformitätserklärung nach dem AI Act? Wurde eine Datenschutz-Folgenabschätzung durchgeführt? Welche Garantien bietet der Vertrag hinsichtlich der Haftung für Fehler? Ideal ist es, im Testbetrieb ein eigenes Audit der gelieferten Lösung durchzuführen – zu prüfen, wie sie mit Daten umgeht, welche Sicherheitsmerkmale sie besitzt und ob sie die versprochenen Funktionen erfüllt. Nehmen Sie in den Vertrag mit dem Anbieter eine Klausel über Haftung und Schadenersatz für den Fall auf, dass dessen KI einen Rechtsverstoß oder einen Schaden bei Dritten verursacht.

Fehler 4: Unterschätzung der Dokumentation und der Einwilligung der betroffenen Personen.

Bei der Einführung von KI, die personenbezogene Daten verarbeitet, vergessen Unternehmen oft, ihre Datenschutzrichtlinien zu aktualisieren und die erforderlichen Einwilligungen einzuholen. Zum Beispiel beginnt ein Unternehmen, ein KI-Analysetool für das detaillierte Profiling von Kunden zu nutzen, passt aber die Informationen für Kunden und die Rechtsgrundlage der Verarbeitung nicht entsprechend an.

Wie macht man es richtig?

Jede neue Art der Nutzung personenbezogener Daten – einschließlich der Einführung von KI – muss den betroffenen Personen transparent kommuniziert werden. Überprüfen Sie daher vor der Einführung von KI Ihre Informationspflichten (Richtlinien, Hinweise) und ergänzen Sie einen Hinweis auf die Nutzung von KI, einschließlich Zweck und Logik.

Prüfen Sie die Rechtsgrundlage: Tut die KI etwas, das über den ursprünglichen Zweck der Datenerhebung hinausgeht, ist möglicherweise die Einwilligung der betroffenen Personen einzuholen (z. B. zur Verarbeitung von Daten für automatisiertes Profiling). Ziehen Sie bei komplexeren Fällen der Datennutzung eine Beratung mit dem Datenschutzbeauftragten oder einem Anwalt in Betracht, gegebenenfalls auch eine vorherige Konsultation mit dem Amt für den Schutz personenbezogener Daten (ÚOOÚ), insbesondere wenn die DPIA ein hohes Risiko ergibt, das nicht vollständig gemindert werden kann.