Zielerkennungssysteme auf Basis von maschinellem Lernen

Benötigen Sie Beratung zu diesem Thema? Wenden Sie sich an die Anwaltskanzlei ARROWS per E-Mail an beratung@arws.cz oder telefonisch unter +420 245 007 740. Ihre Frage beantwortet gerne „JUDr. Jakub Dohnal, Ph.D.,LL.M.“, Experte auf diesem Gebiet.

Was ist maschinelles Lernen zur Zielerkennung und warum betrifft es Ihr Unternehmen?

Vereinfacht gesagt ist maschinelles Lernen (Machine Learning, ML) ein Teilgebiet der künstlichen Intelligenz (KI), das Computern ermöglicht, selbstständig aus Daten zu lernen, ohne für jeden Schritt explizit programmiert zu werden. Eine fortgeschrittene Form ist das Deep Learning, das neuronale Netze zur Lösung komplexerer Aufgaben einsetzt, etwa des maschinellen Sehens.

Für Ihr Unternehmen bedeutet das eine Technologie, die Objekte, Anomalien oder sogar Personen automatisch identifizieren, klassifizieren und verfolgen kann.

Vielleicht erwägen Sie solche Systeme bereits oder setzen sie schon ein. Praktische Beispiele sehen wir überall:

• Produktion: Erkennung mikroskopischer Produktfehler am Band, Kontrolle der korrekten Montage von Teilen oder vorausschauende Wartung von Maschinen.
• Sicherheit: Erkennung von Anomalien im Netzwerkverkehr, Betrugserkennung in Echtzeit oder Überwachung von Betriebsstätten zur Gewährleistung des Arbeitsschutzes.
• Logistik: Routenoptimierung auf Grundlage von Verkehrsprognosen und der Analyse von Kameradaten.
• Handel und HR: Analyse von Verhaltensmustern der Kunden im Onlineshop oder Datenanalyse in Recruiting-Prozessen.

All diese Anwendungen haben einen gemeinsamen Nenner: Sie erfassen und analysieren riesige Datenmengen. Das Problem entsteht in dem Moment, in dem diese Daten in irgendeiner Weise mit identifizierbaren Personen zusammenhängen – seien es Ihre Mitarbeiter am Band, Fahrer in der Logistik oder Kunden auf der Website. In diesem Moment wird der technologische Vorteil zum rechtlichen Risiko.

Die Implementierung von KI zur Erkennung ist nicht nur eine technologische Entscheidung, sondern vor allem eine rechtliche und Compliance-Entscheidung, die vor dem Kauf der Software geprüft werden muss.

Risiko Nr. 1: Die Falle namens DSGVO und Monitoring

Viele Unternehmen glauben irrtümlich, dass die DSGVO sie nicht betrifft, wenn die Kamera auf eine Maschine gerichtet ist. Das Gegenteil ist der Fall. Sobald das KI-Kamerasystem auch Mitarbeiter erfasst, die sich um die Maschine bewegen, werden personenbezogene Daten erhoben und verarbeitet. Häufig handelt es sich zudem um sensible biometrische Daten.

Diese Verarbeitung muss die strengen Grundsätze der DSGVO erfüllen, insbesondere die Grundsätze der Rechtmäßigkeit, der Verarbeitung nach Treu und Glauben und der Transparenz. Das größte Risiko stellt die Überwachung von Mitarbeitern dar.

Das tschechische Arbeitsgesetzbuch (Gesetz Nr. 262/2006 Slg., im Folgenden „ArbGB“) und die DSGVO setzen der Mitarbeiterüberwachung enge Grenzen. Eine Überwachung auf Grundlage einer „Einwilligung“ ist praktisch unmöglich, da die Einwilligung im Arbeitsverhältnis nicht als freiwillig gilt. Rechtsgrundlage muss daher fast immer das sogenannte berechtigte Interesse des Arbeitgebers sein.

Hier entsteht jedoch ein Problem. Um das berechtigte Interesse nachzuweisen, müssen Sie eine Interessenabwägung (LIA) durchführen, in der Sie belegen, dass Ihr Interesse (z. B. Schutz des Eigentums oder Sicherheit) das Recht des Mitarbeiters auf Privatsphäre überwiegt.

Ja, eindeutig. Der Transparenzgrundsatz verlangt, dass Sie die betroffenen Personen knapp, verständlich und vollständig informieren. Das Verschweigen der Tatsache, dass das System eine KI-Analyse durchführt, ist ein schwerwiegender Verstoß gegen die DSGVO. Für Unternehmen, die KI tatsächlich einsetzen, ist es sinnvoll, auch Prozesse und Verantwortlichkeiten im Rahmen der KI-Governance in Unternehmen festzulegen. Wir helfen Ihnen, eine verständliche Datenschutzinformation zu erstellen. Schreiben Sie an beratung@arws.cz.

Und genau hier verkompliziert die KI die Lage. Während eine herkömmliche Kamera weniger invasiv ist, zeichnet eine KI-Kamera nicht nur auf, sondern analysiert aktiv – sie erkennt Gesichter, misst Leerlaufzeiten, verfolgt Bewegungen. Das ist ein wesentlich schwererer Eingriff in die Privatsphäre, weshalb es vor Gericht oder bei einer Kontrolle viel schwieriger ist, die Verhältnismäßigkeit eines solchen Monitorings zu begründen.

Gerichtsverfahren wie der bekannte Fall Bărbulescu zeigen deutlich, dass europäische Gerichte die Privatsphäre von Arbeitnehmern intensiv schützen. Der Einsatz von KI-Monitoring ohne sorgfältige rechtliche Analyse ist eine tickende Zeitbombe. Bei der Einführung solcher Systeme müssen oft auch die vertragliche Gestaltung, die Haftung des Anbieters und die interne Compliance im Rahmen der Implementierung künstlicher Intelligenz (KI) abgedeckt werden.

Vergessen wir nicht die Sanktionen. Bei Verstößen gegen die DSGVO drohen Bußgelder von bis zu 20 Millionen EUR oder 4 % des weltweiten Jahresumsatzes.

Die Mitarbeiterüberwachung mittels KI gehört zu den riskantesten Bereichen der DSGVO, mit dem wir uns bei ARROWS für unsere Unternehmensmandanten sehr häufig befassen. Wir helfen Ihnen, interne Richtlinien zum Monitoring zu erstellen, die Zweck und Umfang klar festlegen. Wir führen für Sie die erforderliche Interessenabwägung (LIA) durch und erstellen eine Datenschutz-Folgenabschätzung (DPIA), damit Sie bei einer etwaigen Kontrolle geschützt sind.

Benötigen Sie rechtliche Unterstützung bei der Einrichtung des Monitorings? Kontaktieren Sie uns unter beratung@arws.cz.

Erkennung und Risiken nach der DSGVO

Die folgende Tabelle zeigt gängige Risiken bei der Einführung von Erkennungssystemen und die konkreten Rechtsdienstleistungen, mit denen ARROWS hilft, ihnen vorzubeugen.

Risiko Nr. 2: Der EU AI Act – der neue Maßstab der europäischen Regulierung

Wenn Sie dachten, die DSGVO sei kompliziert, bereiten Sie sich auf den AI Act vor. Die Verordnung (EU) 2024/1689, bekannt als AI Act, ist der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz. Die meisten ihrer zentralen Bestimmungen werden im Laufe des Jahres 2026 anwendbar.

Eine Schlüsselinformation für alle Unternehmen ist die extraterritoriale Wirkung der Verordnung. Der AI Act gilt für jeden, der ein KI-System in der EU in Verkehr bringt oder dessen Ausgabe in der EU verwendet wird, unabhängig davon, wo das Unternehmen seinen Sitz hat.

Die Verordnung teilt KI-Systeme nach ihrem Risiko in vier Kategorien ein: unannehmbares (verbotenes), hohes, begrenztes und minimales Risiko. Während Systeme mit minimalem Risiko kaum reguliert sind, fallen viele B2B-Erkennungssysteme in die Kategorie der „Hochrisiko-Systeme“ (High-Risk).

Das betrifft Sie, wenn Sie KI in Bereichen einsetzen wie:

• HR und Personalmanagement: Tools für Recruiting, Leistungsbewertung oder Überwachung des Mitarbeiterverhaltens.
• Kritische Infrastruktur: Verkehrssteuerung, Energienetze.
• Biometrische Identifizierung: Die meisten fortgeschrittenen Kamerasysteme zur Personenerkennung.
• Kreditwürdigkeitsprüfung

Fällt Ihr System in die Kategorie High-Risk, erlegt Ihnen der AI Act völlig neue Pflichten auf. Sie müssen ein Risikomanagementsystem über den gesamten Lebenszyklus der KI einführen, eine strenge Daten-Governance sicherstellen, eine detaillierte technische Dokumentation führen, Ereignisse protokollieren und vor allem eine robuste menschliche Aufsicht gewährleisten.

Hier stoßen Wirtschaft und Recht grundlegend aufeinander. Der Hauptgrund für den Kauf von KI ist die Automatisierung und die Senkung der Kosten für menschliche Arbeit. Der AI Act verlangt bei risikobehafteten Systemen jedoch rechtlich eine wirksame menschliche Aufsicht. Die Compliance-Kosten (einschließlich der Kosten für die verpflichtende menschliche Aufsicht) müssen daher vor der Investition in den Business Case eingerechnet werden.

Die Umsetzung des AI Act wird für Unternehmen ähnlich anspruchsvoll sein wie die Implementierung der DSGVO. Unsere Juristen bei ARROWS haben sich auf diesen Bereich spezialisiert. Wir bieten umfassende Rechtsberatung und Audits (Gap-Analyse), die klären, ob Ihre Systeme in die Kategorie „Hochrisiko“ fallen. Wir unterstützen Sie bei der Erstellung der vollständigen Pflichtdokumentation und bei der Einrichtung interner Risikomanagementsysteme. Für eine sofortige Lösung Ihrer Situation schreiben Sie uns an beratung@arws.cz.

Risiko Nr. 3: Wenn die KI versagt – wer zahlt den Schaden?

Bislang war die Haftung für Softwarefehler eine rechtliche „Grauzone“. Das hat sich mit der neuen Richtlinie über die Haftung für fehlerhafte Produkte, die im November 2024 veröffentlicht wurde, jedoch radikal geändert.

Diese Richtlinie bringt eine revolutionäre Änderung: Sie definiert Software und KI-Systeme ausdrücklich als „Produkt“.

Wenn Sie ein Unternehmen sind, das KI-Software entwickelt, oder ein Hersteller, der KI in seine Maschinen integriert (z. B. in eine Produktionslinie), werden Sie zum Hersteller eines „Produkts“. Sie tragen damit die verschuldensunabhängige Haftung für Schäden (an Gesundheit oder Eigentum), die Ihre „fehlerhafte“ KI verursacht.

Eine KI gilt dabei als „fehlerhaft“, wenn sie nicht die Sicherheit bietet, die berechtigterweise erwartet werden kann. Und jetzt Achtung: Die Richtlinie berücksichtigt auch die Fähigkeit der KI, nach dem Inverkehrbringen weiterzulernen.

Stellen Sie sich vor, Sie liefern eine Maschine mit KI zur Fehlererkennung. Diese KI lernt beim Kunden mit neuen Daten, bildet aber eine falsche Korrelation und lässt fehlerhafte Produkte durch. Diese Produkte verursachen beim Endverbraucher einen Schaden. Nach der neuen Richtlinie haften Sie als Hersteller der KI für diesen Schaden, auch wenn der „Fehler“ erst durch das Lernen beim Kunden entstanden ist.

Diese neuen Haftungsrisiken müssen unbedingt vertraglich geregelt werden. Die Juristen von ARROWS verfügen über umfangreiche Erfahrung mit der Erstellung und Prüfung von Verträgen über Technologielieferungen. Wir stellen sicher, dass Ihre Geschäftsverträge (mit KI-Anbietern wie auch mit Abnehmern) die Haftung für durch KI verursachte Schäden klar regeln. Zögern Sie nicht, sich an unsere Kanzlei zu wenden – beratung@arws.cz.

AI Act und Haftung für Schäden

Die neue Regulierung bringt neue Risiken und astronomische Bußgelder mit sich. Hier ein Überblick über die schwerwiegendsten.

Versteckte Gefahren: Algorithmische Diskriminierung (Bias) und geistiges Eigentum

Neben Bußgeldern nach der DSGVO und dem AI Act lauern auf Unternehmen weitere, weniger offensichtliche Risiken.

Risiko Nr. 4: Algorithmische Diskriminierung (Bias)

KI-Systeme können diskriminierend sein, auch wenn dies nicht die Absicht des Programmierers war. Das Problem liegt in den Trainingsdaten. Lernt die KI aus historischen Daten, die menschliche Vorurteile widerspiegeln (z. B. dass Führungspositionen in der Vergangenheit überwiegend mit Männern besetzt waren), übernimmt sie dieses Muster und reproduziert es.

Ein Beispiel ist ein Erkennungssystem im HR-Bereich, das Videointerviews auswertet und Bewerbern mit anderer Hautfarbe oder Akzent systematisch niedrigere Punktzahlen gibt. Das ist algorithmische Diskriminierung – und steht in direktem Widerspruch zur Antidiskriminierungsgesetzgebung.

Risiko Nr. 5: Geistiges Eigentum (IP)

Die Schlüsselfrage lautet: Wem gehört, was die KI erschafft? Nach dem tschechischen Urheberrechtsgesetz (Gesetz Nr. 121/2000 Slg., im Folgenden „UrhG“) kann Urheber nur eine natürliche Person sein. Die KI selbst kann kein Urheber sein.

Urheber des Ergebnisses ist daher typischerweise der Nutzer, der der KI kreative und konkrete Anweisungen (sog. Prompts) gegeben hat. Ein Problem entsteht jedoch, wenn die KI mit urheberrechtlich geschützten Daten trainiert wurde und das Ergebnis im Wesentlichen eine Nachahmung eines fremden Werkes ist. Die Haftung für die Verletzung von Rechten Dritter trägt in der Regel der Nutzer, der das Ergebnis verwendet hat.

Bei ARROWS widmen wir uns diesen Risiken. Wir führen Fachschulungen für Ihre Mitarbeiter (insbesondere HR und Management) durch, wie sie Risiken algorithmischer Diskriminierung erkennen und ihnen vorbeugen. Zugleich prüfen wir die Lizenzverträge mit KI-Anbietern, damit Sie vor Ansprüchen Dritter wegen IP-Verletzungen geschützt sind. Unsere Juristen stehen Ihnen gerne zur Verfügung – schreiben Sie an beratung@arws.cz.

KI kennt keine Grenzen: Rechtliche Unterstützung im internationalen Maßstab

Künstliche Intelligenz ist ein globales Geschäft. Sie können Daten haben, die in den USA trainiert wurden, Software, die in Asien gehostet wird, und Kunden in Europa. Die Regulierung ist jedoch zersplittert.

Während die EU die strengste, umfassende risikobasierte Regulierung einführt (AI Act), wählen die USA eher einen innovationsfreundlichen Ansatz auf Grundlage von Marktstandards und Leitlinien (NIST). Asien ist gespalten – China hat spezifische, strenge Gesetze, während Singapur Innovationen mit einem „weichen“, freiwilligen Rahmen fördert.

Für ein tschechisches Unternehmen mit globalen Ambitionen ist diese Situation ein rechtlicher Albtraum. Welchen Standard soll man einhalten? Die Antwort ist einfach: den strengsten. Dank der extraterritorialen Wirkung des AI Act wird der europäische Standard de facto zum globalen Standard für jeden, der auf den europäischen Markt will.

Für unsere global tätigen Mandanten ist das entscheidend. Dank des seit zehn Jahren aufgebauten Netzwerks ARROWS International befassen wir uns praktisch täglich mit der Rechtskonformität von KI-Projekten mit Auslandsbezug. Ob Sie grenzüberschreitende Datenübermittlungen für das KI-Training, Lizenzverträge mit einem US-Anbieter oder den Eintritt in den asiatischen Markt planen – unser internationales Team steht bereit, Ihnen umfassende rechtliche Unterstützung zu bieten. Benötigen Sie rechtliche Hilfe mit internationalem Bezug? Kontaktieren Sie uns unter beratung@arws.cz.

Partnerschaft mit ARROWS: Vom Rechtsaudit bis zum Schutz vor Bußgeldern

Die Implementierung von KI-Erkennungssystemen ist keine Wahl, sondern eine Notwendigkeit, um wettbewerbsfähig zu bleiben. Dies ohne erstklassige rechtliche Absicherung zu tun, ist jedoch ein Glücksspiel, das Sie sich nicht leisten können.

Bei ARROWS sind wir nicht nur Lieferanten von Rechtsgutachten. Wir sind Partner Ihres Geschäfts. Wir betreuen langfristig mehr als 150 Aktiengesellschaften, 250 s.r.o. (tschechische Gesellschaften mit beschränkter Haftung) sowie 50 Gemeinden und Regionen. Wir legen Wert auf Schnelligkeit und hohe Qualität.

Darüber hinaus können wir unsere Mandanten miteinander vernetzen, wenn wir interessante Investitions- oder Geschäftschancen sehen. Gerne hören wir uns auch Ihre Geschäftsideen an.

Unser Team ist bereit, Ihnen sofort zu helfen, ob Sie Folgendes benötigen:

• Ein umfassendes KI-/DSGVO-Audit und eine Gap-Analyse
• Die Erstellung interner Richtlinien für Monitoring und KI-Nutzung
• Die Erstellung oder Prüfung von Verträgen mit Anbietern von KI-Technologien
• Die Vertretung vor Gerichten und Verwaltungsbehörden (z. B. dem Amt für den Schutz personenbezogener Daten (ÚOOÚ))
• Fachschulungen für Ihr Management und Ihre Mitarbeiter.

Sichern Sie Ihrem innovativen Geschäft den rechtlichen Schutz, den es verdient. Unsere Juristen stehen Ihnen gerne zur Verfügung – schreiben Sie an beratung@arws.cz.

Möchten Sie dieses Problem nicht allein lösen? Der Anwaltskanzlei ARROWS vertrauen mehr als 2000 Mandanten, und wir wurden als Kanzlei des Jahres 2024 ausgezeichnet. Sehen Sie sich HIER unsere Referenzen an – es wird uns eine Ehre sein, Ihnen bei der Lösung Ihres Problems zu helfen. Die Anfrage ist kostenlos.