Zum Inhalt springen

Wie man KI und künstliche Intelligenz im Gesundheitswesen aus rechtlicher und regulatorischer Sicht angeht

JUDr. Jakub Dohnal, Ph.D., LL.M.
Veröffentlicht:Aktualisiert:

KI im Gesundheitswesen kann die Diagnostik und den Krankenhausbetrieb verbessern, wirft aber zugleich Fragen zum AI Act, zum Schutz von Gesundheitsdaten, zur Haftung und zu den Regeln für Medizinprodukte auf – in der Tschechischen Republik ebenso wie in der gesamten EU. Für Hochrisikosysteme gelten deutlich strengere Anforderungen. Der Artikel zeigt, wie Haftung, Verträge, menschliche Aufsicht und Compliance so gestaltet werden, dass die Technologie sicher eingesetzt werden kann.

Auf dem Bild sehen Sie einen Juristen, der über die Regulierung von KI im Gesundheitswesen spricht.

Die neue Ära der Medizin ist da. Sind Sie rechtlich darauf vorbereitet?

Diese technologische Revolution bringt enorme Chancen mit sich: präzisere Diagnostik, Entlastung des überlasteten Personals und letztlich eine bessere und zugänglichere Versorgung der Patienten. Mit diesen Chancen geht jedoch auch ein neues, beispielloses Maß an rechtlicher und regulatorischer Komplexität einher. Die Verordnung (EU) des Europäischen Parlaments und des Rates 2024/1689, bekannt als AI Act, verändert die Spielregeln ebenso grundlegend, wie es seinerzeit die DSGVO tat. Innovation und Regulierung sind zu zwei Seiten derselben Medaille geworden. Wer die eine ignoriert, gefährdet den Erfolg der anderen.

Dieser Bericht ist Ihr strategischer Leitfaden durch dieses neue Umfeld. Es geht nicht bloß um eine Aufzählung von Paragrafen. Er ist eine praktische Landkarte, die Ihnen zeigt, wie Sie Risiken vermeiden, neue Pflichten erfüllen und regulatorische Belastungen in einen nachweisbaren Wettbewerbsvorteil verwandeln. Die Juristen der Anwaltskanzlei ARROWS sind auf dieses Gebiet spezialisiert und helfen Mandanten dabei, dass ihre innovativen Projekte nicht nur funktionieren, sondern auch rechtlich wasserdicht sind.

KI als neuer Versorgungsstandard – Warum ist diese Debatte für Ihre Praxis und Ihr Geschäft relevant?

Die Debatte über künstliche Intelligenz im Gesundheitswesen gehört längst nicht mehr in die Kategorie futuristischer Visionen. Sie ist greifbare Realität, die Ihren Alltagsbetrieb unmittelbar berührt – ob Sie ein Krankenhaus oder eine Klinik leiten oder eine neue Medizintechnologie entwickeln. Laut einer Umfrage der Tschechischen Vereinigung für künstliche Intelligenz (Česká asociace umělé inteligence) nutzen bereits 64 % der tschechischen Krankenhäuser KI in irgendeiner Form. Dabei handelt es sich nicht nur um große Universitätskliniken; die Technologien durchdringen den gesamten Sektor.

Der Nutzen ist nachweisbar und messbar. So führte etwa im Krankenhaus AGEL Nový Jičín der Einsatz von KI zur Auswertung von Mammografieaufnahmen zu einer um fünf Prozent höheren Erkennungsrate von Karzinomen. Andere Systeme helfen Ärzten bei der Analyse von Thorax-Röntgenaufnahmen, weisen auf mögliche Befunde hin und verringern so das Risiko, dass etwas übersehen wird – gerade in kleineren Krankenhäusern, in denen nicht immer ein Radiologe physisch verfügbar ist, insbesondere im Nachtdienst.

KI macht auch die Verwaltung erheblich effizienter. Im Bereich der Hygienekontrolle kann KI beispielsweise Tausende Seiten an Aufzeichnungen durchgehen, die ein Mensch physisch nicht bewältigen könnte, und Risikostellen für die Entstehung von Infektionen identifizieren.

Angetrieben wird dieser Trend auch von einem dynamischen tschechischen Ökosystem an Technologieunternehmen. Firmen wie Carebot (Unterstützung bei der Analyse von Röntgenbildern), MAIA (Lösungen für die Radiologie), Kardi Ai (Erkennung von Herzrhythmusstörungen aus dem EKG) oder Aireen (Erkennung diabetischer Retinopathie) belegen, dass es in der Tschechischen Republik Spitzenexperten und innovative Produkte gibt, die bereits erfolgreich getestet und in der Praxis eingesetzt werden.

Diese schnelle und oft dezentrale Einführung von Technologien birgt jedoch ein erhebliches, wenn auch häufig verborgenes Risiko. Während einzelne Abteilungen (z. B. die Radiologie) begeistert die neuesten KI-Tools implementieren, hinken die organisationsweiten rechtlichen und ethischen Rahmenwerke diesem Tempo sehr wahrscheinlich hinterher. So entsteht eine „Lücke zwischen Einführung und Governance“.

Es ist sehr wahrscheinlich, dass die Rechtsabteilung eines Krankenhauses noch nicht vollständig auf eine Prüfung nach den strengen Regeln des AI Act vorbereitet ist, während die Ärzte bereits von den Vorteilen der KI profitieren. Die Juristen von ARROWS kennen diese Situation und wissen, dass der erste Schritt zu sicherer Innovation nicht nur die Beratung bei neuen Projekten ist, sondern die Durchführung einer Konformitätsanalyse (Compliance Gap Analysis) bei bereits eingeführten KI-Systemen. Diese Lücke zu erkennen und zu schließen, ist entscheidend, um künftige Risiken zu minimieren.

AI Act – Neue Spielregeln, die Sie kennen müssen

Die Verordnung über künstliche Intelligenz, bekannt als AI Act, die am 1.8.2024 in Kraft getreten ist, stellt den weltweit ersten umfassenden Rechtsrahmen für KI dar. Es handelt sich nicht um eine bloße Empfehlung, sondern um eine unmittelbar anwendbare Verordnung mit weitreichenden Folgen für alle, die KI in der Europäischen Union entwickeln, einsetzen oder nutzen. Für den Gesundheitssektor ist ihre Kenntnis absolut entscheidend.

Der AI Act verfolgt einen risikobasierten Ansatz und teilt KI-Systeme in vier Kategorien ein, die sich mit einer Pyramide vergleichen lassen:

  1. Unannehmbares Risiko (verbotene Praktiken): An der Spitze der Pyramide stehen Praktiken, die als so gefährlich für die Grundrechte gelten, dass sie vollständig verboten sind. Dazu gehören etwa Systeme zur sozialen Bewertung von Bürgern (sog. Social Scoring), die den Zugang zur Gesundheitsversorgung beeinflussen könnten, oder KI, die das Verhalten manipuliert und Schwächen von Patienten (z. B. ihr Alter oder ihren Gesundheitszustand) ausnutzt. Diese Verbote gelten bereits 6 Monate nach Inkrafttreten der Verordnung.
  2. Hohes Risiko: Dies ist die für das Gesundheitswesen wichtigste Kategorie. Darunter fallen praktisch alle KI-Systeme, die erhebliche Auswirkungen auf Gesundheit und Sicherheit von Personen haben können. Der AI Act stuft ausdrücklich Medizinprodukte, die einer Zertifizierung unterliegen, sowie Systeme zur Einstufung von Patienten in Krisensituationen (Triage) oder Systeme zur Bewertung von Ansprüchen auf Leistungen und Dienste der Gesundheitsversorgung als hochriskant ein. Für diese Systeme gelten die strengsten Regeln und Pflichten.
  3. Begrenztes Risiko: Hierzu gehören Systeme, bei denen Transparenz die Hauptpflicht ist. Ein typisches Beispiel sind Chatbots. Der Nutzer muss verständlich darüber informiert werden, dass er mit einer Maschine und nicht mit einem Menschen kommuniziert.
  4. Minimales Risiko: Die Basis der Pyramide umfasst die meisten gängigen KI-Anwendungen wie Spamfilter oder KI in Computerspielen. Diese Systeme unterliegen keinen neuen spezifischen Pflichten.

Zeitplan für die Umsetzung des AI Act

Das Verständnis des Zeitplans ist für die Planung entscheidend. Obwohl die Verordnung bereits in Kraft ist, greifen die einzelnen Pflichten schrittweise, damit sich Unternehmen und Einrichtungen rechtzeitig vorbereiten können:

  • 1.8.2024: Die Verordnung ist in Kraft getreten.
  • ~ Februar 2025 (6 Monate nach Inkrafttreten): Die Verbote von Praktiken mit unannehmbarem Risiko gelten.
  • ~ August 2025 (12 Monate nach Inkrafttreten): Die Regeln für KI-Systeme mit allgemeinem Verwendungszweck (z. B. große Sprachmodelle) gelten.
  • ~ August 2026 (24 Monate nach Inkrafttreten): Die meisten Pflichten für Hochrisikosysteme gelten.
  • ~ August 2027 (36 Monate nach Inkrafttreten): Es gelten die übrigen Pflichten für Hochrisikosysteme, die zugleich Produkte sind, die anderen Unionsvorschriften unterliegen (z. B. Medizinprodukte).

Doppelte Zertifizierung: Eine Herausforderung für MedTech-Innovatoren

Für Entwickler von KI im Gesundheitswesen entsteht eine besondere und anspruchsvolle Situation. Ihre Software ist häufig zugleich ein Medizinprodukt nach der MDR (Medical Device Regulation) oder der IVDR (In Vitro Diagnostic Regulation) und ein Hochrisiko-KI-System nach dem AI Act. In der Praxis bedeutet das, eine doppelte Zertifizierung durchlaufen und zwei parallele, komplexe und anspruchsvolle Regelwerke erfüllen zu müssen.

Diese doppelte regulatorische Belastung erhöht Kosten, Zeitaufwand und administrative Komplexität bei der Markteinführung eines neuen Produkts erheblich. Für kleine und mittlere Unternehmen sowie innovative tschechische Start-ups kann dies einen spürbaren Wettbewerbsnachteil gegenüber großen multinationalen Konzernen mit umfangreichen Compliance-Abteilungen bedeuten.

Die Juristen von ARROWS sind darauf spezialisiert, Mandanten bei der Entwicklung einer integrierten Compliance-Strategie zu unterstützen, die die Anforderungen von MDR/IVDR und AI Act effizient miteinander verbindet. Ziel ist es, den gesamten Prozess zu straffen, Ressourcen zu sparen und auch kleineren Innovatoren eine erfolgreiche Navigation in diesem komplexen Umfeld zu ermöglichen.

Zentrale Pflichten für Hochrisiko-KI-Systeme

Wenn Sie ein Hochrisiko-KI-System entwickeln oder in Ihrem Krankenhaus oder Ihrer Klinik einsetzen, müssen Sie eine Reihe strenger Anforderungen erfüllen. Diese Pflichten betreffen sowohl den Anbieter (Entwickler) als auch den Nutzer (z. B. das Krankenhaus). Die folgende Tabelle fasst die wichtigsten zusammen.

Überblick über die zentralen Pflichten für Hochrisiko-KI-Systeme nach dem AI Act

Pflicht

Zentrale Anforderung nach dem AI Act

Praktische Auswirkungen auf Ihre Organisation

Verweis auf den Artikel des AI Act

Risikomanagementsystem

Ein Risikomanagementsystem über den gesamten Lebenszyklus der KI einrichten, umsetzen, dokumentieren und aufrechterhalten.

Sie müssen ein lebendes Dokument erstellen und laufend aktualisieren, das alle vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte identifiziert, bewertet und mindert. Es handelt sich nicht um eine einmalige Aufgabe.

Art. 9

Daten-Governance und Qualität

Sicherstellen, dass Trainings-, Validierungs- und Testdaten relevant, repräsentativ, fehlerfrei und vollständig sind und geeignete statistische Merkmale aufweisen. Mögliche Verzerrungen (Bias) prüfen.

Sie sind für die Qualität der Daten verantwortlich, mit denen Sie die KI „füttern“. Die Bereitstellung minderwertiger oder nicht repräsentativer Daten (z. B. mit demografischer Verzerrung) kann zu diskriminierenden Ergebnissen und zu Ihrer Mitverantwortung führen.

Art. 10

Technische Dokumentation

Eine ausführliche technische Dokumentation bereits vor dem Inverkehrbringen des Systems erstellen und pflegen. Die Dokumentation muss die Einhaltung aller Anforderungen belegen.

Sie müssen den Aufsichtsbehörden jederzeit eine detaillierte Beschreibung der Funktionsweise des Systems, seines Zwecks, der verwendeten Daten, Algorithmen, Tests und Maßnahmen vorlegen können.

Art. 11, Anhang IV

Aufzeichnungspflichten

Sicherstellen, dass die Systeme Ereignisse (Logs) während ihres Betriebs automatisch aufzeichnen können.

Ihr KI-System muss einen Prüfpfad erzeugen, mit dem sich sein Betrieb rückverfolgen und etwaige Vorfälle oder fehlerhafte Ausgaben untersuchen lassen. Diese Logs müssen Sie aufbewahren (mindestens 6 Monate).11

Art. 12

Transparenz und Information

Das System so gestalten, dass sein Betrieb für die Nutzer transparent ist. Den Nutzern klare und verständliche Gebrauchsanweisungen bereitstellen.

Ein Arzt, der KI nutzt, muss ihre Fähigkeiten und Grenzen verstehen. Sie müssen eine detaillierte Anleitung bereitstellen, die erklärt, wie das System zu verwenden ist, wie seine Ausgaben zu interpretieren sind und welche Risiken bestehen.

Art. 13

Menschliche Aufsicht

Das System muss so konzipiert sein, dass natürliche Personen es wirksam beaufsichtigen können. Es muss die Möglichkeit menschlichen Eingreifens, der Überprüfung und des Übersteuerns von KI-Entscheidungen bestehen.

KI ersetzt nicht den Arzt. Sie müssen Prozesse einführen, die sicherstellen, dass die endgültige Entscheidung (z. B. über Diagnose oder Behandlung) stets von einer qualifizierten Fachkraft getroffen wird oder von ihr überprüft und aufgehoben werden kann.

Art. 14

Genauigkeit, Robustheit und Cybersicherheit

Über den gesamten Lebenszyklus des Systems ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen.

Das System muss gegenüber Fehlern und Angriffen von außen widerstandsfähig sein. Sie müssen Tests durchführen und einen robusten Schutz gegen Cyberbedrohungen gewährleisten, die Patientendaten oder die Funktion des Systems gefährden könnten.

Art. 15

Konformitätsbewertung und Registrierung

Vor dem Inverkehrbringen eine Konformitätsbewertung durchführen und das Hochrisikosystem in der öffentlichen EU-Datenbank registrieren.

Wie bei anderen zertifizierten Produkten müssen Sie ein formelles Bewertungsverfahren durchlaufen und öffentlich erklären, dass Ihr System alle gesetzlichen Anforderungen erfüllt.

Art. 19, Art. 43

ARROWS Rechtsanwaltskanzlei

Daten – Treibstoff für KI und Albtraum für die DSGVO

Künstliche Intelligenz ist datenhungrig. Je hochwertiger und umfangreicher die Trainingsdaten sind, desto präziser und zuverlässiger sind ihre Ergebnisse. Im Gesundheitswesen sind diese Daten jedoch äußerst sensibel. Genau hier trifft die Welt der Innovation auf die strengen Regeln der Datenschutz-Grundverordnung (DSGVO).

Gesundheitsdaten als „besondere Kategorie“

Die DSGVO definiert Gesundheitsdaten als „besondere Kategorie personenbezogener Daten“ (früher als sensible Daten bezeichnet). Ihre Verarbeitung ist daher grundsätzlich verboten, sofern sie nicht unter eine der genau festgelegten Ausnahmen in Artikel 9 DSGVO fällt. Für das Training und den Betrieb von KI im Gesundheitswesen kommen vor allem zwei Rechtsgrundlagen in Betracht:

  1. Ausdrückliche Einwilligung des Patienten (Art. 9 Abs. 2 lit. a DSGVO): Eine wirksame, freiwillige, bestimmte, informierte und unmissverständliche Einwilligung jedes Patienten einzuholen, dessen Daten verwendet werden sollen, ist der rechtlich sauberste Weg. In der Praxis ist das jedoch sehr aufwendig, insbesondere bei den großen Datensätzen, die für das KI-Training erforderlich sind. Der Patient muss genau wissen, zu welchem Zweck seine Daten verwendet werden, und hat das Recht, die Einwilligung jederzeit zu widerrufen.
  2. Verarbeitung, die erforderlich ist für Zwecke … (Art. 9 Abs. 2 lit. h, i DSGVO): Die Verarbeitung ist zulässig, wenn sie für Zwecke der Gesundheitsvorsorge oder Arbeitsmedizin, der medizinischen Diagnostik, der Gesundheitsversorgung oder aus Gründen des öffentlichen Interesses im Bereich der öffentlichen Gesundheit erforderlich ist. Diese Grundlage ist für den Betrieb von KI in der klinischen Praxis relevant, ihre Anwendung auf die Entwicklung und das Training neuer, kommerzieller KI-Modelle ist jedoch rechtlich komplizierter und erfordert eine sorgfältige Prüfung.

Darüber hinaus kann für Verarbeitungen, die keine besonderen Datenkategorien umfassen, auch das berechtigte Interesse (Art. 6 Abs. 1 lit. f DSGVO) relevant sein. Der Europäische Datenschutzausschuss (EDSA) hat anerkannt, dass das berechtigte Interesse eine Rechtsgrundlage für die KI-Entwicklung sein kann, allerdings nur unter der Voraussetzung eines rigorosen dreistufigen Abwägungstests. Der Verantwortliche muss nachweisen, dass sein Interesse legitim ist, die Verarbeitung dafür erforderlich ist und die Rechte und Freiheiten der Patienten sein Interesse nicht überwiegen.

BENÖTIGEN SIE RECHTLICHE HILFE?

Kontaktieren Sie uns — wir helfen Ihnen gerne.

ARROWS Rechtsanwaltskanzlei

Pflicht zur Durchführung einer DSFA (Datenschutz-Folgenabschätzung)

Für jeden Einsatz eines neuen KI-Systems, das Gesundheitsdaten in großem Umfang verarbeiten wird, ist die Durchführung einer DSFA praktisch immer verpflichtend. Der Grund ist, dass eine solche Verarbeitung gleich mehrere Hochrisikokriterien der DSGVO erfüllt: Es handelt sich um eine umfangreiche Verarbeitung besonderer Datenkategorien, sie umfasst oft eine systematische Bewertung (Profiling) und nutzt neue Technologien. Die DSFA ist ein Verfahren, dessen Ziel es ist, Risiken für die Rechte und Freiheiten der Patienten bereits vor Beginn der Verarbeitung zu identifizieren und zu minimieren. Die Anwaltskanzlei ARROWS unterstützt Mandanten regelmäßig bei der Erstellung und Überprüfung von DSFA, damit dieses Dokument einer etwaigen Kontrolle durch das Amt für den Schutz personenbezogener Daten (ÚOOÚ) standhält.

Vom Datenverantwortlichen zum Datenkurator

Die Anforderungen des AI Act an die Qualität der Trainingsdaten verändern die Rolle und Verantwortung von Gesundheitsdienstleistern grundlegend. Es reicht nicht mehr aus, nur „Verantwortlicher“ im Sinne der DSGVO zu sein, dessen Hauptpflicht der Schutz der Daten ist. Ein Krankenhaus oder eine Klinik, die Daten für die KI-Entwicklung bereitstellt, wird zum „Datenkurator“. Damit trägt sie eine neue Verantwortung dafür, dass der bereitgestellte Datensatz hochwertig und repräsentativ ist und keine Verzerrungen enthält, die zu diskriminierenden oder anderweitig schädlichen KI-Ergebnissen führen könnten.

Stellt ein Krankenhaus einem Entwickler einen demografisch verzerrten Datensatz zur Verfügung und diagnostiziert der daraus entstandene Algorithmus eine bestimmte Bevölkerungsgruppe schlechter, kann das Krankenhaus für den entstandenen Schaden mitverantwortlich sein.

Es geht nicht mehr nur um Datenschutz, sondern um die aktive Sicherstellung der Eignung der Daten für die Schaffung eines sicheren und fairen Hochrisikosystems. Daraus entsteht Bedarf an neuen spezialisierten Rechtsdienstleistungen, wie Audits von KI-Datensätzen und der Ausarbeitung von Datenkuratierungsverträgen, die die Verantwortung für die Datenqualität und die Leistungsfähigkeit des resultierenden Modells klar abgrenzen. Auch in diesem Bereich stehen die Juristen von ARROWS mit fachkundiger Beratung bereit.

Wer haftet, wenn sich der Algorithmus irrt?

Stellen Sie sich ein Szenario vor, das für jeden Arzt und jeden Patienten ein Albtraum ist: Ein diagnostisches KI-System empfiehlt eine falsche Behandlung und der Patient erleidet einen Gesundheitsschaden. Wer trägt dafür die rechtliche Verantwortung? Der Softwareentwickler, das Krankenhaus, das das System eingesetzt hat, oder der Arzt, der der Empfehlung gefolgt ist? Die Antwort ist kompliziert und umfasst eine komplexe Haftungskette.

Die geltende Rechtslage sowohl in der EU als auch in der Tschechischen Republik beruht auf einem Grundprinzip: Letztlich haftet der Mensch, nicht ein Roboter oder Algorithmus. KI wird als Werkzeug betrachtet, wenn auch als sehr fortgeschrittenes. Die endgültige Entscheidung und die Verantwortung dafür bleiben in den Händen des menschlichen Experten.

Im Fall eines Fehlers wird die Haftung auf mehreren Ebenen geprüft:

  • Haftung des KI-Anbieters (Entwicklers): Der Softwarehersteller haftet für Fehler seines Produkts. Wurde der Schaden durch einen Fehler im Algorithmus, ein fehlerhaftes Systemdesign oder unzureichende Tests verursacht, trifft die Haftung primär ihn. Das tschechische Bürgerliche Gesetzbuch (Gesetz Nr. 89/2012 Slg., im Folgenden „OZ“) regelt die Haftung für Schäden durch fehlerhafte Produkte (§ 2939 OZ), wobei auch Software als Produkt gilt. Einen Fehler in einem komplexen „Black-Box“-Algorithmus nachzuweisen, ist für den geschädigten Patienten jedoch äußerst schwierig.
  • Haftung des Nutzers (Krankenhaus, Klinik): Der AI Act führt auch spezifische Pflichten für „Nutzer“ von Hochrisikosystemen ein. Das Krankenhaus ist verpflichtet, das System gemäß der Anleitung zu verwenden, menschliche Aufsicht sicherzustellen, seinen Betrieb zu überwachen und ein Risikomanagementsystem eingerichtet zu haben. Vernachlässigt das Krankenhaus diese Pflichten – etwa indem es das Personal unzureichend schult oder offensichtliche Fehlermeldungen des Systems ignoriert –, trägt es Mitverantwortung. Es kann zudem als Betreiber einer Einrichtung nach § 2924 OZ haften.
  • Haftung der Gesundheitsfachkraft (Arzt): Der Einsatz von KI entbindet den Arzt nicht von seiner beruflichen Pflicht, mit der gebotenen fachlichen Sorgfalt vorzugehen (lege artis). Der Arzt darf KI-Ausgaben nicht blind übernehmen. Er muss sie im Kontext seines Wissens und seiner Erfahrung kritisch bewerten und bei Zweifeln die KI-Empfehlung außer Acht lassen oder mit anderen Methoden überprüfen. Die endgültige klinische Entscheidung liegt weiterhin bei ihm.

KI-Kompetenz als neues Element von lege artis

Mit dem massiven Einzug von KI in die Medizin wird sich allmählich auch die Auslegung des Standards der gebotenen fachlichen Sorgfalt selbst wandeln. Sobald die Nutzung eines bestimmten diagnostischen KI-Tools, das die Genauigkeit nachweislich erhöht (z. B. um 5 % bei der Karzinomerkennung), zum üblichen Standard im Fachgebiet wird, wird vom Arzt erwartet werden, dass er dieses Tool bedienen kann.

Daraus folgt, dass sich die berufliche Pflicht des Arztes erweitern wird. Sie wird nicht nur medizinisches Wissen umfassen, sondern auch „KI-Kompetenz“: die Fähigkeit, die Ausgaben standardmäßiger technologischer Werkzeuge richtig zu nutzen, zu interpretieren und bei Bedarf kritisch zu bewerten und zurückzuweisen. Ein Versagen in diesem Bereich könnte künftig als eine Form beruflichen Fehlverhaltens gewertet werden. Für Krankenhäuser und Kliniken ergibt sich daraus eine neue Pflicht: diese Tools nicht nur anzuschaffen, sondern auch die Schulung ihres Personals sicherzustellen und gründlich zu dokumentieren. Die Juristen von ARROWS können bei der Aktualisierung von Arbeitsverträgen und internen Vorschriften helfen, damit diese die neuen technologischen Kompetenzen und Verantwortlichkeiten widerspiegeln.

Rechtsvakuum und die Bedeutung von Verträgen

Erschwert wird die Situation zusätzlich dadurch, dass der Vorschlag einer spezifischen europäischen Richtlinie über KI-Haftung, die Geschädigten die Beweisführung erleichtern sollte, Anfang 2025 zurückgezogen wurde. Dadurch ist ein Rechtsvakuum entstanden.

In der Praxis bedeutet das, dass ein präzise formulierter Vertrag zum zentralen und im Grunde einzigen wirksamen Instrument wird, um Risiken und Verantwortlichkeiten zwischen Entwickler und Krankenhaus aufzuteilen.

Unsere Spezialisten helfen Ihnen

JUDr. Jakub Dohnal, Ph.D., LL.M.

JUDr. Jakub Dohnal, Ph.D., LL.M.

advokát, řídící partner

dohnal@arws.cz
Mgr. Dita Zbožínková, LL.M.

Mgr. Dita Zbožínková, LL.M.

advokátka

zbozinkova@arws.cz
ARROWS Rechtsanwaltskanzlei

Praxisleitfaden zur Compliance: Wie Sie sich vorbereiten und Millionenbußgelder vermeiden

Theoretisches Wissen ist wichtig, doch im Geschäftsleben entscheiden praktische Schritte und die Fähigkeit, Risiken zu steuern. Die Nichteinhaltung der Regeln des AI Act und der DSGVO ist kein bloß akademisches Vergehen; sie ist mit drakonischen finanziellen Sanktionen verbunden, die für ein Unternehmen oder Krankenhaus existenzbedrohend sein können.

Sanktionen, die man nicht ignorieren kann

Der AI Act legt – ähnlich wie die DSGVO – die Höhe der Bußgelder abhängig von der Schwere des Verstoßes und dem weltweiten Umsatz des Unternehmens fest. Wichtig ist, dass sich diese Risiken summieren können – ein einziger Fehler bei der KI-Implementierung kann zu Sanktionen nach beiden Verordnungen gleichzeitig führen.

Vergleich der Sanktionen – Risiken bei Verstößen gegen AI Act und DSGVO

Verstoß

Höchstsanktion nach dem AI Act

Höchstsanktion nach der DSGVO

Beispiel aus der Praxis

Einsatz einer verbotenen KI-Praktik

Bis zu 35 Millionen EUR oder 7 % des weltweiten Jahresumsatzes (je nachdem, welcher Betrag höher ist).

N/A

Ein Krankenhaus setzt ein System ein, das Patienten anhand ihres sozialen Profils (z. B. Einkommen) beim Zugang zur Versorgung bevorzugt.

Nichteinhaltung der Pflichten bei Hochrisiko-KI

Bis zu 15 Millionen EUR oder 3 % des weltweiten Jahresumsatzes.

N/A

Ein Hersteller bringt diagnostische KI-Software ohne Konformitätsbewertung, ohne technische Dokumentation oder ohne Sicherstellung menschlicher Aufsicht in Verkehr.

Verstoß gegen die Grundsätze der Verarbeitung personenbezogener Daten

N/A

Bis zu 20 Millionen EUR oder 4 % des weltweiten Jahresumsatzes.

Ein KI-System wird ohne gültige Rechtsgrundlage (z. B. ohne Einwilligung) mit Gesundheitsdaten von Patienten trainiert oder die Daten sind unzureichend gesichert.

Übermittlung falscher Informationen an Behörden

Bis zu 7,5 Millionen EUR oder 1,5 % des weltweiten Jahresumsatzes.

Bis zu 10 Millionen EUR oder 2 % des weltweiten Jahresumsatzes.

Ein Unternehmen legt der Aufsichtsbehörde bei einer Kontrolle unwahre oder irreführende Unterlagen über sein KI-System oder die Verarbeitung personenbezogener Daten vor.

ARROWS Rechtsanwaltskanzlei

Neben direkten Bußgeldern drohen weitere schwerwiegende Folgen: die Anordnung der Rücknahme des Systems vom Markt, Schadensersatzprozesse mit geschädigten Patienten und nicht zuletzt ein enormer Reputationsschaden.

Der Vertrag mit dem KI-Anbieter: Ihre erste Verteidigungslinie

Angesichts der Unklarheiten bei der gesetzlichen Haftung ist der Vertrag zwischen Ihnen (als Krankenhaus oder Klinik) und dem Anbieter der KI-Lösung ein absolut zentrales Instrument des Risikomanagements. Als Nutzer sind Sie nach dem AI Act verpflichtet, Ihre Anbieter zu prüfen. Ihr Vertrag muss Ihre Absicherung sein. Die Juristen von ARROWS legen bei der Erstellung und Prüfung solcher Verträge besonderen Wert auf folgende Klauseln:

  • Lizenzumfang und Rechte des geistigen Eigentums (IP): Es muss klar festgelegt werden, welche Rechte Sie an der Software selbst und vor allem an den von ihr erzeugten Ausgaben erwerben. Dürfen Sie diese frei nutzen? Wer ist ihr Eigentümer? Darf der Anbieter Ihre Daten (auch anonymisiert) für das weitere Training seiner Modelle verwenden?
  • Gewährleistungen und Zusicherungen des Anbieters: Der Vertrag muss eine ausdrückliche Erklärung des Anbieters enthalten, dass sein KI-System vollständig mit dem AI Act übereinstimmt, eine Konformitätsbewertung durchlaufen hat und über sämtliche erforderliche Dokumentation verfügt.
  • Schadenshaftung und Freistellung (Indemnification): Eine Schlüsselklausel, die festlegt, dass der Anbieter das Krankenhaus schadlos hält und sämtliche Kosten, Bußgelder und Schäden übernimmt, wenn es wegen eines Fehlers im KI-System sanktioniert oder verklagt wird.
  • Auftragsverarbeitungsvertrag (AVV): Kommt der Anbieter in irgendeiner Weise mit personenbezogenen Daten von Patienten in Berührung, ist ein AVV nach Artikel 28 DSGVO zwingend erforderlich. Er muss die technischen und organisatorischen Maßnahmen zum Datenschutz klar festlegen.
  • Mitwirkungs- und Auditpflichten: Der Vertrag sollte den Anbieter verpflichten, Ihnen sämtliche Dokumentation und Mitwirkung zu gewähren, die Sie für Ihre eigene Compliance (z. B. für die DSFA) benötigen, und die Durchführung eines Audits zu ermöglichen.

Fallstudie: Wie ARROWS dem Krankenhaus XY half, KI für die Diagnostik sicher zu implementieren

Fiktives Beispiel auf Grundlage realer Praxis

Ein Kreiskrankenhaus beschloss, ein innovatives KI-Tool eines tschechischen Start-ups zur Analyse von CT-Aufnahmen einzuführen. Das Management war sich des enormen klinischen Nutzens bewusst, hatte aber zugleich Bedenken wegen der neuen rechtlichen Risiken. Es wandte sich an die Anwaltskanzlei ARROWS.

  1. Konformitätsanalyse (Compliance Audit): Das ARROWS-Team prüfte zunächst die vorgeschlagene Lösung. Es bestätigte, dass es sich um ein Hochrisiko-KI-System nach dem AI Act und zugleich um ein Medizinprodukt der Klasse IIa nach der MDR handelt.
  2. Überarbeitung des Anbietervertrags: Die Juristen von ARROWS überarbeiteten den Vertragsentwurf des Anbieters vollständig. Sie ergänzten robuste Klauseln zu Gewährleistungen der Konformität mit AI Act und MDR, eine klare Abgrenzung der Haftung für Mängel und eine Verpflichtung zur Freistellung des Krankenhauses im Problemfall.
  3. Erstellung der DSFA: ARROWS erstellte in Zusammenarbeit mit der IT-Abteilung des Krankenhauses eine detaillierte Datenschutz-Folgenabschätzung (DSFA), die Risiken identifizierte und konkrete Maßnahmen zu ihrer Minimierung vorschlug.
  4. Interne Richtlinie und Schulung: Auf Empfehlung von ARROWS führte das Krankenhaus eine neue interne Richtlinie für den Einsatz von KI in der klinischen Praxis ein und organisierte eine verpflichtende, dokumentierte Schulung für alle betroffenen Ärzte.

Ergebnis: Das Krankenhaus konnte die innovative Technologie in der Gewissheit einsetzen, alle regulatorischen Anforderungen erfüllt zu haben. Das Verhältnis zum Anbieter war rechtlich abgesichert, und das Risiko von Sanktionen und Haftungsstreitigkeiten wurde minimiert. Aus einem potenziellen rechtlichen Albtraum wurde eine sichere und erfolgreiche Innovation.

Die Zukunft gehört den Vorbereiteten. ARROWS ist Ihr Partner auf dem Weg zu sicherer und erfolgreicher Innovation.

Künstliche Intelligenz ist zweifellos eine der größten Revolutionen in der Geschichte der Medizin. Ihr Potenzial, die Diagnostik zu verbessern, die Behandlung effizienter zu machen und Leben zu retten, ist enorm. Wie wir in diesem Bericht gezeigt haben, bringt diese technologische Welle jedoch einen komplexen und kompromisslosen regulatorischen Rahmen in Form des AI Act und verschärfter DSGVO-Anforderungen mit sich. Für das Management von Krankenhäusern, Kliniken und Innovatoren im MedTech-Bereich stellt sich nicht mehr die Frage, ob, sondern wie sie mit dieser neuen Realität umgehen.

Diese Regeln zu ignorieren, ist keine Strategie, sondern ein Glücksspiel mit dem Risiko von Millionenbußgeldern, Rechtsstreitigkeiten und Schäden an einem über Jahre aufgebauten Ruf. Ein proaktiver und strategischer Umgang mit rechtlicher Compliance wird dagegen zum entscheidenden Erfolgsfaktor. Er ermöglicht nicht nur die Minimierung von Risiken, sondern auch den Aufbau von Vertrauen bei Patienten und Partnern sowie einen entscheidenden Wettbewerbsvorteil.

Die Anwaltskanzlei ARROWS steht Ihnen in dieser neuen Ära zur Seite. Unsere Experten sind auf die Verbindung der Welt der Technologie mit dem Recht spezialisiert. Wir verstehen nicht nur Paragrafen, sondern auch die praktischen Bedürfnisse Ihres Geschäfts und Ihrer klinischen Praxis. Wir bieten keine allgemeinen Rechtsratschläge, sondern konkrete, maßgeschneiderte Lösungen, mit denen Sie sicher und gelassen innovieren können. Unsere Leistungen umfassen:

  • Umfassende Compliance-Audits im Hinblick auf AI Act und DSGVO.
  • Erstellung und Prüfung von Verträgen mit Anbietern von KI-Lösungen.
  • Erstellung von Datenschutz-Folgenabschätzungen (DSFA).
  • Ausarbeitung interner Richtlinien und Policies für den sicheren Einsatz von KI.
  • Vertretung bei Streitigkeiten oder Verhandlungen mit Aufsichtsbehörden.

Künstliche Intelligenz revolutioniert das Gesundheitswesen. Lassen Sie nicht zu, dass rechtliche Unsicherheit Ihren Fortschritt bremst. Kontaktieren Sie uns noch heute und erfahren Sie, wie das Expertenteam von ARROWS Ihnen hilft, regulatorische Herausforderungen in sichere und erfolgreiche Innovation zu verwandeln.

BENÖTIGEN SIE RECHTLICHE HILFE?

Kontaktieren Sie uns — wir helfen Ihnen gerne.

ARROWS Rechtsanwaltskanzlei

Über den Autor

JUDr. Jakub Dohnal, Ph.D., LL.M.
JUDr. Jakub Dohnal, Ph.D., LL.M.

Rechtsanwalt, Managing Partner

Jakub Dohnal ist Rechtsanwalt und geschäftsführender Partner von ARROWS. Er widmet sich Unternehmensverkäufen, Investoreneinstiegen und Immobilientransaktionen – meist auf der Seite des Eigentümers, der ein Unternehmen verkauft, dessen Wert er über Jahre aufgebaut hat, und sicherstellen muss, dass die Transaktion zu den vereinbarten Bedingungen abgeschlossen wird.