Die Integration von künstlicher Intelligenz (KI) ist zu einem unverzichtbaren Bestandteil einer Vielzahl von Medizinprodukten geworden. Sie unterstützt Diagnostik durch Bildauswertung, optimiert Behandlungen durch die Analyse großer medizinischer Datenmengen, ermöglicht Telemedizin durch Monitoring-Tools, und kommt in robotergestützter Chirurgie, Wearables und Gesundheits-Apps zum Einsatz. Nachdem erste regulatorische Anforderungen an KI bereits in der MDR (Medizinprodukteverordnung) sowie der Verordnung über In-vitro-Diagnostika (IVDR) zu finden sind, markiert die am 1. August 2024 in Kraft getretene KI-Verordnung der Europäischen Union (KI-VO) einen entscheidenden Schritt hin zu einer gezielten Regulierung von KI-Produkten. Doch welche Verpflichtungen ergeben sich nun aus der neuen Verordnung für Hersteller von KI-basierten Medizinprodukten?
Für wen (und was) gilt die KI-VO?
Die Bestimmungen der KI-VO gelten für alle Personen, die KI-Systeme in der EU in Verkehr bringen, in Betrieb nehmen oder nutzen. Dazu gehören u.a. Anbieter, Betreiber, Einführer, Händler. Diese unterliegen einer ganzen Reihe von Verpflichtungen, von denen die meisten den Anbieter betreffen - d. h. denjenigen, der das KI-System “entwickelt, entwickeln lässt oder in Verkehr bringt” (Art. 3 Nr. 2).
Nicht unter die KI-VO fallen KI-Systeme, die eigens für die wissenschaftliche Forschung bzw. Entwicklung entwickelt werden, sofern der Betreiber sie ausschließlich zu Forschungs-, Test- oder Entwicklungstätigkeiten einsetzt. Um sicher zu gehen, müssen Entwickler bei klinischen Studien darauf achten, ob das KI-System als „Inbetriebnahme“ unter die KI-VO fällt oder ob die Ausnahme für Forschung und Entwicklung greift.
Wie wird ein KI-basiertes System definiert?
Ein KI-System wird definiert als "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können."
KI-basierte Medizinprodukte sind in der Regel als Hochrisiko-KI-Systeme einzustufen. Hochrisiko-KI-Systeme im Sinne von Art. 6 Abs. 1 sind solche, die als Sicherheitsbauteil eines Produkts verwendet werden oder selbst ein solches Produkt sind, das unter eine der in Anhang II der KI-VO aufgeführten Harmonisierungsrechtsvorschriften der Union fällt (z.B. MDR oder IVDR). Zudem muss das Sicherheitsbauteil oder Produkt einem Konformitätsverfahren durch Dritte nach den vorgeschriebenen Vorschriften unterzogen werden.
Was müssen Medizintechnik-Anbieter konkret umsetzen?
Für solche Hochrisiko-KI-Systeme gelten besonders strenge regulatorische Anforderungen, die den Herstellern eine Reihe von Pflichten und Verfahren auferlegen. Dazu zählen:
- Risikomanagementsystem (Art. 9): Erfassung und Analyse von Risiken, Implementierung von Maßnahmen zur Risikominderung sowie kontinuierliche Überwachung und Überprüfung der Effektivität dieser Maßnahmen.
- Technische Dokumentation (Art. 11): Informationen zu allgemeinen Merkmalen des KI-Systems und zur Funktionsweise, Kontrolle und Überwachung sowie zur Dokumentation des Risikomanagementsystems.
- Aufzeichnungspflicht (Art. 12): Technische Möglichkeit der automatischen Aufzeichnung von Ereignissen (Protokollen) während des gesamten Lebenszyklus.
- Transparenz- und Informationspflichten für Betreiber (Art. 13): Bereitstellung einer Gebrauchsanweisung für Betreiber zur ordnungsgemäßen Verwendung des KI-Systems.
- Menschliche Aufsicht (Art. 14): Während des gesamten Lebenszyklus des KI-Systems muss dieses von natürlichen Personen kontinuierlich überwacht werden können. Darüber hinaus müssen Betriebseinschränkungen implementiert werden, z. B. ein “Stoppknopf.
- Robustheit, Genauigkeit und Cybersicherheit (Art. 15): Design und Entwicklung des KI-Systems auf neuestem Stand in Bezug auf Robustheit, Genauigkeit und Cybersicherheit.
- Qualitätsmanagementsystem (Art. 17): Definiert und überwacht die Prozesse und Verfahren zur Sicherstellung und kontinuierlichen Verbesserung der Qualität von Produkten oder Dienstleistungen.
- Durchführung eines Konformitätsbewertungsverfahren bei benannten Stellen vor Inverkehrbringen oder Inbetriebnahme des KI-Systems (Art. 43).
- Kennzeichnungspflichten: z.B. Verwendung einer digitalen CE-Kennzeichnung (Art. 48).
- Registrierung (Art. 49): Hochrisiko-KI-Systeme müssen in einer neuen EU-Datenbank – ähnlich wie EUDAMED für Medizinprodukte – registriert werden.
Wie viel Zeit bleibt für die Umsetzung?
Die MDR und die IVDR enthalten bereits zahlreiche der erwähnten Anforderungen; Unternehmen sind nun gefordert ihre Prozesse um die zusätzlichen Anforderungen der KI-VO zu ergänzen. Für die KI-Verordnung besteht eine abgestufte Anwendbarkeit:
- 2. Februar 2025: Verbot von Anwendungen mit einem unnanehmbaren Risiko (wie z.B. Social Scoring)
2. August 2025: Verpflichtungen treten in Kraft für Anbieter von KI-Modellen für allgemeine Zwecke.
- 2. August 2026: Die Verpflichtungen treten für die in Anhang III aufgeführten Hochrisiko KI-Systeme, die speziell in Anhang III aufgeführt sind, einschließlich Systeme in den Bereichen Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Zugang zu wesentlichen öffentlichen Dienstleistungen, Strafverfolgung, Einwanderung und Justizverwaltung.
- 2. August 2027: Die Verpflichtungen treten für KI-Systeme mit hohem Risiko in Kraft, die nicht im Anhang III vorgeschrieben sind, aber als Sicherheitkomponente eines Produkts verwendet werden sollen.
Dennoch sollten Unternehmen bereits jetzt die Integration der KI-VO in die Produktentwicklung in die Wege leiten.
Komplexe Aufgabe: Rechtliche und technische Fragen
Die Empfehlung, schnell zu handeln, leiten wir aus den Anforderungen ab, welche die KI-VO an Anbieter von Medizintechnik stellt: „Die KI-Verordnung beinhaltet sowohl organisatorische, dokumentarische, systemtechnische und regulatorische Anforderungen. Das gilt besonders für den Bereich Medizintechnik, wo wir uns in jeder Hinsicht an der Schnittstelle Mensch-Maschine bewegen. Entsprechend herausfordernd ist die strukturierte Umsetzung, die Expertenwissen in verschiedenen Disziplinen erfordert, Branchenkenntnis in der Medizintechnik inklusive.“
Unsere Handlungsempfehlungen für Unternehmen
Eingehende Analyse: Führen Sie eine gründliche Analyse ihrer KI-Systeme durch, um mögliche Gefahren und Risiken zu identifizieren und zu mindern. Überprüfen Sie zudem, ob die eingesetzte KI-Technologie den Anforderungen der MDR und IVDR an Software entspricht und informieren Sie sich über zusätzlichen Anforderungen der KI-VO.
Dokumentation aktualisieren: Überarbeiten Sie Ihre technische Dokumentation und fügen Sie ausführliche Informationen zur Nutzung der KI in Ihren Produkten hinzu, einschließlich der Technologieart und ihrer spezifischen Funktionsmerkmale.
Zusammenarbeit mit Fachstellen: Arbeiten Sie frühzeitig mit benannten Stellen zusammen, um Unsicherheiten zu klären und die Konformitätsbewertung zu erleichtern. Informieren Sie sich über erforderliche Prüf- und Meldeverfahren.
Fortlaufende Weiterbildung und Anpassung: Halten Sie sich über Entwicklungen im Bereich KI und Medizinprodukte auf dem Laufenden, insbesondere hinsichtlich rechtlicher Haftungsfragen. Passen Sie Produkte und Prozesse entsprechend an.
Du benötigst Unterstützung im Datenschutz?
Unser Team besteht aus Juristen, Datenschutzbeauftragten, Auditoren, IT-Sicherheitsberatern und Risk Managern, die im gesamten Bundesgebiet und in Luxemburg für Dich tätig werden. Als spezialisierte Unternehmensberater unterstützen wir Dich ganzheitlich bei den Themen Datenschutz, Informationssicherheit und Cybersicherheit. Komm jederzeit für ein unverbindliches Erstgespräch auf uns zu.