Es ist vollbracht: Der europäische Artificial Intelligence Act (AI Act) ist Realität geworden. Nach jahrelangem Hin und Her war es am 13. März 2024 endlich soweit: Das Europäische Parlament verabschiedete den AI Act, wenn auch mit kleinen Änderungen in letzter Minute. Damit ist dieser Meilenstein der KI-Gesetzgebung nun offiziell – und seit dem 1. August 2024 ist der AI Act nun auch in Kraft. Doch was genau bedeutet das für die Medizintechnikbranche?

Was ist der AI Act?

Der AI Act, oder auch KI-Verordnung, macht Schlagzeilen, seit die Europäische Kommission 2021 den weltweit ersten Gesetzesvorschlag veröffentlicht hat, der künstliche Intelligenz in die Schranken weisen soll: Den AI Act. Seitdem hat der mehrere hundert Seiten starke Text zahlreiche Versionen durchlaufen und wäre 2023 noch fast gescheitert. Im Dezember einigten sich die EU-Staaten schließlich auf einen Kompromiss. Im Januar 2024 wurde bereits ein geänderter Text des AI Acts veröffentlicht.

Die finale Version der KI-Verordnung veröffentlichte die EU nun am 12. Juli 2024 im Amtsblatt der Europäischen Union (hier finden Sie die englische Version des AI Acts) . Diese hat erneut Änderungen erfahren, die jedoch im Vergleich zur Version vom Januar eher geringfügig sind. Seit dem 1. August 2024 ist der AI Act offiziell in Kraft.

Für wen ist das relevant?

Es steht außer Frage, dass der AI Act weit über Europa hinaus relevant sein wird. Zum einen ist die neue Gesetzgebung natürlich für alle wichtig, die künftig ein Medizinprodukt in der EU zulassen wollen oder mit der EU Geschäfte machen. Aber das ist nicht alles. Als weltweit erstes allgemeines Gesetz zu KI gilt der AI Act als Vorreiter und wird vermutlich auch ähnliche Regelungen in anderen Ländern inspirieren. Wer sich jetzt mit dem AI Act beschäftigt, hat also einen Vorsprung, wenn ähnliche Gesetze in anderen in anderen Regionen der Welt verabschiedet werden.

Was regelt der AI Act?

Der AI Act reguliert KI im Allgemeinen. Dabei verfolgt er einen risikobasierten Ansatz: Für KI mit mittlerem Risiko gelten einige Einschränkungen, wie etwa Transparenzpflichten. Der Großteil des Textes befasst sich jedoch mit KI mit hohem Risiko, für die besonders strenge Regeln gelten. Bei Verstößen sind zum Teil hohe Bußgelder (bis zu 7% des Jahresumsatzes) vorgesehen.

Definition von KI im AI Act

Die Definition von KI im AI Act war eines der umstrittensten Themen des Entwurfs und hat sich daher – wenig überraschend – im Laufe der Zeit verändert.

 In der endgültigen Fassung lautet sie nun wie folgt:

” ‘AI system’ means a machine-based system designed to operate with varying levels of autonomy, that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;”
Quelle: Art. 3 (1) AI Act

Kern dieser Definition ist die Autonomie, d.h. dass das System bis zu einem gewissen Grad selbstständig agieren kann.

Die Voraussetzungen, um als KI zu gelten, sind somit

• Maschinenbasiertes System
• Konzipiert für autonomen Betrieb
• Leitet aus den Eingaben, die es erhält, ab, wie es Ausgaben erzeugen soll.

Die Formulierung „may exhibit adaptiveness after deployment“ macht klar, dass die Anpassungsfähigkeit nach Bereitstellung nicht zwangsläufig nötig ist, um als KI zu gelten.

Für wen gilt der AI Act?

Die KI-Verordnung gilt für jeden, der KI-Systeme in der EU in Verkehr bringt, in Betrieb nimmt oder nutzt, was einen breiten Kreis von Betroffenen schafft:

• Providers
• Deployer
• Importers
• Distributors
• Authorised representatives of providers
• Affected persons that are located in the Union

Gilt der AI Act auch für Medizinprodukte?

Medizinprodukte können ebenfalls unter den AI Act  fallen, wenn sie KI enthalten oder selbst KI sind. Sie werden dabei allerdings schnell in die höchste Risikokategorie eingestuft.

Was als hohes Risiko im Sinne des AI-Gesetzes gilt, wird durch die Kriterien in Artikel 6 bestimmt. Ein KI-System gilt als hochriskant, wenn:

• Das KI-System selbst oder das Produkt, in dem das KI-System als Sicherheitsbauteil verwendet wird, zu einer der in Anhang I aufgeführten Produktkategorien gehört (dazu zählen auch Medizinprodukte und IVD nach den Nummern 11 und 12).
• Das Produkt einer Konformitätsbewertung durch eine dritte Partei gemäß den aufgeführten Vorschriften unterliegt .

Daher werden die meisten Medizinprodukte ab der Klasse IIa und höher sowie IVDs ab Klasse B, die KI verwenden, als Hochrisikoprodukte gemäß dem AI Act eingestuft werden.

Welche Voraussetzungen müssen KI-Systeme nach dem AI Act erfüllen?

Je nach Risikoklasse, müssen KI-Systeme unterschiedliche Standards erfüllen.

Minimales und mittleres Risiko

Die Verordnung sieht KI-Systeme mit minimalem Risiko, wie etwa einfache Spiel-KIs, als unproblematisch an. Es gibt dafür keine speziellen Zulassungsanforderungen. Im Gegensatz dazu nennt die Verordnung bestimmte Systeme mit mittlerem Risiko ausdrücklich und reguliert diese entsprechend ihres Risikos. Dazu gehören insbesondere KIs, die mit Menschen interagieren und beispielsweise Emotionen erkennen oder Text-, Bild-, Audio- und Videoinhalte erzeugen können.

Verbotene KI-Systeme (Artikel 5)

Nach Artikel 5 der KI-Verordnung sind bestimmte KI-Systeme vollständig verboten. Dazu zählen manipulative Techniken, das Ausnutzen von Faktoren wie Alter, Behinderung oder sozialem Status, soziale Bewertungssysteme („Social Scoring“) sowie zahlreiche Anwendungen im Zusammenhang mit strafbaren Handlungen.

Anforderungen des AI Acts an Hochrisiko-Medizinprodukte

• Risikomanagementsystem (Art. 9)
• Technische Dokumentation (Art.11 und 18)
• Cybersicherheit (Art. 15)
• Qualitätsmanagementsystem (Art. 17)
• Konformitätsbewertung durch eine Benannte Stelle (Art. 16 und Kapitel 5)
• Korrekturmaßnahmen und Berichtspflichten (Art. 20)
• Kooperation mit Behörden (Art. 21)

• Erfordernis von hochwertigen Daten zum Trainieren und Validieren des KI-Systems (Art.10)
• Schutz der Trainingsdaten vor Manipulation (Art.15)
• Aufzeichnungen und Protokolle über Vorgänge und Ereignisse (Art.12)
• Hohe Ansprüche an Transparenz (Art.13, Art. 16)
• Menschliche Aufsicht über das System (Art. 14)
• Besondere Pflichten für Importeure, Nutzer, Händler und entlang der Wertschöpfungskette (Art. 22 ff.)
• Grundrechtliche Folgenabschätzung für bestimmte Einsatzgebiete (Art. 27)

Konformitätsbewertungsverfahren

Geplant ist, dass die Konformität von KI-Medizinprodukten nach MDR/IVDR und AI Act von derselben benannten Stelle geprüft werden soll. Dies würde für Hersteller und andere Betroffene eine große Erleichterung darstellen. Ob dies in der Praxis jedoch umsetzbar ist, bleibt offen. Immerhin müsste bei den Benannten Stellen auch entsprechendes Personal mit entsprechender Fachkompetenz in ausreichender Zahl vorhanden sein.

Ab wann gelten die Vorschriften des AI Act?

Die KI-Verordnung tritt am 1. August 2024 in Kraft. Sechs Monate später, am 1. Februar 2025, werden die ersten Bestimmungen der Kapitel I und II (allgemeine Bestimmungen und verbotene Praktiken) verbindlich. Kapitel III Abschnitt 4, Kapitel V, Kapitel VII, Kapitel XII und Artikel 78 werden ab dem 1. August 2025 gelten (mit Ausnahme von Artikel 101). Die Bestimmungen über Systeme mit hohem Risiko nach Artikel 6 Absatz 1 und die damit zusammenhängenden Bestimmungen gelten ab dem 1. August 2027, d. h. 36 Monate nach Inkrafttreten der Verordnung. Alle anderen Bestimmungen gelten ab dem 1. August 2026.

Für KI-Systeme, die in Verkehr gebracht wurden, bevor die Bestimmungen verbindlich werden, gelten Übergangsfristen, bevor sie den neuen Vorschriften entsprechen müssen.

Fazit

Es lässt sich nicht bestreiten, dass der AI Act ein monumentaler und wichtiger Schritt in der weltweiten KI-Gesetzgebung ist. Auch wenn es für viele vielleicht nach einem weiteren Ärgernis mit zusätzlichen Anforderungen aussieht, die erfüllt werden müssen, um ein innovatives Produkt auf den Markt zu bringen, sollte man nie vergessen, dass andere Länder vermutlich sehr bald mit ähnlichen Gesetzen nachziehen werden. Wer sich also jetzt bereits an die Vorgaben des AI Acts hält, ist vermutlich einen Schritt voraus und gut gewappnet für ähnliche Regelungen in anderen Märkten, die ohne Zweifel folgen werden.

Die Regelungen des AI Acts an sich wurden zwar gleichermaßen gelobt wie kritisiert, doch sie scheinen in ihrer endgültigen Fassung genug Spielraum für Forschung und Innovationen zu bieten. Wie am Ende die Umsetzung in die Praxis aussieht, ist eine ganz andere Frage. Das Chaos der MDR und IVDR lässt nichts Gutes vermuten. Dennoch, wichtig war dieser Schritt ganz ohne Frage.

Sie finden die englische Version dieses Textes auf der Seite des Johner Institute New Zealand.[/vc_column_text][/vc_column]