Es ist vollbracht: Der europäische Artificial Intelligence Act (AI Act) ist Realität geworden. Nach jahrelangem Hin und Her war es am 13. März 2024 endlich soweit: Das Europäische Parlament verabschiedete den AI Act, wenn auch mit kleinen Änderungen in letzter Minute. Damit ist dieser Meilenstein der KI-Gesetzgebung nun offiziell. Die endgültige Zustimmung der EU-Mitgliedstaaten gilt nur noch als Formsache und wird voraussichtlich im Mai 2024 erfolgen. Nur wenige Monate später werden damit die ersten Regelungen des AI-Acts anwendbar. Doch was genau bedeutet das für die Medizintechnikbranche?

Was ist der AI Act?

Der AI Act macht Schlagzeilen, seit die Europäische Kommission 2021 den weltweit ersten Gesetzesvorschlag veröffentlicht hat, der künstliche Intelligenz in die Schranken weisen soll: Den AI Act. Seitdem hat der mehrere hundert Seiten starke Text zahlreiche Versionen durchlaufen und wäre 2023 noch fast gescheitert. Im Dezember einigten sich die EU-Staaten schließlich auf einen Kompromiss. Im Januar 2024 wurde bereits ein geänderter Text des AI Acts veröffentlicht. Die nun vom EU-Parlament verabschiedete Endfassung hat erneut Änderungen erfahren, die jedoch im Vergleich zur Version vom Januar eher geringfügig sind. Dieser Artikel bezieht sich daher auf die neueste Version, die am 13. März 2024 vom Europäischen Parlament veröffentlicht wurde. Diese durchläuft jedoch noch das Lektorat, bevor sie endgültig veröffentlicht wird.

Für wen ist das relevant?

Es steht außer Frage, dass der AI Act weit über Europa hinaus relevant sein wird. Zum einen ist die neue Gesetzgebung natürlich für alle wichtig, die künftig ein Medizinprodukt in der EU zulassen wollen oder mit der EU Geschäfte machen. Aber das ist nicht alles. Als weltweit erstes allgemeines Gesetz zu KI gilt der AI Act als Vorreiter und wird vermutlich auch ähnliche Regelungen in anderen Ländern inspirieren. Wer sich jetzt mit dem AI Act beschäftigt, hat also einen Vorsprung, wenn ähnliche Gesetze in anderen in anderen Regionen der Welt verabschiedet werden.

Was regelt der AI Act?

Der AI Act reguliert KI im Allgemeinen. Dabei verfolgt er einen risikobasierten Ansatz: Für KI mit mittlerem Risiko gelten einige Einschränkungen, wie etwa Transparenzpflichten. Der Großteil des Textes befasst sich jedoch mit KI mit hohem Risiko, für die besonders strenge Regeln gelten. Bei Verstößen sind zum Teil hohe Bußgelder (bis zu 7% des Jahresumsatzes) vorgesehen.

Definition von KI im AI Act

Die Definition von KI im AI Act war eines der umstrittensten Themen des Entwurfs und hat sich daher – wenig überraschend – im Laufe der Zeit verändert.

 In der endgültigen Fassung lautet sie nun wie folgt:

” ‘AI system’ means a machine-based system designed to operate with varying levels of autonomy, that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;”
Quelle: Art. 3 (1) AI Act

Kern dieser Definition ist die Autonomie, d.h. dass das System bis zu einem gewissen Grad selbstständig agieren kann.

Die Voraussetzungen, um als KI zu gelten, sind somit

• Maschinenbasiertes System
• Konzipiert für autonomen Betrieb
• Leitet aus den Eingaben, die es erhält, ab, wie es Ausgaben erzeugen soll.

Die Formulierung „may exhibit adaptiveness after deployment“ macht klar, dass die Anpassungsfähigkeit nach Bereitstellung nicht zwangsläufig nötig ist, um als KI zu gelten.

Für wen gilt der AI Act?

Der AI Act gilt für alle, die KI-Systeme herstellen, bereitstellen, vertreiben oder nutzen. Der AI Act definiert den Kreis der Betroffenen wie folgt:

• Providers
• Deployer
• Importers
• Distributors
• Authorised representatives of providers
• Affected persons that are located in the Union

Gilt der AI Act auch für Medizinprodukte?

Der AI Act gilt auch für Medizinprodukte, die KI enthalten oder KI sind. Wenn sie unter die MDR oder IVDR fallen, werden sie in den meisten Fällen als KI-Produkte mit hohem Risiko eingestuft. Dies ergibt sich wie folgt:

Artikel 6 AI Act legt fest, welche KI-Systeme als solche mit hohem Risiko eingestuft werden.

Article 6 1. (1) a besagt:

(a) the AI system is intended to be used as a safety component of a product, or the AI system is itself a product, covered by the Union harmonisation legislation listed in Annex I;

Im Anhang I sind auch die MDR ((EU) 2017/745) und IVDR ((EU) 2017/746) aufgelistet. Medizinprodukte, die unter MDR oder IVDR fallen, und KI enthalten oder KI sind, sind unter bestimmten Umständen als Produkte mit hohem Risiko nach dem AI Act klassifiziert.

Folgende Voraussetzungen müssen dafür erfüllt sein:

1. Das Medizinprodukt fällt unter die MDR oder IVDR und
2. Das Medizinprodukt enthält KI, die als Sicherheitskomponente vorgesehen ist, oder
3. Das Medizinprodukt ist selbst KI.

Damit dürften künftig viele Software-as-a-Medical-Device-(SaMD)-Produkte unter den AI Act fallen. Es gibt allerdings für den Bereich Gesundheit einige Sonderregelungen und teilweise Erleichterungen. Ein Beispiel ist KI zur Emotionserkennung, die grundsätzlich nach dem AI Act verboten ist. Für medizinische Zwecke ist sie jedoch erlaubt, muss dann aber bestimmte Voraussetzungen wie etwa besondere Transparenz erfüllen.

Ausnahmen

Nicht alle KI-Systeme fallen unter den AI Act. Gerade für Forschung und Entwicklung gibt es ein paar wichtige Ausnahmen.

Der AI Act greift nach Art. 2 nämlich nicht bei:

• KI-Systemen oder KI-Modellen, die speziell für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
• Forschungs-, Test- oder Entwicklungstätigkeiten in Bezug auf KI-Systeme oder -Modelle, bevor diese in den Verkehr gebracht oder in Betrieb genommen werden.
• KI-Systeme, die unter freien und Open-Source-Lizenzen veröffentlicht werden (sofern sie kein hohes Risiko darstellen oder unter die verbotenen Systeme gemäß Artikel 5 oder der Liste in Artikel 50 fallen).

Welche Voraussetzungen müssen KI-Systeme nach dem AI Act erfüllen?

Hochrisiko-KI-Medizinprodukte, also solche, die entweder selbst eine KI sind oder eine KI als Sicherheitskomponente beinhalten, müssen künftig strenge Anforderungen erfüllen, um in der EU auf den Markt zu gelangen. Diese Anforderungen legen vor allem einen Schwerpunkt auf Cybersicherheit sowie Transparenz und fordern unter anderem detaillierte Tests, technische Dokumentationen, Transparenz, menschliche Aufsicht, Risikomanagement und Qualitätsmanagement.

Folgende Voraussetzungen muss KI mit hohem Risiko nach AI Act erfüllen:

• Risikomanagement-System, das kontinuierlich angepasst werden muss
• Anforderungen an die Trainingsdaten: Hier gibt es u.a. Qualitätsvorgaben für Trainingsdaten (Artikel 10), wie, dass diese objektiv und nicht tendenziös ausgewählt werden müssen. Weitere Vorgaben befassen sich mit der Aufbereitung und der Kennzeichnung.
• Technische Dokumentation: Für KMUs und Startups gibt es hier Erleichterungen und eine vereinfachte technische Dokumentation
• Aufzeichnungspflicht: KI-Systeme mit hohem Risiko müssen technisch die automatische Aufzeichnung von Ereignissen (“Logs”) während ihrer Lebensdauer ermöglichen.
• Transparency und Bereitstellung von Informationen für die Bereitsteller.
• Menschliche Aufsicht: KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, einschließlich geeigneter Mensch-Maschine-Schnittstellen, dass sie während ihres Einsatzes wirksam von natürlichen Personen überwacht werden können.
• Genauigkeit, Robustheit und Cybersicherheit: KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und während ihres gesamten Lebenszyklus in dieser Hinsicht konsistent funktionieren.
• Kennzeichnung: Auf dem Hochrisiko-KI-System oder, falls dies nicht möglich ist, auf der Verpackung oder den Begleitunterlagen sind der Name, der eingetragene Handelsname oder die eingetragene Handelsmarke sowie die Kontaktadresse anzugeben.
• Qualitätsmanagementsystem: Einrichtung eines Qualitätsmanagementsystems, das den Anforderungen von Artikel 17 entspricht.

Um auf den EU-Markt zu kommen, müssen die Produkte nachweisen:

• Konformitätserklärung
• CE-Kennzeichnung
• Registrierung

Nachdem das Produkt auf dem Markt ist, muss dies im Zuge der Post-Market Surveillance überwacht werden und Zwischenfälle gemeldet und auf diese reagiert werden.

Konformitätsbewertungsverfahren

Wie bereits aus der MDR und IVDR bekannt, müssen Hersteller von KI-Systemen ein Konformitätsbewertungsverfahren durchlaufen, bevor sie ihr Produkt auf den Markt bringen dürfen. Dabei wird sowohl die Konformität des Medizinproduktes als Ganzes nach MDR und IVDR als auch des KI-Anteils nach AI Act geprüft. Die Regelungen werden harmonisiert. Medizinproduktehersteller müssen jedoch beide einhalten. Viele der Anforderungen der MDR / IVDR und des AI Acts überschneiden sich, wenn es um KI-Produkte mit hohem Risiko geht.

Daher sieht der AI Act vor, dass die Konformität von KI-Medizinprodukten nach MDR/IVDR und AI Act von derselben benannten Stelle geprüft werden soll. Dies würde für Hersteller und andere Betroffene eine große Erleichterung darstellen. Ob dies in der Praxis jedoch umsetzbar ist, bleibt offen. Immerhin müsste bei den Benannten Stellen auch entsprechendes Personal mit entsprechender Fachkompetenz in ausreichender Zahl vorhanden sein.

Ab wann gelten die Vorschriften des AI Act?

Zunächst muss der AI Act nun noch von den EU-Staaten abgenickt werden, was voraussichtlich im Mai 2024 passiert. Anschließend wird er im offiziellen Journal der EU veröffentlicht. 20 Tage nach der Veröffentlichung tritt die Verordnung in Kraft (Artikel 113). Allerdings müssen sich Hersteller, Importeure etc. nicht sofort an die Regelungen des AI Act halten. Erst 24 Monate nach Inkrafttreten gelten die meisten Bestimmungen verbindlich. Allerdings gelten zum Beispiel Kapitel 1-2 (allgemeine Bestimmungen und verbotene Praktiken) bereits 6 Monate nach Inkrafttreten.

Für die KI-Systeme, die bis dahin bereits auf den Markt gekommen sind, gelten dann Übergangsfristen, bis zu denen sie an die neuen Regelungen angepasst werden müssen. Diese bewegen sich zwischen 24-36 Monaten nach Inkrafttreten.

Fazit

Es lässt sich nicht bestreiten, dass der AI Act ein monumentaler und wichtiger Schritt in der weltweiten KI-Gesetzgebung ist. Auch wenn es für viele vielleicht nach einem weiteren Ärgernis mit zusätzlichen Anforderungen aussieht, die erfüllt werden müssen, um ein innovatives Produkt auf den Markt zu bringen, sollte man nie vergessen, dass andere Länder vermutlich sehr bald mit ähnlichen Gesetzen nachziehen werden. Wer sich also jetzt bereits an die Vorgaben des AI Acts hält, ist vermutlich einen Schritt voraus und gut gewappnet für ähnliche Regelungen in anderen Märkten, die ohne Zweifel folgen werden.

Die Regelungen des AI Acts an sich wurden zwar gleichermaßen gelobt wie kritisiert, doch sie scheinen in ihrer endgültigen Fassung genug Spielraum für Forschung und Innovationen zu bieten. Wie am Ende die Umsetzung in die Praxis aussieht, ist eine ganz andere Frage. Das Chaos der MDR und IVDR lässt nichts Gutes vermuten. Dennoch, wichtig war dieser Schritt ganz ohne Frage.

Sie finden die englische Version dieses Textes auf der Seite des Johner Institute New Zealand.[/vc_column_text][/vc_column]