Die internationale EY-Organisation besteht aus den Mitgliedsunternehmen von Ernst & Young Global Limited (EYG). Jedes EYG-Mitgliedsunternehmen ist rechtlich selbstständig und unabhängig und haftet nicht für das Handeln und Unterlassen der jeweils anderen Mitgliedsunternehmen. Ernst & Young Global Limited ist eine Gesellschaft mit beschränkter Haftung nach englischem Recht und erbringt keine Leistungen für Mandanten.
Recent Searches
Die EU KI-Verordnung (KI-VO) steht in den Startlöchern. Mit aller Wahrscheinlichkeit wird sie am 12.07.2024 im EU Amtsblatt veröffentlicht und tritt am 01.08.2024 in Kraft. Wir nehmen dies zum Anlass, uns in einer 3-teiligen Beitragsserie die KI-VO im Detail anzuschauen. In der heutigen, ersten Ausgabe geben wir einen Überblick über die KI-VO: Wie wirkt sie? Wer ist betroffen? Wie wird sie durchgesetzt? Der zweite Beitrag nach der Sommerpause widmet sich den Anforderungen an die einzelnen Stakeholder. Wir schließen die Beitragsserie im dritten Teil mit der EU KI-Konformitätsbewertung und dem dazugehörigen Verfahren.
A. Einführung
Künstliche Intelligenz (KI) hat in den letzten Jahren eine rasante Entwicklung durchlebt und ist mittlerweile aus unserem Alltag nicht mehr wegzudenken: Von Chatbots wie ChatGPT über Suchmaschinen und Haushaltsgeräte bis hin zu Fahrzeugen – die Fähigkeit von Maschinen, nunmehr Aufgaben (zumindest teilweise) autonom ausführen zu können, die traditionell immer menschlicher Intelligenz vorbehalten waren, ist omnipräsent und verändert grundlegend die Art und Weise, wie wir arbeiten und leben. Dieser technologische Quantensprung – durchaus vergleichbar mit der industriellen Revolution im 19. Jahrhundert – eröffnet dabei auch Unternehmen neue Möglichkeiten zur Steigerung von Effizienz und Innovation.
Mit einer – mit diesem Beitrag beginnenden – dreiteiligen Serie von Artikeln eröffnet der EY Law Newsletter den Einstieg in die kommende EU-Regulierung dieser neuen Materie.
B. Die EU-KI-Verordnung und ihr Regulierungsziel
Der Einsatz von KI hat neben seinen beeindruckenden positiven Möglichkeiten in all unseren Lebensbereichen auch negative Seiten. Je nach Verwendungszweck können durch KI-Systeme erhebliche Risiken für öffentliche oder private Interessen sowie die Gesundheit und Sicherheit natürlicher Personen entstehen; so etwa beim KI-gestützten „Social Scoring“, das beispielsweise in der Volksrepublik China bereits systematisch und umfassend u. a. bei der Vergabe von Kredit- und Ausbildungsplätzen eingesetzt wird. Um derartigen Risiken vorzubeugen, haben das Europäische Parlament und der Rat am 08.12.2023 den entscheidenden politischen Konsens über den Entwurf der EU-KI-Verordnung (KI-VO; sofern nicht anders gekennzeichnet, handelt es sich bei allen in diesem Beitrag genannten Artikeln und Annexen um solche aus der KI-VO) erzielt. In der zweiten Januarhälfte 2024 wurde dann die endgültige Textfassung bekannt. Die finale Fassung soll am 12.07.2024 im EU-Amtsblatt veröffentlicht werden und 20 Tage später, am 01.08.2024, in Kraft treten.
Ambitioniertes Ziel der Verordnung ist es, ein hohes Schutzniveau für die Gesundheit und die Sicherheit natürlicher Personen sowie deren Grundrechte mit dem Einsatz von KI in Einklang zu bringen und gleichzeitig Investitionen und Innovationen im KI-Bereich in der EU zu fördern (Art. 1 Abs. 1 KI-VO). Dabei steht die KI-VO nicht für sich allein, sondern ist in das „New Legislation Framework“ (NLF) eingebettet. Das 2008 durch die EU verabschiedete NLF zielt darauf ab, den EU-Binnenmarkt für Waren zu verbessern und die Bedingungen für das Inverkehrbringen einer breiten Palette von Produkten auf dem EU-Markt zu stärken. Es handelt sich um ein Paket von Maßnahmen, die darauf abzielen, die Marktüberwachung zu optimieren und die Qualität der Konformitätsbewertungen zu steigern. Außerdem wird die Verwendung der CE-Kennzeichnung präzisiert und ein Instrumentarium von Maßnahmen geschaffen, das in der Produktgesetzgebung verwendet werden kann.
C. Anwendungsbereich und risikobasierter Ansatz
Im Zentrum des sachlichen Anwendungsbereichs stehen das sogenannte KI-System (Art. 3 Nr. 1 KI-VO) und die „KI-Modelle mit allgemeinem Verwendungszweck“ (Art. 3 Nr. 63 KI-VO). Ein KI-System ist dabei
„ein maschinengestütztes System, das für einen in wechselndem Maße autonomen Betrieb ausgelegt ist, das nach seiner Einführung anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht werden, die physische oder virtuelle Umgebungen beeinflussen können.“
KI-Modelle mit allgemeinem Verwendungszweck (kurz: GPAI (aus dem Engl. „General Purpose AI“)) hingegen sind – kurz gesagt – noch kein KI-System, sondern Modelle, die „eine erhebliche allgemeine Verwendbarkeit“ aufweisen und daher für ein breites Spektrum an Aufgaben in nachgelagerten Systemen eingesetzt werden können.
Durch ihre „Cross-Sector Legislation Harmonisation” reguliert die KI-VO multisektoral und wirkt sich so auf den gesamten Lebenszyklus und die gesamte Lieferkette eines KI-Systems aus.
Dabei verfolgt die KI-VO einen risikobasierten Ansatz und klassifiziert (ausgehend von dem potenziellen Schaden, den ein KI-System aus Sicht des Gesetzgebers verursachen kann) vier Risikokategorien. Aus ihnen leiten sich die konkreten rechtlichen Anforderungen an das jeweilige KI-System ab:
|
Einordung nach den Risikoklassen |
Beschreibung |
Anforderungen |
möglicher Einsatzbereich |
Beispiele Anwendungsfälle |
|---|---|---|---|---|
|
Inakzeptables Risiko |
unannehmbares Risiko für die Sicherheit, die Rechte und die Existenzgrundlagen von Einzelpersonen |
verboten |
|
|
|
Hochrisiko-KI-Systeme |
verursachen voraussichtlich einen erheblichen Schaden oder können die grundlegenden Rechte von Einzelpersonen beeinträchtigen |
weitreichend; mit Einschränkungen verbunden |
|
|
|
Nicht-Hochrisiko-KI-Systeme |
KI-Systeme mit potenziellen Risiken für die Rechte oder die Sicherheit einer Einzelperson; potenzielle Beeinträchtigung, aber in geringerem Maße |
Transparenz- und Informations-pflichten |
|
|
|
Systeme mit minimalem oder keinem Risiko |
fallen in keine der o. g. Kategorien |
|
|
|
D. Wer ist reguliert? Räumlicher Anwendungsbereich und die Stakeholder der KI-VO
Ihre rechtliche Wirkung entfaltet die KI-VO über die EU-Grenzen hinweg: So sind auch Unternehmen betroffen, die zwar in Drittstaaten sitzen, ihr KI-System aber in Europa in Verkehr bringen. Verantwortlich für die Einhaltung der zahlreichen Pflichten sind insbesondere Anbieter und Betreiber. Ausnahmen sind lediglich für die private Nutzung vorgesehen. Die KI-VO adressiert dabei unterschiedlichste Anforderungen, nicht nur an das jeweilige individuelle KI-System, sondern auch an die jeweiligen Stakeholder entlang des KI-Lebenszyklus. In Art. 3 KI-VO werden die wichtigsten Begrifflichkeiten der KI-VO definiert; hinsichtlich der Stakeholder gilt damit:
- Anbieter, Art. 3 Nr. 3 KI-VO
Ein „Anbieter“ (Art. 3 Nr. 3 KI-VO) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke auf den Markt bringt oder betreibt, unabhängig davon, ob dafür eine Gebühr erhoben wird oder nicht. - Betreiber, Art. 3 Nr. 4 KI-VO
Ein „Betreiber“ (Art. 3 Nr. 4 KI-VO) ist eine Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System eigenverantwortlich nutzt. Dies gilt jedoch nicht, wenn das KI-System für persönliche und nichtberufliche Aktivitäten verwendet wird. - Bevollmächtigter, Art. 3 Nr. 5 KI-VO
Ein „Bevollmächtigter” (Art. 3 Nr. 5 KI-VO) ist eine natürliche oder juristische Person innerhalb der EU, die vom Anbieter eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck schriftlich dazu ermächtigt wurde und zugestimmt hat, die in der Verordnung festgelegten Pflichten und Verfahren in dessen Namen zu erfüllen. - Einführer, Art. 3 Nr. 6 KI-VO
Ein „Einführer“ (Art. 3 Nr. 6 KI-VO) ist eine natürliche oder juristische Person innerhalb der EU, die ein KI-System, das den Namen oder die Handelsmarke einer außerhalb der EU ansässigen natürlichen oder juristischen Person trägt, in der EU in Verkehr bringt. - Händler, Art. 3 Nr. 7 KI-VO
Ein „Händler“ (Art. 3 Nr. 7 KI-VO) ist eine natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem Unionsmarkt bereitstellt, mit Ausnahme des Anbieters oder des Einführers.
Nicht unter den Anwendungsbereich der KI-VO fallen das Forschen, Testen und Entwickeln von, mit und an KI-Systemen vor deren Inverkehrbringen sowie kostenlose und Open-Source-Software, sofern und soweit diese nicht als verbotene oder Hochrisiko-KI-Systeme eingestuft werden.
E. Ausblick auf die Anforderungen der KI-VO
Die oben genannten Stakeholder müssen – je nach „Lebensphase“ des KI-Systems – unterschiedliche Anforderungen entlang des gesamten KI-Lebenszyklus und der gesamten Wertschöpfungskette erfüllen. Diese umfassen insbesondere umfangreiche Verpflichtungen vor und nach dem Inverkehrbringen des jeweiligen KI-Systems sowie die Durchführung von Konformitätsbewertungen (selbst oder durch Dritte). An vielen Stellen bestehen beispielsweise auch Informations- und Meldepflichten zwischen den einzelnen Stakeholdern; etwa muss der Betreiber nach Inverkehrbringen eines KI-Systems etwaige durch die menschliche Aufsicht identifizierte Risiken an den Hersteller melden. Weitere Details dazu finden Sie nach der Sommerpause in unserer September-Ausgabe des Newsletters.
F. Umsetzungsfristen und Geltungsbeginn der einzelnen Anforderungen im Überblick
Als Verordnung werden die daraus resultierenden neuen Regeln direkt, unmittelbar und einheitlich in allen Mitgliedstaaten gelten. Die KI-VO sieht folgende Übergangsfristenregelung vor:
- August 2024: Inkrafttreten und Beginn der Umsetzungsfristen
- Februar 2025: Geltungsbeginn der Verbotsvorschriften
- August 2025: Geltungsbeginn der Vorschriften zu GPAI-Modellen
- August 2026: Geltungsbeginn der meisten anderen Vorschriften der KI-VO (z. B. Anforderungen für Hochrisiko-KI-Systeme nach Annex III)
- August 2027: Geltungsbeginn der Vorschriften für Hochrisiko-KI-System nach Annex II
- Dezember 2030: Vor Inkrafttreten der KI-VO durch Behörden eingesetzte Hochrisiko-KI-Systeme müssen nun den Vorgaben der KI-VO entsprechen
G. Sanktionen
Die KI-VO ist bei der hohen Komplexität ihrer Anforderungen gerade an Hochrisiko-KI-Systeme und mit ihrem eigentlich produktregulierenden Ansatz keinesfalls ein „zahnloser Tiger“. So sieht Art. 71 teils horrende Bußgelder für Unternehmen vor:
- bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes für Verstöße gegen die Verbote der KI-VO
- bis zu 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes für Verstöße gegen Vorschriften für Hochrisiko-KI-Systeme oder GPAI-Modelle
- bis zu 7,5 Mio. Euro oder 1,5 % des weltweiten Jahresumsatzes für die Bereitstellung falscher Informationen gegenüber einer (dritten) Konformitätsbewertungsstelle oder (als Antwort auf eine Anfrage) gegenüber der national zuständigen Behörde
Im Falle von kleinen und mittleren Unternehmen wird bei der Verhängung eines Bußgeldes der jeweils niedrigere Betrag gewählt. Im Falle eines Schadenseintritts, der auf ein rechtswidrig/nicht regelkonform eingesetztes KI-System zurückzuführen ist, kann ferner das Produkthaftungsrecht greifen.
Parallel zu den Bußgeldern haben die Marktaufsichtsbehörden auch die Möglichkeit, gerade Hochrisiko-KI-Systeme, die nicht regelkonform operieren, durch Aberkennung der Konformitätsbewertung vom Markt zu nehmen und deren Einsatz so lange zu untersagen, bis die Konformität wieder gewährleistet werden kann (Art. 74 ff. KI-VO).
H. Abschließender Hinweis zur neuen Produkthaftungsrichtlinie
Neben den Sanktionen aus der KI-VO selbst finden sich auch in anderen Gesetzesinitiativen der EU Regelungen für den Fall, dass sich ein – der KI innewohnendes – Risiko beim KI-Einsatz manifestiert. Dies betrifft insbesondere die derzeit geplante Aktualisierung der Produkthaftungsrichtlinie, die nunmehr unter „Produkte“ auch KI und Software erfasst. Relevante Vorschriften finden sich vor allem zur Beweislast sowie zur Schadensersatz- und Bußgeldhaftung.
I. Abschließender Ausblick
Im zweiten Teil der Beitragsserie geben wir einen Überblick über die konkreten Anforderungen an KI-Systeme und deren Stakeholder.
Im dritten und letzten Teil beleuchten wir schließlich das Konformitätsbewertungsverfahren für Anbieter von Hochrisiko-KI-Systemen.
Kontaktpersonen: Eric Meyer, Dipl. iur. oec. univ., Dr. Peter Katko
Direkt in Ihr E-Mail Postfach
Wir informieren Sie monatlich über aktuelle Themen insbesondere aus den Bereichen Arbeitsrecht, M&A, Gesellschaftsrecht, PE, Kartellrecht, Energierecht, Digital Law, Public Law, Public Mobility Law und Legal Process and Technology. Wenn Sie an unserem Newsletter und dem Law Quarterly Webcast interessiert sind, können Sie sich hier anmelden.