Abstract [en]: With the draft AI Regulation published on 21 April 2021, the European Commission has taken an important step towards effective regulation of the use of artificial intelligence (“AI”). The draft presented is a crucial component of a comprehensive AI strategy of the European Union. This article reflects on the legal requirements set out in the AI draft and looks at individual implications for businesses, citizens as well as state institutions. From a legal perspective, arguments for the initiative’s chances of success are examined and a look is taken at the critical public reactions. Finally, the steps leading up to the adoption of the AI Regulation and the current status in Germany will be explained. The article concludes with an outlook on the initiative in the context of dynamic technological developments in the field of tension between fundamental rights of the citizen and the enabling of innovation.

Abstract [de]: Mit dem am 21. April 2021 erschienenen Entwurf einer KI-Verordnung ist die Europäische Kommission einen wichtigen Schritt in Richtung einer wirksamen Regulierung der Nutzung Künstlicher Intelligenz („KI“) gegangen. Der vorgelegte Entwurf ist ein entscheidender Bestandteil einer umfassenden KI-Strategie der Europäischen Union. Dieser Beitrag reflektiert die im KI-Entwurf gestellten rechtlichen Anforderungen und beschäftigt sich mit einzelnen Auswirkungen auf Unternehmen, Bürger sowie staatliche Institutionen. Speziell werden die grundlegenden Regelungsinhalte und Regelungsgegenstände der Verordnung einer genaueren Betrachtung unterzogen. Aus juristischer Perspektive werden Argumente für die Erfolgsaussichten der Initiative beleuchtet und ein Blick auf die öffentlichen kritischen Reaktionen geworfen. Abschließend werden die Schritte bis zur Verabschiedung der KI-Verordnung sowie der aktuelle Status in Deutschland erläutert. Der Beitrag schließt mit einem Ausblick auf die Initiative im Kontext dynamischer technologischer Entwicklungen im Spannungsfeld zwischen Grundrechten des Bürgers und der Ermöglichung von Innovation.

Mai 2022

Der „Artificial Intelligence Act”


Ein Licht im digitalen Dschungel?

get pdf: Der “Artificial Intelligence Act”

Inhalt

Bereits heute greifen Algorithmen und KI-Anwendungen in nicht unerhebliche Teile unseres Lebens ein. Hinter jeder Aktion mit smarten Geräten können sich derartige Anwendungen verbergen. Teilweise geschieht es ganz unbemerkt. KI greift in unser Leben ein, ob wir es wollen oder nicht. Zunehmend wird KI auch in grundrechtssensiblen Bereichen eingesetzt. Schon längst geht es nicht mehr nur um Suchmaschinen und Chatbots, in Teilen der Welt sind KI-Anwendungen bei Versicherungen, Personalabteilungen, der Polizei und sogar Gerichten legal im Einsatz. Anwendungsbereiche von KI-Systemen werden in Zukunft einen immer größeren Raum einnehmen und in neue Wirtschaftsbereiche vordringen. Vollkommen neue Wertschöpfungsketten werden sich entwickeln. Man braucht kein Prophet sein, um zu erkennen, dass wir auf dem Weg in eine „gläserne Welt“ sind. Wir werden uns immer intensiver mit der Frage beschäftigen müssen, wem diese neue „gläserne Welt“ schadet und wem sie nützt. Daten und Informationen spiegeln unser eigenes individuelles Leben und unsere Persönlichkeit in einer Art „Digitalem Schatten“ wider. Auswirkungen auf unser persönliches Leben und auf die Gesellschaft als Ganzes gehen mit dieser Entwicklung einher. Die Grenzen zwischen dem Erlaubten und dem Verbotenen werden fließender. Der gut gemeinte Glaube an die Vernunft und die guten Absichten der wirtschaftlichen Akteure ist nicht das Maß der Dinge. Grenzen müssen gesetzt und Regeln aufgestellt werden. Der Staat muss die Entwicklung und die Auswirkungen der technologischen Innovationen erfassen, beurteilen und wo nötig, regulatorisch eingreifen. Nachvollziehbarkeit und Kontrollierbarkeit sind entscheidende Kriterien, um das Vertrauen in eine digitale Welt für den Bürger nicht zu beeinträchtigen und gleichermaßen die Freiheit des Einzelnen zu wahren. Mit welchen Entwicklungen haben wir es zu tun?

Den rasanten Entwicklungen der sogenannten globalen Tech-Industrie konnte Europa besonders im vergangenen Jahrzehnt nicht mehr folgen. Innovationen wurden mit einer ungeheuren Dynamik besonders von amerikanischen Konzernen vorangetrieben. Manch klassisches Industrieunternehmen musste in einigen Produktbereichen Platz für neue technologiegetriebene Unternehmen machen. Wettbewerbsnachteile und Abhängigkeiten vor allem von Innovationen aus den USA wurden in der Folge immer gravierender. Diese Entwicklung hat negative Folgen auf die Souveränität von Staaten und ihren Bürgern in Europa. Die Politik und die Zivilgesellschaft sehen sich mit einer unsicheren, risikovollen, teils verschleierten Entwicklung konfrontiert. Wirtschaftliche Souveränität und persönliche Freiheit müssen mit dem Gemeinschaftssinn einer sozialen Marktwirtschaft verbunden und mit einem praktikablen Reglungsrahmens durchgesetzt werden. Der Lösung dieser Herausforderungen sieht sich Europa gegenüber, will es anziehend auf andere Länder, jüngere Menschen auf der Suche nach einer Perspektive und sogar mit Vorbildcharakter auf die Welt wirken. Wie sich die Europäische Kommission mit der Vorlage des KI-Acts der skizzierten Aufgabe stellt, ist Gegenstand dieses Beitrages.

Einordnung

Den spürbaren und bereits absehbaren Folgen einer nicht kontrollieren Ausbreitung von neuen Technologien sollte bereits 2018 mit den Plänen „Künstliche Intelligenz für Europa“ und dem „Koordinierten Plan für Künstliche Intelligenz“ in der EU begegnet werden. Ziel war es, mit diesen Initiativen „Wildwuchs“ einzudämmen und Innovationen und die Wettbewerbsfähigkeit zu fördern. Diesen Absichten ließ die EU-Kommission mit ihrer am 19. Februar 2020 vorgestellten Digitalstrategie Taten folgen: „Weißbuch zur Künstlichen Intelligenz – Ein europäisches Konzept für Exzellenz und Vertrauen“ („Weißbuch“) hieß das auf diesen Strategiepapieren aufbauende Dokument, das zum ersten Mal überhaupt ein Konzept zur Regulierung von KI entwickelte.

Dem Vorhaben, eine umfassende Strategie im Umgang mit KI und schließlich auch einen gesetzlichen Rahmen zu entwickeln, folgte schließlich die Europäische Kommission am 21. April 2021 mit ihrem Entwurf einer Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (COM/2021/206 final, im Folgenden „Entwurf KI-Verordnung“) genannt. Die Europäische Union beabsichtigt mit diesem gesetzgeberischen Vorhaben eine globale Vorreiterrolle in der Regulierung von Systemen künstlicher Intelligenz einzunehmen. Mit dem weltweit ersten konkreten Gesetzentwurf zur Regulierung künstlicher Intelligenz, wagt die Kommission einen regulatorisch herausfordernden Balanceakt. Die geplante KI-Verordnung strebt, wie Kommissionsvizepräsidentin und Wettbewerbskommissarin Vestager betont [e], an, Europa künftig als „globale[s] Zentrum für vertrauenswürdige künstliche Intelligenz (KI)“ zu etablieren und damit den vielfältigen sozioökonomischen Nutzen aus diesen sich rasant entwickelnden Technologien zu wahren, jedoch gleichzeitig den Schutz der Grundrechte und die Sicherheit der Unionsbürger zu gewährleisten.[1] Die gesetzgeberische Herausforderung besteht darin, einen „ausgeglichenen Regelungsrahmen“ zu schaffen, der nicht dazu führt, dass Innovation und Wachstum durch bürokratische Überregulierung und massive Verbote unterdrückt werden.

Die politische Intention der EU-Kommission, mit einem auf die Besonderheiten von KI abgestimmten Regulierungsrahmen das Vertrauen der Gesellschaft in existierende sowie zukünftige KI-Anwendungen zu stärken, ist der Kern der Initiative. Die auf der europäischen Ebene Verantwortlichen wollen mit dem Gesetzesvorhaben den politischen Willen unter Beweis stellen, technologische Entwicklungen im Sinne von verbindlichen Werten unseres europäischen Gemeinwohls kontrollieren zu können. Andererseits ist erklärtes Ziel, Innovation zu ermöglichen. Den Verantwortlichen ist wohl bewusst, dass wir gravierende Probleme ohne technologischen Fortschritt nicht lösen werden. Beeinträchtigungen der allgemein verbindlichen europäischen Grundwerte soll andererseits entschlossen entgegengewirkt werden. Mit diesem Leitgedanken strebt die Europäische Kommission auf der Grundlage europäischer Werte einen eigenen, selbstbewussten Weg zur Nutzung von KI an. So wurde z. B. in Vorbereitung der Gesetzesinitiative ein breit angelegtes Konsultationsverfahren durchgeführt. In diesem Verfahren konnten Interessenten aus aller Welt Stellungnahmen zum vorgelegten KI-Konzept abgeben. Im weiteren Verfahren wurden diese Stellungnahmen bei der Ausarbeitung der gesetzlichen Initiative berücksichtigt und somit spezifische Stakeholder-Interessen integriert. Ein gutes Beispiel für partizipative, demokratische Formate. Inwiefern ein derartiges Vorgehen im Hinblick auf die angestrebten gesellschaftlichen Ziele erfolgversprechend ist, müssen sozialwissenschaftliche Studien mit Fokus Techno-logiefolgenabschätzung und demokratische Willensbildung untersuchen. In jedem Falle ist ein diskursives, offenes Verfahren, welches eine Breite von gesellschaftlichen Interessengruppen umfasst, ein zu begrüßendes Vorgehen. Die Willensbildungsprozesse dürfen keinesfalls auf der bürokratisch, politischen Ebene isoliert vollzogen werden. Entscheidend erscheint die Schaffung einer öffentlich wahrnehmbaren Diskussion und Sensibilisierung zu den Themen der Auswirkungen von Technologien auf unser aller Leben.

Überblick über die wesentlichen Regelungsinhalte

Wesentliche Grundlage der KI-Verordnung ist die Festlegung des Anwendungsbereichs. Insbesondere zwei Regelungsgegenstände werden erfasst: Zum einen die Definition von KI-Systemen sowie zum anderen der weitgehend räumliche Anwendungsbereich. KI-Systeme werden im Sinne der Verordnung definiert als

„eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.“

Nach diesem Verständnis werden im Anhang I Techniken und Konzepte angeführt. Dazu z.B. zählen das maschinelle Lernen, Logik- und wissensgestützte Konzepte sowie statistische Ansätze und Bayesianische Schätz-, Such- und Optimierungsmethoden. Kritiker erkennen hier mehrere mögliche auslegungs- und konkretisierungsbedürftige Merkmale. Techniken und Konzepte wurden kritisch von den relevanten Stakeholdern gesehen. Wie unschwer zu erkennen ist, wurde der Rahmen also sehr weit gewählt. Ob der Gesetzgeber mit diesem Vorgehen ein adäquates Instrument zur Eindämmung von Missbrauch und negativen Entwicklungen geschaffen hat, bleibt abzuwarten.

Zur Bestimmung des räumlichen Anwendungsbereichs bringt der „Entwurf-KI-Verordnung“ das sogenannte „Marktortprinzip“ zur Anwendung. Dieses Prinzip beinhaltet, dass unabhängig ob Anbieter in der Union oder einem Drittland niedergelassen sind, diese von dem räumlichen Anwendungsbereich der KI-Verordnung erfasst werden. Entscheidend für die Erfassung ist, ob das KI-System in der Europäischen Union in Betrieb genommen werden soll. Unter den Anwendungsbereich fallen weiterhin Nutzer von KI-Systemen, die sich in der Union befinden sowie Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen bzw. ansässig sind. Voraussetzung hierfür ist, dass das vom KI-System hervorgebrachte Ergebnis in der Union verwendet wird. Damit besteht quasi ein „extraterritorialer Anspruch“ des EU-Rechts und in der Folge ein erweiterter räumlicher Anwendungsbereich über das Territorium der EU hinaus. Das Prinzip der Erweiterung des Anwendungsbereichs trägt den Erfordernissen des digitalen Zeitalters Rechnung und ist somit auf der Höhe der Zeit. Die beschriebenen Prinzipien weisen in diesem Sinne Parallelen zur Datenschutz-Grundverordnung auf.

Kernstück der Anwendbarkeit und Umsetzung der KI-Verordnung ist der risikobasierte Ansatz. Nach der Anwendung dieser Methode müssen als besonders schädlich eingestufte KI-Praktiken komplett verboten werden. Der Entwurf umfasst weiterhin eine äußerst umfangreiche Regulierung von Hochrisiko-KI-Systemen. Damit gemeint sind KI-Systeme, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen in sich bergen. Für KI-Systeme, die hingegen nicht den Risikokategorien zuzuordnen sind, werden nur minimale Transparenzpflichten vorgeschlagen. Darunter fallen z. B. Chatbots (Anwendung, die Künstliche Intelligenz verwendet, um sich mit Menschen in natürlicher Sprache zu unterhalten) oder „Deepfakes“ (ein mit Hilfe künstlicher Intelligenz erstelltes Bild oder Video, das authentisch wirkt, es aber nicht ist). KI-Systeme ohne immanentes, regulierungsbedürftiges Risiko sollen letztlich überhaupt nicht von der KI-Verordnung erfasst werden. Nach diesem Verständnis geht die EU-Kommission davon aus, dass die große Mehrheit der KI-Systeme hierunter erfasst werden kann. Als Beispiele werden Anwendungen wie KI-gestützte Videospiele oder Spamfilter herangeführt.

Umfassender Regulierung im Sinne des Entwurfs unterliegen Hochrisiko-KI-Systeme. Diese Systeme müssen Auflagen für vertrauenswürdige KI genügen und ein Konformitätsbewertungsverfahren durchlaufen. Erst nach diesem Verfahren dürfen Hochrisiko-KI-Systeme in der Union in Verkehr gebracht werden, so diese den vorgegebenen Anforderungen entsprechen.

Die Gewährleistung von Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Allgemeinheit und des Einzelnen sind übergeordnete Ziele dieser Verordnung. In diesem Zusammenhang ist die Wahrung von Grundrechten über den gesamten Lebenszyklus von KI-Systemen hinweg eine herausgehobene Intention der Verordnung. Um dieses Ziel zu erreichen, werden nicht nur den Anbietern, sondern ebenso den Nutzern umfassende Pflichten auferlegt. Diese Pflichten umfassen neben bereits genannten Aspekten (z.B. Konformitätsbewertung, Risikomanagement-Systeme) Anforderungen an die technische Dokumentation, die Erfüllung der Aufzeichnungspflichten, die Wahrnehmung der Transparenz und Bereitstellung von Informationen für die Nutzer. Verantwortungsübernahme der menschlichen Aufsicht, die Genauigkeit, sowie die Robustheit der Cybersicherheit und der Qualitätsmanagement-Systeme, der weiteren Beobachtung nach dem Inverkehrbringen, der Meldung schwerwiegender Vorfälle und der Fehlfunktionen sowie Korrekturmaßnahmen. In diesem Zusammenhang wird ein besonderer Fokus auf die Einhaltung von Qualitätskriterien für Daten und Daten-Governance gelegt. Auf die betroffenen Unternehmen dürfte ein überaus umfassender und komplexer Umsetzungsaufwand zukommen. Diese Erwartung erscheint umso plausibler vor dem Hintergrund, dass Unternehmen mit der Verankerung von Governance/Compliance-Prozessen, welche Cross-Functional erfolgen müssen, bereits in der Vergangenheit erhebliche Probleme hatten. Das sogenannte „Silo“-Denken (Denken in Bereichs- oder Funktionsverantwortung) und die Struktur der jeweiligen Aufbauorganisation von Unternehmen im klassischen Sinne (also keine situations- bzw. aufgabenbezogene Verantwortungsübernahme), dürfte auch in diesem Fall zu erheblichen Schwierigkeiten führen. Was lässt sich aus dem vorliegenden Entwurf weiterhin ableiten?

Das komplexe Geflecht an regulatorischen und operativen Maßnahmen zielt ganz klar auf die Etablierung eines umfassenden regulatorischen Rahmens für „KI-Produkt-Compliance“. Auf welche bereits vorhandenen Regelungen wird in diesem Zusammenhang aufgebaut? Im Hinblick auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten handelt, wird der Vorschlag zur Wahrung der Kohärenz, zur Vermeidung von Überschneidungen und zur Verringerung des Verwaltungsaufwands in die bereits vorhandenen sektorspezifischen Sicherheitsvorschriften eingebunden. So werden die Anforderungen an Hochrisiko-KI-Systeme, die mit unter den neuen Rechtsrahmen (New Legislative Framework, NLF) fallenden Produkten (wie zum Beispiel Maschinen, medizinische Geräte, Spielzeug) in Verbindung stehen. Im Rahmen der bestehenden Konformitätsbewertungsverfahren sind diese nach dem einschlägigen NLF-Recht zu prüfen. Für das Zusammenspiel der Anforderung gilt ausweislich der Gesetzesbegründung, dass die von den jeweiligen KI-Systemen abhängigen Sicherheitsrisiken den Anforderungen der KI-Verordnung unterliegen sollen. Demgegenüber soll mit dem NLF-Recht die Sicherheit des Endprodukts insgesamt gewährleistet werden.

Eine weitere Anforderung der KI-Verordnung besteht für die Mitgliedsstaaten darin, mittels einer Leitungsstruktur sowie eines Kooperationsmechanismus auf Unionsebene die Regelungen durchzusetzen. Es ist beabsichtigt, einen Europäischen Ausschuss für künstliche Intelligenz zu installieren. Dieser Ausschuss soll die Aufgabe haben, die Wettbewerbsfähigkeit zu befördern, die Entwicklung der KI-Technologie zu reviewen und zu beurteilen. Darüber hinaus werden Maßnahmen zur Unterstützung von Innovation vorgeschlagen, z.B. in Form von KI-Reallaboren.

Sanktionen und regulatorischer Rahmen

Anwendungen von KI mit unannehmbarem Risiko werden in Art. 5 Nr. 1 verboten. Darunter fallen nach Verständnis der Vorschrift solche Anwendungen, die menschliches Verhalten manipulieren und dadurch Menschen Schaden zufügen können, was nach Angaben der Kommission beispielsweise ein „Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert“, sein könnte. Was allerdings unter den weiten Begriff der Manipulation fallen soll, bleibt weitestgehend unklar.

Ebenfalls verboten werden Anwendungen, die Behörden eine Bewertung der Vertrauenswürdigkeit von Personen auf der Grundlage ihres Sozialverhaltens oder persönlichkeitsbezogener Merkmale und eine daran anknüpfende ungünstige Behandlung dieser Personen ermöglichen. Gemeint sind also beispielsweise Sozialkredit-Systeme, die derzeit in verschiedenen Formen bereits in China praktiziert werden und nach Ansicht der EU-Kommission mit europäischen Werten nicht vereinbar sind.

Weiterhin untersagt die Vorschrift im Grundsatz die Verwendung von Echtzeit-Fernerkennungssystemen im öffentlichen Raum zur biometrischen Identifizierung von Personen zum Zweck der Strafverfolgung. In diesem Falle gibt es jedoch Ausnahmen. Erlaubt ist z. B. die Anwendung von KI zur Terrorabwehr oder Aufdeckung schwerer Straftaten. Diese Ziffer dürfte sich im weiteren Gesetzgebungsprozess als die Problematischste erweisen, herrschen in den EU-Mitgliedsstaaten doch deutlich unterschiedliche Vorstellungen vom Verhältnis zwischen Freiheit und Sicherheit vor.

Damit die Verordnung perspektivisch auch Wirkung zeigt, werden die benannten Verbote mit einer Bußgeldvorschrift in Art. 71 Nr. 3 ergänzt. Verstöße werden mit bis zu EUR 30 Millionen oder 6 % des weltweiten Jahresumsatzes geahndet werden können. Diese Strafen können zur Anwendung gebracht werden, je nachdem welcher Betrag höher ist. Sollte diese Regelung so verabschiedet werden, handelt es sich um empfindliche Strafzahlungen. In Folge dessen sollten Unternehmen die entstehenden Kosten bei nicht konformem Verhalten den Investitionen in Prozesse, IT-Technologie und Personal gegenüberstellen, um „compliant“ zu sein. Ganz abgesehen vom drohenden Imageverlust von Unternehmen, die sich in den Augen der Öffentlichkeit nicht angemessen verhalten. In der Gesamtverantwortung sollte diese Aufgabe bei der Unternehmensführung angesiedelt sein. Im Sinne einer wirkungsvollen Corporate Governance sind angemessene Maßnahmen zu ergreifen.

Kaum Eingriffe bei sonstigen KI-Anwendungen

Der Verordnungsentwurf sieht mit dem Verbot von Systemen mit unannehmbarem Risiko und der umfangreichen Regulierung von Systemen mit hohem Risiko starke Eingriffe in die Inverkehrbringung von KI-Systemen vor. KI-Anwendungen mit geringem oder minimalem Risiko sollen hingegen nach dem Bestreben der EU-Kommission bewusst weitestgehend unreguliert bleiben. Mit dieser Intention soll dafür gesorgt werden, innovationsfreundliche Bedingungen zu schaffen.

In der Tat wird im Sinne des vorliegenden Entwurfs der Großteil von KI-Anwendungen von der EU-Kommission in den Bereich mit minimalem Risiko eingeordnet. So werden Videospiele, Suchalgorithmen oder Spamfilter nicht erfasst. Anwendungen mit geringem Risiko werden in Art. 52 des Entwurfs lediglich Transparenzpflichten auferlegt. Die Verordnung sieht vor, dass bei der Verwendung derartiger Systeme, unter die beispielsweise „Chatbots“ oder „Deep Fakes” fallen, den Nutzern klar werden muss, dass mit einer KI interagiert wird.

Verbotene Praktiken

Der Entwurf der KI-Verordnung zeigt in Art. 5 insgesamt vier verbotene Praktiken auf. Diese betreffen Verhaltensmanipulationen und richten sich auch an rein private Akteure. Die Verbote des Einsatzes von KI zu Zwecken des sogenannten „Social Scoring“, sowie zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, beziehen sich ausschließlich auf staatliches Handeln bzw. Handeln im Auftrag des Staats.

Kritisch anzumerken ist, dass der besonders weit gefasste Wortlaut der Verordnung auch allgemein akzeptierte KI-Anwendungen umfassen kann. Es stellt sich die Frage, ob die Europäische Kommission tatsächlich einen so weiten Anwendungsbereich beabsichtigt? Nicht auszuschließen wäre ggf. nach einer wortlautgetreuen Auslegung die Subsumption des sozialen Netzwerks Instagram unter die Verordnung. Vorausgesetzt, diese würde in der jetzigen Form in Kraft treten. 

Aufgaben und Herausforderungen für Unternehmen

Grundsätzlich sind nach dieser Verordnung Unternehmen aufgefordert, für Ihre Produkte, Leistungen und Services, welche KI-Technologie beinhalten, eine sogenannte Konformitätsprüfung nach den vorgegebenen Regeln eigenständig vorzunehmen. Nach erfolgreicher Konformitätsbewertung, sind die Hochrisiko-KI-Systeme in eine von der Kommission verwaltete EU-Datenbank einzutragen. Mit diesem Verfahren soll die Transparenz gegenüber der Öffentlichkeit gewährleistet und die Aufsicht sowie die Ex-post-Überwachung durch die zuständigen Behörden gestärkt werden. Eine Konformitätserklärung ist durch den jeweiligen Anbieter eigenverantwortlich zu erstellen. Um nach außen kenntlich zu machen, dass die Anforderungen erfüllt werden, hat der Anbieter weiterhin das bekannte CE-Zeichen anzubringen.[2] Erklärtes Ziel der Kommission ist, dass die CE-Normen parallel laufen und sich ergänzen. Vor diesem Hintergrund sollte man sich darüber klar sein, dass Produkte häufig in den Anwendungsbereich gleich mehrerer CE-Normen fallen können.

In diesem Zusammenhang ist ein Blick auf die anderen rechtlichen Rahmenbedingungen sowie deren Wechselwirkungen sinnvoll und notwendig. Die EU-Kommission verfolgt einen Ansatz, welcher eine ergänzende Wirkung der einzelnen Normen und rechtlichen Regelungen perspektivisch entfalten soll. Die angedachte Wechselwirkung spiegelt sich voll und ganz in dem Bezug zwischen der KI-Verordnung und der Maschinenrichtlinie (bzw. künftig Maschinen-VO) wider. Bei den Anforderungen in der KI-Verordnung geht es um die Sicherheitsrisiken, die von KI-Systemen ausgehen, welche Sicherheitsfunktionen in Maschinen steuern. Bestimmte spezifische Anforderungen der Maschinenrichtlinie hingegen sollen gewährleisten, dass ein KI-System auf sichere Weise in die gesamte Maschine integriert wird. Mit diesem Vorgehen soll die Sicherheit der Maschine insgesamt gewährleistet werden. Ein komplexes Feld, in welchem zukünftig die KI-Verordnung eine wesentliche Rolle spielen wird. In diesem Zusammenhang sollte positiv anerkannt werden, dass die EU-Kommission in einem sich ergänzenden Verbund eines regulatorischen Rahmens denkt und Schritt für Schritt die dazu gehörenden Gesetze realisiert.

Ein weiterer entscheidender Aspekt zur Erzielung der gewünschten Wirksamkeit der Verordnung, ist die Zuweisung einer konkreten Verantwortung innerhalb der Wertschöpfungskette. Um die Verantwortung klar zuordnen zu können, trifft Art. 24 des Entwurfs der KI-Verordnung eine klare Zuordnung. Diese besagt: Wenn ein Hochrisiko-KI-System für Produkte, (die unter in Anhang II CE-Normen fallen), zusammen mit einem erzeugten Produkt (unter dem Namen des Produktherstellers) in Verkehr gebracht oder in Betrieb genommen wird, der Hersteller des Produkts die Verantwortung für die Konformität des KI-Systems zu übernehmen hat. Somit unterliegt der Produkthersteller in Bezug auf das KI-System denselben Pflichten, wie ein Anbieter unter der KI-Verordnung.

Ausblick

Mit dem „Artificial Intelligence Act”, dem „Gesetz über Künstliche Intelligenz“, liegt der bislang konkreteste Vorschlag zur Regulierung der Nutzung von KI vor. Der Entwurf der KI-Verordnung muss im Gesetzgebungsverfahren noch das Europäische Parlament und den Rat der Europäischen Union passieren. Der Prozess dürfte angesichts der deutlich unterschiedlichen Vorstellungen in den EU-Mitgliedsstaaten hinsichtlich der Notwendigkeit der Regulierung von KI nicht nur einige Zeit in Anspruch nehmen, sondern höchstwahrscheinlich auch im Ergebnis zu Änderungen führen.

Trotz dieser langwierigen Prozesse hat die EU-Kommission mit dem Verordnungsvorschlag einen Grundstein für die Regulierung von KI gelegt. Es besteht die Aussicht, dass ähnlich wie bei der Datenschutzgrundverordnung, sich dieser gesetzliche Rahmen zu einem internationalen „Blueprint“ entwickeln könnte. Die Intention, Staaten, Bürger und Unternehmen in der Wahrung und beim Schutz von Grundrechten zu unterstützen, könnte mit diesem Gesetz einen guten Weg einschlagen.

Wie bei Gesetzgebungsverfahren üblich, müssen viele unterschiedliche Interessen berücksichtigt werden. Diese Tatsache und die damit verbundenen Verfahrensfragen machen die Ergebnisse nicht unbedingt optimaler. Die spätere Wirksamkeit der ursprünglichen politischen und gesetzgeberischen Absichten wird z. B. durch die Aufnahme von zu vielen Ausnahmen oder durch unscharfe Definitionen geschwächt. Mit dem Verordnungsentwurf liegt erkennbar ein Minimalkonsens an Regulierung vor.–Der Entwurf in seinem früheren Stadium sah deutlich weitergehende Verbote von KI-Anwendungen zur Beeinflussung und Überwachung von Menschen vor. Dennoch sieht sich der Entwurf scharfer Kritik von Seiten der Industrieverbände ausgesetzt. Eines der kritischen Hauptargumente ist, dass die Kategorie der KI-Anwendungen mit hohem Risiko zu weit gefasst wurde. Im Ergebnis, so der Vorwurf, werde dies in Zukunft dazu führen, dass Innovationen verhindert werden. Wie nicht anders zu erwarten, ist eines der Hauptargumente aus wirtschaftsnahen Kreisen, das Europa im internationalen Wettbewerb noch weiter zurückfallen könnte. Von der Seite der Industrieverbände ist derartige Kritik ohnehin zu erwarten und folgt einem nachvollziehbaren Muster. Ähnlich wie beim Datenschutz (DSGVO) oder dem Lieferkettengesetz werden nicht die Risiken für den Bürger und der Schutz der Grundwerte, sondern die Interessen von Unternehmen und letzten Endes monetäre Aspekte fokussiert. Bereits das 2020 vorgestellte Weißbuch der Künstlichen Intelligenz wurde mit ähnlichen kritischen Anmerkungen betrachtet. Die Interessenvertreter der Wirtschaft sollten sich früher im Klaren über die Folgen einer „Unterbelichtung“ von technologischen Fehlentwicklungen sein. Gerade in den letzten Jahren wurde immer deutlicher, dass die Bürger- und Zivilgesellschaft nicht mehr dazu bereit sind, absehbare Fehlentwicklungen zu befördern, ohne an ein verantwortbares Morgen zu denken. Gerade die KI-Technologie impliziert, dass wir als Gesellschaft immer verwundbarer werden. Bei der Planung, der Freigabe und dem Betrieb von KI müssen Security-Systeme, Risikomanagement und sogenannte „Mitigatingstrategien“ (Strategien zur Abmilderung eines identifizierten Risikos) mit einem den Erfordernissen der Zeit angemessenen Standard mitgedacht und implementiert werden.

Bürgerrechtler*innen und Teilen der Zivilgesellschaft geht der Entwurf hingegen nicht weit genug. Hauptkritikpunkt: Zu wenige Anwendungen fallen aus deren Sicht unter das Verbot in Art. 5. So müsse eine automatische Erkennung sensibler Merkmale wie Geschlecht, Sexualität und Herkunft ebenso untersagt werden. Das Verbot der Fernerkennung, das derzeit nur Echtzeit-Fernerkennungssysteme erfasse und zahlreiche Ausnahmen vorsehe, müsse weiterhin deutlich verschärft werden. Aus Sicht der Kritiker können die angedachten Regelungen mit den europäischen Werten nicht vereint werden. Missbräuche könne man von Seiten des Gesetzgebers nur durch konsequente Verbote wirksam verhindern.

Der sektorspezifische und zweckgerichtete Ansatz der Verordnung, mit den anderen CE-Normen einen einheitlichen Rechtsrahmen zu schaffen, ist zu begrüßen. Es sollte jedoch Klarheit darüber bestehen, dass Anbieter, welche, unter den CE-Normen Bereich fallen, mit Inkrafttreten der KI-Verordnung nun einem komplexeren Risiko unterworfen sein werden. Die große Herausforderung liegt zweifelsohne in der korrekten Einordnung von KI-Systemen. KI-Systeme können dynamische und selbstlernende Komponenten enthalten. Damit können sich ebenfalls Risikograduierungen verändern. Der „Compliance-Prozess“ muss in Folge dessen je nach dem definierten, transparenten Grundzweck eines KI-Systems kontinuierlich durch fachlich, technologisch und juristisch versiertes Personal überprüft und ggfs. angepasst werden. Wo befindet sich aktuell das Abstimmungsverfahren?

Nun muss der Vorschlag der Kommission vom Europäischen Parlament und von den Mitgliedstaaten im ordentlichen Gesetzgebungsverfahren angenommen werden. Sobald die Verordnung verabschiedet ist, wird sie unmittelbar in der gesamten EU gelten. So die Absicht. Der Digitalausschuss des Bundestags hat sich in seiner sechsten Sitzung am 16. März 2022, mit dem Bericht der Bundesregierung zum Verhandlungsstand zur EU-Verordnung für künstliche Intelligenz (KI) befasst. Wie weiter oben bereits angemerkt wurde, gibt es in den Mitgliedsländern unterschiedlichen Rechtsauffassungen und einen abweichenden Rechtsrahmen in Bezug auf die die biometrische Überwachung im öffentlichen Raum. So hebt Christian Meyer-Seitz, Abteilungsleiter Handels- und Wirtschaftsrecht im Bundesministerium der Justiz (BMJ), die Position der Bundesregierung hervor, dass einer biometrischen Überwachung im öffentlichen Raum nicht zugestimmt wird. Meyer-Seitz sagte dazu, „es gebe ein Wahlrecht in den Mitgliedsstaaten, Deutschland wolle die Anwendung nicht zulassen.“ Biometrische Fernidentifizierung könne für enge Zwecke, z.B. zur Bekämpfung von Terroranschlägen, das Aufspüren von Tätern, die per europäischem Haftbefehl gesucht würden oder bei der Suche nach Kindern, auf der Grundlage von innerstaatlichem Recht zugelassen werden. Ein „Rausverhandeln“ aus der Verordnung sehe er nicht. Aus seiner Sicht ist

„es eine bemerkenswerte Leistung der Europäischen Kommission, die Verordnung über die gesamte Anwendungsbreite entwickelt zu haben. Dennoch sehe das BMJ ein separates Kapitel innerhalb der Verordnung für Sicherheitsbehörden als sinnvoll an.“[3]

Fazit

Es ist ein positives Signal, dass sich die EU grundsätzlich mit der komplexen Materie der Regulierung von KI-Technologie in Form eines Gesetzgebungsverfahrens beschäftigt. Dieses Signal wird über Europa hinauswirken. Der vorliegende Entwurf der KI-Verordnung ist ein Meilenstein zum Schutz bürgerlicher Freiheitsrechte gegen etwaige Bedrohungen durch Künstliche Intelligenz. Dies gilt insbesondere für das absolute Verbot von Social Scoring sowie das grundsätzliche Verbot der Nutzung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken. 

Der weit gefasste Wortlaut des Entwurfs, insbesondere mit Fokus auf verhaltensmanipulierende KI, erscheint allerdings überambitioniert und in der Umsetzung nicht praktikabel. Der Bürger sollte, wenn der regulatorische Rahmen gegeben ist, sich vor den Gefahren des Missbrauchs selbst schützen können. Selbstverständlich trägt der Bürger auch Eigenverantwortung und muss sich mit den Risiken von neuen Technologien beschäftigen. Gesetzliche Vorhaben sollten mit dem Leitbild eines freien und mündigen Bürgers in Einklang sein. Besonders schutzwürdige Personen, wie z. B. Heranwachsende, müssen gesondert betrachtet werden. Die Auslegungen im Falle von Instagram sollten klärend eingeordnet werden. Die wesentliche Kritik von verschiedenen Seiten zeigt jedoch, dass eine Regulierung von KI genug Freiraum für Innovationen zu lassen habe. KI-Anwendungen sollten Zugang zu alltäglichen Bereichen finden. In grundrechtssensiblen Bereichen müssen sie jedoch einen wirksamen Schutz bieten und dieser muss nachvollziehbar sein. Ein wesentliches Kriterium für die Erfolgsaussichten der Verordnung stellt deren spätere Durchsetzungsfähigkeit dar. In unserer komplexen Welt haben wir gravierende Steuerungs- und Durchsetzungsprobleme für im Grunde vernünftige politische Absichten (siehe globales Steuersystem, Geldwäsche, Lieferkettengesetz, Durchsetzung von Menschenrechtsstandards etc.). Die grundlegende Frage besteht darin, wie und in welcher Qualität der gewünschte Schutz vor Missbrauch von KI-Anwendungen messbar ist und nachweißlich Anwendung findet. Mit starren Verboten von KI-Anwendungen wird dieses Vorhaben nicht zu erreichen sein. Der von der EU-Kommission mit dem Verordnungsentwurf gewählte Weg des flexibleren, risikobasierten Ansatzes und dem Schwerpunkt auf einer strengen Regulierung von hochriskanten KI-Systemen ist grundsätzlich der richtige Weg. Eine wesentliche Aufgabe ist natürlich die Ermöglichung von Freiräumen für weniger risikoreiche Anwendungen. Dafür, dass es am Ende der erhoffte große Wurf wird, werden also in erster Linie eine sorgfältig austarierte Klassifizierung der KI-Systeme und sinnvolle Regularien, deren Einhaltung auch überprüft werden können, entscheidend sein. Die Pflicht zur Erfassung in einer Datenbank auf EU-Ebene ist ein wesentlicher Schritt. Wo ist noch Raum für Verbesserungen?

Ein juristisches Grundprinzip sollte in jedem Falle eingehalten werden: Gleiches sollte gleichbehandelt werden. Dies gilt ebenso für den Umgang mit personenbezogenen Daten. Hinsichtlich eines effektiven Schutzes personenbezogener Daten ist es nicht nachvollziehbar, dass in KI-Reallaboren ein unterschiedliches Schutzniveau in Abhängigkeit der Herkunft der Daten herrschen soll. Aus dem gleichen Grund sollte prinzipiell der Datenschutz in den Vordergrund gestellt werden und damit den risikobasierten Ansatz, im Umgang mit–personenbezogenen Daten, überlagern. Ein weiterer kritisch anzumerkender Aspekt ist der weitgefasste Rahmen, der bestimmt, was ein KI-System ist. Kritiker erkennen hier mehrere auslegungs- und konkretisierungsbedürftige Merkmale. Der Rahmen wurde von der EU-Kommission ganz bewusst sehr weit gefasst. Damit verbunden ist allerdings ein zukünftiges Problem in der Identifikation und der notwendigen Zuordnung von KI-Systemen in die jeweilige Risikoklasse. Gewissermaßen könnte man jegliche aufwändigere Software als ein potenzielles KI-System auffassen. In diesem Punkt bleibt abzuwarten, wie in dem Gesetzgebungsverfahren klarere Definitionen einer gewissen Konturlosigkeit entgegenwirken können.

Der EU steht bis zu dem Erreichen einer endgültigen Regelung ohne Zweifel eine Herkulesaufgabe bevor. In Anbetracht aller anderen Krisen, der Kriege und gravierenden, existenzbedrohenden Probleme ist dieses Verfahren ein Thema, welches mit allem anderen in Verbindung steht und unsere Zukunft beeinflussen wird. Gut, dass der Entwurf der KI-Verordnung auf dem Weg ist!

Quellen:

[1] Stephan Manuel Nagel, LL.M. (EUI); Partner, Düsseldorf; Taylor Wessing; https://iot.taylorwessing.com/verbotene-praktiken-nach-dem-entwurf-der-ki-vo-verbietet-die-europaeische-kommission-instagram/; Abruf am 11.02.2022/12:05 Uhr.

[2] Dr. Michael Kieffer; Salary Partner, München ; Taylor Wessing CE-Zeichen für KI-Systeme – Ausweitung des Produktsicherheitsrechts auf künstliche Intelligenz; https://iot.taylorwessing.com/ce-zeichen-fuer-ki-systeme-ausweitung-des-produktsicherheitsrechts-auf-kuenstliche-intelligenz/; Abruf am 11.02.2022 um 12:13 Uhr.

[3] https://www.bundestag.de/dokumente/textarchiv/2022/kw11-pa-digitales-kuenstliche-intelligenz-883942; Abruf am 01.05.2022. um 10:18 Uhr.

Alle Rechte vorbehalten.

Abdruck oder vergleichbare Verwendung von Arbeiten des Instituts für Sozialstrategie ist auch in Auszügen nur mit vorheriger schriftlicher Genehmigung gestattet.

Publikationen des IfS unterliegen einem Begutachtungsverfahren durch Fachkolleginnen- und kollegen und durch die Institutsleitung. Sie geben ausschließlich die persönliche Auffassung der Autorinnen und Autoren wieder.

Posted by Oliver Bülchmann

All Posts