How to control AI – A glimpse at European Regulatory Practices
Prof. Dr. Dr. Dr. h.c. Ulrich Hemel, Stv. Sprecher Public Advisory Board, CyberValley Tübingen
Der Ausbruch von KI-Agenten im Sommer 2026 hat zu stärkerer Aufmerksamkeit für die ethischen Fragen rund um KI geführt. Während die amerikanische Tech-Szene jahrelang jede Art von Regulierung ablehnte, wurden nun Stimmen laut, die sich für eine KI-Regulierung aussprachen.
Dabei spielen natürlich auch Ängste eine Rolle. Was passiert, wenn sich KI-Agenten in ein Atomkraftwerk hacken? Oder wenn sie zur Produktion biologischer Waffen verwendet werden? Wer es gerne dramatischer haben möchte: Können wir den Weltuntergang überhaupt noch verhindern?
Tatsächlich wissen wir nie, was die Zukunft bringt. Es spricht aber eben doch viel für gewaltige Produktivitätsgewinne durch KI, einiges auch für eine Überbewertung von KI-Firmen auf den weltweiten Börsenmärkten. Darüber hinaus sind auch ethische Fragen meist nicht ohne regionalen und politischen Kontext zu beantworten.
Schließlich gibt es hoch skeptische Stimmen, die einen „Point of no return“ nahelegen. Denn was soll Regulierung bewirken, wenn KI über offene Systeme in die Welt kommt, wie es in China überwiegend der Fall ist? Und wie soll Verantwortung festgemacht werden, etwa im Fall von Schadenersatzklagen? Haftet der Programmierer, seine Firma, oder haftet der fehleranfällige Anwender selbst?
Zur Technik gehört es allerdings immer, dass sie gefährlich werden kann. Mit Messern kann ich Brot schneiden oder Menschen erstechen. Mit Autos gewinne ich die Freiheit zu weitgehender Mobilität, aber auch ein PKW kann zum Mordwerkzeug werden.
In jedem Fall gilt: Die gesellschaftliche Regulierung durch Gesetze kommt immer erst nachträglich ins Spiel. Bei der ersten Autofahrt der Welt mit Bertha Benz gab es keine Geschwindigkeitsregeln. Sie waren auch nicht nötig. Mit dem Bewusstsein der Gefahr kommt aber Schritt für Schritt eine Diskussion rund um die Risiken einer Technik in Gang, die am Ende zu Gesetzen und deren Kontrolle führt. Gleiches gilt für das Telefonieren mit dem Mobiltelefon im Auto: Anfänglich war es erlaubt, heute geht es nur mit einer Freisprechanlage.
Und manchmal findet die Industrie selbst innovative Lösungen. Ein Beispiel ist die Versicherungswirtschaft, die beispielsweise bei Kraftfahrzeugen eine „Pool-Lösung“ für unklare, technisch bedingte, aber kausal schwer zu belegende Schäden gefunden hat. Alle Versicherer zahlen in diesen Pool ein. Wird ein Schaden als „kausal schwer zu belegen“ eingeordnet, kommt der Pool für den Schaden auf!
Für die KI-Regulierung hat die EU es mit vier verschiedenen Risikoklassen versucht. Das ist ein Anfang, aber am Ende eben nur ein erster Schritt. Ich möchte hier vor allem auf ein Beispiel aus der Medizinproduktebranche eingehen, in der ich über Jahrzehnte tätig war. Dort gibt es ein komplexes europäisches Regelwerk, die Medical Device Regulation (MDR), etwa mit der Norm EN 13485.
Diese Norm entstand als Reaktion auf einen eklatanten Missbrauchsfall. Denn ein französischer Hersteller von Silikonimplantaten verwendete Industriesilikon statt medizinisch reinem Silikon. Bei einigen Anwenderinnen platzte das Silikon dann im Körper auf. Dies war der Anlass für sehr strenge Zulassungsregelungen für Medizinprodukte. Unterschieden werden Produkte der Klasse I, die auf intakter Haut angewendet werden, also z.B. medizinische Binden. Bei Klasse II geht es um offene Wunden, bei Klasse III um Produkte, die im Körper bleiben sollen, so wie eben Implantate.
Der Gesetzgebungsvorgang war langwierig und hoch umstritten. Interessant war hier die Verhaltensweise sehr großer Unternehmen: Einerseits kritisierten sie öffentlich die neue Bürokratie. Andererseits erkannten sie in den „bürokratischen Hürden“ einen Wettbewerbsvorteil gegenüber kleineren Unternehmen, die sich den gewaltigen regulatorischen Aufwand bis zur Produktzulassung nicht leisten konnten. Daher ist die Kritik an der „Innovationsfeindlichkeit“ der Regulierung auch nicht ohne sachlichen Hintergrund. Fakt ist jedenfalls: Die Gesellschaft hat sich für ein bestimmtes Maß an „Sicherheit“ entschieden, um Risiken zu vermeiden.
Ähnliches gilt für den pharmazeutischen Bereich, wo klinische Studien in den verschiedenen Phasen nach Kriterien rund um „Wirksamkeit“ und „Sicherheit“ bewertet werden müssen. Die Einführung neuer Pharmaprodukte dauert daher oft Jahrzehnte, der Aufwand geht in die hunderte Millionen Euro.
Die Gesundheitsbranche mag ein extremes Beispiel für Regulierung sein. Und doch kann sie einer KI-Regulierung wichtige Impulse geben. Das fängt an beim Nachdenken über Risiken: welche wollen wir grundsätzlich vermeiden, welche in einem bestimmten Maß in Kauf nehmen? Ein zweiter Schritt ist die „testweise Zulassung“, also eine öffentliche Kennzeichnung eines Produkts als „neu“ und „in der Experimentierphase befindlich“. Es ist unvermeidlich, dass dafür auch eine Zulassungs- und Überwachungsbehörde erforderlich ist. Außerdem sind im Lauf der Zeit Spezialisten für die Qualitätssicherung entstanden, welche die notwendigen Audits durchführen. Denn ein Medizinprodukt kann in Europa nur auf den Markt gebracht werden, wenn es eine Zulassung nach Norm EN 13485 erhalten hat. Diesen Standard überprüfen unabhängige Auditoren in den betreffenden Betrieben. Die Auditoren wiederum unterliegen einem Peer Review Verfahren.
Es gibt keinen Grund, warum es solche Verfahren jenseits der gegenwärtigen Wild-West-Praxis nicht auch im Bereich der KI geben sollte. Risiken können klassifiziert, Prüfverfahren können standardisiert und überwacht werden. Die gegenwärtige Vorzugsbehandlung der KI-Industrie hat mit der Neuheit der Technik zu tun, nicht mit der Abwesenheit von Risiken.
Wären solche Spielregeln ein Eingriff in die Freiheit der Wissenschaft und Forschung? In aller Regel ist das nicht der Fall. Es gibt aber Ausnahmen. So hat beispielsweise die sehr frühe Regulierung im Bereich der Gentechnik zu einer weitgehenden Abwanderung solcher Forschung aus Europa geführt. Damit sind natürlich nicht alle Fragen gelöst: Sie treten dann eben im Verlauf der weiteren Entwicklung auf. Manchmal kommt es zu überraschenden Ergebnissen. So beruhte die gesetzliche Regulierung der Embryonen- und Stammzellenforschung auf einem Forschungsstand, der inzwischen längst überholt ist.
Ich habe daraus in Anwendung auf die KI ein „regulatorisches Paradox“ formuliert, das lautet wie folgt: „KI-Regulierung ist nötig, aber wenn sie kommt, dann kommt sie entweder zu früh oder zu spät, und sie ist entweder zu streng oder zu lax.“ Auflösen lässt sich dieses regulatorische Paradox nur durch den Gedanken der iterativen Selbstkorrektur, also einer großen gesellschaftlichen Suchbewegung in Richtung eines gangbaren Gleichgewichts zwischen Chancen und Risiken.
Während die USA bisher in der Herstellung fairer Wettbewerbsbedingungen im KI-Bereich versagt haben und im Gegensatz zu früheren Zeiten Digitalmonopole zulassen oder sogar fördern, versucht die EU mit mehr oder weniger großem Erfolg, eine Politik des Interessenausgleichs zu verfolgen. Da gelingt nicht jeder Schritt, aber der Versuch ist doch von ungeheurer Bedeutung. Ein Beispiel ist die Europäische Datenschutzgrundverordnung (EDSGV), die anfänglich stark kritisiert wurde, aber in der Zwischenzeit weltweit als wertvoller Impuls für das Recht an den eigenen Daten anerkannt wird.
Die EU kann aber nur erste und häufig unvollkommene Schritte machen. Wir brauchen daher eine wirklich internationale Datenagentur, die ähnlich wie die Internationale Atomenergiebehörde auch echte Durchgriffsrechte etwa zum Abschalten von hochrisikoreichen Applikationen erhielte. In meinem Buch „Kritik der digitalen Vernunft“ hatte ich bereits solche internationalen Behörden bis hin zu einem internationalen Digitalgerichtshof gefordert. Unabhängig davon setzt sich auch mein Wirtschaftsethik-Kollege Peter Kirchschläger für eine solche Internationale Daten-Agentur ein.
Aber dauert das nicht viel zu lange? Und geht die Welt dann nicht schon zuvor zugrunde? Und da war vom physischen Ressourcenverbrauch der KI noch gar nicht die Rede, also der unvorstellbaren Menge an Wasser und Energie, die für das Betreiben der Rechenzentren erforderlich ist.
In der Medizinprodukte-Industrie gibt es letztlich bis heute keinen weltweiten Standard. Die Medical Device Regulation der EU steht neben den US-amerikanischen Bedingungen der FDA und der chinesischen Regulierung. Wahr ist aber auch, dass diese Regulierungen in großen Teilen übereinstimmen, ganz einfach, weil es um ähnlich gelagerte Themen und Herausforderungen geht.
Wir stehen gerade jetzt vor dem Umbruch, der regelmäßig zu beobachten ist, wenn eine neue Technik alltagstauglich wird, aber neben den großen Chancen auch die Risiken sichtbarer werden. Leider sind es oft genug spektakuläre Schadensfälle, die ein Umdenken bewirken: Der Abwurf der ersten Atombombe 1945 in Hiroshima und – in viel kleinerem Maßstab – der Silikonimplantate-Skandal für europäische Medizinprodukte.
Es muss unsere Hoffnung sein, dass wir zu einem guten internationalen Vorgehen rund um KI-Produkte kommen, bevor größere Unglücke und Katastrophen passieren.
Unmöglich ist es nicht: Immerhin hatte die Welt sich auf die Behebung des Ozonlochs einigen und diese Einigung auch durchsetzen können. Heute spielt Fluorkohlenwasserstoff (FCKW) kaum eine Rolle mehr, und das Montrealer Protokoll von 1987 wurde zur Erfolgsgeschichte: 2025/2026 war das Ozonloch über der Antarktis so klein wie seit über 30 Jahren nicht mehr.
Mit anderen Worten: Es ist höchste Zeit, aber es ist nicht zu spät!
Literatur
Ulrich Hemel, Edeltraud Leibrock, Christoph Metzler, Alexander Nüßgen, Margot Ruschitzka, Christian Rusche, Künstliche Intelligenz als Co-Pilot – Eine Triebfeder für mehr Wohlstand, Potenziale heben und Risiken vermeiden, in IW Policy Paper 16/20, Institut der deutschen Wirtschaft Köln e.V. (Hrsg.), digital unter:
Ulrich Hemel, Kritik der digitalen Vernunft, Warum Humanität der Maßstab sein muss, Freiburg/Br. 2020
Ulrich Hemel, From Wild West to a World in Balance: AI and the Future of Global Civil Society, in: Reinhard Kahle, Harald Mieg, and Michael Resch (eds.), AI and Society, Jahrbuch Wissenschaftsforschung 2024 der Gesellschaft für Wissenschaftsforschung. Berlin: University Publishing, 2026, 133-155
Peter Kirchschläger, Ethik der „KI“? Tübingen: Mohr Siebeck 2026
Philipp Schwegel / Patrick Da Cruz / Ulrich Hemel / Peter Oberender (Hrsg.), Medizinprodukte-Management, Bayreuth 2014, 216-219
