Interview

„Durch diese Vielzahl an zuständigen Behörden werden Kooperationen und ein hoher Koordinierungsaufwand notwendig“

Interview mit Dr. Jonas Botta (FernUniversität in Hagen)

Ein Gespräch über die KI-Marktüberwachungsstellen, die seit Ende Juli mit dem KI-MIG in Kraft gesetzt und durch die Bundesnetzagentur zentral koordiniert werden.

Dr. Jonas Botta ist Rechtswissenschaftler und vertritt derzeit die Juniorprofessur für Öffentliches Recht mit Schwerpunkt Datenschutzrecht und Recht der Digitalisierung an der FernUniversität in Hagen. Er ist neben Mario Martini Autor des Gutachtens „Nationale KI-Aufsicht – Aufgaben, Befugnisse und Umsetzungsoptionen“ (2024, Bertelsmann Stiftung) (Öffnet in einem neuen Tab). Als Sachverständiger verfasste er eine Stellungnahme zum Entwurf des „Gesetzes zur Durchführung der Verordnung über künstliche Intelligenz“ (Öffnet in einem neuen Tab) für eine Anhörung beim Ausschuss für Digitales und Staatsmodernisierung des Deutschen Bundestages (März 2026). Aus diesem Entwurf ging das KI-Marktüberwachungs- und Innovationsförderungs-Gesetz hervor.

prompt/: In Deutschland wird die KI-Marktüberwachung nicht in einer Behörde zentralisiert, sondern nach Branchen und wohl auch auf die Bundesländer aufgeteilt. Wieso halten Sie das für teilweise problematisch?

Jonas Botta: Die Regelungen in der vom Unionsgesetzgeber in Kraft gesetzten KI-Verordnung sind nicht abschließend, sondern bedürfen nationaler Durchführungsvorschriften. Die Gesetzgeber in den Mitgliedsstaaten haben also Gestaltungsspielräume. Um die nationalen Gesetze juristisch zu bewerten, sind sowohl das Unionsrecht als auch das deutsche Verfassungsrecht heranzuziehen, dazu kommen verwaltungsrechtliche Perspektiven. Hinzu tritt eine rechtspolitische Dimension, in der es nicht um rechtliche Grenzen, sondern die Ausfüllung des rechtlich Möglichen geht.

Die KI-Verordnung fordert von den Mitgliedstaaten zum einen eine Marktüberwachungsbehörde, die über den KI-Einsatz wachen und auch Sanktionen erteilen kann. Zum anderen muss es eine sogenannte notifizierende Behörde geben, die dafür zuständig ist, Prüfstellen zu genehmigen, welche wiederum dafür verantwortlich sind, dass nur rechtskonform entwickelte KI-Systeme in den Verkehr gebracht werden. Die KI-Verordnung schreibt aber nicht vor, wer das machen soll.

Tatsächlich haben es die Mitgliedstaaten recht unterschiedlich gelöst. Spanien hat eine eigenständige KI-Behörde geschaffen, Frankreich hat die KI-Aufsicht der Datenschutzbehörde CNIL zugeschlagen, Polen will ebenfalls eine KI-Kommission gründen. Dies sind zentralistische Staaten, wie die meisten in der EU. Deutschland gehört als Föderalstaat zur Minderheit und hat daher besondere Herausforderungen, die EU-Verordnung umzusetzen und eine Marktüberwachungsbehörde aufzustellen. Die Ampel-Regierung legte den ersten Gesetzesentwurf noch 2024 vor. Durch den Ampelbruch kam der Gesetzgebungsprozess ins Stocken.

prompt/: Seit Ende Juli gilt das KI-Marktüberwachungs- und Innovationsförderungsgesetz, kurz KI-MIG.

Jonas Botta: Genau. Demnach agiert als Marktüberwachungsbehörde die Bundesnetzagentur. Sie ist zwar die Zentralstelle, aber nicht in jenen Bereichen zuständig, wo es bereits Marktüberwachungsbehörden gibt. Beispielsweise das Kraftfahrt-Bundesamt, KBA, die Bankenaufsichtsbehörde Bafin, oder aber auch das Gewerbeaufsichtsamt eines Regierungsbezirks in Bayern. Für die Koordination und Kooperation dieser weiteren Marktüberwachungsbehörden, und das sind dutzende, wenn nicht sogar eine dreistellige Zahl, ist die Bundesnetzagentur zuständig.

Was ich dabei als Problem sehe, ist, dass dort überall KI-Kompetenzen erforderlich werden, bis runter zu den Gewerbeaufsichtsämtern. Dafür braucht es einerseits das entsprechende Personal: Im Grunde nicht nur Juristen, sondern beispielsweise auch Informatiker – die sind nicht leicht zu finden. Dazu kommt: Je mehr Akteure daran beteiligt sind, die gleichen Regeln in unterschiedlichen Bereichen anzuwenden, desto mehr werden über kurz oder lang auch unterschiedliche Rechtsauffassungen entstehen, das zeigen unter anderem die Erfahrungen in der Datenschutzaufsicht.

Dazu kommt, dass die Datenschutzaufsicht überall dort, wo personenbezogene Daten verarbeitet werden, mit hinzugezogen werden muss – das ist in vielen KI-Bereichen der Fall. Das heißt, durch diese Vielzahl an zuständigen Behörden werden Kooperationen und ein hoher Koordinierungsaufwand notwendig. Doch hierzu gibt das KI-MIG zu wenig vor, insbesondere nichts dazu, was bei Streitfällen passieren soll. Die Bundesnetzagentur hat da nicht per se das letzte Wort.

prompt/: Steht der Föderalismus einer effizienten KI-Marktüberwachung im Weg?

Jonas Botta: Nun, es könnte zu sogenannten Verwaltungsvereinbarungen kommen, die kennen wir beispielsweise von den Aufgaben der Bundesnetzagentur im Energiebereich, man spricht dann von „Organleihe“. Das heißt, die Bundesländer schaffen keine eigenen Behörden, sondern übertragen die Aufsichtsaufgaben, in diesem Fall betreffend der Energiewirtschaft, an die Bundesnetzagentur. So sind die Länder Berlin, Brandenburg, Bremen und Schleswig-Holstein vorgegangen. Und das will man, so konnte man zumindest der Presse entnehmen, jetzt wohl auch für den KI-Bereich tun.

prompt/: Das klingt plausibel.

Jonas Botta: Die von der Bundesnetzagentur eingerichtete „Unabhängige KI-Marktüberwachungskammer“, kurz UKIM, ist auf Bundesebene zuständig für bestimmte Hochrisikobereiche. Also immer dann, wenn es beispielsweise um Biometrie geht oder Strafverfolgung, Grenzmanagement, Demokratie und Justiz. Mir ist jedoch nicht klar, ob die Länder auch in diesen Risikobereichen die Aufsichtsaufgaben per Organleihe an die Bundesnetzagentur übertragen wollen. So war das mal ursprünglich in dem Entwurf der Ampelregierung angelegt. Das würde bedeuten, dass die UKIM, als Beispiel, auch bei der Landespolizei Baden-Württemberg prüfen müsste, ob hier KI rechtskonform eingesetzt wird. Es wäre jedoch verfassungsrechtlich sehr problematisch, wenn es dadurch Eingriffsbefugnisse gegenüber Landesbehörden gäbe. Das alles wird man aber erst richtig beurteilen können, wenn diese Verwaltungsvereinbarungen zusammengeschnürt sind und öffentlich werden.

prompt/: Es sind schon jetzt Eingaben und Beschwerden bezüglich KI-Regelverstößen möglich. Welche Art von KI-Ärger wird aus Ihrer Sicht am ehesten oder am häufigsten gemeldet werden?

Jonas Botta: Die Bundesnetzagentur hat ja bereits 2024 einen KI-Service-Desk aufgesetzt, mit dem sie vor allem Unternehmen berät. Ich kann mir gut vorstellen, dass über das neue Koordinierungs- und Kompetenzzentrum viel laufen wird, insbesondere was unverbindliche Leitlinien oder beispielsweise auch die Auslegung von Rechtsfragen betrifft. Zudem sind durch das „Omnibus“-Gesetzespaket der EU viele KI-bezogene Pflichten zeitlich verschoben worden. Daher werden sich die Stellen wohl mit den Regelungen beschäftigen müssen, die eben jetzt schon greifen. Das sind vor allem die Transparenz- und die KI-Kennzeichnungspflichten, die seit dem 2. August laut Artikel 50 der KI-Verordnung gelten. Deswegen wäre jetzt meine Vermutung, dass viele Leute auf diese Pflichten eingehen, etwa auch Unternehmen untereinander, wenn es um Konkurrenz geht.

prompt/: Die KI-Marktüberwachungsstellen können bei Verstößen Strafen verhängen, die mitunter drastisch wären. Wie bewerten Sie diese Regelungen?

Jonas Botta: Im Datenschutzrecht gab es schon Behördenentscheidungen in Deutschland, bei denen die Strafen in die Millionenhöhe gegangen sind. Die letztendlich rechtskräftig gewordenen Summen sehen oft anders aus, weil man sich außergerichtlich einigte oder es am Ende noch anders entschieden wurde. Im KI-Bereich sind noch höhere Strafen möglich. Gleichzeitig liegt die Erstzuständigkeit für solche Verfahren stets bei den Amtsgerichten und nicht, wie beim Datenschutz, bei den Landgerichten, wenn die festgesetzte Geldbuße den Betrag von einhunderttausend Euro übersteigt. Man wird sehen müssen, ob diese unteren Instanzen mit dieser Materie überfordert sein werden.

Aus meiner Sicht besonders brisant ist die Regelung im deutschen KI-Recht, wonach gegenüber Behörden keine Bußgelder möglich sind. Wenn also beispielsweise eine Polizeibehörde rechtswidrig KI verwendet oder rechtswidrige KI entwickelt, könnte man zwar mit anderen Mitteln dagegen vorgehen, aber nach dem KI-MIG selbst gibt es keine Bußgeldmöglichkeiten durch die Marktüberwachung.

prompt/: Dies haben Sie in Ihrer Stellungnahme zum KI-MIG-Entwurf moniert.

Jonas Botta: Genau, weil das Unionsrecht dies nicht zulässt. Die KI-Verordnung bietet hier für die nationale Umsetzung nur Spielraum für das Wie, also bei der Art und Weise, aber nicht für das Ob, also dass überhaupt sanktioniert wird. Ich könnte mir vorstellen, dass der Europäische Gerichtshof (EuGH) das kassiert und das entsprechende deutsche Gesetz geändert werden muss.

prompt/: Ähnlich kritisch sehen Sie ja auch die Frage der Unabhängigkeit, die die KI-VO für die Marktüberwachungsbehörden zwingend vorgibt.

Jonas Botta: Man kann gewiss darüber streiten, ob die KI-Verordnung, wenn sie eine „allgemeine Unabhängigkeit“ der Marktüberwachungsbehörden vorsieht, das besonders streng oder eher weicher sieht. Doch verschärft stellt sich diese Frage bei der UKIM, die unzweifelhaft „völlig unabhängig“ sein muss. Bei ihr lässt sich schon hinterfragen, ob sie eine eigenständige Behörde im Sinne der KI-VO darstellt oder lediglich eine Organisationseinheit innerhalb der Bundesnetzagentur. Außerdem ist strittig, ob die Übertragung der KI-Aufsicht in diesem speziellen Bereich auf eine Nicht-Datenschutzbehörde zulässig ist. Schwer wiegt zudem, dass die fachliche Qualifikation und materielle Unabhängigkeit der UKIM gesetzlich nicht abgesichert sind.

prompt/: Dazu müsste jemand klagen – oder wird der EuGH von sich aus aktiv?

Jonas Botta: Die EU-Kommission könnte ein Vertragsverletzungsverfahren einleiten, dafür ist der EuGH zuständig. Oder Bürger, Unternehmen oder Behörden könnten mittelbar durch gerichtliche Vorlagefragen zum EuGH solche Entscheidungen anregen.

Themen

Service

Beschwerdestellen bei KI-Ärger

Bundesnetzagentur, Landesmedienanstalten, KI-Büro der EU und Bafin: Bei diesen Stellen lassen sich Verstöße gegen die KI-Verordnung online …

1 Min. Lesezeit