Schwerpunktthema

KI-Aufsicht in Deutschland: Komplex, nur keiner soll’s merken

Wie das KI-MIG die Zuständigkeiten zwischen Bundesnetzagentur, Fachbehörden und Ländern verteilt

„Das ist auch ein Signal, wie wir uns eine nationale KI-Aufsicht vorstellen: wirtschafts- und innovationsfreundlich, mit schlanken, schnellen Strukturen und klarer Orientierung für Unternehmen.“ Mit diesen Worten stellte Bundesdigitalminister Dr. Wildberger im Juli 2025 (Öffnet in einem neuen Tab) nicht nur den neuen KI-Service-Desk der Bundesnetzagentur vor. Vielmehr zeichnete Wildberger damit auch sein Bild der künftigen KI-Aufsicht in Deutschland: unkomplizierte und effektive Strukturen, die eine wirksame Aufsicht ohne zusätzliche Aufwände bei Unternehmen und Organisationen ermöglichen.

Mit dem KI-Marktüberwachungs- und Innovationsförderungs-Gesetz (KI-MIG) (Öffnet in einem neuen Tab), das ein Jahr später im Juli 2026 in Kraft getreten ist, soll nun genau dieses Ziel erreicht werden. Doch statt alle Zuständigkeit bei einer Aufsichtsstelle zu bündeln – so etwa in Spanien mit der Agencia Española de Supervisión de la Inteligencia Artificial –, sollen in Deutschland viele Aufsichtsbehörden nebeneinander für die Umsetzung der KI-Verordnung zuständig sein: sowohl auf Bundes- als auch auf Landesebene.

Der Grund? Die KI-Aufsicht soll nicht auf dem Papier, sondern in der Praxis (Öffnet in einem neuen Tab) unkompliziert sein. Das bedeutet, dass Unternehmen und Organisationen sich bestenfalls nur mit den Behörden auseinandersetzen müssen, mit denen ohnehin schon ein intensiver Austausch besteht.

KI-Einsatz in der Gesellschaft: Komplexes ZusammenspielLink zu diesem Abschnitt: KI-Einsatz in der Gesellschaft: Komplexes Zusammenspiel

Nach dem KI-MIG ist bei der Frage nach der zuständigen Aufsichtsbehörde deshalb vor allem danach zu unterscheiden, wer ein KI-System wofür einsetzt. Für Akteur*innen aus Wirtschaft und Gesellschaft, die nicht dem Staat und seinen Aufgaben zuzuordnen sind, gilt Folgendes:

  • Für KI-Systeme, die im Finanzsektor eingesetzt werden, soll die Bafin (Bundesanstalt für Finanzdienstleistungsaufsicht) (Öffnet in einem neuen Tab) die KI-Aufsicht übernehmen. Das betrifft zum Beispiel KI-Systeme, die bei Banken oder privaten Krankenkassen im Zusammenhang mit Finanzdienstleistungen wie Darlehen oder Beitragsberechnungen eingesetzt werden.
  • Ähnliches gilt für KI-Systeme in bestimmten anderen hochregulierten Produktbereichen: KI-Systeme etwa im Bereich der Medizintechnik oder bei Seilbahnen sollen die auch bisher für diese Produkte zuständigen Fachaufsichtsbehörden beaufsichtigen. Das Besondere: Auch wenn es hierfür zentrale Koordinierungsgremien gibt – den Arbeitsausschuss Marktüberwachung (AAMÜ) und den Seilbahnausschuss der Bundesländer (SBA) –, liegt die Aufsicht im Einzelnen bei den Ländern und ihren Behörden.
  • Auch für KI-Systeme, die im Zusammenhang mit journalistischen und werbenden Medieninhalten stehen, sollen Landesbehörden zuständig sein: Die Aufsicht über die Kennzeichnung von KI-Inhalten liegt damit bei den Landesmedienanstalten.
  • In allen übrigen Fällen soll die Aufsicht über den KI-Einsatz in der Gesellschaft bei der Bundesnetzagentur (Öffnet in einem neuen Tab) liegen. Das gilt beispielsweise für den Einsatz von generativer KI bei der Erstellung von Gutachten oder Grafiken, aber auch für den Einsatz agentischer KI-Systeme bei der Automatisierung interner Prozesse. Ebenso überwacht die Bundesnetzagentur den KI-Einsatz im Zusammenhang mit Mopeds, Autos und Lkw, im Eisenbahn- und Flugzeugbereich oder als Teil der Schiffsausrüstung sowie den Einsatz hochriskanter KI-Systeme im Personalmanagement. (Siehe hierzu KI-MIG, Paragraf 2 Absatz 2, und KI-VO, Anhang I, Abschnitt B.)

KI-Einsatz beim Staat: Klare Aufteilung mit ZentralisierungsabsichtLink zu diesem Abschnitt: KI-Einsatz beim Staat: Klare Aufteilung mit Zentralisierungsabsicht

Kommen KI-Systeme bei staatlichen Akteur*innen zum Einsatz, gilt vor allem die Unterscheidung zwischen Bund und Ländern. Die Bundesnetzagentur übernimmt die Aufsicht über KI-Systeme beim Bund; bei den Ländern werden Stellen zuständig, die von diesen noch zu bestimmen sind.

Für die Überwachung auf Bundesebene richtet die Bundesnetzagentur für bestimmte Hochrisiko-Systeme sogar eine besondere Unabhängige KI-Marktüberwachungskammer ein, kurz UKIM: Diese soll über den Einsatz von KI im Bereich der Strafverfolgung, im Bereich Migration, Asyl und Grenzkontrolle sowie im Bereich der Rechtspflege wachen. Bemerkenswert ist die Zuständigkeit dieser besonderen Kammer für KI-Systeme, die das Ergebnis von demokratischen Wahlen, Abstimmungen und Referenden beeinflussen sollen.

Welche Behörden auf Landesebene zuständig sind, hängt von den einzelnen Bundesländern ab. Die Bundesregierung strebt jedoch eine weitestmögliche Zentralisierung an und schlägt vor, dass die Bundesländer die Bundesnetzagentur in ihre Landeszuständigkeiten einbauen könnten. Der vorgeschlagene Weg ist jener der Organleihe – ein Vorgehen, das bereits mehrere Bundesländer im Bereich der Energieversorgung mit der Bundesnetzagentur vereinbart haben.

Von Organleihe wird im Verwaltungsrecht gesprochen, wenn eine Stelle, ein Gremium oder ein Funktionsträger eines Hoheitsträgers – zum Beispiel einer Stadtverwaltung – Tätigkeiten für einen anderen Hoheitsträger – zum Beispiel eine Landesverwaltung – erbringt.

Koordination – und offene FragenLink zu diesem Abschnitt: Koordination – und offene Fragen

Damit die unterschiedlichen Fachbehörden bei der Anwendung der KI-Verordnung einheitlich vorgehen und Auslegungsdifferenzen schnell behoben werden können, soll bei der Bundesnetzagentur außerdem ein Koordinierungs- und Kompetenzzentrum (Öffnet in einem neuen Tab) eingerichtet werden, kurz KoKIVO. Dieses soll insbesondere technisches Fachwissen aus dem Bereich der Normung zur Verfügung stellen, aber auch die Abstimmung mit der europäischen Ebene und dem dortigen „Büro für Künstliche Intelligenz“ (KI-Büro, AI Office) übernehmen. Ob für die Bewertung von KI-Systemen auch sonstige Fachexpertise etwa aus der Demokratieforschung, dem Antidiskriminierungsrecht oder der soziologischen Diskursanalyse einbezogen werden soll (siehe hierzu den Beitrag des ZVKI vom November 2023), ist noch unklar.

Unklar ist auch, ob im Rahmen von KoKIVO die Koordination mit solchen Aufsichtsstellen erfolgen soll, die nicht die Einhaltung der KI-Verordnung, sondern anderer Gesetze und Vorgaben überwachen. Das gilt insbesondere für die Datenschutzbehörden und die Antidiskriminierungsstellen bei Bund und Ländern, aber auch für Gerichte und Anwaltskanzleien, die etwa im Bereich des Urheber- und Markenrechts maßgeblich mit der Durchsetzung rechtlicher Vorgaben beschäftigt sind. Ohne Abstimmung und Koordination droht hier eine kostenintensive Mehrfachverfolgung.

Ob die Herausforderungen, die mit einer so dezentralen Aufsichtsstruktur verbunden sind, mit einer Koordinierungsstelle behoben werden können, muss sich zeigen. Gerade weil die KoKIVO die Auslegung der KI-Verordnung nicht verbindlich vorgeben darf, sondern nur Diskursraum sein kann, wird die Struktur von Teilen der Wirtschaft als zu wenig ambitioniert kritisiert. Dass Forderungen nach einem öffentlich einsehbaren Transparenzregister nicht aufgegriffen wurden (Öffnet in einem neuen Tab), stößt wiederum bei Teilen der Zivilgesellschaft auf Unverständnis. Auch seien weitergehende Regelungen zum Schutz vor ungewolltem KI-Einsatz am Arbeitsplatz sinnvoll gewesen (Öffnet in einem neuen Tab). In der Rechtswissenschaft wiederum werden Zweifel formuliert (Öffnet in einem neuen Tab), ob die gewählte Struktur so unabhängig ist, wie es die KI-Verordnung einfordert: Anders als etwa die Datenschutzbehörden ist die Bundesnetzagentur in eine institutionelle Hierarchie eingegliedert und untersteht dem Bundesministerium für Wirtschaft und Energie.

Themen

Service

Beschwerdestellen bei KI-Ärger

Bundesnetzagentur, Landesmedienanstalten, KI-Büro der EU und Bafin: Bei diesen Stellen lassen sich Verstöße gegen die KI-Verordnung online …

1 Min. Lesezeit