Interview

Alle Modelle haben ihre offenen Flanken

Interview zu Bewertung und Auswahl von KI-Systemen für die öffentliche Verwaltung

Marie-Theres Mayer arbeitete bis Ende Februar 2026 als Referentin in der Stabsstelle Digitale Transformation in der Senatsverwaltung für Finanzen Berlin. Zusammen mit ihrem Team entwickelte sie das KI-Tool BAK_KI, das der Berliner Verwaltung hilft, Aufgabengebiete von Beschäftigten und Stellen schneller und standardisierter zu beschreiben.

prompt/: Sie haben sich intensiv mit datenbasierter Steuerung von Verwaltungsprozessen beschäftigt. Inwiefern spielten Verzerrungen in den Trainings- und Validierungsdaten bei der Entwicklung des KI-gestützten Systems BAK_KI eine Rolle?

Marie-Theres Mayer: Im Fall unserer KI-Anwendung sahen wir zwei Angriffspunkte. Der eine lag im KI-Modell, auf dem wir aufbauen: Wir haben uns auf Open-Source-Produkte spezialisiert, aber auch deren Anbieter geben ihre Trainingsdaten bislang nicht wirklich bekannt. Wir können also nie ausschließen, dass Verzerrungen vorliegen – von dem, was man vermuten darf, muss man eher sogar von Verzerrungen ausgehen.

prompt/: Und wie sind Sie dann bei der Auswahl des KI-Modells vorgegangen?

Marie-Theres Mayer: Alle Modelle haben ihre offenen Flanken. Bei Modellen aus den USA oder China wissen wir nicht, auf welcher Basis sie trainiert wurden und ob dabei etwas passiert sein könnte, das mit der europäischen Werteordnung im Spannungsverhältnis steht – bei europäischen Anbietern wissen wir fairerweise aber auch nicht viel mehr. Es gibt einzelne Modelle mit offenen Trainingsdaten, etwa aus der Schweiz, die waren für unsere Zwecke aber zu klein und zu langsam. Am Ende haben wir die Modelle durchgetestet und geschaut, welches den besten Output liefert und sich für bestimmte Risiken beschränken lässt.

prompt/: Sie sagten, es gab einen zweiten Angriffspunkt für Verzerrungen?

Marie-Theres Mayer: Der lag in unseren eigenen Daten, mit denen wir das KI-Modell spezifiziert haben – den bisherigen Stellen- und Aufgabenbeschreibungen aus der Berliner Verwaltung. Diese Daten waren nie strukturiert auf potenzielle Stereotype, Diskriminierungen oder Verzerrungen durchsucht worden. Für uns hieß das: Wir dürfen nicht davon ausgehen, die Gesamtheit der Realität in unseren Daten abgebildet zu haben.

prompt/: Wie sind Sie und Ihr Team mit dem Wissen um bestehende Verzerrungen umgegangen?

Marie-Theres Mayer: Für uns war Transparenz der offenkundigste Weg. Wir haben versucht, möglichst klar zu machen, was wir zu welchem Zweck für wen entwickeln, und mit möglichst vielen Stakeholdern gesprochen, damit uns jemand sagen konnte: „Hier sehe ich ein Diskriminierungsrisiko." Im Rahmen des Projekts „Fair und Vielfältig" haben wir uns etwa mit der Antidiskriminierungsstelle des Landes Berlin zusammengesetzt und überlegt, welche Formulierungen unseres KI-Tools Stereotype wiederholen könnten – und diese durch neutralere Formulierungen ersetzt. So schaffen wir mit BAK_KI nicht nur eine zeitliche Entlastung, sondern auch inklusivere Stellenbeschreibungen.

Themen