Forschung

Bias in KI – und die Folgen: Wenn Algorithmen fehlerhaft entscheiden

Dokumentierte Diskriminierungsfälle durch algorithmische und KI-gestützte Systeme

Wird ein Sprachmodell mit verzerrten Daten trainiert, gibt es auch verzerrte Ergebnisse aus. Die folgenden Fälle aus den vergangenen Jahren zeigen, wie unterschiedlich sich algorithmische Diskriminierung äußern kann – und wie unterschiedlich Behörden und Unternehmen darauf reagiert haben.

2021, Niederlande: Steuer- und Kindergeldbehörde verlangt zu Unrecht Rückzahlungen

Ein algorithmisches Risikomodell des niederländischen Belastingdienst bewertete Kindergeldbeziehende anhand von Nationalität und doppelter Staatsbürgerschaft nach angeblichen Betrugsrisiken – wodurch Familien mit Migrationsgeschichte systematisch auffällig gemacht wurden. Tausende Eltern mussten unberechtigt hohe Summen zurückzahlen und gerieten in existenzielle Notlagen. Die „Toeslagenaffaire (Öffnet in einem neuen Tab)" führte 2021 zum Rücktritt der niederländischen Regierung; die Datenschutzbehörde verhängte ein Millionenbußgeld, der Staat zahlte Entschädigungen in Milliardenhöhe.

2018, USA: Amazons Bewerbungs-KI benachteiligt Frauen

Amazons KI zur automatisierten Bewerbungsbewertung (Öffnet in einem neuen Tab) lernte aus überwiegend männlich geprägten historischen Einstellungsdaten, männliche Profile als Standard zu bewerten, und stufte Bewerbungen mit Hinweisen wie „women's" im Lebenslauf herab. Da sich versteckte Ersatzmerkmale nicht zuverlässig entfernen ließen, stellte Amazon das System ein – ein bis heute zitierter Präzedenzfall dafür, dass historisch verzerrte Daten fast zwangsläufig zu diskriminierenden Modellen führen, wenn sie nicht aktiv bereinigt werden.

2020, Hamburg: Passbildautomat erkennt Schwarze Personen nicht

Ein vom Landesbetrieb Verkehr eingesetzter Fotoautomat mit KI-gestützter Gesichtserkennung erkannte Personen mit dunkler Hautfarbe wiederholt nicht als gültiges Gesicht (Öffnet in einem neuen Tab), sodass kein verwertbares Passbild entstand – ein Fall indirekter rassistischer Diskriminierung durch technische Voreinstellungen bei Beleuchtung und Kalibrierung. Nach medialer Berichterstattung entschuldigte sich die Behörde und ließ die Geräte nachrüsten.

2024, Österreich: Arbeitsberatungs-Chatbot basiert auf Geschlechterstereotypen

Der Chatbot „Berufsinfomat (Öffnet in einem neuen Tab)" des österreichischen Arbeitsmarktservice (AMS) empfahl Männern überwiegend Technik- und gut bezahlte Berufe, Frauen mit ähnlichem Profil dagegen vor allem pädagogische und Pflegeberufe – obwohl der AMS öffentlich behauptet hatte, geschlechterbezogene Verzerrungen weitgehend abtrainiert zu haben. Der AMS kündigte nach Kritik eine Überarbeitung der Trainingsdaten an, ohne den Chatbot abzuschalten.

2020, Österreich: Diskriminierende Kategorisierung von Arbeitssuchenden

Das AMS-„Arbeitsmarktchancen-Modell" (AMAS) (Öffnet in einem neuen Tab) sollte Arbeitssuchende nach Integrationschancen in drei Gruppen einteilen und Fördermittel entsprechend verteilen – mit der Folge, dass strukturell benachteiligte Gruppen wie ältere oder gering qualifizierte Personen sowie Frauen mit Betreuungspflichten systematisch schlechtere Förderchancen erhielten. Die österreichische Datenschutzbehörde stoppte 2020 den flächendeckenden Einsatz mangels gesetzlicher Grundlage und angemessener Garantien gegen automatisierte Diskriminierung.

2017, Australien: „Robodebt" – vermeintliche Überzahlungen an Sozialleistungsempfänger*innen

Ein automatisiertes System der australischen Sozialverwaltung verschickte zwischen 2016 und 2017 rund 200.000 Mahnschreiben wegen vermeintlicher Überzahlungen, von denen zehntausende fehlerhaft oder überhöht waren. Der „Robodebt (Öffnet in einem neuen Tab)"-Skandal führte zu einer Sammelklage; nach einer Royal Commission einigte sich die Regierung 2025 auf einen Rekordvergleich über rund 2,4 Milliarden australische Dollar, mit weiteren 475 Millionen Dollar für immaterielle Schäden im Rahmen eines 2026 zur gerichtlichen Genehmigung anstehenden Nachtrags.

2019, USA: Apples zweifelhafte Kreditrahmenvergabe

Bei der mit Goldman Sachs herausgegebenen Apple-Kreditkarte erhielten Männer bei ähnlicher finanzieller Situation teils zehn- bis zwanzigfach höhere Kreditrahmen als Frauen. Die New Yorker Finanzaufsicht leitete ein Verfahren ein, kam 2021 aber zu dem Ergebnis, keine systematischen Verstöße gegen das Gleichbehandlungsrecht feststellen zu können – kritisierte jedoch die mangelnde Nachvollziehbarkeit der algorithmischen Kreditentscheidungen und forderte mehr Erklärbarkeit.

Themen