Kapitel druckenKapitel drucken

Text: Medien.Daten

3.11 Zwei Beispiele von Diskriminierung: Strafverfolgung und Bewerbungsprozesse

Wie man sich konkret diskriminierende Handlungen durch Daten bzw. Algorithmen vorstellen kann, lässt sich am besten anhand zweier Beispiele veranschaulichen.

Beispiel

Strafverfolgung: Ein bekanntes Beispiel ist das Redlining. Redlining beschreibt eine historische diskriminierende Praxis von Banken. In dieser ursprünglichen Praxis wurden Kredite nicht nach der Kreditwürdigkeit vergeben, sondern nach den Kriterien sozialer Herkunft, von denen vor allem marginalisierte Gruppen betroffen waren (vgl. Horwart 2022). Diese Praxis wird heute durch algorithmische Entscheidungen (algorithmisch generierte Credit Scores) fortgesetzt und als Technological Redlining bezeichnet. In diesem Vorgehen werden Punkte für die Kreditvergabe anhand bestimmter Kriterien vergeben. Diese Kriterien werden bspw. an Handlungsrisiken festgemacht, wie der Wahrscheinlichkeit, erneut straftätig zu werden. Für das beschriebene Vorgehen wurde eine bekannte Software namens COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) in den USA verwendet, die Berechnungen für eine Rückfallwahrscheinlichkeit anhand von Punktevergaben für straffällig gewordene Personen vornimmt. Anhand der Berechnungen wurde laut Studien schwarzen Männern im Vergleich zu weißen Männern ein höheres Risiko, rückfällig zu werden, zugeteilt. Daran lässt sich eine rassistische Praxis erkennen, die algorithmenbasiert vollzogen wird (vgl. Horwart 2022).

Beispiel

Bewerbungsprozesse: Ein zweites bekanntes Beispiel stellen Diskriminierungen durch Algorithmen von Softwareprogrammen in Bewerbungsprozessen dar. In dem Unternehmen Amazon, in dem die Personalverantwortlichen Bewerbungen mit Hilfe eines Algorithmus vorsortieren ließen, wurden Frauen im Vergleich zu männlichen Bewerbern systematisch schlechter bewertet. Das lag darin begründet, dass die Daten mit erfolgreichen Bewerbungen der vergangenen Jahre trainiert wurden, unter denen vorwiegend männliche Bewerber waren. Der Algorithmus hat damit das gelernte Wissen in Form von Stereotypen, die bereits in der Gesellschaft vorhanden waren, reproduziert (vgl. Hagendorff 2019).

Take Home Messages
  • Wenn Algorithmen von Datensätzen lernen, die nicht vorurteilsfrei sind oder in denen marginalisierte Personengruppen unterrepräsentiert sind, reproduzieren sie diese Vorurteile. Dann spricht man von »algorithmischer Diskriminierung« oder »(Digital) Bias«. In Bezug auf Diskriminierung wird zwischen direkter und indirekter Diskriminierung unterschieden, auch in Bezug auf datenbasierte Diskriminierung. Man unterscheidet in mehrere Formen von Bias, auf denen Vorurteile basieren. Diese werden unterschieden in kognitivem, statistischem und induktivem Bias.
  • Das Komplizierte an der datenbasierten Diskriminierung ist, dass durch die komplexe Datenverarbeitung eine Intransparenz in Bezug auf die Art und Weise der Diskriminierung herrscht.
Aufgaben

Bearbeiten Sie die folgenden Aufgaben: 

Literatur- und Web-Tipp

Für weitere Informationen zum Digital Bias von Computerprogrammen empfehlen wir eine Episode des Podcasts Feuer und Brot, in dem erläutert wird, welche Auswirkungen Künstliche Intelligenz auf marginalisierte Gruppen haben kann: