Sarah Chander von European Digital Rights
+
Dem Tech-Sektor fehle ein Verständnis für strukturelle Unterdrückung, sagt Chander.

Wenn Algorithmen diskriminieren

„Aufräumen mit dem Mythos neutraler Technologie“

  • vonSabrina Butz
    schließen

Sarah Chander will gegen Datenrassismus und diskriminierende Algorithmen vorgehen. Doch die Debatte kommt nur langsam in Gang.

In sozialen Netzwerken kursiert seit einiger Zeit ein Video, das die vergeblichen Versuche eines Schwarzen Mannes zeigt, auf einer öffentlichen Toilette Seife aus einem sensorgesteuerten Seifenspender zu ziehen. Doch das klappt erst, als er lachend ein weißes Papier unter den Sensor hält. Auch bei der helleren Hand seines Kollegen funktioniert der Sensor problemlos – nur bei seiner dunklen Haut reagiert die Programmierung nicht, nimmt gar nicht wahr, dass da eine Hand wartet.

Auch Technologien können diskriminieren. Diese Erkenntnis, die das Video auf denkbar einfachste Weise veranschaulicht, ist keineswegs selbstverständlich. Die meisten Menschen nehmen Technologien als neutral und objektiv wahr. Dabei gibt es viele weitere Beispiele dafür, dass vor der Maschine keineswegs alle Menschen gleich sind – und die meisten kann man nicht so einfach abtun wie das Seifenspender-Beispiel. So werden Schwarze Männer von Gesichtserkennungssoftwares häufiger als „wütend“ gelesen. Und Tests des Georgia Institutes of Technology haben gezeigt, dass Menschen mit dunkler Haut weniger häufig von den Sensoren selbstfahrender Autos erkannt werden als Hellhäutige. Sie laufen so Gefahr, übersehen und umgefahren zu werden.

Solche Formen von Diskriminierung durch Technologie sind besonders problematisch, weil Gesichtserkennung, aber auch algorithmenbasierte Entscheidungs- und Bewertungssysteme in immer mehr Lebensbereichen angewendet werden – auch in Deutschland und Europa. Und: Einmal mit diskriminierenden Parametern programmiert, betreffen sie viel mehr Menschen als eine einzige menschliche Fehlentscheidung es je könnte.

Trotzdem fängt eine Diskussion über diese Entwicklungen in der EU gerade erst an. Eine, die sich schon seit Jahren mit dem sogenannten Datenrassismus beschäftigt, ist Sarah Chander. Wenn Journalistinnen und Journalisten, aber auch die Politik Expertise zum Thema suchen, landen sie in vielen Fällen bei der 29-jährigen Londonerin. Sie arbeitet als politische Beraterin bei der Nichtregierungsorganisation European Digital Rights (Edri) in Brüssel und beschäftigt sich dort vor allem mit dem Zusammenhang von Künstlicher Intelligenz und Diskriminierung. Ihr Credo: „Technik sollte daran gemessen werden, ob sie unser Leben verbessert – und zwar für alle, unabhängig davon, wie viel Geld wir haben, ob wir Geschlechternormen einhalten, woher wir kommen oder welche Hautfarbe wir haben.“

Bewusstsein für Risiken automatisierter Entscheidungssysteme fehlt in der Politik

Sarah Chander arbeitet mit ihrem Team in einem unscheinbaren Bürogebäude, wenige Blocks vom Europäischen Parlament entfernt. Beharrlich versucht sie, Politikerinnen und Politiker davon zu überzeugen, politische Lösungen zu entwickeln. Denn es brauche dringend neue Gesetze und demokratische Kontrolle. Doch dafür müsse zunächst einmal mit dem „Mythos der neutralen Technologie“ aufgeräumt werden. Das große Vertrauen in automatisierte Systeme – besonders auch in der Politik – schockiere sie immer wieder. „Wir brauchen ein viel kritischeres Bewusstsein für deren Gefahren und Probleme.“

Vor ihrer aktuellen Tätigkeit arbeitete Chander beim Europäischen Netzwerk gegen Rassismus (Enar) – dort stellte sie zunehmend fest, wie datenbasierte Technologien Rassismus und andere Diskriminierung massiv verstärkten, während ihre Wirkungsweise unsichtbar bleibe. Kritisch sieht sie dabei vor allem den Einsatz automatisierter Risikobewertungssysteme bei Sicherheitsbehörden.

Das Stichwort ist „Predictive Policing“, also vorhersagende Polizeiarbeit – ein Trend aus den USA, der langsam auch in Europa bekannt wird. Auf Basis vorhandener Daten sollen Aussagen darüber getroffen werden, welche Personen statistisch gesehen wahrscheinlich ein Verbrechen begehen werden – oder welche Orte besonders gefährdet sind. Aus Chanders Sicht sind solche Ansätze ohnehin zutiefst undurchsichtig, sie liefen Datenschutz und dem Prinzip der Unschuldsvermutung entgegen.

In den Niederlanden teilt die Polizei sogar Kinder in Risikokategorien ein

Vor allem aber müsse man davon ausgehen, dass die Datensätze, mit denen derartige Softwares arbeiten, durch rassistische Methoden wie dem „Racial Profiling“ verzerrt würden. Weil etwa Schwarze und arabischstämmige Menschen, aber auch solche, die in vermeintlichen Brennpunktvierteln wohnen, häufiger kontrolliert würden, landeten sie auch häufiger in den Datenbanken der Polizei. Die Anwendung automatisierter Entscheidungssysteme könne die bestehenden Muster von Diskriminierung widerspiegeln und verstärken, mache sie zugleich aber auch intransparenter, sagt Chander.

Das kann sogar schon Minderjährige betreffen: In den Niederlanden hat die Polizei vor einigen Jahren das Programm „ProKid 12-SI“ eingeführt. Auf Basis von Daten wie dem Wohnort, Familienmitgliedern, Kontaktpersonen und dokumentierten Fällen häuslicher Gewalt will das System vorhersagen, mit welcher Wahrscheinlichkeit bestimmte Kinder unter 12 Jahren in der Zukunft Kriminelle werden. Chander fragt: „Wen wird der Algorithmus mit größerer Wahrscheinlichkeit in diese Datenbanken aufnehmen? Überwiegend männliche People of Color.“ Wer in einem armen Viertel wohne, über Schule oder Nachbarschaft mit vorbestraften Personen zu tun oder selbst Gewalt erfahren habe, gerate allein deswegen in Verdacht.

Chander stützt sich sowohl auf Berichte aus betroffenen Communities wie auf wissenschaftliche Erkenntnisse. Eine 2019 veröffentlichte Studie für das Enar kommt zu dem Schluss, datengetriebene Polizeiarbeit werde voraussichtlich „die rassistischen, ethnischen und religiösen Unterschiede in den europäischen Justizsystemen verschärfen“, da sie auf einen europäischen Kontext treffe, in dem bestimmte Minderheiten ohnehin schon „over-policed and under-protected“ seien, also stärker überwacht und schlechter geschützt würden als die Mehrheitsgesellschaft.

Macht der Technologie-Konzerne müsste begrenzt werden

Noch gibt es in der EU kaum empirische Erkenntnisse zum Thema. In den USA aber schon. Dort sind die diskriminierenden Effekte solcher Systeme mehrfach nachgewiesen worden. So hat die unabhängige Investigativ-Plattform Propublica die Ergebnisse von Programmen untersucht, die in vielen Bundesstaaten von Gerichten eingesetzt werden, um zu berechnen, mit welcher Wahrscheinlichkeit Angeklagte wieder straffällig werden könnten – was sich auf die Festsetzung des Strafmaßes auswirken kann. In den mehr als 7000 untersuchten Fällen zeigte sich mit einem zeitlichen Abstand von mehreren Jahren, dass die Software im Fall von Afroamerikaner:innen im Durchschnitt ein zu hohes Risiko errechnet hatte. Bei weißen Angeklagten war es andersherum.

Können solche Techniken verbessert und also gerecht werden oder sind sie per se diskriminierend? Diese Frage werde in der Datenschutz-Szene heftig diskutiert, sagt Sarah Chander. Sie selbst ist überzeugt davon, dass sich bestimmte Elemente nicht reformieren lassen. Menschenrechte dürften nicht gegen Innovationen abgewogen werden. Doch dem Tech-Sektor fehle ein Verständnis für strukturelle Unterdrückung und Menschenrechte.

Damit es überhaupt eine Chance gibt, die Technologien zu verbessern, brauche es klare Regeln und Grenzen, die demokratischen Prozessen entstammten. „Aber genau diese demokratischen Prozesse von Information, Diskussion und Kontrolle haben bisher nicht stattgefunden.“ Damit das anders wird, müsste ihrer Ansicht nach die Macht der Tech-Monopole kontrolliert und begrenzt werden. Wenn Technik nicht zur Unterdrückung eingesetzt werden solle, gehe das nur in einer ganz anderen Welt als der heutigen. „Ich hoffe auf radikale Veränderung.“