Bei der Job- oder Wohnungssuche in der Schweiz sind die Voraussetzungen nicht für alle gleich. Wer zum Beispiel auf Stellensuche ist und einen «albanisch klingenden» Namen hat, muss durchschnittlich 30 Prozent mehr Bewerbungen schreiben als eine Person mit «schweizerisch klingendem» Namen – und das bei gleicher Qualifikation. Bei Bewerbungen für Wohnungen zeigt sich ein ähnliches Bild: Manuel oder Stefanie werden deutlich häufiger zu Besichtigungen eingeladen als Ardit oder Dragana. Auch andere Lebensbereiche, wie das Gesundheitssystem, das Bildungs- oder das Justizwesen sind nicht frei von Diskriminierung. Das zeigt die erste Grundlagenstudie zu strukturellem Rassismus in der Schweiz, für die eine Metaanalyse von rund 300 Studien durchgeführt wurde.
Mit KI kam die grosse Hoffnung: endlich Schluss mit diskriminierenden Vermieterinnen und voreingenommenen HR-Spezialisten. KI vergibt Wohnungen fair und diskriminiert nicht beim Einladen zu Bewerbungsgesprächen. KI ist eine Maschine ohne Gefühle und Einstellungen – also objektiv und neutral. Oder etwa doch nicht?
Die KI ist nur so objektiv, wie es die zugrundeliegenden Daten sind. Denn Daten sind die Basis aller KI-Modelle.
Sonja Angehrn
Kursleiterin des CAS Aritificial Intelligence und Dozentin für KI und Machine Learning an der OST – Ostschweizer Fachhochschule
«Die KI ist nur so objektiv, wie es die zugrunde liegenden Daten sind. Denn Daten sind die Basis aller KI-Modelle», erklärt Sonja Angehrn, Kursleiterin des CAS Artificial Intelligence an der OST. KI-Systeme werden laut Sonja Angehrn mit einer Unmenge an Daten trainiert. Diese sogenannten Trainingsdaten bestehen zum Beispiel aus Büchern, wissenschaftlichen Studien, medizinischen Unterlagen oder Social Media-Posts.
«Diese Trainingsdaten entstehen in einem bestimmten Kontext: in der Gesellschaft, in der wir leben. Meist stammen sie aus der Vergangenheit, da sie erst erhoben werden müssen. Die Daten spiegeln den gesellschaftlichen Kontext und auch das damalige Wertesystem wider», erklärt Sara Juen, wissenschaftliche Mitarbeiterin am iDNA Institut für Diversität und Neue Arbeitswelten an der OST. Sie erklärt die Problematik daran: «In der Gesellschaft vorhandene Benachteiligungen, Ungerechtigkeiten und Unterrepräsentationen werden in den Trainingsdaten wiederholt.» Das bedeutet nicht, dass die Daten absichtlich diskriminierend erzeugt werden – doch auch unbewusste Vorurteile fliessen in die Daten mit ein und können dadurch sogar verstärkt werden. «Die KI hat kein Gefühl für Diskriminierung, Stereotype oder Ungerechtigkeit», stellt Sonja Angehrn fest. Die KI produziert auch keine Muster, die sie nicht in Daten gesehen hat. Sie erkennt Zusammenhänge und reproduziert diese. Wird das Modell also mit diskriminierenden Daten trainiert, gibt es diese Diskriminierung auch in den Ergebnissen wieder.
Welche fatalen Auswirkungen solche KI-Systeme in der Praxis haben können, zeigen diverse Beispiele aus verschiedenen Ländern.
Sara Juen
Wissenschaftliche Mitarbeiterin am iDNA Institut für Diversität und Neue Arbeitswelten an der OST – Ostschweizer Fachhochschule
In der Gesellschaft vorhandene Benachteiligungen, Ungerechtigkeiten und Unterrepräsentationen werden in den Trainingsdaten wiederholt
In den Niederlanden wurde zum Beispiel ein KI-System eingesetzt, um Betrug in Sozialhilfeprogrammen aufzudecken. 20’000 Familien wurden angeklagt und mit Rückforderungen in der Höhe von Zehntausenden Euro konfrontiert. Betroffen waren dabei hauptsächlich Familien mit Migrationshintergrund. Die Anschuldigungen erwiesen sich als falsch. «Die KI basierte die Risikobewertung und daraus folgende Anklagen auf historischen Daten. Diese Daten beinhalten offensichtlich soziale Stigmatisierung», erläutert Sonja Angehrn. Der Skandal stürzte Tausende Familien in finanzielle Not und führte im Jahr 2021 zum Rücktritt der Regierung.
«Minderheiten und marginalisierte Gruppen werden leider häufig übersehen oder vergessen. Dementsprechend sind sie auch in den Trainingsdaten von KI-Systemen meist nur unzureichend vertreten», sagt Sara Juen. Das zeigte sich auch bei verschiedenen Gesichtserkennungssoftwares, die Schwarze Personen falsch oder fehlerhaft identifizieren. Grund dafür ist, dass die Trainingsdaten in solchen Fällen oft überwiegend aus Fotos von weissen Männern bestehen. Besonders heikel sind diese KI-Systeme bei Grenzkontrollen oder der Strafverfolgung. Denn Gesichtserkennung wird zum Beispiel in den USA oder England eingesetzt, um nach Kriminellen zu fahnden. Falschanschuldigungen und -verhaftungen können die Folge sein.
Dass solche Trainingsdaten problematisch sein können, musste auch Amazon feststellen. Das Unternehmen wollte eigentlich Geschlechterdiskriminierung verhindern und den Frauenanteil bei den Mitarbeitenden erhöhen. Zur Auswahl von Bewerbungen setzte das Unternehmen deshalb 2014 ein KI-System ein. Zwar wurde das Geschlecht in den Bewerbungen geschwärzt, doch das stellte für die KI kein Hindernis dar. Anhand von Begriffen, die nur in den Bewerbungen von Frauen auftauchen, wie beispielsweise «Mädchenschule» oder «Mutterschaftsschutz», wurden die Kandidatinnen aussortiert. «Die KI lernte aus den Trainingsdaten, dass bisher öfter Männer als Frauen angestellt wurden, obwohl das Geschlecht der Bewerberinnen und Bewerber aus den Trainingsdaten entfernt wurde. Die KI reproduzierte die Diskriminierung der Frauen», erklärt Sara Juen.
Dies sind nur drei aus unzähligen Beispielen dafür, wie KI Diskriminierung wiedergeben und verstärken kann. Sara Juen und Sonja Angehrn zeigen mit fünf Tipps auf, was dagegen unternommen werden kann.
Dieser Blogbeitrag basiert auf einem Seminar der Reihe «Künstliche Intelligenz (KI) für alle» des ICAI Interdisciplinary Center for Artificial Intelligence zum Thema «KI und Chancengerechtigkeit: Ist Künstliche Intelligenz fair?».
Künstliche Intelligenz (KI) verändert die Welt. Der CAS Artificial Intelligence bietet den Teilnehmenden die Möglichkeit, von Anfang an ganz vorne mit dabei zu sein und ihre Karriere voranzutreiben. In diesem Kurs erwerben die Teilnehmenden Kompetenzen im Bereich der Künstlichen Intelligenz, ohne dass sie über höhere Mathematik- und Programmierkenntnisse verfügen müssen.
Grundlagenstudie zu strukturellem Rassismus in der Schweiz
OST
OST
OST
