Künstliche Intelligenz und Diskriminierung

Stellen Sie sich vor, Sie bewerben sich auf einen Job. Schon nach einigen Stunden bekommen Sie eine Absage. Sie werden nicht mal zum Bewerbungsgespräch eingeladen. Sie sind enttäuscht und verwundert. Eigentlich haben Sie genau das richtige Profil für die Stelle. Auch die Begründung für die Absage ist dürftig: Die Firma nutzt ein automatisiertes Auswahlverfahren. Eine KI hat Sie aussortiert. Warum genau, kann man Ihnen nicht sagen. Man versichert Ihnen: Mit Ihrer Behinderung habe es nichts zu tun. Überprüfen können Sie das aber nicht.

Klingt verrückt? Tatsächlich passiert genau das immer wieder. Einigen Schätzungen zufolge nutzen in den USA schon etwa 70 Prozent aller Arbeitgeber*innen Künstliche Intelligenz in ihren Bewerbungsverfahren (ein Beispiel dafür finden Sie weiter unten). Wie die Systeme genau funktionieren und nach welchen Kriterien sie entscheiden, ist oft nicht nachvollziehbar. Und immer wieder kommt es dabei zu Diskriminierung. In einer Studie haben Forschende der University of Washington Bewerbungen von ChatGPT bewerten lassen. Sie wollten herausfinden, ob der Chatbot dabei fair vorgeht. Das Ergebnis: Bewerbungen, in denen Hinweise auf eine Behinderung vorkamen, wurden schlechter bewertet. Auf Nachfrage erfand der Chatbot Gründe dafür, weshalb eine Behinderung für die Stelle ein Problem sein könnte. In einer anderen Studie fanden Forschende heraus, dass einige große Sprachmodelle – die Basis von Programmen wie ChatGPT – Vorurteile und falsche Informationen über Menschen mit Behinderung enthalten. Außerdem neigen sie dazu, Texte, in denen Behinderungen erwähnt werden, als toxisch oder negativ einzustufen. 

Künstliche Intelligenz ist also nicht neutral oder objektiv. KI-Modelle und Programme, die auf ihnen basieren, sind immer nur ein Spiegel der Daten, von denen sie lernen. Und ein Spiegel der Menschen, die sie programmieren. Sie übernehmen Vorurteile, die in unserer Gesellschaft bereits existieren. Was passiert also, wenn eine KI mit Texten trainiert wird, in denen von Ärzten nur in der männlichen Form die Rede ist? Oder mit Bildern, die Ärzte als alte Männer in weißen Kitteln zeigen? Das KI-System wird lernen, dass ein Arzt eben alt und männlich ist und einen weißen Kittel trägt. Alles, was von dieser Norm abweicht, ist für die Systeme nicht relevant. KI-Programme müssen also nicht mal “absichtlich” diskriminieren: Sie haben es einfach nicht anders gelernt.

Davon betroffen sind vor allem Menschen, die unterrepräsentiert sind. Menschen mit Behinderung oder People of Color zum Beispiel. Sie sind statistisch nicht relevant. Oft ist es für die Betroffenen außerdem schwer zu erkennen, wenn sie durch den Einsatz von KI diskriminiert werden. Und selbst wenn es auffällt, ist es schwer, sich dagegen zu wehren. Der Nachweis ist mit viel Aufwand verbunden und technisch nicht immer möglich. Es besteht also die Gefahr, dass KI Diskriminierung unsichtbar macht – und festschreibt.