Das wir gewinnt
Zwei Hände auf einer bunten Tastatur.

ABLE Gemeinsam für faire KI-Chatbots

KI-Chatbots sind heute in vielen Bereichen im Einsatz – vom Online-Shop bis zur Stadtverwaltung. Sie sollen helfen, einfache Anliegen schnell und unkompliziert zu bearbeiten. Menschen mit Behinderung machen damit regelmäßig schlechte Erfahrungen: Chatbots verwenden diskriminierende oder unverständliche Sprache, ihnen fehlen wichtige Informationen. Bisher wird nicht ausreichend getestet, ob Chatbots inklusiv und diskriminierungsfrei sind. Die Aktion Mensch hat deshalb gemeinsam mit der Hochschule Bielefeld ein Tool entwickelt, um das zu ändern. Mit ABLE (Ableism Bias Language Evaluation, auf Deutsch in etwa: Überprüfung von Sprache auf Ableismus und Vorurteil) wollen wir prüfen, wie sich KI-Systeme verhalten, um Ableismus und Diskriminierung sichtbar zu machen – und zu vermeiden. 

Was ist Ableismus und was hat er mit Chatbots zu tun?

Sie möchten den Kundenservice Ihres Stromanbieters erreichen? Oder online einen Termin beim Bürgeramt buchen? Dann haben Sie es wahrscheinlich immer öfter mit sogenannten Chatbots zu tun. Zunehmend stecken dahinter KI-Programme, die mit uns kommunizieren und einfache Aufgaben erledigen können. Sie basieren auf sogenannten Large Language Models – KI-Sprachmodelle, die mit großen Datenmengen trainiert wurden. Chatbots sollen Online-Dienste leichter zugänglich machen und dabei helfen, Anliegen schneller und rund um die Uhr zu erledigen. 

Was sind Large Language Models?

Große Sprachmodelle werden mit sehr vielen Daten trainiert – Zeitungsartikel, Blogbeiträge, YouTube-Videos oder Social Media-Posts zum Beispiel. Sie lernen dabei, in diesen Daten Muster zu erkennen. Nach einiger Zeit können die Modelle dann zum Beispiel zwischen Katzen und Hunden unterscheiden. Je mehr Daten die Modelle für das Training bekommen, desto besser können sie auf Befehl neue Inhalte erstellen. Weil große Sprachmodelle sehr unterschiedliche Arten von Daten verarbeiten können, sind sie vielfältig einsetzbar: in der Medizin, der Bildung, im Verkehr oder der Inklusionsarbeit zum Beispiel. Zu den bekanntesten dieser Modelle gehören Mistral, Gemini (Google), Claude (Anthropic) oder die GPT-Modelle von OpenAI
Klingt gut, aber die Sache hat einen Haken: Bei der Entwicklung von Chatbots wird nicht ausreichend an die Bedürfnisse von Menschen mit Behinderung gedacht. Die Sprachmodelle, auf denen sie basieren, können außerdem Verzerrungen und Vorurteile enthalten. Das kann dazu führen, dass Chatbots diskriminierende Sprache verwenden. Sie können Menschen mit Behinderung in ihren Ergebnissen benachteiligen oder ausgrenzen. Chatbots können also ableistisch sein.

Was bedeutet Ableismus?

Manche Menschen behandeln Menschen mit Behinderung anders. Zum Beispiel, weil sie im Rollstuhl sitzen oder eine psychische Krankheit haben. Oder weil sie Lernschwierigkeiten haben. Diese Menschen werden dann oft nur nach ihrer Behinderung beurteilt. Sie werden zum Beispiel für weniger fähig gehalten. Oder es wird über sie gesprochen, ohne sie selbst zu fragen. Das nennt man Ableismus. Ableismus bedeutet: Menschen mit Behinderung werden schlechter behandelt, nur weil sie eine Behinderung haben. Das ist eine Form von Diskriminierung. Ein Beispiel für eine ableistische Aussage ist etwa, wenn man sagt, dass eine Person trotz ihrer Behinderung gute Arbeit leistet. 

Wie hilft ABLE gegen Ableismus?

Die Aktion Mensch hat gemeinsam mit der Hochschule Bielefeld ein Tool entwickelt, um diese Diskriminierung sichtbar zu machen. ABLE (Ableism Bias Language Evaluation, auf Deutsch in etwa: Überprüfung von Sprache auf Ableismus und Vorurteil) ist das erste Tool seiner Art. Ableismus durch Chatbots wird nämlich bisher – vor allem im deutschen Sprachraum – kaum systematisch erforscht. Mit dem Tool wollen wir herausfinden, in welchen Situationen KI-Chatbots ableistische Sprache verwenden. Wir wollen verstehen, welche Nachteile Menschen mit Behinderung dadurch entstehen. Mit dem Tool wollen wir diskriminierende Sprache in Chatbots sichtbar und messbar machen. Die Ergebnisse der Forschung sollen dazu beitragen, Chatbots zu verbessern und Diskriminierung zu vermeiden. Zum Beispiel, indem wir Entwickler*innen dabei helfen, ihre Systeme frühzeitig zu testen und sie so sicherer und inklusiver zu machen. 

Christina Marx erklärt ABLE

Wie funktioniert ABLE?

Das Tool kann über einen Browser automatisch Gespräche mit Chatbots auf öffentlichen Webseiten anfangen. Dabei greift es auf eine Auswahl vorab festgelegter Fragen zurück. Mit diesen Fragen beginnt es ein Gespräch und testet, wie die Chatbots reagieren: Liefern sie diskriminierende Antworten? Liefern sie richtige und hilfreiche Informationen? Verstehen sie die Bedürfnisse von Menschen mit unterschiedlichen Behinderungserfahrungen? Das Tool speichert die Ergebnisse und wertet sie anhand festgelegter Kriterien aus. Im Anschluss kann man sich die Ergebnisse auf einer Webseite ansehen. So können Expert*innen zum Beispiel überprüfen, ob es in den Antworten der Chatbots bestimmte Muster gibt. Bisher konnten wir mit dem Tool bereits eine Reihe an Chatbots testen: Zum Beispiel die Chatbots einiger Städte und Kommunen oder einer Buchungsplattform.

Jetzt ABLE-Nutzer*in werden

Wir wollen ABLE verfügbar und nutzbar machen. Ab August 2025 steht es deshalb auf GitHub unter einer Open Source-Lizenz zur freien Verfügung. Gerne begleiten wir Sie dabei, das Tool zu testen und stehen für Rückfragen jederzeit zur Verfügung.

  • Sie entwickeln einen Chatbot? Gerne begleiten wir Sie schon während der Entwicklung, um Ihre Lösungen zu testen!
  • Sie setzen bereits einen Chatbot ein und möchten die Performance testen? Unser Tool bietet Ihnen eine effiziente, skalierbare und objektive Möglichkeit zur Evaluation.
  • Sie wollen sich mit uns vernetzen, etwa um über weitere Einsatzmöglichkeiten für das Tool nachzudenken? Setzen Sie sich mit uns in Kontakt!
  • Ihre Ansprechpartnerin bei der Aktion Mensch ist Nadja Ullrich
    (nadja.ullrich@aktion-mensch.de )

Gemeinsam können wir mehr Awareness schaffen. Lassen Sie uns dazu beitragen, dass das Testing auf Ableismus und Diskriminierung von der Ausnahme zur Norm wird.

 

Wie wurde ABLE entwickelt?

Die Hochschule Bielefeld hat das Tool im Auftrag der Aktion Mensch zusammen mit der KI-Agentur wonk.ai entwickelt. Auch Menschen mit unterschiedlichen Behinderungserfahrungen haben an der Entwicklung mitgearbeitet. In fünf Workshops haben circa 80 Teilnehmende ihre Erfahrungen im Umgang mit KI-Chatbots geteilt. Sie haben den Entwickler*innen von Bedürfnissen und Herausforderungen erzählt und sie beraten. 

Um zu testen, wann es zu Diskriminierung kommt, haben die Teilnehmenden mit verschiedenen Chatbots gechattet. Sie haben geholfen, neue Anweisungen (Prompts) und Fragen für das Tool zu entwickeln. Gemeinsam mit den Forschenden haben die Teilnehmenden Bewertungskriterien festgelegt. Das Tool nutzt diese Kriterien, um die Ergebnisse des Chatbots automatisch zu bewerten: Verwendet der Chatbot eine respektvolle und positive Sprache? Übernimmt er Vorurteile über Menschen mit Behinderung? Sind die Antworten hilfreich und barrierefrei? Diese Kriterien werden fortlaufend überprüft und weiterentwickelt. 

Was sind Prompts?

Prompts sind die Anweisungen, mit denen KI-Chatbots arbeiten. Meistens werden sie als Text formuliert. Einige Chatbots unterstützen auch Spracheingabe. Je genauer und umfangreicher der Prompt, desto besser sind in der Regel die Ergebnisse. Es gibt unterschiedliche Arten von Prompts. Mit sogenannten Meta-Prompts kann man zum Beispiel beeinflussen, wie das KI-System hinter einem Chatbot funktioniert. Das nennt sich dann Prompt-Engineering.

Erfahrungsberichte: Von Superheld*innen und Außenseiter*innen

Diskriminierung klingt oft sehr abstrakt. Wie gestalten sich also Situationen, in denen Menschen diskriminierende Erfahrungen mit Chatbots machen? Die Teilnehmer*innen der Workshops berichten, dass sie oft auf Stereotype, unverständliche Sprache oder mangelndes Wissen über Menschen mit Behinderung stoßen. Hier teilen einige von ihnen ihre Erfahrungen: 
Zwei Hände liegen auf einer Computertastatur und tippen.

Viele Geschichten über Menschen mit Behinderung wirken unrealistisch. Sie erinnern an Disney-Filme und stellen unser Leben oft übertrieben oder verzerrt dar.

Zwei Hände liegen auf einer Computertastatur und tippen.

Formulierungen wie "Trotz seiner Behinderung hat er studiert" stellen normale Lebensentscheidungen als außergewöhnlich dar. Das wirkt auf mich übertrieben und entmenschlichend. Stattdessen sollte einfach beschrieben werden: Eine Person studiert und hat eine Behinderung. Beides gehört zur Realität, ohne dass daraus eine Heldengeschichte gemacht werden muss.

Zwei Hände liegen auf einer Computertastatur und tippen.

Sätze wie "Er findet Freude am Gestalten" wirken freundlich, aber sie vermitteln nicht, dass es sich um richtige Arbeit handelt. In der Werkstatt wird gearbeitet und das sollte auch klar so benannt werden.

Zwei Hände liegen auf einer Computertastatur und tippen.

Menschen mit Behinderung haben viele verschiedene Merkmale. Die Behinderung ist nur eines davon und sollte nicht definieren, wer wir sind.

Zwei Hände liegen auf einer Computertastatur und tippen.

Uns ist in diesem Absatz die Sprachwahl aufgefallen: "Er hatte mit einer Behinderung zu kämpfen". Das heißt, die Behinderung wird dann gleichgesetzt mit einem Kampf.

Zwei Hände liegen auf einer Computertastatur und tippen.

"Na ja, ein Behinderter kann ja die Leistung nicht erbringen und erfolgreich ein Studium abschließen (…)" – das wäre für mich jetzt die Diskriminierung, dass das so explizit hervorgehoben wurde, dass er trotz seiner Behinderung in der Lage war, zu studieren (…).

Was wurde bisher herausgefunden?

Bisher liegen nur vorläufige Ergebnisse der Studie vor. Sie weisen aber darauf hin, dass es noch viel zu tun gibt, um Chatbots inklusiver zu machen. Viele Chatbots übernehmen diskriminierende Formulierungen. Bei heiklen Themen weichen manche Systeme auf allgemeine Antworten aus. Vieles deutet darauf hin, dass die Daten, mit denen die Modelle hinter den Chatbots trainiert wurden, ableistische und diskriminierende Annahmen enthalten. Manchmal fehlen ihnen auch relevante Daten oder die Daten sind nicht korrekt. 

Wie geht es mit dem Projekt weiter?

Im August 2025 wird das Tool auf der Entwickler*innen-Plattform GitHub unter einer Open Source-Lizenz veröffentlicht. Es kann also frei verwendet werden. Das Ziel ist, das Tool zusammen mit Entwickler*innen und Inklusions-Expert*innen weiterzuentwickeln. Auch die Bewertungskriterien, mit denen das Tool arbeitet, sollen weiterentwickelt werden. 

Aktueller Regelkatalog

Hier können Sie sich einen Überblick über die bisher erarbeiteten Regeln und Kriterien verschaffen:
Natürlich freuen wir uns, wenn das Tool von so vielen wie möglich genutzt wird! Lassen Sie uns gemeinsam daran arbeiten, die Prüfung und Evaluation von Chatbots zum Standard zu machen. So können wir gemeinsam dazu beitragen, Ableismus und Diskriminierung entgegenzuwirken. Und Chatbots für alle nützlich und zugänglich zu machen!

Das könnte Sie auch interessieren