Die aus der analogen Welt bekannten Formen der Diskriminierung, bspw. aufgrund von Geschlecht, Ethnie oder Sexualität, treten in der digitalen Welt in neuer Art und Weise zu Tage. Neben offensichtlicher, meist bewusst verübter Diskriminierung, wie Hasskommentare und Beiträge, kommt es zunehmend zu passiver Ausgrenzung durch Algorithmen, welche schlichtweg das unbewusst diskriminierende Verhalten der Menschen, die sie entwickelt haben bzw. nutzen reproduzieren und teilweise auch verstärken. Beispiele, für diese programmierte Diskriminierung gibt es zuhauf. In der Netflix-Dokumentation „Coded Bias“ (zu Deutsch: Vorprogrammierte Diskriminierung), erklärt Joy Buolamwini, Programmiererin im MIT Media Lab, wie ihr Gesicht von einem Gesichtserkennungsprogramm, erst durch das Tragen einer weißen Maske erkannt wurde. Buolamwini ist Schwarz und die dunklere Farbe ihrer Haut konnte von dem Programm nicht erkannt werden, weil seine Programmierer*innen dem Algorithmus eine Datenbank mit mangelnder Diversität zugrunde legten. Das heißt, damit der Algorithmus fähig ist, Gesichter zu erkennen, müssen ihm möglichst viele Bilder von Gesichtern als Lernmaterial zu Verfügung gestellt werden. Da die Programmier-Szene aber hauptsächlich von weißen Männern dominiert wird, wurde höchstwahrscheinlich schlichtweg nicht berücksichtigt auch bzw. genügend Gesichter von nicht-weißen Frauen und Männern in die Datenbank einzuspeisen. Hier geht es also weniger um gewollte Ausgrenzung, vielmehr wird von sich selbst, als die gesellschaftliche Norm ausgegangen und „Abweichungen“ davon werden häufig vergessen.

Dies ist nur eines von vielen Beispielen zu programmierter Diskriminierung. Doch während eine nur beschränkt funktionierende Gesichtserkennung schnell zu entdecken ist, gibt es Algorithmen bei denen eine potenziell diskriminierende Programmierung zunächst überhaupt nicht in Betracht gezogen, geschweige denn erkennbar ist. So arbeitete Amazon zeitweise mit einem Programm, welches eine Vorauswahl bei den eingeschickten Bewerbungen treffen sollte, um den Auswahlprozess zu beschleunigen oder zumindest zu erleichtern. Auch dieser Algorithmus wurde vorab mit Daten gefüttert. In diesem Fall, mit den Attributen von Personen, die in der Vergangenheit eingestellt wurden und sich erfolgreich im Unternehmen etablierten. Dieses Vorgehen führte dazu, dass das Programm größtenteils weiße Männer als Kandidaten vorschlug, da die zuvor von Menschen getroffenen Entscheidungen schlichtweg reproduziert wurden. Für die Bewerber*innen war dieser Prozess allerdings völlig undurchsichtig, durch die jeweils individuelle Ablehnung, konnte das Muster dahinter nicht bemerkt werden. Es besteht also zunehmend die Gefahr, nicht aufgrund von mangelnden Qualifikationen, sondern durch unfaire Algorithmen einen Job nicht zu bekommen.

Natürlich sind diese Beispiele auch der Politik und dem Staat nicht verborgen geblieben. Seit einiger Zeit widmet sich deswegen auch die im Familienministerium angesiedelte Antidiskriminierungsstelle des Bundes (ADS) dem Thema. Die ADS berät Menschen, die Diskriminierung erfahren haben, klärt durch leicht zugängliche Artikel und Videos auf, führt Forschungsprojekte durch bzw. gibt diese in Auftrag und formuliert aus den Ergebnissen Handlungsvorschläge für die Politik. Zudem unterstützt sie verschiedene Nicht-Regierungsorganisationen, welche sich ebenfalls der Bekämpfung unterschiedlichen Aspekten von Diskriminierung widmen. Zu diesen von der ADS unterstützten NRO zählt auch AlgorithmWatch, die sich auf die Beobachtung, Analyse und Bewertung von Algorithmen spezialisiert haben.

Aber das Melden dieser diskriminierenden Vorfälle, sofern sie überhaupt entdeckt werden, führt meist zu keinerlei Konsequenzen für die Anbieter oder Unternehmen. Viele Opfer von digitalisierter Diskriminierung geben sich meist mit einer Entschuldigung oder Schmerzensgeld zufrieden, auch weil sie Angst haben, dass ein tatsächlicher Gerichtsprozess viel Zeit, Energie und Geld kosten würde. Obwohl es bereits Organisationen wie AlgorithmWatch gibt, die durch intensive Recherche und Diskriminierungs-Melde-Tools  auf die Problematik aufmerksam machen, kann es nur durch flächendeckend staatliches Eingreifen, bzw. durch Präventivmaßnahmen zu einer tatsächlichen Besserung der Situation kommen.

AlgorithmWatch veröffentlichte am 10. Februar 2022 den Policy-Brief #5, der neben einer detaillierten Darstellung der programmierten Diskriminierung auch klare Lösungsansätze formulierte und Forderungen an die aktuelle Bundesregierung stellte. Und tatsächlich findet man in dem aktuellen Koalitionsvertrag die Ankündigung, dass das Allgemeine Gleichstellungsgesetz auf den digitalen Raum ausgeweitet werden soll. Ein wichtiger Schritt, der eine stabilere rechtliche Grundlage für juristische Verfahren schaffen würde und sowohl von der Antidiskriminierungsstelle des Bundes (ADS) als auch von AlgorithmWatch als sinnvollen Schritt erachtet wird.

Nachfragen bei der ADS, welche Ziele und Zukunftspläne bestehen und inwiefern der die Ankündigung der neuen Regierung bereits Einfluss auf ihre Arbeit genommen hat, blieben leider unbeantwortet. Die Entscheidung, über welches Budget die ADS künftig verfügt, liegt im Bundestag bzw. bei der derzeitigen Regierung. Diese hat in ihrem Koalitionsvertrag angegeben, sie wolle effektiver gegen Diskriminierung vorgehen. Eine sichtbare Besserung ist bis jetzt nicht zu erkennen.

Vorprogrammierte Diskriminierung bleibt also weiterhin ein eher mangelhaft thematisiertes Problem. Die dafür zuständigen Behörden scheinen bis dato noch keine feste Strategie entwickelt zu haben. Somit wird es wohl weiterhin die Aufgabe der Vertreter*innen der Zivilgesellschaft sein, mit Aufklärung oder dem zur Verfügung stellen von Meldeportalen, ein Bewusstsein für das Thema zu schaffen.

Picture by pixel2013 on pixabay

Was ist ADM?

ADM – das steht für Algorithmic Descision Making, also dem Vorgang, bei dem Künstliche Intelligenz (KI) das Verhalten von Menschen analysiert und Entscheidungen für sie trifft. Was sich abstrakt anhört, begegnet uns im digitalen Leben täglich: Spotify schlägt uns Musik basierend auf bereits abgespielten Songs vor, Facebook und Instagram zeigen uns Inhalte an, die auf unsere individuellen Interessen abzielen, und unser Mailprogramm filtert die Nachrichten, die es als Spam erachtet. Diese Entscheidungen beruhen allesamt auf Algorithmen. Auch auf dem Arbeitsmarkt, in der Medizin, im Bereich der Sicherheit und Überwachung sowie der Städteplanung finden ADM-Prozesse bereits Anwendung.

Wenn ADM ein so zentraler Bestandteil unseres alltäglichen Lebens ist, wieso wird in der Zivilgesellschaft so wenig darüber gesprochen? Carla Hustedt (Projektleiterin Ethik der Algorithmen, Bertelsmann Stiftung) glaubt, es läge daran, dass zu wenig Wissen in der breiten Bevölkerung besteht. Bei Versuchen, das Thema für Ottonormalverbraucher greifbarer zu machen, würden allzu oft Beispiele aus USA oder China angebracht. Jetzt sei es an der Zeit, sich auch in Deutschland intensiv mit ADM auseinanderzusetzen.

Angst vor ADM oder „Es gibt auch gute Drachen!“

Was haben Drachen und ADM gemeinsam? So einiges! Das findet zumindest Lorenz Matzat, Mitbegründer von AlgorithmWatch und Projektleiter des Berichts Atlas of Automation. ADM würde, genau wie dem Mythos der Drachen, allzu oft mit Angst und Misstrauen begegnet. Dabei habe es in Geschichten doch immer auch gute Drachen gegeben. Werden automatisierte Entscheidungssysteme also zu einer Schreckensgestalt gemacht, die sie nicht sind? Matzat findet, es sollte eine sachliche Diskussion über ADM geführt werden. Horrorszenarien, in denen Maschinen die Kontrolle über die Menschen ergreifen, seien weder realistisch noch zielführend. Als erster Schritt sollte zwischen KI und ADM differenziert werden – so lautete der klare Tenor der Podiumsgäste. Oder wie Heather West (Leitende Richtlinienmanagerin Mozilla) es ausdrückte: „Wenn wir über KI sprechen, denken wir an Killerroboter und nicht an unseren Facebook-Feed. ADM-Systeme sind meist sehr hilfreiche Werkzeuge über die wir bislang viel zu wenig gesprochen haben.”

Der Bericht “Atlas of Automation” ist der erste deutsche ADM-Atlas und liefert Antworten auf essentielle Fragen rund um die Thematik: Wo wird die automatisierte Entscheidungsfindung bereits eingesetzt, wo ist ihr Einsatz geplant, welche Regulierungsansätze gibt es, welche wichtigen Akteure sind in diesem Bereich tätig? Schwerpunktmäßig beschäftigt sich der Bericht mit den Themen Arbeit (z.B. automatisierte Bewerbungsverfahren), Gesundheit & Medizin (z.B. Gesundheitsapps), Internet (z.B. Upload-Filter), Sicherheit und Überwachung (z.B. Gesichtserkennung), Bildung, Aktienhandel, Stadt und Verkehr.

Diskriminierungspotential und Verantwortung

Weil die ADM-basierten Systeme frei von Vorurteilen agieren sollten, sind sie im besten Fall neutraler als menschliche Entscheidungen. Sie sind darauf ausgelegt, effizienter als Menschen zu arbeiten, weil sie weitaus mehr Informationen speichern können und mit steigender Datenmenge stetig dazulernen. Wo liegt also das Diskriminierungspotential? Es sind immer Menschen, die Algorithmen entwickeln. Das bedeutet, es besteht stets die Gefahr, dass menschliche Vorurteile in den ADM-Prozessen reproduziert werden, weil sie schon in den gesammelten Daten enthalten sind. Tina Klüwer (Geschäftsführerin parlamind, Mitglied der Enquete-Kommission des deutschen Bundestags „Künstliche Intelligenz“) plädiert deshalb dafür, Menschen, die Daten erheben, auswerten und dann Algorithmen entwickeln, sensibel für Diskriminierungsformen wie Sexismus und Rassismus zu machen. Auch Lorenz Matzat weist darauf hin, dass die Daten nur einen Bruchteil der Realität widerspiegeln. Es gehe in Daten und Statistiken immer auch viel Kontext verloren. Neben dem Bericht hat die AlgorithmWatch deshalb eine Online-Datenbank erstellt, die ADM-Produkte und –Technologien aufzeichnet, beschreibt, und die fortlaufend erweitert wird.

Wer sollte die Verantwortung für Diskriminierung in ADM-Prozessen übernehmen? Julia Borggräfe (Abteilungsleiterin “Digitalisierung und Arbeitswelt” im Bundesministerium für Arbeit und Soziales), hat dazu eine klare Haltung: „Die Menschen, die Systeme entwickeln, müssen dafür die Verantwortung tragen, selbst wenn sie glauben, es gäbe keine Verzerrung in ihrem System.“ Tina Klüwer bringt die Debatte auf den Punkt, wenn sie sagt: “Wir sind keine Opfer der Algorithmen. Wir haben stets die Macht, sie zu beeinflussen.“

Fazit

Automatisierte Entscheidungsfindung ist mittlerweile fester Bestandteilteil unseres Alltags. Obwohl fast alle Lebensbereiche von ADM-Prozessen durchsetzt sind, werden sie in der öffentlichen Debatte mit Künstlicher Intelligenz vermengt. Gleichwohl wird dabei oft eine Dystopie entworfen, in der Roboter die Welt übernehmen. Die Realität ist aber, dass ADM-Systeme von Menschen gemacht werden und deshalb in manchen Fällen deren Einstellungen nahtlos reproduzieren. Anstatt sich diffusen Ängsten hinzugeben, sollte ein radikaler Kurswechsel hin zu einer differenzierten Diskussion über ADM und KI stattfinden.

Die Studie können Sie hier herunterladen: Atlas of Automation

Photo by: sgcdesignco on Unsplash

 

 

Das Crowdsourcing-Projekt “Datenspende” startet diesen Donnerstag und funktioniert über ein extra entwickeltes Tool, dass sich Nutzer als Plug-In für ihren Browser installieren können. Alle vier Stunden sucht es dann nach einer vorgefertigten Liste von rund 15 Parteinamen und Politikern. Hierzu gehören etwa SPD und CSU, aber auch Angela Merkel oder Christian Lindner. Das ganze funktioniert automatisch – vorausgesetzt, der Rechner ist am Strom und der Browser eingeschaltet.

Die Ergebnisse werden zunächst in einer Datenbank gespeichert und schließlich für jedermann zugänglich gemacht. Sie stehen im Anschluss auch für die eigene Auswertung zur Verfügung. Ziel des Ganzen: Herauszufinden, wie Google persönliche Nutzerpräferenzen für die Optimierung der Suchmaschinen nutzt – und welche Themen im Rahmen der Bundestagswahl Hochkonjunktur haben. Wer teilnehmen möchte, kann sich hier informieren und das Tool downloaden.  

Titelbild: By 422737 on Pixabay, CCO Public Domain