Clar: Aus dem von der Anti-Diskriminierungsstelle des Bundes (ADS) in Auftrag gegebene Forschungsprojekt Diskriminierungsrisiken bei Verwendung von Algorithmen“ aus dem Jahre 2019 gingen verschiedene Erkenntnisse hervor, unter anderem Feststellungen, wie die Anti-Diskriminierungsstelle selbst vorzugehen hat, um gegen digitalisierte Diskriminierung vorzugehen.

Wie steht es um diese Ansprüche?

Man kam zu der Erkenntnis, dass Ersteller von Algorithmen beraten und sensibilisiert werden müssten, um eine von vornherein diskriminierende Programmierung zu vermeiden. Es wurde zudem gefordert, dass die ADS in Entscheidungsprozesse bei Beschaffung von Algorithmen durch staatliche Behörden/Institutionen einbezogen werden sollte. Durch direkte Analysen und das Testen von Algorithmen, sollen diskriminierende Strukturen schneller erkannt werden.

Hier werden verschiedene Fragen aufgeworfen. Zum einen, in welchen Aspekten die ADS Fortschritte gemacht hat und ob es neue oder geplante Projekte gibt. Zum anderen, wie die aktuellen Entscheidungsprozesse ablaufen und welche Rolle die ADS in diesen spielt.

Welchen der von Ihnen angeführten Punkte halten Sie für besonders akut?

Ataman (Antwort auf alle vorstehenden Fragen): “Es gibt viel zu tun, um Diskriminierungsrisiken durch Algorithmen gut zu begegnen und wir stehen zugegebenermaßen immer noch am Anfang. Mein eigenes Amt ist ja noch ganz neu. Im April 2022 wurde das Allgemeine Gleichbehandlungsgesetz geändert und die Position einer Unabhängigen Bundesbeauftragten für Antidiskriminierung geschaffen, die gleichzeitig die Antidiskriminierungsstelle des Bundes leitet. Ich habe dieses Amt im Juli übernommen. Und zu meinen Befugnissen als Beauftragte gehört auch, dass Bundesbehörden mich bei allen Vorhaben, die meine Zuständigkeit berühren, zukünftig beteiligen müssen. Das gilt auch bei der Frage der Beschaffung von algorithmischen Entscheidungssystemen durch staatliche Stellen. Wichtig ist, dass Testing-Möglichkeiten geschaffen werden, um Diskriminierungsrisiken zu identifizieren. Ich werde diese Punkte als Unabhängige Beauftragte einbringen, wenn die Bundesregierung hier einen Gesetzentwurf vorlegt.”

Clar: Die Ampel-Koalition positioniert sich in Ihrem Koalitionsvertrag noch deutlicher als ihre Vorgänger gegen Diskriminierung. Zudem verweist der Vertrag auf die Ausweitung des Allgemeinen Gleichbehandlungsgesetzes, eine Möglichkeit, die sowohl in Ihrem Forschungsprojekt als auch im Policy Brief #5 von der Nicht-Regierungsorganisation AlgorithmWatch gefordert wird.

Hat der Regierungswechsel bezüglich der Arbeit (Abläufe, Herangehensweise etc.) gegen digitalisierte Diskriminierung nennenswerte Veränderungen herbeigeführt oder sind diese zu erwarten?

Ataman: “Klar ist: Das Thema Diskriminierungsschutz gehört auf die Agenda, und zwar jetzt. Es gab schon kurz nach dem Regierungswechsel die erste substanzielle Änderung des AGG seit vielen Jahren, die mir als Beauftragte und damit auch der Antidiskriminierungsstelle die Beteiligungsrechte gegeben hat, die ich erwähnt habe. Aber wie Sie selbst ansprechen, hat die Regierung sich noch eine grundsätzlichere AGG-Reform vorgenommen, die laut Koalitionsvertrag „Schutzlücken schließen, den Rechtsschutz verbessern und den Anwendungsbereich des Gesetzes“ ausweiten soll. Ich will mit daran arbeiten, dass dieser Anspruch auch erfüllt wird und die AGG-Novelle Menschen, die Diskriminierung erleben, tatsächlich hilft. Denn das Gesetz, das wissen wir seit langem, ist zu schwach und macht es Menschen zu schwer, zu ihrem Recht zu kommen. Das gilt auch im Umgang mit algorithmischen Systemen und die Bundesregierung steht da wirklich in der Pflicht. Als Antidiskriminierungsstelle haben wir ein Rechtsgutachten vergeben, das für uns ganz genau prüfen soll, ob und wie das Allgemeine Gleichbehandlungsgesetz angepasst werden muss, um mit Diskriminierung durch algorithmische Systeme angemessen umgehen zu können. Das Gutachten werde ich in einigen Monaten vorlegen können.

Ein Verbandsklagerecht und auch ein Klagerecht der Antidiskriminierungsstelle in Fällen von grundsätzlicher Bedeutung gehören aus meiner Sicht jedenfalls zu den Verbesserungen, die unbedingt kommen sollten.”

Clar: In den Schlussfolgerungen, welche Sie aus dem Forschungsprojekt ziehen, führen Sie auch verschiedene gesetzliche Möglichkeiten gegen digitale Diskriminierung vorzugehen auf.

Wurden diese Vorschläge bereits von der Ampel-Koalition aufgegriffen oder rechnen Sie damit, dass dies in Zukunft passiert? Rechnen Sie zudem mit Gesetzesentwürfen/gesetzlichen Anpassungen während der aktuellen Legislaturperiode?

Ataman: “Wir sind ja mittendrin in der gesetzgeberischen Debatte, aktuell aber vor allem auf EU-Ebene, wo es um die Europäische Verordnung zu Künstlicher Intelligenz geht. Viele Expert*innen kritisieren, dass der Vorschlag den Diskriminierungsschutz eher als Nebensache behandelt. Ich sehe das auch kritisch. Die Betroffenen und ihre Rechte kamen im ersten Entwurf der Kommission eigentlich gar nicht vor. Wir dringen hier darauf, dass die Bundesregierung in den Verhandlungen möglichst viel für den Schutz vor Diskriminierung herausholt. Parallel gibt es jetzt auch einen ersten Entwurf für eine Konvention des Europarats zu Künstlicher Intelligenz, die besonders den Schutz der Grundrechte in den Blick nimmt.

Mir ist vor allem wichtig, dass wir Dokumentationspflichten für die Anwender algorithmischer Systeme in allen Bereichen haben, in denen Diskriminierung verboten ist, damit vor Gericht überhaupt nachgewiesen werden kann, nach welchen Kriterien eine Entscheidung gefällt wurde. Dass es Transparenzpflichten gibt und die Betroffenen überhaupt darüber informiert werden, dass z.B. in einem Bewerbungsverfahren Algorithmen eingesetzt werden. Und dass wir genau hinschauen, ob bestimmte Änderungen am bestehenden Antidiskriminierungsrecht

nötig sind, damit es zukünftig noch durchgesetzt werden kann. Um nur ein Beispiel zu nennen: Die Antidiskriminierungsstelle hat bisher keinen Auskunftsanspruch gegenüber privaten Unternehmen. Da hilft uns dann die schönste Dokumentation von Entscheidungskriterien eines Algorithmus nichts, wenn wir sie nicht anfordern können.

Ob auch nationale Gesetzgebung nötig wird, werden wir sehen, wenn die europäischen Verhandlungen abgeschlossen sind. Ich bin aber ziemlich sicher, dass wir am Ende der Legislaturperiode eine Rechtslage haben werden, die deutlich klarer ist.”

Clar: Der Policy Brief #5 von AlgorithmWatch ähnelt insbesondere in Bezug auf die Schlussfolgerungen und Handlungsansätze stark der Ihren.

Bestätigt das Ihre Arbeit? Wie ist das weitere Vorgehen? Welchen Einfluss hat dies auf Sie?

Ataman: “Tatsächlich kommt AlgorithmWatch zu sehr ähnlichen Empfehlungen wie das Gutachten, das Carsten Orwat vom KIT Karlsruhe für die Antidiskriminierungsstelle des Bundes erarbeitet hat. Und das ist auch gar nicht überraschend, denn beide liegen auf einer Linie mit den allermeisten Analysen aus der Wissenschaft und auch von europäischen und internationalen Fachgremien, die inzwischen vorliegen. Natürlich fühlen wir uns darin bestätigt, dass wir mit unseren grundsätzlichen Empfehlungen auf dem richtigen Kurs sind. Wir werden uns mit Organisationen wie AlgorithmWatch in Zukunft laufend inhaltlich austauschen. Ich finde es wichtig, dass wir in beiden Richtungen einen Wissenstransfer organisieren zwischen denen, die sich seit Jahren mit Algorithmen und KI beschäftigen, und denen, die Expert*innen für Antidiskriminierung sind. Da machen wir auch gute Fortschritte.”

Clar: Es besteht die Möglichkeit, dass es zu keinen konkreten Maßnahmen gegen digitale Diskriminierung kommt, oder diese erst in einigen Jahren wirken.

Wie können sich Nutzer*innen aktuell schützen? Gibt es eventuell konkrete Plattformen/Betreiber*innen etc., die zu meiden sind?

Ataman: “Es ist sehr schwierig, Einzelpersonen zu empfehlen, wie sie sich schützen können. Solange es keine Transparenzpflichten gibt, wissen sie ja oft gar nicht, dass ein algorithmischer Entscheidungsmechanismus zum Einsatz kommt. Und eigentlich sollte unser Ansatz doch auch ein anderer sein: Damit wir einen guten Schutz vor Diskriminierung erreichen, müssen wir uns an diejenigen richten, die gestalten können: Das sind die Anbieter*innen von KI und die Unternehmen, die solche Anwendungen nutzen. Das ist die Politik, die die Rahmenbedingungen setzen muss. Und das sind all diejenigen, die in Beratungsstellen aktiv mit Menschen arbeiten, die Diskriminierung erleben.

An der Stelle haben wir zuletzt angesetzt. Wir haben das Projekt AutoCheck von AlgorithmWatch gefördert, das einen Ratgeber zu „Automatisierten Entscheidungssystemen und Diskriminierung“ erarbeitet und Schulungsprogramme für die Antidiskriminierungsberatung entwickelt hat. Dadurch wollen wir die Berater*innen ansprechen, die überall im Land täglich Menschen unterstützen, die Diskriminierung erfahren. Sie sollen in die Lage versetzt werden, einen

Zusammenhang eines Diskriminierungsfalls mit algorithmischen Systemen besser zu erkennen. Das hilft in erster Linie den Betroffenen, weil sie besser beraten werden können. Es hilft uns aber auch dabei, solche Fälle besser zu dokumentieren, damit wir politische Schlüsse aus ihnen ziehen und dann eventuell auch die Öffentlichkeit besser über einzelne, problematische Anwendungen aufklären können.”

Picture by Tobias Golla on pixabay

Wie andere Regierungen zuvor versprach die Ampel-Koalition bereits in ihrem Koalitionsvertrag große Entwicklungsschritte in Bezug auf die Digitalisierung Deutschlands. Insbesondere das Glasfasernetz soll ausgebaut werden, 2025 soll schon jede*r zweite*r in Deutschland darauf Zugriff haben. Zudem ist ein vollständiger, lückenloser Mobilfunk für Sprach- und Datendienste bis 2026 in Planung. Generell soll die Nutzung des Internets deutschlandweit möglich sein, indem Vorhaben schneller genehmigt und vermehrt oberirdisch gebaut werden sollen.  

Bei der Digitalisierung des Gesundheitssektors sowie des Staates allgemein soll die Umsetzung von elektronischen Dokumenten priorisiert werden. Medikamentenrezepte, Personalausweise usw. sollen zukünftig digitalisiert werden, um Wege zur Apotheke oder zu Behörden einzusparen, wodurch beidseitig entlastet und Zeit eingespart wird. 

Die aktuelle Regierung erkennt damit an, dass Deutschland einen „umfangreichen digitalen Aufbruch“ nötig hat, um wettbewerbstechnisch mithalten und sich zu den besten Zehn des europäischen Index für digitale Wirtschaft und Gesellschaft zählen zu können. Laut Wirtschaftsvertreter*innen wie dem BVDW, habe das Strategiepapier Hoffnungen enttäuscht, die auf Basis des Koalitionsvertrags entstanden sind. Erste Stimmen kritisieren die Pläne als nicht vorrausschauend genug und verweisen auf eine nicht erkennbare Zuteilung der Verantwortlichkeiten, welche sowohl die Effektivität als auch die generelle Umsetzung der Pläne behindern könnte.

Quelle: www.zdf.de

Picture by Bruno on pixabay

Die aus der analogen Welt bekannten Formen der Diskriminierung, bspw. aufgrund von Geschlecht, Ethnie oder Sexualität, treten in der digitalen Welt in neuer Art und Weise zu Tage. Neben offensichtlicher, meist bewusst verübter Diskriminierung, wie Hasskommentare und Beiträge, kommt es zunehmend zu passiver Ausgrenzung durch Algorithmen, welche schlichtweg das unbewusst diskriminierende Verhalten der Menschen, die sie entwickelt haben bzw. nutzen reproduzieren und teilweise auch verstärken. Beispiele, für diese programmierte Diskriminierung gibt es zuhauf. In der Netflix-Dokumentation „Coded Bias“ (zu Deutsch: Vorprogrammierte Diskriminierung), erklärt Joy Buolamwini, Programmiererin im MIT Media Lab, wie ihr Gesicht von einem Gesichtserkennungsprogramm, erst durch das Tragen einer weißen Maske erkannt wurde. Buolamwini ist Schwarz und die dunklere Farbe ihrer Haut konnte von dem Programm nicht erkannt werden, weil seine Programmierer*innen dem Algorithmus eine Datenbank mit mangelnder Diversität zugrunde legten. Das heißt, damit der Algorithmus fähig ist, Gesichter zu erkennen, müssen ihm möglichst viele Bilder von Gesichtern als Lernmaterial zu Verfügung gestellt werden. Da die Programmier-Szene aber hauptsächlich von weißen Männern dominiert wird, wurde höchstwahrscheinlich schlichtweg nicht berücksichtigt auch bzw. genügend Gesichter von nicht-weißen Frauen und Männern in die Datenbank einzuspeisen. Hier geht es also weniger um gewollte Ausgrenzung, vielmehr wird von sich selbst, als die gesellschaftliche Norm ausgegangen und „Abweichungen“ davon werden häufig vergessen.

Dies ist nur eines von vielen Beispielen zu programmierter Diskriminierung. Doch während eine nur beschränkt funktionierende Gesichtserkennung schnell zu entdecken ist, gibt es Algorithmen bei denen eine potenziell diskriminierende Programmierung zunächst überhaupt nicht in Betracht gezogen, geschweige denn erkennbar ist. So arbeitete Amazon zeitweise mit einem Programm, welches eine Vorauswahl bei den eingeschickten Bewerbungen treffen sollte, um den Auswahlprozess zu beschleunigen oder zumindest zu erleichtern. Auch dieser Algorithmus wurde vorab mit Daten gefüttert. In diesem Fall, mit den Attributen von Personen, die in der Vergangenheit eingestellt wurden und sich erfolgreich im Unternehmen etablierten. Dieses Vorgehen führte dazu, dass das Programm größtenteils weiße Männer als Kandidaten vorschlug, da die zuvor von Menschen getroffenen Entscheidungen schlichtweg reproduziert wurden. Für die Bewerber*innen war dieser Prozess allerdings völlig undurchsichtig, durch die jeweils individuelle Ablehnung, konnte das Muster dahinter nicht bemerkt werden. Es besteht also zunehmend die Gefahr, nicht aufgrund von mangelnden Qualifikationen, sondern durch unfaire Algorithmen einen Job nicht zu bekommen.

Natürlich sind diese Beispiele auch der Politik und dem Staat nicht verborgen geblieben. Seit einiger Zeit widmet sich deswegen auch die im Familienministerium angesiedelte Antidiskriminierungsstelle des Bundes (ADS) dem Thema. Die ADS berät Menschen, die Diskriminierung erfahren haben, klärt durch leicht zugängliche Artikel und Videos auf, führt Forschungsprojekte durch bzw. gibt diese in Auftrag und formuliert aus den Ergebnissen Handlungsvorschläge für die Politik. Zudem unterstützt sie verschiedene Nicht-Regierungsorganisationen, welche sich ebenfalls der Bekämpfung unterschiedlichen Aspekten von Diskriminierung widmen. Zu diesen von der ADS unterstützten NRO zählt auch AlgorithmWatch, die sich auf die Beobachtung, Analyse und Bewertung von Algorithmen spezialisiert haben.

Aber das Melden dieser diskriminierenden Vorfälle, sofern sie überhaupt entdeckt werden, führt meist zu keinerlei Konsequenzen für die Anbieter oder Unternehmen. Viele Opfer von digitalisierter Diskriminierung geben sich meist mit einer Entschuldigung oder Schmerzensgeld zufrieden, auch weil sie Angst haben, dass ein tatsächlicher Gerichtsprozess viel Zeit, Energie und Geld kosten würde. Obwohl es bereits Organisationen wie AlgorithmWatch gibt, die durch intensive Recherche und Diskriminierungs-Melde-Tools  auf die Problematik aufmerksam machen, kann es nur durch flächendeckend staatliches Eingreifen, bzw. durch Präventivmaßnahmen zu einer tatsächlichen Besserung der Situation kommen.

AlgorithmWatch veröffentlichte am 10. Februar 2022 den Policy-Brief #5, der neben einer detaillierten Darstellung der programmierten Diskriminierung auch klare Lösungsansätze formulierte und Forderungen an die aktuelle Bundesregierung stellte. Und tatsächlich findet man in dem aktuellen Koalitionsvertrag die Ankündigung, dass das Allgemeine Gleichstellungsgesetz auf den digitalen Raum ausgeweitet werden soll. Ein wichtiger Schritt, der eine stabilere rechtliche Grundlage für juristische Verfahren schaffen würde und sowohl von der Antidiskriminierungsstelle des Bundes (ADS) als auch von AlgorithmWatch als sinnvollen Schritt erachtet wird.

Nachfragen bei der ADS, welche Ziele und Zukunftspläne bestehen und inwiefern der die Ankündigung der neuen Regierung bereits Einfluss auf ihre Arbeit genommen hat, blieben leider unbeantwortet. Die Entscheidung, über welches Budget die ADS künftig verfügt, liegt im Bundestag bzw. bei der derzeitigen Regierung. Diese hat in ihrem Koalitionsvertrag angegeben, sie wolle effektiver gegen Diskriminierung vorgehen. Eine sichtbare Besserung ist bis jetzt nicht zu erkennen.

Vorprogrammierte Diskriminierung bleibt also weiterhin ein eher mangelhaft thematisiertes Problem. Die dafür zuständigen Behörden scheinen bis dato noch keine feste Strategie entwickelt zu haben. Somit wird es wohl weiterhin die Aufgabe der Vertreter*innen der Zivilgesellschaft sein, mit Aufklärung oder dem zur Verfügung stellen von Meldeportalen, ein Bewusstsein für das Thema zu schaffen.

Picture by pixel2013 on pixabay

Durch die fortschreitende Digitalisierung ist es seit mehreren Jahren möglich, seine Identität für eine Anmeldung auch online nachzuweisen, so können bspw. Behördengänge vermieden werden. In den Videoanrufen kontrolliert ein*e Mitarbeiter*in die Übereinstimmung von den bereits angegebenen Daten, der Person und dem Ausweisdokument. Dabei müssen Gesicht wie Dokument lediglich auf dem Videoanruf klar sichtbar sein und in verschiedene Richtungen bewegt werden, um deren Echtheit zu belegen.

Der CC-Club täuschte mehrere Unternehmen durch Fälschung der Ausweisdokumente, unter anderem mithilfe einer Open-Source Anwendung, die öffentlich zugänglich ist. Zudem spielte der Gruppe die schlechte Qualität der Anrufe in die Hände, wodurch kleine Ungereimtheiten nicht auffielen. Unter anderem konnte auf konkrete Gesundheitsdaten einer Person zugegriffen werden, die ihr Einverständ-nis vorab zu diesem Versuch gegeben hatte.

Das genaue Vorgehen der auf Computersicherheit spezialisierten NGO ist auf deren Website nachzulesen, um welche sechs Unternehmen es sich bei den erfolgreichen handelt, haben die Expert*innen aber nicht bekanntgegeben. Allerdings folgte auf die Bekanntgabe der Sicherheitslücke eine Anordnung der für die Digitalisierung der Krankenkassen zuständigen Gematik GmbH, welche die weitere Nutzung der Anwendung verbot.

Grundsätzlich sollte die Verifizierung von Personen im digitalen Raum längst durch den Wechsel zum digitalen Personalausweis realisiert worden sein. Doch nur wenige Bürger*innen verfügen bislang über diesen, zumal es auch hier starke Kritik an der von der Bundesregierung eingesetzten Technologie gibt.

Quelle: www.tagesschau.de

Picture by mohamed_hassan on pixabay