Clar: Aus dem von der Anti-Diskriminierungsstelle des Bundes (ADS) in Auftrag gegebene Forschungsprojekt Diskriminierungsrisiken bei Verwendung von Algorithmen“ aus dem Jahre 2019 gingen verschiedene Erkenntnisse hervor, unter anderem Feststellungen, wie die Anti-Diskriminierungsstelle selbst vorzugehen hat, um gegen digitalisierte Diskriminierung vorzugehen.

Wie steht es um diese Ansprüche?

Man kam zu der Erkenntnis, dass Ersteller von Algorithmen beraten und sensibilisiert werden müssten, um eine von vornherein diskriminierende Programmierung zu vermeiden. Es wurde zudem gefordert, dass die ADS in Entscheidungsprozesse bei Beschaffung von Algorithmen durch staatliche Behörden/Institutionen einbezogen werden sollte. Durch direkte Analysen und das Testen von Algorithmen, sollen diskriminierende Strukturen schneller erkannt werden.

Hier werden verschiedene Fragen aufgeworfen. Zum einen, in welchen Aspekten die ADS Fortschritte gemacht hat und ob es neue oder geplante Projekte gibt. Zum anderen, wie die aktuellen Entscheidungsprozesse ablaufen und welche Rolle die ADS in diesen spielt.

Welchen der von Ihnen angeführten Punkte halten Sie für besonders akut?

Ataman (Antwort auf alle vorstehenden Fragen): “Es gibt viel zu tun, um Diskriminierungsrisiken durch Algorithmen gut zu begegnen und wir stehen zugegebenermaßen immer noch am Anfang. Mein eigenes Amt ist ja noch ganz neu. Im April 2022 wurde das Allgemeine Gleichbehandlungsgesetz geändert und die Position einer Unabhängigen Bundesbeauftragten für Antidiskriminierung geschaffen, die gleichzeitig die Antidiskriminierungsstelle des Bundes leitet. Ich habe dieses Amt im Juli übernommen. Und zu meinen Befugnissen als Beauftragte gehört auch, dass Bundesbehörden mich bei allen Vorhaben, die meine Zuständigkeit berühren, zukünftig beteiligen müssen. Das gilt auch bei der Frage der Beschaffung von algorithmischen Entscheidungssystemen durch staatliche Stellen. Wichtig ist, dass Testing-Möglichkeiten geschaffen werden, um Diskriminierungsrisiken zu identifizieren. Ich werde diese Punkte als Unabhängige Beauftragte einbringen, wenn die Bundesregierung hier einen Gesetzentwurf vorlegt.”

Clar: Die Ampel-Koalition positioniert sich in Ihrem Koalitionsvertrag noch deutlicher als ihre Vorgänger gegen Diskriminierung. Zudem verweist der Vertrag auf die Ausweitung des Allgemeinen Gleichbehandlungsgesetzes, eine Möglichkeit, die sowohl in Ihrem Forschungsprojekt als auch im Policy Brief #5 von der Nicht-Regierungsorganisation AlgorithmWatch gefordert wird.

Hat der Regierungswechsel bezüglich der Arbeit (Abläufe, Herangehensweise etc.) gegen digitalisierte Diskriminierung nennenswerte Veränderungen herbeigeführt oder sind diese zu erwarten?

Ataman: “Klar ist: Das Thema Diskriminierungsschutz gehört auf die Agenda, und zwar jetzt. Es gab schon kurz nach dem Regierungswechsel die erste substanzielle Änderung des AGG seit vielen Jahren, die mir als Beauftragte und damit auch der Antidiskriminierungsstelle die Beteiligungsrechte gegeben hat, die ich erwähnt habe. Aber wie Sie selbst ansprechen, hat die Regierung sich noch eine grundsätzlichere AGG-Reform vorgenommen, die laut Koalitionsvertrag „Schutzlücken schließen, den Rechtsschutz verbessern und den Anwendungsbereich des Gesetzes“ ausweiten soll. Ich will mit daran arbeiten, dass dieser Anspruch auch erfüllt wird und die AGG-Novelle Menschen, die Diskriminierung erleben, tatsächlich hilft. Denn das Gesetz, das wissen wir seit langem, ist zu schwach und macht es Menschen zu schwer, zu ihrem Recht zu kommen. Das gilt auch im Umgang mit algorithmischen Systemen und die Bundesregierung steht da wirklich in der Pflicht. Als Antidiskriminierungsstelle haben wir ein Rechtsgutachten vergeben, das für uns ganz genau prüfen soll, ob und wie das Allgemeine Gleichbehandlungsgesetz angepasst werden muss, um mit Diskriminierung durch algorithmische Systeme angemessen umgehen zu können. Das Gutachten werde ich in einigen Monaten vorlegen können.

Ein Verbandsklagerecht und auch ein Klagerecht der Antidiskriminierungsstelle in Fällen von grundsätzlicher Bedeutung gehören aus meiner Sicht jedenfalls zu den Verbesserungen, die unbedingt kommen sollten.”

Clar: In den Schlussfolgerungen, welche Sie aus dem Forschungsprojekt ziehen, führen Sie auch verschiedene gesetzliche Möglichkeiten gegen digitale Diskriminierung vorzugehen auf.

Wurden diese Vorschläge bereits von der Ampel-Koalition aufgegriffen oder rechnen Sie damit, dass dies in Zukunft passiert? Rechnen Sie zudem mit Gesetzesentwürfen/gesetzlichen Anpassungen während der aktuellen Legislaturperiode?

Ataman: “Wir sind ja mittendrin in der gesetzgeberischen Debatte, aktuell aber vor allem auf EU-Ebene, wo es um die Europäische Verordnung zu Künstlicher Intelligenz geht. Viele Expert*innen kritisieren, dass der Vorschlag den Diskriminierungsschutz eher als Nebensache behandelt. Ich sehe das auch kritisch. Die Betroffenen und ihre Rechte kamen im ersten Entwurf der Kommission eigentlich gar nicht vor. Wir dringen hier darauf, dass die Bundesregierung in den Verhandlungen möglichst viel für den Schutz vor Diskriminierung herausholt. Parallel gibt es jetzt auch einen ersten Entwurf für eine Konvention des Europarats zu Künstlicher Intelligenz, die besonders den Schutz der Grundrechte in den Blick nimmt.

Mir ist vor allem wichtig, dass wir Dokumentationspflichten für die Anwender algorithmischer Systeme in allen Bereichen haben, in denen Diskriminierung verboten ist, damit vor Gericht überhaupt nachgewiesen werden kann, nach welchen Kriterien eine Entscheidung gefällt wurde. Dass es Transparenzpflichten gibt und die Betroffenen überhaupt darüber informiert werden, dass z.B. in einem Bewerbungsverfahren Algorithmen eingesetzt werden. Und dass wir genau hinschauen, ob bestimmte Änderungen am bestehenden Antidiskriminierungsrecht

nötig sind, damit es zukünftig noch durchgesetzt werden kann. Um nur ein Beispiel zu nennen: Die Antidiskriminierungsstelle hat bisher keinen Auskunftsanspruch gegenüber privaten Unternehmen. Da hilft uns dann die schönste Dokumentation von Entscheidungskriterien eines Algorithmus nichts, wenn wir sie nicht anfordern können.

Ob auch nationale Gesetzgebung nötig wird, werden wir sehen, wenn die europäischen Verhandlungen abgeschlossen sind. Ich bin aber ziemlich sicher, dass wir am Ende der Legislaturperiode eine Rechtslage haben werden, die deutlich klarer ist.”

Clar: Der Policy Brief #5 von AlgorithmWatch ähnelt insbesondere in Bezug auf die Schlussfolgerungen und Handlungsansätze stark der Ihren.

Bestätigt das Ihre Arbeit? Wie ist das weitere Vorgehen? Welchen Einfluss hat dies auf Sie?

Ataman: “Tatsächlich kommt AlgorithmWatch zu sehr ähnlichen Empfehlungen wie das Gutachten, das Carsten Orwat vom KIT Karlsruhe für die Antidiskriminierungsstelle des Bundes erarbeitet hat. Und das ist auch gar nicht überraschend, denn beide liegen auf einer Linie mit den allermeisten Analysen aus der Wissenschaft und auch von europäischen und internationalen Fachgremien, die inzwischen vorliegen. Natürlich fühlen wir uns darin bestätigt, dass wir mit unseren grundsätzlichen Empfehlungen auf dem richtigen Kurs sind. Wir werden uns mit Organisationen wie AlgorithmWatch in Zukunft laufend inhaltlich austauschen. Ich finde es wichtig, dass wir in beiden Richtungen einen Wissenstransfer organisieren zwischen denen, die sich seit Jahren mit Algorithmen und KI beschäftigen, und denen, die Expert*innen für Antidiskriminierung sind. Da machen wir auch gute Fortschritte.”

Clar: Es besteht die Möglichkeit, dass es zu keinen konkreten Maßnahmen gegen digitale Diskriminierung kommt, oder diese erst in einigen Jahren wirken.

Wie können sich Nutzer*innen aktuell schützen? Gibt es eventuell konkrete Plattformen/Betreiber*innen etc., die zu meiden sind?

Ataman: “Es ist sehr schwierig, Einzelpersonen zu empfehlen, wie sie sich schützen können. Solange es keine Transparenzpflichten gibt, wissen sie ja oft gar nicht, dass ein algorithmischer Entscheidungsmechanismus zum Einsatz kommt. Und eigentlich sollte unser Ansatz doch auch ein anderer sein: Damit wir einen guten Schutz vor Diskriminierung erreichen, müssen wir uns an diejenigen richten, die gestalten können: Das sind die Anbieter*innen von KI und die Unternehmen, die solche Anwendungen nutzen. Das ist die Politik, die die Rahmenbedingungen setzen muss. Und das sind all diejenigen, die in Beratungsstellen aktiv mit Menschen arbeiten, die Diskriminierung erleben.

An der Stelle haben wir zuletzt angesetzt. Wir haben das Projekt AutoCheck von AlgorithmWatch gefördert, das einen Ratgeber zu „Automatisierten Entscheidungssystemen und Diskriminierung“ erarbeitet und Schulungsprogramme für die Antidiskriminierungsberatung entwickelt hat. Dadurch wollen wir die Berater*innen ansprechen, die überall im Land täglich Menschen unterstützen, die Diskriminierung erfahren. Sie sollen in die Lage versetzt werden, einen

Zusammenhang eines Diskriminierungsfalls mit algorithmischen Systemen besser zu erkennen. Das hilft in erster Linie den Betroffenen, weil sie besser beraten werden können. Es hilft uns aber auch dabei, solche Fälle besser zu dokumentieren, damit wir politische Schlüsse aus ihnen ziehen und dann eventuell auch die Öffentlichkeit besser über einzelne, problematische Anwendungen aufklären können.”

Picture by Tobias Golla on pixabay

Die aus der analogen Welt bekannten Formen der Diskriminierung, bspw. aufgrund von Geschlecht, Ethnie oder Sexualität, treten in der digitalen Welt in neuer Art und Weise zu Tage. Neben offensichtlicher, meist bewusst verübter Diskriminierung, wie Hasskommentare und Beiträge, kommt es zunehmend zu passiver Ausgrenzung durch Algorithmen, welche schlichtweg das unbewusst diskriminierende Verhalten der Menschen, die sie entwickelt haben bzw. nutzen reproduzieren und teilweise auch verstärken. Beispiele, für diese programmierte Diskriminierung gibt es zuhauf. In der Netflix-Dokumentation „Coded Bias“ (zu Deutsch: Vorprogrammierte Diskriminierung), erklärt Joy Buolamwini, Programmiererin im MIT Media Lab, wie ihr Gesicht von einem Gesichtserkennungsprogramm, erst durch das Tragen einer weißen Maske erkannt wurde. Buolamwini ist Schwarz und die dunklere Farbe ihrer Haut konnte von dem Programm nicht erkannt werden, weil seine Programmierer*innen dem Algorithmus eine Datenbank mit mangelnder Diversität zugrunde legten. Das heißt, damit der Algorithmus fähig ist, Gesichter zu erkennen, müssen ihm möglichst viele Bilder von Gesichtern als Lernmaterial zu Verfügung gestellt werden. Da die Programmier-Szene aber hauptsächlich von weißen Männern dominiert wird, wurde höchstwahrscheinlich schlichtweg nicht berücksichtigt auch bzw. genügend Gesichter von nicht-weißen Frauen und Männern in die Datenbank einzuspeisen. Hier geht es also weniger um gewollte Ausgrenzung, vielmehr wird von sich selbst, als die gesellschaftliche Norm ausgegangen und „Abweichungen“ davon werden häufig vergessen.

Dies ist nur eines von vielen Beispielen zu programmierter Diskriminierung. Doch während eine nur beschränkt funktionierende Gesichtserkennung schnell zu entdecken ist, gibt es Algorithmen bei denen eine potenziell diskriminierende Programmierung zunächst überhaupt nicht in Betracht gezogen, geschweige denn erkennbar ist. So arbeitete Amazon zeitweise mit einem Programm, welches eine Vorauswahl bei den eingeschickten Bewerbungen treffen sollte, um den Auswahlprozess zu beschleunigen oder zumindest zu erleichtern. Auch dieser Algorithmus wurde vorab mit Daten gefüttert. In diesem Fall, mit den Attributen von Personen, die in der Vergangenheit eingestellt wurden und sich erfolgreich im Unternehmen etablierten. Dieses Vorgehen führte dazu, dass das Programm größtenteils weiße Männer als Kandidaten vorschlug, da die zuvor von Menschen getroffenen Entscheidungen schlichtweg reproduziert wurden. Für die Bewerber*innen war dieser Prozess allerdings völlig undurchsichtig, durch die jeweils individuelle Ablehnung, konnte das Muster dahinter nicht bemerkt werden. Es besteht also zunehmend die Gefahr, nicht aufgrund von mangelnden Qualifikationen, sondern durch unfaire Algorithmen einen Job nicht zu bekommen.

Natürlich sind diese Beispiele auch der Politik und dem Staat nicht verborgen geblieben. Seit einiger Zeit widmet sich deswegen auch die im Familienministerium angesiedelte Antidiskriminierungsstelle des Bundes (ADS) dem Thema. Die ADS berät Menschen, die Diskriminierung erfahren haben, klärt durch leicht zugängliche Artikel und Videos auf, führt Forschungsprojekte durch bzw. gibt diese in Auftrag und formuliert aus den Ergebnissen Handlungsvorschläge für die Politik. Zudem unterstützt sie verschiedene Nicht-Regierungsorganisationen, welche sich ebenfalls der Bekämpfung unterschiedlichen Aspekten von Diskriminierung widmen. Zu diesen von der ADS unterstützten NRO zählt auch AlgorithmWatch, die sich auf die Beobachtung, Analyse und Bewertung von Algorithmen spezialisiert haben.

Aber das Melden dieser diskriminierenden Vorfälle, sofern sie überhaupt entdeckt werden, führt meist zu keinerlei Konsequenzen für die Anbieter oder Unternehmen. Viele Opfer von digitalisierter Diskriminierung geben sich meist mit einer Entschuldigung oder Schmerzensgeld zufrieden, auch weil sie Angst haben, dass ein tatsächlicher Gerichtsprozess viel Zeit, Energie und Geld kosten würde. Obwohl es bereits Organisationen wie AlgorithmWatch gibt, die durch intensive Recherche und Diskriminierungs-Melde-Tools  auf die Problematik aufmerksam machen, kann es nur durch flächendeckend staatliches Eingreifen, bzw. durch Präventivmaßnahmen zu einer tatsächlichen Besserung der Situation kommen.

AlgorithmWatch veröffentlichte am 10. Februar 2022 den Policy-Brief #5, der neben einer detaillierten Darstellung der programmierten Diskriminierung auch klare Lösungsansätze formulierte und Forderungen an die aktuelle Bundesregierung stellte. Und tatsächlich findet man in dem aktuellen Koalitionsvertrag die Ankündigung, dass das Allgemeine Gleichstellungsgesetz auf den digitalen Raum ausgeweitet werden soll. Ein wichtiger Schritt, der eine stabilere rechtliche Grundlage für juristische Verfahren schaffen würde und sowohl von der Antidiskriminierungsstelle des Bundes (ADS) als auch von AlgorithmWatch als sinnvollen Schritt erachtet wird.

Nachfragen bei der ADS, welche Ziele und Zukunftspläne bestehen und inwiefern der die Ankündigung der neuen Regierung bereits Einfluss auf ihre Arbeit genommen hat, blieben leider unbeantwortet. Die Entscheidung, über welches Budget die ADS künftig verfügt, liegt im Bundestag bzw. bei der derzeitigen Regierung. Diese hat in ihrem Koalitionsvertrag angegeben, sie wolle effektiver gegen Diskriminierung vorgehen. Eine sichtbare Besserung ist bis jetzt nicht zu erkennen.

Vorprogrammierte Diskriminierung bleibt also weiterhin ein eher mangelhaft thematisiertes Problem. Die dafür zuständigen Behörden scheinen bis dato noch keine feste Strategie entwickelt zu haben. Somit wird es wohl weiterhin die Aufgabe der Vertreter*innen der Zivilgesellschaft sein, mit Aufklärung oder dem zur Verfügung stellen von Meldeportalen, ein Bewusstsein für das Thema zu schaffen.

Picture by pixel2013 on pixabay

In Abgrenzung zum Bild des genialischen Einzeltäters – von den verschiedensten Medien stereotyp als “Hacker” bezeichnet – führen die Herausgeber im Vorwort den Begriff der “Subkulturen” ein, der aber leider nicht genauer definiert wird. Interessant ist aber der theoretische Verweis auf die Subkulturforschung der Cultural Studies, jener erfolgreichen Forschungsrichtung, die sich als erste wissenschaftlich mit Alltagskulturen und Medien beschäftigt hat.

So unterschiedliche Gruppen wie Virenprogrammierer, Raubkopierer, Kopierschutz-Knacker, Script-Kiddies, Datenkrieger, Cracker und Hacker werden viel differenzierter besprochen, als es in der Berichtererstattung zum Thema Netzverbrechen sonst üblich ist. Ziel dieses Ansatzes ist die Förderung einer sachlichen, informierten Debatte über die “tatsächlichen Gefahren der Vernetzung unserer Gesellschaft” (9). Das Buch möchte dazu einen vorurteilslosen Blick auf die sogenannten “dunklen Seiten” des Internets werfen.

Merkt man dem Sammelband an, dass es vor den Anschlägen des 11. Septembers – dem Wort des Jahres 2001 – geschrieben worden ist? Ich denke, dass die Frage wenig Einfluss auf den Gegenstand des Buches hat. Schon der Untertitel kündigt das an. Denn es geht den Herausgebern um “die Kultur des elektronischen Verbrechens”, also um eine Bestandsaufnahme, die sowohl rückblickend als auch zukünftige Entwicklungen aufzeigen will. Auch in der digitalen Welt wandelt sich nicht alles so schnell, wie oft behauptet wird. Da tut es gut, anzuhalten, den Kompass neu einzustellen und die Landkarten der eigenen Wahrnehmung zu verschärfen. Das von Telepolis herausgegebene Buch eignet sich dafür bestens. Die Ereignisse des konventionellen Terrorismus und wirklicher Viren haben jedenfalls das Wesen elektronischen Verbrechens nicht grundlegend verändert, sondern eher dramatisiert. Das Buch erhält seinen besonderen Lesewert dadurch, dass es nicht von der Geschichte eingeholt wurde.

Was hat es mit dem verlockend klingenden Titel des Buches “Netzpiraten” auf sich? Nur ein guter PR-Trick? Nein! Die Metapher, die genauer im Beitrag von Bernhard Günther beschrieben wird, soll andeuten, dass die “Grenze zwischen Illegalität und kultureller Innovation hauchdünn” (8) ist. Die Piraten früherer Zeiten, die uns als Helden aus so wunderbaren Filmen wie “Der Rote Korsar” oder “Der Herr der sieben Meere” in Erinnerung geblieben sind und sehnsuchtsvolle Phantasien von einem freien und letztlich gerechteren Leben vorspielten, sind demnach die direkten Vorfahren der heutigen Netzpiraten, unabhängigen Outlaws, die ihrer Zeit voraus sind. Zum einen wird so der Vorwurf der Legitimierung von Verbrechen abgeschwächt, da die segelnden Piraten zu den \’Guten\’ Hollywoods zählten, die als wagemutige Freibeuter korrupten Spaniern die Piaster und Dublonen abnahmen bzw. aus Sicht der Spanier raubten. Zum anderen soll dem einseitigen negativen Bild der Netzpiraten, dass der Software- und Medienindustrie als Feindbild dient, ein vielschichtigeres entgegengesetzt werden. Beispielsweise wird die Auseinandersetzung im Bereich “Musikpiraterie” zwischen der Unterhaltungsindustrie und Tauschbörsen wie Napster, als Kampf zwischen Profitinteressen und dem Recht auf freien Tausch von Dateien von Person zu Person interpretiert. Der Beitrag von David McCandles schildert detailliert die Welt der Musikpiraten und ihrer Jäger. Seine Gesinnung, der wohl alle Autoren zustimmen würden, bringt er direkt am Anfang seines Beitrages auf den Punkt: “Das Internet wurde ausschließlich zu einem Zweck geschaffen – zum freien Austausch von Information” (35).

Einen anderen Blick auf den Krieg in Datennetzen wirft der Beitrag von Ralf Bendrath, der sich mit der Eroberung des Cyberspace durch die US-Streitkräfte beschäftigt. In wieweit hier der Begriff der Subkultur noch zutreffend ist, wird von mir bezweifelt. Aber das nur als Randnotiz.

Während Hackern und Viren wie “i love you” eine erhöhte Medienaufmerksamkeit sicher ist, sind die Bestrebungen staatlicher Organe, sich für die zukünftige Kriegsführung fit zu machen, nur selten Thema in den Medien. Nach den Ereignissen des 11. Septembers stehen reale Bedrohungen klar im Vordergrund. Aber im Zuge der Ausbreitung des Internet und der einsetzenden Diskussionen über den Wandel der Gesellschaft zur Wissens- bzw. Informationsgesellschaft, erhält die neue zentrale Ressource “Wissen” auch eine erhöhte Aufmerksamkeit in Militärkreisen. Ralf Bendrath fasst die neue Doktrin der US-Streitkräfte folgenderweise zusammen: “Wenn postindustrielle Gesellschaften und ihre Streitkräfte nicht mehr vor allem auf Menschen und Maschinen als Mittel von Produktion oder Destruktion angewiesen sind, (…), dann sind die Angriffsziele militärischer Operationen nicht mehr die Kräfte des Gegners, sondern seine Informationsverarbeitungssysteme” (157).

Sind wir auf einem Weg zum Cyberwar? Wie kann ein neuer Rüstungswettlauf gestoppt werden? Antworten liefert der Beitrag im Buch, aber auch das Interview von politik-digital mit Ralf Bendrath.

Weitere Beiträge des Sammelbandes liefern uns Einblicke in die Welt von Virenprogrammierern, erklären uns die Rolle der Viren im Globalisierungs- und Sicherheitsdiskurs, beleuchten die Schattenseite des e-Commerce in Form von Spam-Mails und weisen mit Nachdruck auf die Bedeutung von Datenschutzwerkzeugen für alle hin.

Dass das Buch seinem selbstgesteckten Ziel, einen vorurteilsfreien Blick auf die sogenannten “dunklen Seiten” des Internet zu werfen, nicht gerecht geworden ist, liegt an der hohen Qualität der Beiträge, die dankenswerterweise nicht mit pointierten Kommentaren und Sympathien geizen, sondern klar Stellung beziehen. Denn das wichtigere Ziel hat das Buch eingelöst: Die Förderung einer sachlichen, informierten Debatte über die “tatsächlichen Gefahren der Vernetzung unserer Gesellschaft” – also die Verteidigung des Rechtes auf freie Meinungsäußerung und die Mobilisierung gegen den Trend einer flächendeckenden Überwachung des Internets. Jetzt sind wir an der Reihe, unseren Beitrag zur Wahrung unserer Grundrechte im Netz zu leisten. Denn der im Beitrag von Bernhard Günther zitierte us-amerikanische Internet- und Verfassungsrechtsexperte Lawrence Lessing warnt vor der riskanten und bequemen Einstellung, “dass das Internet sei wie es ist”. Dabei ist das Netz lediglich von Menschen geschaffener Code – in Form von Protokollen – “der zur Zeit massive Veränderungen erfahre” (30). Frühere Subkulturen forderten in solchen Situation: “Act up”. Wie sagen wir heute dazu?

Zitate alle aus dem Buch – Seitenzahlen in Klammern