Anlässlich der im September stattgefundenen Landtagswahlen in Thüringen und Sachsen haben die gemeinnützige Nichtregierungsorganisation AlgorithmWatch und das Unternehmen CASM–Technology vorab eine Studie durchgeführt. Am 12. September 2024 wurden die Ergebnisse dieser Studie in einem Podiumsgespräch zusammengetragen und mit Expert:innen aus Wissenschaft und Politik diskutiert.

Suchmaschinen helfen uns bei der Recherche von Informationen und tragen damit auch zur Meinungsbildung bei. Das gleiche gilt auch für KI-gesteuerte Chatbots, die mittlerweile bei der politischen Orientierung für viele Menschen eine wichtige Rolle spielen, ohne dass wir wissen, woher diese Informationen genau stammen.  

Aus diesem Grund haben AlgorithmWatch und CASM-Technology gemeinsam getestet, ob KI-Chatbots Fragen zu den vergangenen Landtagswahlen korrekt und unvoreingenommen beantwortet haben.  
Grundlage der Studie ist die These, dass sich in immer mehr Staaten autokratische Strukturen verfestigen, und sie somit von einem sogenannten democratic backsliding bedroht werden. Dabei geht es um die Erosion von demokratischen Werten und Praktiken, die zu einer schleichenden Aushöhlung der Demokratie führen können. Die Manipulationen bei Wahlen, Angriffe auf die Unabhängigkeit der Wahlkommissionen oder die Diskriminierung politischer Gegner ist dabei nur ein Bestandteil dieser Entwicklung, die durch KI gesteuerte Chatbots beschleunigt werden können.  

Die Ergebnisse der Studie zeigen in diesem Zusammenhang, dass Chatbots häufig falsche Informationen ausgeben oder durch einseitige Darstellungen die Meinungsbildung gravierend beeinflussen können. Die Betreiber der Sprachmodelle weisen zwar auf Besserungen hin, aber die Lücken bei der Transparenz und informativen Sicherheit bleiben gravierend.  

Bezüglich der drei getesteten Sprachmodelle lässt sich im Allgemeinen festhalten, dass sie in ihren Antworten politische Meinungen bestärken, wenn diese auch in den formulierten Fragen enthalten sind. Außerdem werden auch die in den formulierten Fragen enthaltenen Annahmen in den Antworten aufgenommen, auch wenn diese Annahmen nicht der Realität entsprechen. So wurde beispielsweise die Frage, ob in Sachsen Ende September Landtagswahlen stattfinden, von Gemini bestätigt, obwohl diese am 1.Septeber stattgefunden hatten. 
ChatGPT bzw. das GPT-3.5. gab bezüglich Fragen zu den Landtagswahlen in ca. 30% der Fälle Falschinformation. In der kostenpflichtigen Version 4.0 waren im Vergleich nur 15% fehlerhafte Antworten zu erkennen. Beide Modelle geben nur selten Quellenangaben für ihre Antworten an.  

Microsoft hat in seinen Richtlinien erklärt, dass sein Large Language Modell Copilot keine Fragen zu Wahlen beantworten soll. Diese Richtlinie wurde allerdings in der Untersuchung nicht eingehalten und Copilot beantwortete etwa 65% der gestellten Fragen. Nichtsdestotrotz lässt sich sagen, dass die Antworten von Copilot, in Vergleich zu den anderen Chatbots, genauer waren. Nur 5% der Antworten des KI-Chatbots waren nicht korrekt und positiv wurde zudem vermerkt, dass Quellenangaben zu den gelieferten Informationen vorhanden waren. 

Auffallend war außerdem, dass die KI-Programme in manchen Fällen veraltete Daten verwendeten wie z.B. Namen von Kandidat:innen aus vorherigen Wahlen. Außerdem wurden Parteien und Kandidat:innen falsche Informationen zugeordnet oder erfunden, wenn nicht genügend Daten vorhanden waren. An dieser Stelle sollte jedoch die unzureichende Informationsbasis thematisiert werden. So hatten die Programme große Schwierigkeiten Fragen zum Bündnis Sarah Wagenknecht richtig zu beantworten. Wurde nach Kandidat:innen dieser Partei gefragt, verwiesen die Programme auf andere oder erfundene Organisationen wie “Bündnis-Sachsen-Wir”.  

Basierend auf diesen Ergebnissen zeigt die Studie, dass KI basierte Chatbots (noch) keine Suchmaschinen sind und sich auch als solche wenig eignen. Sie sind für politische Themen, insbesondere der politischen Meinungsbildung und Wahlentscheidungen, nicht zuverlässig genug und stellen laut Studie zudem eine Gefahr für den Ruf der Kandidat:innen und zitierten Medien dar. Aufgrund der hohen Zahl an irreführenden und falschen Informationen, die die Programme als Antworten ausgeben, empfehlen die Autor:innen , dass Bürger:innen, in Bezug auf die Recherche von politischen Themen, vertrauenswürdige und transparente Quellen oder etablierte Suchmaschinen heranziehen sollten. Ergänzend gewährleisten etablierte Medien durch ihre langjährige Expertise und die gesetzliche Aufsicht, eine transparente und sichere Berichterstattung. Um ein democratic backsliding zu verhindern, müssen genau diese Informationssysteme weiterhin gestärkt werden, um den immer wichtiger werdenden KI gesteuerten Chatbots etwas entgegenzusetzen.  

Bild von Franz26 auf Pixabay 

Ohne Zweifel gibt es erschreckende Beispiele, die die Schattenseite individueller menschlicher Entscheidungshoheit im Rechtsystem offenbaren. In einer prominenten Studie der New Yorker Columbia University und der israelischen Ben-Gurion-Universität wurden mehr als tausend Urteile von acht unterschiedlichen Richter*innen an zwei israelischen Gerichten untersucht. Das Ergebnis macht in eindrucksvoller Weise die inhärente Willkür von verschiedenen Einflussfaktoren auf die Richter*innen in gerichtlichen Prozessen deutlich. Die Forscher*innen untersuchten, ob die Angeklagt*innen eine Bewährungs- anstatt einer angedrohten Haftstrafe erhalten. Das Ergebnis ist erstaunlich und sorgte nicht nur im soziologischen Diskurs für Aufmerksamkeit. Es stellte sich nämlich heraus, dass Richter*innen vor einer Mittagspause dazu tendieren, im Sinne des Status Quo zu urteilen, und dieser Effekt nach eingenommenen Mittagessen verblasst. Mit anderen Worten sind Gerichtsurteile davon beeinflusst, ob der oder die zuständige*r Richter*in hangry ist oder nicht.

Hinsichtlich der Ergebnisse der Studie scheint eine Utilisierung von emotionslosen, algorithmus-basierten KIs auf den ersten Blick sehr hilfreich. Die Mathematikprofessorin Hanna Fry identifiziert in ihrem Buch Hello World – Was Algorithmen können und wie sie unser Leben verändern verschiedene gerichtliche und anwaltliche Prozesse, bei denen künstliche Intelligenz bereits heute eine Rolle spielt. Zum Beispiel benutzen Anwält*innen innovative Instrumente, um Verträge zu erstellen oder lassen sich bei der Beurteilung und Einordnung von Beweisen unterstützen. Des Weiteren können sogenannte Language Processing Models Anwälte dabei unterstützen, Vergleichsfälle und frühere Urteile zu recherchieren. Dadurch können in manchen Fällen die Anwaltskosten signifikant gesenkt und somit der Zugang zu rechtlichem Beistand für viele erleichtert werden. Außerdem unterstützen KI-Systeme die Richter*innen bei der Einschätzung über die Wahrscheinlichkeit der Rückfälligkeit von Straftäter*innen durch die Auswertung von demografischen und personenbezogenen Daten oder schlagen passende Interventionsprogramme vor. In den USA sind diese sogenannten Risk Assessment Tools bereits fester Bestandteil der juristischen Praxis. Jedoch sorgen diese seit der Implementation für Kritik und es wird gemahnt, dass durch die Funktionsweise des maschinellen Lernens ebenfalls Ungerechtigkeiten entstehen können.

Das Justizsystem weiß selber, dass es nicht perfekt ist. Jedoch ist nicht ohne Grund der oft postulierte Anspruch: Justitia ist blind. Nichtsdestotrotz gibt es ungerechte Urteile beziehungsweise viele Urteile fühlen sich ungerecht an. Ist dementsprechend ein blinder Algorithmus, dem keine Intuition und Gefühlszustände zugrunde liegen, letzten Endes ein besserer Richter? KI kann zwar bei der Entscheidungsfindung der Gerichte helfen, birgt aber bei der Anwendung in juristischen Prozessen selbst auch gewisse Fallstricke. Grundlage für KI-Systeme sind immer Daten. Bei der Anwendung innerhalb der Rechtsprechung werden diese Daten zumeist direkt aus der juristischen Praxis entnommen. Die Algorithmen werden mit den Ergebnissen von vergangenen Prozessen trainiert – dadurch werden beispielsweise rassistische und sexistische Einschätzungen menschlicher Entscheidungsträger*innen direkt übernommen und somit herrschende Ungleichheiten reproduziert. Beispielsweise beschreibt das Deutsche Institut für Menschenrechte in seinem Bericht Rassismus in der Strafverfolgung in mehreren Fachbeiträgen Missstände in den gerichtlichen Arbeitsabläufen. Die Expert*innen stellen fest, dass ausländische Kläger*innen aufgrund verschiedener Gründe wie zum Beispiel Sprachbarrieren oder Vorurteilen weniger ernst genommen werden, aber auch explizit rassistisch motivierte Straftaten oft nicht hart genug bestraft werden würden. Dieselben Gefahren werden von der Rechtsprofessorin Giula Gentile skizziert. Sie betrachtet die Voreingenommenheit der Datengrundlage als eine der größten Risiken. Es gäbe keine Garantie dafür, dass KI-gestützte Gerichte mit grundlegenden Werten wie der Unabhängigkeit der Justiz und letztlich der Rechtsstaatlichkeit im Einklang stehen.

Verschiedene Wissenschaftler*innen sind sich zumindest einig, dass schon heute künstliche Intelligenz dazu beiträgt, eine Effizienzsteigerung bei juristischen Arbeitsprozessen zu erzielen. Diese Entwicklung wird sicherlich in den kommenden Jahren zunehmen. Giula Gentile mahnt, dass es in dem Zusammenhang jetzt die Aufgabe von Expert*innen sei, festzustellen, was bei der Algorithmisierung der Justiz verloren geht. Sie betont, dass KI kein Allheilmittel für die Fehlerhaftigkeit von Gerichten sein kann.
Außerdem hält sie fest, dass sich durch den Einfluss von Algorithmen auf die Rechtspraxis das Bild von Richter*innen und deren Autorität verändern wird. Das Bild der Rechtsprechung als moralische Institution wird sich zunehmend wandeln. Schon heute kann künstliche Intelligenz durch Einschätzungen und Prognosen der Justiz dabei helfen, gerechtere Urteile zu fällen. Beispielsweise werden Empfehlungen zur Bewährungsdauer artikuliert, passende Interventionsprogramme vorgeschlagen oder die Höhe von Kautionen empfohlen. Hanna Fry fasst das wie folgt zusammen: Algorithmen seien zwar noch nicht in der Lage, Beweise zu analysieren und Reue zu bewerten und somit über Schuld zu entscheiden – jedoch können Sie die Richter*innen dabei unterstützen möglichst viele Aspekte in ihr Urteil mit einzubeziehen. Die juristische Entscheidung bleibt somit weiterhin (noch) in menschlicher Hand. Ob und wie Künstliche Intelligenz in der Rechtsprechung unterstützt, sollte zumindest in der Begründung von Urteilen transparent gemacht werden müssen. So gibt es zwar Diskussionen darüber, wie eine Transparenz, insbesondere bei komplexen maschinellen Lernsystemen, sichergestellt werden kann, inwiefern diese Bedenken auch im AI Act ausreichend aufgegriffen werden, bleibt abzuwarten.

Foto von Titiwoot Weerawong auf vecteezy

Künstliche Intelligenz ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Welche Chancen bietet die Ausnahmetechnologie? Wie sollten wir mit den Risiken umgehen? Und mit welchen Reformen wird Europa zum AI-Technologieführer? Diese hochaktuellen Fragen möchten wir mit Ihnen diskutieren.

Freuen Sie sich unter anderem auf:

• Prof. Yoshua Bengio, Full Professor at the Department of Computer Science and Operations Research, Université de Montréal (Zuschaltung)
• Prof. Alena Buyx, Vorsitzende, Deutscher Ethikrat
• Tobias Haar, General Counsel, Aleph Alpha
• Markus Rolle, Finanzvorstand, O₂ Telefónica
• Stephan-Andreas Casdorff, Herausgeber, Der Tagesspiegel (Moderation)

Tagesspiegel Data Debates finden regelmäßig statt und diskutieren die Auswirkungen der Digitalisierung auf die Gesellschaft. Gäste aus Politik, Wirtschaft, Wissenschaft, Religion und Kultur debattieren über das Potential von Datenschätzen und die Anforderungen an den Datenschutz.

Hier anmelden.

Die Zukunft der Softwareentwicklung wird durch die Einführung von generativen KI-Systemen und Low-Code und No-Code-Tools massiv verändert. Diese Technologien ermöglichen es, komplexe Anwendungen in kürzerer Zeit und mit weniger manuellem Aufwand zu erstellen. Die nötigen Kompetenzen für die Entwicklung verschieben sich dadurch erheblich.

In diesem WebTalk werden wir mit den Experten diskutieren: Was heißt das für den Wettbewerb von Softwareunternehmen, die Produkte entwickeln und Services anbieten? Welche Qualifikationen in der Entwicklung sind wichtig, welche nicht mehr? Müssen Software-Unternehmen eigene KI-Systeme in Zukunft selbst entwickeln, um Wettbewerbsvorteile zu sichern? Was bedeutet generative KI für die Qualität der Software? Stellen Sie in der Diskussion gern auch Ihre Fragen!

WebTalk

Generative KI / Low Code, No Code: Die Zukunft der Softwareentwicklung?

20.06.2023, 17:00 – 18:15 Uhr

Wir freuen uns auf Inputs und spannende Diskussion mit:

• Michael Hanisch, Head of Technology Amazon Web Services EMEA SARL, Germany Branch
• Dr. Stefan Wess, Mitglied der Geschäftsleitung, Gründer & Chief Strategy Officer der Empolis Management GmbH

Moderation: Anja Schaar-Goldapp, Sprecherin GI-Wirtschaftsbeirat

Eine Anmeldung ist notwendig, um teilnehmen zu können.

ANMELDUNG

Angesichts der rasanten Entwicklung von KI, insbesondere von generativen KI-Sprachsystemen wie ChatGPT, kristallisieren sich zwei große Herausforderungen heraus: Die Folgen der Technologie auf Nachhaltigkeit und Demokratie. Diese spielen auch bei den aktuellen Verhandlungen zur KI-Verordnung auf EU-Ebene eine entscheidende Rolle.

Zum einen steigt der Energieverbrauch durch die Verarbeitung riesiger Datenmengen bei Training und Anwendung von KI in immer mehr Geschäftsbereichen exponentiell an. Zum anderen sind KI-Modelle wie ChatGPT noch immer sehr fehleranfällig, manipulierbar und mit Blick auf die verwendeten Quellen komplett intransparent. Damit sind die Möglichkeiten, den öffentlichen Meinungsbildungsprozess und demokratische Wahlen mit KI zu beeinflussen, immens.

Wie gehen wir damit um? Wie können die Umweltprüfungen für KI-Systeme, die die Grüne Fraktion im Europäischen Parlament eingebracht hat, umgesetzt werden? Wie kann der Einfluss auf die öffentliche Meinungsbildung besser erforscht, Manipulation reduziert und die Medienvielfalt geschützt werden? Welche Prioritäten sollte die Bundesregierung in den nun anstehenden Verhandlungen auf EU-Ebene setzen?

Zusammen mit einem zentralen Verhandler für die KI-Verordnung im Europäischen Parlament, Sergey Lagodinsky, ausgewählten Expert*innen und Ihnen möchten wir am 8. Juni 2023 zu einem öffentlichen Fachgespräch einladen, um Ansätze dafür zu diskutieren und weiterzuentwickeln. ANMELDUNG

Die Veranstaltung findet auch online als Videokonferenz statt. Die Moderation informiert Sie während der Veranstaltung, in welcher Form Sie Fragen stellen und sich beteiligen können. Beachten Sie bitte auch unseren Datenschutzhinweis zur Verwendung von Zoom: https://www.gruene-bundestag.de/zoom-hinweis

Am Lehrstuhl für Mustererkennung forscht die FAU-Doktorandin an „grüner KI“ und analysiert mithilfe bestimmter Algorithmen schmelzende Gletscher. Die Auszeichnung trägt dazu bei, dass sie sich auch als Informatikern für Biodiversität und Klimaschutz engagieren kann.  
Im Interview mit politik-digital spricht die junge Forscherin über ihre Arbeit mit KI und dessen Rolle im Bereich der Forschung.

Westerhoff: Frau Gourmelon, ihren Arbeitsschwerpunkt beschreiben sie so: „Stellen Sie sich vor, Sie stehen vor einem Gletscher, einer riesigen Masse aus blauem Eis, die sich kilometerweit hinzieht. Mit meiner Forschung leiste ich einen kleinen Beitrag dazu, solche Wunder der Natur zu schützen.“ Können Sie uns ihre Arbeit noch einmal genauer erklären? 

Gourmelon: In meiner Doktorarbeit analysiere ich schmelzende Gletscher. Satellitenbilder zeigen, an welcher Stelle das Eis abbricht und im Ozean landet. Bislang mussten Wissenschaftler diese Fotos von Hand auswerten.  Mithilfe von KI können wir automatisiert viel mehr Bilder in viel kürzerer Zeit auswerten. Da uns so wesentlich mehr Daten zur Verfügung stehen, können wir erfassen, wie sich die Gletscherfront im Lauf der Jahre verändert. Mit diesen Informationen können Klimamodelle genauere Aussagen über unser zukünftiges Klima treffen. Auf solchen Daten beruht auch der Bericht des Weltklimarats.  

Westerhoff: Ausgezeichnet wurden Sie insbesondere aufgrund des innovativen und interdisziplinären Ansatzes ihrer Forschung. Was ist so neu und innovativ? Und welche Rolle spielt KI dabei? 

Gourmelon: Um die Grenze zwischen Gletscher und Ozean zu identifizieren, passe ich herkömmliche KI-Modelle an die Besonderheiten von Radar-Satellitenbildern von Gletschern an. Dafür haben meine Forschungsgruppe und ich einen Datensatz erstellt und veröffentlicht. Zusammen mit meinen KI-Modellen lassen sich so zukünftige Studien zu KI-Modellen in diesem Forschungsbereich vergleichen und reproduzieren.

Westerhoff: Immer mehr KI-Experten, darunter auch ein ehemaliger Top-Entwickler von Google, warnen nun vor den Gefahren der KI. Wie sehen Sie das auf ihren Bereich der Forschung bezogen? 

Gourmelon: In meinem Forschungsbereich bewerte ich KI als vollkommen unkritisch. Wir automatisieren Prozesse, die bisher mühsam quasi „von Hand“ erledigt wurden.  Durch unsere digitalen Methoden lässt sich die Klima-Forschung viel schneller vorantreiben.

Westerhoff: Öffentlich werden auch Forderungen nach stärkeren Regulierungen und Maßnahmen lauter. Ausschüsse des EU-Parlaments verabschiedeten erste Entwürfe für ein weltweites KI-Gesetz. Was glauben Sie, sind solche Maßnahmen auch für die Forschung sinnvoll? 

Gourmelon: Das kommt auf den Bereich der Forschung an. Meine Forschung fällt beispielsweise laut dem Entwurf für das weltweite KI-Gesetz unter die risikofreie Kategorie. Diese umfasst KI-Systeme, die keine Sicherheitskomponente eines Produkts darstellen, kein Risiko für die Gesundheit und Sicherheit bergen sowie keine Grundrechte beeinträchtigen können. Diese Kategorie soll laut des Entwurfs keinerlei obligatorischen Regulierungen unterliegen. 

Westerhoff: Was glauben Sie, wie sich KI in der Forschung, aber auch in der Gesellschaft entwickeln wird? Würden Sie einen Ausblick wagen? 

Gourmelon: Momentan fokussiert sich die Forschung stark darauf, große, breitgefächerte Modelle wie ChatGPT zu entwickeln. Ich vermute deshalb, dass diese Modelle künftig auf kleinere Gebiete maßgeschneidert werden, um ihre Genauigkeit zu optimieren. 
Meiner Einschätzung nach wird KI in der Zukunft noch stärker in unser tägliches Leben integriert sein. Die Qualität von Produkten wird sicher optimiert und es wird Fortschritte bei zum Beispiel der Verkehrsplanung geben. 

Foto: Unsplash von Cassie Matias.

Genaue Zahlen und Informationen zu den verursachten Emissionen der existierenden KI-Systeme liegen bisher nicht vor. Eine amerikanische Studie geht davon aus, dass das Training einer einzelnen AI so viel CO2 emittiert wie 5 Pkws. Umso wichtiger ist deshalb das Monitoring während ihrer Herstellung und Anwendung. Nur so kann ermittelt werden, an welcher Stelle Ressourcen weiterhin eingespart und die CO2-Bilanz verbessert werden kann. Wie das konkret gehen soll, hat die gemeinnützige Forschungs- und Advocacy-Organisation AlgorithmWatch untersucht und die Ergebnisse in ihrem Magazin “SustAIn” vorgestellt.

Künstliche Intelligenz (KI), auch artificial intelligence (AI bzw. A.I.) genannt, ist aus unserem Leben kaum noch wegzudenken, auch wenn sie für uns nicht immer erkennbar ist und sich hinter vielen Alltagsanwendungen versteckt. Bei der Filterung von Spam-Mails zum Beispiel oder der Gesichtserkennung am Smartphone. Es wird eine Menge an Daten verarbeitet und das kostet Energie. Aber auch bei der Programmierung und beim Training werden enorme Rechenleistungen benötigt und CO2 emittiert. Auf der einen Seite stellt sich die Frage: Wie sieht eigentlich die Ökobilanz von KI-Rechenmodellen aus? Auf der anderen Seite gibt es Möglichkeiten sie so einzusetzen, dass mit ihrer Hilfe Energie gespart und die Erde in Zukunft klimaneutraler wird.

Schon bei der Planung sollte darüber entschieden werden, wie man das System nachhaltig gestaltet. Dabei geht es grundlegend immer um die Frage, inwiefern ein ressourcenintensives Machine-Learning-System für die anvisierte Aufgabe überhaupt notwendig ist. Zunächst wird eine Checkliste mit ökologischen Anforderungen von den Unternehmen abgearbeitet. Dazu gehört auch, dass die notwendige Leistung sowie das Ressourcenbudget festgelegt werden müssen, genauso wie die Kennzahlen zur Erfassung der Energieeffizienz. Testverfahren können dann helfen, um scheiternde Experimente frühzeitig zu identifizieren. Des Weiteren können Maßnahmen zur Kompensation von CO2-Emissionen festgelegt und Werkzeuge zur Erfassung der Emissionen definiert werden. Als letzter Punkt auf der Checkliste wird die Bestimmung von Kriterien genannt, die dazu führen sollen, dass die verwendete Hardware sowie das genutzte Rechenzentrum nachhaltig sind.

Auch die Datenverarbeitung sollte zukünftig nachhaltiger gestaltet werden. Sie bildet das Kernstück von KI und beruhet auf maschinellem Lernen. In diesem Punkt geht es vor allem darum, wie viele Daten verarbeitet werden sollen, wie sie interpretiert werden können oder welche Qualität sie haben müssen. Um hier nachhaltiger zu werden und den Energieverbrauch zu senken, sollte regelmäßig reflektiert werden, wie viele Daten für das Training und den Betrieb der Systeme notwendig sind, um den Rechenaufwand am Ende so klein wie möglich zu halten.

Im Schritt der Entwicklung und des Trainings sollten laut dem Bericht Risiken eingedämmt und der Energieverbrauch minimiert werden. Um Energie einzusparen, ist es ratsam vortrainierte Modelle mit geringer Komplexität zu verwenden. Zudem müssen CO2-Emissionen, die im Entwicklungsprozesse anfallen, permanent und konsequent erfasst werden. Die Auswahl von Trainingsstandort und -zeitpunkt sind Faktoren, die dabei berücksichtigt werden sollten. Außerdem wird während der Anwendung überprüft, ob der Ressourcenverbrauch den Nachhaltigkeitspotenzialen gerecht wird.

Die meiste Energie wird in der Trainings- und Anwendungsphase verbraucht, fachsprachlich auch Inferenz genannt. Als Beispiel: In den Facebook-Rechenzentren finden täglich Billionen Inferenzen statt. Diese Zahl hat sich in den letzten Jahren sogar verdoppelt und die Infrastruktur dazu dahin gehend angepasst. Die Server von Facebook haben sich von 2018 bis 2019 deshalb um das 2,5-fache gesteigert.

Im Bereich der künstlichen Intelligenz herrscht unter den Unternehmen aktuell ein stetiger Wettbewerb, indem jeder um die Vormachtstellung auf dem Markt kämpft. Ein Grund, warum energieeffizientere Hardware und Methoden bisher deshalb nur dafür genutzt wurden, um Modelle größer und nicht nachhaltiger zu machen. 

Mit der Checkliste zeigt AlgorithmWatch, dass es auch anders geht. Die Kosten und der Aufwand für die Umstellung sind zwar hoch, aber aufgrund der weiter steigenden Energiepreise langfristig betrachtet durchaus rentabel.

Nicht nur die Herstellung und Anwendung sollte energieschonender werden, auch der gezielte Einsatz von KI kann uns dabei helfen andere Ressourcen effizienter und nachhaltiger zu nutzen. Zum Beispiel beim Energiemanagement von erneuerbaren Energien. Im Alltag sind das Smart-Grid oder Smart-Home Technologien mithilfe dessen der Energieverbrauch in Wohnräumen erfasst und reguliert werden kann. Hier ist vor allem wichtig, dass in der Anwendung nicht mehr Ressourcen benötigt, als für die Herstellung gebraucht werden.

Auch im Sektor Verkehr können durch KI-gestützte Mobilität autonomes Fahren und vernetzte Kleinbusse dabei helfen, auf das eigene Auto zu verzichten und den Verkehr in Städten zu entzerren.

Bisher sieht die Ökobilanz von KI noch recht mager aus: Rechenzentren, Datenströme und digitale Endgeräte verbrauchen mehr Energie, als sie dabei helfen, Energie einzusparen. Damit sich das zukünftig ändert und die Digitalisierung in ihren positiven Auswirkungen aufs Klima überwiegt, bedarf es deutschland- und europaweit festgelegte Standards, an die sich Unternehmen halten müssen. 

Deutschland hat hierzu das Energieeffizienzgesetztes auf den Weg gebracht, dessen erster Entwurf dem Bundesministerium für Wirtschaft und Klimaschutz (BMWK) bereits vorliegt. Es bleibt abzuwarten, wann dieser verabschiedet wird und mit der Umsetzung begonnen werden kann.

Header: Mahdis Mousavi auf Unsplash.
Foto: Dan LeFebvre auf Unsplash.

Zu Beginn seines Buches nimmt der Autor Massimo Airoldi seine Leserschaft mit auf eine Reise in die ewige Stadt, fern ab der großen Sehenswürdigkeiten und Touristenströme. Der Stadtteil Tor Pignattara hat wenig von dem Glanz der klassischen Postkartenmotive. Auf etwa zwei Quadratkilometern leben etwa 50.000 Menschen unterschiedlichster Ethnien auf engsten Raum zusammen. Die Heterogenität dieses Viertels ist hoch genau wie seine Arbeitslosigkeit. In dieser Umgebung wächst IAQOS auf. Allerdings IAQOS ist kein gewöhnlicher Bewohner, denn sein Name bedeutet übersetzt „Künstliche Intelligenz im Stadtteil mit Open Source“. Mithilfe dieser KI können die Einheimischen ihre Wünsche und Anliegen rund um die Entwicklungen des Stadtteils kommunizieren und mit diesem digitalen Bewohner austauschen. Langfristig auf besondere Weise „aufgewachsen“ sammelt IAQOS die verschiedenen Daten der Bewohner von Tor Pignattara, um schließlich selbst ein digitales Mitglied davon zu werden.

Was aber würde passieren, wenn IAQOS in einem wohlhabenderen Stadtteil mit einer ganz anderen Geschichte, Gesellschaft und Kultur aufgewachsenen wäre? Würde sich IAQOS gleich oder angesichts anderer Umstände anders „entwickeln“? Diesen Fragen zur Interaktion zwischen Mensch und Maschine widmet sich dieses Buch. Motiviert wird „Machine Habitus“ vor allem durch zwei Annahmen, welche Airoldi zu widerlegen versucht. Zum einen kritisiert der französische Soziologieprofessor, dass Maschinen und Technologie oft als Objekte außerhalb der Gesellschaft gesehen werden. Zum anderen stört den Autor die Behauptung, dass Algorithmen auf Basis von mathematischen Verfahren stets neutral seien. Zentrales Anliegen seiner theoretischen Überlegungen ist es ein Verständnis zu vermitteln, dass moderne lernende Maschinen nicht neutral sind, sondern mit ihren Entwicklern und Nutzern im Austausch stehen als gemeinsam deren Umwelt, Verhalten und Wahrnehmung reproduzieren und verändern.

Eine Betrachtung der Beziehung zwischen Mensch und Maschine scheint zunächst nicht viel Neues zu bieten. Seit Menschengedenken haben sie diese genutzt, um ihre Ziele zu erreichen. Angefangen von der Entdeckung des Feuers bis hin zum Entzünden von Raketen, um ins Weltall zu fliegen haben sich diese Maschinen immer weiterentwickelt. Gleiches gilt auch für Algorithmen, welche bereits existiert haben, bevor es hierfür überhaupt ein Wort gegeben hat. Was allerdings neu ist, dass ist die Beziehung zwischen Algorithmen, Mensch und Maschine.

Wie sich die Menschheit weiterentwickelt hat, haben sich auch die Maschinen weiterentwickelt. Hierzu unterteilt der Autor die Geschichte in drei Epochen. Während der analogen Phase von der Antike bis etwa dem Ende des Zweiten Weltkrieges stand Computer noch für Personen, welche Berechnung per Auftrag durchführten. Erste Ansätze mechanischer Rechenmaschinen unterstützen diese Arbeit, aber die Algorithmen dienten vor allem dazu, um bestimmte bereits vorgegebene Ziele zu erreichen. In der digitalen Phase von 1946 bis 19998 entstanden zunehmend leistungsfähigere Computer. Erste Ansätze von „Good-Old-Fashioned AI“ kamen auf. Basierend auf bestimmten logischen Bedingungen konnten diese Maschinen einfache kognitive Prozesse des Menschen abbilden. Hierbei folgten die Maschinen klaren vorgegebenen Regeln, wie beispielsweise im Schach. Zwar hat dieses Spiel viele Möglichkeiten, diese sind jedoch klar begrenzt und berechenbar. In der Phase der Plattformen, deren Beginn der Autor um 1998 verortet, änderte sich diese Beziehung jedoch. Ursprünglich gedacht als Aufbewahrungsstätte für Informationen änderte sich die Struktur des Internets grundlegend, als die Erfinder von Google Larry Page und Sergey Brin das PageRanking einführten. Von da an waren alle Seiten nicht mehr gleichberechtigt, sondern stehen nun in unterschiedlichen Verhältnissen. Manche Seiten erhalten ein höheres Ranking und damit mehr Aufmerksamkeit als andere Seiten. Kurz gesagt aus einem digitalen Aufbewahrungsort wurde ein Netzwerk. Quantitativ hat sich in dieser Epoche die Anzahl der Geräte stark erhöht, tragen heute doch die meisten ständig das Smartphone als Inbegriff des digitalen Zeitalters mit sich herum. Zugleich haben sich qualitativ die Möglichkeiten erhöht, was diese neuen Geräte leisten können. Anders als bei allen Phasen zuvor agieren die Maschinen nun zunehmend autonom, wobei Ziele und Zweck derselbigen vielfach undeutlich werden. Diese neue Generation verarbeitet selbstständig die unzähligen Daten, welche die Nutzer des Internets jeden Augenblick als Spuren ihrer Präsenz im digitalen Raum hinterlassen. Gleichzeitig agieren die Nutzer wiederum mit den Ergebnissen, welche diese Maschinen produzieren. In diesem Sinne reproduziert die Mensch-Maschine-Interaktion aktuelle gesellschaftliche Entwicklungen und soziale Zustände. Algorithmen, Maschinen und Menschen sind verbunden durch ein komplexes soziotechnologisches Netzwerk, das soziale und technische Prozesse miteinander verwebt.

Allerdings regen die Überlegungen des Soziologen dazu an, selbst darüber nachzudenken, worin die Grenzen bestehen zwischen Maschinen, die immer mächtiger werden und Menschen, welche diese zwar bedienen aber immer weniger verstehen können. Beide haben viele Gemeinsamkeiten wie das Beispiel aus Tor Pignattara zeigt. Sowohl Menschen als auch Maschinen müssen zunächst sozialisiert werden, um ihrer jeweiligen Rolle gerecht zu werden. Dies bedeutet die Regeln und Normen einer Gesellschaft zu erlernen, um als Mitglied innerhalb einer sozialen Gemeinschaft agieren zu können. Beim Menschen geschieht dies durch die Erziehung. Indem diese durch Bezugspersonen, das soziale Umfeld oder Institutionen wie die Schule erzogen werden, erhalten sie bestimmte Verfahren, um die Vielzahl der kulturellen Codes, welche die soziale Interaktion mit anderen Menschen produzieren zu verarbeiten. Abhängig davon, in welchen Umfeldern dieser Prozess erfolgt, können die Personen ganz andere Muster entwickeln, auf welche sie in bestimmten Situationen zurückgreifen können. Einen ähnlichen Habitus, wie ihn der Soziologe Pierre Bourdieu beschrieben hat, können auch Maschinen entwickeln. Diese lernen bestimmte kulturelle Codes, welche in maschinenlesbarer Form vorliegen, zu verarbeiten und zu strukturieren. Während Menschen jedoch durch Erfahrungen sozialisiert werden, geschieht dies bei Algorithmen durch die Eigenschaften welchen ihnen zugeschrieben werden. Allerdings sind Menschen immer durch ihre kulturellen Prägungen in gewisser Weise voreingenommen, weshalb diese Überlegungen danach fragen, warum das gleiche nicht auch für Algorithmen gelten könnten. Schließlich müssen diese auch erst „sozialisiert werden“ um ihre gesellschaftlichen Anforderungen erfüllen zu können.

Zentrales Argument des „Machine Habitus » ist es, Algorithmen nicht einfach nur als neutrale Maschinen, sondern als soziale Agenten zu begreifen, welche selbst gewisse Veränderungen herbeiführen können, somit eine gewisse Form von Macht ausüben können. Deutlich werden diese Überlegungen an Themen wie Filterblasen und Fakenews, oder der wachsenden Bedeutung von Bots, welche sich immer weniger von menschlichen Akteuren unterscheiden lassen. Ebenso wie Menschen, die sowohl als Individuum, als auch als Teil einer Gesellschaft agieren, sind Algorithmen soziale Agenten, welche in ein komplexes Netzwerk eingebunden sind. Jeder soziale Raum, sei dies die Gesellschaft oder soziale Netzwerke, ist eine Ansammlung von Beziehungen zwischen verschiedenen Positionen in der Gesellschaft. Diese Positionen werden durch das soziale Kapital bestimmt, sprich, die Möglichkeiten, welche sich für das Individuum ergeben, das über diese Verbindungen verfügt. Sowohl Menschen vergleichen ihre Position im sozialen Raum wie dies auch Maschinen tun. Beide unterscheiden sich lediglich darin, dass Menschen hierfür erlernte Muster nutzen, während Maschinen durch Wahrscheinlichkeitsrechnungen die Beziehungen zwischen Menschen, Objekten und Informationen bestimmen. Allerdings liegt hierin der große Unterschied zwischen Menschen und den Algorithmen komplexer Maschinen darin begründet, dass menschliche Akteure ein Bewusstsein für die Zwänge und Einschränkungen haben, die ihr Umfeld ihnen auferlegt. Hierauf können menschliche Akteure emotional reagieren und versuchen diese Umstände zu verändern, während technische Akteure diesen keine normativen Bedeutungen zuschreiben.

Mit seiner Anregung eines „Machine Habitus“ möchte der Soziologieprofessor Massimo Airoldi vor allem dazu anregen, Algorithmen nicht mehr als black boxes, außerhalb der Gesellschaft zu sehen, sondern als zentrale Akteure im gesellschaftlichen Wandlungsprozess der digitalen Transformation zu begreifen. Hierzu bietet der Autor einige Ansätze für mögliche zukünftige Beziehungen zwischen den Algorithmen und deren menschlichen Nutzern. Zwar erhalten die Algorithmen durch deren Konstrukteure eine erste Sozialisierung. Allerdings erfolgt eine weitere Sozialisierung, indem diese in verschiedenen Kontexten eingesetzt werden. Ähnliches passiert auch in der menschlichen Entwicklung. Zwar erhält jeder eine gewisse Prägung durch die Kindheit, aber andere Kontexte wie etwa der Beruf führen zu einer zweiteren Sozialisierung. Egal ob Maschine oder Mensch, die zweite Sozialisierung bringt neue Muster hervor, die Beziehung von sich zu anderen Akteuren und dem Umfeld einschätzen zu können.

Ausblickend wird die Beziehung zwischen Menschen und Algorithmen als Maschinen vor allem durch zwei Faktoren bestimmt. Einerseits steht die Asymmetrie der Informationen, Je mehr die Algorithmen an Daten sammeln, desto besser können sie ihr Umfeld beschreiben, während Menschen immer größere Schwierigkeiten haben, die Funktionsweise der Algorithmen zu verstehen. Andererseits steht die Übereinstimmung der Ziele, welche der Algorithmus verfolgt und den Erwartungen, welche Menschen an deren Nutzung mitbringen. Hierbei können entweder Menschen den Habitus von Maschinen verändern oder aber Maschinen Menschen dazu anregen, ihre Verhalten zu verändern. Derart werden soziale Strukturen gleichsam reproduziert als auch grundlegend verändert je nach Beziehungsart.

Abschließend regt „Machine Habitus“ vor allem dazu an, selbst darüber nachzudenken, wie unser Alltagsleben zunehmend durch die Beziehung zu Algorithmen und Maschinen mitbestimmt wird, ohne dass wir es immer direkt merken. Allerdings wird auch deutlich, dass Maschinen nicht neutral sind, sondern die positiven, aber auch negativen Eigenschaften sowie Ungleichheiten der Gesellschaft reproduzieren. Jedoch anders als Maschinen können sich Menschen dessen bewusstwerden, denn als Ausblick gibt das Werk zu bedenken, dass wir am Ende als Menschen der eigentlich entscheidende Algorithmus sind, indem wir die Welt mit ihren vielen komplexen Zusammenhängen nach unseren Vorstellungen zu ordnen versuchen.

Photo by rishi on Unsplash

KI & Sci-Fi Gesellschaftsentwürfe

Für Dr. Isabella Hermann von der Berlin-Brandenburgischen Akademie der Wissenschaften ist klar: Die Berichterstattung über Künstliche Intelligenz (KI) skandalisiert. Im Negativen wie im Positiven. Tendenziell aber negativ.

Ein Grund dafür sind gängige Narrative in popkulturellen Sci-Fi-Filmen. Diese vermitteln teilweise das Gefühl, dass Künstliche Intelligenz prinzipiell jede intellektuelle Aufgabe verstehen oder lernen kann. Deswegen haben Roboter in Filmen auch meistens humanoide Züge. Abgesehen davon konstruieren Sci-Fi Filme sehr oft den Konflikt zwischen Mensch und Maschine, in dem meistens die Maschinen so intelligent werden, dass sie die menschliche Existenz als irrational und überflüssig erachten. Fertig ist die Dystopie.

Übertreibung ja, aber nur im Film

Sollten Sci-Fi-Filme also den Status quo von KI-Entwicklung thematisieren? „Nein, denn Filme erzählen Geschichten über Menschen, nicht über Technik, und die sollen spannend sein“, hält Frau Hermann fest. KI wird dabei als Metapher oder Trope benutzt. So stellt die Entwicklung von KI menschliche Sehnsüchte wie die Erschaffung von Leben und im Umkehrschluss die Urangst der Fremdbeherrschung und des Kontrollverlusts dar. Auch gesellschaftliche Themen wie Diskriminierung, Emanzipation oder Empathie(verlust) werden mit Hilfe der KI-Metapher thematisiert. Viele Filme portraitieren KI als allmächtige Instanz, die mystisch und magisch verklärt wird. All diese Narrative sind auf der Kinowand unterhaltsam und haben deswegen ihre Daseinsberechtigung. Verlassen diese Ideen allerdings den Kinosaal und werden Bestandteil einer öffentlichen Debatte, in der nicht zwischen Wirklichkeit und Fiktion differenziert wird, ist das allerdings ein Problem.

Gestaltung von Technik ist eine gesellschaftliche Aufgabe

„KI-Science-Fiction-Diskurse verzerren den KI-Diskurs“, sagt Isabella Hermann, denn KI steht nie für sich alleine, hinter ihr stehen immer Menschen. Dementsprechend sind die Menschen auch für die Beantwortung der Fragen verantwortlich, die KI basierte Techniken hervorrufen. Diese drehen sich vor allem um ein Thema: Macht. Ob staatliche, wirtschaftliche oder gesellschaftliche. Beschäftigt man sich mit einer Scheindiskussion, anstatt mit dem realen Einfluss von KI auf die Menschheit, lässt man dringende Probleme wie Datenschutz, Data Bias oder Transparenz außer Acht. „Fatal“, meint Hermann.

KI für den Menschen

Durchgeführt durch Kassandara Becker und Anna-Katharina Viehstädt vom deutschen roten Kreuz, wurde die Veranstaltung interaktiv gestaltet. Ziel war es, den Teilnehmer*innen ein Gefühl dafür zu geben, wie ein KI-basiertes Belohnungs- und Bestrafungssystem die Beiträge für die gesetzliche Krankenkasse automatisch erhöhen oder senken könnte.

Dafür wurden die Teilnehmer*innen auf einem „Beitragszahlenstrahl“ hin und her gelotst. Ausschlaggebend dafür waren verschiedene Ereignisse, die im echten Leben auftreten könnten, wie beispielweise der Verlust des Partners oder der Partnerin, welcher negative psychische Auswirkungen auf den Versicherten hat.

Skepsis regiert

Danach wurden die Teilnehmer*innen gefragt, ob sie dieses System als gerecht empfinden bzw. sogar gerechter, als das momentane. Die Antworten waren mehrheitlich negativ. Die meisten Diskutant*innen halten KIs noch nicht ausgereift genug, um solch gravierende Entscheidungen zu treffen. Vielen waren der Meinung, dass diese Aufgaben nie von Maschinen übernommen werden dürfen, egal wie intelligent sie sind. Maschinen sollten niemals über menschliche Schicksale entscheiden. Darüber hinaus wurde festgehalten, dass dieses System wahrscheinlich solche Menschen bevorteilen würde, die sowieso schon privilegiert sind, denn ein gesunder Lebensstil korreliert mit Bildung und finanziellen Mitteln. Nur wenige Teilnehmer*innen sahen die Regelung mit KI-basierten Techniken als fair an. Wer risikoreicher lebt, sollte auch mehr bezahlen müssen, so die Aussage eines Diskutanten.

KIs nachhaltig Nutzen

In Raum 2 ging es unter dem Titel “10 Tactics for 2030“ um Nachhaltigkeit. Die vielen jungen anwesenden Wissenschaftler*innen wurden von den Leiterinnen Helene von Schwichow und Katrin Fritsch aufgefordert, sich eine Idee auszudenken, die KI für eine nachhaltige Zukunft nutzt. Die Wissenschaftler*innen lieferten acht konkrete Taktiken für eine bessere Welt im Jahre 2030. Dabei schien vor allem der enorme Energieverbrauch, der beim Trainieren aber auch bei der Nutzung von KIs oder dem Internet anfällt, die Teilnehmer*innen zu beschäftigen, wie sich in ihren Ideen zeigte. Diese reichten von einer App, die Lebensmittelverschwendung durch klug gewählte Rezepte vermeiden soll, bis hin zu der Einrichtung einer Beratungsstelle für Nachhaltigkeit, an welche sich KI-Entwickler*innen wenden können sollen.

Es taucht aber auch offen Fragen für die Zukunft auf: Wie können wir Nachhaltigkeit messen? Wie lassen sich KIs am energieeffizientesten programmieren? Können, wir Künstliche Intelligenzen vielleicht sogar nutzen, um KIs umweltfreundlicher zu machen? Fragen auf die die Workshopteilnehmer*innen noch keine Antwort haben, aber voller Begeisterung und Wissensdrang auf der Suche sind.

Digitalisierung der Sexualität

Der Vortrag der Wissenschaftlerin Yuefang Zhou zum Thema „Intimate relationships with humanoid robots: are we both ready?“ zeigte, dass auch die menschliche Sexualität nicht unberührt von den Entwicklungen der Digitalisierung und KIs bleiben wird. Im Gegenteil. Es gibt immer mehr Möglichkeiten, die eigene Sexualität über, durch oder sogar mit moderner Technik auszuleben. Zhou schildert, wie in den letzten und kommenden Jahren aus leblosen Sexpuppen mit Hilfe von AI sprechende und sich bewegende Sexroboter wurden und werden sollen. Einen dieser Prototypen namens „Harmony“ durfte die Wissenschaftlerin persönlich kennen lernen und berichtete, wie authentisch die Stimme der AI klang und schockierend echt sich die Silikonhaut des Roboters anfühlte. Steuern lässt sich diese Roboter-Lady durch eine App, sie regiert auf Berührungen und kann sogar ihren Hals und Mund bewegen. Der Roboter, der die Ungestümheit und „messyness“ von Sex zwischen zwei Menschen vollständig imitieren kann, ist aber noch in weiter Ferne.

Dabei betont Zhou aber, dass es nicht das Ziel sei, menschliche Interaktion abzulösen. Ihr ginge es vielmehr darum, Menschen, die Probleme mit echten sozialen Interaktionen haben, eine Möglichkeit zu geben, ihre Sexualität auszuleben und mit den Robotern Sex zu üben. Ein KI betriebener Sex-Roboter soll 15.000 $ kosten und nächstes Jahr auf den Markt kommen. Ihre Forschungsergebnisse zur Intimität zwischen Mensch und Roboter hat Yuefang Zhou gemeinsam mit Martin H. Fischer in dem Buch „AI I Love you„ festgehalten.

Gesellschaftliche Zukunft mit KI

Wo liegt die Zukunft der KI-Forschung und was sind die gesellschaftlichen Implikationen die wir mitdenken müssen? Dieser Frage widmeten sich Lena-Sophie Müller, Sophie-Charlotte Fischer, Christine Regitz, Frithjof Nagel und Marina Weisband in einer Podiumsdiskussion. Einigkeit bestand darin, dass das in den Massenmedien von KI gezeichnete Bild von einem Schwarz-Weißdenken geprägt ist. Großen Einfluss darauf habe die Unwissenheit vieler Autor*innen, über diese nicht mehr allzu neue Technik. Das was wir heute KI nennen war früher schlicht Statistik, die wir heute zu einer allmächtigen Gottheit verklären, so Weisband.

Gleichzeitig herrscht neben der Unsicherheit gegenüber KI auch ein großes Vertrauen in die Technik, vor allem unter jungen Menschen oder in Notsituationen. Das kann ein gesellschaftlicher Fortschritt sein, solange wir uns der Notwendigkeit bewusst bleiben, dass wir weiterhin angehalten sind unseren „gesunden Menschenverstand“ zu nutzen. Eine vollständige Verantwortungsübertragung auf KI kann und darf nicht möglichsein.

Durch die Automatisierung von bestimmten Aufgaben, wird es dem Menschen möglich sein, sich wieder mehr auf seine kreativen und kritischen Kompetenzen zu besinnen. Der Mensch der Zukunft wird KI als Werkzeug nutzen, dafür bedarf es jedoch einer umfassenden technischen Bildung, die am besten bereits heute Teil der Schule sein sollte. Deutschland hat auf diese Gebiet massive Nacharbeit zu leisten, bisher haben nur drei Bundesländer Informatik zu einem verpflichtenden Schulfach gemacht und Lehrer*innen dafür sind nach wie vor Mangelware. Sollte sich daran nichts ändern, wird Deutschland in den kommenden Jahren technisch und wirtschaftlich abgehängt werden.

Zuletzt sprachen die Teilnehmer*innen noch über die Diversität bzw. die mangelnde Diversität in der Informatik-Branche und wie im Bereich der KI immer mehr Frauen und nicht-weiß-cis-hetero Menschen einen Platz für sich finden. Gleichzeitig keimt damit auch die Hoffnung, dass mehr Diversität in der Entwicklung sich positiv auf die problematischen Bias von KI auswirken könnte, welche oft vor allem Minderheiten oder Frauen ausschießen.

KIs sind die Zukunft und es ist letztlich eine gesamtgesellschaftliche Aufgabe, kommende Generationen die bestmögliche Nutzung dieser Technik im Einklang mit unseren Werten zu ermöglichen.

Titelbild: Cai Schultz

Bild der Ideen aus dem Workshop: Sarah Merz

Illustrationen: Susanne Asheuer