Deep learning – politik-digital

Was machen Maschinen (mit uns)?- Buchrezension zu „Machine Habitus“

Stephan Raab — Thu, 24 Mar 2022 09:59:42 +0000

Seit Menschengedenken prägen Maschinen die Entwicklungen der Menschheit mit. Spätestens seit den Erfahrungen des Lockdowns ist zudem deutlich geworden, dass eine neue Art von Maschinen angetrieben durch künstliche Intelligenz nun Teil des Alltags geworden ist. Ob Kommunikation, Konsum oder Unterhaltung diese Alltagshelfer sind überall. Aber wissen deren Nutzer überhaupt was diese Maschinen wirklich (mit ihnen) tun? Das Buch „Machine Habitus“ wirft einen neuen Blick auf eine alte Frage zur Beziehung von Mensch zu Maschine.

Alle Wege führen nach Rom aber jetzt mit Algorithmus

Zu Beginn seines Buches nimmt der Autor Massimo Airoldi seine Leserschaft mit auf eine Reise in die ewige Stadt, fern ab der großen Sehenswürdigkeiten und Touristenströme. Der Stadtteil Tor Pignattara hat wenig von dem Glanz der klassischen Postkartenmotive. Auf etwa zwei Quadratkilometern leben etwa 50.000 Menschen unterschiedlichster Ethnien auf engsten Raum zusammen. Die Heterogenität dieses Viertels ist hoch genau wie seine Arbeitslosigkeit. In dieser Umgebung wächst IAQOS auf. Allerdings IAQOS ist kein gewöhnlicher Bewohner, denn sein Name bedeutet übersetzt „Künstliche Intelligenz im Stadtteil mit Open Source“. Mithilfe dieser KI können die Einheimischen ihre Wünsche und Anliegen rund um die Entwicklungen des Stadtteils kommunizieren und mit diesem digitalen Bewohner austauschen. Langfristig auf besondere Weise „aufgewachsen“ sammelt IAQOS die verschiedenen Daten der Bewohner von Tor Pignattara, um schließlich selbst ein digitales Mitglied davon zu werden.

Was aber würde passieren, wenn IAQOS in einem wohlhabenderen Stadtteil mit einer ganz anderen Geschichte, Gesellschaft und Kultur aufgewachsenen wäre? Würde sich IAQOS gleich oder angesichts anderer Umstände anders „entwickeln“? Diesen Fragen zur Interaktion zwischen Mensch und Maschine widmet sich dieses Buch. Motiviert wird „Machine Habitus“ vor allem durch zwei Annahmen, welche Airoldi zu widerlegen versucht. Zum einen kritisiert der französische Soziologieprofessor, dass Maschinen und Technologie oft als Objekte außerhalb der Gesellschaft gesehen werden. Zum anderen stört den Autor die Behauptung, dass Algorithmen auf Basis von mathematischen Verfahren stets neutral seien. Zentrales Anliegen seiner theoretischen Überlegungen ist es ein Verständnis zu vermitteln, dass moderne lernende Maschinen nicht neutral sind, sondern mit ihren Entwicklern und Nutzern im Austausch stehen als gemeinsam deren Umwelt, Verhalten und Wahrnehmung reproduzieren und verändern.

Was wir mit Maschinen machen oder Maschinen mit uns

Eine Betrachtung der Beziehung zwischen Mensch und Maschine scheint zunächst nicht viel Neues zu bieten. Seit Menschengedenken haben sie diese genutzt, um ihre Ziele zu erreichen. Angefangen von der Entdeckung des Feuers bis hin zum Entzünden von Raketen, um ins Weltall zu fliegen haben sich diese Maschinen immer weiterentwickelt. Gleiches gilt auch für Algorithmen, welche bereits existiert haben, bevor es hierfür überhaupt ein Wort gegeben hat. Was allerdings neu ist, dass ist die Beziehung zwischen Algorithmen, Mensch und Maschine.

Wie sich die Menschheit weiterentwickelt hat, haben sich auch die Maschinen weiterentwickelt. Hierzu unterteilt der Autor die Geschichte in drei Epochen. Während der analogen Phase von der Antike bis etwa dem Ende des Zweiten Weltkrieges stand Computer noch für Personen, welche Berechnung per Auftrag durchführten. Erste Ansätze mechanischer Rechenmaschinen unterstützen diese Arbeit, aber die Algorithmen dienten vor allem dazu, um bestimmte bereits vorgegebene Ziele zu erreichen. In der digitalen Phase von 1946 bis 19998 entstanden zunehmend leistungsfähigere Computer. Erste Ansätze von „Good-Old-Fashioned AI“ kamen auf. Basierend auf bestimmten logischen Bedingungen konnten diese Maschinen einfache kognitive Prozesse des Menschen abbilden. Hierbei folgten die Maschinen klaren vorgegebenen Regeln, wie beispielsweise im Schach. Zwar hat dieses Spiel viele Möglichkeiten, diese sind jedoch klar begrenzt und berechenbar. In der Phase der Plattformen, deren Beginn der Autor um 1998 verortet, änderte sich diese Beziehung jedoch. Ursprünglich gedacht als Aufbewahrungsstätte für Informationen änderte sich die Struktur des Internets grundlegend, als die Erfinder von Google Larry Page und Sergey Brin das PageRanking einführten. Von da an waren alle Seiten nicht mehr gleichberechtigt, sondern stehen nun in unterschiedlichen Verhältnissen. Manche Seiten erhalten ein höheres Ranking und damit mehr Aufmerksamkeit als andere Seiten. Kurz gesagt aus einem digitalen Aufbewahrungsort wurde ein Netzwerk. Quantitativ hat sich in dieser Epoche die Anzahl der Geräte stark erhöht, tragen heute doch die meisten ständig das Smartphone als Inbegriff des digitalen Zeitalters mit sich herum. Zugleich haben sich qualitativ die Möglichkeiten erhöht, was diese neuen Geräte leisten können. Anders als bei allen Phasen zuvor agieren die Maschinen nun zunehmend autonom, wobei Ziele und Zweck derselbigen vielfach undeutlich werden. Diese neue Generation verarbeitet selbstständig die unzähligen Daten, welche die Nutzer des Internets jeden Augenblick als Spuren ihrer Präsenz im digitalen Raum hinterlassen. Gleichzeitig agieren die Nutzer wiederum mit den Ergebnissen, welche diese Maschinen produzieren. In diesem Sinne reproduziert die Mensch-Maschine-Interaktion aktuelle gesellschaftliche Entwicklungen und soziale Zustände. Algorithmen, Maschinen und Menschen sind verbunden durch ein komplexes soziotechnologisches Netzwerk, das soziale und technische Prozesse miteinander verwebt.

Ein Wechselspiel zwischen Sozialisierung und Digitalisierung

Allerdings regen die Überlegungen des Soziologen dazu an, selbst darüber nachzudenken, worin die Grenzen bestehen zwischen Maschinen, die immer mächtiger werden und Menschen, welche diese zwar bedienen aber immer weniger verstehen können. Beide haben viele Gemeinsamkeiten wie das Beispiel aus Tor Pignattara zeigt. Sowohl Menschen als auch Maschinen müssen zunächst sozialisiert werden, um ihrer jeweiligen Rolle gerecht zu werden. Dies bedeutet die Regeln und Normen einer Gesellschaft zu erlernen, um als Mitglied innerhalb einer sozialen Gemeinschaft agieren zu können. Beim Menschen geschieht dies durch die Erziehung. Indem diese durch Bezugspersonen, das soziale Umfeld oder Institutionen wie die Schule erzogen werden, erhalten sie bestimmte Verfahren, um die Vielzahl der kulturellen Codes, welche die soziale Interaktion mit anderen Menschen produzieren zu verarbeiten. Abhängig davon, in welchen Umfeldern dieser Prozess erfolgt, können die Personen ganz andere Muster entwickeln, auf welche sie in bestimmten Situationen zurückgreifen können. Einen ähnlichen Habitus, wie ihn der Soziologe Pierre Bourdieu beschrieben hat, können auch Maschinen entwickeln. Diese lernen bestimmte kulturelle Codes, welche in maschinenlesbarer Form vorliegen, zu verarbeiten und zu strukturieren. Während Menschen jedoch durch Erfahrungen sozialisiert werden, geschieht dies bei Algorithmen durch die Eigenschaften welchen ihnen zugeschrieben werden. Allerdings sind Menschen immer durch ihre kulturellen Prägungen in gewisser Weise voreingenommen, weshalb diese Überlegungen danach fragen, warum das gleiche nicht auch für Algorithmen gelten könnten. Schließlich müssen diese auch erst „sozialisiert werden“ um ihre gesellschaftlichen Anforderungen erfüllen zu können.

Zentrales Argument des „Machine Habitus » ist es, Algorithmen nicht einfach nur als neutrale Maschinen, sondern als soziale Agenten zu begreifen, welche selbst gewisse Veränderungen herbeiführen können, somit eine gewisse Form von Macht ausüben können. Deutlich werden diese Überlegungen an Themen wie Filterblasen und Fakenews, oder der wachsenden Bedeutung von Bots, welche sich immer weniger von menschlichen Akteuren unterscheiden lassen. Ebenso wie Menschen, die sowohl als Individuum, als auch als Teil einer Gesellschaft agieren, sind Algorithmen soziale Agenten, welche in ein komplexes Netzwerk eingebunden sind. Jeder soziale Raum, sei dies die Gesellschaft oder soziale Netzwerke, ist eine Ansammlung von Beziehungen zwischen verschiedenen Positionen in der Gesellschaft. Diese Positionen werden durch das soziale Kapital bestimmt, sprich, die Möglichkeiten, welche sich für das Individuum ergeben, das über diese Verbindungen verfügt. Sowohl Menschen vergleichen ihre Position im sozialen Raum wie dies auch Maschinen tun. Beide unterscheiden sich lediglich darin, dass Menschen hierfür erlernte Muster nutzen, während Maschinen durch Wahrscheinlichkeitsrechnungen die Beziehungen zwischen Menschen, Objekten und Informationen bestimmen. Allerdings liegt hierin der große Unterschied zwischen Menschen und den Algorithmen komplexer Maschinen darin begründet, dass menschliche Akteure ein Bewusstsein für die Zwänge und Einschränkungen haben, die ihr Umfeld ihnen auferlegt. Hierauf können menschliche Akteure emotional reagieren und versuchen diese Umstände zu verändern, während technische Akteure diesen keine normativen Bedeutungen zuschreiben.

Mensch und Maschine gegeneinander im Miteinander

Mit seiner Anregung eines „Machine Habitus“ möchte der Soziologieprofessor Massimo Airoldi vor allem dazu anregen, Algorithmen nicht mehr als black boxes, außerhalb der Gesellschaft zu sehen, sondern als zentrale Akteure im gesellschaftlichen Wandlungsprozess der digitalen Transformation zu begreifen. Hierzu bietet der Autor einige Ansätze für mögliche zukünftige Beziehungen zwischen den Algorithmen und deren menschlichen Nutzern. Zwar erhalten die Algorithmen durch deren Konstrukteure eine erste Sozialisierung. Allerdings erfolgt eine weitere Sozialisierung, indem diese in verschiedenen Kontexten eingesetzt werden. Ähnliches passiert auch in der menschlichen Entwicklung. Zwar erhält jeder eine gewisse Prägung durch die Kindheit, aber andere Kontexte wie etwa der Beruf führen zu einer zweiteren Sozialisierung. Egal ob Maschine oder Mensch, die zweite Sozialisierung bringt neue Muster hervor, die Beziehung von sich zu anderen Akteuren und dem Umfeld einschätzen zu können.

Ausblickend wird die Beziehung zwischen Menschen und Algorithmen als Maschinen vor allem durch zwei Faktoren bestimmt. Einerseits steht die Asymmetrie der Informationen, Je mehr die Algorithmen an Daten sammeln, desto besser können sie ihr Umfeld beschreiben, während Menschen immer größere Schwierigkeiten haben, die Funktionsweise der Algorithmen zu verstehen. Andererseits steht die Übereinstimmung der Ziele, welche der Algorithmus verfolgt und den Erwartungen, welche Menschen an deren Nutzung mitbringen. Hierbei können entweder Menschen den Habitus von Maschinen verändern oder aber Maschinen Menschen dazu anregen, ihre Verhalten zu verändern. Derart werden soziale Strukturen gleichsam reproduziert als auch grundlegend verändert je nach Beziehungsart.

Wer ist der Algorithmus?

Abschließend regt „Machine Habitus“ vor allem dazu an, selbst darüber nachzudenken, wie unser Alltagsleben zunehmend durch die Beziehung zu Algorithmen und Maschinen mitbestimmt wird, ohne dass wir es immer direkt merken. Allerdings wird auch deutlich, dass Maschinen nicht neutral sind, sondern die positiven, aber auch negativen Eigenschaften sowie Ungleichheiten der Gesellschaft reproduzieren. Jedoch anders als Maschinen können sich Menschen dessen bewusstwerden, denn als Ausblick gibt das Werk zu bedenken, dass wir am Ende als Menschen der eigentlich entscheidende Algorithmus sind, indem wir die Welt mit ihren vielen komplexen Zusammenhängen nach unseren Vorstellungen zu ordnen versuchen.

Photo by rishi on Unsplash

Text: CC-BY-SA 3.0

Was wäre wenn? Warum wir auch über das sprechen müssen, was KI noch nicht kann

Julia Schymura — Thu, 08 Nov 2018 09:46:44 +0000

Wenn man das Wort Künstliche Intelligenz (oder auch Artifical Intelligence) in die Google-Suchmaske eingibt und die Bildersuche laufen lässt, stößt man auf ein Meer von Fotos, die Roboter, Gehirne und finster dreinschauende Augen zeigen. Ähnlich verhält es sich bei der Bebilderung von Artikeln, Meldungen, Fernsehbeiträgen. Das suggeriert das Bild einer bedrohlichen, menschenähnlichen Technologie, das auch in den Köpfen vieler Menschen verankert zu sein scheint – und das sich noch nicht so ganz decken mag mit dem, was wir in unserem Alltag vorfinden. Aber was wäre wenn? Und wie weit ist die Realität wirklich von der Vorstellung entfernt, die durch solche Fotos ausgedrückt wird?

Um es gleich vorwegzunehmen: Das, was solche Bilder vermitteln, hat wenig bis gar nichts mit der Technologie zu tun, die wir heute haben. Was wir heute haben, ist höchstens eine narrow AI, eine schwache künstliche Intelligenz. Das sind Algorithmen, die jeweils eine Aufgabe sehr gut ausführen; die Input bekommen und einen Output zu einer bestimmten Zielfunktion ausgeben. Auch, wenn es eine Definitionsfrage ist, was wir genau als intelligent bezeichnen – diese Algorithmen werden wohl nicht dazu gehören. Sie können keine Aufgaben kombinieren, weder reflektieren noch erklären, was sie tun. Diese schwache KI, sie hat wenig gemein, mit dem, was in Science-Fiction-Filmen oder der Google Suche vermittelt wird.

Dennoch halten sich anfangs beschriebene Assoziationen hartnäckig. Und damit verbundenes Unbehagen. Das scheint auch nicht völlig unbegründet, denkt man beispielsweise an die im letzten Jahr begonnene Diskussion zwischen Mark Zuckerberg und Elon Musk: Musk nimmt dabei die eher dystopische Seite ein; warnt davor, dass KI gefährlicher sei als nordkoreanische Atomwaffen. Als unverantwortlich betitelte Zuckerberg hingegen solche stark negativen Äußerungen. Hat er damit Recht – ist es unverantwortlich, so eindrücklich eine Warnung auszusprechen?

Die generelle künstliche Intelligenz

Die KI, von der Musk spricht, ist eine generelle KI. Eine, die viel leistungsfähiger ist als die Algorithmen, die wir kennen; die nicht nur eine einzige Aufgabe oder Zielfunktion löst, sondern zu viel mehr in der Lage ist. Was dieses „viel mehr“ genau impliziert, ist abhängig von unserem Verständnis von Intelligenz. Was benötigt ein System, damit es sich künstlich intelligent nennen kann? „Das ist eine Definitionsfrage. Sagen wir mal, sie sollte wirklich sein wie der Mensch – es gibt dann immer noch die Frage, was den Menschen als intelligentes Wesen ausmacht“, sagt Professor Florian Ellsaesser vom Centre for Human and Machine Intelligence der Frankfurt School of Finance and Management. Aber was bedeutet Intelligenz, intelligent sein?

Dr. Sebastian Thieme, Bioinformatiker und –physiker, spricht von einer KI als ein System, das Intuition und Kreativität besitzt, und damit gemeinsam mit seinen Erfahrungen Entscheidungen treffen kann: „Wie ein Mensch, nur als Computer.“ Wenn wir diese Stufe erreichen, wird es sehr spannend, ist er sich sicher. „Das bedeutet ja, dass wir ein Objekt geschaffen haben, das selbst denkt. Wenn wir es herunterbrechen, wäre der Mensch ja quasi die erste Stufe der künstlichen Intelligenz – bloß nicht künstlich, sondern biologisch. Im Prinzip werden wir durch unser Gehirn komplett gesteuert, alles findet in unserem Kopf statt. Mit der KI bauen wir ja eine Art künstliches Gehirn. Das heißt, wir wären in der Lage, eine Lebensform zu schaffen – und weil wir sie schaffen, ist sie nun mal künstlich. Aber sobald es eine Lebensform ist, ist sie eigentlich auch nicht mehr künstlich.“

„Nur, weil wir Blut, Herz und Puls haben – ist das Leben?“

Wenn wir dort erst einmal angekommen sind, werden wir uns grundlegenden Fragen stellen müssen. „Wo beginnt Leben? Wie definieren wir das? Nur, weil wir Blut, ein schlagendes Herz und Puls haben, – ist das Leben? Oder heißt Leben, Intuition, Intelligenz und Gefühle zu haben?“ Das sind momentan rein hypothetische Überlegungen, wir haben so etwas derzeit noch nicht. Ob eine KI Gefühle haben oder entwickeln könnte, irgendwann einmal, das weiß er selbst nicht genau. Aber solche Fragen sind nicht nur relevant, wenn wir über KI sprechen, sie offenbaren viel über das Menschen- und Weltbild, das wir haben. Was definiert uns als Menschen, uns als Gesellschaft? Würde ich mich einer Maschine, die ähnlich denkt wie ich, mit der ich Gespräche führen könnte, näher fühlen, als beispielsweise einem Frosch, mit dem ich nichts gemeinsam habe, außer einem Herzschlag? Oder ist es eben im Endeffekt doch dieser Herzschlag, der auf eine Weise verbindet, die schlichtweg nicht imitierbar oder ersetzbar ist?

„Das ist wie ein Geist, den man aus der Flasche lässt – schwierig, den wieder hineinzubekommen“

Noch ist es Zukunftsmusik. Aber wie lange wird das noch der Fall sein? „Ich glaube, dass der Computer irgendwann diese menschliche Intelligenz erreicht“, sagt Ellsaesser. „Aber was es momentan gibt, hat damit nichts zu tun. Diese Algorithmen können sehr gut Zusammenhänge extrahieren – wir geben Ihnen Daten und Zielfunktion, und sie optimieren dahingehend.“ Trotzdem glaubt Thieme, dass es nicht mehr in allzu ferner Zukunft liegt. „Teilweise wird geplant, das innerhalb der nächsten zehn Jahre zu schaffen – das wäre tatsächlich relativ zeitnah“, sagt er. Selbst wenn zehn Jahre noch eine zu optimistische Schätzung seien; seiner Einschätzung nach werden es die Generation der jetzigen Mittzwanziger und –dreißiger mindestens noch erleben. „Ich glaube, dass wir näher dran sind, als wir denken. Wir reden nicht mehr von hunderten von Jahren sondern einigen Jahrzehnten.“

Dass wir noch einige Jahre davon entfernt sind, bedeutet allerdings nicht, dass wir nicht über das sprechen sollten, was sein kann. Auch, wenn man dabei aufpassen muss: „Man muss darüber nachdenken, das ist wichtig, aber man muss differenzieren: Was ist derzeit mit den Algorithmen möglich; was, wenn sie noch besser werden und was ist Fantasie. Das heißt nicht, dass man darüber nicht nachdenken darf – man darf nur eben eines nicht verwechseln: Ist das eine Idee von der Zukunft oder bereits Realität?“, warnt Ellsaesser. Damit hat er selbstverständlich recht: Wenn wir darüber sprechen, wenn wir überlegen, was es bedeuten würde, eine generelle KI zu haben, müssen wir uns immer vor Augen führen, dass wir mit etwas Hypothetischem hantieren. Sonst überschätzen wir das, was wir im Alltag an Technologie finden, oder reden an der Realität vorbei. Es gibt allerdings Fragen, die wir uns heute schon stellen müssen, auf die wir heute schon versuchen müssen, Antworten zu finden. Das Monitoring von Algorithmen, also das Überwachen oder Prüfen von der Technologie, ist eine davon: „Das ist ein wichtiger Schritt, Algorithmenmonitoring, den wir gehen müssen, bevor wir eine generelle KI haben.“ Thieme ist sich sicher, dass wir uns jetzt schon Gedanken darüber machen müssen, welchen Rahmen eine generelle KI bekommen würde, welche Grenzen, die sie wirklich nicht verlassen dürfte. Denn: „Wenn wir es erst danach tun, wird es wahrscheinlich zu spät sein. Das ist wie ein Geist, den man aus der Flasche lässt – schwierig, den wieder hineinzubekommen.

Menschliche Intelligenz ist also, theoretisch, durchaus von Algorithmen zu erreichen – auch wenn es derzeit noch nicht geschehen ist. Trotzdem müssen wir uns fragen, was derartige Technologie darf und was nicht. Und wir werden uns fragen müssen, wie wir Leben und Intelligenz definieren, und wie wir uns als Menschen eigentlich verstehen. Was für ein Weltbild wir vertreten. Es wird spannend.

Titelbild: Photo by Marc Liu on Unsplash, CCO

Text: CC-BY-SA 3.0

Die Diskussion um diskriminierende KI – und was wir von ihr lernen können

Julia Schymura — Thu, 01 Nov 2018 12:45:42 +0000

Die rassistische, sexistische, psychopathische KI – manifestieren sich in einer Technologie, die unser Leben eigentlich verbessern sollte, die Schattenseiten unserer Gesellschaft? Ist KI nun eine Möglichkeit, menschliche Irrationalität, vorherrschende Ungleichheit und Vorurteile zu reduzieren – oder potenziert sie sie stattdessen?

Vor einigen Monaten tauchte Norman auf. Norman behauptet, ein Psychopath zu sein. Während sein Kollege auf Rohrschachtests eine Hochzeitstorte sieht, sieht er, wie ein Mann in eine Teigmaschine fällt oder auf offener Straße erschossen – Brutales, um es kurz zu fassen. Norman ist kein Mensch; Norman ist der Name einer KI, die mit Fotos eines Reddit Threads trainiert wurde und dann angeben sollte, was sie auf Fotos des Rohrschachtests sieht. Es ist unklar, ob wir Norman irgendwie witzig finden oder ihn als Symbol für die Risiken und Gefahren halten sollten, die KI birgt. Bei anderen Meldungen ist es eindeutiger: Es ist letzteres. In letzter Zeit machte Gesichtserkennungssoftware von IBM, Face++ oder Microsoft Schlagzeilen: Weil sie hellhäutige Männer wesentlich besser erkennt, als Frauen mit dunklerer Hautfarbe. Eine rassistische KI? Das ist dabei kein Einzelfall: Die Software COMPAS, die die Wahrscheinlichkeit eines kriminellen Rückfalls voraussagen soll, beschreibt afroamerikanischen Häftlingen mehr als doppelt so häufig fälschlicherweise als Hochrisikofälle. Chatbots, wie Tay von Microsoft, verleugnen auf twitter den Holocaust. Immer lauter, immer häufiger wird der Vorwurf der diskriminierenden Systeme ausgesprochen. Doch handelt es sich dabei wirklich um diskriminierende Technologie? Ist es einer Technologie möglich, sexistisch, rassistisch, extremistisch zu sein? Und wie sollen wir als Gesellschaft damit umgehen?

„Algorithmen sind nicht ausschließlich technisch.“

Im Juni hält Goda Klombyte, Doktorandin des GEdis Lab der Universität Kassel, einen Vortrag in Berlin. GEdis steht dabei für Gender and Diversity in Informatic Systems, sie spricht über Feminismus und Algorithmen. Was sie sagt, ist allerdings anwendbar auf jegliche Form von Diskriminierung: Algorithmen seien nicht ausschließlich technisch – es sei an uns zu fragen, wessen Perspektive sie vermitteln und wie es möglich ist, soziale Praktiken in Algorithmen einzuschleusen. Wie wurde beispielsweise Tay zum Holocaustleugner oder die Gesichtserkennungssoftware zum vermeintlichen Rassisten? Hinter beiden Anwendungen scheinen neuronale Netze zu stehen (etwas mehr darüber haben wir bereits hier geschrieben). Neuronale Netze sind Algorithmen, die maschinell lernen können. Sie werden mit einem Datensatz trainiert, einem Trainingsset; bei Bilderkennung mit Fotos, bei Spracherkennung mit Sprache und Text. Umso mehr Input zur Verfügung steht, umso größer das Trainingsset, umso besser werden diese Systeme in der Erkennung von Bildern oder Sprache. Sie lernen. Würden wir das Trainingsset der Gesichtserkennungssoftware ansehen, würden wir wohl einen Datensatz auffinden, in dem Menschen (beziehungsweise Männer) mit hellerer Hautfarbe wesentlich häufiger auftauchen, als Menschen mit anderer Hautfarbe. Weiße Männer wären stark repräsentiert, Frauen und Menschen anderer Hautfarbe unterrepräsentiert. Daher erkennt Software letztere weniger gut – sie lernte besser, helle Hautfarbe zu erkennen, als dunkle. Datensätze, in denen etwas über- oder unterrepräsentiert ist, sind ein häufiges Phänomen, nicht nur in Gesichtserkennungsalgorithmen: Datenbiases.

Algorithmen erkennen Muster viel stärker als wir Menschen

Das bedeutet, dass obgleich das Resultat diskriminierend ist, die Technologie, sprich die Algorithmen als solche, nicht diskriminierend sind. Sie lernen lediglich mit den Daten, die ihnen zur Verfügung gestellt werden. Und das ist ein Problem: Denn häufig lernen Algorithmen mit historischen Daten; mit dem, was „eben da ist“. „Spracherkennungsalgorithmen, beispielsweise, lernen auf Basis existierender Sprache. Wenn es in der existierenden Sprache das Muster gibt, dass ein Mann immer der Verdiener, der Arzt, ist und die Frau mit Haushalt assoziiert wird, weil Menschen das so im Kopf haben, lernt der Algorithmus das. Und man muss sich aktiv bemühen, das rauszunehmen“, sagt Professor Florian Ellsaesser vom Centre for Human and Machine Intelligence der Frankfurt School of Finance and Management. Diskriminierung und Ungleichheiten sind in unserer Gesellschaft präsent, sie finden sich in alltäglichen Strukturen, in unserer Sprache, in den Daten, mit denen Algorithmen dann lernen sollen. „Das ist ja nicht nur ein Problem von Algorithmen, sondern auch der Mensch hat das Problem, dass er Dinge zu sehr generalisiert. Es existiert bei uns Menschen genauso, nur der Algorithmus bringt es viel stärker heraus, weil es da vollautomatisch läuft.“ Dem stimmt auch Dr. Sebastian Thieme, Bioinformatiker und -physiker, zu. Er weiß, dass Algorithmen viel besser darin sind, Muster zu erkennen, als wir Menschen. Algorithmen erkennen Muster auch dort, wo wir sie nicht erkennen – nicht mehr erkennen oder nicht erkennen wollen. Und das ist erschreckend.

„Wir erkennen die Systematik dadurch viel stärker“, sagt Ellsaesser. „Da merken wir, dass Frau eben im durchschnittlichen Sprachgebrauch oft mit Haushalt assoziiert wird.“ Uns werde jetzt ein Spiegel vorgehalten, sagt Thieme, ein gesellschaftlicher Spiegel. Das trifft vor allem auf den COMPAS Algorithmus zu: Trainiert wurde er mit historischen Daten. Mit Daten, die repräsentieren, dass einige Gruppen von Menschen eine andere Behandlung erfahren, einige RichterInnen und BeamtInnen nicht immer objektiv entscheiden. Mit Daten, in denen sich rassistische und diskriminierende Muster finden lassen. „Was wir in Zukunft erleben werden ist keine mehr so offensichtliche Diskriminierung, sondern neue Arten von Diskriminierung“, ist sich Thieme sicher. Erlebt haben wir hier nicht zwangsläufig eine gezielte diskriminierende Programmierung – sondern stattdessen das Sichtbarmachen und Potenzieren eines Musters erlebt, das so in unserer Gesellschaft existiert.

Was darf entscheidungsrelevant sein?

Wenn wir über Daten sprechen, müssen wir über noch mehr sprechen als über Biases. So muss bei der Programmierung entschieden werden, welche Parameter oder Kriterien für die Datenbewertung durch den Algorithmus festgelegt werden. Es muss sich überlegt werden, welche Kriterien letztlich relevant für eine Bewertung und Entscheidung sind. Würden wir uns COMPAS anschauen müssten wir also beispielsweise fragen: Wenn festgestellt werden soll, ob jemand frühzeitig aus der Haft entlassen wird, ist die Hautfarbe ein solcher Parameter? Benötigt man in einem Datensatz Angaben über Religion, Herkunft, Delikt – was davon darf wirklich urteilsstiftend sein? „Diejenigen, die den Algorithmus entwickeln, entscheiden letztlich, welche Kriterien oder Features sie mit hereinnehmen und welche nicht. Das heißt, hier liegt viel in der Verantwortung der EntwicklerInnen, auf solche Dinge zu achten“, sagt Thieme.

Wir brauchen ein Algorithmenmonitoring

Aber wie kann das geleistet werden? Wie können wir beispielsweise sicherstellen, dass die Menschen, die in der Verantwortung stehen, darauf achten? Algorithmenmonitoring, oder von vielen auch Algorithmen-TÜV genannt, scheint hier eine mögliche Antwort zu sein. Thieme sieht letzteren Begriff allerdings skeptisch: „Was es nicht geben wird ist, dass Firmen uns ihre Algorithmen geben, so dass wir sie von Zeile eins bis zehn Millionen durchschauen. Deshalb finde ich den Begriff TÜV irreführend.“ Zu groß seien dafür die Programme, zu kompliziert die Algorithmen. Und zulassen würden es die Unternehmen schon gar nicht: „Es ist schwierig, darüber eine gesetzliche Handhabe zu bekommen, weil die Entwicklung eines Algorithmus viel mit geistigem Eigentum zu tun hat. Wenn der Algorithmus von google bekannt würde, würde ihn jeder kopieren – weshalb Firmen den Teufel tun, den rauszugeben.“ Wie Monitoring stattfinden kann, ist eine Frage, auf die es nur die Antwort gibt, dass es irgendwie passieren muss. Das wie ist noch nicht klar. Thieme spricht viel von den Hindernissen, auf die man treffen wird, wenn man versucht, Daten von unabhängiger Distanz sichten zu lassen. Vertrauliche Daten, vertrauliche Algorithmen, Kunden- und Firmengeheimnisse. Prinzipiell glaube er aber daran, in die Systeme hineinsehen zu müssen, um sie zu prüfen. Dasselbe gilt für die Daten, mit denen gearbeitet wird: Diese müssten genauso von ExpertInnen gesichtet und analysiert werden. Völlig ohne Verzerrungen, biasfrei sozusagen, werden wir sie allerdings nicht bekommen, ist er sich sicher. „Allein bei der Selektion der Daten haben wir ja bereits einen Bias. Und auch wenn wir es objektiv machen wollen, werden wir es wahrscheinlich subjektiv machen. Weil wir nun mal Menschen sind“, sagt er. „Aber wenn möglichst viele Menschen sich die Daten ansehen und einigen, dann kann man den Bias so klein wie möglich halten, auch wenn man ihn nicht völlig rauskriegt.“

Es beginnt noch früher

Die Daten müssen also gesichtet werden, die Algorithmen analysiert. Allerdings sind es am Ende des Tages nicht die Algorithmen, die sexistisch und rassistisch sind – sondern die Gesellschaft, in der wir leben, zumindest zum Teil. Aus diesem Grund sind die Daten, auch wenn sie ein großes Thema sind, nicht das einzige. Während ihres Vortrags fragt uns Klombyte beispielsweise, warum alle Sprachassistenten (oder Assistentinnen?) weiblich konzipiert sind? Siri, Alexa – was vermittelt es für ein Bild, dass es weibliche Stimmen mit weiblichen Namen sind, die uns ohne Widerworte in jedem Aspekt unseres Alltags unterstützen sollen? Eine ähnliche Frage stellt sich bei einem im letzten Jahr entwickelten System, das anhand eines Fotos eines Menschen feststellen sollte, ob er oder sie homosexuell ist. Nicht nur die Annahme, dass es tatsächlich bei 70-80% der Bilder funktionierte, ist diskussionswürdig – sondern auch warum überhaupt danach gefragt wurde: „Es gibt ganz viele andere Fragestellungen – hat das Aussehen etwas mit Bildung zu tun, oder einer sozialen Stellung in der Gesellschaft, oder beim Einstellungsverfahren: Spielt bei der Einstellung in Firmen das Aussehen eine Rolle? All das ist interessant und wäre damit erklärbar. Aber es wurde eine sexuelle Frage gestellt, eine Frage nach der sexuellen Orientierung. Und das ist grenzwertig“, sagt Thieme. Es sind nicht nur die Daten, die wir auswählen, es beginnt viel weiter davor: Was für Fragen stellen wir uns überhaupt? Was wollen wir mit unseren Algorithmen erreichen? Und was sagt die Antwort auf diese Fragen über unsere Gesellschaft aus?

Algorithmen helfen uns, zu erkennen, was bereits in unserer Gesellschaft verankert ist, so fest, dass es nicht mal mehr bemerkt wird, nicht hinterfragt wird, sondern akzeptiert. Die Algorithmen erkennen diese Muster und verstärken sie. So stark, dass erkannt wird, dass es eben nicht akzeptiert werden kann. Und dann folgt ein Aufschrei. Es ist ein Paradox: Einerseits die Möglichkeit zu erkennen, wo wir Diskriminierung haben; andererseits die Gefahr einer neuen, weniger offensichtlichen Diskriminierung. So oder so: Bei dem Aufschrei müssen wir aufpassen, dass er die richtigen Verantwortlichen trifft – denn es sind nicht die Algorithmen, die diskriminieren, es sind unsere gesellschaftlichen Strukturen.

Titelbild: Photo by Oleg Laptev on Unsplash

KI, die Blackbox?

Julia Schymura — Tue, 30 Oct 2018 10:45:51 +0000

Der Begriff Künstliche Intelligenz, KI, scheint fest in den Strukturen unseres Alltags verankert. Er begegnet uns nicht nur, wenn wir in sozialen Netzwerken unterwegs sind, Suchmaschinen nutzen oder uns überhaupt im Internet aufhalten. Auch in selbstfahrenden Autos beispielsweise; oder in der Medizin – Algorithmen, die Krankheiten diagnostizieren, die darüber entscheiden, wie Spenderorgane verteilt werden. Gerade in diesen Bereichen wirkt es erschreckend, wenn die Metapher der Blackbox auftaucht. Es entsteht das Bild einer Technologie, deren Entscheidungen von niemandem nachvollzogen werden kann. Auch nicht von den Menschen, die sie programmiert haben. In diesem Artikel versuchen wir, eine technische Antwort auf die Frage zu finden, wie das eigentlich sein kann.

„Nur eine definierte Abfolge von Tätigkeiten, um das Problem zu lösen – mehr ist es nicht“

Um besser zu verstehen, was wir an KI eigentlich nicht verstehen, müssen wir uns anschauen, was hinter der Technologie steht. Der Begriff Künstliche Intelligenz beschreibt – streng genommen – etwas, was momentan noch gar nicht existiert. Was genau Intelligenz bedeutet ist zwar eine Definitionsfrage, aber ein System, das der vorherrschenden Vorstellung von menschlicher Intelligenz nahe kommt, gibt es derzeit noch nicht. Stattdessen fungiert KI als Sammelbegriff für eine ganze Reihe an Algorithmen, an Systemen, die jeweils eine bestimmte Aufgabe erfüllen. Schwache Künstliche Intelligenz (narrow Artifical Intelligence) lautet die eigentlich zutreffende Bezeichnung.

Davon ist nicht jede automatisch eine Black Box. „Algorithmen sind zunächst nicht einmal ausschließlich digital“, sagt Dr. Sebastian Thieme, Bioinformatiker und -physiker, der versucht, den abstrakten Begriff ein wenig plastischer werden zu lassen. „Ein Zauberwürfel zum Beispiel, wenn man den löst, ist das auch ein Algorithmus. Ein Algorithmus ist nichts anderes als ein Lösungsweg für ein Problem. Nur eine definierte Abfolge von Tätigkeiten, um das Problem zu lösen – mehr ist es nicht.“ Bei dem Zauberwürfel können wir dann eindeutig sagen, wie wir ihn gelöst haben: Ein paar Mal nach links drehen, dann nach rechts, die weiße Seite zuerst.

Mit einer Black Box hat das höchstens die eckige Form gemeinsam. Wird es also erst kompliziert, wenn wir die digitale Ebene erreichen? „Es gibt einige digitale Algorithmen, bei denen man genau weiß, warum sie auf ein bestimmtes Ergebnis gekommen sind. Beispielsweise regelbasierte Arten. Bei ihnen wird sozusagen ein Entscheidungsbaum abgelaufen. Man fragt jedes Mal: Ist diese Bedingung erfüllt? Falls ja, laufen wir nach rechts, falls nein, nach links.“ Zahlensortiert könne man es sich ganz gut vorstellen. Man nehme irgendeine Kugel mit einer Zahl, lasse sie hereinfallen und sie nimmt einen ganz bestimmten Weg durch den Baum – alle Zahlen größer als fünf nach rechts, alle kleineren nach links. „Jeder kann sich diesen Baum aufmalen und verstehen, warum aus der Ausgangssituation dieser Weg resultierte. Deshalb mag ich diese Art von Algorithmus. Sie sind einfach zu verstehen, weil sie unheimlich intuitiv sind.“ Warum nutzten wir dann nicht immer Algorithmen, die wir verstehen? Wäre das nicht nur konsequent intuitiv? So einfach ist es leider nicht. Wie oft ist es auch hier so, dass ein Ja gleichzeitig ein Nein bedeutet: „Will ich nachvollziehen, wie eine Entscheidung getroffen wird und akzeptiere dafür häufiger, dass das Ergebnis nicht korrekt ist, oder will ich es häufiger korrekt haben – und verstehe es dafür nicht, habe also die Black Box?“, fragt Professor Florian Ellsaesser des Centre for Human and Machine Intelligence der Frankfurt School of Finance and Management. Ein Ja zu absoluter Nachvollziehbarkeit kann in einigen Fällen ein Nein zu bestmöglicher Leistung bedeuten: „Das ist typischerweise der Trade-Off. Komplette Nachvollziehbarkeit oder Neuronale Netzwerke – sonst würde jeder die nachvollziehbaren verwenden.“

Knoten und Kanten statt Neuronen und Synapsen

Damit sind wir bei der schwarzen Kiste angekommen: Künstliche neuronale Netze, die Algorithmen, die wohl von sich behaupten dürften, die Metapher der Black Box geprägt zu haben. Um zu verstehen, was sie so schwieriger nachzuvollziehen macht, als beispielsweise ihre regelbasierten Alternativen, müssen wir einen Blick auf ihre Struktur werfen. Ein neuronales Netz könnte man sich vorstellen wie ein Gehirn, erklärt Thieme. Aber anstelle von Neuronen und Synapsen spricht er von einem System aus Knoten und Kanten: Die Knoten sind unsere Neuronen, hier in Form von mathematische Formeln, die Kanten die Synapsen, hier die zu den Formeln gehörenden Gewichte. Diese Knoten sind hierarchisch angeordnet, die einzelnen Hierarchiestufen werden als Schichten oder Layer bezeichnet. Geeignet sind solche Systeme vor allem für Aufgaben wie das Erkennen von Bildern, Gesichtern oder Sprache.

Wie kann dieses Netz nun einen Output generieren, eine Zielfunktion erfüllen? Um einen Output zu erzeugen, also beispielsweise um zu erkennen, ob auf einem Foto eine Katze oder keine abgebildet ist, wird das System mit Daten gefüttert – Input. In diesem Fall sind das Fotos, viele Fotos, von Katzen und ab und zu anderen Tieren dazwischen. „Diese Bilder nehmen dann einen bestimmten Weg durch das Netzwerk. Irgendwann lernt das Netzwerk sozusagen: Wenn dieser eine Weg genommen wird, ist es eine Katze. Wenn es einen anderen Weg nimmt, ist es keine Katze.“ Neuronale Netze sind Systeme, die maschinell lernen. Das Netzwerk soll am Ende in der Lage sein, eine Katze auf dem Foto zu erkennen. In dem Katzenbeispiel von Thieme funktioniert das auch sehr gut – bis der Algorithmus auf einmal ein Foto eines Meerschweinchens auf einem Sofa als Katze erkennt. Was gibt es nun für Möglichkeiten, das zu erklären?

„Das ist wie bei den ganzen Strukturen im Gehirn – da kann man auch kein einzelnes Neuron benennen, wenn man etwas zu erklären versucht“

Die Schwierigkeit nachzuvollziehen, welcher Weg warum genommen wurde, begründet sich in der Komplexität der Systeme: „Man muss sich vorstellen, dass sie hunderte von verschiedenen Layern haben, mit Millionen von Knoten. Es lässt sich nicht einfach sagen: Ah, okay, wegen dieses Knotens ist das jetzt so“, sagt Thieme. Der Versuch, die Black Box einfach zu öffnen, also in den Algorithmus hineinzuschauen, mache aufgrund der unzählig vielen Knoten, Kanten und Layer schlichtweg keinen Sinn. „Das ist wie bei den ganzen Strukturen im Gehirn, da kann man auch kein einzelnes Neuron benennen, wenn man etwas zu erklären versucht“, so auch Ellsaesser. Außerdem ist es auch hier ähnlich wie bei menschlichen Gehirnen: Es gibt nicht nur eine Version von neuronalem Netz, die überall benutzt wird. „Das neuronale Netz“ gibt es genauso wenig wie es beispielsweise „den Deutschen“ oder „den Ausländer“ gibt – wir bewegen uns immer noch in einem unheimlich generellen Begriffsspektrum, warnt Ellsaesser. Da neuronale Netzwerke für jede Aufgabe oder Zielfunktion individuell programmiert werden, unterscheiden sie sich in vielerlei Hinsicht, wie beispielsweise der Art der Hierarchie oder Verknüpfungen zwischen den Knoten.

Wir können lediglich ein Gefühl dafür entwickeln, wie der Algorithmus funktioniert

Doch besteht nun irgendeine Möglichkeit, wenigstens das neuronale Netz unserer Katzenfotos nachvollziehbarer zu machen? Tatsächlich gibt es die. Es ist durchaus vorstellbar, die Black Box wenigstens ein bisschen verständlich zu machen; zwar nicht transparent, aber etwas wie dunkles Milchglas scheint möglich. „Eine Idee ist, mit verschiedenen Inputs zu spielen und zu schauen, was das Modell rauswirft. Beispielsweise könnten wir mit einem Algorithmus fragen, ob jemand ein politisch engagierter Bürger werden wird – und er gibt aus, dass ich kein solcher Bürger werde. Wenn wir jetzt verstehen wollen, woran das liegt, können wir verschiedene Parameter nehmen und die variieren“, erklärt Ellsaesser. „Wir fragen uns, was passieren würde, wenn ich meinen Universitätsabschluss ändern würde. Wenn ich nicht in Frankfurt studiert hätte, sondern beispielsweise in Berlin – was würde sich ändern?“ Dieses Ausprobieren passiert natürlich nicht analog, sondern systematisch; ein weiterer Algorithmus übernimmt diese Arbeit. „So bekommt man ein Gefühl dafür, wie der Algorithmus funktioniert.“ Keine Gewissheit also, aber immerhin eine Idee der Funktionsweise.

Wenn man solche Verfahren im Katzenbeispiel anwendet erkennt man, dass das neuronale Netz nie gelernt hat Katzen zu erkennen – sondern Tiere auf Sofas. In dem Datensatz, mit dem der Algorithmus trainiert wurde, saßen überdurchschnittlich viele Katzen auf einer Couch, weshalb der Algorithmus das Sofameerschweinchen fälschlicherweise für eine Katze hielt. Vermutlich. Denn: „Am Ende des Tages ist es eben immer noch eine Black Box. Wir haben lediglich ein besseres Verständnis davon, wie sie funktioniert – aber wir kennen nicht jedes Detail, wir werden es nie zu 100 Prozent nachverfolgen können.“

Gilt das nur für Algorithmen?

Bedeutet das, dass wir die Technologie nicht nutzen sollten? Sollten wir nicht verstehen, was wir tun? „Es ist ein wenig so, wie wenn Sie einen Menschen fragen: Ihre Nachbarin, wird sie eine engagierte Studentin werden? Menschen werden das mit Ja oder Nein beantworten und einige Gründe dafür nennen können, aber auch nicht alle. Wenn ich ihnen dann ein paar Parameter gebe, beispielsweise, dass sie in der Schule immer schon sehr gute Noten hatte – dann kann man beobachten, wie sich ihre Entscheidung verändern würde“, erklärt Ellsaesser weiter.

Es drängt sich also die Frage auf, inwiefern sich eigentlich unsere eigenen Handlungen und Urteile von einer Black Box unterscheiden. Uns ist häufig eben nicht alles über die Art, wie wir Urteile fällen oder Entscheidungen treffen bekannt. Wenn ich gefragt werde, ob meine Nachbarin irgendwann eine gute Studentin sein wird, werde ich nicht alle Parameter benennen können, die meine Antwort beeinflussen. Vielleicht habe ich in der Vergangenheit mehr weibliche statt männliche Studierende kennengelernt, vielleicht halte ich Frauen grundsätzlich für klüger oder ehrgeiziger, vielleicht bin ich Pessimistin. All das oder zumindest ein Teil davon fließt in meine Entscheidung mit ein, ohne dass ich mir dessen voll bewusst bin; ohne, dass ich benennen könnte, wie stark welcher Faktor die Entscheidung getrieben hat. Und hier ist es wie Ellsaesser sagt – erst, wenn er mich zu vielleicht ein paar zehn oder hundert verschiedenen möglichen Nachbarn mit unterschiedlichem Alter, Geschlecht, Hobbies befragt, werden wir vielleicht eine Idee davon bekommen, welche Faktoren zu wie viel Prozent hinter meinen Entscheidungen stehen.

Warum die Black Box noch ein anderes Problem darstellt

So ein Vergleich impliziert natürlich nicht, dass diese Algorithmen keine Probleme darstellen. Vielmehr soll er zeigen, dass etwas, was noch nicht hundertprozentig nachvollzogen werden kann, nicht automatisch abgelehnt werden sollte. Er soll zeigen, dass gelernt werden muss, differenziert mit so einer Technologie umzugehen. Wenn man das tut, fällt vielleicht auch auf, dass Algorithmen noch auf eine ganz andere Art eine Black Box darstellen. Es scheint, dass für viele Menschen nicht nur neuronale Netze, sondern jeglicher digitale Algorithmus eine Black Box darstellt – dass, obwohl wir doch so viel darüber sprechen, vielen nicht bewusst ist, dass Künstliche Intelligenz bisher noch nicht existiert, oder dass der Großteil der Algorithmen mehr mit einer Kaffeemaschine gemeinsam hat als mit der Science-Fiction-Vorstellung eines menschenähnlichen, bösartigen, weißen Roboters. Das fehlende Wissen und das daraus resultierende fehlende Einschätzungsvermögen ist gleichermaßen ein Problem, über das gesprochen werden muss und dem entgegengewirkt werden muss. Was uns dazu bewegt hat, diesen und die folgenden Artikel zu schreiben.

Titelbild: Photo by Falco Negenman on Unsplash

Algorithmen, Fallpauschalen und Entfremdung – eHealth im Digitalen Salon

admin — Mon, 04 Sep 2017 10:15:47 +0000

Am 30.09.2017 lud das Humboldt Institut für Internet und Gesellschaft (HIIG) zur 55. Ausgabe des Digitalen Salons in Berlin. Der Titel der fünfjährigen Jubiläumsausgabe: Bei Nebenwirkungen fragen Sie Ihren Algorithmus. Doch geht es hier um nur Diagnostik oder vielmehr um die Frage, wie die Digitalisierung die Medizin und das Gesundheitssystem als Ganzes verändert?

Katja Weber von Radio 1 moderierte mit Charme und Geschick die offene Veranstaltung. In der Runde begrüßte sie Miriam Jenny, leitende Risikoforscherin am Harding-Zentrum für Risiko-Kompetenz, Wolfgang Schulz, Rechtswissenschaftler und hauseigener Direktor des HIIG und des Hans-Bredow Instituts, sowie den Gründer der Software FUSE-AI, Maximilian Waschka aus Hamburg.

Was ist Deep Learning und welche Vorteile bringen Algorithmen?

Zum Einstieg stellte Maximilian Waschka die Software FUSE-AI vor: eigens entwickelt als Diagnosehilfe zur Erkennung von Prostatakrebs, läuft das Produkt in einer Testphase in einer radiologischen Klinik in Wuppertal. Mit komplexen Analysen im Magnetresonanztomographen (MRT) ortet die Software den Krebs genauer und assistiert dem behandelnden Arzt so bei der Diagnose. Dabei setzt das Programm auf Deep Learning. Bisher noch mit anonymisierten Daten radiologischer Befunde von klinikinternen Patienten. Doch was kommt nach der Testphase? Und ist dies nicht ein Einstieg, dass der Arzt sich zunehmend auf die Diagnose des Algorithmus verlässt? Rechtlich kann er das wohl nicht: „FUSE AI ist ein Medizinprodukt der Klasse 1. – es ist keine Technologie zur Diagnostik, sondern soll lediglich diese unterstützen“, so Waschka.

„Jede Diagnose ist zuallererst eine Annahme, die mit einem Risiko verbunden ist.“

Nach dieser Darstellung eröffnet Moderatorin Katja Weber die Diskussion: Was passiert, wenn Deep Learning zum Standard in der Diagnostik wird – entstehen so neue Risiken, wo doch die digitalisierte Optimierung der Medizintechnologie Risiken einzudämmen scheint? Risikoforscherin Miriam Jenny betont die Vorteile, da das „Entscheidungstrauma“ in dem sich unter anderem viele Ärzte in der Notaufnahme befinden, gemindert werden könnte. Software Agents könnte Problempatienten mit besonders diffusen und undurchsichtigen Symptomen schneller deuten. Die Furcht vor einem möglichen Haftungsrisiko durch diese Kompetenzabgabe müsse man dabei nicht haben – so auch einzelne bestätigende Wortmeldungen von Ärzten im Publikum.

Solidaritätsprinzip und Fallpauschalen

Doch wer sammelt die enorme Menge an Patientendaten? „Es sei illusorisch anzunehmen, dass diese nur für Deep Learning-Prozesse genutzt würden”, argumentiert der Rechtswissenschaftler Schulz. Die neu erhobenen Daten der Software Agents oder medizinischer Software werden jetzt bereits in Big-Data-Analysen von Tochterunternehmen von Google oder den Krankenkassen gesammelt. So kann anhand der Daten ein sogenannter virtueller Zwilling des Patienten erstellt werden: ein Avatar, anhand dessen man aus den Patientendaten ein Gesundheitsszenario für den Betroffenen errechnet. Die Kassen könnten dann ihre tariflichen Bezüge anhand der Wahrscheinlichkeitsrechnung des virtuellen Zwillings sowie des Lebensstils des Patienten individuell vereinbaren. Vereinbar mit dem Solidaritätsprinzip der Kassen ist das nicht. Handelt es sich hierbei um die Gleislegung zur Gesundheitsdiktatur? Wolfgang Schulz verweist auf die Datenschutzgrundverordnung (DSGVO). Die soll ab 2018 einen europaweiten Standard für datenschutzrechtliche Rahmenbedingen der Krankenkassen konzipieren. Ob dies ausreicht, bleibt als Frage jedoch offen im Raum stehen.

Entfremdung der Ärzte

Aber nicht nur die systemische Veränderung ist kritisch zu betrachten, auch die Auswirkungen auf, die Mediziner selbst sei besorgniserregend, gibt ein Urologe zu bedenken. Die Rationalisierung und Digitalisierung der Medizin habe eine „Erosion des Arzt-Patienten-Verhältnis“ zur Folge. Wenn Fallpauschale und Sonderentgelt zum Status quo werden, ist das Zurückgreifen auf Automatisierungsprozesse und eine schnelle Abwicklung der Behandlung zu befürchten.

Gegenmaßnahmen und Sicherungsansätze

Wie können diese Entwicklungen substantiell aufgefangen und auf ihre drohenden Konsequenzen reagiert werden? Man spricht über Trust-Center aus unterschiedlichen Experten des Ethik-Rats und der Kassen. In der Schweiz können Privatpersonen ihre Daten in einer genossenschaftlich-organisierten Datenkooperative anlegen. In diesem Delta-Trust würden die Daten käuflich nutzbar sein und ihr Erlös in Forschungsinitiativen fließen. Ist die Vorlage gesamtgesellschaftlich realistisch? Und die Ökonomisierung des Arztberufes? Ausbildungssysteme müssen darauf reagieren und auszubildenden Ärzte verdeutlichen, dass Algorithmen nur eine Diagnosehilfe sein sollen. Das Arzt-Patienten-Verhältnis müsse wieder in den Vordergrund geraten, lautet ein Vorschlag aus dem Publikum. Zur Not müsse dies dadurch verstärkt werden, dass die persönliche Zuwendung im Arzt-Patienten-Gespräch zusätzlich vergütet werden.

Dass man die Ökonomisierung der Medizin durch wirtschaftliche Anreize verhindern soll, klingt allerdings auch nicht plausibel. Zementiert die Nutzung von Deep Learning Software wie FUSE-AI also den Wandel hin zu einer ökonomisierten Medizin? Ein Raunen geht durch die Anwesenden – „Radiologen verdienen eh am meisten!“, spöttelt ein Arzt. Ganz ohne Ökonomie geht es in der Medizin wohl dann doch nicht.