Künstliche Intelligenz wird häufig als sauber, abstrakt und objektiv vermarktet. Die Forscherin Kate Crawford beschäftigt sich in ihrem Buch "Atlas of AI" mit den Auswirkungen von maschinellem Lernen – für die Umwelt, ohne deren Rohstoffe nichts geht, für die unterbezahlten Arbeitnehmer, ohne deren Unterstützung im Hintergrund KI kaum laufen würde, für Menschen, die durch diese Systeme in Kategorien gesteckt werden. Crawford schreibt: Wenn es um künstliche Intelligenz geht, solle statt über Ethik mehr über Macht nachgedacht werden.

Am Mittwoch hält Crawford auf der Digitalkonferenz  re:publica  in Berlin einen Vortrag zu ihrer Arbeit. Wir haben im Vorfeld mit ihr gesprochen. 

ZEIT ONLINE: Kate Crawford, Sie sagen: Künstliche Intelligenz sei weder künstlich noch intelligent. Warum denken Sie das?

Kate Crawford ist Professorin an der Annenberg Kommunikations- und Journalismusschule der University of Southern California, Senior Principal Researcher bei Microsoft Research und Autorin des Buches "Atlas of AI". © Sean Zanni for Prada/​Getty Images

Kate Crawford: Künstliche Intelligenz ist kein neutrales mathematisches System in der Cloud, sondern zutiefst materiell: Sie ist gemacht aus Steinen und aus menschlichem Schweiß und aus diesen riesigen Infrastrukturen, die jede Menge Energie fressen. Und künstliche Intelligenz ist auch nicht intelligent: Sie ist kein autonomes System, das einfach selbstständig vor sich hinrechnet. Sondern sie wird gestützt durch menschliche und soziale Systeme, die in ihrer Konstruktion sehr extraktiv sind. Mir selbst ist im Zuge meiner langjährigen Forschung zu künstlichen Intelligenzen klar geworden, dass wir die Materialität von künstlicher Intelligenz verstehen müssen.

ZEIT ONLINE: Was bedeutet das?

Crawford: Wir müssen verstehen, welche Mineralien in diesen Systemen verbaut sind. Welche menschliche Arbeit geleistet wurde, um Daten in Kategorien einzuordnen und die Systeme zu betreiben. Und auch, wie Komponenten von KI-Systemen am Ende ihres Lebenszyklusses in gigantische Müllhalden verklappt werden.

ZEIT ONLINE: Wie sind Sie auf diesen umfassenden Blick auf künstliche Intelligenz gekommen? 

Crawford: Einer der Ausgangspunkte war ein Projekt, das ich 2018 gemeinsam mit dem Künstler Vladan Joler gemacht habe. Im Grunde ging es darum, nachzuverfolgen, was nötig ist, um einen einzigen Amazon-Echo-Lautsprecher zum Laufen zu bringen. Wir verstehen die Datenebene dahinter, wie die Sprachaufzeichnung und -erkennung funktioniert, welche Modelle Amazon nutzt, wir verstehen die groß angelegten Datensysteme. Aber was, wenn man diesen Zylinder aufmacht und sich all die Komponenten anschaut? Aus welchen Minen stammen sie, wie werden sie geschmolzen? Unter welchen Bedingungen verschifft? Was geschieht, wenn sie weggeworfen werden? Aus alldem haben wir unter anderem eine riesige Karte erstellt, die die Anatomie dessen abbildet, was es braucht, um ein einziges Amazon-Echo-System zu bauen. Es ging in unserem Projekt auch um die Gesundheitsbedingungen der Arbeiter in den Minen bis hin zu der Frage, wie Clickworker eingesetzt werden, um diese Systeme zu trainieren. All das hat für mich zu einer wirklich außerordentlichen Veränderung meiner Perspektive geführt – und ich wollte eine solche Karte für die gesamte KI-Industrie machen.

ZEIT ONLINE: Es gab in der Vergangenheit viel Kritik daran, dass Systeme der künstlichen Intelligenz Voreingenommenheiten, sogenannte Biases, reproduzieren. Manche von ihnen haben zum Beispiel schwarze Menschen diskriminiert. Sie sagen: Kritik an solchen Biases ist nicht ausreichend. Aber ist es nicht eine gute Idee, solche Ungerechtigkeiten in KI-Systemen zu kritisieren?

Crawford: Natürlich ist es das. Solche Probleme tauchen die ganze Zeit auf. Ich habe in der Vergangenheit auch darüber geschrieben. Doch diese speziellen Arten von Diskriminierung und Bias werden als Bug, als Fehler im System angesehen. Und ich sage: Das ist ein Feature, kein Bug. Diese Systeme sind fürs Diskriminieren designt worden. Biases sind Kern einer tieferen Logik – nämlich der, wie diese Systeme Menschen klassifizieren.

ZEIT ONLINE: Wie genau meinen Sie das?

Crawford: In meinem Buch gibt es ein ganzes Kapitel über Praktiken der Klassifikation von Menschen …

ZEIT ONLINE: … auch historisch betrachtet. Sie schreiben dort zum Beispiel über Schädelmorphologie des 19. Jahrhunderts, die in den USA lange als Rechtfertigung für zum Beispiel Sklaverei diente. Die Parallele zum maschinellen Lernen, grob gesagt: Klassifikation presst die Welt in feste Kategorien, die wertegeladen sind, aber wissenschaftliche Neutralität behaupten.

Crawford: In dem Kapitel geht es auch um die Frage: Wie sind wir eigentlich dahin gekommen, dass künstliche Intelligenz eine normative, stereotypisierte Art, auf Menschen zu blicken, einfach übernimmt, auf die Welt anwendet und Menschen, wenn man so will, wie Objekte klassifiziert? Ich meine hier zum Beispiel Ideen über binäre Geschlechter. Darum meine ich: Wir sollten nicht denken, es sei damit getan, dass man sich anschaut, zu welchen Ergebnissen KI-Systeme kommen, und einige technische Reparaturen vorzunehmen.

"Es gibt Fälle, in denen die Technologie nicht genutzt werden sollte"

ZEIT ONLINE: Sondern?

Crawford: Sondern stattdessen auf die Eingaben zu schauen, die in die Systeme fließen: Wie interpretieren Machine-Learning-Systeme die Welt und wo kommen diese Ideen her? Mir geht es darum, diese tieferen Logiken von Macht und Klassifikation anzuschauen, die diese Systeme ins Leben gerufen haben.

ZEIT ONLINE: Sie kritisieren sowohl, wie die Datensätze zusammengestellt werden, mit denen KI-Systeme trainiert werden, als auch die Art und Weise, wie diese Daten dann von Menschen kategorisiert werden. Sie sagen, so entstehe eine Comic-Version der Realität, eine massive Vereinfachung. Nur: Um Daten aus der Realität für Computer verarbeitbar zu machen, braucht es doch immer eine Art Klassifikation und Vereinfachung. Halten Sie die gesamte Idee für fehlgeleitet oder ist das einfach eine Frage der Komplexität von Designs?

Crawford: Das ist eine großartige Frage – denn sie weist auf die Komplexität hin, wie wir Entscheidungen darüber treffen, wo diese Systeme eingesetzt werden sollten. Momentan sind diese Systeme meiner Ansicht nach auf Basis sehr enger und problematischer Taxonomien designt. Sie haben ganz recht: Man könnte versuchen, komplexere Klassifikationssysteme zu bauen. Ich würde aber argumentieren: In dem Moment, in dem man einer Person ohne ihr Wissen oder ihre Zustimmung eine Klassifizierung auferlegt, wird man diese Probleme auch weiterhin haben.

Wir müssen nicht nur ändern, wie diese Systeme arbeiten. Sondern wir müssen auch entscheiden, wo ihre Anwendung überhaupt angemessen ist.
Forscherin Kate Crawford

ZEIT ONLINE: Was folgt daraus?

Crawford: Es gibt Fälle, in denen diese Technologie nicht genutzt werden sollte. Es gibt soziale Institutionen, in denen die Anwendung von Machine-Learning-Systemen eine hochriskante Praxis ist – in der Strafjustiz etwa, in der Bildung, in sozialen Systemen, die sehr komplex sind. Wir müssen diesen sehr schwachen Muskel trainieren, den wir in den vergangenen 20 Jahren nicht wirklich genutzt haben – und das ist die Politik der Ablehnung. Die Fähigkeit, Nein zu sagen: Nur weil dieses System im Klassenzimmer meines Kindes Emotionen erkennen und seine Noten vorhersagen könnte, heißt das nicht, dass das auch gemacht werden sollte. Ich sage darum: Wir müssen nicht nur ändern, wie diese Systeme arbeiten. Sondern wir müssen auch entscheiden, wo ihre Anwendung nicht angemessen ist.

ZEIT ONLINE: Mal andersherum gefragt: Gibt es überhaupt KI-Anwendungen, in denen die Kosten-Nutzen-Abwägung Ihrer Ansicht nach stimmt?

Crawford: Machine-Learning kann meiner Ansicht nach dort sehr nützlich sein, wo es nicht menschliche Systeme bewertet und trackt. Vieles von dem, was wir zum Beispiel über den Klimawandel wissen, geht auf die Auswertung riesiger Datensätze rund um Wettermuster und so weiter über Zeit und Geschichte zurück. Auch hier müssen wir aber über Folgewirkungen nachdenken. Ich denke zum Beispiel an Machine-Learning-Studien, die genutzt werden, um die Bewegungen seltener Tierarten zu verfolgen. Diese Daten wurden dann von Wilderern genutzt, um diese Tiere aufzuspüren und zu töten.

ZEIT ONLINE: Ein erster Schritt ist es, Wissen über die Abläufe hinter KI-Systemen publik zu machen. In der EU wird nun auch an deren Regulierung gearbeitet. Könnte das die Situation verbessern?

Crawford: Ich halte Regulierung für sehr wichtig. Die EU führt hier das Feld an mit ihrem EU-AI-Act, die erste Sammelverordnung überhaupt, die sich auf künstliche Intelligenz konzentriert. Die ist keineswegs perfekt, ich denke, sie könnte viel stärker sein. Aber es ist ein Anfang, um darüber nachzudenken, wie künstliche Intelligenz reguliert werden kann. Es gibt aber noch etwas anderes, das mich mit Hoffnung erfüllt. Ich sehe so viele unterschiedliche Aktivistengruppen, die normalerweise getrennt voneinander arbeiten – für Klimagerechtigkeit, Arbeiterrechte, Datenschutz. Wenn es aber um künstliche Intelligenz geht, die all diese Bereiche berührt, dann bringt das diese Menschen zusammen: Ich sehe ganz unterschiedliche aktivistische Debatten und Organisationen, in denen Gruppen uns über die sozialen Veränderungen in den kommenden 20 bis 50 Jahren nachdenken helfen. Die das ganz große Bild sehen.