Vom Kreditscoring zum Sozialkreditsystem
Zuerst „Honest Shanghai“, dann das Social Credit System, das spätestens 2020 in ganz China eingeführt werden sollte. Die Empörung der westlichen Demokratien über die digitale Ausweitung des Überwachungsstaates ist groß, doch: Können sie sich der globalen Wirkung des Bewertungssystems wirklich entziehen? Und sind solche Systeme in den westlichen Demokratien nicht schon längst gelebte Praxis?
Ob Equifax oder Schufa – die Ursprünge des herkömmlichen Kreditscorings reichen weit in das 19. Jahrhundert zurück. Technologie half dabei, Scoring in riesige Überwachungssysteme zu verwandeln. Wie sehr sich die westliche Mentalität von der chinesischen unterscheidet, schrieb der Science-Fiction-Autor Rafal Kosik unter dem Titel „Oceniaj mnie” in seiner Kolumne in Nowa Fantastyka; der Text zeigt die generell positive Einstellung der Chinesen gegenüber dem Social Credit System (SCS). Das System soll im Jahr 2020 China-weit eingeführt werden. Bereits seit 2014 gibt es zahlreiche Pilotversuche, darunter auch „erfolgreiche Vorzeigeprojekte“, berichtete Axel Dorloff im DLF. Über die Kriterien, nach denen Punkte verteilt (oder abgezogen) werden, soll die Regierung entscheiden. Das System soll künftig der Grundpfeiler für die moralische Ordnung chinesischer Gesellschaft dienen. Es soll also kaum möglich sein, einen Studienplatz, Arbeit, Beförderung, ja einen Bibliothekausweis oder ein Zugticket zu bekommen, ohne einen angemessenen Punktestand vorweisen zu können.
Widerstand? Zwecklos.
Die Empörung in dem sich selbst als westliche Demokratien bezeichnenden Teil der Welt ist groß: Das System soll einen gläsernen Bürger herbeischwören; es sei eine digitale Weiterentwicklung des Spitzel- und Überwachungsstaates, eine neue Form der Sozialkontrolle, die mit Belohnung, aber auch Bestrafung durchgesetzt wird. Eine Mischung aus Orwell und Samjatin demnach. Doch: Wird die negative Einstellung der Bürgerinnen und Bürger in den westlichen Demokratien diese Gesellschaften vor der Einführung von Systemen à la chinesisches Sozialkreditsystem schützen?
Wohl kaum. Erstens, weil, wie Kosik bemerkte, das chinesische Scoring nicht nur für Bürger, sondern auch für Firmen und Organisationen obligatorisch sein sollte. Unternehmen, die ihre Geschäfte in oder mit China betreiben, Organisationen oder Medienhäuser, die in China aktiv sind, werden vermutlich ebenfalls von der Pflicht betroffen sein, einen Scorewert für sich – und ihre Mitarbeiter – vorzuweisen.
SCS wird so seine Anwendung und Gültigkeit weit über die Grenzen des Reiches der Mitte erlangen und sich zu einem weltweit geltenden Scoringsystem entwickeln. Ein weiterer Schritt Chinas zur Erlangung weltweiter wirtschaftlicher Dominanz? Möglicherweise. Es wird jedenfalls den deutschen, US-amerikanischen, französischen und anderen Mitarbeitern chinesischer Dependancen ihrer Firmen, politischer Stiftungen oder charitativer Hilfsorganisationen kaum möglich sein, sich dem SCS zu entziehen. Natürlich nur, falls sie ihre Arbeit dort fortsetzen möchten. Love it, change it or leave it – so lauten die Alternativen. Ändern kann man es gewiss nicht. Theoretisch kann man immer noch zwischen zwei weiteren Optionen wählen. Aber nur, wenn man den geschäftlichen oder politischen Rückzug aus China als ernsthafte Alternative betrachtet.
Alle Daten sind Kreditdaten
Zweitens, weil ähnliche Systeme in den als westlich bezeichneten Demokratien bereits verbreitet und akzeptiert sind. Es ist von Kreditscoring – der Bewertung der Kreditwürdigkeit von Personen – die Rede, das heute, erklärte Dr. Nicola Jentzsch von der Stiftung Neue Verantwortung auf der GI-Jahrestagung Informatik 2018, sich weitgehend zum sogenannten Vebraucherscoring bzw. Consumer Scoring, weiterentwickelt habe. Die originäre Frage des Kreditscorings, ob ein Kunde kreditwürdig ist, verwandelte sich zunehmend in die Frage: Ist der Kunde vertrauenswürdig?
Und um diese Frage zu beantworten, werten Techunternehmen exorbitante Mengen persönlicher Daten ihrer Kunden aus. Die amerikanische Kreditüberwachung, die sich seit den 1990er-Jahren zunehmend des algorithmischen Scorings und kommerziellen Big Data bedient, ist nun bemüht, den US-amerikanischen Konsumenten „gut“ zu machen, schrieb Josh Lauer in „Creditworthy“ . Das bedeutet: moralisch verantwortungsvoll, vorhersehbar, gefügig – und profitabel. Die neutrale Technologie, so Stanislaw Lem, liefert nur die Mittel und Werkzeuge. Ihre richtige oder falsche Anwendung liegt bei den Menschen.
Der Große Bruder bewertet uns alle
Im Sommer hat Facebook begonnen, die Vertrauenswürdigkeit seiner Nutzer zu bewerten und sie in einer Skala von 0 bis 9 abzubilden. Dieser „trustworthiness score“ sollte, neben anderen, nicht näher bezeichneten Indikatoren, ein Instrument des Risikomanagements des Konzerns sein, der nach den Vorwürfen der Verbreitung von Fake News und politischer Propaganda im US-Präsidentschaftswahlkampf nach neuen Methoden und Algorithmen sucht, um der „Information Warfare“ zu begegnen. Mit dem Vertrauenswürdigkeit-Scorewert möchte man nicht nur die „bösen Buben“ identifizieren, die Fake News verbreiten, sondern auch solche, die das Facebook-Anzeigesystem missbrauchen und Nachrichten beim Portal anzeigen, dessen Inhalte ihren persönlichen Überzeugungen nicht entsprechen, die aber im Übrigen korrekt sind.
Wie der Facebook-Scorewert berechnet und welche anderen Indikatoren bei Vertrauenswürdigkeitsmessung hinzugezogen werden, ist intransparent. Das macht es für Forscher wie Nutzer zwar ein wenig unkomfortabel, doch sei dieses Vorgehen notwendig, damit das System nicht ausgetrickst werden kann, begründete laut Washington PostFacebook. In anderen Fällen begründen Unternehmen, die traditionelles Kreditscoring anbieten, die Unmöglichkeit, die Entscheidungswege oder Algorithmen offenzulegen, mit dem Verweis auf das intellektuelle Recht des Unternehmens. Dem widerspricht Paul Nemitz, Chefberater bei der Europäischen Kommission: Immer wenn personenbezogene Daten betroffen sind, ist die Datenschutzgrundverordnung (DSGVO) anwendbar. Das soziale Netzwerk Facebook alleine soll ca. drei Trillionen Verhaltensprognosen täglich erstellen. Da Verhaltensprognosen personenbezogene Daten sind, sei auch hier DSGVOanwendbar, so Nemitz. Und damit sei auch das Recht der Betroffenen auf Auskunft und Information gemäß Art. 13-15 DSGVO gemeint.
Wider der Informationsasymmetrie
Auch wenn sich Unternehmen in der Öffentlichkeit häufig des Bildes eines intransparenten und nicht nachvollziehbaren Entscheidungsprozesses bedienen; bei den Entscheidungen, die etwa über Kreditvergabe, Jobangebote oder die Höhe von Versicherungsprämien in einem mysteriösen Black-Box-Verfahren durch objektiv und unfehlbare Maschinen getroffen werden, sei dies nicht notwendigerweise richtig, stellte die Fachgruppe Rechtsinformatik der GI im Gutachten für den Sachverständigenrat für Verbraucherfragen fest. In vielen Fällen ließen sich die Algorithmen und Entscheidungsvorgänge sehr wohl transparent und nachvollziehbar darstellen. Neben der Offenlegung des Sourcecodes und Quellcodeanalyse liegen andere, effektive Methoden vor, mit denen sich Transparenz und Prüfbarkeit signifikant erhöhen lassen. Sich auf intellektuelle Werte und Urheberrechte zu berufen sei aber auch schlichtweg falsch, so Paul Nemitz.
„Die datengestützte Beurteilung führt […] zu […] einer Informationsasymmetrie zwischen Unternehmen und Verbrauchern“, stellten Autoren der GI-Studie „Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren“ fest (*). Die Verfügbarkeit großer Datenbestände und die zunehmende Leistungsfähigkeit der IT, gebündelt mit maschinellem Lernen und künstlicher Intelligenz, machen Algorithmic Decision Making, kurz: ADM, zunehmend attraktiv für die Unternehmen. Gerade auf dem Feld des Kreditscorings oder der individualisierten Preisermittlung (Dynamic Prising). „Gepaart mit fehlender Transparenz kann dies zu einem starken Unbehagen in der breiten Öffentlichkeit und in Expertenkreisen führen“, resümieren die Autoren, die sich in ihrer Studie der Qualität von ADM-basierten Entscheidungen unter den Aspekten der Fairness, möglichen Ungleichbehandlung und Diskriminierung genähert haben. Und dem die Öffentlichkeit beherrschenden Bild der unerklärbaren und nicht nachvollziehbaren Entscheidungen zum Trotz, haben sie zwei zentrale Methoden identifiziert, die die Transparenz algorithmischer Entscheidungen „signifikant erhöhen“: Testing und Audit.
„In vielen ADM-Systemen können Entscheidungsstrukturen transparent und nachvollziehbar dargestellt werden.“ Damit jedoch Tests und Audits effektiv eingesetzt werden können, fehlen noch geeignete Standards, die den Bewertungen und Prüfungen zugrunde gelegt werden können. Ähnlich wie bei der Prüfung der Qualität oder Sicherheit von Software müssten hierfür quantifizierbare Fairness- und Gleichbehandlungskriterien definiert werden. Zusätzlich wäre die Legitimation dieser zwei Methoden durch den Gesetzgeber notwendig.
Stumpfes Schwert
Ob im Osten oder im Westen: Menschen werden zunehmend von automatisierten Systemen beobachtet und bewertet. Sie können von Algorithmen – bzw. von den Interessengruppen, die sie einsetzen – gesteuert oder manipuliert werden, in allen Lebenssituationen. „Das geht bei der Schufa los, die Ihnen einen Wert für Ihre finanzielle Bonität verpasst, und geht bei den Versicherungen weiter, die Ihnen günstigere Tarife anbieten, wenn Sie den Gesellschaften Ihre Daten zur Verfügung stellen“, erklärte im Tagesspiegel der Berater der Bundesregierung für Verbraucherschutz, Gerd Gigerenzer. ADM, vollautomatisch oder manuell: ob Algorithmen öffentlich kontrolliert oder weiter als Geschäftsgeheimnisse privater Unternehmen gehütet werden, ist auch für die Legitimation der Demokratie von Belang.
Die Politik diskutiert verschiedene Ansätze zur Regulierung von Algorithmen und künstlicher Intelligenz – einige fanden den Weg in den Koalitionsvertrag zwischen CDU, CSU und SPD: von einer Art Kennzeichnungspflicht für ausgewählte algorithmische Entscheidungen bis hin zur Zertifizierung und zu Anti-Diskriminierungsgesetzen: „Diskriminierungsverbote der analogen Welt müssen auch in der digitalen Welt der Algorithmen gelten“ , heißt es dort, deswegen würde man sich für Transparenz bei Online-Vergleichs- und -Beratungsportalen einsetzen wollen. Bisweilen ist es erstaunlich, wie wenig man über die mächtigsten Überwachungsinstitutionen in den westlichen Institutionen weiß, schrieb Josch Lauer. Bis weit in die 1960er-Jahre arbeiteten die Kreditscoring-Firmen in „quiet obscurity“ . Mit den Debatten um Datenschutz und Überwachung rücken sie erst langsam in das Licht der Öffentlichkeit.
Angesichts von Risiken, steigender Überwachung, fehlender wissenschaftlicher und praktischer Grundlagen, Standards und Intransparenz stellt sich zunehmend die Frage, ob man Scoringsysteme insgesamt nicht einfach verbieten könnte. Und tatsächlich: Die europäische Grundverordnung enthält ein Verbot automatisierter Entscheidungen im Art. 22 DSGVO. Dürfte es demnach Kreditscoring-Unternehmen wie Schufa oder Infoscore gar nicht mehr geben? Weit gefehlt. Das Verbot in Art. 22 DSGGVO ist nur auf vollautomatisierte Entscheidungen bezogen – und in der Praxis kommen solche nur selten vor. Hinzu kommen zahlreiche Ausnahmen. „Die automatisierte Einzelentscheidung ist zulässig, falls sie ‚für den Abschluss oder die Erfüllung eines Vertrages zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist‘“ , halten die Autoren des GI-Gutachten fest. Außerdem kann sie aufgrund anderer Rechtsvorschriften der EU oder des jeweiligen Mitgliedsstaates zulässig sein – oder wenn der Betroffene „ausdrücklich eingewilligt“ hat. Art. 22 DSGVO sei demnach lediglich ein „stumpfes Schwert“ – so viele Spielräume gibt es, aus seinem Anwendungsbereich herauszufallen.
Algorithmen als Chance
Wir leben zwar in einer Demokratie, wir leben aber auch im Kapitalismus. Dies bedeutet, dass vieles, was konstitutive Grundwerte unterminiert, unter bestimmten Umständen, bspw. in einer Geschäftsbeziehung (auch bei einem Kauf- oder Mietvertrag) oder beim Vorhandensein einer anderen gesetzlichen Grundlage, erlaubt oder wenigstens nicht verboten ist. Equifax und Schufa abschaffen? Es entspreche durchaus den sozialdemokratischen Solidaritätsprinzipien, dass die Reichen etwas an die Armen abgeben. Wenn man ohne Risikobewertung eines jeden Einzelnen mehr für einen Service zahlen muss, dann ist es immer noch gerechter, als wenn wegen eines schlechten Rankings ganze Existenzen vernichtet würden. Solidarität als einer der Grundwerte einer sozialen Demokratie setze etwa bei Versicherungen Nichtwissen in Bezug auf individuelle Risiken voraus, sagte Ulf Buermeyer, Vorsitzender der Gesellschaft für Freiheitsrechte bei der Friedrich-Ebert-Stiftung. Und forderte: Auskunfteien sollten abgeschafft oder wenigstens stark reguliert werden. Doch dafür – und das ist auch eines der Ergebnisse der GI-Studie – fehlen an vielen Stellen entweder gesetzliche Grundlagen, Standards oder die konsequente Legitimation relevanter Instrumente wie Prüfungen, Tests oder Zertifikate.
Falls man möchte, dass die Technologie künftig das Leben der Menschen erleichtert, dann wird ein System notwendig, das auf wesentlich gerechterer Verteilung von Macht und Information beruht. Die Algorithmen spielen in diesem Prozess dennoch eine wichtige Rolle: Sie helfen, nachzuvollziehen und zu verstehen, wie bisher auch in den demokratischen Gesellschaften diskriminiert, benachteiligt oder ungleichbehandelt wurde. So gesehen, sollte man die Algorithmen auch als eine Chance verstehen, das Leben der Menschen und ihre Umgebung zu verbessern. Im Hinblick auf die starke Dynamik auf den Feldern der KI und lernender Algorithmen sei es wichtig, dass die Fragen rechtzeitig adressiert werden, appellieren deswegen die Autoren des GI-Gutachtens, um zunehmend relevanter werdenden Herausforderungen pro-aktiv zu begegnen. In der Star-Trek-Vision der Gesellschaft des 24 Jahrhunderts gibt es keinen Platz für Klassen- oder Rassenunterscheide. Und der Fußboden reinigt sich selbst.
Der Artikel ist bereits im The European erschienen. Das Original finden Sie hier.
Die Autorin
Aleksandra Sowa leitete zusammen mit dem deutschen Kryptologen Hans Dobbertin das Horst-Görtz-Institut für Sicherheit in der Informationstechnik. Sie ist Autorin diverser Bücher und Fachpublikationen, Mitglied des legendären Virtuellen Ortsvereins (VOV) der SPD und aktuell für einen Telekommunikationskonzern tätig. In dieser Kolumne äußert sie ihre private Meinung.
