David Heinemeier Hansson muss ziemlich wütend gewesen sein auf Apple. Genauer gesagt: auf die Apple Card, die Kreditkarte des Unternehmens, die seit August in den USA verfügbar ist. Und wie man das eben so macht als einflussreicher Softwareentwickler mit gut 360.000 Twitter-Followern, tat er diesen Ärger von einigen Tagen auf Twitter kund.

Die Apple Card sei "verdammt sexistisch", schrieb er in einer Serie von Tweets. Seine Frau Jamie und er gäben gemeinsame Steuererklärungen ab und lebten in einer Errungenschaftsgemeinschaft – dennoch habe er einen 20-mal höheren Kreditrahmen als seine Partnerin. Dabei habe sie sogar eine höhere Bonität, wird also als kreditwürdiger eingestuft als er.

Der Tweet ging viral: Fast 10.000-mal wurde der Beitrag geteilt, nahezu 30.000-mal geliked. Und der Kreditrahmen von Jamie Hansson wurde plötzlich doch erhöht. Der Fall war damit nicht erledigt. Auf Twitter diskutierten andere Nutzerinnen und Nutzer, ob die Apple Card Frauen systematisch benachteilige. Einige berichteten von ähnlichen Erfahrungen, der wohl prominenteste von ihnen: Apple-Gründer Steve Wozniak. Er habe ebenfalls ein höheres Kreditlimit als seine Frau – obwohl man keine getrennten Bank- oder Kreditkartenkonten oder sonstiges getrenntes Vermögen habe, schrieb der Mann, der bis 1985 aktiv für Apple arbeitete und nach eigenen Aussagen bis heute noch für das Unternehmen auftritt. Es sei aber hart, an einen Menschen zu kommen, der das korrigiere.

Wenn der Algorithmus Kredite vergibt

Was Wozniak damit meint: Wer einen Kredit bekommt und wer nicht, entscheiden heute oft nicht mehr Bankberaterinnen, sondern maschinell lernende Algorithmen. Die Softwaresysteme berechnen aus allen Daten, die ihnen eingefüttert wurden, wie wahrscheinlich es ist, dass eine Person einen Kredit zurückzahlt. Dafür gewichten sie verschiedene Kriterien: etwa wie viele Kredite jemand schon aufgenommen oder beglichen hat, aber auch Informationen, die man nicht direkt mit dem Kontostand in Verbindung bringt – etwa in welcher Gegend man wohnt, welchen Schulabschluss man hat oder was man in sozialen Medien macht. Es zählen dabei nicht nur die eigenen Daten, sondern auch die anderer Kreditnehmerinnen und Kreditnehmer mit ähnlichen Merkmalen.

Weil die Systeme so komplex geworden sind, steht nun die Vermutung im Raum, Apple diskriminiere Frauen. Das ist erst einmal nicht unplausibel. Noch vor wenigen Jahren arbeiteten Frauen seltener, weil sie sich oft um die Familie kümmerten, hatten also weniger eigenes Geld zur Verfügung. Und bis heute verdienen sie weniger Geld als Männer. Berücksichtigen selbst lernende Systeme auch das Geschlecht, könnten diese älteren Daten noch heute beeinflussen, ob Frauen Kredite bekommen und wie hoch sie liegen.

Schon in anderen Fällen standen selbst lernende Algorithmen unter Diskriminierungsverdacht, bei Bewerbungs- und Gerichtsverfahren etwa. Das ist nicht überraschend: Die Systeme werden von Menschen gebaut und basieren auf Bewertungen, die Menschen getroffen haben. Und die fällen bekanntlich subjektive Entscheidungen, wenn auch nicht immer bewusst. So sehr man sich auch um Neutralität und Objektivität von Algorithmen bemüht: Letztlich sind die Ergebnisse abhängig davon, wer sie programmiert, welche Daten in die Systeme fließen, welche Schlüsse die daraus ziehen und wie sie diese Informationen gewichten.

Das mag erst einmal abstrakt klingen. Im Fall von Krediten wird aber plötzlich spürbar: Ordnen uns Maschinen in bestimmte Schubladen ein, kann das unser Leben stark beeinflussen. Wer Geld bekommt oder nicht, entscheidet in der Konsumgesellschaft darüber, wer eine neue Couch kaufen kann, ein Auto oder ein Haus. Das Kernproblem dahinter ist: Wie Algorithmen entscheiden, wer kreditwürdig ist, lässt sich in der Regel nicht einsehen. Das gilt nicht nur für Apples Kreditkarte, sondern auch für andere Banken, Kreditunternehmen oder Auskunfteien wie die deutsche Schufa.

Dabei muss man wissen, dass Apple selbst offenbar nicht direkt Einfluss auf den Algorithmus nehmen kann: Das Unternehmen kooperiert mit der Investmentbank Goldman Sachs, die eine Banklizenz besitzt. Das Institut gibt die Apple Card offiziell aus und entscheidet auch über Kreditrahmen. Dennoch ist Apple, das sich ja sonst sehr um Diversität bemüht, als Namensgeber der Karte natürlich mit in der Verantwortung, wenn etwas nicht nach Plan läuft.

David Heinemeier Hansson und seine Frau haben nach eigenen Angaben sowohl mit Apple als auch mit Goldman Sachs Kontakt gehabt. Und in beiden Unternehmen hätten die Mitarbeiterinnen und Mitarbeiter den Algorithmus nicht einsehen können. Ein Mitarbeiter habe gegenüber seiner Frau sogar argumentiert, man diskriminiere nicht, "das ist nur der Algorithmus".

Goldman Sachs schreibt in einem Statement: Eine Bewerbung auf eine Kreditkarte werde unabhängig bewertet. Die Entscheidung beruhe unter anderem auf dem Einkommen, der Bonität, wie viele Schulden jemand habe und wie er diese Schulden manage. Es sei möglich, dass Familienmitglieder unterschiedliche Bewertungen erhielten. Das Geschlecht oder der Familienstand fließe nicht in den Prozess mit ein. Genauer wird das Kreditinstitut nicht. 

Diese Intransparenz sorgt für Unsicherheit. Weiß man nicht, wie ein System im Detail funktioniert, kann man darüber nur mutmaßen, es entstehen Theorien und Misstrauen.

Statistische Diskriminierung nennen Experten das

Einerseits ist es verständlich, dass die Firmen ihre genauen Kriterien nicht preisgeben wollen, schließlich kann man einen Algorithmus auch als Geschäftsgeheimnis werten. In Deutschland hat der Bundesgerichtshof 2014 mit dieser Begründung entschieden, dass die Schufa nicht veröffentlichen muss, worauf sie die Kreditwürdigkeit von Menschen genau basiert. Andererseits gibt es dadurch keine Kontrollierbarkeit. Gerade bei selbst lernenden Algorithmen, deren Entscheidungen auch Entwicklerinnen und Entwickler nicht immer nachvollziehen können, ist das problematisch – man kann nur mutmaßen, wie es zu einer Entscheidung kommt.

Ökonomisches Schubladendenken

"Der Fall von David Heinemeier Hansson zeigt, dass die Betreibenden teilweise nicht erklären können, wie eine Entscheidung genau getroffen wird", sagt Carsten Orwat. Er forscht am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des Karlsruher Instituts für Technologie (KIT). Weil niemand so genau wisse, wie es zu einer Bewertung komme, können sich Menschen nur schlecht gegen die Entscheidungen wehren.

Denn auch wenn es bei Goldman Sachs so klingt, als würde jeder Kunde einzeln bewertet – so ist es wahrscheinlich nicht. Die Algorithmen können letztlich nur Korrelationen in den Daten erkennen. Dafür gleichen sie die Daten einer Person, die einen Kredit will, mit Daten von Menschen mit ähnlichen Merkmalen ab. Aus diesen Berechnungen entsteht der credit score: Er besagt, wie kreditwürdig eine Person ist.

'Credit scores' sind keine individuelle Prognose über eine Rückzahlungswahrscheinlichkeit.
Carsten Orwat vom Karlsruher Institut für Technologie

Das heißt: Wohnt jemand zum Beispiel in Hamburg-Blankenese, hat all seine Kredite immer pünktlich zurückgezahlt und shoppt regelmäßig bei Louis Vuitton oder Chanel, liegen seine Chancen auf einen Kredit wahrscheinlich höher als die einer Person, die in Berlin-Marzahn lebt, noch nie einen Kredit aufgenommen hat und bei Kik einkauft – auch wenn diese Kriterien erst einmal wenig über die tatsächliche Lebenssituation aussagen.

Aus Sicht der Firmen ist das effizient, weil es viel zu aufwendig wäre, jede Person einzeln zu bewerten. Man verlässt sich darauf, dass diese Durchschnittswerte im Großen und Ganzen schon richtig liegen werden. "Credit scores sind jedoch keine individuelle Prognose über eine Rückzahlungswahrscheinlichkeit", sagt hingegen Wissenschaftler Orwat. Stattdessen werde eine Person anhand bestimmter Kriterien bestimmten Klassen oder Gruppierungen zugeordnet, von denen man ein bestimmtes Verhalten in der Zukunft erwarte.

Alles Klassenfragen

Wozu das führen kann, zeigt ein Beispiel aus Skandinavien, das Orwat in einer Studie für die Antidiskriminierungsstelle des Bundes beschreibt: Ein schwedisches Unternehmen gewährte einem Mann keinen Kredit, weil er in drei Kategorien fiel, die es mit Rückzahlungsproblemen in Verbindung brachte – er sprach Finnisch, war männlich und lebte in einer Gegend, für die keine Kreditwerte vorlagen. Das Fazit: Hätte der Mann Schwedisch gesprochen oder wäre er eine Frau gewesen, wäre die Entscheidung wohl anders ausgefallen.

Kein Einzelfall: In den USA hat ein Forscherteam herausgefunden, dass Afroamerikaner und Latinos in algorithmengestützten Kreditvergabeprozessen schwerer an eine Hypothek kommen und schlechtere Konditionen erhalten (Bartlett et al., 2019).

"In diesen auf Korrelationen basierenden Gruppen- und Kategorienbildungen gibt es eine hohe Wahrscheinlichkeit, dass Fehler auftreten und individuelle Fälle oder ganze Gruppen falsch zugeordnet werden", sagt Carsten Orwat. In der Fachsprache spricht man auch von statistischer Diskriminierung.

Bezogen auf den Fall von Jamie Hansson bedeutet das: Da Frauen weniger verdienen, könnte es sein, dass es dem Algorithmus nur logisch erscheint, einer Frau einen geringeren Kredit zu gewähren – auch wenn im Einzelnen ihr tatsächliches Einkommen und Vermögen etwas anderes andeuten.

Wer hat den Plan?

Nun liegt das nicht allein an den Algorithmen, sondern auch an den Daten, mit denen sie arbeiten. Die Systeme hinterfragen nicht deren Aussagekraft, sondern erkennen lediglich Muster der Vergangenheit. Zum Problem wird das, wenn der Einfluss dieser Ergebnisse beispielsweise auf die Kreditvergabe so dominant ist, dass die Ergebnisse der Maschinen kaum noch infrage gestellt werden. So wie im Fall von Jamie Hansson – der offenbar niemand sagen mochte oder konnte, was eigentlich zu dem kleineren Kreditrahmen geführt hatte.

Die schlechte Erklärbarkeit durch die Betreibenden sei symptomatisch für die Diskriminierung durch selbst lernende Algorithmen, sagt Wissenschaftler Orwat. Und je mehr Akteure involviert sind, desto komplizierter wird es für die Nutzerinnen und Nutzer – weil gar nicht klar ist, welche Bewertung sie nun einen Kredit gekostet hat: Hat mich eine Auskunftei in eine bestimmte Kategorie gesteckt? Oder war es das Kreditinstitut? Welches Kriterium hat den Ausschlag gegeben? Die zu spät bezahlte Handyrechnung vor einem Jahr? Oder doch der Wohnort?

Ein weiteres Problem: Man müsse erst einmal Beweise dafür finden, dass man schlechter behandelt werde als eine Vergleichsperson, sagt Carsten Orwat. Diese Indizien seien im Digitalen aber schwer beizubringen. Als Beispiel nennt er Websites, bei denen Algorithmen zielgerichtete Werbung oder Angebote für Personen differenzieren. Teilweise bekomme man gar nicht mit, dass man gerade diskriminiert werde, weil man nur ein bestimmtes Angebot auf einer Website sieht und nicht weiß, dass andere Menschen ein anderes angezeigt bekommen.

Orwats Ansicht nach müsse man schon ansetzen, bevor jemand überhaupt diskriminiert werde: "Im Optimalfall sollte es kommunikative Prozesse geben, sodass jede Person vor einer Entscheidung ihr Selbstbild einbringen kann", sagt der Wissenschaftler. Die Kundin oder der Kunde könnte dann bereits vorab die eigene Sicht einbringen und beispielsweise erklären, warum man nicht in eine bestimmte Gruppe fällt oder ein bestimmtes Kriterium nicht zutrifft. Letztlich sei es eine gesellschaftliche Entscheidung, wie man das Generalisierungsunrecht, das durch Differenzierungen mithilfe von algorithmischen Systemen entsteht, und die Effizienzvorteile abwäge, so Orwat. Das wäre natürlich deutlich aufwändiger als das bisherige Prozedere, würde dem Kunden oder der Kundin aber die Möglichkeit geben, Fehleinschätzungen zu kommentieren, bevor sie passiert sind.

Und in Deutschland?

Wäre ein Fall wie der von Hansson auch in Deutschland möglich? Zumindest nicht mit der Apple Card: Die gibt es in Deutschland noch nicht. In der Bundesrepublik gibt es zudem mehrere Gesetze, die solche Diskriminierungen verhindern sollen: Hierzulande dürfen nach dem Allgemeinen Gleichbehandlungsgesetz keine Unterschiede nach Geschlecht, Alter, Religionszugehörigkeit, Behinderung, sexueller Orientierung oder der ethnischen Herkunft gemacht werden. In der Theorie klingt das gut. Allerdings gibt es für Auskunfteien Ausnahmen. Und laut des neuen Bundesdatenschutzgesetzes ist Scoring unter bestimmten Bedingungen erlaubt: wenn die Unternehmen den Datenschutz einhalten, nicht allein die Anschrift in die Bewertung miteinfließen lassen und sich "eines wissenschaftlich anerkannten mathematisch-statistischen Verfahrens" bedienen. Leider bleibt das Gesetz in diesem Punkt ungenau: Wie diese Verfahren geprüft werden sollen, steht dort nicht.

Diskriminierungen kann man demzufolge auch in Deutschland nicht ausschließen. Forschung dazu gibt es bislang wenig. Wissenschaftler Orwat sagt, dass er bei seiner Recherche für die Studie der Antidiskriminierungsstelle des Bundes keine Fälle aus Deutschland gefunden habe – was nicht bedeute, dass es sie nicht gebe.

Interesse daran, wie Algorithmen Entscheidungen treffen, gibt es jedenfalls auch in Deutschland. Erst kürzlich hat das Projekt OpenSchufa versucht, zumindest etwas Licht in das Algorithmendunkel der Auskunftei zu bringen. Auch wenn die Daten nicht repräsentativ sind, lassen die Ergebnisse darauf schließen, dass die Anzahl der Wohnungswechsel und auch das Geschlecht wohl teilweise einen Einfluss auf die Bonität haben.

Im Fall von David Heinemeier Hansson hat sich mittlerweile die New Yorker Finanzaufsicht eingeschaltet. In dem Bundesstaat ist Diskriminierung wegen des Geschlechts ebenfalls verboten. Die Aufsicht will nun untersuchen, ob der Algorithmus, mit dem die Kreditentscheidungen getroffen werden, gegen Gesetze verstößt. In einem Beitrag auf Medium.com betont Linda Lacewell, Superintendantin der Finanzaufsicht, dass man Innovationen natürlich unterstütze (wobei man natürlich darüber streiten kann, ob die Apple Card oder der Algorithmus dahinter jetzt wirklich so innovativ sind). Doch es brauche das Vertrauen der Öffentlichkeit. "Damit Innovationen einen dauerhaften und nachhaltigen Wert schaffen, müssen die Verbraucher, die neue Produkte oder Dienstleistungen nutzen, darauf vertrauen können, dass sie fair behandelt werden." Auch von einem Algorithmus.