Im Fokus: Enter, Scan, Anzeige – KI überwacht private Kommunikation

2007 und 2008 gingen tausende Menschen gegen die in der EU geplante und zeitweilig in Deutschland verabschiedete Vorratsdatenspeicherung auf die Straße. Ein Merkmal und häufiger Kritikpunkt gegen die Vorratsdatenspeicherung ist die verdachtsunabhängige Überwachung: Überwacht wird nicht nur, wer Anlass zum Verdacht einer Rechtsverletzung gegeben hat, sondern zunächst einmal alle.

Nun könnte nun das nächste Gesetz der EU bevorstehen, das alle Bürgerinnen und Bürger unter Generalverdacht stellen soll (heise). Im Juli dieses Jahres verabschiedete das EU-Parlament einen Gesetzesentwurf, der es Internetanbietern künftig erlaubt, verdachtsunabhängig und flächendeckend Nachrichten auf Anzeichen von Grooming (Wikipedia) und Kinderpornographie zu scannen. Hierzu werden unter anderem auch Algorithmen des maschinellen Lernens (KIs) verwendet, um Bilder, Videos oder Textnachrichten auf entsprechende bedenkliche Inhalte zu untersuchen. Sollte sich hieraus ein Verdacht ergeben, werden automatisiert relevante Informationen an die zuständigen Behörden weitergeleitet. Die Betroffenen werden hierüber jedoch nicht informiert. Derzeit wird an einem Folgegesetz gearbeitet, welches alle Dienstleister zu einer solchen Überwachung verpflichten soll. Zurzeit ist die Überwachung von Messenger-Diensten wie WhatsApp oder Signal technisch nicht möglich, da diese Ende-zu-Ende verschlüsselt werden. Eine diesbezügliche Überwachungspflicht könnte auch hier für Umstellungen sorgen. Entsprechend lohnt sich ein Blick in die aktuelle Rechtslage zur Überwachung von Messenger-Diensten. 

Die 2002 verabschiedete ePrivacy-Richtlinie (eigentlich Datenschutzrichtlinie für elektronische Kommunikation, europa.eu) regelt in Artikel 5 die Vertraulichkeit der Kommunikation von elektronischen Kommunikationskanälen. Hierbei wird zum Beispiel das Mithören, Abhören und Speichern von Nachrichten anderer Personen als der Nutzerinnen und Nutzer untersagt. Seit Dezember 2020 fallen laut heise-online auch „nummernunabhängige interpersonelle Kommunikationsdienste“ in den Bereich der ePrivacy-Richtlinie (heise). Ausnahmen, in denen Nachrichten dennoch abgefangen und überwacht werden dürfen, regelt der Artikel 15 Absatz 1 der ePrivacy-Richtlinie. So kann zum Beispiel für die Verfolgung von Straftaten hiervon eine Ausnahme gemacht werden, wenn dies in einer „demokratischen Gesellschaft notwendig, angemessen und verhältnismäßig” ist. Außerdem muss hierfür zunächst eine entsprechende Rechtsvorschrift verabschiedet werden. Genau hierum handelt es sich bei dem im Juli verabschiedeten Gesetzesentwurf. Das Gesetz (europa.eu) ist hierbei eine Zwischenlösung, deren alleiniger Zweck es ist, eine befristete und streng begrenzte Ausnahme von der Anwendbarkeit von Artikel 5 Absatz 1 und Artikel 6 der ePrivacy-Richtlinie zu schaffen. Der Vorschlag ermöglicht es Anbietern wie Facebook oder Microsoft, bis zur Annahme der angekündigten langfristigen Rechtsvorschriften weiter bestimmte Technik einzusetzen und ihre derzeitigen Tätigkeiten in dem Umfang fortzusetzen, der erforderlich ist, um sexuellen Missbrauch von Kindern im Internet aufzudecken und zu melden, sowie Material über sexuellen Kindesmissbrauch aus ihren Diensten zu entfernen. Außerdem läuft im EU-Parlament derzeit der Gesetzgebungsprozess für die sogenannte ePrivacy-Verordnung weiter, mit deren Wirkung die ePrivacy-Richtlinie aus 2002 aufgehoben und mit strengeren Regelungen erneuert werden soll. 

Generell ist es immer eine Herausforderung, Interessen von zwei verschiedenen Rechtssachen zu behandeln. Mit der im Juli verabschiedeten Verordnung versucht das Europäische Parlament einerseits, die Kinderpornografie wirksam zu bekämpfen, andererseits gestattet der neue Gesetzesentwurf Maßnahmen, die die Grundrechte anderer Menschen verletzen.

Umstritten ist, ob sich die Verordnung mit dem europäischen Recht vereinbaren lässt. Das Recht auf Privatsphäre, Datenschutz und freie Meinungsäußerung, das durch die Grundrechtecharta der EU (Artikel 7, 8 und 11) geschützt ist, könnte unverhältnismäßig verletzt werden (patrick-breyer.de). 

Klar ist: Nur weil die Charta die Rechte von Kindern stark schützt, heißt dies nicht, dass diese gegenüber den Rechten von anderen Menschen vorrangig behandelt werden können.

Bei der Verwendung von Algorithmen des maschinellen Lernens im gesellschaftlichen Kontext ist immer auch zu beachten, unter welchen Rahmenbedingungen diese eingesetzt werden und mit welcher Genauigkeit sie arbeiten. Es ist zwar nicht klar, welche Algorithmen konkret zum Einsatz kommen sollen, dennoch lohnt sich ein Blick auf die bisherige Forschung zur automatischen Erkennung von Grooming und kinderpornographischen Inhalten. Zur automatischen Erkennung von Grooming in Textnachrichten existieren bereits mehrere Arbeiten von unter anderem Meyer (diva-portal.org), sowie Gunawan et al. (researchgate.net). Ziel der Arbeiten war es, echte Kinder von Erwachsenen zu unterscheiden, die sich lediglich als solche ausgaben: ein wichtiges Indiz für mögliches Grooming. Untersucht wurden dabei unter anderem Groß- und Kleinschreibung, die Verwendung von Fremdwörtern (inkl. Slang), die durchschnittliche Wortlänge, sowie Häufigkeit und Reihenfolge von n-grams (Zeichenketten mit n Buchstaben). Auch wenn das Ergebnis in beiden Fällen erstaunlich präzise war und der jeweilige Typ mit über 95% Genauigkeit vorhergesagt werden konnte, sind dabei zwei wichtige Punkte zu beachten: Selbst eine Genauigkeit von mehr als 99% sorgt bei einer ausreichend großen Menge von untersuchten Nachrichten für eine Vielzahl an falsch-positiven Ergebnissen. Des Weiteren ist es beim Einsatz von Algorithmen des maschinellen Lernens unerlässlich, die passenden Trainingsdaten zur Verfügung zu haben. Ergebnisse, die mit unzuverlässigen Trainingsdaten erzielt wurden, sind mit einer gesunden Portion Skepsis zu betrachten – ein Punkt, auf den auch die Autorinnen und Autoren immer wieder aufmerksam machen. So wurden zum Beispiel in der Arbeit von Meyer als Trainingsdaten Chatverläufe von Polizistinnen und Polizisten eingesetzt, die sich als Kinder ausgaben, um potenzielle Täterinnen und Täter in Online-Foren anzulocken. Die Herangehensweise der Polizei könnte sich allerdings signifikant von der Herangehensweise potenzieller Täterinnen und Täter unterscheiden. Dies hätte zur Folge, dass KIs, die mit Datensätzen der Polizei trainiert werden, echte Täterinnen und Täter schlechter erkennen können.

Bei der automatischen Erkennung kinderpornographischer Inhalte sehen sich Wissenschaftlerinnen und Wissenschaftler den gleichen Problemen gegenüber. Wenn durch einen Algorithmus pornographische Inhalte erkannt wurden, muss hier zusätzlich geprüft werden, ob es sich dabei auch um illegale Inhalte im Kontext der Kinderpornographie handelt. Auch muss bei der Erkennung von nicht bekleideten Kindern festgestellt werden, ob es sich um pornographischen Inhalt handelt oder nicht. Eine von Sae-Bae et al. durchgeführte Untersuchung (cnrs.fr) konnte in einem Datensatz mit 105 Bildern eine Trefferquote von 96,5% bei der Erkennung von Kindergesichtern und lediglich 83% bei der Erkennung von pornographischen Inhalten in diesem Kontext erreichen.  

Wie bereits erwähnt, sorgen entsprechende Fehlerquoten für eine Vielzahl von falsch-positiven Meldungen. Dies bedeutet für Behörden einen enormen Mehraufwand durch zahlreiche Fehlanzeigen und kann gleichzeitig dafür sorgen, dass Unschuldige sich einem Strafverfahren ausgesetzt sehen. Diese Verfahren können – auch wenn sie später eingestellt werden –den Ruf der Beschuldigten erheblich und dauerhaft beschädigen.

Um hinreichend beurteilen zu können, wie aussagekräftig die Einschätzungen der Algorithmen sind, ist es notwendig, die Zusammensetzung der Datensätze zu kennen, mit denen der Algorithmus trainiert wurde. Eine intransparente Vorgehensweise der Unternehmen macht es hier unwahrscheinlich, dass von Außenstehenden eine hinreichende Einschätzung getroffen werden kann. Im schlimmsten Fall kann es hierbei zu einem falschen Sicherheitsgefühl kommen, wenn mit hohen Trefferquoten geworben wird.

Da Kanäle von Ärztinnen und Ärzten sowie therapeutischem Personal und anderen Vertrauenspersonen von der Überwachung nicht ausgenommen werden sollen, könnte es passieren, dass hier wichtige Hilfskanäle für Betroffene wegfallen. Gleichzeitig kann sich die eigentlich kritische Kommunikation krimineller Aktivitäten auf schwerer zu verfolgende Kanäle wie zum Beispiel das Darknet verlegen.

Insbesondere in Anbetracht der Tatsache, dass eine Lockerung der Verschlüsselung von Kommunikationskanälen weitere Überwachungsmaßnahmen ermöglicht, stellt sich die Frage, ob der Nutzen einer solchen Regelung im Verhältnis zu den genannten Gefahren und Nachteilen steht. 

Als SocIeTy interessiert uns: Was denken Sie? Ist die Überwachung privater Kommunikation zur Verhinderung von Kinderpornographie und Grooming zielführend und erforderlich?

Da sowohl gesellschaftlich als auch politisch insbesondere im Rahmen der Verwendung neuer Technologien immer wieder Diskussionsbedarf entsteht, freuen wir uns, gemeinsam einen Diskurs zu genau solchen Fragen zu gestalten. Verlinken (und folgen) Sie uns gerne auf Twitter unter @society_read.

Diesen Beitrag haben Johannes Korz, Lasse Cezanne und Abdulkadir Noyan aus der SocIeTy (ehem. Redaktion Sozioinformatik) beigesteuert. Vielen Dank!