GI-Radar 333: ChatGPT und Lehre

Liebe Leserinnen und Leser,

in unseren Kurzmitteilungen geht es in dieser Woche unter anderem um Regelungen für KI-Anwendungen, Schadsoftware beim Handyladen, eine Ausstellung in Bonn, Technostress und eine Spielkameradin für die KI. Das Thema im Fokus widmet sich ChatGPT. In unseren GI-Mitteilungen erklären wir Ihnen, wie Sie die .inf abonnieren, weisen auf die Jahreestagung hin und suchen Fellows. Das Fundstück dreht sich um Smartphones. 

Wir wünschen Ihnen viel Spaß mit dieser Ausgabe!

auf gi-radar.de weiterlesen

KURZMITTEILUNGEN

Europäische Regulierung von KI-Anwendungen gefordert (ZEIT). Während in manchen Ländern potenziell gefährliche KI-Anwendungen verboten werden, macht sich der deutsche Digitalminister für eine europäische Regulierung stark. Leitlinien dafür sollen unter anderem Demokratie, Transparenz und Neutralität sein. weiterlesen

Schadsoftware per Ladekabel: warum man lieber ausschließlich eigenes Equipment benutzen sollte (FAZ). Dienstreisende kennen das: das Mobiltelefon ist fast leer, aber zum Glück gibt es unterwegs öffentliche Ladestationen. Ob aber bekannt ist, dass über Ladekabel nicht nur Strom, sondern auch Schad- und Fernsteuerungssoftware übertragen werden kann? Fazit: fremde Kabel und USB-Buchsen lieber meiden.  weiterlesen

Digitalisierung im Museum begreifbar machen: geht das? (Netzpolitik) In Museen werden in der Regel „anfassbare“ Dinge ausgestellt. Informatik- und Digitalisierungsthemen sind hingegen häufig schwer zu greifen. Das Haus der Geschichte in Bonn widmet jetzt eine Ausstellung dem Thema #DeutschlandDigital und zeigt neben Wahlplakaten animierte Pixel, lässt den Ton von Windows 95 erklingen und präsentiert moderne digitale Hilfsmittel. Der Eintritt ist kostenlos.  weiterlesen

Technostress im Digitalen Arbeiten – eine Herleitung (Forschung & Lehre). Im Jahr 1984 erreichte zum ersten mal eine E-Mail ein deutsches Postfach. Mittlerweile wundert man sich eher, noch Papier jenseits von Werbung im Briefkasten zu finden. Nicht nur durch E-Mail, auch durch unzählige weitere Werkzeuge hat sich das Arbeiten verändert. Was der einen als Segen erscheint, löst bei dem anderen Stress aus.  weiterlesen

Wie die KI als Spielgefährtin die KD (Künstliche Dummheit) erfand (taz). Als Intelligenzbestie immer alleine zu sein, ist langweilig. Darum hat die Künstliche Intelligenz (in einem Gedankenexperiment!) ihr Pendant erfunden: die Künstliche Dummheit. Während diese sich am Anfang noch brav alles sagen lässt, entwickelt sie später ihren Eigensinn und kehrt manchen Befehl vermeintlich naiv in das Gegenteil des Intendierten um.  weiterlesen

THEMA IM FOKUS

ChatGPT – Das neue Schweizer Taschenmesser? ChatGPT ist ein Gesprächsthema, dem aufgrund der großen medialen Präsenz kaum jemand zu entkommen vermag. Sowohl die vielen technischen als auch die wirtschaftlichen und sozialen Entwicklungen rund um den Chatbot-Prototypen sorgen regelmäßig für Gesprächsstoff. Häufig als Künstliche Intelligenz vorgestellt, handelt es sich nach den Entwicklern bei OpenAI – den Schöpfern von ChatGPT – um ein trainiertes Modell des maschinellen Lernens. Zusätzlich zum initial trainierten Modell hat das Unternehmen menschliche KI-Trainer:innen in den Prozess mit einbezogen, um diesen durch verstärkendes Lernen (Reinforced Learning) zu verbessern. Der Fokus lag dabei konkret auf Konversationen bzw. dem Dialog zwischen Anwender:innen und ChatGPT (openai.com). Das Unternehmen setzt zusätzlich auf einen iterativen Ansatz, bei dem das Modell auch unter Berücksichtigung der geführten Gespräche weiter verfeinert wird (openai.com). 

ChatGPT beantwortet binnen Sekunden Anfragen in Form von Texten, die in natürlicher Sprache geschrieben sind. Nutzer:innen können diese Texte bei Bedarf sogar anpassen lassen. Je nach Feedback werden die Texte dann in formalerem oder lockererem Stil paraphrasiert. Laut Debora Weber-Wulff, Informatikerin und Plagiatsexpertin an der Hochschule für Technik und Wirtschaft Berlin, hebt sich ChatGPT von herkömmlichen Suchmaschinen insofern ab, als dass seine Texte intelligent und einzigartig wirken und nicht von Suchmaschinen gefunden würden. Im Bildungswesen sorgen sich Lehrende darüber, nicht nachvollziehen zu können, ob ein Text von Schüler:innen bzw Studierenden geschrieben oder durch ChatGPT generiert wurde (heise.de). „Letztlich sind alle Texte, die aus diesen generativen Systemen herauskommen, Unikate”, sagt Wirtschaftsinformatikprofessorin Doris Weßels, die eine spezielle Fachgruppe „AI & Academic Writing“ an der Fachhochschule Kiel leitet (swr.de). Das Problem besteht hauptsächlich bei Leistungen, die ohne direkte Aufsicht erbracht werden, beispielsweise Haus- und Abschlussarbeiten, denn „prüfungsrechtlich würde ein solches Verfahren als Täuschung eingeordnet“ (heise.de), doch diese Täuschung zu erkennen fordert auch Plagiatsprogramme heraus (swr.de).

An der Universität von Minnesota haben Juraprofessor Jonathan Choi und seine Kollegen ein Forschungspapier geschrieben, in dem sie erklären, dass ChatGPT einen echten Juratest mit dem englischen Pendant der deutschen Note 3+ bestanden hat (ssrn.com). Offenbar hat ChatGPT einen guten Anschein eines grundlegenden Verständnisses für rechtliche Normen aufzeigen können, doch laut Choi habe es Schwierigkeiten bei der Erkennung von Problemen in offenen Fragestellungen, was die Autor:innen als Kernkompetenz juristischer Prüfungen einordnen. Der Test wurde blind bewertet, dennoch ahnten zwei von drei Prüfer:innen, welche Antworten von ChatGPT stammen, da die Grammatik perfekt, die Formulierungen jedoch redundant waren. Hinzu kommt, dass ChatGPT in mathematischen Aufgaben versagt habe (zdf.de).

In einem weiteren Forschungsbericht (upenn.edu) besteht ChatGPT die Abschlussprüfung für einen Master of Business Administration der Universität von Pennsylvania mit der Note 2. Professor Christian Terwiesch betont darin ChatGPTs „bemerkenswerte Fähigkeit, einige der Aufgaben von hochbezahlten Wissensarbeitern im Allgemeinen und speziell von Wissensarbeitern in den Jobs von MBA-Absolventen, einschließlich Analysten, Managern und Beratern, zu automatisieren“. Doch auch er kam zu dem Ergebnis, dass ChatGPTs Schwäche mathematische Aufgaben sind. Der Chatbot mache „überraschende Fehler bei relativ einfachen Berechnungen auf dem Niveau der sechsten Klasse“ und habe Probleme in der Berechnung stochastischer Fragestellungen (t3n.de).

Im theoretischen Teil des United States Medical Licensing Exam, einer standardisierten Prüfung für US-Medizinstudierende als Voraussetzung ihrer ärztlichen Tätigkeit, konnte ChatGPT die Mindestpunktzahl erreichen (plos.org). Allerdings wurden hierbei beispielsweise bildbasierte Fragen ausgeklammert, da ChatGPT nur Texteingaben verarbeiten kann. Zudem wurden auch nicht-eindeutige Antworten der KI entfernt. Die Mindestgrenze besteht bei ca. 60 %. Erreicht wurden von ChatGPT in den drei Bereichen 52–75 %. Unter Berücksichtigung der nicht-eindeutigen Antworten erzielte es nur noch 36–61 % (n-tv.de).

Auch der Bayerische Rundfunk hat ChatGPT gemeinsam mit bayerischen Gynmasiallehrer:innen in vier Fächern auf den Prüfstand gestellt (medium.com). Die Aufgaben basierten auf Abiturprüfungen aus dem Jahr 2022. In Deutsch schnitt der Chatbot mit der Note 5+ besonders schlecht ab. Er sollte einen Text von Miriam Meckel mit dem Titel „Wenn ein Algorithmus die ganze Literaturgeschichte revolutioniert: Im Maschinozän schreiben Maschinen bessere Texte als Menschen“ analysieren. Auch bei der Interpretation eines weiteren Textes konnte ChatGPT nicht punkten. In Mathematik hat es mit der Note 4– und in Geschichte mit einer 3+ bestanden und in Informatik ist es mit einer 5 durchgefallen. Einige Fragen mussten kürzer formuliert oder in kleinere Teilaufgaben aufgeteilt werden. Die Autor:innen kommen zu dem Fazit, dass die Abitur-Leistungen des Chatbots schwanken und das Programm vor allem Unkenntnis durch Imitation sehr gut überspielen kann (br.de).

Diese Entwicklungen stellen das Bildungswesen dennoch vor große Herausforderungen. In Zukunft sollten Bildungseinrichtungen den Bewertungsprozess also anpassen, indem sie weniger auf das reine Abfragen von Wissen setzen und stattdessen stärker auf kritische Reflexion und Interpretation Wert legen. Da KI-Systeme zunehmend Texte verfassen können, werden neue Kriterien und Prüfungsformen erforderlich sein (swr.de). Berlins Wissenschaftssenatorin Ulrike Gote vergleicht die Einführung von ChatGPT mit der Online-Enzyklopädie Wikipedia und führt als mögliche Lösung kombinierte Prüfungen aus schriftlicher Ausarbeitung und mündlichem Kolloquium an (heise.de). Christian Schröder, Vizepräsident der TU Berlin, ist der Meinung, dass mit ChatGPT für jede Prüfung individuell abgewogen werden müsse, welche Prüfungsform umsetzbar sei. Sogenannte Open-Book-Klausuren könnten noch „für spezielle Rechnungen und hochspezialisierte Fragen“ eingesetzt werden, da der Chatbot diese nicht einfach beantworten kann. In Grundlagenfächern könne man Open-Book-Klausuren nicht mehr umsetzen. Stattdessen würden Prüfungsformen „in denen die Form der Hilfsmittel überprüfbar ist“ in den Fokus rücken(tagesspiegel.de). Auch Mechthild von Münchhausen, Pressesprecherin der Leibniz-Universität Hannover sagt: „Es wird immer weniger um reines Abfragen und immer mehr um ein Einordnen, Einschätzen und Erklären gehen.“ Sie sieht hierin eine positive Entwicklung der Prüfungskultur (ndr.de). Trotz der neuen Möglichkeiten von ChatGPT handelt es sich um ein Versuchsprojekt, das stets weiterentwickelt wird. Obwohl die Software bereits mit einer großen Menge an Informationen trainiert wurde, besteht die Sorge, dass sie aufgrund ihrer Datenbasis Vorurteile und Fehler verbreiten könnte. Es liegt weiterhin in der Verantwortung der Nutzer:innen, Fakten zu überprüfen und zwischen sinnvollen und unsinnigen Informationen zu differenzieren. 

Im Februar 2023 hat Microsoft die neueste Version ihrer Suchmaschine Bing vorgestellt. Diese Version integriert die Fähigkeiten von ChatGPT in die bisherigen Such-Funktionalitäten, mit dem entscheidenden Vorteil, dass ChatGPT hier Zugriff auf Live-Daten aus dem Netz hat – im Unterschied zum öffentlich zugänglichen Prototypen, der nur Daten bis 2021 verarbeiten kann. Diese Implementierung ist eine Revolution für Suchmaschinen, da eine Suche mittels eines Chats bisher nicht in dieser Ausprägung möglich war (microsoft.com). Auch Google hat einen Chatbot namens Bard zum Testen freigegeben. Bard dürfen allerdings momentan nur ausgewählte Personen nutzen (theverge.com).

Die meisten Nutzer:innen von Suchmaschinen bedienen diese nicht optimal und erhalten somit oft nicht die Informationen, die sie suchen (wiley.com). Außerdem werden nur die ersten Suchresultate von Nutzer:innen in Betracht gezogen. Durch das Einführen eines Chats, beispielsweise mit einem Modell wie ChatGPT, zur Verfeinerung der Suche, könnten die Resultate zutreffender für die Nutzer:innen sein. Da ChatGPT-gestützte Suchmaschinen nicht allein nach vorgegebener Semantik suchen, sondern basierend auf Wahrscheinlichkeiten den Kontext einer Suche besser zuordnen können, sind die Resultate in der Regel besser auf die Suchkriterien zugeschnitten. 

Ein weiterer Aspekt ist die verbesserte Anwendung von Semantik und Sprachen gegenüber bisherigen Modellen. Auch wenn ChatGPT als Antwort Zusammenfassungen von Texten zurückgibt, sind diese von semantisch hoher Qualität. Auch wenn diese Systeme momentan auf Wahrscheinlichkeitsberechnungen beruhen, aufgrund derer bestimmt wird, welches Wort als nächstes kommt, ist dies ein großer Fortschritt in der Linguistik (theverge.com). Jedoch versteht eine KI die Sätze nicht, da der Bezug zwischen dem Inhalt und der Aussage nicht vorhanden ist. Hierdurch entsteht das Problem der Verbreitung von Fehlinformationen, was häufig kritisiert wird. Außerdem prüfen die Systeme nicht die Zuverlässigkeit ihrer Quellen (derstandard.de). Implementierte Filter, um beispielsweise Hate-Speech zu vermeiden, sind einfach zu umgehen (chip.de).

Abschließend ein Auszug aus der Antwort von ChatGPT auf unserer Bitte um eine kritische Selbsteinschätzung:

»Chat-GPT kann zweifellos beeindruckende Leistungen erbringen. Sie kann flüssige und kohärente Texte schreiben, die oft wie von einem Menschen verfasst wirken. Sie kann Fragen beantworten, Meinungen äußern, Witze machen und sogar Gedichte oder Geschichten erfinden. Sie kann sich an verschiedene Stile und Kontexte anpassen und mit den Nutzerinnen und Nutzern interagieren.

Allerdings hat Chat-GPT auch viele Grenzen und Probleme. Zum einen ist Chat-GPT nicht intelligent im eigentlichen Sinne. Sie versteht nicht wirklich, was sie schreibt oder was ihr gesagt wird. Sie reproduziert nur Muster aus den Daten, die sie analysiert hat. Dabei kann sie Fehler machen, Widersprüche erzeugen oder Unsinn erzählen. Zum anderen ist Chat-GPT nicht neutral oder objektiv. Sie spiegelt die Vorurteile und Stereotype wider, die in den Daten vorhanden sind. Sie kann auch falsche oder irreführende Informationen verbreiten oder ethische oder rechtliche Grenzen überschreiten.«

Interessant ist die Tatsache, dass ChatGPT auf die Frage nach den passenden Pronomen das Neutrum wählt, in der selbst verfassten Selbsteinschätzung aber weibliche Artikel nutzt.

Haben Sie schon kontroverse Erfahrungen mit ChatGPT gemacht? Wir freuen uns sehr über Ihre Erfahrungen und Meinungen. Gerne können Sie hierzu über Twitter unter @society_read oder per Mail an redaktion.sozioinformatik@cs.uni-kl.de mit uns in Kontakt treten. Dieser Beitrag wurde von Yasmina Adams, Sarah Groos und Elrike van den Heuvel aus der Redaktion „SocIeTy“ (ehem. Redaktion Sozioinformatik) verfasst.

GI-MELDUNGEN

.inf abonnieren: eine Anleitung. Die Resonanz auf unser neues Mitgliedermagazin .inf war nahezu durchweg positiv – was uns sehr freut! Allerdings schien es wohl nicht so ganz einfach, die .inf als gedrucktes Heft zu bestellen. Nach dem Einloggen im Mitgliederbereich rufen Sie die Seite „Mitgliedschaft und Leistungen“ auf. Dort finden Sie die .inf dann unter „+hinzufügen“. weiterlesen

INFORMATIK 2023 in Berlin – Frühbuchung noch bis 30. April. Designing Futures: unter diesem Mottos steht die diesjährige GI-Jahrestagung, die wir als Festival in Berlin organisieren. Über vier Tage bietet die INFORMATIK 2023 gemeinsam mit den Teiltagungen KI2023 und SKILL2023 ein pralles Programm. Die Registrierung ist ab sofort geöffnet.  weiterlesen

GI-Fellows 2023: Ihre Ideen? Wie in jedem Jahr freut sich der Auswahlausschuss für die GI-Fellows über Vorschläge aus der Mitgliedschaft, welches GI-Mitglied sich in besonderer Weise um die GI und/oder die Informatik im Allgemeinen verdient gemacht hat. Wir zeichnen GI-Mitglieder mit einer besonderen Geschichte aus und stellen diese im Rahmen der INFORMATIK 2023 vor. Details zur Nominierung hinter dem Link.  weiterlesen

Kennen Sie eigentlich den GI-Pressespiegel dort sammeln wir die Berichterstattung über unsere Fachgesellschaft in Zeitungs-, Radio- und Fernsehbeiträgen. Schauen Sie rein, es gibt da immer wieder Neues oder auch ältere Fundstücke.

FUNDSTÜCK

Weniger Zeit am Smartphone verbringen! Viele von Ihnen lesen das GI-Radar vermutlich auf einem Smartphone. Haben Sie ein Gefühl dafür, wie viel Zeit Sie jeden Tag an Ihrem Smartphone verbringen? Wie oft entsperren Sie das Gerät? Wie viele Benachrichtigungen unterbrechen Sie, während Sie über etwas nachdenken? Schon lange warnt die Forschung davor, dass gerade eine intensive und ununterbrochene Smartphone-Nutzung, wie sie sich bei immer mehr Menschen eingeschlichen hat, erhebliche Spuren hinterlässt: unsere Konzentrationsfähigkeit leidet und unsere Produktivität sinkt. Einen kurzen Überblick mit vielen Links zum Weiterlesen finden Sie in unserem Fundstück, das schon im Jahr 2019 für die Problematik sensibilisiert hat.  Zum Fundstück (quarks.de)

Welches Fundstück hat Sie zuletzt inspiriert? Senden Sie uns Ihre Ideen!

Dies war Ausgabe 333 des GI-Radars vom 21.04.2023. Zusammengestellt hat diese Ausgabe Dominik Herrmann – während das Smartphone im Nicht-Stören-Modus war. GI-Geschäftsführerin Cornelia Winter hat die Mitteilungen und Meldungen zusammengetragen. Das nächste GI-Radar erscheint am 5. Mai 2023.

Im GI-Radar berichten wir alle zwei Wochen über ausgewählte Informatik-Themen. Wir sind sehr an Ihrer Meinung interessiert. Für Anregungen und Kritik haben wir ein offenes Ohr, entweder per E-Mail (redaktion@gi-radar.de) oder über das Feedback-Formular bei SurveyMonkey. Links und Texte können Sie uns auch über Twitter (@informatikradar) zukommen lassen.