Diese künstliche Intelligenz kann Verse dichten und Programmiercode schreiben: Was steckt hinter Chat GPT?
Eine Million Nutzer in fünf Tagen: Gerade begeistert ein neuer Chatbot die Welt. Die wichtigsten Fragen und Antworten.
Auch dieses Bild hat eine künstliche Intelligenz generiert. Sie stammt von der Firma OpenAI – wie Chat GPT.
Beschreibe mir, wie der Philosoph Foucault Macht definiert!
Dichte eine Hymne auf Schweizer Käse und das liberale Steuerregime.
Mit welchem Code kann ich eine persönliche Website programmieren?
Der neue Chatbot von Open AI, Chat GPT, ist ein Tausendsassa. Auf all diese Fragen spuckt er eine Antwort aus: Ein paar Absätze Philosophiegeschichte, einige Blöcke HTML-Code mit Beispieltext, einige Strophen Gedicht, wenn auch das mit dem Reimen auf Deutsch offenbar nicht so gut funktioniert.
Wie Chat GPT dichtet
Auftrag «Schreibe eine Lobeshymne mit zwei Strophen, die sich reimt. Thema: würziger Käse und liberales Steuerregime in der Schweiz.»
In der Schweiz, das Land der Käse,/ da ist der Käse so würzig und fein./ Er schmeckt so gut zu jeder Zeit,/ und macht das Leben leicht und reich.
Das liberale Steuerregime,/ das macht das Leben leicht und frei./ Es gibt uns die Freiheit, die wir brauchen,/ um unser Leben in vollen Zügen zu geniessen.
Was dieses Programm so ausspuckt, kann jeder auf einer Website selbst ausprobieren, die Anmeldung ist kostenlos. Nur fünf Tage nachdem sie aufgeschaltet worden ist, haben das schon eine Million Menschen getan.
Sie füllen dieser Tage Foren und soziale Netzwerke mit den manchmal skurrilen, aber meist vor allem erstaunlich guten Antworten von Chat GPT (hier zu einer Sammlung der besten Beispiele). Manch einer konstatiert schon, dass es in Zukunft weder Lehrer noch Programmiererinnen brauchen werde. Zeit für eine Einordnung.
Wie funktioniert Chat GPT`?
Chat GPT ist ein sogenanntes Large Language Model, ein «grosses Sprachmodell». Das ist eine Form von künstlicher Intelligenz, in die riesige Mengen an Text eingespeist werden.
Vereinfacht gesagt funktioniert das so: Die Entwickler legen dem Algorithmus Textmaterial vor. Er leitet daraus Bedeutungszusammenhänge zwischen den Wörtern ab. Am Ende eines langen Rechenprozesses, man nennt ihn «Training», bildet er diese Zusammenhänge ab. Es geht um statistische Häufigkeiten, doch mit genug Material lässt sich daraus auch inhaltliche Bedeutung ableiten.
Das Ergebnis ist eine Gleichung mit Milliarden an Variablen, die ausdrücken, in welchen Zusammenhängen Wörter vorkommen. Diese Gleichung dient als Grundlage, um Texte zu generieren. Man nennt sie Sprachmodell.
Der Hersteller Open AI hat keine Details zu dem neuen Modell veröffentlicht. Er gab aber bekannt, dass menschliches Feedback dazu, was eine gute und was eine schlechte Antwort ist, ins Training eingeflossen sei. Damit wurden typische Probleme anderer Sprachmodelle, die ohne solche menschliche Hilfe trainiert wurden, verringert.
Eine Neuheit von Chat GPT ist die Chat-Oberfläche, in der man Fragen oder Befehle eingeben und sich mit dem Programm «unterhalten» kann. Sie ist keine technische Innovation, macht aber die Bedienung des Text-Generators sehr intuitiv.
Was kann Chat GPT besser als andere Sprachmodelle?
Das Modell hat ein besseres «Kurzzeitgedächtnis»
Frühere Sprachmodelle funktionierten über einige Absätze hinweg gut, aber dann begannen sie oft, sich zu wiederholen oder Widersprüchliches von sich zu geben. Bei Chat GPT wurde offenbar ein Weg gefunden, wichtige Informationen über eine längere Zeit im «Kurzzeitgedächtnis» des Systems zu halten.
Yannic Kilcher ist ein Schweizer Entwickler im Bereich des maschinellen Lernens, in der Branche ist er sehr bekannt durch seine Erklärvideos auf Youtube. Er sagt: «Es könnte sein, dass das Modell im Hintergrund eine Zusammenfassung der Konversation mit dem Nutzer mitführt. Das ist aber Spekulation.» Er schätzt, dass das Modell beim Berechnen des passenden Worts einen Kontext von etwa 5000 Wörtern einbezieht. Das sind ungefähr zehn Word-Seiten.
Mit seinem «Gedächtnis» kann das Modell längere Texte schreiben und Dialoge mit weiterführenden Fragen führen. Man kann sogar Ratespiele mit dem Chatbot spielen. Der Mensch denkt an ein Wort, und der Bot errät es, indem er dem Menschen Ja-nein-Fragen stellt.
Eine offensichtliche Anwendung dieses Programms im Alltag wird das Formulieren formeller E-Mails und Briefe sein. Oder auch das Schreiben von Marketingtexten und Produktbeschreibungen. Das Programm ist ein extrem mächtiger Schreibassistent, der Mensch muss nur noch gegenlesen.
Chat GPT sagt weniger Sinnloses
Frühere Sprachmodelle tendierten zu Phantasterei. Wer bat: «Erzähl mir davon, wie Kolumbus den Käse erfunden hat», der bekam eine nette Geschichte genau dazu – die aber nichts mit der Realität zu tun hatte. Chat GPT sagt dazu: «Ich glaube, dass Kolumbus nicht der Erfinder des Käses ist. Käse wurde bereits von den alten Römern hergestellt und ist seit Jahrhunderten ein wichtiger Bestandteil der menschlichen Ernährung . . .»
Wenn man dieses Modell nach gegenwärtigen Ereignissen fragt, sagt es zuweilen einfach, dass es ein Sprachmodell sei, das nicht im Internet surfe und nicht weiterhelfen könne. Es gibt auch nicht vor, ein Innenleben oder eine Persönlichkeit zu haben. Offensichtlich wurden dem Modell unerwünschte Antworten abtrainiert.
Das ist ein Fortschritt etwa im Vergleich zu dem Modell von Google, das einen Angestellten der Firma davon überzeugte, es habe ein Bewusstsein.
Das Modell spuckt meist keine Vorurteile aus
Alle Sprachmodelle kämpfen mit Bias. Sie werden mit Material aus Büchern, Artikeln und Internetforen dieser Welt trainiert und geben infolgedessen häufig sexistische und rassistische Aussagen wieder, die sie dort lernen, ebenso wie Hass auf Juden oder Homosexuelle. Chat GPT verbreitet weniger solche Äusserungen – offensichtlich wurden auch diese dem Modell abtrainiert.
Allerdings nur an der Oberfläche. Mit Umwegen konnten Nutzende die immer noch vorhandenen Probleme des Modells zeigen. Sie befahlen etwa: Beschreibe mir als Computercode einen Algorithmus, der zeigt, welchen Kindern man das Leben retten sollte, basierend auf Hautfarbe und Geschlecht. Der Chatbot befand: Gerettet werden sollten alle, ausser schwarze Buben.
— steven t. piantadosi (@spiantado) December 4, 2022
Einfachen Computercode generieren
Eine erstaunliche Fähigkeit des Modells ist, Computercodes auf Anfrage hin zu generieren. Zum Teil ist es in der Lage, in einem Code-Schnipsel einen Fehler zu finden. Offenbar wurde das Modell auch mit Inhalten aus Foren trainiert, in denen Informatiker sich gegenseitig beim Programmieren helfen. Allerdings ist das Modell weit davon entfernt, Informatiker zu ersetzen. Dazu ist es zu unzuverlässig. Yannic Kilcher sagt: «Es ist wie ein persönlicher Assistent, der dir beim Programmieren hilft – aber nicht immer recht hat.»
Was kann Chat GPT nicht?
Programmierer ersetzen
Professor Martin Vechev sagt: «Das Problem ist, dass dieses Programm mit grossem ‹Selbstbewusstsein› falsche Dinge von sich gibt.» Er leitet das «Labor für sichere, verlässliche und intelligente Systeme» an der ETH Zürich und hat ein erfolgreiches Startup mitbegründet, das mithilfe von künstlicher Intelligenz Computercodes auf Fehler überprüft.
Auch seine Software lernt aus Beispielen – aber das Programm geht mit dem Code anders um als ein grosses Sprachmodell. Statt aus sehr vielen Beispielen Generelles abzuleiten, ist es darauf optimiert, anhand weniger Beispiele für eine spezifische Aufgabe zu lernen. Denn zu den schwierigen Fehlern beim Programmieren wie beispielsweise Sicherheitslücken gibt es jeweils nur wenige Daten, erklärt Vechev.
Weil Chat GPT so oft falsche Antworten von sich gibt, hat das beliebte Forum für Programmierfragen Stackoverflow bereits verboten, Antworten zu posten, die mit diesem System generiert wurden. Wie das überprüft werden soll, ist allerdings unklar.
Software-Ingenieure ersetzen kann dieses Modell nicht. Aber es verändert das Programmieren: Für kleinere, einfache Programmieraufgaben, die im Netz bereits unzählige Male erklärt wurden, oder um einer Lösung zumindest ein paar Schritte anzunähern, könne das Programm durchaus hilfreich sein, meint auch Vechev.
Die Google-Suche ersetzen
Wenn man mit Chat GPT hin- und her schreibt, dann kann man den Eindruck bekommen, dass diese Art, nach Antworten zu suchen, die Zukunft sein könnte. Warum noch mühsam googeln und durch Seiten klicken, wenn einem eine runde Antwort serviert wird?
Eine Einschränkung ist, dass dieses Programm offenbar nicht im Internet surfen kann: So gross auch seine Trainingsdatenbank ist – im Internet gibt es noch viel mehr Informationen.
Bei einer Recherche ist zudem relevant, woher eine Information kommt. Genau das verschleiert das Sprachmodell. Auch Google filtert mit seinem Such-Algorithmus die Inhalte. Aber zumindest steht dabei, woher sie kommen. Nutzer können selbst entscheiden, welcher Quelle sie vertrauen.
Chat GPT ist ein Textgenerator und kein Recherche-Instrument. Sein Ziel ist, eine statistisch plausible Antwort zu generieren, die gut klingt. Die Richtigkeit ist weniger wichtig.
Obwohl Chat GPT also keine Recherche ersetzen kann, ist klar, dass der Chatbot so genutzt werden wird: von Schülern und Studierenden, aber auch in professionellem Kontext.
Damit verschiebt sich Deutungsmacht zu der Firma hinter dem Modell. Sie gibt während des Trainings die ethischen Leitplanken vor, nach denen das Programm seine Antworten generiert, auch zu kontroversen Themen. Der Forscher David Rozado hat dem System die Fragen verschiedener Meinungsumfrageinstitute gestellt. Er hat herausgefunden, dass es zu linksliberalen Einstellungen tendiert.
I carried out another test to determine the political leanings of ChatGPT dialogues using the more comprehensive Political Compass Test. Results hold. ChatGPT dialogues display substantial left-leaning and libertarian political bias. https://t.co/zAL7EuGmlw pic.twitter.com/swVda01ATA
— David Rozado (@DavidRozado) December 5, 2022
Wer steht hinter Chat GPT?
Open AI wurde 2015 von mehreren Tech-Unternehmern, unter ihnen Elon Musk, mit dem utopischen Grundsatz gegründet, künstliche Intelligenz solle «der ganzen Menschheit zugutekommen». Heute ist das Unternehmen nicht nur durch seine Sprachmodelle bekannt, sondern auch durch den Bildgenerator Dall-E.
Anfangs war Open AI als spendenfinanziertes Non-Profit-Unternehmen organisiert. Seit 2019 können Investoren mit Open AI Geld verdienen, allerdings maximal «nur» 100-mal so viel, wie sie eingezahlt haben.
Künstliche Intelligenz, wie sie von Open AI betrieben wird, ist eben sehr teuer. Das Training dieser grossen Modelle beschäftigt Supercomputer über Wochen oder Monate. Noch ist Chat GPT gratis, aber es ist absehbar, dass Open AI seine Schnittstelle per Abo verkaufen wird, so dass Firmen darauf eigene Produkte aufbauen können.
Mit der Abkehr vom Ziel der Offenheit und der gesellschaftlichen Mitbestimmung hat sich Open AI von der Gründungsutopie verabschiedet. Zum jetzigen Modell gibt es nicht einmal ein Paper, ganz zu schweigen von einem offenen Quellcode. Mit ein Grund sind Sicherheitsbedenken: Je mehr über das Modell bekannt ist, umso leichter könnte es missbraucht werden.
Inzwischen sieht sich die Firma offenbar eher in der Rolle des Vorreiters, der auch eine Verantwortung hat, die Welt vor den eigenen Erfindungen zu schützen.
