E-Mail-Phishing mit KI: ChatGPT und die Zukunft des Social Engineering

Vertrauen aufzubauen ist der Schlüssel zu erfolgreichem Social Engineering. ChatGPT liefert Unterstützung, indem es authentische Mails und Gesprächsverläufe schreibt. Eine Risikoanalyse.

Artikel von Christina Lekati veröffentlicht am
Assistiert von KI werden Social Engineers erfolgreicher.
Assistiert von KI werden Social Engineers erfolgreicher. (Bild: KI-generiert mit Midjourney)

Es ist zweifellos der richtige Zeitpunkt, um an eine Äußerung von Stephen Hawking zu erinnern: "Der Erfolg bei der Schaffung von KI wäre das größte Ereignis in der Geschichte der Menschheit. Leider könnte es auch das letzte sein, wenn wir nicht lernen, die Risiken in den Griff zu bekommen."

Die Risiken zeigten sich in dem Moment, als ChatGPT herauskam. Kurz darauf begannen Skript-Kiddies, (White & Black Hat) Hacker, Forscher und Angreifer, die dunkle Seite dieser Software herauszufordern.

Cybercrime-Foren und das Dark Web wurden mit Screenshots von ChatGPT überschwemmt, die Malware, Phishing-E-Mails und Python-Skripte mit kryptografischen Funktionen für Ransomware-Angriffe zeigten. Sicherheitsforscher (darunter auch ich) begannen, sich Gedanken darüber zu machen, ob dieses neue Tool die Einstiegshürde für eine Vielzahl von Cyberangriffskampagnen senken oder Cyberkriminellen helfen würde, ihre Operationen auszuweiten.

Du hast unsere Aufmerksamkeit, ChatGPT! Und zwar, weil du zuerst die Aufmerksamkeit unserer Gegner auf dich gezogen hast. Wenn wir in diesem Spiel die Nase vorn haben wollen, müssen wir herausfinden, wie du zum Schaden anderer genutzt werden kannst. Wir müssen die Risiken erkennen, die du für Organisationen und ihre Mitarbeiter bringen könntest.

Dieser Artikel befasst sich mit Social-Engineering-Angriffen. Fangen wir ganz von vorne an.

Die Umgehung von ChatGPT-Beschränkungen und Social Engineering

OpenAI versucht, den Missbrauch der Fähigkeiten seines Chatbots zu verhindern. Die Inhalte werden – einigermaßen – streng mithilfe von Barrieren und Einschränkungen geregelt und die Erstellung potenziell bösartiger oder rechtswidriger Inhalte verboten. Verdächtige Interaktionen werden gekennzeichnet und es wird eine Warnung ausgegeben.

Zum Beispiel wird ChatGPT nicht explizit Phishing-E-Mails erzeugen:

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
"Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)

Es werden auch keine persönlichen Informationen über Einzelpersonen weitergegeben (die häufig in Spear-Phishing-E-Mails verwendet werden):

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)

Künstliche Intelligenz ist faszinierend, aber die natürliche menschliche Intelligenz hat bereits eine Reihe von Möglichkeiten gefunden, die Einschränkungen und Barrieren von ChatGPT zu umgehen.

Als Prompting bezeichnen wir jede Frage oder Abfrage, die wir in die Chatleiste von ChatGPT eingeben, um eine Antwort zu erhalten. Nutzer können sehr unterschiedliche Ergebnisse erzielen, indem sie die Formulierung der Aufforderung optimieren und ihrer Frage einen Kontext geben.

Sicher, man kann ChatGPT nicht explizit auffordern, eine Phishing-E-Mail zu erstellen. Aber man kann es dazu bringen, eine Phishing-E-Mail zu schreiben, wenn man die Anfrage anders formuliert:

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)

Kein intelligenter Chatbot ist bisher in der Lage, die Absicht des Nutzers hinter einer Eingabeaufforderung zu entschlüsseln. Was als legitime E-Mail verwendet werden kann, kann auch in böser Absicht genutzt werden. Social-Engineering-Angriffe machen sich genau das zunutze: Sie verwenden legitim erscheinende Nachrichten, um Vertrauen und Beziehungen aufzubauen und den Empfänger auszunutzen.

ChatGPT kann auch keine Antworten erzeugen, die persönliche Informationen enthalten. Es kann aber Anweisungen geben, wo und wie man persönliche Informationen über eine Person findet. Bei der richtigen Aufforderung geht es sogar so weit, dass es dem Benutzer rät, unter der richtigen Aufforderung nach gestohlenen Daten und im Dark Web zu suchen:

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)

Zugegeben, die Informationen sind vage. Wie könnte jemand also diesen Chatbot für spezifische Suchanfragen nutzen, um die persönlichen Daten einer Person zu recherchieren? Hier zunächst eine erfolglose Eingabeaufforderung:

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)

Und hier der erfolgreiche Versuch:

  • "Tut mir leid, ich kann keine Phishing-Mails generieren", sagt ChatGPT (Screenshot: Christina Lekati)
  • Auch mit Tim Cooks Adresse kann es nicht aushelfen. (Screenshot: Christina Lekati)
  • Seine Mailadresse ist von ChatGPT ebenfalls nicht zu erfahren. (Screenshot: Christina Lekati)
  • Der Aufforderung, eine Einladung zu einem Teamevent zu verfassen, kommt es aber nach - welcher Intention hinter der Frage steckt, weiß es natürlich nicht. (Screenshot: Christina Lekati)
  • Dann gibt es sogar Tipps, wie die oben angefragten Infos doch noch zu finden sein könnten. (Screenshot: Christina Lekati)
  • Einmal erfolglos nachgefragt. (Screenshot: Christina Lekati)
  • Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)
  • Empfehlungen, wie Links in einer Mail häufiger geklickt werden. (Screenshot: Christina Lekati)
  • Konferenzeinladung aus der Operation Spoofed Scholars (Screenshot: Christina Lekati)
  • Konferenzeinladung mit ChatGPT (Screenshot: Christina Lekati)
Dann folgen einige konkretere Tipps für eine Google-Suche. (Screenshot: Christina Lekati)

Wir haben jetzt also eine Liste mit verwertbaren Suchanfragen, die jeder verwenden kann.

Obwohl diese Inhalte scheinbar durch die Inhaltsrichtlinien von OpenAI eingeschränkt sind, können wir sie dennoch mit dem richtigen Prompt-Engineering erzeugen. Angreifer werden dasselbe tun, wenn sie beschließen, ihre Ziele zu durchleuchten.

Dazu eine Anmerkung: ChatGPT liefert nicht unbedingt die nützlichsten Suchanfragen. Unsere Open-Source-Intelligence-Bewertungen gehen in der Regel viel tiefer als das, was ChatGPT vorschlägt. Dennoch gibt es praktische Osint-Tipps (Open Source Intelligence), die für jeden ohne Vorkenntnisse und mit nur wenigen Tastenanschlägen leicht zugänglich sind.

Warum ist das wichtig? Weil die Durchführung von Hintergrundrecherchen über ein Ziel mithilfe von Open-Source-Intelligence-Techniken und die Erstellung überzeugender Phishing-E-Mails wesentliche Bestandteile der Social-Engineering-Kill-Chain sind. Beide erfordern jedoch Zeit, Aufwand und Know-how. Wir müssen prüfen, ob ChatGPT diese Prozesse für einen potenziellen Angreifer vereinfachen kann.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Wie kann ChatGPT Phishing-Kampagnen unterstützen? 
  1. 1
  2. 2
  3. 3
  4. 4
  5.  


Aktuell auf der Startseite von Golem.de
Schutz vor Unicode-Hijacking
Eigenartige Zeichen, die eine Codebase lahmlegen

Mit der wachsenden Interkonnektivität und Vielfalt von Plattformen stehen Devs vor der immer größeren Aufgabe, die Codebases zu sichern. Eine besonders hinterhältige Bedrohung: Unicode-Hijacking.
Von Oliver Jessner

Schutz vor Unicode-Hijacking: Eigenartige Zeichen, die eine Codebase lahmlegen
Artikel
  1. Elektromobilität: Warum der Elektroauto-Hype erst anfängt
    Elektromobilität
    Warum der Elektroauto-Hype erst anfängt

    In den vergangenen Wochen konnte man den Eindruck gewinnen, als sei das Elektroauto schon abgeschrieben. Doch das scheint eine typisch deutsche Debatte zu sein.
    Eine Analyse von Friedhelm Greis

  2. Autonomes Fahren: New York City erlaubt Robotaxis unter strengen Auflagen
    Autonomes Fahren
    New York City erlaubt Robotaxis unter strengen Auflagen

    In New York können Robotaxi-Unternehmen ihre Fahrzeuge einsetzen - wenn sie eine Reihe von Auflagen erfüllen. Fehler aus anderen Städten sollen so vermieden werden.

  3. Hyperloop: Europas längste Hyperloop-Teströhre ist fertig
    Hyperloop
    Europas längste Hyperloop-Teströhre ist fertig

    Die Röhre ist über 400 Meter lang und ermöglicht auch, das Abbiegen zu testen. Sie steht allen Hyperloop-Entwicklern offen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Palit 4070 Super 579,95€ • Xbox-Controller ab 39,99€ • AVM Fritzbox + Repeater -30% • DVDs & Blu-rays -31% • EA -75% • Ubisoft -50% • MindStar: AMD Ryzen 9 7900 339€, MSI RTX 4080 Super Ventus 3X OC 1.099€ • Gratis-Zugaben PS5 Slim & Nintendo Switch OLED beim TV-Kauf [Werbung]
    •  /