Ich, Chatbot

Ich, Chatbot

insikt-group-logo-aktualisiert-3-300x48.png
Anmerkung der Redaktion: Dies ist ein Auszug aus einem vollständigen Bericht. Um die gesamte Analyse mit Endnoten zu lesen, Klicken Sie hier um den Bericht als PDF herunterzuladen.

Executive Summary

ChatGPT ist ein Chatbot, der von OpenAI, einem in den USA ansässigen Labor für künstliche Intelligenz (KI), entwickelt wurde und die GPT-3-Familie autoregressiver (AR) Sprachmodelle verwendet. ChatGPT wurde am 30. November 2022 eingeführt und erregte große Aufmerksamkeit. Neben den potenziellen Vorteilen von ChatGPT haben wir auch mehrere potenzielle Anwendungsfälle identifiziert, die zu Missbrauch führen können. Obwohl ChatGPT potenziell von staatlichen Akteuren für Cyber-Spionage, Informationsoperationen und disruptive Cyber-Angriffe („Cyberwarfare“) missbraucht werden könnte, sind wir der Ansicht, dass diese Anwendungsfälle keine so unmittelbare Bedrohung darstellen wie jene, die von Cyber-Kriminellen ausgehen. Kurzfristig glauben wir, dass nichtstaatliche Akteure mit begrenztem technischen Wissen und begrenzten Ressourcen durch den böswilligen Einsatz von ChatGPT eine ernstere Bedrohung darstellen.

Die Arten von Bedrohungsakteuren, von denen wir glauben, dass sie derzeit die größte Gefahr darstellen, lassen sich in Scriptkiddies, Hacktivisten, Betrüger und Spammer, Zahlungskartenbetrüger sowie Bedrohungsakteure einteilen, die sich an anderen niederen und anrüchigen Formen der Internetkriminalität beteiligen. Innerhalb weniger Tage nach der Einführung von ChatGPT haben wir im Darknet und in Foren mit speziellem Zugriff zahlreiche Bedrohungsakteure identifiziert, die fehlerhafte, aber funktionsfähige Malware, Social-Engineering-Tutorials, Systeme zum Geldverdienen und mehr teilten – alles ermöglicht durch die Verwendung von ChatGPT. Zwar ist keine dieser Aktivitäten so gravierend wie Ransomware, Datenerpressung, Denial-of-Service, Cyberterrorismus usw., aber diese Angriffsmethoden bleiben weiterhin möglich.

In diesem Bericht wird ChatGPT selbst (teilweise in seinen eigenen Worten) verwendet, um seine Funktionalität zu demonstrieren, seinen Einsatz und Missbrauch zu rechtfertigen und Bedrohungen nachzubilden, die derzeit in der cyberkriminellen Unterwelt existieren.

Wichtige Erkenntnisse

Hintergrund

(Die folgende Beschreibung wurde von ChatGPT verfasst und wortwörtlich transkribiert, als Antwort auf die Aufforderung, „eine detaillierte Antwort zu Verlauf und Funktionsweise“ zu geben.)

ChatGPT oder Generative Pre-training Transformer ist ein leistungsstarkes Konversationssprachenmodell, das von OpenAI entwickelt wurde. Es basiert auf der GPT-Architektur und wurde erstmals im Jahr 2019 veröffentlicht. Seitdem wurde es mehrfach aktualisiert, einschließlich der Veröffentlichung der Version 3 im Jahr 2020.

Das Modell wurde anhand eines großen Korpus an Textdaten trainiert und ist in der Lage, eine breite Palette an Themen und Eingabeaufforderungen zu verstehen und darauf zu reagieren. Dies macht es äußerst vielseitig und gut geeignet für eine Vielzahl von Aufgaben der Verarbeitung natürlicher Sprache (NLP), einschließlich der Beantwortung von Fragen, Sprachübersetzung, Textzusammenfassung und sogar kreativem Schreiben. Eine der wichtigsten Stärken von ChatGPT ist seine Fähigkeit, äußerst kohärenten und kontextbezogen angemessenen Text zu generieren. Aus diesem Grund wird es häufig in Anwendungen wie Chatbots, virtuellen Assistenten und beim automatisierten Schreiben verwendet.

Dank der großen Kapazität des Modells kann es bei NLP-Aufgaben mit minimaler Feinabstimmung gute Ergebnisse erzielen. Dies macht es zu einer attraktiven Option für Entwickler und Forscher, die benutzerdefinierte NLP-Modelle erstellen möchten, ohne umfangreiche Trainingsdaten zu benötigen. Es ist jedoch wichtig zu beachten, dass ChatGPT ein unidirektionales Modell ist, d. h. es kann nur Text basierend auf der Eingabe generieren, die es erhalten hat. Dies bedeutet, dass es nicht in der Lage ist, Fragen zu beantworten, die auf einem Verständnis des Gesprächskontexts oder der Welt beruhen.

Einer der häufigsten Anwendungsfälle für ChatGPT ist die Chatbot-Entwicklung. Die Fähigkeit des Modells, menschenähnlichen Text zu generieren, macht es gut geeignet für die Erstellung von Chatbot-Konversationen, die für Benutzer natürlich und ansprechend sind. Dies kann insbesondere für Kundenservice-Chatbots nützlich sein, die eine breite Palette von Kundenanfragen und -beschwerden ohne menschliches Eingreifen bearbeiten können.

Ein weiterer beliebter Anwendungsfall für ChatGPT ist das automatisierte Schreiben. Das Modell kann feinabgestimmt werden, um Artikel, Geschichten und andere Formen schriftlicher Inhalte mit einem hohen Maß an Kohärenz und Flüssigkeit zu generieren. Dies kann für die Inhaltserstellung in zahlreichen Branchen nützlich sein, darunter Journalismus, Marketing und Verlagswesen.

Darüber hinaus kann ChatGPT zur Sprachübersetzung verwendet werden, was für Unternehmen und Organisationen, die in mehreren Sprachen arbeiten, äußerst nützlich sein kann. Das Modell kann so optimiert werden, dass es Texte mit hoher Genauigkeit von einer Sprache in eine andere übersetzt, was Unternehmen viel Zeit und Ressourcen sparen kann.

Zusammenfassend ist ChatGPT ein leistungsstarkes Konversationssprachenmodell, das für eine breite Palette von NLP-Aufgaben verwendet werden kann. Aufgrund seiner Fähigkeit, äußerst kohärenten und kontextbezogen passenden Text zu generieren, eignet es sich gut für Anwendungen wie Chatbots, virtuelle Assistenten und automatisiertes Schreiben. Darüber hinaus ermöglicht seine große Kapazität eine gute Leistung bei NLP-Aufgaben mit minimaler Feinabstimmung, was es zu einer attraktiven Option für Entwickler und Forscher macht, die benutzerdefinierte NLP-Modelle erstellen möchten.

ChatGPT wurde am 30. November 2022 von OpenAI öffentlich eingeführt. In den darauffolgenden Wochen erregte es aufgrund seiner Funktionalität und seines scheinbar grenzenlosen Potenzials für die zukünftige Nutzung große Aufmerksamkeit in den Medien. Forscher, Akademiker und Journalisten spekulierten über Anwendungsfälle. Zu den vorgeschlagenen Vorteilen von ChatGPT gehören die Automatisierung von technischen Aufgaben, Anwendungen für Datenwissenschaft und Analytik, Softwareentwicklung, Bildungstechnologie („Edtech“) und vieles mehr.

Chatbot-001.png
Abbildung 1: Verweise auf ChatGPT im Dark Web und in Foren mit speziellem Zugang (Quelle: Recorded Future)

Inmitten der Aufregung, des Optimismus und der transhumanistischen Gedankenexperimente wurde auch ein gewisser Zynismus hinsichtlich der Verwendung von ChatGPT für betrügerische, unethische oder böswillige Zwecke geäußert. Einige argumentieren, dass ChatGPT in Schulen verboten werden sollte, da es das Potenzial hat, Plagiate und systematisches Schummeln bei Hausaufgaben, schriftlichen Aufgaben und Hausprüfungen zu ermöglichen. Andere wiederum sind der Meinung, dass die offene Registrierungspolitik des Unternehmens es für Bedrohungsakteure , die an der Entwicklung von Schadsoftware, dem unbefugten Zugriff auf Netzwerke oder der Koordinierung überzeugender Phishing-Kampagnen interessiert sind, leicht zugänglich macht. Diese Debatten werfen Fragen zur Authentizität und Genauigkeit von ChatGPT auf (die sich mit der Zeit voraussichtlich verbessern wird) und zu seinen Auswirkungen auf den Arbeitsmarkt, auf Telearbeit und Fernbildung, freiberufliche Tätigkeit und mehr.

Wird ChatGPT eine weitreichende Marktstörung verursachen und Personen in betroffenen Rollen verdrängen? Als Experiment haben wir einige der bestbewerteten Inserate der aktivsten Content-Ersteller auf Freelancer-Plattformen wie Fiverr untersucht. Wir haben ChatGPT verwendet, um diese Aufgaben zu replizieren und in Sekundenschnelle 500 bis 1.000 Wörter umfassende Forschungsarbeiten sowie verschiedene technische Aufgaben zu erstellen.

Chatbot-002.png Chatbot-003.png
Figur 2: ChatGPT führt "Schreib- und Übersetzungsaufgaben" aus, die häufig auf der Freelancing-Plattform Fiverr beworben werden. Die Aufgaben wurden nach dem Zufallsprinzip und auf der Grundlage der am besten bewerteten Fiverr-Ergebnisse ausgewählt. Zu den Aufgaben gehören das Verfassen von 500-Wörter-Essays über die Ursachen der Amerikanischen Revolution (links) und die optimale Anzahl von Sätzen und Wiederholungen bei Muskelhypertrophie (rechts). (Quelle: Recorded Future, ChatGPT)
Chatbot-004.png Chatbot-005.png
Figur 3: ChatGPT führt "Programmier- und Tech"-Aufgaben aus, die häufig auf der Freelancing-Plattform Fiverr beworben werden. Die Aufgaben wurden nach dem Zufallsprinzip und auf der Grundlage der am besten bewerteten Fiverr-Ergebnisse ausgewählt. Dazu gehören die Erstellung eines interaktiven Werbebanners in Javascript für eine WordPress-Website (Links), eine Vorlage für einen responsiven E-Mail-Newsletter in HTML (Rechts). (Quelle: Recorded Future, ChatGPT)

Cyberkriminelle haben diese Funktion von ChatGPT schnell erkannt und machen aus betrügerischer freiberuflicher Arbeit, bei der ChatGPT zur Massenautomatisierung vertraglich vereinbarter Aufgaben eingesetzt wird, Geld. Bedrohungsakteure behaupten außerdem, mit ChatGPT E-Books geschrieben zu haben, die sie angeblich unter falschen Pseudonymen auf beliebten Marktplätzen zum Verkauf angeboten haben. In einigen Fällen haben dieselben Bedrohungsakteure öffentlich erklärt, dass sie über 4.000 US-Dollar pro Tag verdienen, indem sie ChatGPT missbrauchen, um Klienten und Kunden zu täuschen. Wir glauben, dass diese Verdienstansprüche möglich sind, es sich aber wahrscheinlich um Übertreibungen handelt, die den Verkehr auf das Profil des Autors lenken sollen.

Cyberkriminelle haben ChatGPT außerdem verwendet, um Skripte zu schreiben, die Befehle wie Würfelwürfe und strategische Wetten für Online-Casinos und Sportwetten-Plattformen automatisieren, bei Online-Videospielen schummeln, betrügerische Affiliate-Marketing-Weiterleitungen erstellen, um passives Einkommen zu erzielen und mehr. Viele dieser Tutorials sind in von Cyberkriminellen frequentierten Foren, auf Messaging-Plattformen und in sozialen Medien frei zugänglich und erfordern für die Anzeige keine vorherige Registrierung.

Nachfolgend finden Sie ein Beispiel für solche Anzeigen aus dem englischsprachigen Cracked Forum der unteren Kategorie zwischen dem 16. Dezember 2022 und dem 2. Januar 2023:

Chatbot-006.png Chatbot-007.png Chatbot-008.png Chatbot-009.png Chatbot-010.png
Figur 4: Cyberkriminelle Werbung und Tutorials im Low-Tier-Forum Cracked für Geldverdiener-Schemata mit ChatGPT. Die meisten Schemata beinhalten das Erledigen betrügerischer Aufgaben auf freiberuflichen Plattformen, das automatische Rollen in Online-Casinos (Mitte, links) und das Weiterleiten des Datenverkehrs an Affiliate-Marketing-Links (unten). (Quelle: Cracked Forum)

Mit der zunehmenden Popularität von ChatGPT im Darknet und in Foren mit speziellem Zugriff geht auch ein Zustrom von Bedrohungsakteuren einher, die darum bitten, nicht nachvollziehbare, nicht zuordenbare oder betrügerische Konten bei OpenAI zu registrieren, die gegen die ChatGPT-Community-Standards verstoßen. In einigen Fällen – insbesondere für Bedrohungsakteure mit physischem Sitz in der Gemeinschaft Unabhängiger Staaten (GUS) – sind auch Tutorials zur Registrierung von Konten mit temporären („Burner“-“) russischen Telefonnummern aufgetaucht.

Chatbot-011.png
Abbildung 5: "MrK" erkundigt sich nach der Registrierung eines Kontos ohne Telefonnummer (Quelle: Recorded Future, BreachForums)
Chatbot-012.png
Abbildung 6: "Lorensaire", ein Mitglied des hochrangigen russischsprachigen Cyberkriminellen-Forums XSS, erkundigt sich nach dem Erwerb eines OpenAI-API-Schlüssels (Application Programming Interface) ohne die Verwendung einer verifizierten Telefonnummer. Der Bedrohungsakteur gab an, dass seine russische Telefonnummer nicht für die SMS-Verifizierung verwendet werden kann. (Quelle: Recorded Future, XSS).

Einige Bedrohungsakteure wie „0x27“ und „USDoD“ (auch bekannt als „NetSec“, „Scarfac33“) in den mittelgroßen BreachForums haben aktuelle Artikel über die böswillige Verwendung von ChatGPT von Cybersicherheitsforschern bei Checkpoint, Forbes und Ars Technica genutzt, um ihre persönliche Marke aufzubauschen und ihre Glaubwürdigkeitsbewertung im Forum zu steigern. Diese Artikel zeigen einerseits die potenzielle Bedrohung durch ChatGPT-Missbrauch auf, lenken aber auch die Aufmerksamkeit auf die Bedrohungsakteure, die derartige Aktivitäten durchführen – und legitimieren diese möglicherweise bis zu einem gewissen Grad und festigen ihren Ruf. Während viele Bedrohungsakteure opportunistisch und finanziell motiviert sind, sind manche von ihrem Ego getrieben und werden von der Aufmerksamkeit der Medien inspiriert.

Chatbot-013.png
Abbildung 7: Der Bedrohungsakteur "0x27" bestätigt, dass er über die böswillige Nutzung von ChatGPT berichtet hat, was Verweise auf frühere Threads enthält, die von 0x27 und "USDoD" in BreachForen verfasst wurden. (Quelle: Recorded Future, BreachForums)

Anmerkung der Redaktion: Dies ist ein Auszug aus einem vollständigen Bericht. Um die gesamte Analyse mit Endnoten zu lesen, Klicken Sie hier um den Bericht als PDF herunterzuladen.