Ich, Chatbot

Anmerkung der Redaktion: Dies ist ein Auszug aus einem vollständigen Bericht. Um die gesamte Analyse mit Endnoten zu lesen, klicken Sie hier , um den Bericht als PDF herunterzuladen.

Executive Summary

ChatGPT ist ein Chatbot, der von OpenAI, einem in den USA ansässigen Labor für künstliche Intelligenz (KI), entwickelt wurde und die GPT-3-Familie autoregressiver (AR) Sprachmodelle verwendet. ChatGPT wurde am 30. November 2022 eingeführt und erregte große Aufmerksamkeit. Neben den potenziellen Vorteilen von ChatGPT haben wir auch mehrere potenzielle Anwendungsfälle identifiziert, die zu Missbrauch führen können. Obwohl ChatGPT potenziell von staatlichen Akteuren für Cyber-Spionage, Informationsoperationen und disruptive Cyber-Angriffe („Cyberwarfare“) missbraucht werden könnte, sind wir der Ansicht, dass diese Anwendungsfälle keine so unmittelbare Bedrohung darstellen wie jene, die von Cyber-Kriminellen ausgehen. Kurzfristig glauben wir, dass nichtstaatliche Akteure mit begrenztem technischen Wissen und begrenzten Ressourcen durch den böswilligen Einsatz von ChatGPT eine ernstere Bedrohung darstellen.

Die Arten von Bedrohungsakteuren, von denen wir glauben, dass sie derzeit die größte Gefahr darstellen, lassen sich in Scriptkiddies, Hacktivisten, Betrüger und Spammer, Zahlungskartenbetrüger sowie Bedrohungsakteure einteilen, die sich an anderen niederen und anrüchigen Formen der Internetkriminalität beteiligen. Innerhalb weniger Tage nach der Einführung von ChatGPT haben wir im Darknet und in Foren mit speziellem Zugriff zahlreiche Bedrohungsakteure identifiziert, die fehlerhafte, aber funktionsfähige Malware, Social-Engineering-Tutorials, Systeme zum Geldverdienen und mehr teilten – alles ermöglicht durch die Verwendung von ChatGPT. Zwar ist keine dieser Aktivitäten so gravierend wie Ransomware, Datenerpressung, Denial-of-Service, Cyberterrorismus usw., aber diese Angriffsmethoden bleiben weiterhin möglich.

In diesem Bericht wird ChatGPT selbst (teilweise in seinen eigenen Worten) verwendet, um seine Funktionalität zu demonstrieren, seinen Einsatz und Missbrauch zu rechtfertigen und Bedrohungen nachzubilden, die derzeit in der cyberkriminellen Unterwelt existieren.

Wichtige Erkenntnisse

• ChatGPT senkt die Eintrittsbarriere für Bedrohungsakteure mit eingeschränkten Programmierkenntnissen oder technischen Fähigkeiten. Es kann bereits mit grundlegenden Kenntnissen der Grundlagen der Cybersicherheit und Informatik effektive Ergebnisse erzielen.
• Wir haben Bedrohungsakteure im Darknet und in Quellen mit speziellem Zugriff identifiziert, die Proof-of-Concept-ChatGPT-Konversationen teilen, die die Entwicklung von Malware, Social Engineering, Desinformation, Phishing, Malvertising und Geldverdiensysteme ermöglichen.
• Wir sind davon überzeugt, dass nichtstaatliche Bedrohungsakteure durch die böswillige Nutzung von ChatGPT die unmittelbarste Bedrohung für Einzelpersonen, Organisationen und Regierungen darstellen.
• Da wir nur über begrenzte Zeit und Erfahrung mit der ChatGPT-Plattform verfügten, waren wir in der Lage, im Darknet und in Foren mit speziellem Zugriff identifizierten Schadcode zu replizieren.

Hintergrund

(Die folgende Beschreibung wurde von ChatGPT verfasst und wortwörtlich transkribiert, als Antwort auf die Aufforderung, „eine detaillierte Antwort zu Verlauf und Funktionsweise“ zu geben.)

ChatGPT oder Generative Pre-training Transformer ist ein leistungsstarkes Konversationssprachenmodell, das von OpenAI entwickelt wurde. Es basiert auf der GPT-Architektur und wurde erstmals im Jahr 2019 veröffentlicht. Seitdem wurde es mehrfach aktualisiert, einschließlich der Veröffentlichung der Version 3 im Jahr 2020.

Das Modell wurde anhand eines großen Korpus an Textdaten trainiert und ist in der Lage, eine breite Palette an Themen und Eingabeaufforderungen zu verstehen und darauf zu reagieren. Dies macht es äußerst vielseitig und gut geeignet für eine Vielzahl von Aufgaben der Verarbeitung natürlicher Sprache (NLP), einschließlich der Beantwortung von Fragen, Sprachübersetzung, Textzusammenfassung und sogar kreativem Schreiben. Eine der wichtigsten Stärken von ChatGPT ist seine Fähigkeit, äußerst kohärenten und kontextbezogen angemessenen Text zu generieren. Aus diesem Grund wird es häufig in Anwendungen wie Chatbots, virtuellen Assistenten und beim automatisierten Schreiben verwendet.

Dank der großen Kapazität des Modells kann es bei NLP-Aufgaben mit minimaler Feinabstimmung gute Ergebnisse erzielen. Dies macht es zu einer attraktiven Option für Entwickler und Forscher, die benutzerdefinierte NLP-Modelle erstellen möchten, ohne umfangreiche Trainingsdaten zu benötigen. Es ist jedoch wichtig zu beachten, dass ChatGPT ein unidirektionales Modell ist, d. h. es kann nur Text basierend auf der Eingabe generieren, die es erhalten hat. Dies bedeutet, dass es nicht in der Lage ist, Fragen zu beantworten, die auf einem Verständnis des Gesprächskontexts oder der Welt beruhen.

Einer der häufigsten Anwendungsfälle für ChatGPT ist die Chatbot-Entwicklung. Die Fähigkeit des Modells, menschenähnlichen Text zu generieren, macht es gut geeignet für die Erstellung von Chatbot-Konversationen, die für Benutzer natürlich und ansprechend sind. Dies kann insbesondere für Kundenservice-Chatbots nützlich sein, die eine breite Palette von Kundenanfragen und -beschwerden ohne menschliches Eingreifen bearbeiten können.

Ein weiterer beliebter Anwendungsfall für ChatGPT ist das automatisierte Schreiben. Das Modell kann feinabgestimmt werden, um Artikel, Geschichten und andere Formen schriftlicher Inhalte mit einem hohen Maß an Kohärenz und Flüssigkeit zu generieren. Dies kann für die Inhaltserstellung in zahlreichen Branchen nützlich sein, darunter Journalismus, Marketing und Verlagswesen.

Darüber hinaus kann ChatGPT zur Sprachübersetzung verwendet werden, was für Unternehmen und Organisationen, die in mehreren Sprachen arbeiten, äußerst nützlich sein kann. Das Modell kann so optimiert werden, dass es Texte mit hoher Genauigkeit von einer Sprache in eine andere übersetzt, was Unternehmen viel Zeit und Ressourcen sparen kann.

Zusammenfassend ist ChatGPT ein leistungsstarkes Konversationssprachenmodell, das für eine breite Palette von NLP-Aufgaben verwendet werden kann. Aufgrund seiner Fähigkeit, äußerst kohärenten und kontextbezogen passenden Text zu generieren, eignet es sich gut für Anwendungen wie Chatbots, virtuelle Assistenten und automatisiertes Schreiben. Darüber hinaus ermöglicht seine große Kapazität eine gute Leistung bei NLP-Aufgaben mit minimaler Feinabstimmung, was es zu einer attraktiven Option für Entwickler und Forscher macht, die benutzerdefinierte NLP-Modelle erstellen möchten.

ChatGPT wurde am 30. November 2022 von OpenAI öffentlich eingeführt. In den darauffolgenden Wochen erregte es aufgrund seiner Funktionalität und seines scheinbar grenzenlosen Potenzials für die zukünftige Nutzung große Aufmerksamkeit in den Medien. Forscher, Akademiker und Journalisten spekulierten über Anwendungsfälle. Zu den vorgeschlagenen Vorteilen von ChatGPT gehören die Automatisierung von technischen Aufgaben, Anwendungen für Datenwissenschaft und Analytik, Softwareentwicklung, Bildungstechnologie („Edtech“) und vieles mehr.

Abbildung 1: References to ChatGPT on dark web and special-access forums (Source: Recorded Future)

Inmitten der Aufregung, des Optimismus und der transhumanistischen Gedankenexperimente wurde auch ein gewisser Zynismus hinsichtlich der Verwendung von ChatGPT für betrügerische, unethische oder böswillige Zwecke geäußert. Einige argumentieren, dass ChatGPT in Schulen verboten werden sollte, da es das Potenzial hat, Plagiate und systematisches Schummeln bei Hausaufgaben, schriftlichen Aufgaben und Hausprüfungen zu ermöglichen. Andere wiederum sind der Meinung, dass die offene Registrierungspolitik des Unternehmens es für Bedrohungsakteure , die an der Entwicklung von Schadsoftware, dem unbefugten Zugriff auf Netzwerke oder der Koordinierung überzeugender Phishing-Kampagnen interessiert sind, leicht zugänglich macht. Diese Debatten werfen Fragen zur Authentizität und Genauigkeit von ChatGPT auf (die sich mit der Zeit voraussichtlich verbessern wird) und zu seinen Auswirkungen auf den Arbeitsmarkt, auf Telearbeit und Fernbildung, freiberufliche Tätigkeit und mehr.

Wird ChatGPT eine weitreichende Marktstörung verursachen und Personen in betroffenen Rollen verdrängen? Als Experiment haben wir einige der bestbewerteten Inserate der aktivsten Content-Ersteller auf Freelancer-Plattformen wie Fiverr untersucht. Wir haben ChatGPT verwendet, um diese Aufgaben zu replizieren und in Sekundenschnelle 500 bis 1.000 Wörter umfassende Forschungsarbeiten sowie verschiedene technische Aufgaben zu erstellen.

Figur 2: ChatGPT performing “Writing & Translation” tasks commonly advertised on the Fiverr freelancing platform. The tasks were chosen at random and based on top-rated Fiverr results. Tasks include writing 500-word essays on the causes of the American Revolution (Left) and the optimal number of sets and repetitions for muscular hypertrophy (Right). (Source: Recorded Future, ChatGPT)

Figur 3: ChatGPT performing “Programming & Tech” tasks commonly advertised on the Fiverr freelancing platform. Tasks were chosen at random and based on top-rated Fiverr results. They include creating an interactive advertisement banner in Javascript for a WordPress website (Left), a template for a responsive email newsletter in HTML (Right). (Source: Recorded Future, ChatGPT)

Cyberkriminelle haben diese Funktion von ChatGPT schnell erkannt und machen aus betrügerischer freiberuflicher Arbeit, bei der ChatGPT zur Massenautomatisierung vertraglich vereinbarter Aufgaben eingesetzt wird, Geld. Bedrohungsakteure behaupten außerdem, mit ChatGPT E-Books geschrieben zu haben, die sie angeblich unter falschen Pseudonymen auf beliebten Marktplätzen zum Verkauf angeboten haben. In einigen Fällen haben dieselben Bedrohungsakteure öffentlich erklärt, dass sie über 4.000 US-Dollar pro Tag verdienen, indem sie ChatGPT missbrauchen, um Klienten und Kunden zu täuschen. Wir glauben, dass diese Verdienstansprüche möglich sind, es sich aber wahrscheinlich um Übertreibungen handelt, die den Verkehr auf das Profil des Autors lenken sollen.

Cyberkriminelle haben ChatGPT außerdem verwendet, um Skripte zu schreiben, die Befehle wie Würfelwürfe und strategische Wetten für Online-Casinos und Sportwetten-Plattformen automatisieren, bei Online-Videospielen schummeln, betrügerische Affiliate-Marketing-Weiterleitungen erstellen, um passives Einkommen zu erzielen und mehr. Viele dieser Tutorials sind in von Cyberkriminellen frequentierten Foren, auf Messaging-Plattformen und in sozialen Medien frei zugänglich und erfordern für die Anzeige keine vorherige Registrierung.

Nachfolgend finden Sie ein Beispiel für solche Anzeigen aus dem englischsprachigen Cracked Forum der unteren Kategorie zwischen dem 16. Dezember 2022 und dem 2. Januar 2023:

Figur 4: Cybercriminal advertisements and tutorials on the low-tier Cracked Forum for money-making schemes using ChatGPT. Most schemes involve completing fraudulent tasks on freelancing platforms, auto-rolling on online casinos (Middle, Left), and directing traffic to affiliate marketing links (Bottom). (Source: Cracked Forum)

Mit der zunehmenden Popularität von ChatGPT im Darknet und in Foren mit speziellem Zugriff geht auch ein Zustrom von Bedrohungsakteuren einher, die darum bitten, nicht nachvollziehbare, nicht zuordenbare oder betrügerische Konten bei OpenAI zu registrieren, die gegen die ChatGPT-Community-Standards verstoßen. In einigen Fällen – insbesondere für Bedrohungsakteure mit physischem Sitz in der Gemeinschaft Unabhängiger Staaten (GUS) – sind auch Tutorials zur Registrierung von Konten mit temporären („Burner“-“) russischen Telefonnummern aufgetaucht.

Abbildung 5: “MrK” inquires about registering an account without a phone number (Source: Recorded Future, BreachForums)

Abbildung 6: “Lorensaire”, a member of the top-tier Russian-language cybercriminal forum XSS, inquires about acquiring an OpenAI application programming interface (API) key without the use of a verified phone number. The threat actor indicated that their Russian phone number cannot be used for SMS verification. (Source: Recorded Future, XSS).

Einige Bedrohungsakteure wie „0x27“ und „USDoD“ (auch bekannt als „NetSec“, „Scarfac33“) in den mittelgroßen BreachForums haben aktuelle Artikel über die böswillige Verwendung von ChatGPT von Cybersicherheitsforschern bei Checkpoint, Forbes und Ars Technica genutzt, um ihre persönliche Marke aufzubauschen und ihre Glaubwürdigkeitsbewertung im Forum zu steigern. Diese Artikel zeigen einerseits die potenzielle Bedrohung durch ChatGPT-Missbrauch auf, lenken aber auch die Aufmerksamkeit auf die Bedrohungsakteure, die derartige Aktivitäten durchführen – und legitimieren diese möglicherweise bis zu einem gewissen Grad und festigen ihren Ruf. Während viele Bedrohungsakteure opportunistisch und finanziell motiviert sind, sind manche von ihrem Ego getrieben und werden von der Aufmerksamkeit der Medien inspiriert.

Abbildung 7: The threat actor “0x27” acknowledges reporting on the malicious use of ChatGPT, which includes references to previous threads authored by 0x27 and “USDoD” on BreachForums. (Source: Recorded Future, BreachForums)

Anmerkung der Redaktion: Dies ist ein Auszug aus einem vollständigen Bericht. Um die gesamte Analyse mit Endnoten zu lesen, klicken Sie hier , um den Bericht als PDF herunterzuladen.