Adversarial Intelligence: Red Teaming böswilliger Anwendungsfälle für KI

Eine neue Studie der Insikt Group von Recorded Future skizziert eine gemeinsame Untersuchung von Bedrohungsanalysten, Forschern und Entwicklern zur potenziellen böswilligen Nutzung künstlicher Intelligenz (KI) durch Bedrohungsakteure. Sie experimentierten mit einer Vielzahl von KI-Modellen, darunter umfangreiche Sprachmodelle, multimodale Bildmodelle und Text-to-Speech-Modelle, ohne jegliche Feinabstimmung oder zusätzliches Training, um die Ressourcen nachzuahmen, über die Bedrohungsakteure tatsächlich verfügen könnten.

Ihre Ergebnisse deuten darauf hin, dass im Jahr 2024 die wahrscheinlichsten bösartigen Anwendungen von KI durch gezielte Deepfakes und Beeinflussungsmaßnahmen erfolgen werden. Mit Open-Source-Tools erstellte Deepfakes können verwendet werden, um sich als Führungskräfte auszugeben, während KI-generierte Audio- und Videoinhalte Social-Engineering-Kampagnen unterstützen können. Es wird erwartet, dass die Kosten für die Erstellung von Inhalten für Beeinflussungsmaßnahmen erheblich sinken werden, wodurch es einfacher wird, Websites zu klonen oder gefälschte Medienkanäle zu erstellen. KI kann auch Entwicklern von Malware dabei helfen, verdeckt zu bleiben, und Bedrohungsakteuren bei der Aufklärung helfen, z. B. bei der Identifizierung anfälliger industrieller Systeme oder der Lokalisierung kritischer Einrichtungen.

Screenshot einer gefälschten Telefonkonferenz, bei der sich Teilnehmende als Führungskräfte von Recorded Futur ausgaben (Quelle: Recorded Future)

Der Text hebt die derzeitigen Einschränkungen hervor, darunter die Verfügbarkeit von Open-Source-Modellen, die fast so effektiv wie branchenführende Modelle sind sowie die Umgehung von Sicherheitsmaßnahmen in kommerziellen KI-Lösungen. Es wird erwartet, dass branchenübergreifend erhebliche Investitionen in Deepfake- und generative KI-Technologien getätigt werden, wodurch Bedrohungsakteure unabhängig von ihren Ressourcen effektiver arbeiten können und die Zahl der gefährdeten Organisationen steigt.

Unternehmen sollten sich auf diese Bedrohungen vorbereiten, indem sie die Stimme und das Bild ihrer Führungskräfte, ihre Website und ihr Branding sowie ihr öffentliches Erscheinungsbild als Teil ihrer Angriffsfläche betrachten. Sie sollten auch mit ausgefeilteren KI-Anwendungen rechnen, wie z. B. selbständig verbessernder, verdeckter Malware, wodurch unauffälligere Erkennungsmethoden erforderlich werden.

Zu den wichtigsten Erkenntnissen aus spezifischen Anwendungsfällen gehören:

1. Deepfakes können mit Open-Source-Tools erstellt werden, um Führungskräfte zu imitieren. Für das Training sind Clips von weniger als einer Minute Länge erforderlich, aber es gibt Herausforderungen wie die Umgehung von Zustimmungsmechanismen für das Live-Klonen.
2. KI kann wirksame Desinformationskampagnen ermöglichen und beim Klonen legitimer Websites helfen, wobei menschliche Beihilfe erforderlich ist, um glaubwürdige Fälschungen zu erstellen.
3. Generative KI kann dazu beitragen, dass Schadsoftware durch Veränderung des Quellcodes nicht erkannt wird. Allerdings bleibt die Aufrechterhaltung der Funktionalität nach der Verschleierung eine Herausforderung.
4. Multimodale KI kann öffentliches Bildmaterial zu Aufklärungszwecken verarbeiten, doch die Umsetzung dieser Daten in verwertbare Informationen ist ohne menschliche Analyse immer noch eine Herausforderung.

Um die gesamte Analyse zu lesen, klicken Sie hier, um den Bericht als PDF herunterzuladen.