私には口がなく、犯罪を犯さなければならない

ディープフェイクの音声クローニング技術は、人工知能(AI)の脅威の収束の進化を表す、組織にとって新たなリスクです。 ディープフェイクビデオ技術、テキストベースの大規模言語モデル(「GPT」のLLM)、ジェネレーティブアートなど、他のAI技術と組み合わせて活用すると、インパクトの可能性が高まります。 音声クローニング技術は、現在、脅威アクターによって悪用されています。 音声ベースの多要素認証(MFA)を打ち負かし、誤情報や偽情報の拡散を可能にし、ソーシャルエンジニアリングの有効性を高めることができることが示されています。

2023年1月26日のレポート「I, Chatbot」で概説したように、オープンソースまたは「フリーミアム」のAIプラットフォームは、サイバー犯罪に侵入しようとする低スキルで経験の浅い脅威アクターの参入障壁を下げます。 これらのプラットフォームの使いやすさと「すぐに使える」機能により、脅威アクターは、他の方法では行動を起こすことができないサイバー犯罪のタスクを合理化および自動化できます。 市場で最も人気のある音声クローニングプラットフォームの1つは、ElevenLabs(elevenlabs[.]io)、 ブラウザベースのテキスト読み上げ(T2S;TTS)ソフトウェアで、「カスタム」音声サンプルをプレミアム料金でアップロードできます。 ElevenLabsのような音声クローニング技術は、低リスクのなりすましスキームに従事しようとする経験の浅い英語を話すサイバー犯罪者の参入障壁を下げ、より高度なアクターが影響力の大きい詐欺を行う機会を提供します。 脅威アクターは、Telegramで購入できる独自のクローンツールを開発するなど、音声クローンサービスの収益化を開始しており、音声クローン・アズ・ア・サービス(VCaaS)の出現につながっています。

ダークウェブソースでの音声クローニングへの言及は、2020年5月から2023年5月にかけて大幅に増加しています

ソーシャル メディア、メッセージング プラットフォーム、ダーク ウェブ ソースに表示される音声クローン サンプルは、有名人、政治家、インターネット パーソナリティ (「インフルエンサー」) などの公人の声を利用していることが多く、コメディー コンテンツや悪意のあるコンテンツを作成することを目的としています。 このコンテンツは、人種差別的、差別的、または暴力的な性質を持つことが多く、ソーシャルメディア上のユーザーは音声クローンサンプルの品質の高さに騙されることがあるため、偽情報の拡散を可能にします。

現在および将来の脅威を軽減するために、組織は、音声クローニング技術が初期段階にある間に、そのような技術に関連するリスクに対処する必要があります。 リスク軽減戦略は、ソーシャルエンジニアリング、フィッシングやビッシング、偽情報などの根本原因に対処するために、学際的なものである必要があります。 音声クローニング技術は、特定の意図を持つ人間によって依然として活用されており、それ自体で攻撃を行うことはありません。 したがって、従業員、ユーザー、顧客に対して脅威について教育するフレームワークを採用することは、テクノロジー自体の悪用と戦うよりも短期的にはより効果的であり、これは長期的な戦略目標であるべきです。

文末脚注付きの分析全体を読むには、 ここをクリックして レポートをPDFとしてダウンロードしてください。