敵対的インテリジェンス：AIの悪意あるユースケースをレッドチームテスト
Recorded FutureのInsikt Groupによる新しい調査では、脅威インテリジェンス アナリストとR&Dエンジニアによる、脅威アクターの人工知能（AI）の潜在的な悪意ある使用に関する共同調査の概要が示されています。この調査では、脅威アクターが現実的に持っている可能性のあるリソースを模倣するために、微調整や追加のトレーニングを行わずに、大規模言語モデル、マルチモーダル画像モデル、音声合成モデルなど、さまざまなAIモデルを試しました。
その調査結果によると、2024年の最も悪質なAIの利用は、標的を絞ったディープフェイクや影響力操作になることが予測されています。オープンソースツールで作成されたディープフェイクは、幹部へのなりすましに使用でき、AIで生成された音声やビデオはソーシャルエンジニアリングキャンペーンを強化できます。影響力行使のためのコンテンツ制作コストは大幅に下がり、ウェブサイトのクローンや偽のメディアの作成が容易になると予想されます。AIはまた、マルウェア開発者が検出を回避するのを支援したり、脅威行為者が脆弱な産業システムを特定したり、機密施設を特定したりする偵察活動を支援することもできます。
Recorded Futureの幹部を装った偽の電話会議のスクリーンショット（出典：Recorded Future）
本テキストでは、最先端のモデルとほぼ同等の効果を持つオープンソースのモデルが利用可能であることや、商用AIソリューションにおけるセキュリティ対策の回避など、現在の限界を強調しています。同社は、ディープフェイクや生成AI技術への複数の分野での多額の投資が想定されることから、リソースレベルに関係なく脅威アクターの能力が強化され、危険にさらされる組織の数が増加すると予想しています。
組織は、役員の声や肖像、ウェブサイトやブランディング、公共のイメージを攻撃対象として考慮し、これらの脅威に備えておく必要があります。また、検知を回避する自己拡張型マルウェアなど、より巧妙なAIの利用も想定しておく必要があります。
具体的なユースケースから得られた主な調査結果は次のとおりです。
- オープンソースのツールを使用して経営幹部になりすますためにディープフェイクが生成される可能性があります。トレーニングには1分未満のクリップが必要ですが、ライブクローニングの同意メカニズムを迂回するなどの課題に直面しています。
- AIは効果的な偽情報キャンペーンを可能にし、正当なウェブサイトのクローン作成を支援しますが、信憑性のあるなりすましを作成するには人間の介入が必要です。
- 生成AIは、ソースコードを変更することでマルウェアの検出を回避するのに役立ちますが、難読化後の機能の維持は依然として課題です。
- マルチモーダルAIは公共の画像を偵察目的で処理できますが、このデータを実用的な情報に変換することは、人間による分析なしでは依然として困難です。
分析全文を読むには、ここをクリックしてレポートをPDF形式でダウンロードしてください。
関連