적대적 인텔리전스: AI를 위한 레드 팀 악성 사용 사례

Recorded Future의 Insikt Group의 새로운 연구는 위협 행위자가 인공 지능(AI)을 악의적으로 사용할 가능성에 대한 위협 인텔리전스 분석가와 R&D 엔지니어의 공동 조사를 간략하게 설명합니다. 이들은 미세 조정이나 추가 교육 없이 대규모 언어 모델, 멀티모달 이미지 모델, 텍스트 음성 변환 모델 등 다양한 AI 모델을 실험하여 위협 행위자가 현실적으로 보유할 수 있는 리소스를 모방했습니다.

연구 결과에 따르면 2024년에 가장 가능성이 높은 AI의 악의적 활용은 표적 딥페이크와 영향력 운영이 될 것으로 예상됩니다. 오픈 소스 도구로 만든 딥페이크는 경영진을 사칭하는 데 사용될 수 있으며, AI가 생성한 오디오 및 비디오는 소셜 엔지니어링 캠페인을 강화할 수 있습니다. 영향력 운영을 위한 콘텐츠 제작 비용이 크게 감소하여 웹사이트를 복제하거나 가짜 미디어 매체를 만드는 것이 더 쉬워질 것으로 예상됩니다. 또한 AI는 멀웨어 개발자가 탐지를 회피하도록 돕고 위협 행위자가 취약한 산업 시스템을 식별하거나 민감한 시설을 찾는 등의 정찰 활동을 할 수 있도록 지원합니다.

Recorded Future 경영진을 사칭한 스푸핑된 컨퍼런스 콜의 스크린샷(출처: Recorded Future)

이 글에서는 최첨단 모델만큼 효과적인 오픈 소스 모델의 가용성, 상용 AI 솔루션의 보안 조치 우회 등 현재의 한계를 강조합니다. 딥페이크 및 생성형 AI 기술에 대한 여러 부문에 걸쳐 상당한 투자가 이루어질 것으로 예상되며, 이를 통해 리소스 수준에 관계없이 위협 행위자의 역량이 향상되고 위험에 처한 조직의 수가 증가할 것입니다.

조직은 경영진의 목소리와 유사성, 웹 사이트 및 브랜딩, 공개 이미지를 공격 표면의 일부로 고려하여 이러한 위협에 대비하는 것이 좋습니다. 또한 탐지를 회피하는 자가 증강 멀웨어와 같이 더욱 정교한 AI 사용도 예상해야 하므로 더욱 은밀한 탐지 방법이 필요합니다.

구체적인 사용 사례의 주요 결과는 다음과 같습니다.

1. 오픈 소스 도구를 사용하여 경영진을 사칭하는 딥페이크는 1분 미만의 클립으로 제작할 수 있지만, 라이브 복제를 위한 동의 메커니즘을 우회하는 등의 문제에 직면할 수 있습니다.
2. AI는 효과적인 허위 정보 캠페인을 가능하게 하고 합법적인 웹사이트를 복제하는 데 도움을 줄 수 있지만, 믿을 수 있는 스푸핑을 만들기 위해서는 사람의 개입이 필요합니다.
3. 생성형 AI는 멀웨어가 소스 코드를 변경하여 탐지를 회피하는 데 도움이 될 수 있지만, 난독화 후 기능을 유지하는 것은 여전히 어려운 과제입니다.
4. 멀티모달 AI는 정찰 목적으로 공공 이미지를 처리할 수 있지만, 이 데이터를 실행 가능한 인텔리전스로 변환하는 것은 사람의 분석 없이는 여전히 어려운 일입니다.

전체 분석 내용을 읽으려면 여기를 클릭하여 PDF 보고서를 다운로드하세요.