입이 없으니 범죄를 해야만 합니다.

딥페이크 음성 복제 기술은 인공지능(AI) 위협의 진화를 대표하는 새로운 위험 요소로 조직에 새로운 위협이 되고 있습니다. 딥페이크 비디오 기술, 텍스트 기반 대규모 언어 모델(예: GPT), 제너레이티브 아트 등 다른 AI 기술과 함께 활용하면 그 영향력이 더욱 커집니다. 음성 복제 기술은 현재 야생에서 위협 행위자들에 의해 악용되고 있습니다. 음성 기반 다단계 인증(MFA)을 무력화하여 잘못된 정보와 허위 정보를 퍼뜨리고 소셜 엔지니어링의 효과를 높일 수 있는 것으로 나타났습니다.

2023년 1월 26일자 보고서 '나, 챗봇'에서 설명한 대로 오픈소스 또는 '부분 유료화' AI 플랫폼은 사이버 범죄에 침입하려는 저숙련 및 경험이 부족한 위협 행위자의 진입 장벽을 낮춥니다. 이러한 플랫폼의 사용 편의성과 '즉시 사용 가능한' 기능을 통해 위협 행위자는 다른 방법으로는 실행할 수 없는 사이버 범죄 작업을 간소화하고 자동화할 수 있습니다. 시중에서 가장 인기 있는 음성 복제 플랫폼 중 하나는 ElevenLabs(elevenlabs[.]io)입니다, 사용자가 프리미엄 요금을 내고 '사용자 지정' 음성 샘플을 업로드할 수 있는 브라우저 기반 텍스트 음성 변환(T2S; TTS) 소프트웨어입니다. ElevenLabs와 같은 음성 복제 기술은 경험이 부족한 영어권 사이버 범죄자들이 저위험 사칭 사기에 가담하려는 진입 장벽을 낮추고, 보다 정교한 범죄자들이 고도의 사기 행각을 벌일 수 있는 기회를 제공합니다. 위협 행위자들은 텔레그램에서 구매할 수 있는 자체 복제 도구를 개발하는 등 음성 복제 서비스로 수익을 창출하기 시작했으며, 이는 서비스형 음성 복제(VCaaS)의 등장으로 이어졌습니다.

다크웹 소스에서 음성 복제에 대한 언급이 2020년 5월부터 2023년 5월까지 크게 증가했습니다.

소셜 미디어, 메시징 플랫폼, 다크웹에 등장하는 음성 복제 샘플은 유명인, 정치인, 인터넷 유명인('인플루언서')과 같은 공인의 목소리를 활용하는 경우가 많으며, 코미디 또는 악의적인 콘텐츠를 제작하기 위한 것입니다. 이러한 콘텐츠는 본질적으로 인종 차별적이거나 차별적이거나 폭력적인 경우가 많기 때문에 소셜 미디어 사용자들이 음성 복제 샘플의 높은 품질에 속아 허위 정보를 퍼뜨리는 데 악용될 수 있습니다.

현재와 미래의 위협을 완화하기 위해 조직은 이러한 기술이 초기 단계에 있을 때 음성 복제와 관련된 위험을 해결해야 합니다. 위험 완화 전략은 소셜 엔지니어링, 피싱 및 피싱, 허위 정보 등의 근본 원인을 해결하는 다각적인 접근이 필요합니다. 음성 복제 기술은 여전히 특정 의도를 가진 사람들에 의해 활용되고 있으며, 스스로 공격을 수행하지는 않습니다. 따라서 기술 자체의 남용을 막는 것보다 단기적으로는 직원, 사용자, 고객을 위협에 대해 교육하는 프레임워크를 채택하는 것이 더 효과적일 수 있으며, 이는 장기적인 전략적 목표가 되어야 합니다.

각주가 포함된 전체 분석 내용을 읽으려면 여기를 클릭하여 보고서를 PDF로 다운로드하세요.