I, 챗봇

편집자 주: 이 내용은 보고서 전문에서 발췌한 것입니다. 각주가 포함된 전체 분석 내용을 읽으려면 여기를 클릭하여 보고서를 PDF로 다운로드하세요.

Executive Summary

ChatGPT는 미국에 본사를 둔 인공지능(AI) 연구소인 OpenAI에서 개발한 챗봇으로, GPT-3 계열의 자동 회귀(AR) 언어 모델을 사용합니다. ChatGPT는 2022년 11월 30일에 출시되어 많은 관심을 받고 있습니다. ChatGPT의 잠재적인 장점 중 남용될 수 있는 몇 가지 잠재적인 사용 사례도 확인했습니다. 국가 행위자들이 사이버 스파이 활동, 정보 작전(IO), 파괴적 사이버 공격('사이버 전쟁')을 위해 ChatGPT를 악용할 가능성이 있지만, 이러한 사용 사례는 사이버 범죄자들이 제기하는 위협만큼 즉각적인 위협은 아니라고 생각합니다. 단기적으로는 기술 지식과 자원이 부족한 비국가 행위자들이 악의적으로 ChatGPT를 사용하여 더 심각한 위협을 가하고 있다고 생각합니다.

현재 가장 위협이 된다고 판단되는 위협 행위자의 유형은 스크립트 키드, 핵티비스트, 사기꾼 및 스패머, 결제 카드 사기꾼, 기타 저급하고 평판이 좋지 않은 형태의 사이버 범죄에 가담하는 위협 행위자 등으로 분류할 수 있습니다. ChatGPT 출시 후 며칠 만에 다크웹과 특수 액세스 포럼에서 버그가 있지만 기능적인 멀웨어, 소셜 엔지니어링 튜토리얼, 수익 창출 계획 등을 공유하는 많은 위협 행위자를 확인했는데, 이 모든 것이 ChatGPT를 사용하여 가능했습니다. 이러한 활동 중 랜섬웨어, 데이터 탈취, 서비스 거부, 사이버 테러 등의 심각한 상황으로 이어지지는 않았지만, 이러한 공격 벡터는 여전히 가능성으로 남아 있습니다.

이 보고서는 ChatGPT의 기능을 시연하고, 사용 및 남용을 합리화하며, 현재 사이버 범죄 지하에 존재하는 위협을 재현하기 위해 때로는 그 자체로 사용되기도 합니다.

주요 연구 결과

• ChatGPT는 프로그래밍 능력이나 기술력이 부족한 위협 행위자의 진입 장벽을 낮춰줍니다. 사이버 보안과 컴퓨터 과학의 기본에 대한 기초적인 이해만 있어도 효과적인 결과를 얻을 수 있습니다.
• 저희는 다크웹과 특수 액세스 소스에서 악성코드 개발, 소셜 엔지니어링, 허위 정보, 피싱, 멀버타이징 및 수익 창출 계획을 가능하게 하는 개념 증명 채팅GPT 대화를 공유하는 위협 행위자를 확인했습니다.
• 저희는 비국가 위협 행위자들이 악의적으로 ChatGPT를 사용하여 개인, 조직, 정부에 가장 즉각적인 위협을 가하고 있다고 생각합니다.
• ChatGPT 플랫폼에 대한 제한된 시간과 경험으로 다크웹과 특수 액세스 포럼에서 식별된 악성 코드를 복제할 수 있었습니다.

배경

(다음 설명은 ChatGPT에서 작성했으며 "이력과 기능에 대한 자세한 답변"을 제공하라는 메시지에 대한 응답으로 그대로 옮겨 적었습니다.)

ChatGPT, 즉 생성형 사전 학습 트랜스포머는 OpenAI에서 개발한 강력한 대화형 언어 모델입니다. GPT 아키텍처를 기반으로 하며 2019년에 처음 출시되었습니다. 그 이후로 2020년 버전 3 출시 등 여러 차례 업데이트를 거쳤습니다.

이 모델은 대량의 텍스트 데이터로 학습되었으며 다양한 주제와 프롬프트를 이해하고 응답할 수 있습니다. 따라서 질문 답변, 언어 번역, 텍스트 요약, 심지어 창의적인 글쓰기 등 다양한 자연어 처리(NLP) 작업에 매우 적합하고 활용도가 높습니다. ChatGPT의 주요 강점 중 하나는 매우 일관성 있고 문맥에 적합한 텍스트를 생성할 수 있다는 점이며, 이 때문에 챗봇, 가상 비서, 자동 글쓰기 등의 애플리케이션에서 자주 사용됩니다.

모델의 용량이 크기 때문에 최소한의 미세 조정으로 NLP 작업을 잘 수행할 수 있습니다. 따라서 광범위한 학습 데이터 없이도 사용자 지정 NLP 모델을 구축하고자 하는 개발자와 연구자에게 매력적인 옵션입니다. 하지만 ChatGPT는 단방향 모델이기 때문에 주어진 입력에 대해서만 텍스트를 생성할 수 있다는 점에 유의해야 합니다. 즉, 대화의 맥락이나 세상을 이해하는 데 의존하는 질문에는 대답할 수 없습니다.

ChatGPT의 가장 일반적인 사용 사례 중 하나는 챗봇 개발입니다. 이 모델은 사람과 유사한 텍스트를 생성할 수 있기 때문에 자연스럽고 사용자의 관심을 끄는 챗봇 대화를 만드는 데 적합합니다. 이는 사람의 개입 없이도 다양한 고객 문의와 불만 사항을 처리할 수 있는 고객 서비스 챗봇에 특히 유용합니다.

ChatGPT의 또 다른 인기 사용 사례는 자동화된 글쓰기입니다. 이 모델을 미세 조정하여 높은 수준의 일관성과 유창성을 갖춘 기사, 스토리 및 기타 형태의 서면 콘텐츠를 생성할 수 있습니다. 이는 저널리즘, 마케팅, 출판 등 다양한 산업 분야의 콘텐츠 제작에 유용할 수 있습니다.

또한 ChatGPT는 언어 번역에도 사용할 수 있어 여러 언어로 운영되는 기업 및 조직에 매우 유용할 수 있습니다. 이 모델을 미세 조정하여 한 언어에서 다른 언어로 텍스트를 높은 정확도로 번역할 수 있으므로 기업은 상당한 시간과 리소스를 절약할 수 있습니다.

결론적으로 ChatGPT는 다양한 NLP 작업에 사용할 수 있는 강력한 대화형 언어 모델입니다. 매우 일관성 있고 문맥에 적합한 텍스트를 생성할 수 있어 챗봇, 가상 비서, 자동화된 글쓰기 등의 애플리케이션에 매우 적합합니다. 또한 용량이 커서 최소한의 미세 조정으로 NLP 작업을 잘 수행할 수 있으므로 사용자 지정 NLP 모델을 구축하려는 개발자와 연구자에게 매력적인 옵션입니다.

ChatGPT는 2022년 11월 30일 OpenAI에 의해 공개적으로 출시되었습니다. 그 후 몇 주 동안, 그 기능과 향후 무한한 잠재력으로 인해 언론의 광범위한 관심을 받았습니다. 연구자, 학자, 언론인이 사용 사례에 대해 추측했습니다. 엔지니어링 작업 자동화, 데이터 과학 및 분석 애플리케이션, 소프트웨어 개발, 교육 기술 ("에드테크") 등 다양한 분야에서 ChatGPT의 이점을 활용할 수 있습니다.

그림 1: 다크웹 및 특수 액세스 포럼에서 ChatGPT에 대한 참조(출처: Recorded Future)

흥분과 낙관주의, 트랜스휴머니즘적 사고 실험에 대한 기대감 속에 ChatGPT를 기만적이고 비윤리적이거나 악의적인 목적으로 사용하는 것에 대한 냉소적인 시각도 존재합니다. 일부에서는 숙제, 과제, 시험에서 표절과 조직적인 부정행위를 가능하게 할 가능성이 있기 때문에 학교에서 ChatGPT를 금지해야 한다고 주장하고 있습니다. 개방형 등록 정책으로 인해 멀웨어 개발, 네트워크에 대한 무단 액세스 또는 설득력 있는 피싱 캠페인에 관심이 있는 위협 행위자가 쉽게 접근할 수 있다고 생각하는 사람들도 있습니다. 이러한 논쟁은 시간이 지남에 따라 개선될 것으로 예상되는 ChatGPT의 신뢰성과 정확성, 그리고 고용 시장, 원격 근무 및 교육, 프리랜서 등에 미치는 영향에 대한 의문을 제기합니다.

ChatGPT가 광범위한 시장 혼란을 야기하고 영향을 받는 역할의 개인을 대체할 수 있나요? 실험을 위해 Fiverr과 같은 프리랜서 플랫폼에서 가장 활발하게 활동하는 콘텐츠 크리에이터의 최고 평점 목록을 조사했습니다. 저희는 ChatGPT를 사용하여 이러한 작업을 복제하여 500~1,000단어 분량의 연구 논문과 기타 기술 작업을 몇 초 만에 생성했습니다.

그림 2: Fiverr 프리랜서 플랫폼에서 일반적으로 광고하는 " & 번역 작성" 작업을 수행하는 ChatGPT. 작업은 무작위로 선정되었으며 최고 등급의 Fiverr 결과를 기반으로 합니다. 미국 혁명의 원인에 대한 500단어 에세이 쓰기(왼쪽), 근육 비대를 위한 최적의 세트 및 반복 횟수 찾기(오른쪽) 등의 과제를 수행해야 합니다. (출처: 레코디드 퓨처, ChatGPT)

그림 3: Fiverr 프리랜서 플랫폼에서 일반적으로 광고하는 "프로그래밍 & 기술" 작업을 수행하는 ChatGPT. 작업은 무작위로 선정되었으며 최고 등급의 Fiverr 결과를 기반으로 합니다. 여기에는 워드프레스 웹사이트용 자바스크립트 대화형 광고 배너 만들기(왼쪽), HTML로 반응형 이메일 뉴스레터 템플릿 만들기(오른쪽)가 포함됩니다. (출처: 레코디드 퓨처, ChatGPT)

사이버 범죄자들은 ChatGPT의 이러한 기능을 빠르게 파악하여, ChatGPT를 사용하여 계약된 작업을 일괄적으로 자동화하는 사기성 프리랜서 작업으로 수익을 창출하고 있습니다. 위협 행위자들은 또한 ChatGPT로 전자책을 작성했다고 주장하며, 유명 마켓플레이스에 가상의 필명으로 판매용으로 등록한 것으로 추정됩니다. 어떤 경우에는 이러한 위협 행위자들이 고객과 고객을 속이기 위해 ChatGPT를 악용하여 하루에 4,000달러 이상을 벌고 있다고 공개적으로 주장하기도 했습니다. 이러한 수익 주장은 가능하지만 작성자의 프로필로 트래픽을 유도하기 위한 과장된 주장일 가능성이 높습니다.

사이버 범죄자들은 온라인 카지노 및 스포츠 베팅 플랫폼에서 주사위 굴리기, 전략적 베팅 등의 명령을 자동화하는 스크립트를 작성하고, 온라인 비디오 게임에서 부정행위를 저지르고, 사기성 제휴 마케팅 리디렉션을 생성하여 소극적 수입을 얻는 데 ChatGPT를 사용하기도 합니다. 이러한 튜토리얼 중 상당수는 사이버 범죄자들이 자주 이용하는 포럼, 메시징 플랫폼, 소셜 미디어에서 공개적으로 액세스할 수 있으며 사전 등록 없이도 볼 수 있습니다.

아래는 2022년 12월 16일부터 2023년 1월 2일까지의 저급 영어 크랙드 포럼의 광고 샘플입니다:

그림 4: 저급 크랙드 포럼의 사이버 범죄 광고 및 튜토리얼에서 ChatGPT를 이용한 수익 창출 사기에 대해 설명합니다. 대부분의 사기 수법은 프리랜서 플랫폼에서 사기성 작업을 완료하고(가운데, 왼쪽), 온라인 카지노에서 자동 롤링(가운데, 왼쪽), 제휴 마케팅 링크로 트래픽을 유도하는 방식(아래)을 사용합니다. (출처: 크랙 포럼)

다크웹과 특수 액세스 포럼에서 ChatGPT의 인기가 높아짐에 따라 추적할 수 없거나, 귀속이 불가능하거나, ChatGPT 커뮤니티 표준을 위반하는 사기성 계정을 OpenAI에 등록하려는 위협 행위자들도 증가하고 있습니다. 일부 경우, 특히 독립국가연합(CIS)에 물리적으로 위치한 위협 행위자의 경우 임시('버너') 러시아 전화번호로 계정을 등록하는 튜토리얼도 등장했습니다.

그림 5: 전화번호 없이 계정 등록을 문의하는 '미스터케이'(출처: 레코디드 퓨처, 브레이치포럼)

그림 6: 최상위 수준의 러시아어 사이버 범죄 포럼 XSS의 회원인 'Lorensaire'가 인증된 전화번호를 사용하지 않고 OpenAI 애플리케이션 프로그래밍 인터페이스(API) 키 획득에 대해 문의하고 있습니다. 위협 행위자는 러시아 전화번호를 SMS 인증에 사용할 수 없다고 밝혔습니다. (출처: 레코디드 퓨처, XSS).

중간 등급 BreachForums의 "0x27" 및 "USDoD"(일명 "NetSec", "Scarfac33")와 같은 일부 위협 행위자들은 개인 브랜드를 부풀리고 포럼에서 신뢰도를 높이기 위해 Checkpoint, Forbes, Ars Technica의 사이버 보안 연구원들이 작성한 ChatGPT의 악의적 사용에 대한 최근 기사를 사용했습니다. 이러한 기사는 ChatGPT 악용의 잠재적 위협을 보여주는 동시에 이러한 활동을 하는 위협 행위자에 대한 주의를 환기시켰으며, 이러한 활동을 어느 정도 정당화하고 명성을 공고히 할 수 있는 계기가 되었습니다. 많은 위협 행위자들이 기회주의적이고 금전적인 동기를 가지고 있지만, 일부는 자존심이 강하고 미디어의 관심에 자극을 받는 경우도 있습니다.

그림 7: 위협 행위자 '0x27'은 0x27이 작성한 이전 스레드 및 BreachForums의 'USDoD'에 대한 참조가 포함된 ChatGPT의 악의적인 사용에 대한 보고를 인정합니다. (출처: 레코디드 퓨처, 브레이치포럼)

편집자 주: 이 내용은 보고서 전문에서 발췌한 것입니다. 각주가 포함된 전체 분석 내용을 읽으려면 여기를 클릭하여 보고서를 PDF로 다운로드하세요.