Insiktレポート

私、チャットボット

投稿: 2023年1月26日

作成者 : Insikt Group®

編集者注:これは完全なレポートの抜粋です。文末脚注付きの分析全体を読むには、ここをクリックしてレポートをPDFとしてダウンロードしてください。

Executive Summary

ChatGPTは、米国に拠点を置く人工知能(AI)研究所であるOpenAIが開発したチャットボットで、自己回帰(AR)言語モデルのGPT-3ファミリーを使用しています。 ChatGPTは2022年11月30日にローンチされ、広く注目を集めています。 ChatGPT の潜在的な利点の中には、悪用の機が熟したいくつかの潜在的なユースケースも特定されました。 ChatGPTは、サイバースパイ活動、情報操作(IO)、破壊的なサイバー攻撃(「サイバー戦争」)を可能にするために、国家的な攻撃者によって悪用される可能性がありますが、これらのユースケースは、サイバー犯罪者によってもたらされるものほど差し迫った脅威ではないと考えています。短期的には、技術的な知識とリソースが限られている非国家主体が、ChatGPT の悪意ある使用を通じて、より深刻な脅威をもたらすと考えています。

現在最も脅威的であると思われる脅威アクターの種類は、スクリプトキディ、ハクティビスト、詐欺師やスパマー、ペイメントカード詐欺師、その他の卑劣で評判の悪い形態のサイバー犯罪に従事する脅威アクターに分類できます。 ChatGPT のローンチから数日以内に、ダークウェブや特別アクセスフォーラムで、バグはあるが機能的なマルウェア、ソーシャルエンジニアリングチュートリアル、金儲けスキームなどを共有する多くの脅威アクターを特定しました。これらの活動はいずれも、ランサムウェア、データ恐喝、サービス拒否、サイバーテロなどの深刻さには達していませんが、これらの攻撃ベクトルは依然として可能性があります。

このレポートでは、ChatGPT自体を使用して、時には独自の言葉で、その機能を実証し、その使用と悪用を合理化し、サイバー犯罪者の地下に現在存在する脅威を再現しています。

主な調査結果

ChatGPT は、プログラミング能力や技術的スキルが限られている脅威アクターの参入障壁を下げます。サイバーセキュリティとコンピューターサイエンスの基礎を初歩的に理解するだけで、効果的な結果を生み出すことができます。
私たちは、マルウェア開発、ソーシャルエンジニアリング、偽情報、フィッシング、マルバタイジング、金儲けを可能にする概念実証ChatGPTの会話を共有するダークウェブや特別なアクセスソースの脅威アクターを特定しました。
私たちは、非国家的な脅威アクターが、ChatGPT の悪意ある利用を通じて、個人、組織、政府に最も差し迫った脅威をもたらすと考えています。
ChatGPT プラットフォームでの時間と経験が限られているため、ダークウェブや特別なアクセスフォーラムで特定された悪意のあるコードを再現することができました。

背景

(以下の説明はChatGPTが書いたもので、「その歴史と機能に関する詳細な回答」を提供するというプロンプトに応えて逐語的に書き起こしたものです。

ChatGPT(Generative Pre-training Transformer)は、OpenAIが開発した強力な会話型言語モデルです。 GPTアーキテクチャに基づいており、2019年に最初にリリースされました。それ以来、2020年にバージョン3がリリースされるなど、いくつかのアップデートが行われました。

このモデルは、大量のテキストデータでトレーニングされており、幅広いトピックやプロンプトを理解し、対応することができます。これにより、汎用性が高く、質問応答、言語翻訳、テキストの要約、さらには創造的な執筆など、さまざまな自然言語処理(NLP)タスクに適しています。 ChatGPT の主な強みの 1 つは、一貫性が高く、文脈的に適切なテキストを生成する能力であり、チャットボット、仮想アシスタント、自動書き込みなどのアプリケーションでよく使用されます。

このモデルは大容量であるため、最小限の微調整でNLPタスクで優れたパフォーマンスを発揮します。これにより、広範なトレーニングデータを必要とせずにカスタムNLPモデルを構築したいと考えている開発者や研究者にとって魅力的なオプションになります。ただし、ChatGPTは一方向モデルであり、与えられた入力に基づいてのみテキストを生成できることに注意することが重要です。これは、会話や世界の文脈を理解することに依存する質問に答えることができないことを意味します。

ChatGPT の最も一般的なユースケースの 1 つは、チャットボットの開発です。このモデルは、人間のようなテキストを生成することができるため、ユーザーにとって自然で魅力的なチャットボットの会話を作成するのに適しています。これは、人間の介入を必要とせずに幅広い顧客の問い合わせや苦情を処理できるカスタマーサービスチャットボットに特に役立ちます。

ChatGPTのもう一つの一般的なユースケースは、自動書き込みです。このモデルは、記事、ストーリー、その他の形式の文章コンテンツを高い一貫性と流暢さで生成するように微調整できます。これは、ジャーナリズム、マーケティング、出版など、さまざまな業界でのコンテンツ生成に役立ちます。

さらに、ChatGPT は言語翻訳にも使用できるため、複数の言語で事業を展開する企業や組織にとって非常に有益です。このモデルは、ある言語から別の言語にテキストを高い精度で翻訳するように微調整できるため、企業は時間とリソースを大幅に節約できます。

結論として、ChatGPT は、幅広い NLP タスクに使用できる強力な会話型言語モデルです。一貫性が高く、文脈的に適切なテキストを生成することができるため、チャットボット、仮想アシスタント、自動書き込みなどのアプリケーションに適しています。さらに、大容量であるため、最小限の微調整でNLPタスクを適切に実行できるため、カスタムNLPモデルの構築を検討している開発者や研究者にとって魅力的なオプションとなっています。

ChatGPTは、2022年11月30日にOpenAIによって公開されました。その後の数週間で、その機能性と将来の使用の可能性が無限にあるように見えることで、メディアの注目を集めました。研究者、学者、ジャーナリストは、ユースケースについて推測しました。 ChatGPT の提案されている利点には、エンジニアリングタスクの自動化、データサイエンスと分析のアプリケーション、ソフトウェア開発、教育技術 (「edtech」) などがあります。

図 1: References to ChatGPT on dark web and special-access forums (Source: Recorded Future)

興奮、楽観主義、トランスヒューマニストの思考実験の中で、ChatGPTを欺瞞的、非倫理的、または悪意のある目的で使用することについて、いくつかの皮肉が表明されています。 ChatGPTは、宿題、作文課題、持ち帰り試験の盗作や組織的な不正行為を可能にする可能性があるため、学校で禁止されるべきだと主張する人もいます。また、そのオープン登録ポリシーにより、マルウェアの開発、ネットワークへの不正アクセス、説得力のあるフィッシングキャンペーンの調整に関心のある脅威アクターが簡単にアクセスできると考える人もいます。これらの議論は、ChatGPT (時間の経過とともに改善されると予想される) の信頼性と正確性、および雇用市場、リモートワークと教育、フリーランスなどへの影響について疑問を投げかけています。

ChatGPTは、広範な市場の混乱を引き起こし、影響を受ける役割の個人を追い出すのでしょうか? 実験として、Fiverrなどのフリーランスプラットフォームで最もアクティブなコンテンツクリエイターからの最高評価のリストのいくつかを調査しました。 ChatGPTを使用してこれらのタスクを再現し、500〜1,000語の研究論文を数秒で生成し、さまざまな技術的タスクを生成しました。

図 2: ChatGPT performing “Writing & Translation” tasks commonly advertised on the Fiverr freelancing platform. The tasks were chosen at random and based on top-rated Fiverr results. Tasks include writing 500-word essays on the causes of the American Revolution (Left) and the optimal number of sets and repetitions for muscular hypertrophy (Right). (Source: Recorded Future, ChatGPT)

図 3: ChatGPT performing “Programming & Tech” tasks commonly advertised on the Fiverr freelancing platform. Tasks were chosen at random and based on top-rated Fiverr results. They include creating an interactive advertisement banner in Javascript for a WordPress website (Left), a template for a responsive email newsletter in HTML (Right). (Source: Recorded Future, ChatGPT)

サイバー犯罪者は ChatGPT のこの機能をすぐに理解し、ChatGPT を使用して請負タスクをまとめて自動化する不正なフリーランスの仕事を収益化しています。また、脅威アクターはChatGPTで電子書籍を書いたと主張しており、人気のあるマーケットプレイスに偽のペンネームで販売しているとされています。場合によっては、これらの同じ脅威アクターが、ChatGPT を悪用してクライアントや顧客を欺くことで、1 日あたり 4,000 ドル以上を稼ぐと公に主張しています。このような収益の主張は可能だが、著者のプロフィールにトラフィックを誘導することを意図した誇張である可能性が高いと考えています。

サイバー犯罪者は、ChatGPT を使用して、オンラインカジノやスポーツベッティングプラットフォームのサイコロ転がしや戦略的賭けなどのコマンドを自動化したり、オンラインビデオゲームで不正行為を行ったり、不正なアフィリエイトマーケティングリダイレクトを作成して受動的な収入を得たりするスクリプトも作成しています。これらのチュートリアルの多くは、サイバー犯罪者が頻繁に訪れるフォーラム、メッセージングプラットフォーム、ソーシャルメディアでオープンにアクセスでき、閲覧するために事前登録は必要ありません。

以下は、2022年12月16日から2023年1月2日の間に行われた、英語の低層Cracked Forumからのそのような広告のサンプルです。

図 4: Cybercriminal advertisements and tutorials on the low-tier Cracked Forum for money-making schemes using ChatGPT. Most schemes involve completing fraudulent tasks on freelancing platforms, auto-rolling on online casinos (Middle, Left), and directing traffic to affiliate marketing links (Bottom). (Source: Cracked Forum)

ダークウェブや特別アクセスフォーラムでのChatGPTの人気の高まりに伴い、ChatGPTコミュニティの基準に違反する追跡不能、帰属不明、または不正なアカウントをOpenAIに登録するよう求める脅威アクターも流入しています。場合によっては、特に独立国家共同体(CIS)に物理的に居住する脅威アクターの場合、一時的な(「バーナー」)ロシアの電話番号でアカウントを登録するためのチュートリアルも登場しています。

図 5: “MrK” inquires about registering an account without a phone number (Source: Recorded Future, BreachForums)

図 6: “Lorensaire”, a member of the top-tier Russian-language cybercriminal forum XSS, inquires about acquiring an OpenAI application programming interface (API) key without the use of a verified phone number. The threat actor indicated that their Russian phone number cannot be used for SMS verification. (Source: Recorded Future, XSS).

中堅の BreachForums の「0x27」や「USDoD」(別名「NetSec」、「Scarfac33」)などの一部の脅威アクターは、 Checkpoint、 Forbes、 Ars Technica のサイバーセキュリティ研究者による ChatGPT の悪意のある使用に関する最近の記事を使用して、パーソナルブランドを誇張し、フォーラムでの信頼性評価を高めています。これらの記事は、ChatGPTの悪用の潜在的な脅威を示す一方で、そのような活動に従事している脅威アクターにも注意を喚起し、ある程度は彼らを正当化し、彼らの評判を確固たるものにしている可能性があります。多くの脅威アクターは日和見主義的で金銭的な動機を持っていますが、中にはエゴに駆られ、メディアの注目に触発されたものもあります。

図 7: The threat actor “0x27” acknowledges reporting on the malicious use of ChatGPT, which includes references to previous threads authored by 0x27 and “USDoD” on BreachForums. (Source: Recorded Future, BreachForums)