OpenAI を悪用するサイバー犯罪と偽情報拡散：20件以上の悪意のキャンペーンを阻止

OpenAI Blocks 20 Global Malicious Campaigns Using AI for Cybercrime and Disinformation

2024/10/10 TheHackerNews — 10月9日に OpenAI が発表したのは、同社のプラットフォームをグローバルで悪用する、20件以上の悪意のアクティビティとネットワークを、2024年に入ってから阻止したというメッセージである。阻止された悪質な活動として挙げられるのは、マルウェアのデバッグ／悪意の Web サイト記事執筆／悪意の SNS アカウント経歴の作成／X の偽アカウント用の AI 生成プロフィール画像の作成などである。

OpenAI は、「脅威アクターたちは、我々のモデルを改良し、実験を続けている。しかし、新しいマルウェアの作成や、感染力を持つオーディエンスを構築する能力において、有意義な進歩につながるような現実的な証拠は見られていない」と述べている。

また、米国／ルワンダ／インド／EU における選挙でも、AI に関連するソーシャルメディア・コンテンツ作成の活動を妨害し、バイラルなエンゲージメントや持続的なオーディエンス獲得を阻止したと、同社は述べている。

これらの AI 悪用には、2024年5月に Meta と OpenAI が公表した、STOIC (別名：Zero Zeno) という侵害も含まれる。具体的に言うと、インドの選挙に関するソーシャル・メディア上のコメントを、イスラエル企業が生成したというものだ。

OpenAI は、その他にも、 以下のような攻撃者グループおよび、サイバー・オペレーションを取り上げている：

• SweetSpecter：中国を拠点とすると見られる攻撃者グループ：LLM の知識を活用した偵察／脆弱性調査／スクリプト作成支援／異常検知回避／開発などに、OpenAI のサービスを利用している。このグループは、OpenAI の従業員に対して、SugarGh0st RAT を配信するスピア・フィッシングを試みたが、失敗に終わっている。
• Cyber Av3ngers：IRGC (Islamic Revolutionary Guard Corps) と関連するグループ：PLC (Programmable Logic Controllers) の探索／調査に、LLM を使用している。
• Storm-0817：イランの脅威アクター：LLM を使用して、機密情報を収集する Android マルウェアのデバッグを行い、Selenium を用いて Instagram プロフィールのスクレイピング・ツールを開発し、LinkedIn プロフィールのペルシャ語への翻訳などを行っている。

また、OpenAI は、各種プラットフォーム上の多数の Web サイトや SNS アカウントのうち、いくつかのクラスタをブロックしたと述べている。その中には、A2Z および Stop News と命名された、インフルエンス・オペレーションも含まれており、英語／フランス語のコンテンツを投稿するためにアカウントを作成しているという。

OpenAI の研究者である Ben Nimmo と Michael Flossman は、 「Stop News では、大量の画像が使用されている。その Web 記事やツイートの多くには、DALL·E で生成された画像が添付されていた。これらの画像は、多くの場合において、明るい色調や劇的なトーンを使用する、漫画スタイルで注目を集めていた」と述べている。

また、OpenAI Bet Bot と Corrupt Comment という２つのネットワークでは、X 上のユーザーとの会話を生成し、ギャンブル・サイトへのリンクを送信するために、API を使用していることが判明した。さらに両者は、X上に投稿されるコメントも AI で生成するという。

今回の情報開示の約２ヶ月前に、OpenAI が明らかにしたのは、特に米国大統領選挙に焦点を当てたコンテンツを ChatGPT で生成する、イランの秘密工作活動 Storm-2035 に関連する一連のアカウントの削除である。

Nimmo と Flossman は、「脅威アクターたちが、最初に入手するのは、インターネット・アクセス／メールアドレス／SNS アカウントなどの基本的なツールである。続いて、SNS 投稿やマルウェアなどの『完成品』を、各種の配信チャネルからインターネット上に展開するが、その前の特定の中間段階の活動において、当社のモデルを悪用するという顕著な動向が確認されている」と述べている。

サイバーセキュリティ企業 Sophos は、10月2日に発表したレポートの中で、ターゲットを絞った電子メールにより、カスタマイズされた誤った情報を拡散するために、生成 AI が悪用される可能性があると指摘している。

このような、生成 AI を悪用する戦術に含まれるものとしては、政治キャンペーン用の Web サイトの作成や、政治的見解の異なるペルソナの生成、キャンペーンの主張に応じた電子メールメッセージの作成などがある。このような手法により、誤った情報を大規模に拡散する、新たなレベルの自動化が可能になる。

Sophos の研究者である Ben Gelman と Adarsh Kyadige は、「つまり、悪意のユーザーにとっては、わずかな再構成を行うだけで、無害なキャンペーン素材から意図的な誤情報や脅迫まで、あらゆるものを生成できる可能性がある。たとえ、実際の政治運動や候補者に賛同しないとしても、政策への支持と関連付けることが出来る。このような意図的な誤報により、自分が支持しない候補者に人々を同調させること、自分が支持する候補者に反感を抱かせことなどが可能になってしまう」と述べている。

OpenAI がレポートを発行し、生成 AI を悪用するサイバー犯罪と偽情報拡散について説明しています。そして、これまでに、20件以上の悪意のキャンペーンを阻止したことについても触れています。その内容を眺めてみると、攻撃のパターンが増えるというより、攻撃の効率化が目立っています。今後も、この種のレポートが提供されることを、期待したいです。よろしければ、OpenAI で検索も、ご利用ください。