生成 AI とフィッシング・メール：作成時間を 16時間も短縮するが内容に人間バージョンに劣る

Generative AI Can Save Phishers Two Days of Work

2023/10/24 InfoSecurity — IBM の最新研究によると、生成 AI ツールはフィッシングにおける詐欺メール・デザインを 16時間ほど短縮するが、より説得力のあるメッセージの作成に関しては、まだ人間のコツには及ばないという。今日、ソーシャル・エンジニアリングの専門家である Stephanie Carruthers は明らかにした研究プロジェクトの詳細は、人間の心と同じ欺瞞的な力を、生成 AI モデルが理解できるかどうかというものである。

Stephanie Carruthers は、「たった５つの簡単なプロンプトを入力するだけで、生成 AI モデルを騙して、非常に説得力のあるフィッシング・メールを作成できる。私のチームでは、フィッシング・メールを作成するのに、16時間ほど要するのが通常である。つまり、生成 AI モデルを悪用する攻撃者は、作業を２日近く短縮する可能性がある」と述べている。

複数のプロンプトの中に存在するのは、特定の業界で働く従業員が最も懸念している分野、および、使用すべきソーシャル・エンジニアリングとマーケティング手法、なりすますべき人物／企業などである。

彼女は、「私はソーシャル・エンジニアリングの経験が 10年近くあり、研究のために何百通ものフィッシング・メールを作成してきた。

実際のところ、このリサーチ・プロジェクトに参加することに同意した組織が、当初は３つあったが、そのうちの２つは成功率が高いと予想し、それらのフィッシング・メールを確認した後に完全に手を引いた」と指摘している。

しかし、IBM X-Force Red のソーシャル・エンジニアリング・チームは、”創造性と心理学” を駆使して、ターゲットを深く共感させ、AI では再現が難しいと Stephanie Carruthers が主張する本物らしさを加えることで、わずかながら成功を収めた。

A/B テストの結果として明らかになったのは、人間が作成したフィッシング・メールのクリック率 14％ は、AI が作成したメールのクリック率 11％ よりも、わずかに高かったことだ。また、不正の発覚と報告という視点では、人間バージョンは 52％ で、AI バージョンは 59％ だったという。

しかし、AI は、特に WormGPT のような悪意のツールにおいて AI が使用される場合には、今後のフィッシング業界が破壊的な力を持つ可能性が高くなる。

Stephanie Carruthers は、「この戦いにおいては、人間が僅差で勝っているかもしれないが、AI は常に進歩している。技術の進歩に伴い、さらに AI が洗練され、いつかは人間を凌駕する可能性さえ予測される」と締め括っている。

悪意の AI に関する研究結果を、IBM X-Force がレポートにまとめてくれました。ChatGPT が登場したときから、フィッシングにおける悪用が懸念されていましたが、それが定量化されたのは始めてのことだと思います。関連記事としては、2023/10/02 の「AI が作り出すフィッシング・メール：それを見分けることは不可能だ」がありますので、AI + Phishing で検索と併せて、ご利用ください。