Symantec Demonstrates OpenAI’s Operator Agent in PoC Phishing Attack
2025/03/14 hackread — 最近になって OpenAI がリリースした “Operator” などの AI エージェントが、サイバー攻撃に悪用される可能性があることを、Symantec の脅威ハンターたちが実証した。それらの AI エージェントは、定型的なタスクを自動化して生産性を高めるように設計されているが、Symantec の調査によると、人間の入力を最小限に抑えることで、複雑な攻撃シーケンスの実行も可能にすることが示されている。
これまでの、有害コンテンツの作成支援に限られていた、古い AI モデルからの大きな変化である。AI チャットボットである DeepSeek R1 が、キーロガーやランサムウェアのコード生成に悪用される可能性があることを、Tenable Research が明らかにしたが、その翌日に、Symantec の調査結果が公表された。
Symantec の実験では、研究者たちが Operator に対して、以下の項目をリクエストすることで、その機能がテストされた：
- 電子メール・アドレスを取得する
- 悪意の PowerShell スクリプトを作成する
- 悪意のスクリプトを取り込んだフィッシング・メールを送信する
- 組織内の特定の従業員を見つけ出す
Symantec のブログ投稿によると、当初の Operator は、プライバシーの懸念を理由にして、これらのタスクを拒否したという。ただし、研究者たちが、”承認を得ている” と述べるだけで、これらの倫理的保護策を回避できたという。
その後に、この AI エージェントは、以下の項目を成功させた：
- 説得力のあるフィッシング・メールを作成して送信
- パターン分析によりメール・アドレスを特定
- オンライン検索によりターゲットの情報を特定
- オンライン・リソースを調査した後に、PowerShell スクリプトを作成
この悪意のシナリオが実行される様子を、以下で参照してほしい：
SlashNext Email Security+ の Field CTO である J Stephen Kowski は、「このような展開が明らかにされたことで、ユーザー組織は、セキュリティ対策を強化する必要がある。悪意の AI が自社に対して使用されることを想定した、堅牢なセキュリティ制御を実装する必要がある。そのためには、AI により生成されたコンテンツを検出するための、強化されたメール・フィルタリング／ゼロトラスト・アクセス・ポリシーに加えて、継続的なセキュリティ意識向上トレーニングが必要となる」と指摘している。
現在の AI エージェントの機能は、熟練した人間の攻撃者と比較すると、稚拙なものに思えるかもしれないが、その急速な進化により、洗練された攻撃シナリオが、すぐにでも現実のものとなるだろう。それらのシナリオには、自動化されたネットワーク侵害／インフラのセットアップ／長期にわたるシステム侵害などが取り込まれるはずだが、すべてにおいて、人間の介入は最小限である。
この調査が示唆するのは、生産性を高めるために設計された AI ツールが、有害な目的のために悪用される可能性を考慮し、セキュリティ戦略を更新すべきという方向性である。
このブログでも何度か取り上げている、GenAI のジェイルブレイクの話題です。現時点では精度が低く見えますが、今後は攻撃用のツールとして、技術的な知識がない攻撃者でも簡単に利用できるように進化していくと考えられます。防御側にとっては、非常に厄介な問題ですね。よろしければ、以下の関連記事も、カテゴリ _AI/ML と併せてご参照下さい。
2025/03/14：DeepSeek R1 にマルウェア生成の可能性 – Tenable
2025/03/07：LLM 17 種類を調査：ジェイルブレイクに成功
2025/02/03：DeepSeek R1 調査：ジェイルブレイクに関する懸念とは
2025/01/31：GitHub Copilot で発見されたジェイルブレイクの手法
2025/01/30：DeepSeek R1 のリスク：倫理的な制約の破壊
IoT OT Security News 
You must be logged in to post a comment.